- 博客(989)
- 资源 (19)
- 收藏
- 关注
RSS订阅
原创 mysql ibd 数据文件恢复极速恢复工具 ibd recover tool
mysql ibd 数据文件恢复极速恢复最近不少朋友遇到mysql 丢失ibddata 数据文件或者文件系统损坏只有部分ibd 文件的故障找我来帮忙处理，有些朋友的环境有几百上千个ibd 文件，手动恢复着实麻烦，写了一个工具，批量恢复mysql innodb，（myasim） ibd 的工具，目前可以在windows 和linux运行；mysql 的文件解析还是有点累的，搞得有点想吐ibd...
2020-04-26 10:49:37
2310
4
原创 oradebug dumptype 札记
ORA-00073: 命令 DUMPVAR 的参数数介于 2 和 3 之间。ORACLE 例程已经启动。
2024-04-11 09:01:18
189
原创 Duplicate for Standby fails with RMAN-05535 even when LOG_FILE_NAME_CONVERT is set (Doc ID 2756315.1
RMAN> run{3>4> spfile5>7>15> }16>......
2024-04-10 15:11:43
396
原创 Error -- “Can‘t Create A New Thread (errno 11)“ (Doc ID 1484095.1)
mysqld]
2024-03-21 15:30:56
794
原创 和数据库相关的共享内存的机制
通过共享内存，这些进程可以相互之间直接访问这块内存，从而实现数据的共享和通信。需要注意的是，使用共享内存时，需要注意并发访问的同步和互斥问题，以避免竞争条件和数据一致性的问题。共享内存提供了一种进程间直接通信的方式，通过在共享内存区域中写入和读取数据，进程可以相互之间进行通信。共享内存是一种高效的数据传输方式。多个并发执行的进程可以访问相同的内存，以共享数据结构，变量或其他信息，从而实现协同工作。共享内存的概念也可以用于内存映射文件，使得文件内容可以被映射到进程的地址空间中，实现对文件的直接读写操作。
2024-03-06 17:06:00
946
1
原创 “Scalar相关子查询展开”（Scalar Correlated Subquery Unfolding）
是指将子查询的结果预先计算并存储，然后在外部查询中直接使用该值，而不是每次外部查询的每一行都重新计算子查询。这种技术可以提高查询的性能，因为它避免了重复计算子查询。然后，它会将结果存储在一个临时表或哈希表中。接下来，当执行外部查询时，它可以直接从临时表或哈希表中获取每个客户的订单数量，而不需要重新计算。这种技术可以显著提高查询性能，但它也增加了查询优化的复杂性，因为优化器需要决定何时以及如何执行这种展开。如果没有进行Scalar相关子查询展开，那么对于。表中的每一行，都会执行一次子查询来计算订单数量。
2024-03-05 14:33:48
141
原创 如何理解MySQL的计算层做的很差，但innodb则非常优秀
在实际应用中，对于性能瓶颈的分析和优化，往往需要结合具体的业务场景、数据库表结构、索引设计等因素进行综合考虑。在MySQL中，计算层通常指的是查询优化器和执行引擎，负责解析查询语句、生成执行计划，并执行实际的查询操作。MySQL的计算层可能在处理某些类型的查询时效率较低，尤其是在大规模数据和复杂查询的情况下。如果系统的主要工作负载是事务性质的，InnoDB的性能可能会比其他存储引擎更好。MySQL的查询优化器和执行引擎可能在某些场景下不够灵活或者无法有效地处理复杂的查询请求。
2024-03-05 14:14:49
320
原创 k8s 中 namspace deployment pod services 之间的关系
在上述示意图中，Namespace包含两个Deployment（Deployment 1和Deployment 2）。每个Deployment创建一个或多个Pod，而Service通过标签选择器与这些Pod关联，使外部或其他服务可以通过Service的稳定网络地址访问相关Pod。这样，Deployment负责管理Pod的生命周期，而Service负责提供稳定的网络入口。在Kubernetes（K8s）中，Namespace（命名空间）是一种用于将集群内部资源划分为不同逻辑组的机制。
2024-02-29 10:44:00
400
原创 docker 的volume 是个什么概念
在Docker中，Volume（卷）是一种用于在容器和主机之间共享和持久化数据的机制。Volumes允许在容器之间或容器与主机之间共享文件，并且数据在容器的生命周期中是持久的。这是因为容器的文件系统是临时的，容器被删除后文件系统中的数据也会被清除，而Volume提供了一种解决这个问题的方法。Docker支持不同类型的Volume，包括本地主机的Volume、远程Volume、以及插件支持的Volume等。Volumes中的数据是持久的，它不受容器的生命周期的限制。命令创建一个新的Volume，然后通过。
2024-02-21 16:26:02
643
原创 抽空升级了下mysql drop table，truncate table 勒索病毒表表恢复工具
【代码】抽空升级了下mysql drop table，truncate table 勒索病毒表表恢复工具。
2024-01-23 11:36:00
354
原创 oracle “Interested Transaction List”（ITL）的概念
总的来说，ITL是数据库块头的一部分，用于维护有关影响该块中行的事务的信息。它跟踪锁定、已提交的更改和未提交的更改。Undo段被引用以提供有关这些更改时间的详细信息。INITRANS参数帮助控制在ITL中保留的事务历史量。这个概念是数据库系统中事务管理的一部分，有助于确保数据的一致性和完整性。“Interested Transaction List”（ITL）的概念。
2024-01-18 11:34:32
685
原创 常见问题：‘cursor:mutex ..‘/ ‘cursor:pin ..‘/ ‘library cache:mutex ..‘类型的等待事件
处理或访问cursor的任何操作都可能需要等待，才能访问在 shared pool 中支持这些操作的结构。请注意，所有这些等待事件都非常相似，并且可能都是在一个操作过程中产生的等待。Share(共享)操作可以在不更改的情况下进行，只是需要在更改过程中暂时锁定这些操作，以防止其被其他项更改。基于这些事件的争用通常是另一个问题的症状表现 – 即问题是其它地方产生的，而不是 mutex 机制本身。通常，通过采用合理的cursor共享策略，正确使用绑定变量并确保没有大量版本，应该能够避免大多数这类性质的问题。
2024-01-16 15:31:56
838
原创 scripts:查看数据库历史增长情况
此处是通过计算数据库所有表空间的历史增长情况来计算数据库历史情况。------最近7天数据库增长情况。--不含undo和temp。--含undo和temp。查看数据库历史增长情况。
2024-01-09 16:51:08
398
原创 快速判断oracle sql 中涉及的对象表，索引其统计信息是否过久
结合DBA_TAB_MODIFICATIONS 视图可以判断相关的对象是由于什么操作导致的统计信息过旧。
2023-12-28 14:26:17
335
原创 ORA-600 [2662] “Block SCN is ahead of Current SCN“
PURPOSE:ERROR:VERSIONS:ARGUMENTS:IMPACT:startup.II10.1.0.2I10.1.0.2P-7.3.4.5'*''+'
2023-12-13 13:52:42
76
原创 Resolving ORA-600[3020] Raised During Recovery
【代码】Resolving ORA-600[3020] Raised During Recovery。
2023-12-13 13:34:34
110
转载 MySQL · 特性分析 · 执行计划缓存设计与实现
如果当前用户频繁使用相似的query进行查询，Plan Cache可以有效的减少query的优化时间，进而提升query的执行性能。目前Plan Cache是我们开发的第一个版本，只是针对我们线上的场景进行优化，很多场景还不支持。希望在未来的时间里可以完善Plan Cache，提供更多的场景支持。
2023-12-04 17:25:09
121
转载 MySQL · 引擎特性 · InnoDB Adaptive hash index介绍
我们知道InnoDB的索引组织结构为Btree。通常情况下，我们需要根据查询条件，从根节点开始寻路到叶子节点，找到满足条件的记录。为了减少寻路开销，InnoDB本身做了几点优化。首先，对于连续记录扫描，InnoDB在满足比较严格的条件时采用row cache的方式连续读取8条记录（并将记录格式转换成MySQL Format），存储在线程私有的中；这样一次寻路就可以获取多条记录，在server层处理完一条记录后，可以直接从cache中取数据而无需再次寻路，直到cache中数据取完，再进行下一轮。
2023-12-04 17:22:29
49
原创 MySQL ibd文件 ，binlog 删除恢复，数据库块磁盘碎片打捞
近期会把oracle ，达梦数据库，pg，等数据库的磁盘碎片打捞工具都开发出来。2-误操作删除了innodb ibd 文件：rm -rf *.ibd；1-mysql drop table操作，文件系统*.ibd 被清理场景；3-误操作删除了innodb binlog 文件。4-其他任何原因导致的ibd 文件丢失。
2023-12-01 16:49:31
200
原创 mysql 优化器的AST树是啥
AST是一种树状结构，它反映了查询语句的语法层次，是一个抽象表示，用于更方便地进行语法和语义分析。查询的执行过程中，MySQL会首先进行语法解析，将查询语句转换成AST。然后，优化器利用这个AST来考虑不同的执行计划，以找到最有效的执行方式。在这个优化过程中，MySQL会考虑许多因素，包括表的访问顺序、使用索引的方式等，以确保查询在性能上得到最优化。简而言之，AST是一个树状结构，用于表示查询语句的抽象语法，而MySQL的优化器使用这个AST来进行查询优化，选择最佳的执行计划。
2023-11-24 09:07:23
223
原创 CPU L1（一级）、L2（二级）和L3（三级）缓存概览
这些缓存层次的设计旨在利用局部性原理（时间局部性和空间局部性），通过缓存最常用的数据和指令，减少对主内存的访问，从而提高计算机程序的执行速度。增加缓存的大小可能会导致访问时间的增加，因为更大的缓存需要更多的时间来搜索和访问。通常情况下，现代 CPU 设计已经在缓存层次结构上进行了精心的平衡，以提供足够的性能而不会引入不必要的复杂性和成本。缓存的设计是复杂而精密的，旨在在提高性能的同时最小化访问主内存的需求，因为内存访问通常是计算机系统中最昂贵的操作之一。多级缓存的存在是为了提供更高的速度和更大的容量。
2023-11-23 16:59:18
3433
原创 redo log 丢失或者损坏-ORA-01194: 文件 1 需要更多的恢复来保持一致性
ORA-00312: 联机日志 2 线程 1: 'C:\ORACLE19C\APP\ZMI\ORADATA\ORCL\REDO02.LOG'ORA-01110: 数据文件 1: 'C:\ORACLE19C\APP\ZMI\ORADATA\ORCL\SYSTEM01.DBF'ORA-01110: 数据文件 1: 'C:\ORACLE19C\APP\ZMI\ORADATA\ORCL\SYSTEM01.DBF'2、ORA-01194: 文件 1 需要更多的恢复来保持一致性。ORA-27041: 无法打开文件。
2023-11-23 08:20:37
517
原创 DBCA DIM-00019: Create Service Error O/S-Error: (OS 5) Access is denied
In this DocumentBelow error occurred when creating database with dbca:error in process: E:|...\bin\oradim.exe enter password for oracle service user: DIM-00019: create service error O/S-Error: (OS 5) Access is deniedWindows permission issue. I
2023-11-22 16:38:24
308
原创 Go 以小端字节序修改文件
大多数现代系统都使用小端字节序，但有些特殊情况下可能会使用大端字节序。的方法将数据从切片或整数类型转换为小端字节序。请确保根据需要调整数据类型和字节范围。用于处理小端字节序。Go语言的标准库提供了。
2023-11-20 10:32:14
212
转载 MySQL · 引擎特性 · InnoDB Adaptive hash index介绍
我们知道InnoDB的索引组织结构为Btree。通常情况下，我们需要根据查询条件，从根节点开始寻路到叶子节点，找到满足条件的记录。为了减少寻路开销，InnoDB本身做了几点优化。首先，对于连续记录扫描，InnoDB在满足比较严格的条件时采用row cache的方式连续读取8条记录（并将记录格式转换成MySQL Format），存储在线程私有的中；这样一次寻路就可以获取多条记录，在server层处理完一条记录后，可以直接从cache中取数据而无需再次寻路，直到cache中数据取完，再进行下一轮。
2023-11-17 15:07:42
105
转载 MySQL · 引擎特性 · InnoDB MVCC 相关实现
InnoDB的多版本并不是直接存储多个版本的数据，而是所有更改操作利用行锁做并发控制，这样对某一行的更新操作是串行化的，然后用Undo log记录串行化的结果。当快照读的时候，利用Undo log重建需要读取版本的数据，从而实现读写并发。
2023-11-17 15:04:25
45
转载 MySQL · 最佳实践 · 性能问题多维度诊断
利用上面的工具可以很详细的分析出cpu的消耗分布和内存的一个具体占用情况。mysql的性能诊断除了上面我提的几点，当然还有很多其他的办法我就不一一列出了（比如网络等等），更微粒度的监控数据采集，更多维度多功能的问题诊断分析，数据库性能问题的诊断将不是问题。以后的数据库将迈着自治的道路上去走，有感兴趣的同学可以与我交流，共同进步。
2023-11-17 15:01:14
56
转载 MySQL InnoDB中undo日志的组织及实现
InnoDB中undo日志设计及实现相对清晰，但涉及的地方比较多，有些地方设计的比较巧妙，需要仔细的研究，整体对undo日志这块做下梳理。
2023-11-15 09:02:59
34
转载 MySQL InnoDB Buffer Pool 概览
InnoDB中的数据访问是以Page为单位的，每个Page的大小默认为16KB，Buffer Pool是用来管理和缓存这些Page的。InnoDB将一块连续的内存大小划分给Buffer Pool来使用，并将其划分为多个Buffer Pool Instance来更好地管理这块内存，每个Instance的大小都是相等的，通过算法保证一个Page只会在一个特定的Instance中，划分为多个Instance的模式提升了Buffer Pool的并发性能。
2023-11-15 09:00:22
85
转载 MySQL 查询分析和调优利器Optimizer Trace
本文重点介绍了Optimizer trace的详细内容，只有深入了解这个工具本身的内容，才能真正具体分析优化器究竟做了哪些事情，根据哪些已有的索引、代价和优化方法进行了选择，基于什么原因做的选择。虽然JSON结果看起来复杂，但是仍然可以辅助DBA去发现性能问题，验证一些优化方法，希望这篇文章对大家有所帮助。
2023-11-15 08:55:13
72
转载 MySQL 内存管理：Buffer Pool Flush 机制
本文聚焦于InnoDB中的Buffer Pool的核心功能，首先从宏观上介绍其背景，包括设计目标、接口、遇到的问题及替换算法的选择等；然后后从使用者的角度介绍了Buffer Pool作为一个整体对外暴露的统一接口和调用方式；之后介绍了Buffer Pool内部获取Page的详细过程以及LRU替换算法的实现；再之后介绍了Page刷脏的触发因素及过程；最后梳理了Buffer Pool如何安全的实现高并发高性能。
2023-11-15 08:48:58
168
转载 MySQL:buffer cache 刷脏
刷盘写入数据文件由DBLWR部分完成，为异步IO，异步IO主要为前台thread 发起io_submit，后台异步IO线程堵塞等待结果，然后处理完成的一些动作，比如检查page的IO状态，数据文件的fsync操作，刷盘后一个更加重要的动作是异步IO线程还要完成内存的维护，比如对于flush list刷脏需要从flush list链表中删除，对于lru刷脏则额外还需要从page的hash结构和LRU链表中删除并且返回给free list成为可用的空闲page。下面是一些主要流程供参考，
2023-11-14 15:15:23
48
转载 MySQL Innodb 逻辑存储结构
的，一个区默认占用 1MB 的空间，如果为段中很小的数据量申请区，则会造成大量空间的浪费，所以 InnoDB 提出了碎片区的概念，碎片区中的页并不都是为了存储同一个段中的数据而存在的，比如有的页用于段 A，有的用于段 B，有的页甚至哪个段也不属于。存放叶子节点的区的集合就算是一个段，存放非叶子节点的区的集合也算是一个段。上一个或多个实际的文件，默认情况下，InnoDB 会在数据目录下创建一个名为 ibdata1 的文件，大小为 12MB，这个文件就是对应的系统表空间在文件系统上的表示。
2023-11-14 08:47:43
36
原创 Alter database open fails with ORA-00600 kcratr_nab_less_than_odr
ORA-00600 kcratr_nab_less_than_odr
2023-11-14 08:30:33
307
1
转载 MySQL 中的元数据管理
前面介绍数据字典是 MySQL 维护元数据的模块，MySQL 真正操作表数据是基于表定义对象 TABLE，和存储引擎和数据打交道，每个 TABLE 内有一个handler，表示使用的引擎对象，Innodb 引擎对应的表定义信息是 dict_table_t，TABLE 对表保留有操作数据的必备的信息，如表及字段的特征信息，元数据锁，record 查找结果等。每次执行 SQL 时，都会将涉及的表列表（TABLE_LIST，如 Join 多个表）逐个 open，
2023-11-10 10:26:45
75
原创 如何判断mysql innodb buffer pool内存配置不足
1234567891011121314151617181920212223242526272829。
2023-10-25 09:31:03
137
原创 mysql 日志理解
后半部分(flushed=182 and evicted=0, during the time.)日志，对应n_flushed_last和n_evicted两个变量，这两个变量来自于下面2个变量。从源码注释中可以看出，n_flushed_lru表示从LRU list尾部刷新的页数，也就是日志中如evicted=0指标的所表示的值。n_flushed_list：这个是从flush_list刷新列表中刷新的页数，也就是脏页数，日志中flushed=182的值。
2023-06-26 16:19:00
351
oracle 11g 数据文件头block 1解析
2023-11-16
golang 版 linux windows httpstat http url api 性能分析工具
2023-03-16
msp430课件
2013-06-17
sql 语言艺术
2011-10-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人