- 博客(258)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 技术干货 | cilium 原理之sock_connect
在集群网络使用cilium之后，最明显的情况就是：服务暴露vip+port,在集群内怎么测试都正常，但集群外访问可能是有问题的。而这就在于cilium使用的ebpf科技。
2023-08-10 14:27:16
691
原创 干货好文 | 两地三中心到异地双活演变及关键技术探讨
两地三中心和异地多活都是分布式系统的关键技术，用于保证系统的高可用性和容错性。其中最关键的技术无疑是数据同步、同步防环和数据冲突解决。
2023-04-28 13:40:27
959
原创 容器化，让数据库如虎添翼
在如今这种信息泛滥的年代，好像否定一种事物，比接纳他更容易引起共鸣，小编君也在自问：为什么数据库容器化容易被否定？是他本身的逻辑导致的吗？做为一名数据库从业者，小编君举双手支持数据库容器化！
2023-04-06 16:23:11
553
原创 【沃趣科技】初探MySQL迁移到ClickHouse
MySQL to Clickhouse，目前有ClickHouse原生提供的同步工具、命令行同步工具和界面指引型同步工具。原生的工具暂时不能用在生产环境，命令行工具使用起来比较繁琐，界面型相对简单易用。
2022-10-28 17:04:40
849
原创 【沃趣科技】漫游Linux块IO
在计算机的世界里，我们可以将业务进行抽象简化为两种场景——计算密集型和IO密集型。这两种场景下的表现，决定这一个计算机系统的能力。数据库作为一个典型的基础软件，它的所有业务逻辑同样可以抽象为这两种场景的混合。因此，一个数据库系统性能的强悍与否，往往跟操作系统和硬件提供的计算能力、IO能力紧密相关。
2022-09-27 18:23:34
501
原创 【沃趣科技】从 Oracle 日志解析学习数据库内核原理
由浅入深，介绍了数据库中常见而又关键的概念，了解数据库思路以及工程实现中需要注意的事项。
2022-05-30 13:54:32
602
原创 对信用卡欺诈 Say No｜百行代码实现简化版实时欺诈检测
利用 Flink+QDecoder 可以很容易将 oracle 的增量变化取出来，同步给大数据平台或者数据湖，有助于将静态数据流动起来，帮助企业盘活数据资产，提升运营决策效果。
2022-03-02 16:32:08
4658
原创 【沃趣科技】MySQL高可用工具Orchestrator系列五：raft多节点模式安装
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。前 言本篇文章介绍Orchestrator raft多节点模式...
2019-12-27 09:20:13
1001
原创 【沃趣科技】再述mysqldump时域问题
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。之前文章（引用沃趣技术--《当心！使用mysqldump备份可能会让...
2019-12-25 19:13:01
459
翻译 【沃趣科技】直方图系列1
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。在这个关于直方图的简短系列中，我们将讨论为什么需要直方图以及Orac...
2019-12-23 11:43:15
380
翻译 【沃趣科技】执行计划-6：推入子查询
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。在这个系列的第5部分，我们看了一些需要额外注意的”第一个子操作先执行...
2019-12-11 09:36:22
321
翻译 【沃趣科技】MySQL高可用工具Orchestrator系列四：拓扑恢复
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。前言上篇文章讲了orchestrator的探测机制。本篇文章翻译...
2019-11-27 09:41:10
821
原创 【沃趣科技】MySQL高可用工具Orchestrator系列三：探测机制
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。上篇文章讲了orchestrator复制拓扑的发现方式。本篇文章我们...
2019-11-20 10:22:23
757
翻译 【沃趣科技】执行计划-5：第一个子操作的变化
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。我提出了“子操作按先后顺序执行，递归向下”的解释执行计划的基本策略，...
2019-11-19 10:26:27
241
原创 【沃趣科技】日志信息记录表|全方位认识 mysql 系统库
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。在上一期《复制信息记录表|全方位认识 mysql 系统库》中，我们详...
2019-11-19 10:14:47
329
原创 【沃趣科技】MySQL高可用工具Orchestrator系列二：复制拓扑的发现
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。背 景上篇文章讲了orchestrator单节点的安装。本篇...
2019-11-12 11:07:08
808
翻译 【沃趣科技】执行计划-4：谓词的选择时机与使用细节
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。在第3部分（引用沃趣科技——执行计划-3：解释规则），我们用一个简单...
2019-11-06 09:53:22
292
原创 【沃趣科技】prometheus配置MySQL邮件报警
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。前两期文章（引用沃趣技术——《prometheus监控多个MySQL...
2019-11-04 14:26:17
1019
1
原创 【沃趣科技】Oracle RAC Cache Fusion系列十八：Oracle RAC Statisticsand Wait Events
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。OracleDatabasePerformanceTuning...
2019-11-01 11:50:42
421
原创 MySQL高可用工具Orchestrator系列一：单节点模式安装
背 景MySQL高可用方案有很多种，常见的有：keepalived、MHA、Galera、MGR、Orchestrator、replication-manager等。本系列将介绍在GitHub被使用的Orchestrator方案。本篇文章先介绍最基础的单节点模式的安装。环 境orchestrator机器：10.10.30.146orchestrator后端元数据库MySQL：1...
2019-10-30 09:51:43
608
原创 Oracle RAC Cache Fusion 系列十七：Oracle RAC DRM
根据前面系列的文章的解释，我们知道PCM资源的Master节点是通过hash算法得出。那么在一个多节点的RAC集群中，数据块请求节点和存放它的相关锁元素信息节点有很大概率是不相同的。这就意味着用户对资源的请求会存在很多的2或3次回路，从而造成很多的消息通信增加私网的负载进而影响影响数据库的性能。为了缓解这种性能影响，Oracle使用资源的remaster来减少资源的跨节点请求。针对某一个数据库对象...
2019-10-28 09:53:04
294
原创 复制信息记录表|全方位认识 mysql 系统库
在上一期《时区信息记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql系统库中的时区信息记录表，本期我们将为大家带来系列第七篇《复制信息记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！1、复制信息表概述复制信息表用于在从库在复制主库的数据期间，用于保存从主库转发到从库的二进制日志事件、记录有关中继日志当前状态和位置的信息...
2019-10-25 21:52:17
305
原创 Oracle RAC CacheFusion 系列十六：Oracle RAC CurrentBlock Server
PCM锁资源存储方式有两种，1.如果PCM锁属于本地实例，那么它会被存储在本地实例的LE结构中。2.如果PCM锁属于远程实例那么它将会被分配存储在本地实例的共享池中。kclle结构： kcllerls表示release; kcllelnm表示name（id1，id2）; kcllemode表示hold-mode; kclleacq表示acquir...
2019-10-23 15:38:30
275
原创 时区信息记录表|全方位认识 mysql 系统库
在上一期《优化器成本记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql 系统库中的优化器成本记录表，本期我们将为大家带来系列第六篇《时区信息记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！01 时区信息概述MySQL服务器维护几个时区设置： 系统时区：当Server启动时，尝试确定主机的时区并使用它来设置Serv...
2019-10-21 10:00:54
359
翻译 执行计划-3：解释规则
在这系列的前两个部分中，我们列举了一些生成或者找回执行计划的方法，也学习了一些额外的步骤可以帮助我们模拟真实的环境来判断执行计划是否存在问题。这部分我们会熟悉整体解释执行计划的基本准则。在第四部分前，我们不用考虑使用谓词的部分。TheShapeof aplan我们会从一个简单的例子开始-创建几张表，连接它们，在我们检查执行计划的时候需要回答提出的问题。这里是数据生成的脚本：...
2019-10-18 10:08:14
278
原创 优化器成本记录表|全方位认识 mysql 系统库
在上一期《统计信息记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql系统库中的统计信息记录表，本期我们将为大家带来系列第五篇《优化器成本记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！01 优化器成本模型概述为了生成执行计划，优化器使用了基于成本的模型来对各种操作成本进行估算。优化器具有一组可编辑的默认“成本常量”（这...
2019-10-16 09:46:38
196
原创 Oracle RAC CacheFusion 系列十五：Oracle RAC CRServer Part Two
一致性读请求ktrget请求调用流程，调用kcbgtcr获取最佳缓存区域用以构建CR缓冲区，然后调用ktrgcm应用undo构建可用的CR缓存。kcbgtcr计算扫描hash桶，调用ktrexf查找最佳缓存区。如果在缓存区域在本地则结束，如果不在本地则调用kcbzib获得缓存区域。kcbzib请求调用kcbzgb获得一个buffer并且设置buffer的状态为Reading。ktr...
2019-10-14 09:35:17
218
原创 select into outfile问题一则
01 背景select into outfile无论对于开发或DBA来说，都是一个爱不释手的导出数据的方式。相比mysqldump，它能够对需要导出的字段做限制，很好的满足了某些不需要导出主键字段的场景或分库分表的环境下数据的重新导入。且与load data infile配合起来，无疑是一款数据导入导出的利器。最近，开发小伙伴在测试环境使用select into file进行数据导出时，碰...
2019-10-11 18:20:18
1229
翻译 执行计划-2：查看更多的信息
在Part 1中我们了解了两种获取执行计划的方式，第一种是优化器预测它将会怎么执行，通过以下方法查询获取：explainplanfor{sqlstatement}select*fromtable(dbms_xplan.display);第二种是优化器在我们执行语句后真正的执行路径，通过以下方法查询获取：setserveroutputoff{sqlstate...
2019-10-09 10:17:25
467
翻译 执行计划-1：获取执行计划
看懂执行计划是作为处理数据库性能问题的必备技能之一，接下来一系列的文章我会告诉你怎么去做。我们会从一些文章开始讨论几种获取执行计划的方法，并且评估不同来源的执行计划最适合哪种场景。完成上述的内容后我们会继续深入解释简单执行计划的基础，之后会介绍一个用来解释大部分执行计划的规则-需要小心使用该规则。同时也会重点说明因为优化器改写我们的SQL导致执行计划与预期的不符的情况。一些规则外的异常不可...
2019-10-07 22:17:04
375
翻译 大数据量删除的思考（四）
在本系列的前一期文章中，我制作了一些图，突出显示了按表扫描执行大量删除操作和按索引范围扫描执行大量删除之间的主要区别。根据所涉及的数据模式，选择正确的策略可能对随机I/Os的数量、生成的undo的数量和排序所需的CPU数量产生显著影响——所有这些都可能影响执行删除所需的时间。然而，这个简单的演示跟生产环境当中相比，生产环境当中这个情况更为复杂。所以，如果你面临着一项艰巨的任务，你需要仔细考虑如...
2019-10-07 21:59:18
178
翻译 大数据量删除的思考（三）
在本系列的上一部分中，我们研究了在大数据删除表和索引和案例。在这一部分中，我们将继续讨论不同案例所隐含的工作量，然后考虑删除策略，或者需要制定减少工作量的策略。基本开销部分除了时间本身，我们还要关注其它三个指标，即大数据删除的过程中：生成的undo和生成的redo以及发生的I/ O量。这些因素并不是相互独立的，这在优化删除的一般性讨论中引入了很多复杂性，并且删除操作本身可能会影响同时运行的...
2019-10-07 21:35:48
414
翻译 大数据量删除的思考（二）
在这个简短系列的第1部分中，我提供了两个场景的非正式描述，在这些场景中，我们可以从表中进行大规模删除。没有一个具体的例子,很难想象删除数据的性质和可用的访问路径会产生大数据量删除操作对系统的性能影响,所以我要把大部分的时间花在本文讨论的两个测试生成的数据集。这篇文章似乎有点长但相当多的空间会被表格占用。简单的数据集随着硬件的能力和规模的不断增长，我们越来越难以就“大表”或“大规模删除”的含...
2019-10-07 21:07:30
231
原创 手把手教你认识OPTIMIZER_TRACE
前言我们在日常维护数据库的时候，如果遇到慢语句查询的时候，我们一般会怎么做？执行EXPLAIN去查看它的执行计划？ 是的。我们经常会这么做，然后看到执行计划展示给我们的一些信息，告诉我们MySQL是如何执行语句的。 BUT，执行计划往往只给我们带来了最基础的分析信息，比如是否有使用索引，还有一些其他供我们分析的信息，比如使用了临时表、排序等等。我们能从这些信息里面找一些优化点，这样就足...
2019-10-07 20:18:30
1400
3
原创 揭秘MySQL 主从环境中大事务的传奇事迹
或许某些人会说MySQL Low，而且乐此不疲，不过，我完全也可以说某些人压根就不会用MySQL，万事万物都具有两面性的，最终结果的好坏还得看是谁在用、怎么用。关于这个问题的争论，相信大家都喜闻乐见了，尤其是数据库界的"郭德纲"的言论尤其精彩，没事听听数据库界的"郭德纲"讲讲故事、讲讲段子，也是一件蛮有意思的事情。 说回到大事务，大家或多或少都不太喜欢它，在日常的工作中，或许会在开发规范里明令禁...
2019-10-07 19:37:14
378
原创 MySQL 执行DDL语句 hang住了怎么办?
MySQL 执行DDL语句 hang住了怎么办? 不要慌，先点支烟，听我娓娓道来！ 前两天，早上7点多的时候，抓起手机忽然看到了圈内的一则DDL语句 hang住的案例，阅读到文末，发现文中留有一些疑问（当然，文章是7月份的，现在或许作者已经解决了这些疑问），于是一咕噜从床上爬起来，按照文中的复现方法操作了一遍（复现方法见文末），然后，按照自己的思路解决了该疑问，现在将整个过程整理出来分享给大家。...
2019-10-07 18:37:49
1715
2
原创 MySQL 一个让你怀疑人生的hang死现象
1、故障现象某客户反馈，在利用binlog日志的解析内容做基于时间点的恢复时，出现hang死（超过12小时那种），恢复过程无法继续，而且100%重现 基于时间点恢复的实现方式为：使用mysqlbinlog命令指定一个结束时间点，解析binlog并使用管道直接导入数据库中执行（例如：mysqlbinlog binlog_file | mysql -uroot -pxx） 对此，我们收集了...
2019-10-07 18:01:07
644
转载 开源监控系统Prometheus的前世今生
Prometheus是SoundCloud公司开源的监控系统，同时也是继Kubernetes之后，第二个加入CNCF的项目。Prometheus是一个优秀的监控系统，沃趣围绕着Prometheus先后开发了多个组件，包括基础告警组件，服务发现组件、各种采集的Exporters等，这些组件结合Prometheus支撑了沃趣大部分的监控业务。本文主要介绍Prometheus，从他的来源，架构以及...
2019-09-29 17:52:40
290
原创 MySQL行级别并行复制能并行应用多少个binlog group？
前两天，无意间看到了林晓斌(丁奇)的一篇文章（详见文末参考链接的第一个），突发好奇心，想从MySQL暴露出来的一些信息上着手，看看能不能直观地看到MySQL 5.7的并行复制到底可以同时执行多少个binlog group(last_committed)的事务，经过一番折腾，将验证过程整理成这篇文章分享给大家。测试验证过程中，使用了两个MySQL版本，如下： MySQL 5.7.22：sysb...
2019-09-09 15:34:55
540
Oracle Memory Management and HugePage
2016-04-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人