- 博客(836)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 GPDB · 特性分析· GreenPlum Primary/Mirror 同步机制
PostgreSQL 主备同步机制是通过流复制实现，其原理见之前的月报PG主备流复制机制。Greenplum 是基于PostgreSQL开发的，它的主备也是通过流复制实现，但是Segment节点中的Primary和Mirror之间的数据同步是基于文件级别的同步实现的。为什么Primary和Mirror不能再使用流复制实现呢？主要有两个原因:Append Only表不写WAL日志，所以Append Only表的数据就不能通过XLOG发送到Mirror再Apply； pg_control等文件也是不写
2021-10-20 14:36:14
638
转载 bond参数解释
可输入“modinfo bonding”查看当前bond的参数配置有问题绑定的选项后，可运行 ifup bondN 启动并测试该连接。如果决定要更改选项，则需要先断开该接口，使用 sysfs 修改参数，然后启动接口，并再次测试。确定绑定连接的最佳参数后，为要配置的绑定接口在 /etc/sysconfig/network-scripts/ifcfg-bondN 文件的 BONDING_OPTS= 指令中以空格分开的方式添加那些参数。无论何时连接该接口时（例如：若设置 ONBOOT=yes 指令，则在系
2021-10-11 16:20:10
961
转载 Innodb Read IO 相关参数源代码解析
Innodb Read IO 相关参数源代码解析前言：最近在阅读Innodb IO相关部分的源代码。在阅读之前一直有个疑问，show global status 中有两个指标innodb_data_reads 和 innodb_data_read。两个计数器仅差一个字母，他们之间的含义到底有何差别呢？本文将通过解析这两个参数的含义，分析Innodb对于磁盘IO相关的一些知识 首先我们来...
2018-10-15 15:13:40
303
转载 GP failover，primary和mirror切换实验
GP failover，primary和mirror切换实验 http://blog.sina.com.cn/s/blog_9869114e0101k1nc.html一、恢复失败的segment出现segment节点down，恢复GP的思路：if"segment down" thencase "determine case(errer,message,log,gpstate and so on)"...
2018-03-09 13:53:08
1501
转载 greenplum一次节点迁移
greenplum一次节点迁移http://blog.csdn.net/wxc20062006/article/details/53321484版本信息：OS:CentOS release 6.5 (Final)GP:greenplum4.3.81. 场景：其中一台服务器的所有节点信息需要迁移到新的服务器上，原始节点信息如下： dbid | content | role | preferred_r...
2018-03-09 11:42:12
843
转载 Greenplum 激活standby master失败后的异常修复
Greenplum 激活standby master失败后的异常修复https://m.aliyun.com/yunqi/articles/263激活standby master失败后，主库和备库都起不来了。如下，修改了MASTER_DATA_DIRECTORY和PGPORT环境变量为新的主库，启动主库。$gpstart -a20151222:16:49:41:073138 gpstart:dig...
2018-03-09 10:06:16
2254
转载 PostgreSQL、Greenplum 日常监控 和 维护任务
PostgreSQL、Greenplum 日常监控 和 维护任务https://yq.aliyun.com/articles/210407背景Greenplum的日常监控点、评判标准，日常维护任务。展示图层由于一台主机可能跑多个实例，建议分层展示。另外，即使是ON ECS虚拟机（一个虚拟机一个实例一对一的形态）的产品形态，实际上也建议分层展示，以示通用性。主机级图层1、全局2、以集群分组展示图形1...
2018-03-07 15:44:06
2235
转载 如何检测、清理Greenplum垃圾 - 阿里云HybridDB for PG最佳实践
如何检测、清理Greenplum垃圾 - 阿里云HybridDB for PG最佳实践https://yq.aliyun.com/articles/175030标签PostgreSQL , Greenplum , HDB for PG背景Greenplum通过多版本支持数据的删除和更新的并发和回滚，在删除数据时（使用DELETE删除），对记录的头部xmax值进行标记。在删除记录时，对记录的头部进行...
2018-03-07 10:35:08
534
转载 Python类中的__init__() 和 self 的解析
Python类中的__init__() 和 self 的解析https://www.cnblogs.com/ant-colonies/p/6718388.html1、Python中self的含义self，英文单词意思很明显，表示自己，本身。此处有几种潜在含义：1.这里的自己，指的是，实例Instance本身。2.同时， 由于说到“自己”这个词，都是和相对而言的“其他”而说的；而此处的其他，指的是，...
2018-03-05 10:21:02
814
转载 pg_resetxlog整理及测试
pg_resetxlog整理及测试https://yq.aliyun.com/articles/55691摘要： pg_resetxlog说明pg_resetxlog，用来重置/清空一个数据库集群的预写日志以及其它控制内容，其中控制内容由命令pg_controldata可以查看，而内容的来源则是位于$PGDATA/global目录下名为pg_control的控制文件可选
2017-12-26 14:16:29
2714
1
转载 PostgreSQL：流复制环境清除 pg_xlog 日志
http://francs3.blog.163.com/blog/static/40576727201352135115689/ 今天一流复制( Streaming Replication) 数据库一目录空间告警，经查是 pg_xlog 目录 WAL 日志文件过多，已超过阀值。 pg_xlog 是数据库重做日志，非常重要，不能直接清理，否则给数据库
2017-12-26 14:13:37
2023
1
转载 三张图读懂Greenplum在企业的正确使用姿势
三张图读懂Greenplum在企业的正确使用姿势 https://yq.aliyun.com/articles/57736?spm=5176.group13.0.0.5LQb0S&commentId=9493#comment-9493 摘要： 第一张 老外通常如何使用数据仓库 数据仓库的使用人员通常是数据分析师，一个成熟的分析模型的建立，可能需要多次的数据模型分析试错。 通常试错不会允许直接在任
2017-12-26 11:07:32
1459
转载 ORACLE迁移GP实践
https://www.cnblogs.com/gobird/p/3967373.html 最近在做oracle到greenplum的迁移实践,步骤如下: 1. 使用ora2pg实现Oracle的数据结构迁移到GP的实现过程 2. Oracle的数据迁移到GP的实现过程ora2pg的使用 地址: https://github.com/darold/ora2p 关系图如下:需要安装DBD
2017-12-26 11:06:26
1173
转载 STEP BY STEP RMAN DUPLICATE Database From RAC ASM To RAC ASM (Doc ID 1913937.1)
In this Document Goal Outline Steps Example Setup Source Database PROD (which is to be DUPLICATEd) Clone Database UAT to ach
2015-09-07 09:25:33
2250
转载 Data Guard Physical Standby 11.2 RAC Primary to RAC Standby using a second network (Doc ID 1349977.1
APPLIES TO:Oracle Database - Enterprise Edition - Version 11.2.0.1 and laterInformation in this document applies to any platform.GOALThe primary goal of this how-to is establish a data guard
2015-09-07 09:16:36
838
转载 给Python初学者的一些技巧
http://python.jobbole.com/32748/以下是我近些年收集的一些Python实用技巧和工具，希望能对你有所帮助。交换变量Python123456789x = 6y = 5 x, y = y, x print x>>> 5print y>>> 6
2015-07-27 16:01:31
1716
转载 PyCharm 教程（三）Hello world！
http://blog.csdn.net/chenggong2dm/article/details/9366805作为PyCharm编辑器的起步，我们理所当然的先写一个Hello word，并运行它。（此文献给对IDE不熟悉的初学者）1，新建一个项目File --> New Project... 2，新建一个文件右键单击刚建好的h
2015-07-16 11:59:16
1387
转载 DRBD中文应用指南
http://blog.csdn.net/liuyunfengheda/article/details/6460814DRBD中文应用指南写在前面的话：为了方便学习，将drbd的英文文档翻译出来，以供学习和参考。但因为本人英语水平有限，以及对drbd的了解并不足够深入，翻译中出现很多不通顺或者是语病的地方，请大家谅解。如果问题可以反馈给[email protected]
2015-07-10 16:48:32
2447
转载 一次DRBD脑裂行为的模拟
drbd1为主，drbd2为辅；我个人觉得这个DRBD脑裂的行为，也应该是前期人为或是故障切换造成的，如HA。 上次跟一朋友去一客户那里，他那就是属于使用HA做故障切换，最后不知道他们咋搞，在一台机上把DRBD的服务给挂了，因为该服务器非常重要，他们对HA及DRBD架构不太熟，在一次HA切换测试过程中出现了问题，在此模拟一下这个问题吧。 1、断开primary down机或是断开网线 2、查看s
2015-07-10 14:07:17
1440
转载 [MySQL优化案例]系列 — slave延迟很大优化方法
[MySQL优化案例]系列 — slave延迟很大优化方法发表回复备注：插图来自网络搜索，如果觉得不当还请及时告知 ：）一般而言，slave相对master延迟较大，其根本原因就是slave上的复制线程没办法真正做到并发。简单说，在master上是并发模式（以InnoDB引擎为主）完成事务提交的，而在slave上，复制线程只有一个sql thread用于binlog
2015-04-13 15:40:58
873
转载 将mysql binlog导入到数据库
一、脚本介绍语言：bash script，awk，sed功能：将mysql的binlog日志格式化后，通过load data直接导入数据库，然后通过sql对binlog日志做分析。优点：通过awk逐行分析，效率还算可以。可以通过分析binlog日志找到系统的各种突发原因，分析系统中表的使用率的DDL的类型，可以做到秒级别的TPS分析。解压binlog_analyze.tar.gz后
2015-04-10 09:57:50
1394
转载 将MySQL数据迁移到Redis
做开发的同学都知道，一旦设计到底层存储优化，数据结构甚至数据库的变更，通常都会进行数据迁移的工作。如果系统运行时间过长，数据迁移的数量可能非常庞大。这时候，如何进行高效的数据迁移，实际也是上线质量的直接影响因素之一。下面内容是转载的一个小技巧，无法适用于各种变化的场景，仅供大家参考。场景是从MySQL中将数据导入到Redis的Hash结构中。当然，最直接的做法就是遍历MySQL数据
2015-04-10 09:53:30
4308
转载 MySQL 在大型网站的应用架构演变
写在最前:本文主要描述在网站的不同的并发访问量级下，Mysql架构的演变可扩展性架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下，常用的扩展手段有以下两种Scale-up : 纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力Scale-out : 横向扩展, 通过加节点（机器）来实现伸
2015-04-10 09:50:18
509
转载 MySQL InnoDB存储引擎参数详解及优化
innodb_data_home_dir这是InnoDB表的目录共用设置。如果没有在 my.cnf 进行设置，InnoDB 将使用mysql的datadir目录为缺省目录。如果设定一个空字串,可以innodb_data_file_path中设定绝对路径。innodb_data_file_path单独指定数据文件的路径与大小。数据文件的完整路径由 innodb_dat
2015-04-10 09:44:31
1063
转载 MySQL服务器配置参数详解
autocommit={0|1}设定MySQL事务是否自动提交，1表示立即提交，0表示需要显式提交。作用范围为全局或会话，可用于配置文件中(但在5.5.8之前的版本中不可用于配置文件)，属于动态变量。automatic_sp_privileges={0|1}设定MySQL服务器是否为存储例程的创建赋予其创建存储例程上的EXECUTE和ALTER ROUTINE权限，默认为1(赋予此
2015-04-10 09:43:27
2094
转载 MySQL 读写分离与负载均衡
MySQL 数据库的读写分离和负载均衡一般是通过第三方软件来实现的。 也可以通过mysql驱动程序来实现，如com.mysql.jdbc.ReplicationDriver。详细文档参见：http://dev.mysql.com/doc/refman/5.5/en/connector-j-info.htmlimport java.sql.Connection
2015-04-10 09:41:56
3773
转载 如何添加和调整mysql innodb log文件
http://www.ttlsa.com/mysql/how-to-add-and-adjust-the-mysql-innodb-log-file/数据在不断变化，数据库性能随着数据量的变大而变低，在对数据库进行性能分析时，为保障数据库处于高性能状态下，有时改变InnoDB日志文件大小或数量，这个过程需要停止mysql服务，否则会造成数据丢失或mysql服务启动失败。在说明如何添加和
2015-04-09 10:43:54
597
转载 mysql中间件研究（Atlas，cobar，TDDL）
mysql中间件研究（Atlas，cobar，TDDL）http://www.guokr.com/blog/475765/mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品，Atlas，cobar，tddl，让我们看看它们各自有些什么优点和新
2015-03-27 10:54:37
620
转载 linux系统管理命令之----高效使用top命令
对桌面用户来说，监视系统资源使用是一项重要的工作。通过这项工作，我们可以找到系统瓶颈所在、针对性的进行系统优化、识别内存泄露等。问题是，我们应该使用什么工具，以及如果针对我们的需求来使用它。在众多备选的监测工具中，多数人使用“top”（procps 包的一部分）。Top 提供了几乎可以说是所有的我们所需要的系统资源使用监测。本文中的所有信息都是基于运行在 Linux 2.6.x 内核上的版本号
2015-03-26 09:44:50
807
1
转载 Heartbeat中ipfail的使用
http://blog.sina.com.cn/s/blog_5fc3a8b60100x0h9.html一、我们一直以来用的heartbeat大家用heartbeat做双机热备已经都做过很多次很熟悉了,而且配置起来其实也可以说是比较容易的.但是,说实话我们双机配置起来以后能实现的功能其实比较简单,只有在主服务器down掉或者主服务器的heartbeat服务停掉才可以切换,如果要想监
2015-03-17 17:47:28
909
转载 DRDB原理
它是个linux kernel module，拦截所有的文件系统的write系统调用：在真正发送给disk前，根据配置信息通过tcp发送给replica服务器该操作，replica会写入本地disk
2015-03-11 13:20:36
1787
转载 Oracle 11g 新特性 -- Oracle Restart 说明
一． OHASD 说明Oracle 的Restart 特性是Oracle 11g里的新特性，在讲这个特性之前先看一下Oracle 11g RAC的进程。之前的Blog 有说明。Oracle 11gR2RAC 进程说明http://blog.csdn.net/tianlesoftware/article/details/6009962 Oracle
2015-01-08 17:29:39
2724
转载 Oracle 11gR2 RAC 进程说明
一. 先看Oracle 官方文档 参考：http://download.oracle.com/docs/cd/E11882_01/rac.112/e16794/intro.htm#CWADD91998 Oracle Clusterware Software Concepts and RequirementsOracle Clusterware uses voting dis
2015-01-08 17:17:33
3171
转载 MySQL High Availability with Oracle Clusterware
MySQL High Availability with Oracle ClusterwareMySQL has an extensive range of high-availability solutions to suit many different use cases and deployment needs. This list spans from the ti
2015-01-08 11:00:48
598
转载 MySQL Fabric
MySQL Fabrichttp://www.mysql.com/products/enterprise/fabric.html
2015-01-08 10:53:54
737
转载 MySQL企业级高可用性
MySQL企业级高可用性http://www.mysql.com/products/enterprise/high_availability.html
2015-01-08 10:50:53
590
转载 诊断Oracle Clusterware和RAC组件
诊断Oracle Clusterware和RAC组件诊断Oracle Clusterware和RAC组件RAC 调试中的一个黄金规则 1.请始终确保各个节点具有完全相同的系统时间，这样才能实现以下目标： – 便于进行日志信息分析 – 确保读取 GV$ 视图时获得准确结果 – 避免实例被过早逐出 2. 最好的建议是使用网络时间协议对各节点进行同
2015-01-08 10:44:41
706
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人