8 yzs87

尚未进行身份认证

专注于PostgreSQL、MySQL、GreenPlum及其生态

等级
TA的排名 9k+

应用PMDK修改WAL操作使之适配持久化内存

应用PMDK修改WAL操作使之适配持久化内存这几个补丁能够通过使用PMDK对存储在持久化内存PMEM上的WAL日志进行读写。PMEM是下一代存储介质,具有一系列特性:快速、字节寻址、非易失。Pgbench是PG的通用benchmark,使用benchmark进行测试,这些补丁修改后的PG比原生PG性能提升5%。使用我们的insertbenchmark,能够比原生PG快90%。下面进行详细...

2019-08-11 15:40:13

Postgres-XL 10R1 release版本发布

2018年10月25日2ndQuadrant发布了Postgres-XL10R1版本。Postgres-XL是一个大规模并行数据库,它基于PG社区版本开发,并和PG高度兼容,支持BusinessIntelligence负载和读写大事务负载。PG-XL完全开源。随着我们开始向PG核心版本完全并行发展时,PG新版本的一些新特性也加入到了PG-XL中。该relea...

2019-07-21 16:53:08

An Overview of PostgreSQL & MySQL Cross Replication

本博客的目的在于简述MySQL和PostgreSQL之间如何跨数据库进行复制。涉及跨数据库复制的databases一般被称作异构databases。这是将数据从一种RDBMSserver复制到另一种server的一种很好的方法。PostgreSQL和MySQL都是传统的RDBMS数据库,但是他们也提供了NoSQL的能力。本文主要从RDBMS的角度讨论PostgreSQL和MySQL之间的复制...

2019-07-07 15:39:28

技术前刊:PostgreSQL12 COPY和bulkloading提升

业务是否依赖COPY命令加载数据?PostgreSQL12提供了一个新特性,大大加快了加载速度。COPY:Loadingandunloadingdataasfastaspossible细看PostgreSQL12的COPY语法,发现有两处变动:1)\h会有手册文档链接2)COPY支持WHERE条件下面是完整语法:db12=#\hCOPYCommand...

2019-06-14 22:01:54

How to Optimize PostgreSQL Logical Replication

HowtoOptimizePostgreSQLLogicalReplication逻辑复制(LogicalReplication)或Pglogical是表级别的复制。两者都是基于WAL的复制机制,允许在两个实例之间复制指定表的WAL。这两个看起来让人迷惑,到底有什么区别呢?LogicalReplication是PostgreSQL10.0引入的内置新特性,而pglogical则是...

2019-06-12 22:25:05

PostgreSQL的MVCC vs InnoDB的MVCC

PostgreSQL的MVCCvsInnoDB的MVCC任何一个数据库最主要功能之一是可扩展。如果不删除彼此,则尽可能较少锁竞争从而达到这个目的。由于read、write、update、delete是数据库中最主要且频繁进行的操作,所以并发执行这些操作时不被阻塞则显得非常重要。为了达到这种目的,大部分数据库使用多版本并发控制(Multi-VersionConcurrencyCont...

2019-06-10 23:39:35

What's New in MariaDB 10.4

MariaDB10.4是其当前的开发分支。5月21日,10.4.5的RCrelease版本发布,距离正式版本发布越来越近。10.4的新特性也越来越值得关注。本文总结mariadb官方发布一些的博客内容。对应详细信息,可以细读MariaDB10.4的changelog:https://mariadb.com/kb/en/library/mariadb-1040-changelog/性能提...

2019-06-08 22:41:45

PostgreSQL的B-tree索引

结构B-tree索引适合用于存储排序的数据。对于这种数据类型需要定义大于、大于等于、小于、小于等于操作符。通常情况下,B-tree的索引记录存储在数据页中。叶子页中的记录包含索引数据(keys)以及指向heaptuple记录(即表的行记录TIDs)的指针。内部页中的记录包含指向索引子页的指针和子页中最小值。B-tree有几点重要的特性:1、B-tree是平衡树,即每个叶子页到ro...

2019-06-06 22:31:42

Introducing PMDK into PostgreSQL

将PMDK引入PostgreSQL持久性内存(PMEM)具有快速、非易失和可字节访问的特性,能够通过load/store指令被CPU直接访问。现在已有供应商提供这种产品。相对于HSS或者SSD,数据库管理系统跑在PMEM上性能更好。借助PMDK(PersistentMemoryDevelopmentKit),将数据库修改成适配PMEM的产品,可以进一步提高其性能。本次演讲的话题围绕如何修...

2019-05-26 20:03:26

我的微信二维码

2019-05-18 20:25:00

PostgreSQL pg_rewind实例--could not find previous WAL record at

一、介绍作为pg_rewind报错章节补充一个用例,说明其用法。二、实例1、history文件--新主$cat00000004.history10/140000C8norecoverytargetspecified20/19000060norecoverytargetspecified30/1F000090n...

2019-05-17 23:10:39

PostgreSQL如何删除XLOG文件【补充】

StartupXLOG: do{ bool switchedTLI=false; ... /* 在回放记录前,检查该wal记录是否会引起时间线的改变。 该记录被视为新时间线的一部分,因此需要在回放前更新时间线。 */ if(record->xl_rmid==RM_XLOG_ID){//该记录是检查点信息 TimeLineID newTLI...

2019-05-04 15:13:33

PostgreSQL统计信息的几个重要视图

1、pg_stat_databaseyzs=#select*frompg_stat_database;-[RECORD1]--+------------------------------datid|13156#数据库的oiddatname|postgres...

2019-05-03 11:56:29

PostgreSQL备机checkpoint

数据库异常关闭时,数据库关闭时来不及或者没机会做checkpoint,则需要从上一个一致性检查的开始恢复。PostgreSQL备机checkpoint是不能产生checkpointWAL的,因为如果写这样类型的checkpoint的话,就会将接收的WAL打乱,那么日志将混乱,回放会出问题。那么问题来了,备机支持checkpoint吗?他的checkpoint怎么做...

2019-04-19 21:43:35

PostgreSQL pg_rewind流程报错退出分析

2019-03-24 20:49:29

PostgreSQL逻辑备份pg_dump使用及其原理解析

一、原理分析1、循环调用getopt_long解析命令行参数,将参数保存到staticDumpOptionsdopt;中2、判断参数是否相容,不相容则退出: options-s/--schema-onlyand-a/--data-onlycannotbeusedtogether options-c/--cleanand-a/--data-onlycannot...

2019-03-23 21:33:19

PostgreSQL逻辑备份恢复--pg_dump导出及psql导入案例

数据库导入导出是最常用的功能之一。PostgreSQL的备份工具可以使用pg_dump及pg_dumpall。可以通过pg_dump--help获取其使用方法。这里不对其做过多介绍。主要介绍在使用pg_dump及恢复过程中遇到的一个问题。1、问题使用pg_dump-c导出后,通过psql导入时报下面的错误:ERROR:relation"t1"alreadyexistsE...

2019-03-17 19:59:45

PostgreSQL用户密码如何通过md5加密存储,是否加了salt

一、PG用户的密码如何通过md5加密,并且是否加了salt?本文将从源码角度跟踪分析。PG用户通过md5加密时,加了salt,而这个salt是用户名字符串。二、源码分析CreateRole: shadow_pass=encrypt_password(Password_encryption,stmt->role,password); |-- pg_md5_encrypt...

2019-03-08 20:29:29

PostgreSQL如何删除不使用的xlog文件

一、问题经常会在复制的时候遇到这样的问题,需要复制的xlog文件找不到了。那么xlog文件什么时候删除?又会删除多少保留多少个xlog文件?都有哪些xlog文件需要保留?本文将从原理上对这些问题进行解读。二、原理每次checkpoint后都会根据需要删除或者回收不再需要的xlog文件。1、首先估算两次checkpoint之间产生的xlog量,根据这个量会计算出未来最大的日志文件号从而...

2019-02-24 11:08:10

PostgreSQL checkpoint--shutdown

PostgreSQL在shutdown时会进行checkpoint。其流程如下。1、在主进程中,会首先注册一个信号处理函数reaper,用于向checkpoint等子进程发送信号。向checkpoint进程发送SIGUSR2信号PostmasterMain(intargc,char*argv[]) pqsignal_no_restart(SIGCHLD,reaper); /*...

2019-02-09 22:12:18

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。