Postgresql中国用户会-CSDN博客

转载 PostgreSQL安全指南 - Postgres2015全国用户大会--重磅嘉宾佳作分享（周正中）

Postgres2015全国用户大会将于11月20至21日在北京丽亭华苑酒店召开。报名链接：http://postgres2015.eventdove.com/ 本期热点嘉宾：周正中(网名德哥)PostgreSQL 中国社区发起人之一，社区CTO。PostgreSQL中国社区杭州分会会长。PostgreSQL中国社区大学发起人之一。DBA+社群联合发起

2015-11-11 22:56:10 2971

转载 Postgresql日志系统的实现（一） - Postgres2015全国用户大会--重磅嘉宾佳作分享（李海翔）

Postgres2015全国用户大会--重磅嘉宾佳作分享（李海翔）(一) 友情提示: 2015Postgres全国大会将于2015年11月20至21日在北京举行，主会场设在北京丽亭华苑酒店，我们期待您的到来！2015Postgres全国大会官方报名地址http://postgres2015.eventdove.com/ 本

2015-11-11 22:43:49 931

原创象行中国9月份9个城市PPT分享（一）

2015年9月12日-19日期间，Postgres中国用户会在全国多个城市在(北京、西安、上海、杭州、南京、长沙、广州、深圳、成都等)举行了一系列的Postgres线下技术交流活动。活动得到了各地Postgres用户及爱好者的热烈支持，总计有有超过500人参加，线上视频直播的观看人数超过10000。在各个城市的活动中我们有幸邀请到了来自Pivotal、阿里、百度、腾讯、华为等知

2015-11-11 22:33:38 607

原创象行中国9月份9个城市PPT分享(二)

2015年9月12日-19日期间，Postgres中国用户会在全国多个城市在(北京、西安、上海、杭州、南京、长沙、广州、深圳、成都等)举行了一系列的Postgres线下技术交流活动。活动得到了各地Postgres用户及爱好者的热烈支持，总计有有超过500人参加，线上视频直播的观看人数超过10000。在各个城市的活动中我们有幸邀请到了来自Pivotal、阿里、百度、腾讯、华为等知

2015-11-11 22:30:22 596

转载 Windows平台编译 PostgreSQL - Postgres2015全国用户大会--重磅嘉宾佳作分享（权宗亮）

Postgres2015全国用户大会--重磅嘉宾佳作分享（权宗亮）Postgres2015全国用户大会将于11月20至21日在北京丽亭华苑酒店召开。报名链接：http://postgres2015.eventdove.com/ 嘉宾介绍：出身于机械工程系，计算机全靠自学和闭门造车，不擅长使用专业术语，更不擅长华丽的技术描述，纯野路子程序员。早期参与过pgAd

2015-11-05 15:18:46 732

原创面向MAX/MIN优化的SQL Window函数处理--Postgres2015全国用户大会--重磅嘉宾佳作分享（王晓玲）

Window(窗口)函数作为关系数据库领域中内数据库分析技术的一种解决方案, 其精妙的语义特征使其能代替自连接和相关子查询等完成传统复杂查询功能，现已被广泛应用到互联网应用的数据管理和分析中。在目前互联网应用步入大数据时代的背景下，针对高吞吐和实时响应等需求，已有的Window(窗口)函数的处理性能已经出现了瓶颈。在这个工作里，我们与EMC2的曹逾博士进行了合作，针对窗口函数的优化技术，提出了基于临时窗口和组共享思想的窗口函数优化方案，在尽量减少数据读取和计算次数的前提下，优化了窗口函数的执行过程，提升了函

2015-11-04 09:37:16 910

原创 Greenplum开源啦，就今天，就现在 Postgres2015全国用户大会将于11月20至21日在北京丽亭华苑酒店召开。本次大会嘉宾阵容强大，国内顶级PostgreSQL数据库专家将悉数到场，并特

PostgreSQL 2015 全国用户大会开始报名了，大会邀请了日本Postgres-XC项目发起人铃木，pgpool作者石井达夫，及国内来自平安银行，阿里巴巴、腾讯、百度、浙江移动、莲子等PG内核和应用方面的专家分享。地点：北京丽亭华苑酒店，10月15日前购票还能享受6折优惠，活动详见：http://postgres2015.eventdove.com/Postgres20

2015-10-28 10:47:14 1642

转载给PostgreSQL爱好者的参考资料

推荐书籍：概念书籍：《PostgreSQL Introduction and Concepts》开发书籍：《PostgreSQL开发必备参考手册》管理类书籍：《PostgreSQL 9 Administration Cookbook》《PostgreSQL 9.0 High Performance》《PostgreSQL

2015-10-14 22:50:15 4649

转载 PostgreSQL 30天培训视频(SQL基础,备份恢复,HA,服务端编程,大数据,内核,应用案例)

为了让跟多的朋友了解PostgreSQL, 我将这些年对PG的使用和研究做成了一些体系的培训视频和一些专题视频.(免费观看和下载)希望通过这些视频帮到一些朋友, 同时对视频中的错误点烦请读者指出以更正, 谢谢.目前在更新的视频是和<PostgreSQL 性能优化 3天>.在线观看地址 : http://www.tudou.com/home/digoal/培训视频源文件以

2015-10-14 22:49:05 2289

原创 PostgreSQL 2015 全国用户大会开始报名了！！！

PostgreSQL 2015 全国用户大会开始报名了，大会邀请了日本Postgres-XC项目发起人铃木，pgpool作者石井达夫，及国内来自平安银行，阿里巴巴、腾讯、百度、浙江移动、莲子等PG内核和应用方面的专家分享。地点：北京丽亭华苑酒店，10月15日前购票还能享受6折优惠，活动详见：http://postgres2015.eventdove.com/

2015-10-14 16:24:35 593

转载 PostgreSQL亚洲活动日将于3/17--19在新加坡举行

pgDayAisa是面向亚太地区所有PostgreSQL热衷者的PostgreSQL系列会议。pgDayAisa 2016 将在 FOSSASIA (亚洲开源大会) 2016大会中召开。大会召开地址在新加坡，时间是3月17日到3月19日。报名参加大会您将能够同时享受到首届亚洲PostgreSQL大会和亚洲最高级别的开源大会。详情请看大会网站，网址：http://2016.pgday.asi

2016-02-25 15:37:24 747

转载 PostgreSQL TPC-C极限优化玩法

转载自：https://github.com/digoal/pgsql_admin_script/blob/c77b9eeb1e513bb9c2cbbad2794604a7b01bb404/pgsql_perf_tuning.mdPostgreSQL TPC-C极限优化玩法digoal2016-01-19简介本文以工业界测试模型TPmC为测试模型，介

2016-01-21 10:24:55 4997 2

转载好消息：PostgreSQL逻辑复制功能发布

2016/01/04，PostgreSQL专业咨询和服务公司2ndQuarrant向社区提交并发布了新一代的的逻辑复制扩展功能pglogical，该功能可作为PostgreSQL一项扩展功能使用，可完全集成于PostgreSQL，它兼顾有基于触发器复制技术的灵活性，同时又有基于日志复制技术的高效性，它使用发布/订阅模型对选择性的数据复制相对物理复制来说是非常高效的方法，新方案的独创性在许多应用场景

2016-01-05 13:55:54 3390

转载 PostgreSQL9.4: jsonb 性能测试 - Postgres2015全国用户大会--重磅嘉宾佳作分享（谭峰）

Postgres2015全国用户大会--重磅嘉宾佳作分享（谭峰）友情提示: 2015Postgres全国大会将于2015年11月20至21日在北京举行，主会场设在北京丽亭华苑酒店，我们期待您的到来！2015Postgres全国大会官方报名地址http://postgres2015.eventdove.com/ 本期热点嘉宾：谭峰（网名 francs）：PostgreS

2015-11-12 15:06:40 5073

原创 Postgres 2015 全国用户大会为CSDN用户提供30张免费门票，手快有，手慢无！！！

Postgres 2015 全国用户大会csdn用户报名连接http://huiyi.csdn.net/activity/product/goods_list?project_id=260630张免费门票，小伙伴们赶紧行动起来吧！！！！！！！！！！Postgres2015全国用户大会将于11月20至21日在北京

2015-11-05 10:43:54 950

转载 PostgreSQL 9.5 新特性汇总

PostgreSQL 9.5还未发布，以下是已经commit的特性，也就是说PostgreSQL 9.5 release时肯定会包含的特性。如需了解最新信息，请参考：https://commitfest.postgresql.org/http://git.postgresql.org/gitweb/?p=postgresql.git;a=summaryhttp://

2015-10-14 22:50:56 1242

转载 pg_shard PostgreSQL数据库分片

如果你的GCC版本第一4.6，那么首先要安装一个高版本的GCC，因为pg_shard里面用了gcc 4.6以后新加的特性。# yum install -y gmp mpfr libmpc libmpc-devel# wget http://gcc.cybermirror.org/releases/gcc-4.9.3/gcc-4.9.3.tar.bz2# tar -jxvf gcc-4.9.3.

2015-10-14 22:47:02 4200

转载 CitusDB, PostgreSQLs Use Hadoop Distribute Query - 4 : Query Trace 2

接上一篇 : http://blog.163.com/digoal@126/blog/static/163877040201322205436514/4. # 大表和小表的关联查询大表指的是shard数目大于等于large_table_shard_count的表CitusDB 2.0还不允许大表和大表的关联查询.小表指的是shard数目小于lar

2015-10-14 22:45:41 580

转载 CitusDB, PostgreSQLs Use Hadoop Distribute Query - 4 : Query Trace 1

上一篇blog介绍了CitusDB如何查询HDFS中的结构化数据, 有兴趣的朋友可以参考如下http://blog.163.com/digoal@126/blog/static/1638770402013221475935/本文主要针对CitusDB Query Data IN HDFS进一步的看一看CitusDB的Distributed Query.环境还是上一篇BLOG

2015-10-14 22:44:58 653

转载 CitusDB, PostgreSQLs Use Hadoop Distribute Query - 4 : Query Data IN HDFS

前面几篇文章分别介绍了CitusDB在单台服务器上的安装和配置, file_fdw的安装和使用, 以及hadoop_sync的安装.接下来的这篇文章将要搭建CitusDB+HDFS的环境, 利用file_fdw, hadoop_sync以及CitusDB的SQL引擎并行查询HDFS中的结构化数据.本文的测试环境 : OS : CentOS 5.x x64Hadoop : 1.1.2

2015-10-14 22:43:28 981

转载 CitusDB, PostgreSQLs Use Hadoop Distribute Query - 3 : hadoop-sync install

CitusDB本身支持表的分布式存储, 同时利用PostgreSQL 9.1的FDW功能, 还可以与Hadoop结合使用.目前CitusDB只能与Hadoop 1.x配合使用. Hadoop 2.x支持多NameNode的结构暂时还不能配合使用.【CitusDB + Hadoop 架构图如下 : 】目前的版本可以在http://www.citusdata.c

2015-10-14 22:42:34 850

转载 CitusDB, PostgreSQLs Use Hadoop Distribute Query - 2 : CitusDB file_fdw usage

本文的安装以及测试基于上一篇BLOG《CitusDB, PostgreSQLs Use Hadoop Distribute Query - 1 : Single HOST CitusDB Cluster install》的环境.http://blog.163.com/digoal@126/blog/static/1638770402013219840831/CitusDB安装完后,

2015-10-14 22:41:21 860

转载 CitusDB, PostgreSQLs Use Hadoop Distribute Query - 1 : Single HOST CitusDB Cluster install

测试环境 : CentOS release 5.7 (Final)内存 : 96GBCPU : 2 * Intel(R) Xeon(R) CPU E5504 @ 2.00GHz硬盘 : OCZ RevoDrive31. 下载操作系统对应的citusdb包wget http://packages.citusdata.com/readlin

2015-10-14 22:39:45 1122

转载 plproxy 2.x fast deployment

我一直以来都比较推荐plproxy这个PostgreSQL代理软件, 因为它小巧灵活好用, 效率高.最近朋友邀请我给他们做个分布式的方案, 所以又把plproxy翻出来了.本文讲一讲在单节点中如何快速的部署plproxy环境.环境 : PostgreSQL 9.3.1plproxy 2.xplrpoxy库 : hostaddr 172.16.3.150port 19

2015-10-14 22:39:01 723

转载 A Smart PostgreSQL extension plproxy 2.2 practices

PostgreSQL分布式设计:三层结构 : 1. 路由层(几乎无限扩展) 主角: plproxy,postgresql2. 连接池层(几乎无限扩展) 主角: pgbouncer3. 数据层(几乎无限扩展) 主角: postgresql扩展方式:1. 路由层扩展:路由层包含了数据层的连接配置(F

2015-10-14 22:37:31 453

转载 Postgres-XC 1.0.2 install in 8 KVM host enviroment

[环境 : ]主机 : 8核CPU, 98G MEM, OCZ PCI-E SSD硬盘. (Ubuntu desktop 12.04 x64) 创建8个虚拟机(CentOS 5.9 x64, 1vCPU, 8GMEM) 虚拟机IP地址 : 192.168.122.171 - 192.168.122.178虚拟机环境的创建参照:http://blog.16

2015-10-14 22:35:54 771

转载 PostgreSQL range gist index 20x+ speedup than Mysql index combine query

今天一位兄弟跟我抱怨MYSQL里面查IP地址库并发几千每秒的查询数据库就抗不住了.于是问他要来了他们的IP地址库数据和查询用的SQL以及MYSQL里面的表结构。把数据转到PostgreSQL里面做一下相对应的压力测试，看看PostgreSQL的表现。MYSQL里面的表结构如下 : CREATE TABLE ip_address_pool ( id int(10)

2015-10-14 22:32:25 461

转载 PostgreSQL index scan enlarge heap page scans when index and column correlation small

今天在讲解PostgreSQL 性能优化的成本因子校准时发现一个奇异的问题, 索引扫描带来了巨大的heap page scan数目.视频如下 : http://www.tudou.com/programs/view/yQ0SzBqx_4w/如果数据库的单个数据块很大的话, 这种情况带来的负面影响也将被放大. 例如32k的block_size显然比8k的block_size

2015-10-14 22:31:26 603

转载 PostgreSQL数据库 OLTP高并发请求性能优化

在多核系统中，一般TPS会随并发数的增加而提升，但是当并发数超过一定的数值（如CPU核数的2到3倍以后），性能开始下降，并发数越高，下降越严重。例子：更新500万记录表中的1条随机记录。开8000个并发。create table test_8000 (id int primary key, cnt int default 0);insert into test_8000 s

2015-10-14 22:30:06 4102

转载 PostgreSQL 秒杀场景优化

秒杀场景的典型瓶颈在于对同一条记录的多次更新请求，然后只有一个或者少量请求是成功的，其他请求是以失败或更新不到告终。例如，Iphone的1元秒杀，如果我只放出1台Iphone，我们把它看成一条记录，秒杀开始后，谁先抢到（更新这条记录的锁），谁就算秒杀成功。例如：使用一个标记位来表示这条记录是否已经被更新，或者记录更新的次数（几台Iphone）。update tbl se

2015-10-14 22:29:32 2029

转载妙用explain Plan Rows快速估算行

http://people.planetpostgresql.org/dfetter/index.php?/archives/80-Approximate-Counts.html通过这种方法，我们可以快速的估算一个表，视图的记录数，当然也包括带条件的查询中，最终结果的返回集。例如：postgres=# EXPLAIN (FORMAT JSON) SELECT 1 FRO

2015-10-14 22:28:38 660

转载 Oracle FORALL & PostgreSQL ? op any|all (ARRAY)

On my laptop running Oracle Database 11g Release 2, it took 4.94 seconds to insert 100,000 rows, one at a time. With FORALL, those 100,000 were inserted in 0.12 seconds. Wow!Instead of doing tha

2015-10-14 22:27:37 505

转载使用 PGStrom 2 (GPU JOIN, BulkScan, GpuPreAgg, ...)

BUG fixed, 测试了一下。JOIN性能确实好很多，主要体现在。1. BuldkScan300毫秒左右，而seqscan需要1500毫秒。2. GpuJoin约4.5秒。而hash join约8秒。postgres=# explain (analyze,verbose,costs,buffers,timing) select count(*) from t1 na

2015-10-14 22:26:20 641

转载试用 PGStrom

PGStrom是一个使用GPU进行并行计算的custom scan provider插件，架构如下：从WIKI上的文档来看，性能提升非常可观。JOIN的表越多，提升效果越明显。需要安装cuda7.0的驱动，以及toolkit。参考 https://developer.nvidia.com/cuda-downloads

2015-10-14 22:25:29 1521

转载 useful function & operator & custom operator for Row and Array Comparisons

社区里一位同学的需求：请问有什么办法可以判断，一个数组里面至少一个元素在一个范围之间？select 1 any(ARRAY[0.8,3.2]) and 3 >= any(ARRAY[0.8,3.2])例如，这个，我喜欢的结果是f我们注意一下，这个SQL实际上返回的是TRUE，因为分开来看1 3 >= any(ARRAY[0.8,3.2])返回的也是

2015-10-14 22:24:55 611

转载 Oracle index by table(Associative array) used in PostgreSQL

Oracle plSQL中支持3种集合变量, index-by table, varray, nest table。其中index-by table是不限元素个数，支持字符串或INT下标。用法举例：DECLARE -- Associative array indexed by string: TYPE population IS TABLE OF NUMBER -

2015-10-14 22:23:38 455

转载 performance tuning case: array search & date order by , data updated daily (use cursor solve it)

一位PG社区的朋友提到的一个应用场景，目前遇到性能问题。数据结构大概是这样的，包含一个主键，一个数组，一个时间，其他字段。请求分析：有检索需求，比较频繁。查找数组中包含某些元素的记录，并按时间排序输出所有符合条件的记录，检索到的符合条件的记录可能上万条，也可能较少。有插入需求，量不大。有更新需求，一条记录最多一天会被更新一次，当然也可能不会被更新。无删除需求。数据量在千

2015-10-14 22:22:08 416

转载 Why "INSERT ... ON CONFLICT DO NOTHING/UPDATE" Good for performance

PostgreSQL 9.5 新增了存在则更新或啥也不干的原子操作。这个特性有什么好处呢？如果你的应用程序不做保护，直接插入，可能会导致大量的违反唯一约束的错误，这种错误除了会写数据库日志，还会带来一定的问题。例子：postgres=# create table uk_test(id int primary key,info text,crt_time timestamp);C

2015-10-14 22:20:46 2245

转载 PostgreSQL性能优化综合案例讲解 - 2

上节: http://blog.163.com/digoal@126/blog/static/163877040201221382150858/【声明】欢迎转载, 注明出处.【调优阶段8】1. 压力测试pgbench -M prepared -r -c 1 -f /home/postgres/test/login0.sql -j 1 -n -T

2015-10-14 22:19:58 1768

转载 PostgreSQL性能优化综合案例讲解 - 1

【声明】欢迎转载, 注明出处.【正文】【软件环境】 CentOS 5 x64PostgreSQL 9.1.3plproxy 2.3pgbouncer 1.4.2【测试模型】设计一个包含INSERT, UPDATE, SELECT语句的业务模型用于本优化案例.业务逻辑 :

2015-10-14 22:18:37 1337

PostgreSQL的Window分析函数源码优化

空空如也