- 博客(159)
- 收藏
- 关注
RSS订阅转载 转-性能优化中CPU、内存、磁盘IO、网络性能的依赖
转自：https://www.cnblogs.com/Javame/p/3665565.html系统优化是一项复杂、繁琐、长期的工作，优化前需要监测、采集、测试、评估，优化后也需要测试、采集、评估、监测，而且是一个长期和持续的过程，不是说现在优化了，测试了，以后就可以一劳永逸了，也不是说书本上的优化就适合眼下正在运行的系统，不同的系统、不同的硬件、不同的应用优化的重点也不同、优化...
2019-09-22 09:30:00
523
转载 PostgreSQL查询数据库中包含某种类型的表有哪些
select c.relname, ATTNAME, ATTTYPID, TYPNAME from sys_attribute a, sys_class c, sys_namespace n, sys_type t where a.attrelid = c.oid and a.attnum > 0 and c.relnamespace = n.oid and nspname ...
2019-09-03 11:36:00
990
转载 PostgreSQL中with和without time zone两者有什么区别
with和without time zone两者有什么区别1.区别1）名字上看一个是带时区的，另一个是不带时区的，查出来的时间是一样的，只是一个带时区标志，一个不带而已，时区的基准是格林威治时间UTC。2）这对于数据的显示上来说，区别就是时间数据的末尾带不带时区标志，即+/-时区，比如中国(prc),时区是东八区,带时区标志的话就是+08。 数据库内部还是都存储的是UTC格式...
2019-08-20 19:02:00
3627
转载 PostgreSQL编码格式：客户端服务器、客户端、服务器端相关影响
关于字符编码这块，官网链接：https://www.postgresql.org/docs/current/charset.html刚刚写了几百字的东西因为断网，导致全没有了，重头再写，我就只想记录东西我自己看了：1）客户端编码格式默认是从客户端的服务器编码获取，也就是LANG环境变量。2）客户端编码和服务器编码如果一致，则插入的数据之间不经过转码，存入服务器。...
2019-08-19 18:34:00
2628
转载 ssh配置互信不成功，两台服务器有一台需要输入密码
在客户现场，某国产平台，配置机器互信时发现，A可以免密访问B，而B不能免密访问A，且B不能免密访问B，进行了下面的几个处理后搞定。1）确定目录权限：/root/ 755/root/.ssh 700/root/.ssh/authorized_keys 6002)公钥后报错sign_and_send_pubkey: signing failed: agent refused o...
2019-08-14 11:19:00
752
转载 PostgreSQL的同步级别与MySQL的半同步after_sync比较
MySQL的半同步中通过binlog进行流复制，同步级别和PostgreSQL对比可以发现：PostgreSQL MySQLofflocal after_commit remote_write after_syncremote_applyon...
2019-08-10 16:16:00
204
转载 在PostgreSQL中 pg_start_backup 做了什么?
# 在PostgreSQL中 pg_start_backup 做了什么?HM 2019-07-30## pg_start_backup 做一个备份开始标记，还做了一些其他的操作，下面进行探寻。* 函数定义：```postgres=# \df pg_start_backup ...
2019-07-30 11:14:00
798
转载 PostgreSQL SQL优化之NOT IN问题
在我们平时写SQL时，如果遇到需要排除某些数据时，往往使用id <> xxx and id <> xxx，进而改进为id not in (xxx, xxx);这样写没有问题，而且简化了SQL，但是往往有些极端情况，使用not in就会造成极大的性能损耗，例如：select * from test where id not in (select ...
2019-07-26 14:46:00
3166
转载 PostgreSQL查看等待锁的SQL和进程
查看等待锁的查询和进程：The following query may be helpful to see what processes are blocking SQL statements (these only find row-level locks, not object-level locks). SELECT blocked_locks.pid AS ...
2019-07-24 10:38:00
876
转载 effective_io_concurrency很重要的一个参数
effective_io_concurrency(integer)Sets the number of concurrent disk I/O operations that PostgreSQL expects can be executed simultaneously. Raising this value will increase the number of I/O ...
2019-07-18 14:37:00
599
转载 PostgreSQL逻辑复制到kafka-实践
kafka 安装 wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz cp kafka_2.12-2.0.1.tgz kafka.tgz sudo tar xzvf kafka.tgz --directory=/opt/java/kafka --strip 1启动...
2019-06-25 18:27:00
594
转载 Linux下路由配置梳理(转)
转自：https://www.cnblogs.com/kevingrace/p/6490627.html在日常运维作业中，经常会碰到路由表的操作。下面就linux运维中的路由操作做一梳理：------------------------------------------------------------------------------先说一些关于路由的基础知识：1）...
2019-06-18 17:34:00
144
转载 创建B树，动态添加节点，并使用三种遍历算法对树进行遍历
ks17:algorithm apple$ cat btree_test.c///***************************************************************/// @Filename: btree_test.c/// @Brief: 尝试构建b树，并使用三种遍历算法对树进行遍历///////// @no...
2019-06-17 19:01:00
372
转载 思考--PostgreSQL在与mysql的比较中稍微弱势项
PostgreSQL在与mysql的比较中稍微弱势项：1.都是堆表，没有所谓的聚集索引表，其实问题不大，聚集索引表也只是在使用聚集索引那些列有加速，而且pg也有聚集索引，只不过要定期重建。2.mvcc实现，pg是直接在原来page中标记删除、更新行。而mysql的innedb则是像oracle一样，弄了一个垃圾回收区存放这些并发的版本。 1）pg这样做的好...
2019-06-13 10:15:00
104
转载 思考-继续思考在数据库中两个表join的问题
##在资源有限的情况下，如何做两个大表的join？---假设系统资源：内存1G，大表10G，小表2G。---都拿到内存中进行笛卡尔集肯定不行，内存没有那么大。最简单的办法是对两个表建索引，但是万一两个索引都很大，一个索引500M，一个索引1G，其实索引应该没有那么大，我们就估算极端情况。仅对索引进行bitmap scan，最后读取满足的记录。但对两个...
2019-06-13 10:11:00
132
转载 思考--mysql 分库分表的思考
查询不在分库键上怎么办，扫描所有库？由于分库了，每个库扫描很快？所以比单个表的扫描肯定快，可以这样理解吗。多表jion怎么弄，把内层表发给每个分库吗？citus，tidb 都有这些问题，citus是底层为pg，tidb底层是kv库crocksdb，他们怎么解决的？-citus是区分了分库表和本地表，一般推荐配置一个分库表，因此不存在上面问题，但也挺傻瓜的。-t...
2019-06-10 14:23:00
110
转载 再谈PG索引-存储架构
1.索引的基本架构PG的索引是B+树，B+树是为磁盘或其他直接存取辅助设备而设计的一种平衡查找树，在B+树中，所有记录节点都是按键值的大小顺序存放在同一层的叶节点中，各叶节点指针进行连接： meta page | root page（8kb，一个记录占32个bit，那么就能存256个branch page，超过了就需要扩充一级branch ...
2019-05-29 17:41:00
507
转载 PostgreSQL数据库表的内部结构
A page within a table contains three kinds of data described as follows:heap tuple(s) – A heap tuple is a record data itself. They are stacked in order from the bottom of the page. The i...
2019-05-28 12:08:00
275
转载 PostgreSQL通过解析日志，获取数据库增量变化，pg_recvlogical
1.首先用该工具来看我们的日志变化，需要先将test_decoding插件编译并安装（进入contrib，编译安装即可）创建一个slot：SELECT * FROM pg_create_logical_replication_slot('regression_slot', 'test_decoding’);获取slot记录的变更日志：postgres=# in...
2019-05-27 15:05:00
2077
转载 zookeeper设置客户端连接超时被expired
在网络环境非常差的情况下，使用zookeeper集群往往会遇到连接expired了：客户端提示连接从ZOO_CONNECTION_STATE变为ZOO_EXPIRED_SEESION_STATE，然后应用失去与zookeeper集群的连接。在使用过程中，我们一般会加大客户端的rec_timeout值，例如设置为30s，但对是否发生expired没有太大影响，仔细查看文档发现要在服...
2019-05-22 17:23:00
2316
转载 pg_receivewal实践
测试从pg_receivewal的日志中恢复从库为主库：主从配置async模式，配置pg_receivewal接收日志pg_receivewal -D /dbaas/pg/data/pg_receivewal_data -v -h 10.9.10.202主插入1000万数据，当插入一半时，停止从库主库插完数据，停止将pg_receivewal的日志拷贝到从库/dba...
2019-05-15 11:49:00
420
转载 PostgreSQL设计之初的大量论文
引自：https://www.docs4dev.com/docs/zh/postgre-sql/11.2/reference/biblio.html#STON86该网站是一个PostgreSQL手册的中文翻译，我们一般看的是PDF版本的，但那个没有目录层级不方便查找。参考书目SQL和PostgreSQL的精选参考和读物。来自原始POSTGRES开发团队的一些白皮书和...
2019-05-14 15:00:00
295
转载 PostgreSQL dblink使用过程
安装：进入/root/postgresql-11.2/contrib/dblinkmake && make install切换到postgres用户[root@fce40690-0e46-4603-e80e-ca351bda31ec dblink]# su - postgres上一次登录：三 5月 8 03:47:54 UTC 2019pts/...
2019-05-08 17:57:00
1026
转载 oracle_fdw安装及使用（无法访问oracle存储过程等对象）
通过oracle_fdw可以访问oracle中的一些表和视图，也可以进行修改，尤其是给比较复杂的系统使用非常方便。（但不能使用oracle_fdw来访问oracle的存储过程、包、函数、序列等对象）1.安装oracle_fdw:1）编译安装oracle_fdw之前，需要安装Oracle的客户端程序;下载地址：http://www.oracle.com/te...
2019-05-06 11:05:00
765
转载 PostgreSQL索引思考
当在看Monetdb列存行只支持IMPRINTS和ORDERED这两种索引，且只支持定长数值类型时，就在思考，对于列存，还有必要建索引吗？在PostgreSQL的索引就要灵活很多，我对常用列建合理的索引，是不是能达到列存的效果？（肯定没有）。当然，有索引还是快很多：1）对于整型列来说，应该是用ORDERED索引，建类似于btree索引，将数据按大小进行了排序，当执行>...
2019-05-05 16:18:00
582
转载 PostgreSQL11.2 configure卡住 checking for DocBook XML V4.2
在PG11.2的数据库编译过程中，卡在了“checking for DocBook XML V4.2”，不动，需要安装docbook才可以。需要安装：yum install docbook-dtds docbook-style-xsl fop libxslt -y一般在编译前，还需要两个库：yum install readline-devel.x86...
2019-04-20 00:59:00
627
转载 配置ssh互信的一个小问题记录
在我们安装集群软件时，经常需要配置机器之间的互信，每个人也有一套自己熟悉的方法。但是在今天配置互信过程中，发现操作过程还是一样，但是就是不能互信，通过查找资料解决了，做一下记录。我经常使用的方式：三节点为例：10.9.10.15010.9.10.15110.9.10.152#在各个节点执行，生成公钥ssh-keygen -t rsa ...
2019-04-11 18:51:00
235
转载 PostgreSQL误删操作怎么处理
方式一： PostgreSQL中没有Oracle的闪回机制，只有更加复杂的PITR恢复机制，这要求数据库有全量备份和增量备份，否则无法进行回滚。方式二： 虽然PostgreSQL有延迟复制的技术，在备库设置recovery_min_apply_delay时间，但是数据库control信息和wal日志都已经接收到备库了，备库到了间隔时间就会进行回放。这样的情景一定情况...
2019-03-28 15:14:00
3807
转载 由pg_xlogdump统计信息想到的问题
最近深入理解了Checkpoint的相关逻辑，再来看WAL日志的一些设置，又有了新的收获。1.回顾pg_xlogdump出来的wal日志信息；2.wal中FPI的占比很高问题分析；3.重申full_page_writes的作用；4.解决wal日志很大的问题，使用压缩更靠谱。不建议将full_page_writes设置为false来提升性能，就像把fsync设置为fa...
2019-03-28 11:46:00
445
转载 PostgreSQL数据库创建只读用户总结
好久没有弄，有点忘了，今天有客户问这个问题，发现几个SQL还解决不了，于是总结一下：--以超级用户登录数据库，创建用户：postgres=# create user test_read_only password 'test_read_only';CREATE ROLE --设置为只读的transaction：postgres=...
2019-03-25 17:22:00
1117
转载 Linux内核参数优化记录
//fs.file-max 最大打开文件数//fs.nr_open=20480000 单个进程允许打开的文件句柄上限//信号量及共享内存，可以使用ipcs -l来获取//kernel.sem 信号量: 每个信号集中最大信号量数目 系统范围最大信号量数目 每个信号发生时的最大系统操作数 系统范围内最大信号集总数目 第一列*第...
2019-03-18 19:37:00
204
转载 多种数据库之间的同步工具SymmetricDS
代码：https://github.com/JumpMind/symmetric-ds原理： 通过触发器模式同步时，是将数据库的变化记录到某个系统表中，然后在客户端建立缓冲，并定期将变化push到接收端，接收端和发送端建立通道，并定期pull新的数据变化，并在目标数据库回放。--这个过程会有一定的延迟，和性能影响，但是只要数据库支持触发器，都可以使用SymmetricDS来...
2019-02-18 14:03:00
446
转载 关于LUN和卷的思考
LUN：logical unit number 是指硬件层分出的逻辑盘，OS仍然把这些逻辑盘看成是物理盘。 例如将一个1PB磁盘柜划分为100个相同大小的lun，那么每个lun的大小就是10TB，lun0表示从第一个磁盘块到第10TB的磁盘块，lun1依次往后划分。这是在逻辑上将磁盘进行了分区，对应的lun只能使用本lun的空间。 我们SICS总线可挂接的设备是有限的，...
2019-02-15 11:25:00
480
转载 学习PG内部原理的一个不错的博客
http://www.interdb.jp转载于:https://www.cnblogs.com/kuang17/p/10255797.html
2019-01-11 16:22:00
193
转载 PostgreSQL角色和权限理解
1.继承的权限只是继承该组的表的权限，用户对应的管理员权限则不会被继承。2.inherit权限是说本角色是否继承别人的权限，而不是本权限能否被别的角色继承。postgres=# create role test0 createdb createrole login;CREATE ROLEpostgres=# \du ...
2019-01-09 11:55:00
169
转载 PostgreSQL脱敏示例
mydb=# create table test_desensitization(id integer, name varchar(32), phone_num varchar(11));CREATE TABLEmydb=# insert into test_desensitization select num, 'name_'||num, 18500000000+(rand...
2018-12-20 00:46:00
773
转载 PostgreSQL psql中如何查看快捷功能的对应函数
在psql中，我们可以通过一系列的的快捷命令查看数据库元素，如：\d 查看当前搜索路径下的表，那么内部用到的SQL语句是什么呢，可以通过命令来设置是否打印出来：apple=# \set ECHO_HIDDEN onapple=# \c mydbYou are now connected to database "mydb" as user "apple"....
2018-12-18 12:29:00
149
转载 PostgreSQL逻辑复制槽 pg_recvlogical test_decoding wal2json
Schema | Name | Result data type | Argument data types | Type------------+--------------------------...
2018-12-18 12:24:00
1878
转载 记一次内存占用过高的分析
客户给我反应，他们的PostgreSQL服务器的内存占用率高达99%，只有一点内存可以分配了，让我帮忙看看。没有问题，虽然剩余内存很少了，只有500M左右，但是其中cache的内存很多，应用可分配的内存依然有50G，不用担心。首先看看/proc/meminfo内容：xxxx:~ # cat /proc/meminfo MemTotal: ...
2018-12-11 15:23:00
316
转载 数据库一致性解读
ACID： - Atomicity: the transaction is either completely or not at all. For this, the beginning of the transaction is marked with the BEGIN command, and the end is either COMMIT (commit chang...
2018-12-10 15:42:00
188
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人