- 博客(65)
- 收藏
- 关注
RSS订阅原创 GlusterFS 分布式文件系统使用
GlusterFS 是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。GlusterFS同时也是Scale-Out（横向扩展）存储解决方案Gluster的核心，在存储数据方面具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。
2024-03-23 09:00:00
565
原创 Postgresql用户审核管理
通常情况下，我们数据库只允许gwtest02用户连接，加了新用户后，要添加远程连接权限。gpmon 监控 (数据库gpperfom权限)gwtest03 业务访问用户 (业务库增删改查权限)gwtest01 管理员用户 (所有库的增删改权限)源码包自带功能，只需要将包配置加入到lib目录里即可，如下。gwtest02 超级管理员用户 (所有权限)使用gwtest03 模拟登录五次失败。pg_ctl reload 生效。
2024-03-21 09:00:00
167
原创 Elasticsearch常用语句
1、查看整个集群的状态, 其中segments.count 为段总数。2、修改节点最大分片数： 将索引每个节点的最大分片数增加至6个。3、修改所有副本数： 将索引副本数增加至1。其中sm 即为segment memory。2、查看每个段，计算行数，统计总个数。3、查看具体某个索引段个数。
2024-03-19 22:17:02
377
原创 MySQL与PostgreSQL 的一些SQL
gp的每个节点会有一个gp_segment_id 是唯一的，每个节点的每一行会有一个ctid，是节点层面唯一的， 所以可以根据 这2个字段，确认一个集群中唯一的行，即使它们的数据是完全重复的。下面的PARTITION BY id，就是选择重复信息的粒度， 写id就是id重复就删，如果完全一样再删，就得将字段都写上。多个SQL捆绑执行，当多个SQL无法分事务执行时，可以使用declare 将其绑定一起， 其中也可以写分支或者循环。查看哪些表没有主键，mysql的主键很重要，需要指定好主键。
2023-11-24 22:42:22
874
原创 Greenplum的数据库年龄检查处理
Greenplum是基于Postgresql数据库的分布式数据库，而PG数据库在事务及多版本并发控制的实现方式上很特别，采用的是递增事务id的方法，事务id大的事务，认为比较新，反之事务id小，认为比较旧。事务id的上限是21亿，正常使用时，事务id只增不减，到达一定程度时，就会触发数据库告警直至数据库只读，无法创建新事务减少事务id的方法是执行提供的回收命令。gp一共是21亿可以使用，使用超过5亿就告警，超过11亿就锁库。
2023-11-23 21:50:35
635
原创 Clickhouse设置多磁盘存储策略
clickhouse安装完成以后，配置了一个默认的存储空间， 这个只能配置一个目录，如果要使用多个磁盘目录，则需要配置磁盘组策略。
2023-11-22 19:47:52
1078
原创 PostgreSQL体系架构(目录，进程，内存)
文章目录概述目录结构软件安装目录数据目录表空间进程结构守护进程postmaster日志进程 logger后台写进程 background writer预写日志 walwriter归档进程 archive自动清理 autovacuumcheckpointer 与 stats collector内存结构共享内存 share_buffer本地内存概述PostgreSQL数据库是由基于文件系统物理文件建立的，在数据库的运行过程中，整套高效严谨的的逻辑管理着这些物理文件。通常叫这些物理文件为数据库。将这些物理文件
2020-11-21 16:09:47
886
原创 Python连接数据库的类
文章目录概述python连接MySQLpython连接PostgreSQL概述一般来说，在使用python连接数据库的时候，喜欢先定义一个类，方便后续的使用类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。可以比喻为一个Word的模板，每次创建一个新的Word文件时，可以使用这个模板，对于经常使用的场景，非常方便连接数据库执行命令然后返回结果最后再断开连接，在写脚本时有时会经常做到，所以定义一个类python连接MySQL
2020-09-17 14:58:40
2106
1
原创 canal for RDS搭建
文章目录概述DTS数据订阅canal使用安装配置数据库源阿里云mq配置启动概述开发有个需求是需要观察记录部分表的变化情况，频繁的去查取很麻烦，所以想要一个binlog订阅，消费binlog来记录变化，考虑到阿里云的产品dts需要收费，所以选择用开源工具canal实现DTS数据订阅关于MySQL的binlog订阅，阿里云的数据传输DTS有实现相关功能，就是数据订阅功能基本的过程就是1、创建一个数据订阅实例2、配置数据订阅的源信息和网络类型3、配置需要订阅的数据类型和订阅对象4、利用消息订阅等
2020-08-13 16:07:39
2428
1
原创 MySQL导入dump文件踩的两个小坑
背景1、线上使用的是阿里云的RDS for MySQL，导入其数据库至线下，因为数据量不大，所以采用的是逻辑备份的方式。2、在控制台进行手动备份，然后下载下来，上传至本地服务器，准备导入数据3、本地环境是一组两备的mysql集群，主备状态正常GTID限制在导入的时候数据的时候发现报错ERROR 1840 (HY000) at line 24: @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty.
2020-06-19 10:31:23
1102
原创 Oracle DG_broker使用测试
文章目录概述环境背景基础配置修改监听打开相关参数配置dg broker手动切换测试故障转移切换配置故障转移测试故障转移概述DG_broker 是oracle dataguard 集群的一个管理工具，可以灵活的切换主备角色。也可以配置自动故障转移，对dba来说，熟悉它可以方便很多。本篇介绍dgbroker 基本的配置搭建方法，手动切换角色和配置自动故障转移的方法。自我学习，也分享给大家。环境...
2020-04-21 20:12:21
430
原创 RMAN-04006: error from auxiliary database
在搭建DG的过程中，之前都是使用备份集恢复数据库的。此次是使用在线恢复，使用duplicate恢复全库，发现报错如下[oracle@stephenDG admin]$ rman target sys/oracle@stephen auxiliary sys/oracle@stephenDGRecovery Manager: Release 11.2.0.1.0 - Production on...
2020-04-10 11:30:22
2399
原创 MySQL任务调度工具EVENT
文章目录概述如何开启权限赋予相关信息测试创建定时循环任务定某一时刻执行多个SQL概述MySQL的EVENT 是根据计划运行的任务，类似于Linux上的crontab 任务主要具有以下属性mysql中，定时事件的对象是全局唯一的event根据时间表来执行操作，包含一个SQL操作，也可以使用begin,end 实现多个SQL的复合执行event 的权限（创建修改和删除）进行控制赋予可以...
2020-03-20 17:00:59
431
原创 PostgreSQL设置开机自启动
文章目录概述测试环境systemctl 服务实现自带脚本实现附录概述为保证服务可靠性，数据库一般都要求在服务器启动时自动运行，pg也需要一定设置才能实现此功能，下面就检查测试介绍下postgresql（edb） 实现开机自启动的两种简单方法测试环境系统[ppas@stephen ~]$ cat /etc/redhat-release CentOS Linux release 7.7.1...
2020-03-16 11:55:56
5821
原创 Oracle从零学起_表空间
文章目录概述什么是表空间表空间的基本操作表空间相关的视图dba_tablespacesv$tablespace概述DATABASE–>TABLESPACES–>SEGMENTS–>EXENTS–>BLOCKS学习oracle 的表空间系统表什么是表空间oarcle数据库真正存放数据的是数据文件（data files）；Oarcle表空间（tablespaces）...
2019-12-24 16:27:17
156
原创 oracle：11g静默安装部署
文章目录概述安全前准备检查OS需求依赖包检查并安装准备用户设置内核参数检查Oracle软件安装的资源限制创建安装目录设置Oracle用户变量安装oracle上传安装包准备配置文件执行安装脚本分别执行这两个脚本配置监听建库使用概述oracle数据库的静默安装，相比于mysql和PG来说，oracle的安装稍微复杂一点。一方面对于系统本身有许多要求限制，另一方面oracle自己也有许多特殊的地方。...
2019-11-19 11:22:45
375
原创 PostgreSQL系统隐藏字段
概述在PostgreSQL数据库中，每个表都会有几个系统字段，这些字段是由系统隐含定义的。正常情况下是不对用户进行显示的。但是也可以查看到。通过了解这些隐藏字段。对pg的体系架构了解更深一步oid对象标识符，是各种系统表的主键。是一个四字节的无符号的整数系统不会给用户创建的表增加一个oid字段，但是可以使用‘with oids’选项为表增加oid字段。另外，表中的oid生成的序列值为全局的...
2019-09-18 17:00:04
2508
原创 PostgreSQL:SQL信息统计拓展
文章目录概述下载安装使用概述pg_stat_statements是PostgreSQL数据库的一个拓展插件，用于收集数据库中的SQL运行信息，例如SQL的总执行时间，调用次数，共享内存命中率等信息。用于监控数据库的性能，是数据库性能监控的重要拓展模块pg_stat_statements 默认在PG的源码包中就有，无需下载，但是需要手动配置安装一下，下面就来演示一次下载安装如果你是编译安装...
2019-08-27 16:31:38
528
原创 数据迁移工具DataX部署与使用
文章目录概述下载安装下载服务器配置开始安装测试使用准备数据创建配置文件执行同步操作总结概述DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。阿里云已经开...
2019-08-22 11:18:15
1602
原创 MySQL字段类型转换引发的索引失效
文章目录概述测试数据索引问题date与datetime字段类型转换导致的索引失效总结概述最近发现一个有趣的SQL优化场景，分享一下测试数据表结构CREATE TABLE `news_webpage` ( `id` int(11) NOT NULL AUTO_INCREMENT, `t1` varchar(100) DEFAULT NULL, `t2` text, `t2_...
2019-08-20 16:20:42
2124
原创 MySQL实现递归查询
文章目录概述测试环境测试表插入测试数据开始测试使用表连接临时表+存储过程使用函数概述前几日有客户咨询关于mysql实现递归查询的方法，当时简单了解了一下，觉得递归查询逻辑层面一种特殊查询方式。但是后来才发现这是一种很常见的查询需求，例如某些评论楼层的折叠显示、各类流程图等用递归查询都能实现。但是MySQL本身而言是没有实现递归查询功能，但是可以通过一些特殊的方法来实现此功能，本文就简单测试一些...
2019-08-13 14:52:32
2373
原创 MySQL主从复制学习
文章目录概述MySQL复制的优点MySQL复制的类型主备通用设置主库上的设置备库上的设置创建复制用户备库上的数据使用mysqldump使用 XtraBackup全备搭建主从建立备库连接半同步复制概述安装插件延迟复制概述信息显示概述之前学过MySQL主备的简单搭建，内容很少，这次就从官方手册的介绍系统的学习一下MySQL主备复制的相关知识MySQL复制的优点横向扩展解决方案：在多个从库之...
2019-07-18 16:31:51
138
原创 MySQL锁机制及其优化
文章目录概述锁的定义innodb中锁的类型latch的优化MySQL表锁的优化innodb行锁的优化死锁优化结语概述在一般的数据库驱动的业务中，很大的一个难点就是：在最大程度地利用数据库的并发访问的同时，还要确保每个用户能以一致的方式读取和修改数据，为此，MySQL就有了锁（locking）的机制。频繁出现的锁的不仅本身消耗着资源，也影响着数据库的运行性能，因此，做好数据库的锁优化，对于数据库...
2019-07-18 16:29:55
219
原创 MySQL 覆盖索引优化
文章目录概述客户优化场景测试过程建表生成测试数据SQL测试覆盖索引mysql的索引特点覆盖索引的优化及限制后记概述在最近的运维中，遇到一个慢SQL优化的问题，用户一个简单的SQL跑了30多秒，而我在尝试性的使用已有的其他索引进行查询后，SQL优化到了毫秒级别。这是意外的优化效果，而我却不知道原因，索引决定学习测试一下。客户优化场景客户的SQL很简单，就只是取出范围时间内，规定id范围内的所...
2019-07-18 16:27:20
245
原创 PostgreSQL9.6+新增空闲事务自动查杀功能
文章目录概述参数简介简单测试打开参数测试事物超时等待结语概述PostgreSQL9.6 版本较之前版本新增了一个参数：idle_in_transaction_session_timeout ，该参数是为了自动查杀存在的空闲事物idle in transaction。下面我们详细了解下这个参数参数简介PG在日常使用中会有 ‘idle in transaction’ 进程，引发这个进程的原因...
2019-04-24 14:11:08
898
原创 PostgreSQL 本地无密码执行命令
文章目录概述PostgreSQL的配置方法Greenplum的一些差异概述在平常的运维数据库的过程中，会遇到一个问题。反复的输入用户密码会让人很烦扰。尤其在客户的生产系统中，密码复杂程度很高。更有一个重要的方面就是在运维脚本上，在脚本里做交互式的命令会很难弄，最好是做成无需密码那么密码文件就是这些问题的很好解决方法PostgreSQL的配置方法在postgres用户创建文件 .pgpa...
2019-04-17 16:16:07
1457
原创 PostgreSQL与MySQL 分析对比
文章目录概述ACID的遵从性(ACID Compliance )对比原子性（Atomic）一致性（Consistency）隔离性（Isolcation）持久性（Durability）对SQL标准的支持度对比支持的业务场景对比复制功能对比主要功能对比查询相关功能对比表的功能支持架构功能对比视图表功能对比加密使用功能对比后记概述在几个流行的数据库中，我首先接触到的是MySQL，随着工作发展，接触到...
2019-04-16 17:37:48
3295
原创 Greenplum扩容节点步骤
文章目录概述gpexpand命令纵向拓展原Greenplum集群状态生成参数文件利用参数文件执行拓展命令查看新添加的状态数据重分布横向拓展生成配置文件执行扩容命令重分布表概述greenplum扩容segment可以分为2类：单机上的seg增加，我们称之为“纵向扩展”单机不变，通过增加机器，我们称之为“横向扩展”下面详细介绍下这两种扩容方式的具体步骤和方法gpexpand命令首先我...
2019-03-29 11:17:08
4340
原创 为Greenplum 增加mirror节点
文章目录概述添加前情况添加步骤在所有需要添加mirror的主机，创建存放mirror的数据目录生成addmirror文件执行添加命令概述新安装的greenplum集群只有primary节点，没有mirror。高可用性没得到保证。所以就需要为集群添加mirror节点注意：数据量过大时添加mirror，会有较大的磁盘压力，因为后台会一直同步数据，这一点线上系统需要注意添加前情况初始化的时候只...
2019-03-25 17:18:49
1662
原创 用Python去PG中执行SQL并取出返回数据
文章目录概述安装psycopg模块yum安装或者手动安装模块包用pip安装使用测试连接我常用的连接类概述Python程序提供特定的模块来连接postgresql数据库，是psycopg2模块，使用该模块连接到数据库可以对其进行一些数据库操作，是自动运维pg的很好方式安装psycopg模块有些Python默认没有安装此模块，所以需要安装：yum安装有yum源可直接安装yum insta...
2019-03-21 14:04:21
2314
原创 Greenplum的一次紧急恢复
文章目录概述使用背景另辟蹊径后记概述客户的GP节点磁盘遭遇损坏，导致数据丢失。gprecoverseg命令无法恢复节点后做的一次非常规Greenplum恢复操作。使用背景在某次紧急运维下，我发现用户GP的某一个primary节点的状态异常，已经显示down掉，在确认所在的机器和磁盘没有异常后，我使用gprecoverseg命令去同步已经down的primary节点。但是失败了，在使用gps...
2019-03-18 15:36:54
1479
原创 Greenplum日常维护命令
文章目录1. 数据库启动：gpstart2. 数据库停止：gpstop3. 查看实例配置和状态4. gpstate ：显示数据库运行状态，详细配置等信息5. 查看用户会话和提交的查询等信息6.查看数据库、表占用空间7.查看数据分布情况8.实例恢复：gprecoverseg9.数据库备份 gpcrondump10.数据库恢复 gpdbrestore11.参数查询12.创建数据库13.创建GP文件系统...
2019-03-18 11:46:15
2015
原创 时序数据库：TimescaleDB的安装
文章目录概述YUM安装创建yum源选择版本安装编译安装使用yum方法失败安装好cmake 3.4+下载源码执行bootstrap添加动态库参数创建拓展概述TimescaleDB是由PostgreSQL支持 的开源时间序列数据库，昨晚PG插件的形式存在，如果要使用到相关时序的功能，需要安装上此插件。安装方法有以下两种YUM安装如果你的PG是使用YUM网络安装，则可以同样使用该方法安装Time...
2019-03-15 14:58:41
6091
5
原创 PostgreSQL中间件：pgpool简单安装
文章目录概述安装准备高可用切换脚本启动pgpoolpcp管理接口装置概述Pgpool 是一个基于pg的强大的中间件，可以提供很多功能，如连接池，负载均衡，高可用，复制等，下面就来简单描述下它的安装步骤参考技术书籍《PostgreSQL实战》完成安装准备下载地址http://www.pgpool.net/yum/rpms/4.0/redhat/rhel-7-x86_64/选择合适的安...
2019-03-12 10:28:19
2577
原创 Python编辑器：Pycharm简单使用
文章目录安装新建项目配置解释器安装模块设置编码设置脚本头常用快捷键可视化连接数据库安装pycharm 不要用汉化的Windows 64位 需要激活新建项目新建工程配置解释器在设置里setting > project：项目名 > project interpreter > 可以选择解释器 > add来添加可以通过远程Linux主机中的python来解析...
2019-03-11 14:56:37
465
原创 MySQL：搭建主备复制
文章目录概述环境信息搭建步骤主库的相关配置搭建备库建立主备连接查看备库的状态概述学习一下MySQL搭建备库主从复制就是从库利用主库的binlog进行实时的恢复1、从库启动一个线程，连接主库io线程2、主库接受连接，启动一个线程dump线程3、dump线程读取binlog，将binlog日志传给从库的io线程4、io线程将接收到的binlog日志，写入到从库的relaylog日志中5...
2019-03-06 17:44:47
941
原创 PostgreSQL：WAL日志归档策略
文章目录概述参数配置归档策略脚本概述今天分享一个PostgreSQL数据库配置wal日志归档的策略。所谓wal日志归档，就是把在线的wal日志备份出来。说起来简单，但是在正式的系统上需要一个完备的归档策略，以备系统所需稳定参数配置在开启wal日志归档，首先需要设置几个参数wal_level = replica该参数的可选的值有minimal，replica和logical，wal的...
2019-03-06 11:03:06
4137
原创 PostgreSQL 自动补齐（readline）问题
文章目录概述问题描述原因查找问题解决概述平时我在使用数据库时，一般都是使用命令行操作，PG是我使用最方便的数据库，可以自动补全命令，命令提示，敲出来的命令肯定不会错。但是在新建的一个系统中发现不能使用该功能，很苦恼，找了一下原因。问题描述[postgres@erp-db01 ~]$ psqlpsql (10.6)Type "help" for help.postgres=# \d...
2019-02-21 16:43:09
4794
原创 PostgreSQL备份工具：pg_rman编译安装
文章目录概述准备工作postgres环境需要的 packages获取源码包版本错误的报错编译安装回归测试概述pg_rman 是一个专门为pg打造的在线物理备份工具，类似于oracle的rman，今天，我们就来学习一下如何编译安装一个pg_rman准备工作postgres环境既然是为了备份pg而存在的工具，我们安装使用它，首先需要有pg环境，最好是编译安装。不管是root还是postgre...
2019-02-20 16:15:42
1969
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人