murkey的专栏

原创 Oracle Exadata X8M： 终结 DIY 数据库系统

Oracle Exadata X8M： 终结 DIY 数据库系统概述自进入电子时代以来，供应商之间一直在展开激烈的技术较量。较量的一方是提供全面集成、工程化设计、全方位实施和管理的交钥匙系统的供应商，另一方是提供自构建 (DIY) 商用组件方案的供应商。DIY 解决方案实施者认为，用现成组件自行构建系统的成本更低，而且在功能和性能上丝毫不逊色于交钥匙系统。早在 1970 年代，当立体声系统首次面世时，许多人就开始使用组件自行构建立体声系统。在 1970 和 1980 年代，P...

原创 Oracle Goldengate 打通数据贯通的金桥--原厂笔记

主要议程云下云上数据贯通从报告中我们可以看到一些有趣的数据：93%的企业采用了多云策略，41%的应用程序在多云之间数据集成，61%的组织计划将重点放在云迁移上。通过这些数据可以预见未来多云环境下的数据同步需求将出现爆发式的增长数据集成的需求零停机迁移、为数据湖/数仓供数、读写分离、多云之间数据同步、双活容灾、流数据实时分析这些需求都需要实时数据同步来解决，所以在今天人们比以往更需要数据实时同步。技术调整我们的Oracle解决之道就是GoldenGate数据实时同步解决方案。Golde

原创 PostgreSQL的数据类型及日常实践笔记

PostgreSQL常用数据类型及实践数据类型是编程语言中，在其数据结构上定义的相同值类型的集合以及对该相同值集合的一组操作。而数据类型的值存储离不开变量，因此变量的一个作用就是使用它来存储相同值集的数据类型。数据类型决定了如何将代表这些值的集合存储在计算机的内存中。变量一般遵循先声明后使用的原则。而在数据库中，变量就是字段，用字段来表示一组相同值类型的集合，其实也是先声明后使用的原则。PostgreSQL支持丰富的数据类型，包括一般的数据类型和非常规的数据类型。一般数据类型包括数值型，货币类型，字符类

原创 PG的安全管理

文章目录PG的安全管理1 PG的不安全因素2 PG的安全概念要素3 pg_hba.conf文件4 监听配置5 连接的参数配置6 sha-256加密7 ident验证8 SSL配置9 实例级别的安全10 数据库安全11 Schema权限12 表和列 行级别的安全13 其他PG的安全管理1 PG的不安全因素不安全因素1、自然灾害2、网络攻击（SQL注入脚本攻击DoS攻击）3、数据不安全（没有对数据加密）2 PG的安全概念要素PostgreSQL中的一些概念监听相关的文件pg_hba.con

原创 19C database expdp impdp error:ORA-39155 ORA-48128

19C database expdp impdp error:ORA-39155 ORA-48128文章目录19C database expdp impdp error:ORA-39155 ORA-481281 imdp报错2 分析3 再次尝试导入还是识别的报错4 cluster=n搞上去1 imdp报错导出文件是从hp unx for oracle10g的导出文件，再往19c rac for linux导入时候报错Copyright (c) 1982, 2019, Oracle and/or it

原创 PG的并发控制

PG的并发控制文章目录PG的并发控制1.1 为什么需要MVCC1.2 不同的MVCC机制1.3 MVCC 设计的几个概念1、事务ID2、tupe3、ctid4、xmin5、xmax6、cmin/cmax1.4 MVCC的工作机制1.4.1 插入数据实例1.4.2 修改数据实例1.4.3 删除数据实例1.4.4 数据操作总结来说1.5 快照15.1、快照模型二、PostgreSQL工程实践MVCC并发控制MVCCS2PLOCCPCC基于锁定的并发控制X锁Exlusive Locks排他锁.

原创 PG的事务和并发控制

PG的事务和并发控制1 概述事务与并发控制数据完整性有关并发与吞吐量有关并发体现的方面网络吞吐量CPU使用率IO使用率内存资源使用率其他资源消耗** 并发可能会引起事务的混乱**ACID特性控制数据库并发基于锁的并发控制（ Locked- based Concurrency Control基于多版本的并发控制（ MVCC Mutil Version Concurrency Control）广义上的并发控制MVCC读写互相不阻塞S2PL（严格两阶段锁定 Strict tw

原创 PG的进程架构

3 PG的进程架构文章目录3 PG的进程架构运行流程分析1 Postmaster主进程和服务进程2 BgWriter（后台写）进程3 PgArch（归档）进程4 PgStat（统计数据收集）进程5 AutoVacuum（自动清理）进程6 WalWriter（预写式日志写）进程7 CheckPoint（检查点）进程**8. SysLogger进程**PostgreSQL采用的是经典的C/S架构模型。运行流程分析当一个前端数据库应用程序需要访问数据库：调用libpq，将连接请求发送给Postmas

原创 PG的逻辑结构和内存结构

​PG的逻辑结构和内存结构PostgreSQL体系结构-物理结构物理结构数据库集簇布局数据库布局表和索引文件的相关布局表空间的布局堆表文件的内部结构对于数据的访问（堆元组的读写）PG对比ORACLE的逻辑结构逻辑结构一个数据库实例对应多个数据库（ PostgreSQL MySQL SQLServer）一个数据库实例对应一个数据库（ Oracle）多个数据库实例对应—个数据库（ ORACLE RAC）一个PostgreSQL数据库服务下可以有多个数据库，多个数据库之间无法互相访问

原创 PG的物理结构

PG的物理结构http://ke.sandata.com.cn/course/26/task/379/show1 数据库的体系架构分解PostgreSQL体系架构之物理结构OraclemysqlGreenplumredis体系架构：逻辑结构物理结构进程结构内存结构PG的物理结构：ORACLE的物理结构：相关的问题（参数文件 控制文件 密码文件 数据文件|数据 UNDO TEMP REDO）2 PG的物理结构本质上都是PG的相关一些文件DATABASE CLUSTER 数

原创 Postgresql generate_series函数使用

generate_series函数使用文章目录generate_series函数使用**一、简介****二、语法****三、实例3.1) int 类型3.2) 时间类型3.3) IP类型一、简介PostgreSQL 中有一个很有用处的内置函数generate_series，可以按不同的规则产生一系列的填充数据。二、语法函数参数类型返回类型描述generate_series(start, stop)int 或 bigintsetof int 或 setof bigint(

原创 Greenplum索引管理

Greenplum 索引文章目录Greenplum 索引1 概述1.1 索引不是万能的，无副作用的1.2 主键自动创建索引，分布表索引见到主表2 索引的命名规范3 索引使用规范3.1 索引需要考虑的因素4 Greenplum 支持的索引类型5 Greenplum索引分类及适用场景6 索引测试6.1 bitmap索引6.3 B-tree索引6.3 表达式索引7 检查索引使用PostgreSQL 目前支持8种索引接口，包括B-Tree, hash, gin, gist, sp-gist, brin, ru

原创 Greenplum大表分区

Greenplum大表分区表分区让我们能通过把表划分成较小的、更容易管理的小块来支持非常大的表，例如事实表。 通过让Greenplum数据库查询优化器只扫描满足给定查询所需的数据而避免扫描大表的全部内容，分区表能够提升查询性能。文章目录Greenplum大表分区1 关于表分区2 分区与分布的区别3 与PostgreSQL分区表的区别：4 Greenplum数据库中的表分区5 决定表的分区策略6 创建分区表6.1 定义日期范围分区表6.1.1 实验环境测试6.2 定义数字范围分区表6.3 定

原创 Greenplum表存储模型

Greenplum表存储模型文章目录Greenplum表存储模型1 背景2 堆表和AO表2.1 堆表和AO表的原理2.1.1 堆表2.1.2 AO表2.2 什么时候选择堆表2.3 什么时候选择AO表2.4 创建一个堆表2.5 创建一个AO表3 行存和列存3.1 行存和列存的原理3.1.2 行存3.1.3 列存储3.2 什么时候选择行存3.3 什么时候选择列存3.4 创建一个列存储表4 压缩（只适用于追加优化表）和非压缩4.1 压缩的方式4.2 压缩的算法4.3 压缩因素4.4 创建一个压缩表(表级别)4.

原创 Greenplum表的管理实践-2 表分布策略

5 Greenplum表的管理实践-2 表分布策略文章目录5 Greenplum表的管理实践-2 表分布策略5.1 表分布策略控制表的分布策略。选择法则：声明分布键自定义分布键哈希函数自定义哈希操作符类用例测试hash分布1 创建hash分布表2 生成数据3 检查数据分布情况测试随机random分布1 创建表2 生成数据3 检查数据分布情况改变表的分布策略本文主要从表的分布策略，Greenp...

原创 Greenplum架构最详解读

Greenplum架构最详解读视频地址：https://www.ixigua.com/i6818046560299909645/ 大概 1小时文章目录Greenplum架构最详解读*引言\*****数据库管理系统****Greenplum整体架构****存储管理****索引****查询执行****事务与日志**引言**4月17日，我们和阿里云合作，举行了《Greenplum内核揭秘》系列...

原创 Greenplum表的管理实践-1

Greenplum表的管理实践-1本文章主要介绍和实践如何创建、修改、删除表，包括临时表的管理，同时针对表的约束，包括非空，唯一，主外键，默认等，另外还会简单进行数据的插入和修改，删除的实验操作。文章目录Greenplum表的管理实践-11 创建表2 创建临时表2.1 会话级临时表2.2 创建会话级别的临时表3 约束3.1 字段级别的check3.2 表级的check3.3 非空约束3...

原创 PostgreSQL 数据类型整理

PostgreSQL 数据类型整理文章目录PostgreSQL 数据类型整理1 数值类型1.1 整数类型1.2 任意精度数值1.3 浮点类型1.4 序列号类型（Serial）2 货币类型3 字符类型4 二进制数据类型5 日期/时间类型6 布尔类型7 枚举类型8 几何类型9 网络地址类型10 位串类型11 文本搜索类型12 UUID类型13 XML Type14 JSON类型15 阵列/数组类型...

原创 Greenplum 数据库和schema管理

Greenplum 数据库和schema管理文章目录Greenplum 数据库和schema管理关于模板和默认数据创建一个数据库克隆一个数据库创建一个不同Owner的数据库查看数据库的列表修改一个数据库删除一个数据库Scheme管理一个Greenplum数据库是Greenplum数据库的一个单一实例。 可能会安装有多个单独的Greenplum数据库系统，但是通常只会用环境变量设置...

原创 Greenplum表空间管理

本文介绍如何创建表空间，如何在表空间上创建数据库，如何查询表空间和database；目录1 表空间的概述2 创建filespace2.1 检查当前的配置情况2.2 合理利用高速盘的方案2.3 创建文件系统目录2.4 创建配置文件2.5 按照相关命令进行创建文件目录3 创建表空间4 相关查询5 临时文件和事务文件的迁移1 表空间的概述表空...

原创 Greenplum用户管理和权限管理

Greenplum用户管理和权限管理本文介绍如何创建用户，查看用户，授权权限和pg_hba.conf配合修改以及删除用户一些用户相关的测试。目录Greenplum用户管理和权限管理1 role和权限1.1 角色和权限的安全最佳实践1.2角色的属性1.3 角色的继承性1.4 对象权限1.5 用户和角色区别2 相关测试2.1 创建一个登录角色2.2 ...

原创 Greenplum的日志管理

Greenplum的日志管理本篇文档首先介绍GP的日志架构，日志工具的使用说明，然后介绍一下日志的定期清理配置案例目录Greenplum的日志管理日志架构日志路径日志说明日志常用的参数和配置方案日志过滤工作的使用检查segment日志gplogfilter+gpssh工具组合在所有segment节点进行查找查看时间段的筛选g...

原创 10. Greenplum高可用架构

10. Greenplum高可用架构与数据持久化论述Greenplum数据库系统的高可用可以通过提供容错硬件平台实现，可以通过启用Greenplum数据库高可用特性实现，也可以通过执行定期监控和运维作业来确保整个系统所有组件保持健康来实现。硬件平台的最终故障，可能因为常见的持久运行故障或非预期的运行环境。异常断电会导致组件临时不可用。系统可以通过为可能故障的节点配置冗余备份节点来保...

原创 Greenplum数据库配置管理-参数配置管理和常用参数优化建议

GPDB 的系统配置服务器配置文件包含着配置服务器行为的参数。Greenplum数据库的配置文件postgresql.conf 位于数据库实例的数据目录之下。Master和每一个Segment实例都有自己的postgresql.conf文件。 一些参数是本地的：每个Segment实例检查它的postgresql.conf文件来得到这类 参数的值。在Master和每一个Segment实例上...

原创 Greenplum学习计划--设计与进展

简介 架构 架构讲解 版本说明 新特性 数据分区和分区特性 数据仓库、数据湖、数据集市与数据中台 新特性 6.0的新特性 Postgresql 10的新特性 安装 实验环境 安装步骤和思路 安装配置的最佳实践 ...

原创 Greenplum实战---Greenplum连接登录测试

# Greenplum连接登录测试> 本文章记录Greenplum数据库的登录测试，主要利用的psql客户端工具## 1、psql的帮助信息```bashpsql -help[gpadmin@mdw bin]$ psql --helpThis is psql 8.3.23, the PostgreSQL inter...

转载 pgBouncer管理和使用案例

[转]PostgreSQL数据库连接池Pgbouncer的搭建最近有些项目我们是采用PostgreSQL进行后端数据库，由于要对客户端的连接使用类型和连接数进行控制，因此我们采用PgBouncer来进行实施。PgBouncer相关的基本文档pgsqldb中文站已经有不少文档，这里我就不再作过多的说明，我将集中对其中的几个要点和我实践中遇到的问题和大家分享一下。OK，肺话也不多少，开始正...

原创 Greenplum 连接管理

Greenplum 连接管理Greenplum 连接管理5 Greenplum 连接管理5.1 客户端应用5.2数据库应用接口5.3用psql连接5.4连接问题的发现及解决5.5PgBouncer连接池配置PgBouncerPgBouncer授权文件格式为PgBouncer配置基于HBA的授权启动PgBouncer管理PgBouncer5 Greenplum 连接管理5.1 客户...

原创 启动和停止Greenplum数据库和停止客户端进程操作

启动和停止Greenplum数据库和停止客户端进程操作在一个Greenplum数据库管理系统中，所有主机上的数据库实例（Master和所有的Segment）一起被启动或者停止，启停操作统一由Master实例发起，它们步调一致，在外界看来是一个完整的数据库管理系统。由于一个Greenplum数据库系统分布在很多机器上，启动和停止一个Greenplum数据库系统的过程与普通Postgre...

原创 RAC系列-推荐书籍（中文版本）

推荐书籍系列-RAC管理1 大话RAC系列--张晓明 2部2 RAC日记 -白鳝 白大师3 RAC核心技术讲解-高斌（原厂）4 Oracle 11g RAC管理手册（译文）5 深入理解RAC （译文）6 高可用环境--陈吉平（远古大神）...

原创 DBA系列-推荐书籍（中文版本）

DBA系列-推荐书籍1.1 eygle大师的DBA手记系列分为4本书，比较老，已经可以下载正版电子版这里提一句：eygle老师的书我都有，值得品读，值得收藏1.2 Oracle DBA工作笔记---为了认真坚持，杨建荣1.3 DBA实战攻略-- 周亮（壮汉，实在）1.4 Oracle编程艺术（我从...

原创 Postgresql 学习思维导图和计划（2周）

原创 Oracle异地RAC 简单介绍(Extended Distance Clusters)

Oracle异地RAC 简单介绍(Extended Distance Clusters)Oracle Extended Distance Clusters指的是RAC的节点分别放在不同的地方，这些节点可以放在不同的机房，也可以放在不同的城市主要条件距离最好小于100KM,两节点之间要有独用的光纤专线(国内有案例是租用裸光纤)主要用途不适合于全量灾备恢复，只适合防范...

原创 RAC常用检查命令参考

1.2.1 检查集群状态[grid@rac1 ~]$ crsctl check clusterCRS-4537: Cluster Ready Services is onlineCRS-4529: Cluster Synchronization Servicesis onlineCRS-4533: Event Manager is online1.2.2 所有Oracle实例（数据库...

原创 在AIX上运行RAC时网络方面的一些最佳经验

在AIX上运行RAC时网络方面的一些最佳经验Oracle推荐使用Etherchannel来配置网卡绑定，推荐主/备模式的网卡绑定，主/主(Active/Active)模式不推荐，因为主/备模式更稳定一些。2. Oracle针对网络的另外一个推荐是使用Jumbo Frames，网卡和交换机支持9000 MTU 大小就可以启用。MTU (Maximum Transmission Unit)是指最...

原创 AIX 的RAC巡检文档

AIX下RAC巡检文档一、操作系统查看11> 查看操作系统（AIX 文件系统是否合理）方式: " df -m ,查看所有的文件系统大小 是否>2G"结果类似下面:$df -mFilesystem MB blocks Free %Used Iused %Iused Mounted on/dev/hd4 2048.00 ...

原创 主机os重装的节点加回RAC集群步骤示例

主机os重装的节点加回RAC集群步骤示例很多客户遇到过这样的情况：由于RAC其中一个节点的主机OS损坏，需要重装。而重装后怎样把节点加回集群呢？这里将涉及的步骤整理如下：1. 清除重装主机的OCR条目（这里以节点2重装为例，请将node2换成您节点2的主机名）# crsctl delete node -n node2要检查上述步骤是否成功，在尚存执行“olsnodes”即可...

原创 RAC修改归档模式

1、检查SQL> archive log list;SQL> Select NAME, CREATED, LOG_MODE, CHECKPOINT_CHANGE#, ARCHIVE_CHANGE# from V$DATABASE;show parameter USE_DB_RECOVERY_FILE_DESTshow parameter DB_RECOVERY_FILE...

原创 修改 CSS misscount，disktimeout参数

Steps To Change CSS Misscount, Reboottime and Disktimeout ( ID 284752.1)In this DocumentPurposeScopeDetailsA. 10.2.0.1 without the fix of bug 4896338B. 10.2.0.1 with the fix of bug 4896338, 10.2...

原创 Oracle 11g RAC的新特性讲解

Oracle 11g RAC的新特性讲解网格即插即用(GPnP) 网格即插即用帮助管理员来维护集群，以前增加或删除节点需要的一些手动操作的步骤现在可以由GPnP来自动实现。 GPnP不是一个单独的概念，它依赖于以下特性：在一个XML配置文件中储存集群信息；集群时间同步(CTSS)；网格命名服务(GNS)；单一客户端访问名称(SCAN)；服务器池(Serve...