长期深耕于云计算、大数据、数据库领域！

原创 MySQL备份之Xtrabackup 2.1.7 源码安装

MySQL备份之Xtrabackup 2.1.7 源码安装

原创 DBA职业规划技术成长路线

DBA职业规划技术成长路线

原创 Oracle学习路线与方法

Oracle学习路线与方法

原创 DBA工作指南

***************************************             系统DBA工作指南***************************************一、 工作内容. 1、产品数据库相关的硬件上线测试, 以及配合SA做硬件的维护 2、产品数据库的监控,备份,恢复. 以及调优 3、协助开发DBA提高应用质量

转载 TBase-建表

作者：XuYuchong1、创建数据表1.1、创建shard普通表说明： distribute by shard(x) 用于指定分布键，数据分布于那个节点就是根据这个字段值来计算分片。 to group xxx 用于指定存储组（每个存储组可以有多个节点）。 分布键字段值不能修改，字段长度不能修改，字段类型不能修改。 1.2、创建shard普通分区表[tbase@VM_0_37_centosshell]$psql-h172.16....

转载 TBase数据同步Kafka

作者：XuYuchong1，环境变量配置/etc/profileexportJAVA_HOME=/opt/jdk1.8.0_40exportCLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportHADOOP_HOME=/opt/hadoop-3.3.0exportPATH=$PATH:$JAVA_HOME/binexportPATH=$PATH:/opt/hadoop-3.3.0/bin/:/op...

转载 tbase配置hdfs备份

作者：XuYuchong1，系统环境变量配置exportJAVA_HOME=/opt/jdk1.8.0_40exportHADOOP_HOME=/opt/hadoop-3.3.0exportPATH=$PATH:$JAVA_HOME/binexportPATH=$PATH:/opt/hadoop-3.3.0/bin/:/opt/hadoop-3.3.0/sbin2，配置hadoop，使用hadoop用户//本次测试使用了，单节点，伪分布式模式，搭建HDFS文件系统，用...

转载 深度解析查询执行计划

作者：崔鹏目录执行计划成本计算索引概述Auto_explain目标1.explian SQL分析工具的使用, 理解explain 的代价计算原理.2.掌握explain 输出的含义 (如 组合行集 , 节点处理 , 合并连接, 哈希连接)EXPLAINEXPLAIN [ ( option [, ...] ) ] statementn EXPLAIN [ ANALYZE ] [ VERBOSE ] statement ANALYZE [ boolean

转载 【无标题】

作者：XuYuchong软件架构:环境基础信息: etcd 192.168.5.220 2379 postgres0 192.168.0.200 5432 master postgres1 192.168.0.220 5432

转载 【直播预告】优化PostgreSQL Partial Writes（页裂）体系，大幅提升整体性能

转载 进程与内存架构

作者：崔鹏目录1.进程架构的概述2.内存架构的概述3.核心进程简介4.核心进程源码浅析进程架构概述1 – 体系架构概览记忆方法：3 + 5 + 8 + 5进程架构概述2Backend Processes概述后端进程，也称为postgres，由 postgres 服务器进程启动并处理由一个连接的客户端发出的所有语句。它通过单个 TCP 连接与客户端通信，并在客户端断开连接时终止。由于只允许操作一个数据...

转载 PostgreSQL技术文章：Database Cluster Table

原创崔鹏点击上方蓝色文字关注我们讲述PostgreSQL的"内功",帮助大家打牢基础。快速从初级DBA晋级到中高级DBA,作者认为学习技术和练习武功有异曲同工之妙。"内功"练习到"登峰造极的境界"飞花摘叶皆可伤人,学习技术依然如此。课程目录/CONTENT1.Database Cluster Table2.进程与内存架构3.查询相关4.FDW5.并发控制6.VACUUM7.HOT8.Buffer Manager9.WAL10.PI.

转载 腾讯云数据库TDSQL精英挑战赛邀您参加~

转载 PostgreSQL高可用之repmgr

作者：XuYuchong软件版本：PostgreSQL 13.4repmgr 5.3数据库安装规划： node_id node_name port data_directory 1 node1 5432 /data/n001 primary 2 node2

原创 腾讯云分布式数据库技术分享

目前国内分布式数据库背景：1.数据爆发增长：大数据时代，万物互联，业务数据量爆发增长，传统服务器读、写、存储，等遇到多方面压力过大。2. 扩展时效性：传统数据库进行高性能硬件的升级扩展时，进行数据迁移过程中需要充分考虑数据完整性、可用性以及切换上线调试时效性等对业务的影响。3. 冷热数据混合：热点数据集中访问导致系统的 CPU，内存，I/O读写短时间无法承受，服务器负载过大，响应延迟。4. 运行维护：大多为了降低延迟和响应时间，提高数据检索效率，采用中间件进行分库分表，需要手动维

转载 深度解析Write-Ahead Logging

崔鹏老师上周技术分享课 精华讲解内容简介1.Write-Ahead Logging概览2.Transaction log3.FPI4.WAL文件与记录的内部结构5.事务日志文件管理6.实例恢复7.归档8.WAL写放大浅析9.walminer、pg_waldump、wal2json工具浅析Write-Ahead Logging概览作用故障中,保证数据不丢失Point-in-Time Recovery PITRStreaming Replica..

原创 崔鹏老师受邀参加PG社区举办的数据库人才与业务生态应用专题讲座

2021年10月23日，崔鹏老师受邀参加PG社区举办的数据库人才与业务生态应用专题讲座，作为本次受邀嘉宾，崔老师将带大家了解PGHA 关于专网通信领域的研究。崔老师同时也是首批获得PGCM认证的大师，PG ACE伙伴，中国PG分会官方认证讲师。相信会给大家带来不一样的新知识。除了此次论坛，崔老师还受邀参加了1024程序员节年度科技盛宴，与众多大咖一起讨论互联网的未来，地址在长沙科技园。感兴趣的小伙伴可以看看。附上：附上：...

转载 pg_controldata 内容解释

作者：崔鹏内容解释pg_control version number: 是控制文件版本号。Catalog version number: 是系统表版本号，格式是yyyymmddN。Database system identifier: 数据库系统号 这个标识串是一个64bit的整数。Database cluster state: 记录实例的状态。源码文件中看到数据库的几种状态：starting up：表示数据库正在启动状态。shut down： 数据库实例（非Standby）

原创 如何从菜鸟到大神，一份从PostgreSQL CA(初级)到CM（专家级）认证培训进阶指南你需要知道

2021-10-09 16:52·云贝教育作者：胖墩老师走向大神的第一步国产数据库广泛基于PostgreSQL进行产品 开发。当前中国PostgreSQL就业市场主要 由传统数据库厂商、云厂商、应用软件开发 商、技术服务商、服务器厂商、咨询公司、 最终用户等组成。根据多家头部IT企业给出 的数据参考，PostgreSQL相关岗位需求正 在以70-150%的速度增长。PostgreSQL产 业形势的巨大发展变革，致使人才存量和行 业应用需求之间产生了明显差距。Postg

转载 MySQL的监控

作者：胖墩老师MySQL的监控通过日志文件来实现。那么MySQL的日志文件有哪些类型呢？MySQL使用以下这几种类型的日志来记录服务器活动信息。Error log错误日志:关于启动、关闭和异常情况的诊断消息（排查错误）General query log通用查询日志:服务器从客户端接收到的所有语句（全局监控）Slow query log慢速查询日志:执行时间较长的查询（性能优化）Audit log审计日志:针对企业版的策略审计(主从搭配)Binary log二进制日志:用于.

原创 MySQL总结redo和undo

作者：胖墩老师Redo log（重做日志）定义：在它们被制成数据文件之前，存储这些修改操作。优点：这使得InnoDB可以优化数据写操作，这样它们就不需要同步进行用于：在崩溃恢复期间使用，InnoDB会在重做日志文件中重做操作，即使是那些在崩溃前没有写入数据文件的操作，这样以确保所有表的事务一致性位置：默认位于数据目录中用the innodb_log_group_home_dir option（选项）进行控制。Undo log（撤回日志）定义：存储被事务修改的未修改数据

转载 Linux8 搭建nginx web服务器

作者：泡杯长岛冰茶nginx 安装配置1. nginx 安装[root@localhost ~]# yum module list nginxUpdating Subscription Management repositories.Unable to read consumer identityLast metadata expiration check:0:06:10 ago on Mon20Sep202108:05:59 PM CST.local_AppSt...

原创 Linux8 搭建apache web服务器

作者：泡杯长岛冰茶Linux 8 web apache 配置1.1. 配置网络[root@localhost ~]# nmcli device statusDEVICE TYPE STATE CONNECTION ens192 ethernet connected --virbr0 bridge connected (externally) virbr0 ...

转载 VMware Workstation 虚拟机快照备份管理

作者：泡杯长岛冰茶1.快照管理虚拟机快照功能概述；快照是相当于虚拟机备份，当我们在虚拟机上做某些测试失败时，可以迅速地还原当初的状态，便于重新实验测试。1.1 创建虚拟机快照a)打开VMware Workstation pro点击虚拟机->快照->拍摄快照b)名称栏输入名称（输入一个有意义的名称，便于区分）c)点击快照管理d)点击快照获取快照信息1.2.还原快照a)点击需要还的快照 快照管理菜单栏里找到快照管理下图...

转载 TDSQL高可用技术解决方案介绍

开始之前，先介绍一下目前主流的分布式数据库两个流派第一个是通过分库分表中间件去完成，通过XA去控制，XA是MySQL原生自带的，是由事务的管理器和资源管理器两部分组成。一般，数据库通过B+树的方式进行存储，做多个副本，通过主从半同步复制完成，但是这样的方式性能比较差。另一个是通过DBPorxy，依靠Percolator去控制，采用分区，存储时LSM树的模式。然后我们讲讲今天的TDSQL为了保证数据的安全，可用，TDSQL保证了三种复制方式。我们从三个方面去分析：ü主备..

转载 TDSQL核心技术架构原理解析

讲核心技术架构原理之前，我们先来了解以下国内数据库现状：目前，国内市场主流的数据库，商业数据库有Oracle，SQL server以及DB2，传统＋开源的有更多。今天我们主要是讲国内云厂商自研数据库，有阿里云数据库，腾讯云数据库以及华为云数据库等等。未来云数据库将是趋势，因为原生云数据库的网络，计算，存储都会云端化，形成一个巨大的资源池，通过合理分配资源池的资源，最大限度发挥DB的性能。并且可以和现在热门的人工智能AI，大数据结合，形成一个完整的生态。我们今天重点讲的是腾讯的TDSQL。.

转载 Mysql聚族索引与二级索引

作者：1菩提行者1什么是聚族索引什么是二级索引他们原理有何不同这个问题一直困扰我，在听郭老师课程讲到mysql存储引擎时老师经常提到聚族索引、二级索引也让我一头雾水，似懂非懂。这几天静下心来仔细研究，收获颇多跟大家分享一下。书本上的定义：“聚簇索引的叶子节点就是数据节点，而非聚簇索引的叶子节点仍然是索引节点，只不过有指向对应数据块的指针。”这句话依然不明白什么是聚族索引，简单点说：mysql的聚簇索引是指innodb引擎的特性，mysiam并没有，主键会默认创建聚簇索引，且一张表只允许存在一个聚

转载 Linux8 搭建缓存DNS服务器

作者：泡杯长岛冰茶1. 配置网络为静态nmcliconnectionmodifystatic-ens192ipv4.dns172.16.50.194ipv4.address172.16.50.194/24ipv4.gateway172.16.50.1autoconnectyesnmcliconnectreload;nmcliconnectionupstatic-ens192;1.1. 客户端DNS配置（本篇文章环境；服务端与客户端在同一台）...

原创 【干货来袭】MySQL架构总结

作者：胖墩老师MySQL构成组件：1.MySQL服务器进程2. 本地或远程连接的客户端程序3.安装在本地的MySQL非客户端程序 运行原理：客户端程序连接到MySQL服务器进程进行数据请求，MySQL客户端/服务器通信并不局限于所有计算机运行相同操作系统的环境。客户端程序可以连接到运行在同一台主机上的服务器，也可以连接到运行在不同主机上的服务器，客户机/服务器通信可能发生在计算机运行不同操作系统的环境中。 举个例子：MySQL...

转载 MySQL线程池问题个人整理

张秀云 | 腾讯数据库研发与运营高级工程师 最近出现多次由于上层组件异常导致DB雪崩的情况，将部分监控DB启用了线程池功能。在使用线程池的过程中不断的深入学习，期间也遇到了不少问题。本文就来详细讲述一下MySQL线程池相关的知识，以帮助广大DBA快速了解MySQL的线程池机制，快速配置MySQL的线程池以及了解里面存在的一些坑。其实，我想说的是，了解和使用MySQL线程池，看这篇文章就够了。一、为什么要使用MySQL线程池在介绍为什么要使用线程池之前，我们都知道，随着DB访问量越...

转载 TDSQL赤兔运营平台创建实例卡死不动问题分析解决

作者：我在听风想你大家好，这次给大家带来的问题解决方法，还是在实战中研究出来的，非常实用，下面我们不说废话，直接上干货。我们在客户现场遇到的问题是这样的（由于安全原因，未能截图，请谅解），客户会定期会针对DB与PROXY进行扩容，为产出更多的实例供应用系统使用（DB与Proxy扩容步骤将会在最后也发给大家），但是在每次扩容完成后创建实例的时候，都会卡在70%左右不动。一般来说一个实例的正常创建时间在几分钟左右，但是70%一卡就是十几二十分钟，甚至二三十分钟都不会更进一步，我们也只能在到达一定时间

转载 RedHat 8.4 安装&VMware Workstation 安装 Redhat8.4

作者：泡杯长岛冰茶准备好安装镜像，如何官方下载Redhat 8.4镜像请看以下连接 http://www.tdpub.cn/Blog/detail/id/1124.html我这里已经准备好镜像VMware Workstation 安装Redhat 8.4双击桌面图标vmware workstatioin pro修改虚拟机默认存放位置（演示环境只有一个C盘，所以我放在盘Virtual Machines目录下，您可以根据您的实际情况设置您的磁盘位置）点击创建新的虚拟机

转载 Redhat注册&下载Redhat Enterprise Linux Download

作者：泡杯长岛冰茶注册RedHat个人帐号门户网站https://www.redhat.com选择语言->中文（根据个人情况）点击login点击 Register now根据个人的情况赶写相信信息注册完点登录下载Redhat 官方镜像开发者身份下载单击菜单栏 Linux展开 View Older Downloads 可以看到其它linux版本根据您的需要选择对应.

转载 分布式数据库核心原理 Zookeeper+Mysql

作者：1菩提行者1笔者一直做java开发，由于技术演进做过大型微服务项目，微服务即将一个大的服务拆分成一个一个小的微服务，每个微服务自成生态，而在落地过程中紧紧只是应用层拆分，数据层往往用同一个库。有点形变神不变，当然将微服务与其对应数据库完全按照领域模型拆分永远只是理想状态。但是在应用微服务化后对于数据层带来了分布式事务或者数据一致性问题。这时就需要分布式数据库TDSQL。 为什么是TDSQL？首先他是个云数据库将资源与数据库隔离，可以根据需要添加资源，在此基础上创建需要的数据库实例数量，...

转载 VMware workstation 下载与安装

作者：泡杯长岛冰茶Oracle RAC 安装配置part1注册VMware 个人帐号浏览器打开官方网站，下面是网址www.vmware.com下面是主页，单击Customer connter单击立即注册填入相关信息注册完成需要到您邮件里的激活一下帐号注册完成下载VMware Workstation单击转到CUSTOMER CONNECT (您也可以在主页login->Customer connect)主页里面.

转载 TDSQL TCA 分布式实例特点初探--分布表和SQL透传

TDSQL分布式数据库数据表应用实践第一部分：公有云或私有云TDSQL的连接方法介绍TDSQL分布式实例通过Proxy接口提供和mysql兼容的连接方式，用户通过IP地址、端口号以及用户名、密码进行连接：（注意：公有云TDSQL需要在实例页面申请公网连接地址）连接示例：mysql -h172.21.32.13 （proxy地址） -P3306（proxy端口） -utest （数据库账号） -p与普通的mysql连接方法一致，分布式实例兼容mysql的协议和语法，支持SSL加密等功能

转载 TDSQL新增子set报错，DB资源异常告警解决实战

作者：我在听风想你 大家好，这次给大家带来一个新的问题解决实战，废话不多说，直接上干货。现象：新创建分布式实例后，分布式实例新增实例子set失败（报错与Hang住）。 这个问题我们是这么发现的，需要创建一个新的分布式实例。新版本创建分布式实例默认会创建两个set此版本TDSQL为10.3.14.1.0，此版本创建实例时会默认新增一个set，如需添加其他set需进入实例后手动新增。于是我们进入到实例内手动新增set。如图为新增子set配置，分片这里不需要指定，...

原创 TDSQL分布式事务实现机制

名师介绍：大家好，我是郭一军。云贝数据创始人，腾讯云TVP，PostgreSQL ACE，腾讯云高级认证讲师，Oracle MySQL高级认证讲师，中国PostgreSQL分会高级认证讲师。ITPUB管理版资深版主，精通Oracle DSI（Data Server Internals），拥有Oracle OCM，阿里云ACE，AWS SAP等高级IT认证。从业20年，拥有十几年数据库的工作经验，历任过连连支付首席DBA、唯品会高级数据库专家、吉利汽车研究院云计算平台技术负责人。负责连连支

转载 【云贝学院】腾讯云TDSQL 备份故障处理案例

【云贝学院】云贝学院TDSQL TCP认证课程已上线，学院有不定期公开课 需要的同学可以加老师微信：19941464235作者：许玉冲一、TDSQL 备份意义：有人说分布数据库都是多副本的，没有必要进行备份。我觉得这话只对了一半，首先分布式数据库是多副本的没错。但还是有必要进行备份的。 例如数据误删，drop table ,drop database 操作;或者需要进行历史数据的分析;又或者多重灾难，导致主备数据全部损毁。可能这些机率很小，得我们的数据经不起这样的损毁。所以不管是传统集中式数.

转载 【云贝学院】腾讯云TDSQL独立部署最佳实践

【云贝学院】云贝学院TDSQL TCP认证课程已上线，学院有不定期公开课 需要的同学可以加老师微信：19941464235作者：崔鹏创建四台云主机或者本地四台Centos7.6的VM虚拟机(四台云主机)1、环境规划2、安装部署2.1 设置主机名分别在四台机器上执行。hostnamectl set-hostname tdsql1hostnamectl set-hostname tdsql2hostnamectl set-hostname tdsql3...