songbintao-CSDN博客

转载 mysql5.7Json数组解析

一、目标需求mysql5.7支持json极大的方便了我们，但是其中json数组解析一直很麻烦，之前都是先取json数组的长度，然后遍历逐个解析，后来看了一篇博客受到启发，写了这个方法能一次全部解析出来，希望对大家有所启发。二、建表新建jsonarray_test表并添加测试数据。CREATE TABLE jsonarray_test ( id int(11) NOT NULL...

2019-03-08 21:08:10 6710

转载 MySQL load语句详细介绍

Load的语法 LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt' [REPLACE | IGNORE] INTO TABLE tbl_name [FIELDS [TERMINATED BY 'string'] [[OPTIONALLY] ENCL...

2018-12-31 17:29:40 9149

转载如何查看 oracle 官方文档

Concept包含了 oracle 数据库里面的一些基本概念和原理, 比如数据库逻辑结构, 物理结构, 实例结构, 优化器, 事务等. PDF 460页Reference包含了动态性能视图, 数据字典, 初始化参数等, 如果有参数不知道意思, 或者 v$视图字段信息模糊, 都可以从这里找到描述, 使用 html版的进去 ctrl+f查找比较快.还包含一些其他比如数据库的硬性限制, 等...

2018-10-11 11:27:46 440

原创一个mysql的pid报错

查看数据库版本mysql> select version();+------------+| version() |+------------+| 5.7.22-log |+------------+1 row in set (0.01 sec)停掉数据库，启动的时候报错：[root@node1 /]# /etc/init.d/mysql startStar...

2018-09-26 14:04:47 4719

原创 mysql5.7表包含两个timestamp字段设计

mysql5.7默认安装完后还是不支持一个表包含两个timestamp，需要调整参数sql_mode。查看sql_modemysql> show variables like 'sql_mode';+---------------+---------------------------------------------------------------------------...

2018-09-25 16:46:57 1614

转载 SqlServer索引的原理与应用

转https://www.cnblogs.com/knowledgesea/p/3672099.html索引的概念索引的用途：我们对数据查询及处理速度已成为衡量应用系统成败的标准，而采用索引来加快数据处理速度通常是最普遍采用的优化方法。索引是什么：数据库中的索引类似于一本书的目录，在一本书中使用目录可以快速找到你想要的信息，而不需要读完全书。在数据库中，数据库程序使用索引可以重啊到表中...

2018-09-18 17:42:09 167

转载 SQL Server 2005中的分区表（六）：将已分区表转换成普通表

转：https://blog.csdn.net/smallfools/article/details/5004100我的俄罗斯名叫作“不折腾不舒服斯基”，所以，不将分区表好好折腾一下，我就是不舒服。在前面，我们介绍过怎么样直接创建一个分区表，也介绍过怎么将一个普通表转换成一个分区表。那么，这两种方式创建的表有什么区别呢？现在，我又最新地创建了两个表：第一个表名为Sale...

2018-09-18 14:40:35 167

转载 SQL Server 2005中的分区表（三）：将普通表转换成分区表

在设计数据库时，经常没有考虑到表分区的问题，往往在数据表承重的负担越来越重时，才会考虑到分区方式，这时，就涉及到如何将普通表转换成分区表的问题了。那么，如何将一个普通表转换成一个分区表呢？说到底，只要将该表创建一个聚集索引，并在聚集索引上使用分区方案即可。不过，这回说起来简单，做起来就复杂了一点。还是接着上面的例子，我们先使用以下SQL语句将原有的Sale表删除。...

2018-09-18 14:37:24 209

原创 sqlserver 分区表

当数据库表中数据量能够被预测到将会非常大，或者已经拥有庞大的数据时，我们应该选择分表或者分区（即使用多个数据库）来解决数据访问时的性能问题。为什么要分区分表呢？因为分区分表有如下几个有点：1.改善查询性能，对分区对象的查询可以仅搜索自己关系的分区，提高检索速度。2.增强可用性，如果表的某个分区出现故障，表在其他分区的数据仍然可用。3.维护方面，如果表的某个分区出现故障，需要修复数据，只修复...

2018-09-18 13:25:26 1041

转载 sqlserver的查看表创建SQL

出处：https://blog.csdn.net/ChristopherChen/article/details/51900572在一般的数据库系统中可使用表名右键--[Script Table as]--[Create To]--XX 输出建表SQL语句，但在某些SQL Server系统中可能客户仅提供数据库查询权限，导致无法导出建表语句，此时可使用select语句查询系统表生成建表语句...

2018-09-17 17:46:08 10003

原创 sqlserver 复制一个表的结构

sqlserver复制一个表的结构，oracle中create table new_table as select * from old_table where 1=2在sqlserver中select * into newtable from oldtable;例如：select * into dbo.tmp_test_part from dbo.test_part where 1=2 ...

2018-09-17 17:35:22 17868

原创 mysql测试库

测试文件下载地址：https://github.com/datacharmer/test_db安装：unzip test_db-master.zip cd test_db-master/mysql -u root -p123456 <employees.sql 可以导入两个分区表：mysql -u root -p123456 <employees_par...

2018-09-11 16:25:23 509

原创 datax简单使用

系统要求Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Maven 3.x (Compile DataX)启动工具部署方法一、直接下载DataX工具包：DataX下载地址下载后解压至本地某个目录，进入bin目录，即可运行同步作业：$ cd {YOUR_DATAX_HOME}/bin$ python d...

2018-09-05 14:42:15 903

转载数据迁移工具datax--介绍

文章来源https://github.com/alibaba/DataX/blob/master/introduction.md阿里云开源离线同步工具DataX3.0介绍一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功...

2018-09-05 11:33:56 7774 1

HAWQ集群通过系统冗余确保高可用性。HAWQ部署使用平台硬件冗余，例如master catalog的RAID、segments的JBOD和互连层的网络冗余。在软件级别，HAWQ通过主镜像和双集群维护提供冗余。此外，HAWQ还支持HDFS中的高可用NameNode配置。为了维护集群的健康，HAWQ使用基于心跳和按需探测协议的容错服务。它可以动态地识别新添加的节点，并在无法使用时从集群中删除节点...

2018-08-30 16:27:18 570

原创压测工具--super-smack测试mysql

查看编译帮助：[root@node2 super-smack-1.2]# ./configure --helpUsage: configure [options] [host]Options: [defaults in brackets after descriptions]Configuration: --cache-file=FILE cache test resu...

2018-08-30 14:51:59 797

翻译 HAWQ--目录缓存

HDFS目录缓存是HAWQ master用于确定表数据在HDFS上的分布信息的缓存服务。HDFS在RPC处理方面速度慢，特别是当并发请求数量很高时。为了决定哪个segments 处理哪部分数据，HAWQ需要从HDFS namenodes获得数据位置信息。HDFS目录缓存用于缓存数据位置信息并加速HDFS RPCS。...

2018-08-22 17:52:07 205

原创 Linux下mysql5.7的安装

下载tar包，这里使用wget从官网下载[root@node2 ~]# wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz将mysql安装到/usr/local/mysql下[root@node2 ~]# tar -xvf mysql-5.7.22-l...

2018-08-22 15:52:07 108

转载 mysql备份工具：mysqldump mydumper Xtrabackup 原理

备份是数据安全的最后一道防线，对于任何数据丢失的场景，备份虽然不一定能恢复百分之百的数据(取决于备份周期)，但至少能将损失降到最低。衡量备份恢复有两个重要的指标：恢复点目标(RPO)和恢复时间目标(RTO)，前者重点关注能恢复到什么程度，而后者则重点关注恢复需要多长时间。这篇文章主要讨论MySQL的备份方案，重点介绍几种备份方式的原理，包括文件系统快照(LVM)，逻辑备份工具Mysqldump，M...

2018-08-17 15:54:30 601

翻译 HAWQ--资源管理

HAWQ提供了几种资源管理方法，并包括一些用户可配置的选项，包括与YARN的资源管理的集成。HAWQ有使用以下机制管理资源的能力:全局资源管理。您可以集成HAWQ与YARN资源管理器，根据需要请求或返回资源。如果不集成HAWQ与YARN，HAWQ只会消耗集群资源并管理自己的资源。如果将HAWQ与YARN集成在一起，HAWQ就会自动从YARN获取资源，并通过内部定义的资源队列管理这些资源。当资...

2018-08-14 17:28:52 194

翻译 HAWQ--运行时执行弹性查询

HAWQ使用动态分配的虚拟段为查询执行提供资源。在HAWQ 1.x，用于运行查询的segments(计算资源载体)是固定的，不管底层查询是需要很多资源的大查询还是需要很少资源的小查询。这个架构很简单，然而它使用资源的效率很低。为了解决这个问题，HAWQ现在使用运行时执行弹性查询特性，它基于虚拟段。HAWQ根据查询的成本需求分配虚拟段。换句话说，对于大型查询，HAWQ启动了大量的虚拟段，而对...

2018-08-14 14:03:44 448

原创 vault--源码安装

确认系统已经安装了go，version 1.10.1+[root@node2 ~]# tar -C /usr/local -xzf go1.10.3.linux-amd64.tar.gz配置GOPATH：[root@node2 ~]# mkdir /app/go_path[root@node2 ~]# export GOPATH=/app/go_path下载vault的安装包[r...

2018-08-13 17:51:57 406

转载 vault-密码、证书管理工具

vault是什么vault是一个密码/证书集中式管理工具，通过HTTP-API对外提供统一的密码访问入口，并且提供权限控制以及详细的日志审计功能。一个系统可能需要访问多个带密码的后端：例如数据库、通过API keys对外部系统进行调用，面向服务的架构通信等等。要将众多系统中的用户和权限对应起来已经非常困难，加上提供密钥滚动功能、安全的存储后端还要有详细的审计日志，自定义解决方案几乎不太可能...

2018-08-13 17:37:08 2019

翻译 HAWQ--表的分布和存储

Table Distribution and StorageHAWQ存储除了系统表以外的所有的表数据在HDFS。一个用户创建一个表时，元数据存储在master的本地文件系统，表内容存储在HDFS。为了简化表数据的管理，所有的关联数据存放在一个HDFS目录。对于所有HAWQ表存储格式、AO (append only)和Parquet，数据文件都是可分割的，这样HAWQ就可以分配多个虚拟段...

2018-08-13 11:35:21 1135

翻译 HAWQ--体系结构

本主题介绍了HAWQ体系结构及其主要组件。在典型的HAWQ部署中，每个slave都有一个物理HAWQ段、一个HDFS DataNode和一个NodeManager。HAWQ、HDFS和YARN的master部署在独立的节点上。下图提供了典型的HAWQ部署的高级体系结构视图。HAWQ集成了Hadoop资源管理框架YARN，用于查询资源管理。HAWQ将YARN的容器缓存到资源池中，然后利用...

2018-08-10 16:55:34 1125

翻译 HAWQ--简介

HAWQ是Hadoop原生SQL查询引擎，结合了MPP数据库的关键技术优势和Hadoop的可扩展性和便捷性。HAWQ从HDFS本地读取数据并将数据写入HDFS。HAWQ提供业界领先的性能和线性可伸缩性。它为用户提供了自信和成功地与petabyte range数据集交互的工具。HAWQ为用户提供了一个完整的、符合标准的SQL接口。更具体地说，HAWQ有以下特点:本地或云部署健壮的ANSI...

2018-08-10 14:46:34 16047

原创安装UUID

确认系统安装了uuid和uuid-devel[root@node2 ~]# rpm -qa |grep uuidlibuuid-devel-2.23.2-33.el7.x86_64uuid-devel-1.6.2-26.el7.x86_64uuid-1.6.2-26.el7.x86_64libuuid-2.23.2-33.el7.x86_64编译postgresql时加入...

2018-08-08 11:34:58 2555

原创 Oracle的临时表和统计信息的处理

临时表介绍Oracle的临时表分为会话级和事务级，创建语句：--会话级：create global temporary table tmp_sess_dept on commit preserve rows as select * from dept ; --事务级create global temporary table tmp_tran_dept on commit de...

2018-08-03 17:29:52 8145

原创 pacemaker+corosync+postgresql

测试环境：系统Redhat7.3数据库Postgresql-101、环境配置：配置主机名hostnamectl set-hostname node1 关闭selinux[root@node1 ~]# cat /etc/selinux/config |grep -v ^#SELINUX=disabledSELINUXTYPE=targeted 关闭防火...

2018-08-03 16:01:43 1557

songbintao的专栏