10 wangzhen3798

尚未进行身份认证

我要认证

just do it !

等级
TA的排名 9w+

Linux系统IO基准测试方法

Linux系统IO基准测试方法随机读写测试主要关注IOPS指标,即每秒磁盘能够处理的IO请求个数。普通单块机械磁盘的IOPS在100~300左右,普通SSD的IOPS在几万左右,该指标对关系型数据库等以随机读写为主的软件性能影响比较大。测试方法安装fio测试软件yum install -y fio运行命令:fio -directory=/home/wangzhen/fiotest -name=tempfile.dat -direct=1 -rw=randrw -rwmixwrite

2020-09-09 11:52:30

PrepareStatement的功与过

PrepareStatement的功与过背景最近一个同事说遇到一个问题,“使用JDBC驱动进行prepareStatemet查询时,jdbc里的执行计划是错误的,有一些SQL特别慢。初步分析原因是数据分布不均匀,传递参数不一样时,prepareStatement仍然用的原来的执行计划。”最后的解决方案和结论是:通过在jdbcURL上设置参数"prepareThreshold=0"解决(项目...

2020-01-17 17:35:34

2019年个人工作总结

2019年个人工作总结工作业绩2019年我作为数据库团队负责人,带领DBA和几个开发做数据库相关工作。主要的工作业绩我认为有以下几点:首先,建立了制度。定了研发DBA怎么干、干什么、怎么管。我是最早一批干研发DBA的,从2016年6、7月份开始,起起伏伏,干了两年多。最早作为NP的一部分,做SQL优化,程序优化,库表设计,现场问题排查等,作出了一些成绩。随着NP的移交,DBA团队的扩大...

2020-01-17 11:22:24

如何通过外部表做数据一致性检查和配平

背景随着微服务和分布式架构的兴起及用户对数据高可用的重视。现在系统中的数据会通过程序定时同步、抽数工具、复制工具等在多个数据库中存在多份。但因为程序异常、网络异常、数据异常等各种原因,会出现数据不一致的情况。如何能简单快速检测出数据不一致并且配平呢?本文通过PostgreSQL的fdw机制,介绍一种简单的配平方法。环境准备源数据库IP:xx.xx.12.11PORT:5432版本...

2019-08-26 17:19:54

Elasticsearch SQL特性研究

Elasticsearch SQL特性研究简介从Elasticsearch 发布以来,一直有自己的查询语言(DSL),从6.3版本开始,Elasticsearch 开始支持SQL查询语言。即6.3、6.4、6.5、6.6、6.7、7.0均支持SQL查询。但是6.7之前SQL功能是实验性质的,6.6进入beta特性列表,在6.7之前SQL功能是不被ES官方正式支持的。6.7后成为官方正式支持的特...

2019-04-27 17:44:28

Elasticsearch7.X为什么移除type

Elasticsearch7.X为什么移除类型(type)在Elasticsearch7.0.0及以后版本不再接受_default_ 映射。在6.x里创建的索引依然像在Elasticsearch6.X之前一样起作用。Types在7.0的API里是被舍弃的,在创建索引,设置映射,获取映射,设置模板,获取模板,获取字段映射API有着不兼容的改变。什么是类型(type)?从Elasticsea...

2019-04-24 21:46:47

Elasticsearch发展史

简介Elasticsearch是当前比较流行的开源的分布式搜索和数据分析引擎,具备易使用、高性能、扩展性强等特点。是ElasticStack的核心组件,以其为核心构建的ELK,已经是日志分析领域的事实标准。Elasticsearch是怎么一步一步发展成熟的呢?You Know,for Search2010年2月8日, Shay Banon 发表了一篇博客,说他基于Lucene开发(封装 ??...

2019-04-22 19:20:28

TB级Elasticsearch全文检索优化研究

TB级Elasticsearch全文检索优化研究背景全文检索的原理分词插件对比测试TB级ES优化方案

2018-11-23 18:57:20

如何正确的关闭Elasticsearch集群

如何正确的关闭ElasticSearch集群背景接触Elasticsearch也快半年时间了,一直也没弄明白如何的关闭ES和ES集群。经常在测试和生产环境遇到这样的问题“重启ES后数据怎么没了?”,“启动ES后,怎么一直有大量的数据在迁移?”问题原因其本质原因有两点:ES中的数据不是实时写入磁盘的。数据进入ES后先进入data buffer和log buffer,然后进入数据段,最后再...

2018-11-14 17:39:33

新自定义查询系统设计分析

自定义查询系统设计分析背景最近参与某新自定义查询系统开发,系统是锋哥设计的,核心代码也是锋哥写的。作为一个搬砖者自下而上的分析学习一下大神的系统设计。文中的谈到架构设计内容是根据代码理解梳理出来的,不代表系统的实际架构和实现。同时由于业务和技术的复杂性及其他原因,不对实现细节作说明。设计场景在该系统之前已经有两个自定义查询系统,一个为竞争对手的CS系统,一个为我司开发的BS系统。两个系统均...

2018-11-09 16:08:30

ElasticSearch中如何进行排序

ElasticSearch中如何进行排序背景最近去兄弟部门的新自定义查询项目组搬砖,项目使用ElasticSearch进行数据的检索和查询。每一个查询页面都需要根据选择的字段进行排序,以为是一个比较简单的需求,其实实现起来还是比较复杂的。这里进行一个总结,加深一下记忆。前置知识ElasticSearch是什么?ElasticSearch 简称ES,是一个全文搜索引擎,可以实现类似百度...

2018-10-31 16:31:10

DMIDECODE 命令手册

名称dmidecode - DMI表解码器摘要dmidecode [options]描述dmidecode 是一个把计算机的DMI(或者叫SMBOIS)表内容转换成人类易读格式的工具。

2018-09-09 09:05:43

ASEBR工具使用说明

ASEBR工具使用说明工具简介Asebr 全称sybase ase backup and recovery,是一个sybase ase数据库备份恢复和迁移复制工具,由DBA团队实现维护,主要有批处理、SQL和第三方程序组成。 具有备份结果可视化可编辑、支持字符集转换、重新定义设备大小、简单易用等特点。同时是dump等方式不能备份sybase数据库时的另外一种备份恢复选择。环境要求操作系统:

2018-02-14 08:29:51

数据库索引选择的探索(二)之直方图

数据库索引选择的探索(二)之直方图引言在《数据库索引选择的探索(一)》里,以SYBASE为例讲解现代数据库选择SQL执行计划特别是选择索引的基本原理和过程:SQL执行过程中有多条执行计划多个索引可供选择,数据库查询编译器会采用代价模式根据表的统计信息和直方图计算出代价最小效率最高的执行计划。其中简单的提到了直方图,这次以PostgreSQL数据库为例,深入探讨直方图的由来、作用和查看方法。直方图的由

2018-02-09 13:13:46

深入理解计算机系统-学习笔记

第一章:计算机系统漫游从网上看的好多关于计算机硬件原理的文章基本是摘抄或者本章的学习总结。证明这确实是一本理解计算机系统的好书!信息是bit+ 上下文,一切信息都是以0和1存储在计算机上,在不同的上下文中有不同的含义。计算机是由不同层次的抽象组成的,低层级的抽象向高层级抽象隐藏了实现的复杂度,并提供了一致的接口。文件系统是对IO设备的抽象,虚拟内存是对主存和磁盘的抽象,进程是对处理器、IO设

2018-02-03 09:51:28

SYBASE 多临时库使用

在解决江西数据库问题时,发现tempdb 数据库资源争用比较严重,锁比较多,根据余头儿和赵哥的建议,采用多临时库缓解tempdb的压力,对NP的SYM、TJFX 应用和第三方公司帐号jdhb单独绑定临时库。临时数据库的作用:临时库是一种全服务器范围的资源,主要用于处理排序、创建工作表、重新格式以及存储用户创建的临时表和索引。临时库相关的性能问题:1、大量使用临时数据库中的对象导致从

2018-02-02 13:39:45

SYBASE修改字符集和sortorder id

近期在将某环境上dump的数据在公司的sybase环境load时报sortorder id 不一致,不能导入(忘记截图了)。操作系统环境:CentOS 6.5sybase版本:15.7。解决步骤如下:1、根据报错信息确定本机sybase的sortorder id 和 dump 文件的sortorder id。如本机sortorder id为51,dump文件的sor

2018-02-02 13:37:10

PostgreSQL数据库如何快速插入大量数据

PostgreSQL数据库如何快速插入大量数据背景在一些应用场景中,需要向PostgreSQL数据库中快速装入大量的数据,比如数据库迁移,SQL日志分析等。在Abase上快速插入数据有几种方案,每种方案的效率怎么样?如何调优能加快的数据装载?场景设定SQL日志分析是一个采集JDBC日志、分析SQL、发送分析结果工具。在分析阶段,需要解析大量的JDBC日志,并把解析后的结构化结果装入数据库供后续处理。

2017-12-11 12:57:33

PostgreSQL 硬件性能调优

PostgreSQL 硬件性能调优 翻译自文章《PostgreSQL Hardware Performance Tuning》PostgreSQL是一个由世界范围内开发人员在互联网上开发的对象-关系型数据库。她是商业数据库如Oracle和Informix一个开源替代。PostgreSQL最初由加大伯克利分校开发。在1996年,一个团队开始在互联网上开发这个数据库。他们通过邮件来交流思想并且通过

2017-12-08 14:20:27

PostgreSQL官方文档学习笔记

窗口函数window 子句当一个查询涉及到多个窗口函数时,可以将每一个分别写在一个独立的OVER子句中。但如果多个函数要求同一个窗口行为时,这种做法是冗余的而且容易出错的。替代方案是,每一个窗口行为可以被放在一个命名的WINDOW子句中,然后在OVER中引用它。例如:SELECT sum(salary) OVER w, avg(salary) OVER w FROM empsalary

2017-12-01 15:01:25

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。