13 幽灵之使

尚未进行身份认证

善于交际,工作自信

等级
博文 220
排名 2k+

apache kafka技术分享系列(目录索引)

apacheKafka中国社区中国社区QQ群1:162272557 未满 收费5¥,保证QQ运营,腾讯QQVIP收年费,2000人群非常活跃,质量很高中国社区QQ群2:414762562 未满 1000人群中国社区QQ群3:191278841未满  1000人群中国社区QQ群4:415846802未满 1000人群每当有新blog发布时,会在此处更新,欢迎大家拍砖共同成长目录索引...

2018-02-08 11:30:11

du查看某个文件或目录占用磁盘空间的大小

du-ah–max-depth=1这个是我想要的结果a表示显示目录下所有的文件和文件夹(不含子目录),h表示以人类能看懂的方式,max-depth表示目录的深度。du命令用来查看目录或文件所占用磁盘空间的大小。常用选项组合为:du-sh一、du的功能:与df不同,它用来查看文件或目录所占用的磁盘空间的大小。二、du常用的选项:-h:以人类可读的方式显示-a:显示目录占用的磁盘空间大

2017-06-09 11:25:22

linux du命令用法

1.列出指定目录下(匹配)指定文件大小du-bpush-token**.log#du-b目录文件2.按照子目录大小排序(降序)du-s*|sort-rn|cut-f2-|xargs-d“\n”du-sh3.显示目录下所有文件大小du-sfolder默认为kbsmaple:du-sk、du-sb、du-sh4.统计指定层级子目录

2017-06-09 11:19:58

linux平台查看CPU、内存消耗降序的进程列表

1.CPU占用最多的前10个进程psauxw|head-1;psauxw|sort-rn-k3|head-102.内存消耗最多的前10个进程psauxw|head-1;psauxw|sort-rn-k4|head-103.虚拟内存使用最多的前10个进程psauxw|head-1;psauxw|sort-rn-k5|head-104.

2017-05-25 17:10:27

在linux中Shell历史命令记录剖析

Bashshell在“~/.bash_history”(“~/”表示用户目录)文件中保存了500条使用过的命令,这样能使你输入使用过的长命令变得容易。每个在系统中拥有账号的用户在他的目录下都有一个“.bash_history”文件。bashshell应该保存少量的命令,并且在每次用户注销时都把这些历史命令删除。第一步:“/etc/profile”文件中的“HISTFILESIZE”和

2017-05-19 15:27:02

在linux下如何显示隐藏文件

显示所有文件(包含隐藏文件)ls-a列表显示ls-la只显示隐藏文件l.或者ls-d.*

2017-05-19 15:20:36

MYSQL ERROR

mysql出错了以前往往靠猜.有了这张表一查就出来了.方便不少.特共享于众 1005创建表失败 1006创建数据库失败 1007数据库已存在创建数据库失败 1008数据库不存在删除数据库失败 1009不能删除数据库文件导致删除数据库失败 1010不能删除数据目录导致删除数据库失败 1011删除数据库文件失败 1012不能读取系统表中的记录 1020记录已被其他用

2017-05-17 15:41:40

定制开发sysbench扩展版压测分库分表场景

背景使用sysbench基准工具对Mycat和Atlas进行压测,通过综合比较从中选择一个作为今后选择的方向,更多背景信息请参考如下:数据库中间件选型思考数据库中间件-分库分表压测报告测试国内开源数据库中间件Mycat和Atlas体会Mycat和Atlas分库分表安装、配置指南sysbench介绍SysBench是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同系统参数下

2017-05-16 18:21:05

Mycat和Atlas分库分表安装、配置指南

背景数据库中间件选型思考官网上安装、配置信息零散,需要使用者收集整理信息,在理解基础上正确配置,才能保证运行成功。这个工作比较耗时,希望读者看到此博客能快速run起来。网络博客上也有很多人写Mycat和Atlas,绝大多数是针对Mycat和Atlas读写分离场景配置的。对Atlas,奇虎360在GitHub上开源了2个版本,一个版本为纯代理版,支持分表功能,另一个为Sharding版本。本次配置

2017-05-15 11:29:56

测试国内开源数据库中间件Mycat和Atlas体会

思考与体会国内开源数据库中间件(Mycat和Atlas)安装和配置耗时,而且坑比较多,基本是KPI产物,文档不完善也不随代码同步更新,安装配置都是比较困难事情,需要查资料,有时甚至要看看代码跟踪研究配置原理测试工具选型也比较耗费,选型tpcc和sysbench对中间件测试。​测试工具,版本多(都不知道选择哪个版本合适),参数多,测试维度多这2个测试工具都是国外个人开发的,基本无文档,国内

2017-05-13 15:16:38

数据库中间件-分库分表压测报告

测试环境软硬件环境4个彼此相互独立rds实例:硬件配置相同,每个配置为:4核心、8GB内存、20GB磁盘,每个实例创建一个数据库名称为dbproxy一个中间件节点,硬件配置相同,配置为:8核心、8GB内存、20GB磁盘中间件默认工作线程数:32一个客户端节点,硬件配置相同,配置为:4核心、8GB内存、20GB磁盘压力测试工具:基于sysbench开源定制扩展版一个表:表名为为sbt

2017-05-11 21:13:13

数据库Sharding

Sharding介绍Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题。Sharding分为垂直拆分和水平拆分两种。垂直拆分在业务的初期,不可避免会将多个系统的db放在同一台mysqlinstance上,伴随这业务的不断壮大,需要进行“垂直拆分”,将不同的业务拆分出去。拆分原因:防止其他db使用不当,比如说有问题的SQL(

2017-05-11 15:50:05

数据库中间件选型思考

背景目前公司业务高速发展,各种业务数据呈井喷的态势,单表数据量急剧膨胀,随之而来是单表读写性能和吞吐量呈下降趋势而且无法应对业务高速增长产生的数据。因此需要使用分库分表机制保证高性能同时支撑和驱动业务发展,选择一款功能强大支持分库分表的中间件就成为当务之急。开源的数据库中间件众多,需要从中挑选一个适合的,并能作为映客长期演进的中间件,因此需要从多个维度对中间件进行相关测试目标本次测试,不是对MySQ

2017-05-11 15:34:49

定时统计目录大小shell脚本

#!/bin/bashdate"+%Y-%m-%d%H:%M:%S"prelogsize=0for((i=1;i<=3600;i++));dologsize=`du-sk/data1/kafka/datalog/data2/kafka/datalog/data3/kafka/datalog|awk-F'\t''{logsize+=$1;if(NR==3

2017-04-22 15:03:46

mysql资料整理

MySQL加锁处理分析[MySQL]AUTO_INCREMENTlockHandinginInnoDB[MySQL]一致性读分析

2016-12-07 11:37:34

性能监控

性能监控在使用操作系统的过程中,我们经常需要查看当前的性能如何,需要了解CPU、内存和硬盘的使用情况;本节介绍的这几个工具能满足日常工作要求;1.监控CPU查看CPU使用率$sar-ueg:$sar-u12[/home/weber#]sar-u12Linux2.6.35-22-generic-pae(MyVPS)06/28/2014i686

2016-11-07 14:48:24

进程管理工具

进程管理工具这一节我们介绍进程管理工具;使用进程管理工具,我们可以查询程序当前的运行状态,或终止一个进程;任何进程都与文件关联;我们会用到lsof工具(listopenedfiles),作用是列举系统中已经被打开的文件。在linux环境中,任何事物都是文件,设备是文件,目录是文件,甚至sockets也是文件。用好lsof命令,对日常的linux管理非常有帮助。1.查询进程查询正在运行的进程信息

2016-11-07 14:38:43

磁盘管理

磁盘管理日程磁盘管理中,我们最常用的有查看当前磁盘使用情况,查看当前目录所占大小,以及打包压缩与解压缩;1.查看磁盘空间查看磁盘空间利用大小:df-h-h:human缩写,以易读的方式显示结果(即带单位:比如M/G,如果不加这个参数,显示的数字以B为单位)$df-h/opt/app/todeav/config#df-hFilesystemSizeUs

2016-11-07 14:34:46

文本处理

文本处理本节将介绍Linux下使用Shell处理文本时最常用的工具:find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk;提供的例子和参数都是常用的;我对shell脚本使用的原则是命令单行书写,尽量不要超过2行;如果有更为复杂的任务需求,还是考虑python吧;本节将介绍Linux下使用Shell处理文本时最常用的工具:find、grep、xa

2016-11-07 14:33:12

文件及目录管理

文件及目录管理总结文件管理不外乎文件或目录的创建、删除、查询、移动,有mkdir/rm/mv文件查询是重点,用find来进行查询;find的参数丰富,也非常强大;查看文件内容是个大的话题,文本的处理有太多的工具供我们使用,在本章中只是点到即止,后面会有专门的一章来介绍文本的处理工具;有时候,需要给文件创建一个别名,我们需要用到ln,使用这个别名和使用原文件是相同的效果;2.1.创建

2016-11-07 14:22:56
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!