- 博客(219)
- 资源 (34)
- 收藏
- 关注
RSS订阅
原创 apache kafka技术分享系列(目录索引)
apache Kafka中国社区中国社区QQ群1：162272557未满 收费5￥，保证QQ运营，腾讯QQ VIP收年费，2000人群非常活跃，质量很高中国社区QQ群2：414762562未满 1000人群中国社区QQ群3：191278841未满 1000人群中国社区QQ群4：415846802 未满 1000人群每当有新blog发布时，会在此处更新，欢迎大家拍砖共同成长目录索引...
2018-02-08 11:30:11
120721
7
原创 du查看某个文件或目录占用磁盘空间的大小
du -ah –max-depth=1 这个是我想要的结果 a表示显示目录下所有的文件和文件夹（不含子目录），h表示以人类能看懂的方式，max-depth表示目录的深度。 du命令用来查看目录或文件所占用磁盘空间的大小。常用选项组合为：du -sh一、du的功能：与df不同，它用来查看文件或目录所占用的磁盘空间的大小。二、du常用的选项：-h：以人类可读的方式显示 -a：显示目录占用的磁盘空间大
2017-06-09 11:25:22
8270
2
原创 linux du命令用法
1.列出指定目录下(匹配)指定文件大小du -b push-token* *.log # du -b 目录 文件2.按照子目录大小排序(降序)du -s * | sort -rn | cut -f2- | xargs -d “\n” du -sh3.显示目录下所有文件大小du -s folder 默认为kb smaple：du -sk、du -sb、du -sh4.统计指定层级子目录
2017-06-09 11:19:58
13403
原创 linux平台查看CPU、内存消耗降序的进程列表
1.CPU占用最多的前10个进程ps auxw | head -1;ps auxw | sort -rn -k3 | head -102.内存消耗最多的前10个进程ps auxw | head -1;ps auxw|sort -rn -k4 | head -103.虚拟内存使用最多的前10个进程ps auxw | head -1;ps auxw | sort -rn -k5 | head -104.
2017-05-25 17:10:27
7930
原创 在linux中Shell历史命令记录剖析
Bash shell在“~/.bash_history”（“~/”表示用户目录）文件中保存了500条使用过的命令，这样能使你输入使用过的长命令变得容易。每个在系统中拥有账号的用户在他的目录下都有一个“.bash_history”文件。bash shell应该保存少量的命令，并且在每次用户注销时都把这些历史命令删除。 第一步： “/etc/profile”文件中的“HISTFILESIZE”和
2017-05-19 15:27:02
3659
原创 MYSQL ERROR
mysql出错了以前往往靠猜.有了这张表一查就出来了.方便不少.特共享于众 1005创建表失败 1006创建数据库失败 1007数据库已存在创建数据库失败 1008数据库不存在删除数据库失败 1009不能删除数据库文件导致删除数据库失败 1010不能删除数据目录导致删除数据库失败 1011删除数据库文件失败 1012不能读取系统表中的记录 1020记录已被其他用
2017-05-17 15:41:40
4188
原创 定制开发sysbench扩展版压测分库分表场景
背景使用sysbench基准工具对Mycat和Atlas进行压测，通过综合比较从中选择一个作为今后选择的方向，更多背景信息请参考如下：数据库中间件选型思考数据库中间件-分库分表压测报告测试国内开源数据库中间件Mycat和Atlas体会Mycat和Atlas分库分表安装、配置指南sysbench介绍SysBench是一个模块化的、跨平台、多线程基准测试工具，主要用于评估测试各种不同系统参数下
2017-05-16 18:21:05
4002
8
原创 Mycat和Atlas分库分表安装、配置指南
背景数据库中间件选型思考 官网上安装、配置信息零散，需要使用者收集整理信息，在理解基础上正确配置，才能保证运行成功。这个工作比较耗时，希望读者看到此博客能快速run起来。网络博客上也有很多人写Mycat和Atlas，绝大多数是针对Mycat和Atlas读写分离场景配置的。对Atlas，奇虎360在GitHub上开源了2个版本，一个版本为纯代理版，支持分表功能，另一个为Sharding版本。本次配置
2017-05-15 11:29:56
9814
1
原创 测试国内开源数据库中间件Mycat和Atlas体会
思考与体会国内开源数据库中间件(Mycat和Atlas)安装和配置耗时，而且坑比较多，基本是KPI产物，文档不完善也不随代码同步更新，安装配置都是比较困难事情，需要查资料，有时甚至要看看代码跟踪研究配置原理测试工具选型也比较耗费，选型tpcc和sysbench对中间件测试。 测试工具，版本多(都不知道选择哪个版本合适)，参数多，测试维度多 这2个测试工具都是国外个人开发的，基本无文档，国内
2017-05-13 15:16:38
8533
原创 数据库中间件-分库分表压测报告
测试环境软硬件环境4个彼此相互独立rds实例：硬件配置相同，每个配置为：4核心、8GB内存、20GB磁盘，每个实例创建一个数据库名称为dbproxy一个中间件节点，硬件配置相同，配置为：8核心、8GB内存、20GB磁盘 中间件默认工作线程数：32一个客户端节点，硬件配置相同，配置为：4核心、8GB内存、20GB磁盘 压力测试工具：基于sysbench开源定制扩展版一个表：表名为为sbt
2017-05-11 21:13:13
6851
1
原创 数据库Sharding
Sharding介绍Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库的性能问题。Sharding分为垂直拆分和水平拆分两种。垂直拆分在业务的初期，不可避免会将多个系统的db放在同一台mysql instance上，伴随这业务的不断壮大，需要进行“垂直拆分”，将不同的业务拆分出去。 拆分原因：防止其他db使用不当，比如说有问题的SQL（
2017-05-11 15:50:05
2417
原创 数据库中间件选型思考
背景目前公司业务高速发展，各种业务数据呈井喷的态势，单表数据量急剧膨胀，随之而来是单表读写性能和吞吐量呈下降趋势而且无法应对业务高速增长产生的数据。因此需要使用分库分表机制保证高性能同时支撑和驱动业务发展，选择一款功能强大支持分库分表的中间件就成为当务之急。开源的数据库中间件众多，需要从中挑选一个适合的，并能作为映客长期演进的中间件，因此需要从多个维度对中间件进行相关测试目标本次测试，不是对MySQ
2017-05-11 15:34:49
5879
原创 定时统计目录大小shell脚本
#!/bin/bashdate "+%Y-%m-%d %H:%M:%S"prelogsize=0for((i=1;i<=3600;i++));do logsize=`du -sk /data1/kafka/datalog /data2/kafka/datalog /data3/kafka/datalog | awk -F '\t' '{logsize+=$1; if(NR==3
2017-04-22 15:03:46
2680
原创 mysql资料整理
MySQL 加锁处理分析[MySQL] AUTO_INCREMENT lock Handing in InnoDB[MySQL] 一致性读分析
2016-12-07 11:37:34
2088
原创 性能监控
性能监控在使用操作系统的过程中，我们经常需要查看当前的性能如何，需要了解CPU、内存和硬盘的使用情况； 本节介绍的这几个工具能满足日常工作要求；1. 监控CPU查看CPU使用率$sar -ueg: $sar -u 1 2 [/home/weber#]sar -u 1 2 Linux 2.6.35-22-generic-pae (MyVPS) 06/28/2014 i686
2016-11-07 14:48:24
3288
原创 进程管理工具
进程管理工具这一节我们介绍进程管理工具；使用进程管理工具，我们可以查询程序当前的运行状态，或终止一个进程；任何进程都与文件关联；我们会用到lsof工具（list opened files），作用是列举系统中已经被打开的文件。在linux环境中，任何事物都是文件，设备是文件，目录是文件，甚至sockets也是文件。用好lsof命令，对日常的linux管理非常有帮助。1. 查询进程查询正在运行的进程信息
2016-11-07 14:38:43
1881
原创 磁盘管理
磁盘管理日程磁盘管理中，我们最常用的有查看当前磁盘使用情况，查看当前目录所占大小，以及打包压缩与解压缩；1. 查看磁盘空间查看磁盘空间利用大小:df -h -h: human缩写，以易读的方式显示结果（即带单位：比如M/G，如果不加这个参数，显示的数字以B为单位）$df -h /opt/app/todeav/config#df -h Filesystem Size Us
2016-11-07 14:34:46
2612
原创 文本处理
文本处理本节将介绍Linux下使用Shell处理文本时最常用的工具： find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk； 提供的例子和参数都是常用的； 我对shell脚本使用的原则是命令单行书写，尽量不要超过2行； 如果有更为复杂的任务需求，还是考虑python吧；本节将介绍Linux下使用Shell处理文本时最常用的工具： find、grep、xa
2016-11-07 14:33:12
2907
原创 文件及目录管理
文件及目录管理总结 文件管理不外乎文件或目录的创建、删除、查询、移动，有mkdir/rm/mv 文件查询是重点，用find来进行查询；find的参数丰富，也非常强大； 查看文件内容是个大的话题，文本的处理有太多的工具供我们使用，在本章中只是点到即止，后面会有专门的一章来介绍文本的处理工具； 有时候，需要给文件创建一个别名，我们需要用到ln，使用这个别名和使用原文件是相同的效果；2.1. 创建
2016-11-07 14:22:56
1876
原创 proxy服务相关资料整理
京东Nginx平台化实践Docker扁平化网络设计与实现京东怎样驾驭Nginx？Fastlane实战：自动化测试篇为什么有些大公司技术弱爆了？蚂蚁金服寒泉子：JVM源码分析之临门一脚的OutOfMemoryError完全解读生成全局唯一ID的3个思路，来自一个资深架构师的总结腾讯QQ团队开源分布式后台服务引擎msec
2016-11-02 11:23:01
740
原创 ElasticSearch资料整理
1.那些年踩过的ElasticSerch坑 2.剖析Elasticsearch 集群：分布式的三个 C、translog 和
2016-11-02 11:05:19
883
原创 大数据平台架构收集和整理
达观数据分析平台架构和Hive实践运营、报表、分析三位一体化，什么样的SQL引擎能经得住挑战？深度好文丨读完此文，就知道Hadoop了！
2016-10-05 14:50:56
1381
原创 mysql资料整理
MySQL行锁深入研究Mysql数据库索引查询优化的分享使用MySQL处理百万级以上数据时，不得不知道的几个常识转 MSSQL、MySQL 数据库删除大批量千万级百万级数据的优化关于mysql 删除数据后物理空间未释放
2016-09-28 00:41:29
516
原创 hdfs源码以及架构资料整理
Hadoop–HDFS之读写流程Hadoop–MapReduce详解Storm–故障容忍和消息可靠性Flume–日志收集Hive–执行流程和源码解析HDFS架构
2016-09-28 00:39:21
566
原创 hive架构设计及源码研究
hive架构解析及与hdfs关系创建hive整合hbase的表总结Hive中SQL的优化技巧[解决]Hive表分区被锁的情况Hive计算引擎切换详解大数据数据仓库分层架构【解决】hive与hbase表结合级联查询的问题
2016-09-11 03:05:07
1174
原创 hadoop + hbase架构和源码分析
Hbase原理、基本概念、基本架构 深入HBase架构解析（一）深入HBase架构解析（二）HBase 系统架构 HBase之数据模型(DataModel)hbase数据模型HBase 在淘宝的应用和优化小结[Hadoop] 如何为你的企业选择正确的Hadoop版本[HBase]数据模型（逻辑结构）[Hadoop] 实际应用场景之 - 阿里HBase的特征和优点笔者带你剖析大数
2016-09-11 01:28:33
5286
原创 hadoop + hbase环境安装配置
1.hadoop +hbase +zookeeper 完全分布搭建 (版本一) 2. hadoop +hbase +zookeeper 完全分布搭建 (版本二 3. Hbase完全分布式集群安装配置(Hbase1.0.0,Hadoop2.6.0) 4. hadoop2.5.2HA高可靠性集群搭建
2016-09-11 01:16:56
823
原创 Mybatis Case Study收集整理
1.myBatis连接MySQL报异常：No operations allowed after connection closed.Connection was implicitly closed 2.No operations allowed after connection closed异常的解决方案 3.使用Mybatis时请注意这两个参数，否则会让你的数据库连接爆掉
2016-09-11 00:08:48
954
原创 hbase性能调优及caseStduy
1.hbase ganglia监控配置 2.HBase不稳定因素分析 3. Hbase JVM优化 4. Hbase总结（十）Hhase性能调优
2016-09-11 00:07:05
787
原创 基于Kafka时间粒度消息回溯设计方案
1.背景当业务消费消息时，有时因为某些原因(bug、异常、依赖服务故障等)导致消费全部无效，需要回溯消息进行消费，比如消费者2个小时内的处理逻辑可能出现了问题，业务发现后，想回溯到2小时前offset位置重新消费补回相关消息。 2.总体设计概述3.详细设计2.1 Kafka
2016-09-03 23:51:07
10541
4
原创 apache Kafka Replication设计分析
1.设计目标提供可配置，需要保障强可用性可以enable这个功能，如果想要更高的效率而不太在乎数据丢失的话，可以disable这个功能 自动replica管理，当cluster发生变化时，即broker server增加或减少时，可以自动的管理和调整replicas2.问题如何将partition的replicas均匀的分配到各个broker servers上面？ 如何进行replicas同
2016-09-03 23:18:44
4406
1
原创 Tomcat – java.lang.OutOfMemoryError: PermGen space Cause and Solution Read more: http://javarevisit
Tomcat web server often suffers from java.lang.OutOfMemoryError: PermGen space whenever you deploy and undeploy your web application couple of time. No matter you are using tomcat6, tomcat7 or using
2016-09-03 23:07:42
835
原创 Apache Kafka-0.9 feature
一、安全特性在0.9之前，Kafka安全方面的考虑几乎为0，在进行外网传输时，只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点，让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面，主要有以下方面设计： 客户端连接borker使用SSL或SASL进行验证 borker连接ZooKeeper进行权限管理 数据传输进行加密（需要考虑性能方面的影响） 客户端读、写
2016-08-27 06:03:23
1498
2
原创 Kafka延时分析
1、背景针对Mafka SLA性能测试（历史版）结果中出现的ack为0消费时延比ack为1、-1情况下反而要长，异步生产消费时延较大等疑点，都非常有必要一番配置和代码的梳理。2、核心配置以下所有默认参数是针对kafka 0.9，且主要针对时延这块涉及的核心参数做分析：producer端：buffer.memory：默认32m，每个producer实例可用来存储消息的最大内存空间（在实例中作为一个内
2016-08-27 01:05:03
13271
2
原创 Kafka Producer机制优化-提高发送消息可靠性
名称解释：Broker：负责消息的存储和转发，也可以叫消息中介节点 Topic：每种消息的分类叫做主题(Topic)。 Partition：每一个Topic被切分为多个Partitions。背景Producer构造Message对象时，传入key参数，当Producer发送Message，会根据key确定目标Partition，当Kafka集群中某个Partition所有存活的节点都失效或挂掉。
2016-08-27 00:45:20
9444
原创 Kafka内部网络框架模型分析
Kafka基于高吞吐率和效率考虑，并没有使用第三方网络框架，而且自己基于java nio封装的，总体网络模型如下： Broker的内部处理流水线化，分为多个阶段来进行(SEDA)，以提高吞吐量和性能，尽量避免Thead盲等待，以下为过程说明。 * Accept Thread负责与客户端建立连接链路，然后把Socket轮转交给Process Thread * Process Thread负责
2016-08-27 00:15:26
7399
1
PV3D是一个很著名的Flash 3D免费开源引擎
2008-07-06
计算机图形学实验（源程序）
2008-06-09
flex+java文件上传
2008-05-14
CORBA分布式资源池
2007-11-06
在windows中jni(生成dll)Linux中jni(生成so),java调用曾c++
2007-11-02
flex对于java开发包
2007-08-22
kafka & mafka client开发与实践
2014-08-08
kafka-perf_2.x.x-0.8.1.jar
2014-07-15
adobe flex编码指南v1.2
2008-07-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人