- 博客(320)
- 收藏
- 关注
RSS订阅转载 Linux下多线程查看工具(pstree、ps、pstack)
1. pstree pstree以树结构显示进程 $ pstree -p work | grep ad sshd(22669)---bash(22670)---ad_preprocess(4551)-+-{ad_preprocess}(4552) ...
2019-09-14 12:36:58
557
转载 Hadoop Streaming 实战： 文件分发与打包
如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在，则首先需要将这些文件分发到集群上才能成功进行计算。 Hadoop提供了自动分发文件和压缩包的机制，只需要在启动Streaming作业时配置相应的参数。 1. –file 将本地文件分发到计算结点 2. ...
2019-09-14 12:36:52
573
转载 Hadoop Streaming 实战： grep
streaming支持shell 命令的使用。但是，需要注意的是，对于多个命令，不能使用形如cat; grep 之类的多命令，而需要使用脚本，后面将具体介绍。 下面示例用grep检索巨量数据： 1. 待检索的数据放入hdfs $ hadoop fs -put l...
2019-09-14 12:36:46
380
转载 Hadoop Streaming 实战： 传递环境变量
环境变量可以理解程序运行的系统环境，用户可以对自己的运行环境进行定制，其方法就是修改相应的系统环境变量。 用JAVA实现的Map-Reduce程序可以通过Hadoop提供的编程接口访问作业的配置信息，而streaming程序不能使用JAVA编程接口，因此，stre...
2019-09-14 12:36:41
420
转载 转义字符引发的血案（hive、bash）
bash程序： test.sh#!/bin/bashhive -e "select (split('p?a?b?c?ppp?hhh','?'))[4] from a limit 1;"报错：Caused by: java.util.regex.PatternSyntaxExc...
2019-09-14 12:36:35
255
转载 MurmurHash PK CityHash
1. 概述 murmurhash是 Austin Appleby于2008年创立的一种 非加密hash算法，适用于基于hash进行查找的场景。murmurhash最新版本是MurMurHash3，支持 32位、64位及128位值的产生。 murmurhash标准使用c++实现，但是...
2019-09-14 12:36:30
604
转载 c++开源日志库log4cplus
1. 简介 log4cplus是C++编写的开源的日志系统， The purpose of this project is to port the excellent Log for Java (log4j)logging library to C++。 log4cplus具有...
2019-09-14 12:36:25
256
转载 hive partition字段异常字符导致的问题
线上一个任务报错，报错内容： Failed with exception javax.jdo.JDODataStoreException: Error executing JDOQL query "SELECT 'org.apache.hadoop.hive.metastore.model.M...
2019-09-14 12:36:19
831
转载 TcMalloc，A Big Surprise！
场景： 模块多线程并发处理输入数据，大量使用各种STL容器，运行内存30G。 程序重启，导入历史后，处理速度变慢，数个小时候后才能回到正常处理速度，处理速度慢期间，cpu idle高 分析： 重启后，缓存的内存被收回，大量内存需要重新分配，cpu频繁锁在malloc上 解决： 1. 使...
2019-09-14 12:36:14
64
转载 分布式监控系统Ganglia
1. 概述 Ganglia是一个可伸缩的分布式监控系统。它是基于分层设计，广泛使用各种成熟的技术，例如： 1. XML：数据标示， 2. XDL(External Data Representation)：XDR提供了一种与体系结构无关的表示数据，解决了数据字节排序的差异、数据字节大小、...
2019-09-14 12:36:10
179
转载 Hadoop Streaming 实战： 输出文件分割
我们知道，Hadoop streaming框架默认情况下会以'/t’作为分隔符，将每行第一个'/t’之前的部分作为key，其余内容作为value，如果没有'/t’分隔符，则整行作为key；这个key/tvalue对又作为reduce的输入。hadoop 提供配置供用户自主...
2019-09-14 12:36:06
399
转载 Gossip算法学习
1. 概述 gossip，顾名思义，类似于流言传播的概念，是一种可以按照自己的期望，自行选择与之交换信息的节点的通信方式 gossip, or anto-entropy, is an attractive way of replicating state that does no...
2019-09-14 12:36:01
638
转载 模块管理常规功能自定义系统的设计与实现(34--终级阶段 综合查询[1])
综合查询(1) 视频讲解在线观看：视频讲解链接 http://i.youku.com/jfok1972 前面已经架构好了一个销售管理系统，看看功能也挺多，也...
2019-09-14 12:35:56
251
转载 Dubbo无法访问远程Zookeeper已注册服务的问题
背景 使用Dubbo的时候发现当Zookeeper、Dubbo-admin、生产者和消费者都在 内网中的时候，生产者的生产和消费是没有问题的，但是当它Zookeeper、生产者放到远程服务器上，然后消费者在访问消费就出现了无法找到找到服务的问题。 内网环境使用情况 上...
2019-09-14 12:35:51
506
转载 Hadoop客户端环境配置
1. 安装客户端（通过端用户可以方便的和集群交互） 2. 修改客户端~/.bashrcalias hadoop='/home/work/hadoop/client/hadoop-client/hadoop/bin/hadoop' #hadoop 可执行文件位置alias hls='...
2019-09-14 12:35:46
658
转载 数据库连接池DBCP浅析
a. 建立连接 b. 执行数据库操作 c. 关闭连接 其中建立连接可能需要数ms才能完成。对于多并发请求的场景，频繁的建立连接、断开连接可能会成为程序与关系数据库交互的瓶颈。 为此，很多时候，我们使用数据库连接池来复用连接，避免频繁的建立连接带来的资源浪费。 DBCP是应用非常广泛...
2019-09-14 12:35:40
215
转载 对延时敏感的应用是否应该使用Docker?
在High Scalability上看到一篇文章 How Does The Use of Docker Effect Latency? ，文章回答了一个问题 I keep hearing about [Docker] as if it is the greatest thin...
2019-09-14 12:35:36
188
转载 模块管理常规功能自定义系统的设计与实现(05--权限和菜单)
模块的基本操作权限和菜单设置 ”省份“模块导入系统后，还得先设置一下权限和在菜单里加入一个菜单项，才可以进行操作。 一、权限的设置 角色及权限设计如下图： ...
2019-09-14 12:35:31
580
转载 Hadoop数据传输工具sqoop
概述 sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。 sqoop架构： sqoop架构非常简单，其整合了Hiv...
2019-09-14 12:35:27
215
转载 Redis Sentinel源码分析（二）
接Redis Sentinel源码分析（一） sentinelTimer函数周期性运行，第一次在服务启动后1ms执行，后续执行周期1000/server.hz（sentinelTimer函数会修改server.hz的值） sentinelTimer内部包含sentinel模式需要定...
2019-09-14 12:35:22
278
转载 pthread_mutex_lock引起的core
遇到一个奇怪的core core在pthread_mutex_lock下一行 最后发现： 某个线程pthread_mutex_lock的时候，另一个线程已经pthread_mutex_destroy掉这个锁 ...
2019-09-14 12:35:17
553
转载 腾讯云CentOS7.0使用yum安装mysql
背景： 今天才申请了腾讯云+校园计划的1元服务器，（http://www.qcloud.com/event/qcloudSchool）安装了Centos7.0，在安装mysql的时候，使用yum list | grep mysql 来查找yum源中是否有mysql，结果如下： [...
2019-09-14 12:35:17
231
转载 常规功能和模块自定义系统(cfcmms)—002目录
常规功能和模块自定义系统(cfcmms)—002目录 001序言－－－－－－－－－－－－－－http://blog.csdn.net/jfok/article/details/47973555 002目录－－－－－－－－－－－－－－ http://bl...
2019-09-14 12:35:07
67
转载 Tomcat使用IDEA远程Debug调试
Tomcat运行环境：CentOS6.5、Tomcat7.0、IDEA 远程Tomcat设置 1、在tomcat/bin下的catalina.sh上边添加下边的一段设置 CATALINA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,...
2019-09-14 12:35:01
120
转载 hive csv文件导入hive第一个字段内容为NULL
从mysql中导出一张维度表，输出格式为csv 数据如下： 1 www.dianping.com ^/shanghai$ 上海首页 1 2 www.dianping.com ^/shop/[0-9]*$ 商户页 ...
2019-09-14 12:34:50
1508
转载 hive脚本报错，mark【 Error: Exceeded limits on number of counters - Counters=120 Limit=120】
[2013-02-25 14:54:00.372]Hadoop job information for Stage-1: number of mappers: 25; number of reducers: 50 [2013-02-25 14:54:00.377] o...
2019-09-14 12:34:39
288
转载 SSH设置别名访问远程服务器
一般使用ssh访问远程服务器的命令是：ssh username@ip地址， 例如：ssh [email protected]，然后输入密码即可访问。 以Mac OS为例，其他操作系统，根据目录自行查找 设置如下： 使用cd ~/.ssh/ 进入ssh目录，会看到有c...
2019-09-14 12:34:35
198
转载 分布式Java应用之网络通信（1）
导读 网络通信包含两部分：网络协议和IO。协议规范了数据传输的格式，IO才是真正斤西瓜数据传输的部分。 网络协议包括：TCP/IP,UDP/IP和Multicast（多播协议） IO包括：同步IO（NIO/BIO）和异步IO（AIO） 上边的部分都是作为Java分布式应用的基...
2019-09-14 12:34:30
50
转载 常规功能和模块自定义系统 (cfcmms)—025开发日志(创建iconCls的field)
常规功能和模块自定义系统 (cfcmms)—025开发日志(创建iconCls的field) 这一节是临时插入的工作日志。 在本系统中可以自定义某些图标，图标的样式都是手工录入的，为了能直观的选择iconCls中的图标，开发了此控件。extjs中内置了...
2019-09-14 12:34:25
304
转载 Redis集群方案及实现
之前做了一个Redis的集群方案，跑了小半年，线上运行的很稳定差不多可以跟大家分享下经验，前面写了一篇文章数据在线服务的一些探索经验，可以做为背景阅读 应用我们的Redis集群主要承担了以下服务： 1. 实时推荐 2. 用户画像 3. 诚信分值服务 集群状况集群峰值QPS ...
2019-09-14 12:34:20
80
转载 大众点评数据平台架构变迁
最近和其他公司的同学对数据平台的发展题做了一些沟通，发现各自遇到的问题都类似，架构的变迁也有一定的相似性。 以下从数据&架构&应用的角度对2012.07-2014.12期间大众点评数据平台的架构变迁做一个概括性的总结，希望对还处在数据平台发展初期的同学有一些帮助，欢迎线下沟通...
2019-09-14 12:34:15
158
转载 跟我一起学extjs5(01--开发的总体说明)
跟我一起学extjs5(01--开发的总体说明) 我之前使用extjs4+java spring MVC架构了一套“模块常规功能自定义的系统”（博客详见点击打开链接），该系统中详细讲解了设计思想，但并未有实...
2019-09-14 12:34:11
128
转载 Nginx模块管理和进程管理
前言 Nginx和Apache一样，同样适用饿模块化管理，但是和Apache“热插拔”（每次添加模块的时候，不需要重新编译，只需要重新载入即可）的方式不同，Nginx每次添加一个模块或删除一个模块的话都需要重新编译才可以适用相应的功能模块。 上一篇（http://blog.csd...
2019-09-14 12:34:06
45
转载 Redis 存储结构设计
Base 2.8.7 Redis是一个包含了很多Key-Value对的大字典，这个字典支持的Value非常丰富，可以为 字符串、哈希表、列表、集合和有序集，基于这些类型丰富的value，扩展出了功能强大的操作，例如hmset、lpush、sadd等 字典字典是Redis最基础的数...
2019-09-14 12:34:00
1160
转载 Hadoop Streaming： c++编写uniq程序
1. 描述 使用Hadoop streaming对输入数据的第一列进行uniq去重计算，采用c++编写map-reduce程序。 2. mapper程序 mapper.cpp #include <iostream>#include <string>using...
2019-09-14 12:33:55
134
转载 堆与栈的关系与区别
一. 在c中分为这几个存储区 1.栈 - 由编译器自动分配释放 2.堆 - 一般由程序员分配释放，若程序员不释放，程序结束时可能由OS回收 3.全局区（静态区），全局变量和静态变量的存储是放在一块的，初始化的全局变量和静态变量在一块区域，未初始化的全局变量和未初始化的静态变量在相邻的另一...
2019-09-14 12:33:50
839
转载 数据仓库基础
数据仓库概念 数据仓库是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合 面向主题:操作型数据库的数据组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。 集成...
2019-09-14 12:33:45
353
转载 Google Protocol Buffer 学习
1. 概念 Protocol Buffer是一种类似于 XML的灵活高效的结构化数据存储格式，和XML相比，Protocol具有以下优势： 1) simpler 2) smaller：3-10倍 ...
2019-09-14 12:33:40
84
转载 jemalloc： another option
1. 概述 jemalloc起源于Jason Evans 2006年在BSDcan conference发表的论文： A Scalable Concurrent malloc Implementation for FreeBSD jason认为phkmalloc（FreeBSD’s ...
2019-09-14 12:33:35
94
转载 跟我一起学extjs5(12--模块界面的总体设计)
跟我一起学extjs5(12--模块界面的总体设计) 上一节中设计了一些模块自定义中用到的要素，为了直观起见，这一节先建立一个模块的主界面。看过我模块管理常规功能自定义系统的设计与实现博客的人应该会有所了解了。一个模块的主界面是一个Grid，在其...
2019-09-14 12:33:30
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人