- 博客(164)
- 收藏
- 关注
RSS订阅Linux环境基本配置
一、JAVA_HOME 有日子没配过linux环境了，居然已经开始生疏了。vim ~/.profile 配置Java环境、配置时区写道#Java环境export JAVA_HOME=/usr/bin/javaexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export P...
2014-11-14 15:23:12
179
征服ZooKeeper之基本配置
人，总免不了有心结，限制着自己，难以前行。对于ZooKeeper的理解，以及实践也拖了很久，今天用零散时间学习一下，补点干货。 一、简述Zookeeper是Google的Chubby一个开源的实现，是高有效和可靠的协同工作系统，Zookeeper能够用来选举Leader（基于Fast Paxos协议），配置信息维护等，在一个分布式的环境中，需要一个Master实例或存储一些配置...
2014-11-14 14:28:06
381
征服 Mongodb 之 主从复制&集群复制
廉颇老矣，尚可饭否？然也！Mongodb的研究总是断断续续，需要持续经营，将其积累，为日后的工作提供参考。年底了，把今年用到的东西做个收敛。把这个年初就写了点的东西再好好收拾收拾。今天尝试一把复制集群ReplicateSet模式，做个小总结，后续在这个帖子上不断填充。 集群配置相关链接：征服 Mongodb 之 安装与系统服务配置征服 Mongodb 之 主从复制&...
2013-11-14 15:44:30
392
GPG操作——签名验证
最近回顾以前接触却没能理解的技术问题，逐步恢复博客高产出的习惯～问题描述：可能大家都遇到过软件在下载过程中由于网络原因导致下载的软件体积与实际软件体积不符。最常见的办法是对待下载文件附加一个摘要文件。这种做法比较常见，也比较容易实现。但是，还是会有一个问题：如果我篡改了网站，改变了文件的内容，并对该文件做了一次摘要，替换了原有的摘要文件。那用户下载的文件就失去了摘要验证的意义。如何避免...
2013-05-30 10:15:41
1270
Linux 命令整理 —— 文件操作——Join
工作中如何让自己变得强大？向周围人学习！同事求助Linux下俩文件相同部分做筛选，数据文件很大，如何操作。终于发现牛人，我就顺道偷师学艺。 相关链接: Linux 命令整理 —— 基本操作 Linux 命令整理 —— 用户管理 一、一般关联比方说有两个文件：写道$ cat 1a 100b 200c 300d 500 $ cat 2c 2012-03-01d 20...
2013-05-23 14:58:20
160
大数据处理点滴笔记
自我头脑风暴，说得对与错都请指点，后续补充。 当下三大技术热点：高并发、分布式、大数据（也许，还有很多，这只是自我修炼的三个目标）。大数据处理系统有几点要求：低延迟高性能分布式可扩展（更多的要求是可横向扩展）容错现在用的比较多的就是Hadoop、Storm。 Hadoop依赖于HDFS磁盘延时较高（可精确到小时）统计结果存在HBa...
2013-04-16 13:00:02
91
GitLab 安装问题小记
GitLab是个好东西，但就是安装起来忒费劲。参考官方文档，使用Ubuntu+MySQL，难免还是会有些小问题。 参考文档执行：sudo -u gitlab -H bundle exec rake gitlab:setup RAILS_ENV=production遇到：写道Gem files will remain installed in /home/gitlab/g...
2013-03-21 11:35:22
147
Thrift小记
Thrit用的不多，也不够深入，这里小记一笔。关于Thrift环境如何安装，可以参考官网。 或者直接下载windows版本的thrift-0.9.2.exeThrit跟Java有数据类型的映射关系：/** * The first thing to know about are types. The available types in Thrift are: * *...
2013-03-14 18:37:26
126
征服 Redis + Jedis + Spring （三）—— 列表操作
一开始以为Spring下操作哈希表，列表，真就是那么土。恍惚间发现“stringRedisTemplate.opsForList()”的强大，抓紧时间恶补下。 相关链接：征服 Redis征服 Redis + Jedis征服 Redis + Jedis + Spring （一）—— 配置&常规操作（GET SET DEL）征服 Redis + Jedis + S...
2013-03-06 16:16:19
477
征服 Mongodb 之 Modifier增强
通过find/findOne做了简单查询，恍惚间发觉好像少点什么，似乎过于简单。这里做个补充，简单说说各种$的关键字：$lt、$gt、$lte、$gte等等。发现自己又给自己挖了个坑，又深又广，需要早点跳出来喘口气。 集群配置相关链接：征服 Mongodb 之 安装与系统服务配置征服 Mongodb 之 主从复制&集群复制 基本操作相关链接：征服...
2013-02-07 15:57:13
114
征服 Mongodb 之 Modifier初识
本以为Mongodb的CRUD就是些常规操作，其实不然，针对字段、数组的操作还有很多特定指令——修改器。实在是不知道该如何对这一对$符号开始的指令给个靠谱的名称。 集群配置相关链接：征服 Mongodb 之 安装与系统服务配置征服 Mongodb 之 主从复制&集群复制 基本操作相关链接：征服 Mongodb 之 常用命令、基本数据类型 征服...
2013-02-06 14:37:55
134
征服 Mongodb 之 CRUD
这段时间总难把精力投在调研工作上，眼下要放假了，回家的七七八八，没啥正事了，接着整理。 集群配置相关链接：征服 Mongodb 之 安装与系统服务配置征服 Mongodb 之 主从复制&集群复制 基本操作相关链接：征服 Mongodb 之 常用命令、基本数据类型 征服 Mongodb 之 Modifier初识征服 Mongodb 之 Mo...
2013-02-06 10:34:49
100
征服 Mongodb 之 常用命令、基本数据类型
手里有本《MongoDB权威指南》，打算做个读书笔记，把常规命令、数据类型过一遍，强迫记忆。 集群配置相关链接：征服 Mongodb 之 安装与系统服务配置征服 Mongodb 之 主从复制&集群复制 基本操作相关链接：征服 Mongodb 之 常用命令、基本数据类型 征服 Mongodb 之 Modifier初识征服 Mongod...
2013-01-23 15:41:40
113
Nginx扩展（一）：nginx_tcp_proxy_module
好东西必须持续钻研，且持续积累，尤其要做个笔记。今天是偷师学艺，把小弟用到的东西快速记录下来。研究这个东西，主要是为了解决Thrift的负载均衡问题。参考nginx_tcp_proxy_module，下载、安装，做好简单的配置。 可以直接下载最新版本： wget https://github.com/yaoweibin/nginx_tcp_proxy_module/...
2013-01-15 16:41:16
386
我的职场生涯（十）——又一个两年
这一个两年过去后，就真的奔三了。回顾两年前的我，期望来这里后能好好做做技术，释放自己的所学，并能有所建树，做出一些成绩。但事与愿违，实际情况，远非我想象般的那么简单。工作初期，带两、三个小弟，把广告系统搭建起来，跟合作方谈技术接口，做原型开发，跟合作方谈技术接口。期间，申请服务器资源，配置svn，搭建jira、bamboo、confluence等等。大概过了3、4个月，系统完成开发，部署上...
2012-12-14 16:05:32
146
DisplayTag POI支持——Excel文件导出中文乱码问题&包依赖问题-解决
DisplayTag，可能大部分人都用过，也知道他非常的方便。但也有人说，他有些臃肿，小问题很多。譬如今天遇到导出Excel文件内容的中文乱码问题，官方给出的方案是：displaytag.properites文件中加入： export.excel.class=org.displaytag.export.excel.ExcelHssfView 同时加入依赖包： dis...
2012-09-29 15:11:24
198
MySQL 查询时强制区分大小写
平时很少会考虑数据存储需要明确字符串类型字段的大小写，MySQL默认的查询也不区分大小写。但作为用户信息，一旦用户名重复，又会浪费很多资源。再者，李逵、李鬼的多起来，侦辨起来很困难。要做到这一点，要么在建表时，明确大小写敏感（字段明确大小写敏感）。如果通盘数据库所有字段都需要大小写敏感，不如在字符集设置时做好调整。不过，通常不建议这么做。 如果跟我一样，数据库已经在线上跑了，一个表上百万条...
2012-09-20 09:40:20
432
MySQL 运维笔记（一）—— 终止高负载SQL
数据库表体积大了，负载高了，难免一个sql出去耗时延长。半个月前，一个凌晨定时任务跑了8小时，突然手足无措。最后找DBA协助，直接干掉了这个sql进程。其实，这并不复杂。首先，找出占用CPU时间过长的SQLshow processlist; 假定最后一条sql处于Query状态，且Time时间过长，就锁定它的ID，直接干掉即可。 然后，杀死进程：kill QUERY 4...
2012-09-17 17:13:54
164
Memcached笔记——（四）应对高并发攻击
近半个月过得很痛苦，主要是产品上线后，引来无数机器用户恶意攻击，不停的刷新产品各个服务入口，制造垃圾数据，消耗资源。他们的最好成绩，1秒钟可以并发6次，赶在Database入库前，Cache进行Missing Loading前，强占这其中十几毫秒的时间，进行恶意攻击。 相关链接： Memcached笔记——（一）安装&常规错误&监控 Memcached笔记——（二）XM...
2012-09-13 09:48:14
168
征服 Redis + Jedis + Spring （二）—— 哈希表操作（HMGET HMSET）
不得不说，用哈希操作来存对象，有点自讨苦吃！不过，既然吃了苦，也做个记录，也许以后API升级后，能好用些呢？！或许，是我的理解不对，没有真正的理解哈希表。 相关链接：征服 Redis征服 Redis + Jedis征服 Redis + Jedis + Spring （一）—— 配置&常规操作（GET SET DEL）征服 Redis + Jedis + ...
2012-08-29 18:29:09
437
征服 Redis + Jedis + Spring （一）—— 配置&常规操作（GET SET DEL）
有日子没写博客了，真的是忙得要疯掉。 完成项目基础架构搭建工作，解决了核心技术问题，接着需要快速的调研下基于Spring框架下的Redis操作。 相关链接：征服 Redis征服 Redis + Jedis征服 Redis + Jedis + Spring （一）—— 配置&常规操作（GET SET DEL）征服 Redis + Jedis + Spring （二...
2012-08-29 16:30:23
714
Redis集群服务器-高可用调研随笔
今天改了一天的Bug，本想下午开始专研Redis命令集，结果也泡汤了。只能在下班的路上考虑下Redis集群服务器的高可用方案。随笔而已，尚未成型，仅作记录。 当然，我说的可能比较片面，欢迎拍砖、斧正。一、Redis与MySQL对比相同点： Master-Slave架构，集群架构下无法很好的完成数据拷贝，确保数据一致性。支持数据文件持久化存储，但数据文件过大时，宕机重启可能...
2012-08-22 22:24:53
152
Spring 注解学习手札（八）补遗——@ExceptionHandler
Spring注解，改变了我的开发思路。前段时间，用[b]@RequestBody[/b]，[b]@ResponseBody[/b]，不费吹灰之力就解决了JSon自动绑定。接着就发现，如果遇到[b]RuntimeException[/b]，需要给出一个默认返回JSON。以前都是用[b]SimpleMappingExceptionResolver[/b]拦截实现，今天偶尔看下资料，[b]@Ex...
2012-08-17 18:35:46
160
征服 Mongodb 之 安装与系统服务配置
今天补点旧账，去年搭建系统时，曾想用Mongodb做统计数据存储，被老大给否了。只因为楼上部门用Mongodb宕机后无法恢复，Mongodb在公司内留下了个坏名声。不过，貌似个别兄弟组做Hadoop统计时，还是通过Mongodb来完成的！ 一个产品的好坏，不见得是自身质量问题，也有可能是使用不当的问题。不做深入了解，把知道的部分做个简单整理。一般来说，根据数量级，两千万以内用MySQ...
2012-08-16 18:47:57
111
征服 Redis + Jedis
用Memcached，对于缓存对象大小有要求，单个对象不得大于1MB，且不支持复杂的数据类型，譬如SET等。基于这些限制，有必要考虑Redis！ 相关链接：征服 Redis征服 Redis + Jedis征服 Redis + Jedis + Spring （一）—— 配置&常规操作（GET SET DEL）征服 Redis + Jedis + Spring ...
2012-08-15 17:49:43
159
征服 Redis
大约一年多前，公司同事开始使用Redis，不清楚是配置，还是版本的问题，当时的Redis经常在使用一段时间后，连接爆满且不释放。印象中，Redis 2.4.8以下的版本由于设计上的主从库同步问题，就会导致整个问题，不知是否确为这个Bug所致。但从那以后，我就很少敢去尝试使用Redis。曾想转投MongoDB，但公司同事给我的回复是，由于MongoDB宕机，数据丢失，公司损失惨重。于是，我一直停留...
2012-08-13 17:05:51
196
Spring 注解学习手札（七） 补遗——@ResponseBody，@RequestBody，@PathVariable
最近需要做些接口服务，服务协议定为JSON，为了整合在Spring中，一开始确实费了很大的劲，经朋友提醒才发现，SpringMVC已经强悍到如此地步，佩服！ :D [b]相关参考：[url=/blog/577989]Spring 注解学习手札（一） 构建简单Web应用[/url][url=/blog/578452]Spring 注解学习手札（二） 控制层梳理[/url][url...
2012-08-10 21:27:22
224
原创 Mac OS 快捷键
做个记录，最常用是截图跟强退，呵呵！ :D [table]|Ctrl + Shift|快速放大dock的图标会暂时放大，而如果你开启了dock放大||Command + Option + W|将所有窗口关闭||Command + W|将当前窗口关闭(可以关闭Safari标签栏,很实用) ||Command + Option + M|将所有窗口最小化||Command + Q...
2012-08-10 17:27:08
75
Eclipse+Maven快速生成Web项目，解决部署时Maven lib依赖问题
用Maven开发做了很久了，用Eclipse做开发就更久了。自打用Eclipse开发Web项目，就一直用着Eclipse的WTP，离开了WTP的Server，就超级不习惯。虽然Maven已经3.0时代了，虽然Maven For Eclipse的插件也做了很久了，但还是不够好用，兼容做的不够好。 :( 接下来，我们通过简单配置，解决wtp发布工程时，对于Maven的Lib依赖！ :D ...
2012-08-09 18:40:13
216
1
MySQL 忘记root密码，解决办法
今天遇到个破问题：用了N久的MySQL要新建数据库，竟然忘记了密码。 :o 而这个问题居然也很常见！ :) 要修改MySQL的root密码，有两个先决条件：[list][*]有修改MySQL配置文件的权限[*]有重启MySQL服务的权限[/list]先修改配置文件：[quote]# vim /etc/my.cnf [mysqld]datadir=/var...
2012-08-08 18:09:48
301
Linux环境小问题——Get HostName Error
之前使用mysql的时候，在配置文件中，已经指明了ip访问，但无论怎么写，得到的都是这个ip主机的别名，很无奈。直到把这台机器重装后，才彻底解决这个问题。当时没有多想，碰巧这台虚拟机的宿主机硬件故障需要重新配置，顺道解决了这个问题。如今，配置Kestrel的Worker都是时候，遇到了这样的问题：[quote][2012-08-06 11:35:56,165][ERROR][net.r...
2012-08-06 12:55:28
206
Mountain Lion 升级后Java不可用问题补救
升级到Mountain Lion后，让我最头痛的是原来的jdk用不了了 :x ，而且即便是安装了Java7的Oracle版，依旧无法启动我的Eclipse，最终，发现了Apple的官方补丁[url]http://support.apple.com/kb/DL1515[/url]，[url=http://support.apple.com/downloads/DL1515/en_US/JavaFor...
2012-07-31 08:10:02
67
征服 Kestrel + XMemcached + Spring TaskExecutor
上一篇[b][url=http://snowolf.iteye.com/blog/1605229]征服 Kestrel + XMemcached[/url][/b]只是对Kestrel操作做了简要的整理，如果要在实际工作用应用，还需要对接收端继续改造，这里需要用到Spring的Executor以线程池的方式，作为Kestrel的Worker，完成具体的业务操作。 :D [b]相关链接：...
2012-07-30 14:43:12
115
Mac App Store 下载提速
OS X Mountain Lion来了，几乎一夜未眠，等着升级。[img]http://dl.iteye.com/upload/attachment/0071/3819/80030818-1fa7-32cd-9b77-739bb1fa4263.png[/img] :) 可是我的Mac App Store下载速度慢的要死，我这10M光纤的优势一点也没体现出来。 :( 发现这个网址[...
2012-07-27 05:44:40
121
Maven零散笔记——配置Nexus
应朋友需要，整理Nexus相关资料，做一些简要整理，方便他人！ :D [b]相关链接:[url=http://snowolf.iteye.com/blog/953735]Maven零散笔记——常用配置[/url][url=http://snowolf.iteye.com/blog/1605811]Maven零散笔记——配置Nexus[/url][/b][url=ht...
2012-07-24 17:51:09
104
征服 Kestrel + XMemcached
接上一篇 [b][url=http://snowolf.iteye.com/blog/1604531]征服Kestrel[/url][/b]，介绍XMemcached对于Kestrel的支持实现。 :D 关于XMemcached具体代码，可以参考[b][url=http://snowolf.iteye.com/blog/1471805]Memcached笔记——（二）XMemcached&...
2012-07-24 12:06:03
148
原创 征服 Kestrel
因为要面对高并发PUSH需求，考虑将其按队列方式实现，最终选型Kestrel。至于Kestrel：[list][*]基于Scala语言的Twitter开源消息中间件[*]高性能（TPS 6000不成问题）、小巧（2K行代码）、持久存储（记录日志到journal）并且可靠（支持可靠获取）[*][b]Kestrel[/b]的前身是[b]Ruby[/b]写的[b]Starling[/...
2012-07-23 18:33:30
137
Memcached笔记——（三）Memcached使用总结
为了将N个前端数据同步，通过Memcached完成数据打通，但带来了一些新问题：[list][*]使用iBatis整合了Memcached，iBatis针对每台server生成了唯一标识，导致同一份数据sql会产生不同的key，造成重复缓存。——通过重写iBatis部分原码，终止了唯一标识的生成，同一个SQL产生同一个Key，同时对生成key做hash，控制长度，使得数据统一在Memcac...
2012-07-04 17:06:15
107
Java操作Excel文件导入
用Excel作为数据源，通过Java Web进行导入，需要POI的jar。apachepoi（org.apache.poi 3.8） :) 可以支持公式、日期等格式！ :D 不说废话，上代码：[code="java"]/** * Jun 25, 2012 */import java.io.File;import java.io.FileInputStream;...
2012-06-27 17:33:38
544
MySQL 语句级避免重复插入—— Insert Select Not Exist
想要插入一条数据，要避免重复插入，又不想折腾两回数据库连接操作，可以参考如下办法。 :D [code="SQL"]INSERT INTO table(column1,column2,column3 ...columnN)SELECT value1,value2,value3 ...valueNFROM dualWHERE NOT EXISTS( SELECT *...
2012-06-27 13:14:30
954
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人