- 博客(42)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 数据挖掘-分词入门
谷歌4亿英镑收购人工智能公司DeepMind，百度目前正推进“百度大脑”项目，腾讯、阿里等各大巨头布局深度学习。随着社会化数据大量产生，硬件速度上升、成本降低，大数据技术的落地实现，让冷冰冰的数据具有智慧逐渐成为新的热点。要从数据中发现有用的信息就要用到数据挖掘技术，不过买来的数据挖掘书籍一打开全是大量的数学公式，而课本知识早已还给老师了，难以下手、非常头大！我们可以跳过数学公式，先看看我...
2014-09-16 09:02:05
146
原创 数据挖掘-分词入门
谷歌4亿英镑收购人工智能公司DeepMind，百度目前正推进“百度大脑”项目，腾讯、阿里等各大巨头布局深度学习。随着社会化数据大量产生，硬件速度上升、成本降低，大数据技术的落地实现，让冷冰冰的数据具有智慧逐渐成为新的热点。要从数据中发现有用的信息就要用到数据挖掘技术，不过买来的数据挖掘书籍一打开全是大量的数学公式，而课本知识早已还给老师了，难以下手、非常头大！我们可以跳过数学公式，先看看我
2014-09-16 09:01:32
2882
搭建高可用mongodb集群（四）—— 分片
按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做到自动扩展？在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，他不能解决海量数据怎么行！...
2014-03-31 09:42:52
166
原创 搭建高可用mongodb集群（四）—— 分片
按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做到自动扩展？在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，他不能解决海量数据怎么行！不
2014-03-29 16:10:03
1563
搭建高可用mongodb集群（三）—— 深入副本集内部机制
在上一篇文章《搭建高可用mongodb集群（二）—— 副本集》 介绍了副本集的配置，这篇文章深入研究一下副本集的内部机制。还是带着副本集的问题来看吧！副本集故障转移，主节点是如何选举的？能否手动干涉下架某一台主节点。官方说副本集数量最好是奇数，为什么？mongodb副本集是如何同步的？如果同步不及时会出现什么情况？会不会出现不一致性？mongodb的故障转移会不会无故自动发生？...
2014-02-18 13:35:59
105
原创 搭建高可用mongodb集群（三）—— 深入副本集内部机制
在上一篇文章《搭建高可用mongodb集群（二）—— 副本集》 介绍了副本集的配置，这篇文章深入研究一下副本集的内部机制。还是带着副本集的问题来看吧！副本集故障转移，主节点是如何选举的？能否手动干涉下架某一台主节点。官方说副本集数量最好是奇数，为什么？mongodb副本集是如何同步的？如果同步不及时会出现什么情况？会不会出现不一致性？mongodb的故障转移会不会无故自动发生？什么条件会触
2014-02-17 13:33:34
1455
搭建高可用mongodb集群（二）—— 副本集
在上一篇文章《搭建高可用MongoDB集群（一）——配置MongoDB》 提到了几个问题还没有解决。主节点挂了能否自动切换连接？目前需要手工切换。主节点的读写压力过大如何解决？从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做到自动扩展？这篇文章看完这些问题就可以搞定了。NoSQL的产生就是为了解决大数据量、高扩展性、高...
2013-12-30 09:30:05
107
原创 搭建高可用mongodb集群（二）—— 副本
在上一篇文章《搭建高可用MongoDB集群（一）——配置MongoDB》 提到了几个问题还没有解决。主节点挂了能否自动切换连接？目前需要手工切换。主节点的读写压力过大如何解决？从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做到自动扩展？这篇文章看完这些问题就可以搞定了。NoSQL的产生就是为了解决大数据量、高扩展性、高性能、灵活数
2013-12-30 01:14:52
1697
搭建高可用mongodb集群（一）——配置mongodb
在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。NOSQL有这些优势：大数据量，可以通过廉价服务器存储大量的数据，轻松摆脱传统mysql单表存储量级限制。高扩展性，Nosql去掉了关系数据库的关系型特性，很容易横向扩展，摆脱了以往老是纵向扩展的诟病。高性能，Nosql通过简...
2013-11-18 09:37:47
75
原创 搭建高可用mongodb集群（一）——配置mongodb
在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中最像关系数据库的。支持类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。所以这个非常方便，我们可以用sql操作MongoDB，从关系型数据库迁移过来，开发人员学习成本会大大减少。如果再对底层的sql API做一层封装，开发基本可以感觉不到mongodb和关系型数据
2013-11-18 09:35:59
1578
1
海量数据相似度计算之simhash短文本查找
在前一篇文章 《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理，大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增，如果一天100w，10天就1000w了。我们如果插入一条数据就要去比较1000w次的simhash，计算量还是蛮大，普通PC 比较1000w次海明距离需要 300ms ，和5000w数据比较需要1.8 s。看起来相似度计算不是很...
2013-09-09 07:34:30
208
原创 海量数据相似度计算之simhash短文本查找
在前一篇文章 《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理，大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增，如果一天100w，10天就1000w了。我们如果插入一条数据就要去比较1000w次的simhash，计算量还是蛮大，普通PC 比较1000w次海明距离需要 300ms ，和5000w数据比较需要1.8 s。看起来相似度计算不是
2013-09-09 07:33:56
5594
1
海量数据相似度计算之simhash和海明距离
通过 采集系统 我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，如果我们的爬虫每天采集的数据以千万计算，我们如何对于这些海量千万级的数据进行高效的合并去重。最简单的做法是拿着待比较的文...
2013-08-26 07:33:14
239
原创 海量数据相似度计算之simhash和海明距离
通过 采集系统 我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，如果我们的爬虫每天采集的数据以千万计算，我们如何对于这些海量千万级的数据进行高效的合并去重。最简单的做法是拿着待比较的文本
2013-08-25 17:19:36
5538
实战低成本服务器搭建千万级数据采集系统
上一篇文章《社会化海量数据采集框架搭建》提到如何搭建一个社会化采集系统架构，讲架构一般都比较虚，这一篇讲一下如何实战用低成本服务器做到日流水千万级数据的分布式采集系统。有这样一个采集系统的需求，达成指标： 需要采集30万关键词的数据 、微博必须在一个小时采集到、覆盖四大微博（新浪微博、腾讯微博、网易微博、搜狐微博）。为了节约客户成本，硬件为普通服务器：E5200 双核 2.5G cpu， 4...
2013-08-05 19:28:49
119
原创 实战低成本服务器搭建千万级数据采集系统
上一篇文章《社会化海量数据采集框架搭建》提到如何搭建一个社会化采集系统架构，讲架构一般都比较虚，这一篇讲一下如何实战用低成本服务器做到日流水千万级数据的分布式采集系统。有这样一个采集系统的需求，达成指标： 需要采集30万关键词的数据 、微博必须在一个小时采集到、覆盖四大微博（新浪微博、腾讯微博、网易微博、搜狐微博）。为了节约客户成本，硬件为普通服务器：E5200 双核 2.5G cpu，
2013-08-05 19:27:46
1052
社会化海量数据采集爬虫框架搭建
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏览器，输入网址url访问页面内容。2、复制页面内容的标题、作者、内容。3、存储到文本文件...
2013-07-26 09:39:49
115
原创 社会化海量数据采集爬虫框架搭建
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏览器，输入网址url访问页面内容。2、复制页面内容的标题、作者、内容。3、存
2013-07-26 09:38:53
1192
实战做项目如何选择开源许可协议（二）- 开放代码
通过《实战做项目如何选择开源许可协议（一）-了解协议》大概知道了有哪些开源协议和各个协议的作用和区别。我们准备把代码开放出去时，需要了解各个代码托管平台如何设置开源协议。目前常用的平台有：googlecode、github、sourceforge、codeplex。下面分别列一下这些平台如何设置开源协议：1、googlecode，google推出的代码托管平台，整体可用还是比较强的，如果不是...
2013-07-17 09:40:48
62
原创 实战做项目如何选择开源许可协议（二）- 开放代码
通过《实战做项目如何选择开源许可协议（一）-了解协议》大概知道了有哪些开源协议和各个协议的作用和区别。我们准备把代码开放出去时，需要了解各个代码托管平台如何设置开源协议。目前常用的平台有：googlecode、github、sourceforge、codeplex。下面分别列一下这些平台如何设置开源协议：1、googlecode，google推出的代码托管平台，整体可用还是比较强的，如果不
2013-07-17 09:33:00
871
原创 实战做项目如何选择开源许可协议（一）-了解协议
在国内大家习惯了使用盗版、破解，看到这种免费的软件也觉得是理所当然的拿来主义，甚至直接封装到自己的商业组件卖出去。如果你正在这样做，马上停下来研究一下使用的这些开源组件的许可协议，不然某一天你会意外收到一封法院的传票。如果你在开发或者准备开发开源软件，但尚对开源许可协议不了解，也看下这篇文章，选择一种开源许可协议保护你的开源软件。
2013-07-05 10:16:56
1054
2
实战做项目如何选择开源许可协议（一）-了解协议
目前国内开源项目正在逐渐升温，中国也开始有不少优秀的开源项目突显出来。在大家摩拳擦掌准备加入开源大军时，也要知道这个圈子里的规则。技术人员不能只是研究技术，任何圈子都有规则，要知道了才能玩得好。前段时间有件关于开源软件的事情挺热闹的，关于国内一个开发者把自己作品开源出来被别的公司的人拿去包装成自己的产品高价卖出去。大部分做开源软件的开发者都不太怎么关注版权这些，具体微博如下： hoowa...
2013-07-05 10:14:53
74
创业公司如何实施敏捷开发
说起敏捷开发，并不是因为敏捷而敏捷。这几年的敏捷开发已经被很多敏捷咨询服务商神话了，这个东西并不是神器，实施了就可以解决所有软件公司的问题，而是要结合自己公司的特点和问题摸索出适合自己的一套模式。大家都知道，创业公司刚开始需要研发出一款产品并且能够使公司赚钱的产品，不过大部分创业公司没有那么容易一下就能做出来，很多公司还没有成功的产品资金链就断掉了，公司也死掉了。我们公司是这样一个状况...
2013-06-24 10:57:32
119
原创 创业公司如何实施敏捷开发
说起敏捷开发，并不是因为敏捷而敏捷。这几年的敏捷开发已经被很多敏捷咨询服务商神话了，这个东西并不是神器，实施了就可以解决所有软件公司的问题，而是要结合自己公司的特点和问题摸索出适合自己的一套模式。大家都知道，创业公司刚开始需要研发出一款产品并且能够使公司赚钱的产品，不过大部分创业公司没有那么容易一下就能做出来，很多公司还没有成功的产品资金链就断掉了，公司也死掉了。我们公司是这样一个状况，有
2013-06-24 09:02:24
1605
2
技术人员如何创业《四》- 打造超强执行力团队
好的团队是创业公司成功的必要因素之一。差劲的团队会导致整个团队没有战斗力，互相算计，只看到自己的利益，永远做不成一个好的产品。优秀的团队整个团体非常有凝聚力，以公司的事业为自己的事业，各自发挥自己的特长并互相帮助对方，不计较个人短暂的得失努力把公司推向一个又一个高点。我想没有一个创业者不想建立这样的团队，但很多人想法是好的，为什么最终却达不到理想团队的效果...
2013-06-17 11:26:33
93
原创 技术人员如何创业《四》- 打造超强执行力团队
好的团队是创业公司成功的必要因素之一。差劲的团队会导致整个团队没有战斗力，互相算计，只看到自己的利益，永远做不成一个好的产品。优秀的团队整个团体非常有凝聚力，以公司的事业为自己的事业，各自发挥自己的特长并互相帮助对方，不计较个人短暂的得失努力把公司推向一个又一个高点。我想没有一个创业者不想建立这样的团队，但很多人想法是好的，为什么最终却达不到理想团队的效果呢？ 要知道人的问题永远
2013-06-17 08:09:38
1200
技术人员如何创业《一》—— 产品及想法
不得不说这是个浮躁的社会，人人在这个社会都想暴富或者成名。在这些引诱的驱使下很多人都脱离了原来的稳定工作创业。前几天看了《中国合伙人》，故事讲到了几个大学生从校园到工作、再到创办了一个伟大的企业，这个故事更加激励了创业大军的壮大。大家都想创业，那我们技术人员怎么创业？也就个人的经验分享一下：1、好的想法、产品构思。 2、好的合伙人。三板斧，管理、销售、技术。 ...
2013-05-30 08:51:31
85
原创 技术人员如何创业《一》—— 产品及想法
不得不说这是个浮躁的社会，人人在这个社会都想暴富或者成名。在这些引诱的驱使下很多人都脱离了原来的稳定工作创业。前几天看了《中国合伙人》，故事讲到了几个大学生从校园到工作、再到创办了一个伟大的企业，这个故事更加激励了创业大军的壮大。大家都想创业，那我们技术人员怎么创业？也就个人的经验分享一下：1、好的想法、产品构思。2、好的合伙人。三板斧，管理、销售、技术。3、构建强大执行力的团队。
2013-05-30 08:43:55
971
JAVA线程池管理及分布式HADOOP调度框架搭建
平时的开发中线程是个少不了的东西，比如tomcat里的servlet就是线程，没有线程我们如何提供多用户访问呢？不过很多刚开始接触线程的开发攻城师却在这个上面吃了不少苦头。怎么做一套简便的线程开发模式框架让大家从单线程开发快速转入多线程开发，这确实是个比较难搞的工程。那具体什么是线程呢？首先看看进程是什么，进程就是系统中执行的一个程序，这个程序可以使用内存、处理器、文件系统等相关资源。例如 ...
2013-05-23 10:45:45
70
原创 JAVA线程池管理及分布式HADOOP调度框架搭建
平时的开发中线程是个少不了的东西，比如tomcat里的servlet就是线程，没有线程我们如何提供多用户访问呢？不过很多刚开始接触线程的开发攻城师却在这个上面吃了不少苦头。怎么做一套简便的线程开发模式框架让大家从单线程开发快速转入多线程开发，这确实是个比较难搞的工程。那具体什么是线程呢？首先看看进程是什么，进程就是系统中执行的一个程序，这个程序可以使用内存、处理器、文件系统等相关资源。例如
2013-05-23 10:34:19
1271
原创 一致性hash和solr千万级数据分布式搜索引擎中的应用
互联网创业中大部分人都是草根创业，这个时候没有强劲的服务器，也没有钱去买很昂贵的海量数据库。在这样严峻的条件下，一批又一批的创业者从创业中获得成功，这个和当前的开源技术、海量数据架构有着必不可分的关系。比如我们使用mysql、nginx等开源软件，通过架构和低成本服务器也可以搭建千万级用户访问量的系统。新浪微博、淘宝网、腾讯等大型互联网公司都使用了很多开源免费系统搭建了他们的平台。所以，用什么没关
2013-05-14 10:47:53
1049
一致性hash和solr千万级数据分布式搜索引擎中的应用
互联网创业中大部分人都是草根创业，这个时候没有强劲的服务器，也没有钱去买很昂贵的海量数据库。在这样严峻的条件下，一批又一批的创业者从创业中获得成功，这个和当前的开源技术、海量数据架构有着必不可分的关系。比如我们使用mysql、nginx等开源软件，通过架构和低成本服务器也可以搭建千万级用户访问量的系统。新浪微博、淘宝网、腾讯等大型互联网公司都使用了很多开源免费系统搭建了他们的平台。所以，用...
2013-05-13 09:13:56
94
Mysql ibdata 丢失或损坏如何通过frm&ibd 恢复数据
mysql存储在磁盘中，各种天灾人祸都会导致数据丢失。大公司的时候我们常常需要做好数据冷热备，对于小公司来说要做好所有数据备份需要支出大量的成本，很多公司也是不现实的。万一还没有做好备份，数据被误删除了，或者ibdata损坏了怎么办呢？别担心，只要有部分的frm、ibd存在就可以恢复部分数据。注意：一、这个是对innodb的数据恢复。myisam不需要这么麻烦，只要数据文件存在直接复制过去就...
2013-05-11 11:19:37
75
谈谈WEB开发中的苦大难字符集问题
记得刚做javaweb开发的时候被这个编码问题搞得晕头转向，经常稀里糊涂的编码正常了一会编码又乱了。那个时候迫于项目进度大多都是知其然不知其所以然。后来有时间就把整个体系搞了个遍，终于摸通了来龙去脉。在C++的CGI开发时大家喜欢用latin，这个属于字节方式的编码格式，存储mysql节约空间，而C++也是比较容易控制到byte级别的语言。所以经过框架封装基本也问题不大。在Java语言中...
2013-05-09 09:14:38
88
JAVA敏捷开发环境搭建
前面介绍了创业型软件公司的工作模式，这里详细介绍下如何实施，第一步是先要搭建环境，有了环境才能开展工作。整个软件项目分为四个环境 开发本地环境、开发环境、测试环境、IDC环境。和传统C++开发不一样的模式是多了第一个开发本地环境。这是为什么呢，因为目前大部分开发人员还是比较熟悉windows下开发。对于mac和linux下直接使用软件并且开发的中国开发者还是少之又少，这套架构就这个现状做出来...
2013-05-09 09:13:44
99
谈谈创业公司技术的工作模式
在创业开始时，也许有一个点子，经过研究调查有市场可行性就开始召集人员开始创业。这个时候一般都是单打独斗，一两个人负责所有的事情，包括产品设计、交互原型设计、网页美工切割、程序开发、功能测试。这个时候基本不用合作，采用独立开发模式，自己搞定保存就可以了。不过也有风险就是硬盘坏了怎么办呢，要知道硬盘是最脆弱的东西了，我一般的话会定期备份硬盘的东西。 如果发现创业模式可行，需要赶时间抢市...
2013-05-08 09:03:47
102
WEB框架的错误体系
不管是什么程序开发都可能会出现各种各样的异常。可能是程序错误，也可能是业务逻辑错误。针对这个各个开发人员都有自己的处理方式，不同的风格增加了业务系统的复杂度和维护难度。所以定义好一个统一的异常处理框架还是需要的。我们开发框架采用java实现，java中的异常一般分为两种，检查异常和运行时异常。检查异常（checked exception）有可能是程序的业务异常，这种异常一般都是开发人员自定义的、...
2013-05-08 09:02:26
96
原创 谈谈WEB开发中的苦大难字符集问题
记得刚做javaweb开发的时候被这个编码问题搞得晕头转向，经常稀里糊涂的编码正常了一会编码又乱了。那个时候迫于项目进度大多都是知其然不知其所以然。后来有时间就把整个体系搞了个遍，终于摸通了来龙去脉。在C++的CGI开发时大家喜欢用latin，这个属于字节方式的编码格式，存储mysql节约空间，而C++也是比较容易控制到byte级别的语言。所以经过框架封装基本也问题不大。在Java
2013-05-07 07:57:42
654
原创 JAVA敏捷开发环境搭建
前面介绍了创业型软件公司的工作模式，这里详细介绍下如何实施，第一步是先要搭建环境，有了环境才能开展工作。整个软件项目分为四个环境 开发本地环境、开发环境、测试环境、IDC环境。和传统C++开发不一样的模式是多了第一个开发本地环境。这是为什么呢，因为目前大部分开发人员还是比较熟悉windows下开发。对于mac和linux下直接使用软件并且开发的中国开发者还是少之又少，这套架构就这个现状做出
2013-05-04 23:31:30
1781
原创 Mysql ibdata 丢失或损坏如何通过frm&ibd 恢复数据
mysql存储在磁盘中，各种天灾人祸都会导致数据丢失。大公司的时候我们常常需要做好数据冷热备，对于小公司来说要做好所有数据备份需要支出大量的成本，很多公司也是不现实的。万一还没有做好备份，数据被误删除了，或者ibdata损坏了怎么办呢？别担心，只要有部分的frm、ibd存在就可以恢复部分数据。注意：一、这个是对innodb的数据恢复。myisam不需要这么麻烦，只要数据文件存在直接复制
2013-05-04 22:25:09
1111
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人