千与-CSDN博客

原创对SolrCloud集群Collection进行手动二次Sharding

我们已经基于SolrCloud 4.3.1+Tomcat 7搭建了搜索服务器集群，一个Collection对应3个节点上的3个分片（Shard），同时包含对应分片的副本（Replica），此时，该Collection一共有6000万左右Document，平均每个分片大约接近2000万。SolrCloud集群节点的具体分布，如图所示：只有shard1有一个副本，并且位

2013-08-05 18:32:35 18232 4

原创 Ubuntu系统下Hadoop 2.0.4集群安装配置

Hadoop 2已经将HDFS和YARN分开管理，这样分开管理，可以是HDFS更方便地进行HA或Federation，实现HDFS的线性扩展（Scale out），从而保证HDFS集群的高可用性。从另一个方面们来说，HDFS可以作为一个通用的分布式存储系统，而为第三方的分布式计算框架提供方便，就像类似YARN的计算框架，其他的如，Spark等等。YARN就是MapReduce V2，将原来Ha

2013-08-03 12:44:38 10739 3

原创 Nginx+Memcached+Tomcat集群配置实践（Sticky Session）

准备工作创建一个简单的web应用，名为session。其中有两个页面，分别如下所示：页面login.jsp<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>登录页面 <table bgcolor="#F8C3

2013-08-03 12:28:10 24351 1

原创 SolrCloud 4.3.1+Tomcat 7安装配置实践

我们使用Solr Replication可以实现Solr服务器的可用性，即使某一个索引副本由于磁盘介质故障或者误操作删除等，其他的多个复制副本仍然可以提供服务。如果只是单纯的基于Solr Replication技术，只能对一个索引进行管理维护，当索引数据达到一定规模，搜索的性能成了瓶颈，除了重新规划设计索引，实现逻辑划分以外，没有更好地方法实现查询服务器的可扩展性。SolrCloud就是为了解

2013-08-02 16:35:30 17243 13

原创数据库连接池应用中数据库服务器断开超时连接的问题

数据库应用开发过程中，我们可能会遇到一个问题：应用使用了数据库连接池，每经过指定时间后，发出到数据库服务器的任何请求都会失败，而且有且仅有一次失败，之后的正常访问都没有问题。尤其是在Web应用中，如果晚上时段没有访问，而第二天第一个访客的经历就是碰到一个数据库访问错误，如果开发系统的程序员没有注意这个问题的话，可能终端用户访问会看到抛出的一堆数据库异常信息。其实，这个问题的主要原因是，应用中数

2012-12-02 17:38:14 16076 1

可能大家对iBatis的开发使用已经能够耳熟能详了，但是我们这里并非是对一个新的持久层方案做推广式的介绍，我想说的是，使用任何一个持久层解决方案，都应该能很好地将屏蔽物理数据库的复杂性，iBatis也一样。然而，对于开发人员来说，甚至是经历比较资深的程序员，在选择持久层方案与JDBC直连的时候，往往都会觉得iBatis配置比较复杂，而直接使用JDBC可以非常游刃有余地写出复杂容易理解的SQL语句，

2012-12-02 16:52:59 4269

原创 Ubuntu系统启动报错：The system is running in low-graphics mode

最近，不小心将自己的Ubuntu-12.04桌面系统搞坏了，主要是由于改变了/var目录下文件的属主，结果桌面系统崩溃了，启动都成问题了。不过还算幸运，可以通过其他的机器登录到我的系统上。根据别人的系统/var目录下的文件属主信息，一点点还原回去了，但是没有彻底解决问题：每次启动电脑时，都提示错误“The system is running in low-graphics mode”，如图所示：

2012-07-10 14:00:52 54144 8

原创网页电话/手机号码识别

识别网页上的电话号码，一个比较容易想到的方法就是，通过预先设计电话号码的正则表达式，对网页文本内容中电话号码进行匹配，抽取出对应的联系方式。然而，这种方法是假定电话号码都是按照比较理想的格式在网页上展示的，自然对于这样的识别精度会很高，但是同时也漏掉了很多电话号码。如果你没有深入分析处理过Web网页数据，你是想象不到互联网上网页的格式到底有多不规范。这里，我们实现一种识别网页上电话号码的方法，

2012-06-01 10:31:54 10338 2

原创 RHEL 5下配置Hadoop集群：java.net.NoRouteToHostException: No route to host问题的解决

最近，要把原来基于Ubuntu下配置的Hadoop集群迁移到RHEL 5下，结果在启动的时候，出现了莫名其妙的问题：Namenode进程启动起来了，但是在登录到Datanode上启动集群slaves的时候，出现了Datanode无法连接到Namenode的问题，根据Datanode日志，可以很容易地定位到问题，肯定是在集群启动之初，Datanode向Namenode注册的时候失败了，在Data

2012-02-21 16:26:43 58358 3

原创 HBase-0.90.4集群安装配置

HBase是Hadoop数据库，能够实现随机、实时读写你的Big Data，它是Google的Bigtable的开源实现，可以参考Bigtable的论文Bigtable: A Distributed Storage System for Structured。HBase的存储模型可以如下三个词来概括：distributed, versioned, column-oriented。HBase并非

2012-01-09 01:22:13 14339 1

原创 ZooKeeper-3.3.4集群安装配置

ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在

2012-01-08 23:16:32 131976 22

原创 C++学习笔记（二）

C++重载（overloading）和其它编程语言中的重载概念基本上是一致的。C++重载包括操作符重载与函数重载，下面通过例子来说明。操作符重载操作符重载使用关键字operator。操作符重载能够使同一个操作符具有不同的操作含义，满足更广泛范围的操作需要。例如，对于一个容器类my_list，你可以重载操作符+=号，重载的含义是对两个MyList使用+=执行相加，表示将两个m

2012-01-04 20:03:33 112

原创 C++学习笔记（一）

学习一门编程语言，首先要熟悉它的类型系统。如果你连它存在哪些数据类型都不了解，还谈什么使用语言来编程呢。而且，大多数常用编程语言的类型基本是比较一致的。另外，一门编程语言，一般来说，是有一组保留的关键字，它们在程序中具有特殊的含义。我经过整理，把C++相关的数据类型及其部分保留关键字，及其基本修饰符，都列举出来。当然，这些在实际编程实践中，就会慢慢熟悉。第一部分：数据类型1、基本类型C

2012-01-04 04:05:46 1333

原创 Hadoop-0.22.0分布式集群配置

Hadoop集群的安装和配置，主要分为两个部分：一部分是主机环境配置，主要是指Hadoop集群所依赖的操作系统及其相关软件的安装配置，包括操作系统安装、JDK安装配置、主机规划与IP地址映射配置、无密码认证会话配置；另一部分是Hadoop基本配置，主要是指Hadoop集群的各种基本组件的配置，包括HDFS的配置、MapReduce配置。下面根据上面总结的两个部分进行详细配置实践。在配置之前

2011-12-31 01:24:13 5888 1

原创 MongoDB基本管理命令

MongoDB是一个NoSQL数据库系统：一个数据库可以包含多个集合（Collection），每个集合对应于关系数据库中的表；而每个集合中可以存储一组由列标识的记录，列是可以自由定义的，非常灵活，由一组列标识的实体的集合对应于关系数据库表中的行。下面通过熟悉MongoDB的基本管理命令，来了解MongoDB提供的DBMS的基本功能和行为。MongoDB命令帮助系统在安装Mo

2011-12-27 17:03:10 135287 10

原创使用Solrj管理Solr索引

Solrj是Solr搜索服务器的一个比较基础的客户端工具，可以非常方便地与Solr搜索服务器进行交互，最基本的功能就是管理Solr索引，包括添加、更新、删除和查询等。对于一些比较基础的应用，用Solj基本够用，而且你可以非常容易地通过使用Solrj的API实现与Solr搜索服务器进行交互，实现对Solr的基本管理功能。如果你的应用比较复杂，可以扩展Solrj来满足需要。下面是一个使用Solrj

2011-12-22 11:17:20 16213 3

原创基于语义连贯性实现主题挖掘和分类

约定一下文中使用的一些词的含义：文章：一般来说，一篇文章具有一个标题、一个或多个段落组成，其他的我们暂时不考虑。段落：一篇文章可以根据缩进（有些可能不存在缩进）或回车换行，将文章分成多个段，而每段是由数个句子组成。片段：片段是由一个或者多个段落组成，但是片段最多不能大于一篇文章的全部段落数，我们限定在一篇文章之内。基础概述对于给定的一篇文章，它到底在围绕

2011-12-16 20:51:28 4113

原创 Linux下memcached-1.4.10安装

memcache是一款流行的缓存产品，它分为两个部分：一个是运行在服务器端的memcached进程，一个是在客户端进行调用获取缓存中数据客户端，例如比较常用的PHP客户端。这里，记录一下安装服务器端的memcached的过程，比较容易。准备软件包libevent-2.0.16-stable.tar.gz [http://cloud.github.com/downl

2011-12-15 16:13:49 2594

原创基于Lucene多索引进行索引和搜索

Lucene支持创建多个索引目录，同时存储多个索引。我们可能担心的问题是，在索引的过程中，分散地存储到多个索引目录中，是否在搜索时能够得到全局的相关度计算得分，其实Lucene的ParallelMultiSearcher和MultiSearcher支持全局得分的计算，也就是说，虽然索引分布在多个索引目录中，在搜索的时候还会将全部的索引数据聚合在一起进行查询匹配和得分计算。索引目录处理

2011-12-13 13:17:26 9115 3

原创 Solr集群Replication配置与实践

Solr作为一个搜索服务器，在并发搜索请求的场景下，可能一台服务器很容易就垮掉，这是我们可以通过使用集群技术，设置多台Solr搜索服务器同时对外提供搜索服务，在前端使用类似Nginx的负载均衡软件，可以通过配置使得并发到达的搜索请求均匀地反向代理到Solr集群中的每一台服务器上，这样每台Solr搜索服务器搜索请求的压力可以大大减小，增强了每台服务器能够持续提供服务器的能力。然而，这时我们面临的

2011-12-09 19:07:14 21369 11

原创开发更新Solr索引的工具

Solr搜索服务器直接部署到Web容器之中，如果想要在服务器外部管理索引（创建、更新、删除），需要向Solr服务器进程发送待处理的请求数据或者命令，实际索引变更是在Solr服务器程序中完成，自然而然底层是调用Lucene的API来实现这一操作的。为了便于平时在开发中，随时向Solr服务器发送索引更新请求，来观察实际执行状况，或验证Solr的最新功能，我们基于Solr自带的SimplePostToo

2011-12-08 21:17:27 8195 1

原创基于Solr 3.5搭建搜索服务器

Solr已经发布3.5版本了，同时它是基于Lucene 3.5的。我们在基于Solr进行二次开发之前，首先要搭建起一个搜索服务器，在熟悉Solr的基本功能的基础上，可以根据实际应用的需要进行个性化定制开发。因为Solr提供了一种插件机制，我们可以根据自己的需要进行定制，然后在Solr的配置文件中（solrconfig.xml）进行配置即可达到预期的要求。在Solr的发行包中给出了一个配置的例子，我

2011-12-07 18:12:38 7517 5

原创 RHEL 5下安装Scrapy-0.14.0.2841爬虫框架

Scrapy是一款非常成熟的爬虫框架，可以抓取网页数据并抽取结构化数据，目前已经有很多企业用于生产环境。对于它的更多介绍，可以查阅相关资料（官方网站：www.scrapy.org）。我们根据官网提供的安装指南，来一步步安装，主要参考了http://doc.scrapy.org/en/latest/intro/install.html页面的介绍：Requirements¶Pytho

2011-12-05 23:41:54 5118

原创 Windows下安装libxml2并在Python中使用XPath

为了使用XPath技术，对爬虫抓取的网页数据进行抽取（如标题、正文等等），花了一天的时间熟悉了一下Python语言，今天尝试在Windows下安装libxml2模块，将自己的一点学习实践简单记录一下。Python在安装一个扩展的模块时，可以通过安装辅助工具包（Setuptools）来安装新的Python packages，并可以实现对已经安装的packages的管理。在http://pypi.

2011-12-01 12:25:52 34193

原创 Solr实现Low Level查询解析（QParser）

Solr基于Lucene提供了方便的查询解析和搜索服务器的功能，可以以插件的方式集成，非常容易的扩展我们自己需要的查询解析方式。其中，Solr内置了一些QParser，对一些没有特殊要求的应用来说，可以直接使用这些查询解析组件，而无需做任何修改，只需要了解这些查询解析组件提供的基本参数（Local Params），就可以实现强大的搜索功能。对于Solr来说，它的设计目标就是尽可能屏蔽底层Luc

2011-11-03 22:31:18 5098 2

原创 Ubuntu下基于Nginx实现Tomcat集群负载均衡

Nginx是一款HTTP和反向代理服务器，有关它的介绍可以到网上搜一下，很多很多，不再累述。这里，我们记录一下Nginx的安装过程，以及如何配置Nginx来实现Tomcat集群的负载均衡。基本思路假如现在我们有一个使用Java实现的Web搜索服务器，用户可以通过Web页面输入关键词，搜索服务器处理搜索请求并向用户展示搜索结果。如果用户访问量很大的话，我们的这台搜索服务器承受的压

2011-10-05 22:01:18 10476

原创 Lucene增强功能：Payload的应用

有关Lucene的Payload的相关内容，可以参考如下链接，介绍的非常详细，值得参考：http://www.ibm.com/developerworks/cn/opensource/os-cn-lucene-pl/http://www.lucidimagination.com/blog/2009/08/05/getting-started-with-payloads/例如，有这样的一

2011-09-17 19:50:13 7226 3

原创理解Lucene得分计算公式

Lucene通过计算文档的得分来确定查询结果文档的相似度。如果你希望通过干预Lucene查询来改变查询结果的排序，你就需要对Lucene的得分计算有所理解。Lucene得分计算公式如下所示：score(q,d) = coord(q,d)·queryNorm(q)·∑( tf(t in d)·idf(t)^2·t.getBoost()·norm(t,d) )其中，t in q。下

2011-09-17 17:17:53 12098 5

原创 Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain

异常描述在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，异常信息如下所示： [shirdrn@localhost bin]$ hadoop namenode -format11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_MSG: /*******************

2011-06-22 23:04:00 67790 5

原创 Spring与MX4J集成实现JMX管理

MX4J是一个开源JMX管理框架，支持JSR3 (JMX) 和JSR160 (JMX Remote API)。通过Spring将MX4J集成到我们的应用系统中，可以通过HTTP协议适配，能够基于Web的方式来实现对应用系统的监控和管理。这里，使用的版本分别为：Spring 2.5 MX4J 3.0.2 MX4J对应的几个JAR文件，加入到CLASSPATH：mx4j.jarmx4j-impl.jarmx4j-jmx.jarmx4j-remote.jarmx4j-rimpl.j

2011-05-10 00:52:00 7853

原创 Spring+JMS+ActiveMQ+Tomcat实现消息服务

基于Spring+JMS+ActiveMQ+Tomcat，我使用的版本情况如下所示：Spring 2.5ActiveMQ 5.4.0Tomcat 6.0.30 下面通过学习与配置，实现消息服务的基本功能：发送与接收。Spring对JMS提供了很好的支持，可以通过JmsTemplate来方便地实现消息服务。这里，我们的消息服务不涉及事务管理。下面简单说明实现过程： 先看一下，我们最终的Spring配置文件applicationContext.xml的内容，如下所示：

2011-04-25 22:25:00 23023 9

原创基于Spring实现定时调度

比较常用的是，Spring对Quartz的支持，可以非常容易地进行定时任务的调度。一般，具有两种方式实现定时调度： 一种是通过继承Spring的org.springframework.scheduling.quartz.QuartzJobBean来定义定时任务，这种情况下与Spring代码有一定耦合。下面，通过例子来说明： 实现一个定时任务类，代码如下所示： package org.shirdrn.spring.scheduler.quartz;import

2011-04-24 23:41:00 5224

原创 Spring基于JMS实现远程访问

使用JMS作为底层通信协议，Spring提供了很好的支持。我们可以基于JMS将服务暴露给外部，这一切对于外部完全透明。这里我们基于开源消息中间件ActiveMQ作为中间代理，通过在服务端将服务以消息的形式发布到代理服务器上，然后客户端通过代理服务器实现对服务的远程调用。 ActiveMQ的BrokerService可以非常容易地实现服务端与客户端进行通信的中间代理，Spring配置broker.xml内容如下所示： <?xml version="1.0" encoding="

2011-04-24 20:47:00 7950

原创 Spring与RMI集成实现远程访问

使用Spring对RMI的支持，可以非常容易地构建你的分布式应用。在服务端，可以通过Spring的org.springframework.remoting.rmi.RmiServiceExporter可以暴露你的服务；在客户端，通过org.springframework.remoting.rmi.RmiProxyFactoryBean可以使用服务端暴露的服务，非常方便。这种C/S模型的访问方式，可以屏蔽掉RMI本身的复杂性，如服务端Skeleton和客户端Stub等的处理细节，这些对于服务开发和

2011-04-24 19:43:00 36856 7

原创 Spring与JMX集成

Spring与JMX集成，实现方式灵活而且简单，主要体现在：1、可以自动探测实现MBean接口的MBean对象，而且可以将一个普通的Spring Bean注册为MBean；2、定制管理MBean的接口，根据需要暴露特定管理MBean的操作；3、使用注解定义MBean管理接口；4、可以实现对本地和远程MBean的代理。标准MBean管理对于实现标准MBean接口MBean资源，在Spring中可以设置不同的探测模式，主要是通过MBeanExporter来实现。例如，定义MBean管理接口：package o

2011-04-24 13:00:00 32385 5

原创 JMX技术基础

JMX在J2SE 5和J2SE 6平台略有不同，我们基于J2SE 6来学习JMX。JMX已经成功Java 2平台的一部分，它的目标是动态管理和监控你所感兴趣的资源，例如应用程序、设备、服务、JVM等。JMX能够支持通过本地和远程访问的方式，来实现对相关资源的管理和监控。JMX只是对应用程序管理的扩展，而非必选，那么，如果我们选择为系统实现JMX管理功能，能够带来哪些好处呢？ 第一、基于JMX来管理现有的Java应用程序，可以非常容易的基于Java技术实现，而无需更大的投入；

2011-04-24 01:12:00 4121

原创 Activiti 5.3：子流程（subProcess）

Activiti 5.3提供了子流程的实现，包括两种基于子流程的实现：一种是内嵌子流程：子流程元素内嵌在主流程元素之内，只能在该流程中使用该子流程，外部是无法访问到的。这种子流程一般作为局部通用逻辑处理，或者因为特定业务需要，使得比较复杂的单个主流程设计清晰直观；另一种是调用子流程：首先实现一个流程，在另一个流程中可以调用该流程，通常可以定义一些通用的流程作为这种调用子流程，供其他多个流程定义复用。这种子流程使用元素来进行调用，间接地嵌入到主流程中，用起来比较方便。内嵌子流程实现的基于内嵌子流程的流程，示例

2011-03-24 17:59:00 37953 4

原创 Activiti 5.3：配置与Spring整合

Activiti 5.3与Spring整合也比较简单，其基本思想就是，通过Spring的IOC容器来管理Activiti的流程引擎实例以及相关服务，可见，主要是基于Activiti在与Spring整合上努力上，做好配置即可。这里基于前面的<receiveTask>的例子来进行，可以参考：Activiti 5.3：流程活动自动与手工触发执行，简单的流程，如图所示： Activiti 5.3与Spring整合，默认使用的配置文件为activiti-context.xml，当然可

2011-03-23 18:22:00 21431 6

原创 Activiti 5.3：流程活动自动与手工触发执行

Activiti 5.3支持流程活动自动执行与手工触发执行。其中，自动执行是指，在启动流程之前，准备流程所需要的控制流程进度的变量数据，启动流程之后，无需外部干预，就能够按照预定义的流程执行；手工触发执行是指，执行到流程中某个个结点后流程暂时停止运行，直到收到外部发送的信号以后，才会继续向前推进，这样情况可以更加精细地控制流程。 下面主要通过基于Activiti 5.3的<parallelGateway>、<serviceTask>、<receiveTask>、<userTask>元素

2011-03-23 12:51:00 32298 4

原创 Activiti 5.3安装配置

安装配置Activiti 5.3还是比较容易的，在这里做个记录以作备忘。Activiti 5是一个开源的工作流引擎框架，它是基于jBPM 4流程引擎内核的，作者是Tom Baeyens。有关由jBPM到Activiti的变化，可以查看业界相关信息了解。为了能够安装快速一点，准备好如下软件包：activiti-5.3.zip http://activiti.org/downloads/activiti-5.3.zipactiviti-modeler-5.3.war http://activiti.org/

2011-03-21 18:22:00 10942 1

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Packt Java 9 Programming Blueprints

C++程序设计语言.第4部分.标准库.第4版[中文完整高清版]

Scala: High Performance Programming

深度学习（中文译版）

apache_hbase_reference_guide-3.0.0-SNAPSHOT

Fast.Data.Processing.with.Spark

The Java Virtual Machine Specification Java SE 7 Edition

[Scala.Cookbook(2013.8)].Alvin.Alexander.文字版.pdf

[Clojure.Cookbook(2014.3)].Luke.VanderHart.文字版.pdf

基于P2P的分布式搜索引擎体系研究

分布式并行计算技术在搜索引擎中的应用

搜索引擎中的数据存储问题研究

数据挖掘：概念与技术

AT&T汇编语言教程

空空如也