9 chaofanwei

尚未进行身份认证

暂无相关描述

等级
TA的排名 3k+

四、基于HTTPS协议的12306抢票软件设计与实现--水平DNS并发查询分享

因为12306是全球都可以访问的网站,需要提供高并发等功能,因此在各地都提供了多个服务器,通过DNS解析,不同地区的用户访问距离本地最近的服务器来进行解析,通过这样12306来分解各地的高并发请求。但这样的话就造成了另外一个问题,就是不同地区的用户在同一抢票时间抢相同的火车票,但看到的页面数据会有差别,有的可以看到剩余车票,而有的看不到,这是因为他们访问的不是同一个12306服务器,不同的缓存导致的。

2014-12-16 17:41:25

大数据时代之hadoop(六):hadoop 生态圈(pig,hive,hbase,ZooKeeper,Sqoop)

hadoop是有apache基金会所开发的分布式系统基础架构,其主要提供了两方面的功能:分布式存储和分布式计算。其中分布式存储是分布式计算的基础,在hadoop的实现里面,提供了分布式存储的接口,并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现,其同时支持别的存储系统,并在别的存储系统上运行分布式计算程序(mapreduce)。    从开发角度来说,h

2014-11-11 08:40:39

大数据时代之hadoop(五):hadoop 分布式计算框架(MapReduce)

hadoop的核心分为两块,一是分布式存储系统-hdfs,这个我已经在上一章节大致讲了一下,另一个就是hadoop的计算框架-mapreduce。mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。其计算分为两个阶段,map阶段和reduce阶段,都是对数据的处理,由于其入门非常简单,但是若想理解其中各个环节及实现细节还是有一定程度的困难,因此我计划在本文中只是挑几个

2014-11-03 10:33:58

大数据时代之hadoop(四):hadoop 分布式文件系统(HDFS)

分布式文件系统即是网络中多台计算机组合在一起提供一个统一存储及管理的系统。Hadoop提供了一个文件系统接口和多个分布式文件系统实现,其中比较重要的就是HDFS(HadoopDistributedFilesystem)了。Hadoop是一个综合性的文件系统抽象,因此它也可以集成其他文件系统的实现,如本地文件系统和AmazonS3系统及淘宝TFS等。概念模型

2014-10-20 09:46:14

大数据时代之hadoop(三):hadoop数据流(生命周期)

了解hadoop,首先就需要先了解hadoop的数据流,就像了解servlet的生命周期似的。hadoop是一个分布式存储(hdfs)和分布式计算框架(mapreduce),但是hadoop也有一个很重要的特性:hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。

2014-10-15 09:38:20

大数据时代之hadoop(二):hadoop脚本解析

“兵马未动,粮草先行”,要想深入的了解hadoop,我觉得启动或停止hadoop的脚本是必须要先了解的。说到底,hadoop就是一个分布式存储和计算框架,但是这个分布式环境是如何启动,管理的呢,我就带着大家先从脚本入手吧。说实话,hadoop的启动脚本写的真好,里面考虑的地方非常周全(比如说路径中有空格,软连接等)。  hadoop的脚本分布在$HADOOP_HOME下面的bin目录下和conf

2014-10-14 09:35:14

大数据时代之hadoop(一):hadoop安装

Hadoop的运行模式有以下三种:独立模式(standalone或localmode):无需任何守护进程(daemon),所有程序都在单个JVM上执行。主要用在开发阶段。默认属性就是为本模式所设,所以不需要额外的配置。伪分布式模式(pseudo-distributedmodel):Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。全分布模式(fulldistributedmodel):Hadoop守护进程运

2014-10-13 09:37:26

全文索引-lucene,solr,nutch,hadoop之nutch与hadoop

在去年的时候,就想把lucene,solr,nutch和hadoop这几个东东给详细的介绍下,但由于时间的关系,我还是只写了两篇文章,分别介绍了一下lucene和solr,后来就没有在写了,但我心里还是期待的,虽然到现在我没有真正搞过nutch和hadoop实战项目,但公司马上就要做hadoop大数据的监控了,我一直都说,要做一个有准备的人,因此我从去年到现在从未停止过对hadoop相关技术的学习、思考、实战。

2014-10-11 09:06:28

NIO框架之MINA源码解析(五):NIO超级陷阱和使用同步IO与MINA通信

1、NIO超级陷阱之所以说NIO超级陷阱,就是因为我在本系列开头的那句话,因为使用缺陷导致客户业务系统瘫痪。当然,我对这个问题进行了很深的追踪,包括对MINA源码的深入了解,但其实之所以会出现这个问题,它的根不是MINA的原因,而是JDK底层的问题

2014-09-15 07:56:07

NIO框架之MINA源码解析(四):粘包与断包处理及编码与解码

1、粘包与段包指TCP协议中,发送方发送的若干包数据到接收方接收时粘成一包,从接收缓冲区看,后一包数据的头紧接着前一包数据的尾。造成的可能原因:发送端需要等缓冲区满才发送出去,造成粘包接收方不及时接收缓冲区的包,造成多个包接收

2014-09-11 08:27:56

NIO框架之MINA源码解析(三):底层通信与责任链模式应用

本文主要介绍下在mina中责任链模式的应用以及mina对于数据读写的处理。在mina中,对数据的读操作是在processor类里面触发的,收到新消息后就触发读数据链去处理新消息直到自己的业务逻辑代码(IoHandler)。在mina中,数据的写(write)和发(send)差别相对较大,mina中的写消息最终的结果只是把要写的消息经过写数据链处理后的最终结果放在了一个缓存中,并把当前session

2014-09-10 08:11:06

NIO框架之MINA源码解析(二):mina核心引擎

MINA的底层还是利用了jdk提供了nio功能,mina只是对nio进行封装,包括MINA用的线程池都是jdk直接提供的。MINA的server端主要有accept、processor、session三部分组成的。其中accept主要负责在指定的端口监听,若有新连接则建立一个新的session;processor则负责处理session对应的发送数据和接收数据并调用上层处理;session则缓存当

2014-09-03 08:42:13

NIO框架之MINA源码解析(一):背景

“你们的agent占了好多系统的端口,把我们的很多业务系统都给整死了,给我们造成了很大的损失,要求你们的相关领导下周过来道歉”--来自我们的一个客户。 怎么可能呢,我们都不相信,我们的agent只占一个端口啊!事实胜过雄辩,经过查证,确实是由于我们的agent占了好多系统的端口,我看了一下日志,基本把系统可用的端口占完了!为什么呢?MINA框架私自开的!由于我们的agent端使用了NIO通信框

2014-09-01 08:24:22

虚拟化(七):vmware horizon view 安装及效果展示

vmwarehorizonview整体结构图,安装事项及注意

2014-08-18 09:08:51

虚拟化(六):vmware 桌面虚拟化 horizon view 介绍

vmware桌面虚拟化产品包括3种,即vmwarehorizonview、horizonmirage、horizonworkspace。vmwareview客户端通过使用微软的RDP协议或vmware专有的PCoIP协议,连接到虚拟桌面,并且可以使用本地的USB设备、本地存储。vmwareview产品有“客户端设备”、viewconnectionserver、

2014-08-13 09:12:02

虚拟化(四):vsphere高可用功能前提-共享存储搭建

vsphere高级功能HA、DRS、FT等,都需要有共享存储环境,即多台esxi主机同时连接一个共享存储,这样在新建虚拟机时,可以指定把虚拟磁盘保存在共享存储上,便于虚拟机在各个主机之间“飘移”。   常见的存储有DAS/NAS/SAN/iSCSI/FC等。由于独立存储价格相对昂贵,因此,在这里我将使用微软提供的iscsisoftwaretarget在window

2014-08-11 08:29:15

虚拟化(三):vsphere套件的安装注意及使用

vsphere套件里面主要的组件有esxi、vcenterserver、vsphereclient和vspherewebclient。vcenter做为vsphere套件的核心管理成员之一,负责esxi主机的管理,在整个vsphere中起着重要的角色。我这里用的环境是:两台esxi主机(安装esxi5.1.0),一个ad包括dns(winserver2008,域:ba

2014-08-07 08:42:48

虚拟化(五):vsphere高可用群集与容错

vsphere高级功能需要vcenterserver和共享存储的支持

2014-08-04 08:27:09

虚拟化(二):虚拟化及vmware workstation产品使用

vmwareworkstation的最新版本是10.0.2。详细

2014-07-21 07:51:52

虚拟化(一):虚拟化及vmware产品介绍

由于公司最近在做虚拟化监控,因此就需要把虚拟化方面的知识给学习总结一下,对于虚拟化的概念,摘自百度百科,如下:      虚拟化,是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。1、虚拟化分类       现在主流的虚拟

2014-07-18 09:56:29

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!