10 懒先森要努力

尚未进行身份认证

我要认证

最淡的墨水也胜于最强的记忆

等级
TA的排名 1w+

分布式服务框架dubbo原理解析

alibaba有好几个分布式框架,主要有:进行远程调用(类似于RMI的这种远程调用)的(dubbo、hsf),jms消息服务(napoli、notify),KV数据库(tair)等。这个框架/工具/产品在实现的时候,都考虑到了容灾,扩展,负载均衡,于是出现一个配置中心(ConfigServer)的东西来解决这些问题。基本原理如图: 在我们的系统中,经常会有一些跨系统

2016-12-14 08:58:55

Flume入门笔记------架构以及应用介绍

在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程:  从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 (一)Flume架构介绍 1、Flume的概念  flume是分布式的日

2016-12-11 22:09:43

Kafka简介

Kafka简介在当前的大数据时代,第一个挑战是海量数据的收集,另一个就是这些数据的分析。数据分析的类型通常有用户行为数据、应用性能跟踪数据、活动数据日志、事件消息等。消息发布机制用于连接各种应用并在它们之间路由消息,例如通过message broker。Kafka是快速地将海量信息实时路由到消费者的解决方案,实现信息的生产者和消费者的无缝集成。它不会阻塞信息的生产者,同时信息生产者不会知道

2016-12-11 22:01:05

kafka学习笔记:知识点整理

一、为什么需要消息系统1.解耦:  允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余:  消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。3.扩展性

2016-12-11 21:59:25

redis-cluster研究和使用

最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后,换掉memCache 集群. 转载请注明出处哈:http://hot66hot.iteye.com/admin/blogs/2050676一:关于redis cluster1:redis cluster的现状reids-cluster计划在redis3

2016-12-11 21:51:40

高性能Mysql主从架构的复制原理及配置详解

温习《高性能MySQL》的复制篇.1 复制概述      Mysql内建的复制功能是构建大型,高性能应用程序的基础。将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件,并维护文件的一个

2016-12-11 21:40:21

ZooKeeper学习

ZooKeeper 简介:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在zookeeper-3.4.3\src\recipes 1 Zookeeper的基本概念1.1 角色Z

2016-12-11 19:12:40

Zookeeper 的学习与运用

引子?云计算越来越流行的今天,单一机器处理能力已经不能满足我们的需求,不得不采用大量的服务集群。服务集群对外提供服务的过程中,有很多的配置需要随时更新,服务间需要协调工作,这些信息如何推送到各个节点?并且保证信息的一致性和可靠性?众所周知,分布式协调服务很难正确无误的实现,它们很容易在竞争条件和死锁上犯错误。如何在这方面节省力气?Zookeeper是一个不错的选择。Zookeepe

2016-12-11 18:58:53

HBase 超详细介绍

1-HBase的安装HBase是什么?HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采

2016-08-16 13:59:19

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服

2016-08-16 13:54:26

HADOOP1.X中HDFS工作原理

HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点:    ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。    ② 运行在廉价的机器上。(商用机)

2016-08-03 15:56:27

HADOOP的运行模式

Hadoop的运行,分三种模式:单机模式,伪分布模式,完全分布模式。 单机模式:单机模式是hadoop默认的模式;主要用于开发调试MapReduce程序的应用逻辑;不会和守护进程交互;程序在一个jvm虚拟机上运行。 伪分布模式:在“单节点集群”上运行Hadoop;所有的守护进程都运行在同一台机器上;该模式在单机

2016-08-03 15:03:19

HADOOP版本选择

Hadoop作为开源项目,很多分枝。也有很多社区的支持。所以hadoop版本发展很快。大部分情况下,我们可以选择Apache社区版本:完全开源,免费,非商业。apache社区的hadoop版本分枝较多,而且部分hadoop存在bug。在选择hadoop,hbase,hive等时,需要考虑兼容性。Cloudera版本:开源,免费,有商业和非商业版本。是在apa

2016-08-03 14:46:51

整体了解HADOOP框架及一些开源项目

Hadoop框架中,有很多优秀的工具,帮助我们解决工作中的问题。Hadoop的位置从上图可以看出,越往右,实时性越高,越往上,涉及到算法等越多。越往上,越往右就越火…… Hadoop框架中一些简介 HDFSHDFS,(Hadoop Distributed File System) hadoop分布式文件系统。在Goog

2016-08-03 14:37:06

大数据时代——为什么用HADOOP

什么叫大数据“大”,说的并不仅是数据的“多”!不能用数据到了多少TB ,多少PB 来说。对于大数据,可以用四个词来表示:大量,多样,实时,价值。 大量:这个大家都知道,想百度,淘宝,腾讯,Facebook,Twitter等网站上的一些信息,这肯定算是大数据了,都要存储下来。多样:数据的多样性,是说数据可能是结构型的数据,也可能是非结构行的文本,图片,视频,语

2016-08-03 14:15:31

HTTP协议详解

当今web程序的开发技术真是百家争鸣,ASP.NET, PHP, JSP,Perl, AJAX 等等。 无论Web技术在未来如何发展,理解Web程序之间通信的基本协议相当重要, 因为它让我们理解了Web应用程序的内部工作. 本文将对HTTP协议进行详细的实例讲解,内容较多,希望大家耐心看。也希望对大家的开发工作或者测试工作有所帮助。使用Fiddler工具非常方便地捕获HTTP Request和HT

2015-04-19 21:27:44

Jmeter性能测试 入门

Jmeter是一款优秀的开源测试工具, 是每个资深测试工程师,必须掌握的测试工具,熟练使用Jmeter能大大提高工作效率。熟练使用Jmeter后, 能用Jmeter搞定的事情,你就不会使用LoadRunner了。【小坦克Jmeter教程】,将会覆盖Jmeter的各个功能,并且会通过丰富的实例,让读者快速掌握Jmeter的各种用法 。本文将通过一个实际的测试例子, 来讲解Jm

2015-04-19 20:10:11

Fiddler 教程

Fiddler是最强大最好用的Web调试工具之一,它能记录所有客户端和服务器的http和https请求,允许你监视,设置断点,甚至修改输入输出数据. 使用Fiddler无论对开发还是测试来说,都有很大的帮助。阅读目录Fiddler的基本介绍Fiddler的工作原理同类的其它工具Fiddler如何捕获Firefox的会话Firefox 中使用Fiddler插件Fiddler如何捕获H

2015-04-19 19:58:27

jmeter实践

本文主要介绍性能测试中的常用工具jmeter的使用方式,以方便开发人员在自测过程中就能自己动手对系统进行自动压测和模拟用户操作访问请求。最后还用linux下的压测工具ab做了简单对比。1.      Jmeter相关概念简介:JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试,它最初被设计用于Web应用测试但后来扩展到其他测试领域。Jmeter

2015-03-23 09:47:59

论文反查重各种攻略

知己知彼:一.论文思路相同算抄袭么?1.在学术上,算是借鉴,但是如果没有创新点,是没有学术价值的,没有意义的论文和研究。2.在抄袭检测中,如果论文思路相同,软件是查不出来的。所以,思路相同,文字不同,也是大部分人避过论文抄袭检测的有效手段。二:硕士论文检测是如何运作的?1.提交完整版的论文word文档2.系统对标注格式的文档进行分章3

2014-04-09 09:53:48

查看更多

勋章 我的勋章
    暂无奖章