9 Running07

尚未进行身份认证

我要认证

Practice is the sole criterion of truth.

等级
TA的排名 3w+

海量数据处理技巧-转载

[-]      教你如何迅速秒杀掉99的海量数据处理面试题前言何谓海量数据处理第一部分从setmap谈到hashtablehash_maphash_set第二部分处理海量数据问题之六把密匙密匙一分而治之Hash映射 Hash_map统计 堆快速归并排序密匙二多层划分密匙三Bloom filterBitmapBloom filterBitmap密匙四Trie树数据库倒排

2016-08-23 14:50:01

Hadoop 2.7版本 集群环境搭建实例

1.知识准备 1.1  Hadoop 简介            Hadoop 是开源的、可扩展的、高可用的分布式计算框架。在多数场景下,它是处理大数据问题的利器。它包括几个部分:① Hadoop common:支持hadoop的公共工具。                             ② HDFS:支持高吞吐量的分布式文件系统。

2016-06-08 15:35:29

linux hostname的配置方法

1.简介      hostname 用于显示系统的主机名称,可以设置。      它的修改方法很简单,但是稍不注意,又会惹出一大堆的麻烦和困惑。2.配置方法      步骤1:使用命令修改:       hostname  新的名称       注意:此命令可以即刻修改hostname,但是系统重启后失效。      步骤2:修改配置文件     

2016-06-08 15:10:03

Apache Hadoop YARN架构简介

Apache Hadoop YARNYARN的基本理念是把 资源管理 和 任务 调度/监控 分离到单独的守护进程中。在这个理念中,有一个全局的 ResourceManager (RM) 和 每个应用都有的 ApplicationMaster (AM)。每个应用可以是一个 单独的任务,也可以是一个 有向无环图的 多个任务。ResourceManager 和 NodeManag

2016-06-07 14:07:43

linux ssh互信配置 - 服务器间免密码登陆

1.简介        相信大家都有一个经历,服务器间登陆、scp拷贝操作时,让你输入被登陆、被拷贝服务器的密码。不知道各位是什么感受,我是很崩溃的,因为我哪记得那么多密码啊(好吧,我就是记性不好)。这就引出了服务器之间免密码登陆的需求了,官方一点,叫做ssh互信配置。        ssh互信配置的原理简单来说,就是各自服务器存放了目标主机的证书,当执行登陆时,自动完成认证,从而

2016-06-02 17:36:22

storm 学习教程

在这个教程中, 你将学到如何创建一个Storm topologies以及怎样把它部署到storm集群上。本教程中,Java将作为主要使用的语言,但在一小部分示例中将会使用Python来阐述storm处理多语言的能力。预备工作本教程使用的例子来自于 storm-starter 项目. 我们建议你拷贝该项目并跟随这个例子。 请阅读 Setting up a development

2016-05-30 16:31:02

动态规划 最长公共子序列 过程图解

1.基本概念      首先需要科普一下,最长公共子序列(longest common sequence)和最长公共子串(longest common substring)不是一回事儿。什么是子序列呢?即一个给定的序列的子序列,就是将给定序列中零个或多个元素去掉之后得到的结果。什么是子串呢?给定串中任意个连续的字符组成的子序列称为该串的子串。给一个图再解释一下:       如

2016-05-29 22:54:25

快速排序 过程图解

注意:此文为转载文章,原文地址为:http://www.cnblogs.com/ahalei/p/3568434.html           原作者:啊哈磊              这是我见过的解释快速排序最好的文章,分享如下:        假如我们的计算机每秒钟可以运行10亿次,那么对1亿个数进行排序,桶排序则只需要0.1秒,而冒泡排序则需要1千万秒,达到115天之

2016-05-28 19:39:04

最小堆 构建、插入、删除的过程图解

1.简介       最小堆是一棵完全二叉树,非叶子结点的值不大于左孩子和右孩子的值。本文以图解的方式,说明最小堆的构建、插入、删除的过程。搞懂最小堆的相应知识后,最大堆与此类似。2.最小堆示例3.最小堆的构建      初始数组为:9,3,7,6,5,1,10,2      按照完全二叉树,将数字依次填入。      填入后,找到最后一个结点(本示例为数字2的

2016-05-21 00:47:02

linux问题排查 - 高cpu占用率的进程和线程

1.简介     一个程序,完成它预设的功能,并不能说明它是一个优良的程序。好的程序,应该是对资源的合理利用,亦或是用更少的资源(使用合理的算法),实现更多有效的产出。   影响程序的资源一般而言分为4个:CPU、内存、IO、网络。本文着重讲解一下在linux系统下,如何查看高CPU占用率的进程,线程。    2.python代码    为了

2016-05-16 17:31:31

thrift系列 - harpc 基于thrift的轻量级rpc框架

注意:此文为转载文章,原文地址为:https://github.com/baifendian/harpcharpc是什么HARPC(High Availability RPC)是基于Thrift的跨语言、高可用的RPC框架。具备高性能、高可用、轻量级等特点,在百分点科技内部服务中广泛使用。使用指南:HARPC简介QQ讨论群:398091913

2016-05-12 13:52:53

thrift系列 - 多语言实例 for java和python

1.简述本文主要介绍thrift多语言、跨语言的代码实例。Thrift对多语言的支持非常不错,定义一个thrift接口文件,通过thrift IDL compiler(代码生成引擎)生成各个语言的代码,将各自语言的代码放入各自语言的工程中,写好服务端和客户端程序,通信的问题即刻解决。2.简单架构图示例的thrift接口文件,test8.thrift:service Te

2016-05-10 15:54:18

thrift系列 - thrift类型定义

1.简介上一篇对thrift的快速入门做了简要介绍,本篇主要讲一下thrift接口文件的定义方式,即类型定义的详解。2.命名空间接口文件部分示例: namespace java test_java_package namespace py test_python_package         命名空间的语法是这样的:namespace  语言名称  code生成之后

2016-05-03 17:36:22

thrift系列 - 快速入门

1.简介           Thrift是当前流行的RPC框架之一,它有强大的代码生成引擎,可以跨语言,轻松解决程序间的通信问题。本文旨在帮助大家快速入门,若想深入原理,请参见thrift官网:http://thrift.apache.org/。(大家都很忙,少说废话)2.下载windows版的IDL compiler     访问地址:http://www.apac

2016-04-28 15:47:12
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!