Running07-CSDN博客

转载海量数据处理技巧-转载

[-] 教你如何迅速秒杀掉99的海量数据处理面试题前言何谓海量数据处理第一部分从setmap谈到hashtablehash_maphash_set第二部分处理海量数据问题之六把密匙密匙一分而治之Hash映射 Hash_map统计堆快速归并排序密匙二多层划分密匙三Bloom filterBitmapBloom filterBitmap密匙四Trie树数据库倒排

2016-08-23 14:50:01 24094 1

原创 Hadoop 2.7版本集群环境搭建实例

1.知识准备 1.1 Hadoop 简介 Hadoop 是开源的、可扩展的、高可用的分布式计算框架。在多数场景下，它是处理大数据问题的利器。它包括几个部分：① Hadoop common：支持hadoop的公共工具。 ② HDFS:支持高吞吐量的分布式文件系统。

2016-06-08 15:35:29 22992

原创 linux hostname的配置方法

1.简介 hostname 用于显示系统的主机名称，可以设置。它的修改方法很简单，但是稍不注意，又会惹出一大堆的麻烦和困惑。2.配置方法步骤1：使用命令修改： hostname 新的名称注意：此命令可以即刻修改hostname，但是系统重启后失效。步骤2：修改配置文件

2016-06-08 15:10:03 32209

翻译 Apache Hadoop YARN架构简介

Apache Hadoop YARNYARN的基本理念是把资源管理和任务调度/监控分离到单独的守护进程中。在这个理念中，有一个全局的 ResourceManager (RM) 和每个应用都有的 ApplicationMaster (AM)。每个应用可以是一个单独的任务，也可以是一个有向无环图的多个任务。ResourceManager 和 NodeManag

2016-06-07 14:07:43 24881 2

原创 linux ssh互信配置 - 服务器间免密码登陆

1.简介相信大家都有一个经历，服务器间登陆、scp拷贝操作时，让你输入被登陆、被拷贝服务器的密码。不知道各位是什么感受，我是很崩溃的，因为我哪记得那么多密码啊（好吧，我就是记性不好）。这就引出了服务器之间免密码登陆的需求了，官方一点，叫做ssh互信配置。 ssh互信配置的原理简单来说，就是各自服务器存放了目标主机的证书，当执行登陆时，自动完成认证，从而

2016-06-02 17:36:22 37845

翻译 storm 学习教程

在这个教程中, 你将学到如何创建一个Storm topologies以及怎样把它部署到storm集群上。本教程中，Java将作为主要使用的语言，但在一小部分示例中将会使用Python来阐述storm处理多语言的能力。预备工作本教程使用的例子来自于 storm-starter 项目. 我们建议你拷贝该项目并跟随这个例子。请阅读 Setting up a development

2016-05-30 16:31:02 32325

原创动态规划最长公共子序列过程图解

1.基本概念首先需要科普一下，最长公共子序列（longest common sequence）和最长公共子串（longest common substring）不是一回事儿。什么是子序列呢？即一个给定的序列的子序列，就是将给定序列中零个或多个元素去掉之后得到的结果。什么是子串呢？给定串中任意个连续的字符组成的子序列称为该串的子串。给一个图再解释一下：如

2016-05-29 22:54:25 283906 106

转载快速排序过程图解

注意：此文为转载文章，原文地址为：http://www.cnblogs.com/ahalei/p/3568434.html 原作者：啊哈磊这是我见过的解释快速排序最好的文章，分享如下：假如我们的计算机每秒钟可以运行10亿次，那么对1亿个数进行排序，桶排序则只需要0.1秒，而冒泡排序则需要1千万秒，达到115天之

2016-05-28 19:39:04 63637 21

原创最小堆构建、插入、删除的过程图解

1.简介最小堆是一棵完全二叉树，非叶子结点的值不大于左孩子和右孩子的值。本文以图解的方式，说明最小堆的构建、插入、删除的过程。搞懂最小堆的相应知识后，最大堆与此类似。2.最小堆示例3.最小堆的构建初始数组为：9,3,7,6,5,1,10,2 按照完全二叉树，将数字依次填入。填入后，找到最后一个结点（本示例为数字2的

2016-05-21 00:47:02 127294 32

原创 linux问题排查 - 高cpu占用率的进程和线程

1.简介一个程序，完成它预设的功能，并不能说明它是一个优良的程序。好的程序，应该是对资源的合理利用，亦或是用更少的资源（使用合理的算法），实现更多有效的产出。影响程序的资源一般而言分为4个：CPU、内存、IO、网络。本文着重讲解一下在linux系统下，如何查看高CPU占用率的进程，线程。 2.python代码为了

2016-05-16 17:31:31 93348 1

转载 thrift系列 - harpc 基于thrift的轻量级rpc框架

注意：此文为转载文章，原文地址为：https://github.com/baifendian/harpcharpc是什么HARPC（High Availability RPC）是基于Thrift的跨语言、高可用的RPC框架。具备高性能、高可用、轻量级等特点，在百分点科技内部服务中广泛使用。使用指南：HARPC简介QQ讨论群：398091913

2016-05-12 13:52:53 24883

原创 thrift系列 - 多语言实例 for java和python

1.简述本文主要介绍thrift多语言、跨语言的代码实例。Thrift对多语言的支持非常不错，定义一个thrift接口文件，通过thrift IDL compiler（代码生成引擎）生成各个语言的代码，将各自语言的代码放入各自语言的工程中，写好服务端和客户端程序，通信的问题即刻解决。2.简单架构图示例的thrift接口文件，test8.thrift:service Te

2016-05-10 15:54:18 27644

原创 thrift系列 - thrift类型定义

1.简介上一篇对thrift的快速入门做了简要介绍，本篇主要讲一下thrift接口文件的定义方式，即类型定义的详解。2.命名空间接口文件部分示例： namespace java test_java_package namespace py test_python_package 命名空间的语法是这样的：namespace 语言名称 code生成之后

2016-05-03 17:36:22 46334

原创 thrift系列 - 快速入门

1.简介 Thrift是当前流行的RPC框架之一，它有强大的代码生成引擎，可以跨语言，轻松解决程序间的通信问题。本文旨在帮助大家快速入门，若想深入原理，请参见thrift官网：http://thrift.apache.org/。（大家都很忙，少说废话）2.下载windows版的IDL compiler 访问地址：http://www.apac

2016-04-28 15:47:12 24544