9 slx_2011

尚未进行身份认证

暂无相关简介

等级
TA的排名 3w+

Druid源码分析--整体结构

代码版本0.9.1项目地址https://github.com/druid-io/druid.git代码整体结构api                       核心接口层,整个代码库的最底层common                    公共方法,依赖apiexamples                  实例indexing-hado

2017-02-24 16:28:09

tar命令打包时剔除无用的子目录

tar zcvf backup.tar.gz site/* --exclude=site/attach --exclude=site/images简单解释一下:ls -l | grep “^-" 用来把当前目录下所有文件列出来,不包括子目录;awk '{print "dollar"8}' 用来把ls和grep输出的文件名取出来;xargs 将前面一串的输出,

2017-02-08 17:09:47

Supervisor永不挂掉的进程

使用Supervisor管理Linux进程简介Supervisor是一个C/S系统,它可以在类UNIX系统上控制系统进程,由python编写,提供了大量的功能来实现对进程的管理。安装sudo pip install supervisor1配置安装完成 supervisor 之后,可以使用 “echo_supervisord_conf” 命令来生成样例配置

2017-02-07 13:38:18

Python升级2.4到2.7

Python升级 # yum install gcc gcc-c++.x86_64 compat-gcc-34-c++.x86_64 openssl-devel.x86_64 zlib*.x86_64 # wget http://www.python.org/ftp/python/2.7/Python-2.7.tar.bz2 # tar -xvjf Python-2.7.tar.bz2

2017-02-07 13:37:07

spark初探--单机快速安装

上次接触spark还在2013年,那会应该是0.*的版本,相当的不稳定,近两年spark越来越火,实在是受不了诱惑,膜拜膜拜。安装那点小事   单机伪分布尝尝鲜,下载http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz,要求python2.6+ java1.7+ scala2.11+   

2017-01-23 10:37:31

Scala基本语法

基本语法Scala 基本语法需要注意以下几点:区分大小写 -  Scala是大小写敏感的,这意味着标识Hello 和 hello在Scala中会有不同的含义。类名 - 对于所有的类名的第一个字母要大写。如果需要使用几个单词来构成一个类的名称,每个单词的第一个字母要大写。示例:class MyFirstScalaClass方法名称 -

2017-01-19 15:50:46

Scala 特性

Scala 特性面向对象特性Scala是一种纯面向对象的语言,每个值都是对象。对象的数据类型以及行为由类和特质描述。类抽象机制的扩展有两种途径:一种途径是子类继承,另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。函数式编程Scala也是一种函数式语言,其函数也能当成值来使用。Scala提供了轻量级的语法用以定义匿名函数,支持高阶函数,允许嵌套

2017-01-19 15:48:25

Scala简介

Scala 简介Scala 是 Scalable Language 的简写,是一门多范式的编程语言联邦理工学院洛桑(EPFL)的Martin Odersky于2001年基于Funnel的工作开始设计Scala。Funnel是把函数式编程思想和Petri网相结合的一种编程语言。Odersky先前的工作是Generic Java和javac(Sun Java编译器)。J

2017-01-19 15:47:42

写在2017年的一月

重新写起博客来,记录点滴,不断成长,写给自己,即将步入而立之年的程序员。

2017-01-19 15:40:44

ambari编译前环境准备

原文地址:https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Development1/安装gityum install git2/下载ambari源码git clone https://git-wip-us.apache.org/repos/asf/ambari.gitcd ambari3

2015-04-14 10:52:39

编译安装Ambari

1.1 需要安装的工具1.1.1     安装JDK输入命令[root@bigData-02 ~]# java –versionjava version "1.7.0_51"Java(TM) SE Runtime Environment (build 1.7.0_51-b13)Java HotSpot(TM) 64-Bit Server VM (bu

2015-04-14 10:07:32

spark简介

转自:http://tech.uc.cn/?p=2116概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再

2015-04-03 17:50:14

MR1与MR2(yarn)对比

原地址:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)

2015-04-03 17:39:06

hadoop工作原理

1.Job类初始化JobClient实例,JobClient中生成JobTracker的RPC实例,这样可以保持与JobTracker的通讯,JobTracker的地址和端口等都是外部配置的,通过Configuration对象读取并且传入。2.JobClient提交作业。3.JobClient生成作业目录。4.从本地拷贝MapReduce的作业jar文件(一般是自己写的程序

2015-04-03 17:37:13

hive统计分析窗口函数实战

窗口函数应用场景:(1)用于分区排序(2)动态Group By(3)Top N(4)累计计算(5)层次查询 一、分析函数用于等级、百分点、n分片等。函数说明RANK()返回数据项在分组中的排名,排名相等会在名次中留下空位DENSE_RANK()返回数据项在分组中的排名,排名相等会在名

2015-04-01 15:07:41

linux使用supervisor监控fluentd进程

1/配置[program:td-agent]command=td-agent -o /var/log/td-agent/td-agent.logprocess_name=%(program_name)sautostart=trueautorestart=truestartsecs=10[inet_http_server]         ; inet (TCP)

2015-03-30 15:55:02

linux下使用supervisor监控应用程序

1 应用场景应用程序需要24小时不间断运行。这时可使用supervisor监控应用程序的进程。当发生应用程序内部错误退出、进程被杀死等情况时,自动重启应用程序。2 supervisorsupervisor由python写成, 简单好用。官方网站 http://supervisord.org,上面有详细的指南文档。3 安装supervisor

2015-03-30 15:46:27

hadoop日志收集解决方案--fluentd配置文件

type tailformat apachepath /Data/logs/nginx/access.logpos_file /var/log/td-agent/nginx.postag nginx.accesspos_file建议设置,方便fluentd挂掉以后,继续传递,确保数据完整性type copytype filepath /var/log

2015-03-30 15:04:30

开源日志收集软件fluentd 转发(forward)架构配置

需求:通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中,然后通过webHDFS接口,写入到hdfs文件系统中。软件版本说明:hadoop版本:1.1.2fluentd版本:1.1.21测试环境说明:node29服务器上安装了apache,以及fluentd,作为fluentd的客户端;

2015-03-30 14:32:29

利用fluentd构建分布式日志管理系统

如何有效地收集和管理大量服务器的日志一直是企业很头疼的一个问题,部分企业应用shell脚本来管理,部分企业基于hadoop来开发自己的日志管理系统,第一种管理成本巨大,需要大量的人力来维护脚本的正常运行,第二种研发成本高昂,那么如何才能降低这两方面的成本呢。下面我们来介绍fluentd这种分布式日志管理系统,希望大家在了解之后,能得出自己的答案。首先我们需要一台装有mongodb的服务器用

2015-03-30 14:32:07

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!