9 蓝天的IT生涯

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 9k+

常见知识点

账户无密切换:https://jingyan.baidu.com/article/a17d5285268e958099c8f257.html

2017-08-04 23:13:44

编译安装Ambari

1.2 需要安装的工具1.2.1     安装JDK输入命令[root@bigData-02 ~]# Java –versionjava version "1.7.0_51"Java(TM) SE Runtime Environment (build 1.7.0_51-b13)Java HotSpot(TM) 64-Bit Server VM (buil

2017-02-06 14:00:26

自定义protobuf编解码器

Protobuf3 + Netty4: 在socket上传输多种类型的protobuf数据Protobuf序列化的字节流数据是不能自描述的,当我们通过socket把数据发送到Client时,Client必须知道发送的是什么类型的数据,才能正确的反序列化它。这严重影响限制了C/S功能的实现,不解决的话信道事实上只能传输一种类型的数据。本文讲解一下我用的解决办法,虽然我觉得应该有官

2016-08-08 19:08:06

YARN ResourceManager调度器的分析

YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器,探讨三种调度器的设计侧重,最后给出一些配置建议和参数解释。本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如,CPU资源分配等特性在不就的将来就会加入。为了方便查阅源代码,原代码位置使用[类名:行号]方式表示。名词解释:ResourceManage

2016-07-15 14:57:54

Hadoop系列(5)之容量调度器Capacity Scheduler配置

1. 应用场景本文只关注配置,关于调度器的算法以及核心内容将在下一篇介绍。 Capacity Scheduler是YARN中默认的资源调度器,但是在默认情况下只有root.default 一个queue。而当不同用户提交任务时,任务都会在这个队里里面按优先级先进先出,大大影响了多用户的资源使用率。现在公司的任务主要分为三种:每天晚上进行的日常任务dailyTask,这些任务需要在尽

2016-07-15 14:55:45

ZooKeeper-3.3.4集群安装配置

ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在

2016-06-14 14:11:40

Linux下which、whereis、locate、find 命令的区别

我们经常在linux要查找某个文件,但不知道放在哪里了,可以使用下面的一些命令来搜索。这些是从网上找到的资料,因为有时很长时间不会用到,当要用的时候经常弄混了,所以放到这里方便使用。 which       查看可执行文件的位置 whereis    查看文件的位置 locate       配 合数据库查看文件位置 find          实际搜寻硬盘查询文件名称 1

2016-02-19 10:28:06

spark yarn-client和yarn-cluster

大数据系列零基础由入门到实战视频问题导读1.Spark在YARN中有几种模式?2.Yarn Cluster模式,Driver程序在YARN中运行,应用的运行结果在什么地方可以查看?3.由client向ResourceManager提交请求,并上传jar到HDFS上包含哪些步骤?4.传递给app的参数应该通过什么来指定?5.什么模式

2016-01-25 09:56:21

sbt环境搭建

在公司网络中使用 sbt 、 Maven 等项目构建工具时,我们通常会搭建一个公用的Nexus 镜像服务,原因有以下几个:避免重复下载依赖,节省公司带宽;国内网络环境不理想,下载速度慢;IDC服务器没有外网访问权限;用于发布内部模块。sbt的依赖管理是基于 ivy 的,虽然它能直接使用 Maven中央仓库 中的Jar包,在配置时还是有一些注意事项的。配置Nexus镜像

2016-01-05 10:07:55

NameNode和SecondaryName

前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的,直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现并不是这样。文章写的很通俗易懂,现将其翻译如下:

2015-12-15 17:30:26

scala None null Nil的说明

在scala中这四个类型名称很类似,作用确实完全不同的。 None是一个object,是Option的子类型,定义如下 [java] view plaincopyprint?case object None extends Option[Nothing] {    def isEmpty = true    def get = thr

2015-12-02 21:38:48

git tag的用法

git tag — 标签相关操作列出标签$ git tag # 在控制台打印出当前仓库的所有标签$ git tag -l ‘v0.1.*’ # 搜索符合模式的标签打标签git标签分为两种类型:轻量标签和附注标签。轻量标签是指向提交对象的引用,附注标签则是仓库中的一个独立对象。建议使用附注标签。# 创建轻量标签$ git tag v0.1.2-

2015-11-16 20:02:31

使用ssh private key 免密码登陆服务器的流程(Amazon 的EMR 采用了此方式登陆服务器)

第一步: 在服务器上 执行该命令 ssh-keygen -t ras -C ""  ,会在服务器上生成 id_rsa 和 id_rsa.pub 两个文件。第二步:将id_rsa.pub 文件的内容 拷贝到   authorized_keys 这个文件,如果没有 authorized_keys 这个文件,则手动创建一个。第三步:然后将 id_rsa 文件下载到本地,通过ssh客户端指定私钥即

2015-11-11 12:06:03

scala+play2.2.2+slick2.0.2 + mysql5.0整合之一基础环境搭建篇

scala+play2.2.2+slick2.0.2 + mysql5.0整合之一基础环境搭建篇 因为博主也没有折腾过play,slick这些玩意,这周的时候想折腾这么一套开发环境,于是就折腾了一番,终于还是成功了,于是把整个步骤都贴出来,与大家分享,期间踩过的坑,直接跳过。前提: 假设你配置好了scala,play的环境变量,如果这样都有问题,请自行Google,百度

2015-10-13 21:32:57

Python 中的进程、线程、协程、同步、异步、回调

进程和线程究竟是什么东西?传统网络服务模型是如何工作的?协程和线程的关系和区别有哪些?IO过程在什么时间发生?在刚刚结束的 PyCon2014 上海站,来自七牛云存储的 Python 高级工程师许智翔带来了关于 Python 的分享《Python中的进程、线程、协程、同步、异步、回调》。一、上下文切换技术简述在进一步之前,让我们先回顾一下各种上下文切换技术。

2015-08-10 13:17:13

python 协程示例

协程,又称微线程,纤程。英文名Coroutine。协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用。子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。所以子程序调用是通过栈实现的,一个线程就是执行一个子程序。子程序调用总是一个入口,一次返回,调用顺序

2015-08-10 12:54:20

python yield和send

包含yield表达式的函数是特殊的函数,叫做生成器函数(generator function),被调用时将返回一个迭代器(iterator),调用时可以使用next或send(msg)。它的用法与return相似,区别在于它会记住上次迭代的状态,继续执行。 send(msg)与next()的区别在于send可以传递参数给yield表达式,这时传递的参数会作为yield表达式的值,而yield的

2015-08-10 12:53:05

Spring MVC之@RequestParam @RequestBody @RequestHeader 等详解

引言:接上一篇文章,对@RequestMapping进行地址映射讲解之后,该篇主要讲解request 数据到handler method 参数数据的绑定所用到的注解和什么情形下使用;简介:handler method 参数绑定常用的注解,我们根据他们处理的Request的不同内容部分分为四类:(主要讲解常用类型)A、处理requet uri 部分(这里指

2015-06-30 15:36:33

NoSQL 数据库产品学习总结(一)

NoSQL 数据库产品学习总结(一) 本篇文章共分为四个章节,会陆续整理下 Memcached、Redis、tair、mongodb、hbase、SequoiaDB、 Cassandra的相关知识。 本文为第一个章节,先简介下memcached、reids,有理解不到位的地方,请不吝赐教。Memcached1.简介 Memcached 是临时性建值存储的NoSQL产品(官网:memcach

2015-06-27 17:46:53

使用Intell IDEA Debug jetty web应用

以下适合于使用maven管理的web工程,运行在jetty容器下:1.添加jetty的maven插件[html] view plaincopyprint?plugin>     groupId>org.mortbay.jettygroupId>     artifactId>maven-jetty-pluginartifactId> 

2015-06-26 10:31:42

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!