- 博客(365)
- 资源 (3)
- 问答 (5)
- 收藏
- 关注
RSS订阅转载 常见知识点
账户无密切换：https://jingyan.baidu.com/article/a17d5285268e958099c8f257.html
2017-08-04 23:13:44
521
转载 编译安装Ambari
1.2 需要安装的工具1.2.1 安装JDK输入命令[root@bigData-02 ~]# Java –versionjava version "1.7.0_51"Java(TM) SE Runtime Environment (build 1.7.0_51-b13)Java HotSpot(TM) 64-Bit Server VM (buil
2017-02-06 14:00:26
550
转载 自定义protobuf编解码器
Protobuf3 + Netty4: 在socket上传输多种类型的protobuf数据Protobuf序列化的字节流数据是不能自描述的，当我们通过socket把数据发送到Client时，Client必须知道发送的是什么类型的数据，才能正确的反序列化它。这严重影响限制了C/S功能的实现，不解决的话信道事实上只能传输一种类型的数据。本文讲解一下我用的解决办法，虽然我觉得应该有官
2016-08-08 19:08:06
4734
转载 YARN ResourceManager调度器的分析
YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器，探讨三种调度器的设计侧重，最后给出一些配置建议和参数解释。本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如，CPU资源分配等特性在不就的将来就会加入。为了方便查阅源代码，原代码位置使用[类名:行号]方式表示。名词解释：ResourceManage
2016-07-15 14:57:54
1303
转载 Hadoop系列(5)之容量调度器Capacity Scheduler配置
1. 应用场景本文只关注配置，关于调度器的算法以及核心内容将在下一篇介绍。 Capacity Scheduler是YARN中默认的资源调度器，但是在默认情况下只有root.default 一个queue。而当不同用户提交任务时，任务都会在这个队里里面按优先级先进先出，大大影响了多用户的资源使用率。现在公司的任务主要分为三种：每天晚上进行的日常任务dailyTask，这些任务需要在尽
2016-07-15 14:55:45
8635
1
转载 ZooKeeper-3.3.4集群安装配置
ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在
2016-06-14 14:11:40
648
转载 Linux下which、whereis、locate、find 命令的区别
我们经常在linux要查找某个文件，但不知道放在哪里了，可以使用下面的一些命令来搜索。这些是从网上找到的资料，因为有时很长时间不会用到，当要用的时候经常弄混了，所以放到这里方便使用。 which 查看可执行文件的位置 whereis 查看文件的位置 locate 配 合数据库查看文件位置 find 实际搜寻硬盘查询文件名称 1
2016-02-19 10:28:06
416
转载 spark yarn-client和yarn-cluster
大数据系列零基础由入门到实战视频问题导读1.Spark在YARN中有几种模式？2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？3.由client向ResourceManager提交请求，并上传jar到HDFS上包含哪些步骤？4.传递给app的参数应该通过什么来指定？5.什么模式
2016-01-25 09:56:21
3204
转载 sbt环境搭建
在公司网络中使用 sbt 、 Maven 等项目构建工具时，我们通常会搭建一个公用的Nexus 镜像服务，原因有以下几个：避免重复下载依赖，节省公司带宽；国内网络环境不理想，下载速度慢；IDC服务器没有外网访问权限；用于发布内部模块。sbt的依赖管理是基于 ivy 的，虽然它能直接使用 Maven中央仓库 中的Jar包，在配置时还是有一些注意事项的。配置Nexus镜像
2016-01-05 10:07:55
1526
原创 NameNode和SecondaryName
前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现并不是这样。文章写的很通俗易懂，现将其翻译如下：
2015-12-15 17:30:26
1652
转载 scala None null Nil的说明
在scala中这四个类型名称很类似，作用确实完全不同的。 None是一个object，是Option的子类型，定义如下 [java] view plaincopyprint?case object None extends Option[Nothing] { def isEmpty = true def get = thr
2015-12-02 21:38:48
730
转载 git tag的用法
git tag — 标签相关操作列出标签$ git tag # 在控制台打印出当前仓库的所有标签$ git tag -l ‘v0.1.*’ # 搜索符合模式的标签打标签git标签分为两种类型：轻量标签和附注标签。轻量标签是指向提交对象的引用，附注标签则是仓库中的一个独立对象。建议使用附注标签。# 创建轻量标签$ git tag v0.1.2-
2015-11-16 20:02:31
614
原创 使用ssh private key 免密码登陆服务器的流程（Amazon 的EMR 采用了此方式登陆服务器）
第一步： 在服务器上 执行该命令 ssh-keygen -t ras -C "" ，会在服务器上生成 id_rsa 和 id_rsa.pub 两个文件。第二步：将id_rsa.pub 文件的内容 拷贝到 authorized_keys 这个文件，如果没有 authorized_keys 这个文件，则手动创建一个。第三步：然后将 id_rsa 文件下载到本地，通过ssh客户端指定私钥即
2015-11-11 12:06:03
1934
转载 scala+play2.2.2+slick2.0.2 + mysql5.0整合之一基础环境搭建篇
scala+play2.2.2+slick2.0.2 + mysql5.0整合之一基础环境搭建篇 因为博主也没有折腾过play,slick这些玩意，这周的时候想折腾这么一套开发环境，于是就折腾了一番，终于还是成功了，于是把整个步骤都贴出来，与大家分享，期间踩过的坑，直接跳过。前提： 假设你配置好了scala,play的环境变量，如果这样都有问题，请自行Google,百度
2015-10-13 21:32:57
601
转载 Python 中的进程、线程、协程、同步、异步、回调
进程和线程究竟是什么东西？传统网络服务模型是如何工作的？协程和线程的关系和区别有哪些？IO过程在什么时间发生？在刚刚结束的 PyCon2014 上海站，来自七牛云存储的 Python 高级工程师许智翔带来了关于 Python 的分享《Python中的进程、线程、协程、同步、异步、回调》。一、上下文切换技术简述在进一步之前，让我们先回顾一下各种上下文切换技术。
2015-08-10 13:17:13
787
转载 python 协程示例
协程，又称微线程，纤程。英文名Coroutine。协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。所以子程序调用是通过栈实现的，一个线程就是执行一个子程序。子程序调用总是一个入口，一次返回，调用顺序
2015-08-10 12:54:20
658
转载 python yield和send
包含yield表达式的函数是特殊的函数，叫做生成器函数(generator function)，被调用时将返回一个迭代器（iterator），调用时可以使用next或send(msg)。它的用法与return相似，区别在于它会记住上次迭代的状态，继续执行。 send(msg)与next()的区别在于send可以传递参数给yield表达式，这时传递的参数会作为yield表达式的值，而yield的
2015-08-10 12:53:05
4779
转载 Spring MVC之@RequestParam @RequestBody @RequestHeader 等详解
引言：接上一篇文章，对@RequestMapping进行地址映射讲解之后，该篇主要讲解request 数据到handler method 参数数据的绑定所用到的注解和什么情形下使用；简介：handler method 参数绑定常用的注解,我们根据他们处理的Request的不同内容部分分为四类：（主要讲解常用类型）A、处理requet uri 部分（这里指
2015-06-30 15:36:33
735
原创 NoSQL 数据库产品学习总结（一）
NoSQL 数据库产品学习总结（一） 本篇文章共分为四个章节，会陆续整理下 Memcached、Redis、tair、mongodb、hbase、SequoiaDB、 Cassandra的相关知识。 本文为第一个章节，先简介下memcached、reids，有理解不到位的地方，请不吝赐教。Memcached1.简介 Memcached 是临时性建值存储的NoSQL产品（官网：memcach
2015-06-27 17:46:53
1200
转载 使用Intell IDEA Debug jetty web应用
以下适合于使用maven管理的web工程，运行在jetty容器下：1.添加jetty的maven插件[html] view plaincopyprint?plugin> groupId>org.mortbay.jettygroupId> artifactId>maven-jetty-pluginartifactId>
2015-06-26 10:31:42
2545
转载 分布式设计与开发 memcached分布式
memcached是应用最广的开源cache产品，它本身不提供分布式的解决方案，我猜想一方面它想尽量保持产品简单高效，另一方面cache的key-value的特性使得让memcached分布式起来比较简单。memcached的分布式主要在于客户端，通过客户端的路由处理来搭建memcached集群环境，因此在服务端，memcached集群环境实际上就是一个个memcached服务器的堆积品，环境的搭
2015-06-25 21:57:42
520
转载 Memcache基础教程
Memcache是什么Memcache是danga.com的一个项目，最早是为 LiveJournal 服务的，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。Memcache官方网站：http
2015-06-23 13:34:48
528
原创 基于Nginx反向代理的SparkUI的访问
基于Nginx反向代理的SparkUI的访问场景和方案spark集群部署的情况下，只有Master有公网IP，Worker机器没有公网IP，此时要如果要访问Run在Master机器上的SparkUI，并且需要查看Worker机器上的日志时，就会存在不能访问的问题。此时的一个解决方案就是采用 Nginx+SSH Tunnel 端口重定向的方式，将不同机器不同端口的请求全部导向到Master机器的80端
2015-06-14 23:06:27
1866
原创 Python环境变量的引入
python引入类库：（1）需要先把类目加入到python的环境变量当中 例如：sys.path.insert(0,sdk_path)。（2）然后在import要添加的类目，一定要先添加路径，在import 变量，否则import命令无效。
2015-06-12 11:49:44
949
转载 Linux 指令：系统设置--export
功能说明：设置或显示环境变量。语 法：export [-fnp][变量名称]=[变量设置值]补充说明：在shell中执行程序时，shell会提供一组环境变量。export可新增，修改或删除环境变量，供后续执行的程序使用。export的效力仅及于该此登陆操作。参 数： -f 代表[变量名称]中为函数名称。 -n 删除指定的变量。变量实际上并未删除，只是不会输出
2015-06-12 10:38:45
990
原创 SSH隧道
如果需要访问某台机器没有对外开放的端口，可以通过端口转发的方式访问，具体配置步骤如下：以本地端口转发到远程端口的安全的方式访问。具体的创建步骤如下：SSH客户端配置：如 PuTTY（windows）或OpenSSH（linux、Max OSX）windows相关配置：首先下载PuTTY配置PuTTY：（1）首先创建一个session并配置好Master的IP地址
2015-06-09 16:41:51
602
转载 MyBatis的使用
使用SSM（Spring、SpringMVC和Mybatis）已经有三个多月了，项目在技术上已经没有什么难点了，基于现有的技术就可以实现想要的功能，当然肯定有很多可以改进的地方。之前没有记录SSM整合的过程，这次刚刚好基于自己的一个小项目重新搭建了一次，而且比项目搭建的要更好一些。以前解决问题的过程和方法并没有及时记录，以后在自己的小项目中遇到我再整理分享一下。这次，先说说三大框架整合过程。个人认
2015-06-05 17:14:05
735
转载 Spring MVC
现在主流的Web MVC框架除了Struts这个主力 外，其次就是Spring MVC了，因此这也是作为一名程序员需要掌握的主流框架，框架选择多了，应对多变的需求和业务时，可实行的方案自然就多了。不过要想灵活运用Spring MVC来应对大多数的Web开发，就必须要掌握它的配置及原理。 一、Spring MVC环境搭建：（Spring 2.5.6 + Hibernate 3.2.0）
2015-06-04 16:25:08
560
转载 SSH端口转发
访问Wikipedia等网站的困难已经是一个由来已久的问题，常规的解决的方法无非就是用一些**软件，比如Tor就是其中的一个出色代表。不过我不是很喜欢Tor，因为基于类似P2P这样的原理，决定了它不能提供一个稳定的链接，而且Tor的速度我也一直不是很满意。其它的一些解决方案包括使用网页代理、国外SSL代理之类的也是各有长处、各有不足。其实如果你在国外可以找到一台支持SSH登录，并且可以支持
2015-05-27 10:33:01
516
转载 maven 常用插件
1 maven-compiler-plugin [html] view plaincopyprint?plugin> artifactId>maven-compiler-pluginartifactId> extensions>trueextensions> configuration>
2015-04-30 16:12:34
832
原创 科目三考试挂掉原因分析
1. 灯光考试要注意，下沙和转塘不一样，但第一步一定是开灯，远光，近光，灯光考试完毕后，要直接打转向灯，再松手刹、挂档，起步。打转向灯后，一定要3秒后在转动方向。2. 注意不要熄火： 在起步的时候要踩好离合待刹车，慢慢松离合，车子稍抖，松刹车带点油门，再完全松开离合，避免熄火。3. 当车速达到10码以上时，挂二挡，当达到20码以上时，挂3挡。注意发动机转速不要超过2千转。当再加速路段需要用
2015-04-27 13:00:17
1232
转载 Spark Pipe使用方法（外部程序调用方法）
写在前面：1、我们使用的是Hadoop2.2.0，Spark 1.0。2、这里使用的样例是经典的求pai程序来演示这个开发过程。3、我们暂时使用java程序来开发，按照需要后面改用scala来开发。4、我们使用的IDE是IntelliJ IDEA，采用maven来做项目管理。一、项目创建1.1 运行IDE，通过下面命令 ~/idea-IC-133.6
2015-04-21 11:24:58
2812
1
转载 深刻理解Linux进程间通信（IPC）
序linux下的进程通信手段基本上是从Unix平台上的进程通信手段继承而来的。而对Unix发展做出重大贡献的两大主力AT&T的贝尔实验室及BSD（加州大学伯克利分校的伯克利软件发布中心）在进程间通信方面的侧重点有所不同。前者对Unix早期的进程间通信手段进行了系统的改进和扩充，形成了“system V IPC”，通信进程局限在单个计算机内；后者则跳过了该限制，形成了基于套接口（socket
2015-04-21 10:57:21
477
原创 Python字符串和字典相关操作
字符串操作：字符串的 % 格式化操作：str = "Hello,%s.%s enough for ya ?"values = ('world','hot')print str % values输出结果： Hello,world.hot enough for ya ?模板字符串：#coding=utf-8from string import Te
2015-04-19 12:35:34
1007
原创 Spark Standalone 以及 HDFS系统环境搭建
Hdfs环境搭建下载最新版本的Hadoop编译好的tar包：http://hadoop.apache.org/releases.html确认HDFS namenode和datanode的角色，并将namenode以及datanode的ip机器名对应关系写进每台机器的/etc/hosts文件。确认namenode可以不需要密码就一个通过ssh联通datanode结点。执行如下
2015-04-15 20:02:11
1904
原创 技术峰会官网
ArchSummit 架构师峰会：http://www.archsummit.com/velocity 技术峰会：http://velocity.oreilly.com.cn/2014/ArchSummit 架构师峰会：
2015-04-15 19:17:04
664
转载 Pssh的使用
== 简介 ==pssh是一个python编写可以在多台服务器上执行命令的工具，同时支持拷贝文件，是同类工具中很出色的，类似pdsh，个人认为相对pdsh更为简便，使用必须在各个服务器上配置好密钥认证访问。项目地址：https://code.google.com/p/parallel-ssh/PSSH provides parallel versions of OpenSSH an
2015-04-14 17:55:43
695
转载 云监控 Ganglia 安装步骤 (含python module)
摘要 最近在研究云监控的相关工具,感觉ganglia颇有亮点,能从一个集群整体的角度来展现数据. 但是安装过程稍过复杂,相关依赖稍多,故写此文章与大家分享下. 本文不讲解相关原理,若想了解请参考其他资料. 本文目的: 即使之前未触过ganglia,也能按照文中步骤搭建自己的ganglia监控集群.云监控 ganglia gmond gmetad目录[-]前言
2015-04-11 10:29:03
929
转载 在线安装Ganglia3.6.0，nginx+php搭建gweb，绝对通过
环境：CentOS6.5 minimal目标：安装Ganglia核心组件（gmond, gmetad, gmetric, gstat, libganglia）、Ganglia web准备yum加入 epel 源 rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noa
2015-04-08 22:39:43
573
linux 平台上一个进程退出了，还可以根据进程Id获取进程退出码吗？
2016-03-08
sudo -u admin 和 sudo su admin的区别是什么呀
2014-06-11
JConsole 老是连接不上远程的服务器，求指导？
2013-07-28
maven 依赖冲突问题
2013-05-07
问什么说servlet只能访问web-inf/lib下的类？
2013-04-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人