- 博客(110)
- 收藏
- 关注
RSS订阅原创 Greenplum操作
1. 管理命令2.1 数据库启动$ gpstart [-a|-m]# -a: 直接启动，不提示终端用户输入确认# -m: 只启动master实例，主要是故障处理时使用2.2 数据库停止$ gpstop [-a|-m|-f|-u]# -a: 直接停止，不提示终端用户输入确认# -m: 只停止master实例# -f: 停止数据库，中断所有数据库连接，回滚正在运行的...
2019-09-09 12:47:24
561
原创 Docker安装数据库
文章目录通用命令MySQLOracleSqlServerPostgreSQL通用命令# 删除镜像docker rmi <image id># 删除全部imagedocker rmi $(docker images -q)# 删除容器docker rm <容器ID>MySQL# 拉取docker search mysqlsudo docker pu...
2019-09-09 10:02:11
710
原创 Greenplum集群安装
文章目录主机与软件环境准备禁SELinux和防火墙修改Host修改内核参数加载XFS文件系统安装依赖修改读块大小设置io的调度算法安装ntp服务(可选，该手册未执行这步)安装创建用户ssh免密登录到其他主机安装Greenplumroot用户gpadmin用户操作创建用户配置远程登录安装监控新增节点SegmentStandby优化主机与软件IP主机名角色192.168.0....
2019-09-09 09:56:57
425
原创 快学Scala学习笔记及习题解答（21-22隐式转换和隐式参数、定界延续）
本文Scala使用的版本是2.11.8第21章 隐式转换和隐式参数21.1 基本概念所谓隐式转换函数（implicit conversion function）指的是那种以implicit关键字声明的带有单个参数的函数。这样的函数将被自动应用，将值从一种类型转换为另一种类型。class Fraction() { private var n: Int = 0 private var m:
2017-03-23 09:52:14
1783
3
原创 快学Scala学习笔记及习题解答（19-20解析与Actor）
本文Scala使用的版本是2.11.8第19章 解析19.1 文法所谓文法（grammar）指的是一组用于产出所有遵循某个特定结构的字符串的规则。文法通常以一种被称为巴科斯范式（BNF）的表示法编写：op ::= "+" | "-" | "*"expr ::= number | expr op expr | "(" expr ")"这里的number并没有定义，可以像这样来定义它：digit ::
2017-03-23 09:51:34
1207
原创 快学Scala学习笔记及习题解答（17-18类型参数与高级类型）
本文Scala使用的版本是2.11.8第17章 类型参数17.1 泛型泛型类class Pair[T, S](val first: T, val second: S)// 实例化val p = new Pair(42, "String")val p2 = new Pair[Any, Any](42, "String")泛型函数def getMiddle[T](a: Array[T]) = a(a
2017-03-23 09:50:59
1153
原创 快学Scala学习笔记及习题解答（15-16注解与XML处理）
本文Scala使用的版本是2.11.8第15章 注解15.1 基本概念注解是那些你插入到代码中以便有工具可以对它们进行处理的标签。在Scala里，可以为类、方法、字段、局部变量和参数添加注解。可以同时添加多个注解（先后次序没有影响）。主构造器需要将注解放置在构造器之前，如果不带参数的话，需加上一对圆括号。class Credentials @Inject() (var username: Strin
2017-03-23 09:49:31
844
1
原创 ELK环境搭建
1. 收集日志文件到Kafka流程：业务系统 => 日志文件 => FileBeat => Logstash => Kafka1.1 Kafka# 查看主题kafka-topics.sh --zookeeper host-10-18-16-8:2181/kafka --list# 创建Topickafka-topics.sh --create --zookeeper host-10-18-16-
2017-03-21 16:43:00
1019
原创 《Python基础教程》学习笔记（17-18扩展与程序打包）
17. 扩展Python17.1 Jython和IronPythonJython对应Java，IronPython对应C#和其他的.NET语言）。Java类（JythonTest.java）public class JythonTest { public void greeting() { System.out.println("Hello, world!"); }
2017-03-12 14:52:37
757
原创 《Python基础教程》学习笔记（16测试）
16. 测试16.1 测试的4步指出需要的新特性。可以记录下来，然后为其编写一个测试。编写特性的概要代码，这样程序就可以运行而没有任何语法等方面的错误，但是测试会失败。这样就能确定测试可以失败。为特性的概要编写虚设代码（dummy code），能满足测试要求就行。不用准确地实现功能，只要保证测试可以通过即可。现在重写（或者重构，Refactor）代码，这样它就会做自己应该做的事，从而保证测试
2017-03-12 14:52:13
1273
原创 《Python基础教程》学习笔记（15Web）
15. Python和万维网15.1 屏幕抓取15.1.1 Tidy和XHTML解析Tidy是什么Tidy（http://tidy.sf.net)是用来修复不规范且随意的HTML的工具。获取Tidy库Tidy可以官网下载，此外，还应该下载Python包装。uTidyLib可以从http://utidylib.berlios.de上获取，而mxTidy可以在http://egenix.com/prod
2017-03-12 14:51:50
2714
原创 《Python基础教程》学习笔记（14网络）
14. 网络编程14.1 少数几个网络设计模块14.1.1 socket模块一个套接字就是一个socket模块中的socket类的实例。它的实例化需要3个参数：第1个参数是地址族（默认：socket.AF_INET)；第2个参数是流（默认：socket.SOCK_STREAM）或数据报（socket.SOCK_DGRAM）套接字；第3个参数是使用的协议（默认0）。服务器端套接字使用bind方
2017-03-12 14:50:11
584
原创 《Python基础教程》学习笔记（13数据库）
13. 数据库支持13.1 Python数据库API13.1.1 全局变量任何支持2.0版本DB API的数据库模块都必须定义3个描述模块特性的全局变量。 变量 用途 apilevel 所使用的Python DB API版本 threadsafety 模块的线程安全等级，取值0~3。0：线程完全不共享模块，1：线程本身可共享模块，但不对连接共享，3：完全线程安全 param
2017-03-12 14:49:50
1455
原创 《Python基础教程》学习笔记（12图形界面）
12. 图形界面12.1 丰富的平台 工具包 描述 网站 Tkinter 使用Tk平台。很容易得到，半标准 https://wiki.python.org/moin/TkInter wxpython 基于wxWindows。跨平台 http://wxpython.org PythonWin 只能在Windows上使用，使用了本机的Windows GUI功能
2017-03-12 14:49:19
656
原创 《Python基础教程》学习笔记（10-11模块和文件）
10. 模块相关Python的标准安装包包括一组模块，称为标准库（standard library）。10.1 模块10.1.1 模块是程序# hello.pyprint "Hello, world!"# 保存放在C:\python# 告诉解释器在哪里寻找模块>>> import sys>>> sys.path.append('c:/python')# 这样，解释器除了从默认的目录中寻找之外，
2017-03-12 14:48:07
1158
原创 快学Scala学习笔记及习题解答（12-14高阶函数、集合、模式匹配和样例类）
本文Scala使用的版本是2.11.8第12章 高阶函数12.1 基本用法作为值得函数import scala.math._val num = 3.14// ceil函数后的_表示这是个函数，而不是忘记传参val fun = ceil _// 调用fun(num)// 传递Array(3.14, 1.42, 2.0).map(fun)匿名函数// 存放到变量val triple = (x:
2017-02-04 18:10:22
3181
转载 CGroup 介绍、应用实例及原理描述
http://www.ibm.com/developerworks/cn/linux/1506_cgroup/CGroup 介绍CGroup 是 Control Groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组 (process groups) 所使用的物力资源 (如 cpu memory i/o 等等) 的机制。2007 年进入
2017-01-03 21:59:56
647
转载 Hadoop Yarn内存资源隔离实现原理——基于线程监控的内存隔离方案
http://www.cnblogs.com/yurunmiao/p/5070287.html注：本文以hadoop-2.5.0-cdh5.3.2为例进行说明。Hadoop Yarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源，以避免它们之间相互干扰。目前支持两种类型的资源隔离：CPU和内存，对于这两种类型的资源，Yarn使
2017-01-03 21:52:52
825
原创 MapReduce配置与优化
1. 流程简介参考MapReduce学习笔记之简介（一）2. 配置详解core-site.xml是全局配置，hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。本文配置基于2.7.3版本。另外只列出了部分属性。2.1 core-default.xml 选项 默认值 描述 hadoop.tmp.dir /tmp/hadoop-${user
2017-01-03 21:42:53
11505
1
原创 Yarn详解
1. Yarn架构1.1 简介1.1.1 架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成。YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResourceManager负责对各个NodeManager
2016-12-31 17:04:32
10414
1
原创 JVM7、8详解及优化
1. JVM堆内存划分1.1 JDK7及以前的版本其中最上一层是Nursery内存，一个对象被创建以后首先被放到Nursery中的Eden内 存中，如果存活期超两个Survivor之后就会被转移到长时内存中(Old Generation)中。永久内存中存放着对象的方法、变量等元数据信息。通过如果永久内存不够，就会得到如下错误：Java.lang.OutOfMemoryError: PermGen1
2016-12-28 21:05:49
26307
6
原创 Spring-MyBatis实战之 Manual close is not allowed over a Spring managed SqlSession
项目环境Maven的Web项目中，使用spring（4.3.4.RELEASE）、Mybatis（3.2.4）、mybatis-spring（1.2.2）连接数据库，产生异常。详细异常2016-12-22 17:55:04,520 - WARN [localhost-startStop-1] org.springframework.beans.factory.support.DisposableB
2016-12-22 18:02:30
17342
4
转载 Hbase实战之WEB项目关闭异常及解决方法
http://www.yhaitao.net/hbase-actual-closing-abnormality-of-web-projects/项目环境Maven的Web项目中，Spring（4.3.4.RELEASE）框架下 ： 为实现大规模Hbase（hbase版本：1.2.4；hadoop版本：2.6.4）操作， 项目启动时创建hbase连接池。 但是， 当关闭tomcat而关闭项目时报异常。
2016-12-22 17:52:56
2721
转载 HTTPS 升级指南
http://www.ruanyifeng.com/blog/2016/08/migrate-from-http-to-https.html作者： 阮一峰日期： 2016年8月26日上一篇文章我介绍了 HTTP/2 协议 ，它只有在 HTTPS 环境才会生效。为了升级到 HTTP/2 协议，必须先启用 HTTPS。如果你不了解 HTTPS 协
2016-12-19 16:57:18
294
转载 YAML 语言教程
http://www.ruanyifeng.com/blog/2016/07/yaml.html?f=tt作者： 阮一峰日期： 2016年7月 4日编程免不了要写配置文件，怎么写配置也是一门学问。YAML 是专门用来写配置文件的语言，非常简洁和强大，远比 JSON 格式方便。本文介绍 YAML 的语法，以 JS-YAML 的实现为例。
2016-12-19 16:49:21
321
原创 快学Scala学习笔记及习题解答（10-11特质与操作符）
本文Scala使用的版本是2.11.8第10章 特质10.1 基本使用特质可以同时拥有抽象方法和具体方法，而类可以实现多个特质。import java.util.Datetrait AbsLogged { // 特质中未被实现的方法默认就是抽象的. def log(msg: String)}trait Logged extends AbsLogged { // 重写抽象方法
2016-11-25 10:39:33
1301
原创 快学Scala学习笔记及习题解答（9文件和正则）
本文scala使用的版本是2.11.7第九章 文件和正则表达式9.1 文件读取行import scala.io.Sourceval source = Source.fromFile("myfile.txt", "UTF-8)val lineIterator = source.getLinesfor (l <- lineIterator) println(l)// 也可以对迭代器应用toArray或
2016-11-25 10:30:54
647
原创 快学Scala学习笔记及习题解答（5-8类、对象、包和继承）
本文scala使用的版本是2.11.7第五章 类5.1 基本操作class Person { // Scala会生成一个私有的final字段和一个getter方法,但没有setter val timeStamp = new java.util.Date // 必须初始化字段 private var privateAge = 0 def increment() {
2016-11-25 10:28:53
2513
原创 快学Scala学习笔记及习题解答（1-4基础、控制、函数、数组、元组和映射）
本文scala使用的版本是2.11.7第一章 基础1.1 基础常量和变量以val定义的值是一个常量，即无法改变它的内容：scala> val counter: Int = 0counter: Int = 0以var定义的值是变量，可以改变它的内容：scala> var v = 0v: Int = 0scala> v = 10v: Int = 10常用类型7种数值类型：Byte、Char、Sho
2016-11-25 10:14:28
1563
原创 《Python基础教程》学习笔记（8-9异常、方法、属性和迭代器）
8. 异常8.1 基本操作抛出异常raise Exception('异常演示')# 结果Traceback (most recent call last): File "/xxx/07.python/project/demo/__init__.py", line 8, in <module> raise Exception('异常演示')Exception: 异常演示内建的异常可以在
2016-11-07 11:56:08
617
原创 《Hadoop 2.X HDFS源码剖析》读书笔记（RPC）
1. HDFS概述1.1 体系结构HDFS是一个主从（Master/Slave）体系结构的分布式系统。Namenode是HDFS的Master节点，负责管理文件系统的命名空间（namespace），以及数据块到具体Datanode节点的映射等信息。集群中的Datanode一般是一个节点一个，负责管理它所在节点的存储。1.2 RPC接口Hadoop RPC接口主要定义在org.apache.hadoo
2016-11-07 11:54:00
2745
1
原创 《Hadoop 2.X HDFS源码剖析》读书笔记（Client）
1. DSFClient实现对于管理文件/目录以及管理与配置HDFS系统这两个功能，DFSClient并不需要与Datanode交互，而是直接通过远程接口ClientProtocol调用Namenode提供的服务即可。而对于文件读写功能，DFSClient除了需要调用ClientProtocol与Namenode交互外，还需要通过流式接口DataTransferProtocol与Datanode交互
2016-11-05 23:36:09
4247
原创 《Hadoop 2.X HDFS源码剖析》读书笔记（DataNode)
1. Datanode逻辑结构1.1 HDFS FederationFederation的HDFS集群可以定义多个Namenode/Namespace，这些Namenode之间是互相独立的，它们各自分工管理着自己的命名空间。而Datanode则提供数据块的共享存储功能，每个Datanode都会向集群中所有Namenode注册，且周期性地向所有Namenode发送心跳和块汇报，然后执行Namenode
2016-11-05 18:06:00
2448
原创 Spark概述
1. Spark架构1. Driver Program在集群模式下，用户编写的Spark程序称为Driver程序。每个Driver程序包含一个代表集群环境的SparkContext对象并与之连接，程序的执行从Driver程序开始，中间过程会调用RDD操作，这些操作通过集群资源管理器来调度执行，一般在Worker节点上执行，所有操作执行结束后回到Driver程序，在Driver程序中结束。2. Spa
2016-11-05 18:04:13
1193
原创 Spark算子使用示例
1. 算子分类从大方向来说，Spark 算子大致可以分为以下两类Transformation：操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。Action：会触发 Spark 提交作业（Job），并将数据输出 Spark系统。从小方向来说，Spark 算子大致可以分为以下三类:Value数据类型的T
2016-11-05 18:02:21
13379
5
原创 Spark入门示例
pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/ma
2016-10-30 22:24:49
2478
原创 《Hadoop 2.X HDFS源码剖析》读书笔记（NameNode）
1. 文件系统目录树FSDirectoryHDFS文件系统的命名空间是以“/”为根的整个目录树，是通过FSDirectory类来管理的。FSNamesystem也提供了管理目录树结构的方法，当FSNamesystem中的方法也是调用FSDirectory类的实现，FSNamesystem在FSDirectory类方法的基础上添加了editlog日志记录的功能。HDFS引入FSDirectory是为了
2016-10-30 21:40:22
2038
4
原创 《Python基础教程》学习笔记（6-7抽象）
6. 抽象6.1 函数使用def定义函数def fibs(num): result = [0, 1] for i in range(num - 2): result.append(result[-2] + result[-1]) return resultprint fibs(10)6.1.1 记录函数如果在函数的开头写下字符串，它就会作为函数的一部分进行存储
2016-10-30 21:38:02
465
原创 《Python基础教程》学习笔记（3-5字符串、字典与语句）
3. 使用字符串3.1 基本字符串操作所有标准的序列操作（索引、分片、乘法、判断成员资格、求长度、取最小值和最大值）对字符串同样适用。 字符串是不可变的 3.2 字符串格式化使用字符串格式化操作符，即百分号%来实现。 如果字符串中包含百分号，必须使用%%转义 如果右操作符是元组的话，则其中的每一个元素都会被单独格式化>>> '%s plus %s equals %s' % (1,2,3)'
2016-10-30 21:37:32
656
1
原创 《Python基础教程》学习笔记（1-2基础、列表与元组）
1. 基础知识1.1 示例#!/usr/bin/python# -*- coding: utf-8 -*-# 第一行表明这是python脚本# 第二行使脚本支持中文print "数字和表达式"# 除法print 10 / 3# 求余print 10 % 3# 浮点运算print 10 / 3.# 幂运算print 2 ** 3# 内建函数print 10 + pow(2, 3)
2016-10-30 21:36:37
656
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人