- 博客(49)
- 收藏
- 关注
RSS订阅原创 Hive常用命令
hive命令行 hive --help --config hive配置文件路径--service hive 服务--auxpath 添加jar包(多个jar包用:分割) hive --service help Service List: beeline cli help hiveburninclient hiveserver2 hi...
2019-04-12 15:22:11
934
原创 Hive调优
系统调优避免执行MR设置hive.fetch.task.conversion = more 简单查询不走mr设置hive.fetch.task.conversion = none 所有查询都走MR本地模式执行Hive 在集群上查询时，默认是在集群上 N 台机器上运行， 需要多个机器进行协调运行，这 个方式很好地解决了大数据量的查询问题。但是当 Hive 查询处理的数据量比较小时...
2019-04-12 15:20:06
213
原创 vim使用
inser模式可以通过i、I等进入insert模式，进入该模式，可以文件内容进行编辑命令模式进入insert模式 i #当前字符之前插入 I #行首插入 a #当前字符之后插入 A #行位插入 o #下一行插入 O #上一行插入光标...
2018-06-11 19:31:51
245
原创 centos7安装与配置
准备linux软件版本：CentOS-7链接：http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso虚拟机软件版本：VMware Workstation 14 Pro密钥：CG54H-D8D0H-H8DHY-C6X7X-N2KG6安装（最小安装）利用VMware 安装linux镜像配置磁盘/boot 2...
2018-06-11 18:53:13
398
原创 shell 编程
test和[]:测试判断文件 test -e #判断是否存在 -d #判断是否为目录 -f #判断是否为文件 -r -w -x test -f /usr/local/mongodb/etc/mongod.confecho $?判断整数test -gt -g...
2018-06-08 14:08:15
145
原创 Docker安装与配置
准备卸载旧版本（如果安装过）yum remove docker docker-common docker-selinux docker-engine更新yum安装的软件yum update安装依赖yum install -y yum-utils device-mapper-persistent-data lvm2设置yum源yum-config-manager --add-repo htt...
2018-06-07 17:17:38
229
原创 redis安装与配置
redis安装与配置安装cd /usr/localwget http://download.redis.io/redis-stable.tar.gztar xvzf redis-stable.tar.gzln -s redis-stable rediscd redismakecd srcmake install PREFIX=/usr/local/redis配置环境变量export...
2018-06-07 16:27:37
204
原创 MongoDB——高级
索引创建索引格式db.COLLECTION_NAME.ensureIndex(keys[,options]) keys，要建立索引的参数列表。如：{KEY:1}，其中key表示字段名，1表示升序排序，也可使用使用数字-1降序。 options，可选参数，表示建立索引的设置。可选值如下： background，Boolean，在后台建立索引，以便建立索引时不阻止其他数...
2018-06-05 11:56:28
239
原创 Lua安装与配置
下载curl -R -O http://www.lua.org/ftp/lua-5.3.0.tar.gztar zxf lua-5.3.0.tar.gzln -s lua-5.3.0 luarm -rf lua-5.3.0.tar.gz安装下载依赖(https://pkgs.org/)cd /usr/local wget http://mirror.centos.org/centos/7...
2018-06-04 19:17:07
1397
原创 Monogo——基本操作
mongodb的基本操作数据库相关操作查看系统中已有数据库show dbs创建数据库mydbuse mydb删除当前数据库db.dropDatabase()集合相关操作查看当前数据库已有集合show collections创建集合coll1(也可以不创建，在插入数据时会自动生成)db.createCollection('coll1')删除集合coll1db.coll1.drop()创建...
2018-06-04 16:23:18
7124
原创 MongoDB——概述
常用命令db.help() 查看常用命令db.stats() 查看当前数据库的状态db.version() 产看MongoDB的版本show dbs 显示所有非空数据库db.repairDatabase() 修复当前数据库db 产看当前所处的数据库show collections 显示当前数据库中所有的集合use 数据库名 有则切换，无则创建并切换db.getMongo() 查看当前连接机器的IP...
2018-06-04 16:22:10
180
原创 MongoDB——安装
安装下载cd /usr/localwget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz安装tar -zxvf mongodb-linux-x86_64-3.0.6.tgzln -s mongodb-linux-x86_64-3.0.6 mongodb配置配置环境变量export MONGODB_HOME=/...
2018-06-04 12:09:54
189
转载 java 泛型
引言泛型是Java中一个非常重要的知识点，在Java集合类框架中泛型被广泛应用。本文我们将从零开始来看一下Java泛型的设计，将会涉及到通配符处理，以及让人苦恼的类型擦除。泛型基础泛型类我们首先定义一个简单的Box类：12345public class Box { private String object; public void set(String object) { this....
2018-05-15 10:30:20
146
原创 Python高级特性（一）
is 和 ==Python中对象包含的三个基本要素id 身份标识type 数据类型value 值is判断对象的ID是否相同,==判断对象的value是否相同def test_num(): n1 = 1 n2 = 1 print(n1 == n2, id(n1)) print(n1 is n2, id(n2)) # result: #True...
2018-05-11 11:03:09
238
原创 Python可变参数
当函数的参数不确定时，可以使用argvs 和kwargs，args接收非键值,kwargvs接收键值对参数,args和kwargs必须在参数列表最后，并且kwargs在args后面*args args将参数封装在元组中def test_args(first,*args): print(first) print(args) input： test_args(1, 2...
2018-05-09 10:39:40
515
原创 requests库
安装依赖pip install requestsrequest对象的常用请求方法request 其他六个方法，底层调用该方法get 从服务器获取资源post 将资源提交到服务（不可覆盖）put 修改服务器资源（可覆盖）head 获取服务器资源的部分信息patch 修改服务器资源（可部分覆盖）delete 删除服务器资源requests七个请求的13个可选参数timeout 设置超时(单位:秒)im...
2018-05-07 14:38:28
329
原创 Python正则表达式
正则表达式基础语法（常用）第一类^ 匹配字符串的开头$ 匹配字符串的末尾。. 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。[...] 用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k'[^...] 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。re* 匹配0个或多个的表达式。re+ 匹配1个或多个的表达式。re? 匹...
2018-05-07 11:19:33
195
原创 Jython配置和使用
下载、安装（windows、linux 使用同一个包进行安装）下载地址：http://www.jython.org/downloads.html安装：java -jar *-install.jar配置环境变量设置JYTHON_HOME: JYTHON_HOME=D:\Program Files\jython2.7.0添加PATH: %JYTHON_HOME%\bin %J...
2018-05-05 13:33:00
5889
原创 pyspark配置和使用
window下pyspark环境搭建配置hadoop下载hadoop、winutils安装、配置环境变量用winutils覆盖掉hadoop-2.2.0\bin下所有内容配置spark下载spark安装(安装路径不能有空格)、配置环境变量配置pyspark拷贝 D:\spark-1.6.1\python\pyspark 至 D:\Program Files\Python\Python27\Lib\...
2018-05-04 16:14:49
3821
原创 Python异常
Python异常体系异常结构图常见异常BaseException 所有异常的基类ExceptionStandardException 所有的内建标准异常的基类ArithmeticError 所有数值计算错误的基类FloatingPointError 浮点计算错误OverflowError 数值运算超出最大限制ZeroDivisionError 除(或取模)零 (所有数据类型)EnviromentE...
2018-05-04 11:35:34
444
原创 位操作
有符号数据的存储最高位为符号位，0表示正数，1表示负数正数存储正数以源码的形式存储负数以补码的方式存储步骤：写出源码算出反码（源码各位取反即可）得到补码（反码末尾加1即可）例如：-128（通过短除知道商为0，从下向上取余数，自左向右排列，不够8位，高位用0补齐）源码：10000000反码：01111111补码：10000000按位逻辑算符按位取反：~二进制上每一位数字取反(0-->1；1--...
2018-04-19 13:20:52
163
原创 C 语言环境搭建
Linux系统下编译gcc a.c （或者cc a.c)gcc -std=c90 a.c (添加 -std参数,指明C标准版本)gcc -std=c99 a.cgcc -std=c11 a.c运行./a.outWindows系统安装MinGW相关命令和linux下类似...
2018-04-19 13:20:06
217
原创 Flink技术架构
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。Flink将流处理和批处理统一起来，也就是说作为流处理看待时输入数据流是无界的；批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的。Flink特点支持高吞吐、低延迟、高性能的流处理支持有状态计算的Exactly-once语义支持高度...
2018-04-17 17:45:38
2084
原创 Flink入门示例——wordCount(二)
说明（批处理）读取HDFS数据将处理结果写入HDFS代码示例package com.testimport org.apache.flink.api.scala._import org.apache.flink.core.fs.FileSystem.WriteMode/** * 读取hdfs数据，把处理结果结果再写入HDFS */object WordCountBatch{ ...
2018-04-17 16:01:02
1416
原创 Flink入门示例——wordCount(一)
说明（流处理）读取kafka流数据,每5s统计一次将处理结果写入Redis代码示例<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instanc...
2018-04-17 16:00:16
4714
原创 YARN日志聚合相关参数配置
相关参数含义yarn.log-aggregation-enable参数说明：是否启用日志聚合功能，日志聚合开启后保存到HDFS上。默认值：falseyarn.log-aggregation.retain-seconds参数说明：聚合后的日志在HDFS上保存多长时间，单位为s。默认值：-1（不启用日志聚合），例如设置为86400，24小时yarn.log-aggregation.retain...
2018-04-12 14:42:55
1663
原创 Flink任务提交模式
local模式本地运行，不需要集群环境IDE开发时，local模式方便本地测试standalone需要搭建flink集群提交命令flink run -m artemis-02:6123 -c com.test.WordCount2 ./Flink.jar hdfs://artemis-02:9000/tmp/lvxw/tmp/logs/words hdfs://artemis-02:9000/t...
2018-04-12 13:15:27
8524
原创 Flink集群搭建
下载根据hadoop版本下载对应的flink版本鉴于使用的是hadoop2.4.x版本，此处使用最新版本flink-1.4.2。下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.4.2/flink-1.4.2-src.tgzlinux环境准备主机artemis-02artemis-03artemis-04安装位置/home...
2018-04-11 15:35:15
1002
原创 设计模式——适配器模式
适配器模式把一个类的接口变换成客户端所期待的另一种接口，从而使原本因接口不匹配无法在一起工作的两个类可以在一起工作;适配器就是一种适配中间件，它存在于不匹配的二者之间，用于连接二者，将不匹配变得匹配，简单点理解就是平常所见的转接头，转换器之类的存在。角色Target：目标角色,期待得到的接口.Adaptee：适配者角色,被适配的接口.Adapter：适配器角色,将源接口转换成目标接口.适配器模式分...
2018-04-11 13:26:16
118
原创 生成自定义native方法
编写java native 方法package com.test.nativemethod;public class OwnNative { static{ System.load("E:\\project_sync_repository\\learn-java\\learnAdvanced\\src\\main\\resources\\java_native.dll"...
2018-04-10 17:10:23
733
原创 java序列化&反序列化
序列化反序列化代码示例package com.test.serialize;public class Person{ protected String name; protected int age; public Person() { } public Person(String name, int age) { this.name...
2018-04-10 17:08:33
402
原创 设计模式——责任链模式
避免请求发送者与接收者耦合在一起，让多个对象都有可能接收请求，将这些对象连接成一条链，并且沿着这条链传递请求，直到有对象处理它为止。职责链模式是一种对象行为型模式。此模式涉及到的角色Handler（抽象处理者）ConcreteHandler（具体处理者）类图示例代码package com.test.Responsibility;/** * 订单类 */public class Order...
2018-04-10 11:40:01
95
原创 设计模式——策略模式
策略模式是对算法的包装，是把使用算法的责任和算法本身分割开来，委派给不同的对象管理。策略模式通常把一个系列的算法包装到一系列的策略类里面，作为一个抽象策略类的子类。用一句话来说，就是：“准备一组算法，并将每一个算法封装起来，使得它们可以互换”。这个模式涉及到三个角色● 环境(Context)角色：持有一个Strategy的引用。● 抽象策略(Strategy)角色：这是一个抽象角色，通常由一个接口...
2018-04-10 11:38:36
84
转载 转载——Java并发编程：volatile关键字解析
本文转自：https://www.cnblogs.com/dolphin0520/p/3920373.htmlJava并发编程：volatile关键字解析 volatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生机。 volatile关键字虽然...
2018-04-04 13:59:58
132
原创 设计模式——概述
java设计模式分类创建型单例模式工厂模式简单工厂模式工厂方法模式抽象工厂模式建造者模式原型模式结构型适配器模式装饰器模式代理模式外观模式桥接模式组合模式享元模式行为型策略模式模板方法模式观察者模式迭代子模式责任链模式命令模式备忘录模式状态模式访问者模式中介者模式解释器模式java设计模式遵循的六大原则开闭原则（Open Close Principle开闭原则就是说对扩展开放，对修改关闭。在程序需...
2018-04-04 13:55:16
126
原创 Scala 概述
Scala是可扩展语言的缩写，是一种混合功能编程语言。 它由Martin Odersky创建。 Scala特点 Scala是面向对象语言：Scala是一种纯粹的面向对象语言，每一个值都是一个对象。类通过子类化和基于灵活的基于混合组合机制进行扩展作为多重继承的干净替代。 Scala是函数式编程语言：Scala也是一种函数式语言，每个函数都是一个值，每个值都是一个对象，所以每...
2018-04-04 13:52:13
199
原创 设计模式——工厂模式
简单工厂模式简单工厂模式是属于创建型模式，又叫做静态工厂方法（Static Factory Method）模式，但不属于23种GOF设计模式之一。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。类图 简单示例package com.test.factory.entry;/** * 车接口 */...
2018-04-04 13:51:08
116
原创 设计模式——单例模式
单例对象（Singleton）是一种常用的设计模式。在Java应用中，单例对象能保证在一个JVM中，该对象只有一个实例存在单例好处：某些类创建比较频繁，对于一些大型的对象，这是一笔很大的系统开销。省去了new操作符，降低了系统内存的使用频率，减轻GC压力。有些类如交易所的核心交易引擎，控制着交易流程，如果该类可以创建多个的话，系统完全乱了。所以只有使用单例模式，才能保证核心交易服务器独立控制整个流...
2018-04-04 13:50:04
99
原创 java8新特新
接口中的默认方法和静态方法接口中可以定义具体方法，但必须“default”修饰接口中可以定义静态方法（系统自动以public 修饰）接口中定义变量（是静态变量，系统自动以public static final修饰）接口和类中方法冲突时，适用“父类优先原则”package com.test;public interface TestInterface {// public static vo...
2018-04-02 14:14:58
354
原创 Scala 隐式转换
简单说，隐式转换就是：当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型。隐方式转换语法“implict def”形式（Scala 2.10版本之前的写法）object All_implicit { // “implict def”形式的隐式转换 object Convert{ implicit d...
2018-03-12 15:46:38
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人