• 等级
  • 231697 访问
  • 69 原创
  • 5 转发
  • 14535 排名
  • 65 评论
  • 73 获赞

CDH之Hue、Hive操作

cdh全称为Cloudera’s Distribution Including Apache Hadoop

2018-08-27 19:03:25

Hadoop生态圈之Spark

1、spark-shell 进入spark模式,scala 2、简单示例 //载入本地txt文件 var xmfile = sc.textFile("file://Users/liuxunming/Desktop/TODO.txt") //计算总行数,res3: Long = 511 xmfile.count() //取第一行,res4: String = 做了什么 xmfile.firs...

2018-07-31 08:21:09

Hadoop学习笔记之lzo文件格式

一、下载、安装、编译lzo 二、修改Hadoop配置 三、安装、编译hadoop-lzo-master 四、检测是否配置成功 1、hive方法 2、job日志方法 五、参考链接 LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它的特点是解压缩速度非常快,无损压缩,压缩后的数据能准确还原,lzo是基于block分块的,允许数据被分...

2018-06-28 17:18:47

Mac的使用技巧

所需材料: 1、macpro一台 2、Belkin USB-C LAN 转接头,建议从苹果官网购买,为什么需要买这个,因为mac电脑本身只有无线网卡模块,没有网线端口,所有需要自行购买转接头 3、网线一根 4、可以上网的环境 Mac有线网配置:首先要有以太网转接头,然后在网络偏好设置里,添加网络,选择ppoe,wifi等,然后保存,回到网络主页面,插上转接头,这时就会看到你的转接头名称对

2018-06-27 14:03:39

MyBatis的初步使用

1、批量更新 <update id="batchUpdate" parameterType="java.util.List"> update test set test=${item.test}+1 where id in <foreach collection="list&a

2018-05-30 15:05:33

Excel的使用心得与技巧

vlookup()函数的使用 1,选择要填充的列的第一行,输入=vloolup 2,第一个参数选择左边一列的第一行 3,第二个参数选择另一个sheet工作表的两列单元格 4,第三个参数填入2,表示要填充的是表格的第二列 5,第四个参数填入0,表示精确匹配 6,回车,双击黑色十字,单列填充完毕,注意导入的数据格式要是文本 隐藏显示列 1,右键隐藏某一列 2,显示的话,比如D列被...

2018-05-28 13:40:26

Gps带你跑出你想要的图案

路书效果: 所需软件(mac): 具体步骤: 1、准备素材 2、选择场地 3、素材位置 4、文字描边 5、保存gpx 6、添加路书 7、跑步导航 具体实施: 参考链接: 路书效果: 所需软件(mac): 1、谷歌地球,http://www.pc6.com/mac/111289.html 2、https://kml2gpx.com/?results kml转换工...

2018-04-27 15:02:16

Hadoop学习笔记之avro文件格式

一、什么是avro 英文简介 https://en.wikipedia.org/wiki/Apache_Avro 官网简介 http://avro.apache.org/docs/current/ avro是一个数据序列化系统,它提供 丰富的数据结构 快速可压缩的二进制数据形式 存储持久数据的文件容器 远程过程调用RPC 简单的动态语言结合功能 以上来源于avro百度百科,也是翻译于...

2018-03-27 19:28:51

GPG对文件加解密的简单实现

初识GPG 加解密实现 gui加解密 生成密钥 命令行方式加解密 信任度设置 方法一 方法二 参考链接 初识GPG 首先下载gpg套件,https://gpgtools.org/ 安装完成后首先建立公私钥,建立好后如下图: 加解密实现 gui加解密 最简单的验证方法就是通过gpg的gui进行对文件的加解密,就是在要加密的文件上右键,选择服务,选择op...

2018-03-08 17:20:55

Linux之for循环进程终止的方法

需求是这样: #!/usr/bin/bash day=0 tmpday=0 tmp2=0 #for循环执行进程,省的一个个手动跑 for((day=1;day<=59;day++)) do if [[ $day -lt 10 ]]; then tmpday=2018010${day} elif [[ $day -le 31 ]]; then tmpda...

2018-03-06 18:06:25

Hadoop学习笔记之Partitioner分区

partitioner意为分区,在hadoop中,这个阶段在map之后,reduce之前 具体实现共两步: 1、设置分区类 job.setPartitionerClass(MyPartitioner.class); 自定义partitioner类,MyPartitioner,分区的依据,默认为HashPartitioner,如果不加这设置,仅有下面的setNumReduceTas...

2018-02-27 17:09:55

Linux回收站功能的实现

RM命令改造 定时清空回收站 记录删除时间 使用方式 RM命令改造 vim /etc/bashrc 在文件的最前端添加如下代码 #修改rm命令 alias rm=delete #命令别名,通过delete来实现rm改为mv alias r=delete alias rl='ls /trash' #rl 命令显示回收站中的文件 alias ur=undelfile ...

2018-02-11 16:14:05

Maven项目之错误日志发邮件通知

1、主要通过logback.xml配置,该文件位于src/main/resource目录下 configuration scan="false"> property name="fileName" value="xunming-scheduler"/> appender name="STDOUT" class="ch.qos.logback.core.ConsoleAp

2018-01-30 15:37:46

Vim、Shell及Linux命令的高效使用

Vim的使用 目标:把一个每行都是url的txt文件内容,转为一个java代码中使用的string[]数组 源Url telepathy.kakamobi.com ai.kakamobi.cn tpc.kakamobi.cn dspmnt.autohome.com.cn dealer2.autoimg.cn comm.app.autohome.com.cn x.autoimg.c...

2018-01-11 14:15:53

Hadoop错误之namenode宕机的数据恢复

情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode即可; 问题就出在这个误删除上,当时是在namenode的hadoop/hdfs/目录下,然后就执行了一个可怕的命令 rm -rf data rm -rf name #存储namenode永久性元

2018-01-09 17:49:51

Hadoop错误之 /bin/bash: /bin/java: No such file or directory

莫名的错误日志如下,该错误的产生原因大概可能由于重装hadoop环境有关 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/Users/liuxunming/MyConfigure/hadoop-2.7.4/share/hadoop/common/lib/slf4j-l

2018-01-05 16:35:46

Python学习入门

新闻 简介 安装环境 开发工具 Hello World python2x python3x 新闻重大改变!Python或将取代VBA,成为Excel官方脚本语言!Python将被纳入高考,小学生都开始学了,你怎么看?小学生都学Python了,金融界将颠覆你恐将被淘汰人工智能时代的新“文盲”:学不懂Python,就看不到未来简介 Python is powerful… and fast;

2017-12-22 16:11:07

Java常用工具方法使用心得

获取文件夹下所有文件名 从字符串中提取数字 替换最后一个,仿replaceFirst方法 取两位小数 判断日期是否在某一段日期内 获取项目配置文件中的变量值 java依赖包一起打进去 txt文件最后一行文件内容覆写并追加 字符串中获取手机号 获取文件夹下所有文件名 Java-读取某个目录下所有文件、文件夹和3种从文件路径中获取文件名的方法 public static Arra...

2017-12-22 15:09:15

Hadoop生态圈之Pig

简介 配置 local模式 mapreduce模式 经典案例简介Pig是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。[1] 相比Java的MapReduce api,Pig为大型数据集的处理提供了更高层次的抽象,与MapReduce相比,Pig提供了更丰富的数据

2017-11-29 11:19:38

Hadoop生态圈之Sqoop

1、sqoop是什么 Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具,也可以将Hdfs的数据导入到Mysql中。 官方地址:http://sqoop.apache.org/ 2、安装配置 2.1 安装sqoop 安装包下载地址, http://mirrors.cnnic.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__had...

2017-11-09 11:03:20

xun-ming

.........
关注
  • 移动与手机应用/Android开发
  • 中国 江苏省 苏州市
奖章
  • 专栏达人
  • 持之以恒