李格非-CSDN博客

原创将Intellij idea的快捷键与Eclipse的快捷键设置成一样，并且恢复Alt+/代码自动补全快捷键

Spark，Hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~由于长时间使用Eclipse，发现其他同事都是使用Intellij idea，但是对于Intellij idea快捷键风格，并不是特别习惯，于是将Intellij idea的快捷键与Eclipse的快捷键设置成一样，并且恢复Alt+/代码自动补全快捷键。步骤如下：（1）打开Intellij idea，点击Fil

2017-09-16 20:25:00 60151 8

转载 MySQL常用函数

Spark，Hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~一、数学函数abs(x) 返回x的绝对值 bin(x) 返回x的二进制（oct返回八进制，hex返回十六进制） ceiling(x) 返回大于x的最小整数值 exp(x) 返回值e（自然对数的底）的x次方 floor(x) 返回小于x的最大整数值 greatest(x1,x2,…,

2017-08-13 15:07:09 400

原创 Spark调优

Spark，Hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~Spark运行原理四个阶段：1、准备数据集合和生成相应的RDD DAG图，发送给DAGScheduler 2、DAGScheduler在收到数据集的DAG之后，详细的组织该DAG所包含的stage,将这些stage所包含的TaskSet发送给TaskScheduler 3、TaskScheduler收到了T

2017-08-08 13:56:01 593

原创 FAILED: ParseException line 1:12 missing TABLE at 'ext_emp' near '<EOF>'

Spark，Hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~场景：插入数据到外部表。insert into ext_emp select * from emp;报错：FAILED: ParseException line 1:12 missing TABLE at ‘ext_emp’ near ‘’ Error: Error while compiling state

2017-06-12 15:13:44 9738

翻译 Kafka配置文件

Spark，Hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1. BrokerBroker端核心的配置：broker.id、log.dirs、zookeeper.connect 相关代码的查看类：kafka.server.KafkaConfig 官网查看地址：http://kafka.apache.org/082/documentation.html#brokerc

2017-04-12 14:27:56 1295

原创 Apache Kafka

Spark，Hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~一、Apache Kafka简介官方网址：http://kafka.apache.org/ Kafka™ is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-t

2017-03-30 10:19:42 610

原创 Flume OOM 问题

Spark，Hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1、问题使用Flume遇到如下报错：java.lang.OutOfMemoryError: GC overhead limit exceeded或者：java.lang.OutOfMemoryError: Java heap spaceException in thread "SinkRunner-Polli

2017-03-29 17:38:47 1406

原创 Apache Flume

Spark，Hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~一、Apache Flume简介官方网址：http://flume.apache.org/ Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and m

2017-03-29 15:58:27 398

原创 Java内部类

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1、内部类（Inner Class），内部类共分为4种。2、静态内部类（static inner class）：只能访问外部类的静态成员变量与静态方法，生成静态内部类对象的方式为：OuterClass.InnerClass inner = new OuterClass.InnerClass();class St

2017-03-22 19:15:44 245

原创 Apache Hive

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~官方网址：https://hive.apache.org/ The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed s

2017-03-02 15:54:36 1592

原创 12、find文件查找命令与grep文件内容查找命令

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~在使用linux时，经常需要进行文件查找。其中查找的命令主要有find和grep。两个命令是有区的。区别：(1)find命令是根据文件的属性进行查找，如文件名，文件大小，所有者，所属组，是否为空，访问时间，修改时间等。 (2)grep是根据文件的内容进行查找，会对文件的每一行按照给定的模式(patter)进

2017-03-01 16:29:20 559

原创 11、进程控制

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1.查看用户最近登录情况 last lastlog2.查看硬盘使用情况 df3.查看文件大小 du4.查看内存使用情况 free5.查看文件系统 /proc6.查看日志 ls /var/log/7.查看系统报错日志 tail /var/log/messages8.查看进程 top9.结束进程

2017-03-01 16:20:04 276

原创 10、输入输出重定向及管道

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1.新建一个文件 touch a.txt b.txt2.错误重定向:2> find /etc -name zhaoxing.txt 2> error.txt3.将正确或错误的信息都输入到log.txt中 find /etc -name passwd > /tmp/log.txt 2>&1 fin

2017-03-01 16:17:12 336

原创 9、正则表达式

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1.cut截取以:分割保留第七段 grep hadoop /etc/passwd | cut -d: -f72.排序 du | sort -n 3.查询不包含hadoop的 grep -v hadoop /etc/passwd4.正则表达包含hadoop grep ‘hadoop’ /etc/passw

2017-03-01 16:15:59 282

原创 8、打包和压缩

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1.gzip压缩 gzip a.txt2.解压 gunzip a.txt.gz gzip -d a.txt.gz3.bzip2压缩 bzip2 a4.解压 bunzip2 a.bz2 bzip2 -d a.bz25.将当前目录的文件打包 tar -cvf bak.tar . 将/etc/pass

2017-03-01 16:14:50 280

原创 7、vim

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~i a/A o/O r + ?替换0:文件当前行的开头 $:文件当前行的末尾 G:文件的最后一行开头 1 + G到第一行 9 + G到第九行 = :9dd:删除一行 3dd：删除3行 yy:复制一行 3yy:复制3行 p:粘贴 u:undo ctrl + r:redo“a剪切板a

2017-03-01 16:13:21 231

原创 6、权限

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~创建a.txt和b.txt文件，将他们设为其拥有者和所在组可写入，但其他以外的人则不可写入: chmod ug+w,o-w a.txt b.txt创建c.txt文件所有人都可以写和执行 chmod a=wx c.txt 或chmod 666 c.txt将/itcast目录下的所有文件与子目录皆设为任何人可读

2017-03-01 16:10:26 235

原创 5、用户和组

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~添加一个tom用户，设置它属于users组，并添加注释信息分步完成：useradd tom usermod -g users tom usermod -c “hr tom” tom 一步完成：useradd -g users -c “hr t

2017-03-01 16:09:03 286

原创 4、系统命令

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1.查看主机名 hostname2.修改主机名(重启后无效) hostname hadoop3.修改主机名(重启后永久生效) vi /ect/sysconfig/network4.修改IP(重启后无效) ifconfig eth0 192.168.12.225.修改IP(重启后永久生效) vi /et

2017-03-01 16:08:10 264

原创 3、文件相关命令

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1.进入到用户根目录 cd ~ 或者 cd cd ~hadoop 回到原来路径 cd -2.查看文件详情 stat a.txt3.移动 mv a.txt /ect/ 改名 mv b.txt a.txt 移动并改名 mv a.txt ../b.txt4拷贝并改名 cp a.txt /etc/

2017-03-01 16:04:27 235

原创 2、常用命令

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~说明：安装linux时，创建一个itcast用户，然后使用root用户登陆系统1.进入到用户根目录 cd ~ 或 cd2.查看当前所在目录 pwd3.进入到itcast用户根目录 cd ~itcast4.返回到原来目录 cd -5.返回到上一级目录 cd ..6.查看itcast用户根目录下的所有文件

2017-03-01 16:03:38 250

原创 1、man_page

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1.内部命令：echo 查看内部命令帮助：help echo 或者 man echo2.外部命令：ls 查看外部命令帮助：ls –help 或者 man ls 或者 info ls3.man文档的类型(1~9) man 7 man man 5 passwd4.快捷键： ctrl + c：停止进程ctr

2017-03-01 16:02:14 287

原创字符串循环左移

spark，hadoop交流群，QQ群号：521066396，欢迎加入共同学习，一起进步~1、描述：给定一个字符串S[0…N-1]，要求把S的前k个字符移到到S的尾部。例如，把字符串”abcde”左移两位得到新的字符串”cdeab”。（1）循环左移n+k位和k位效果是一样的。（2）循环左移k位等价于循环右移n-k位。 2、算法要求：时间复杂度为O(n)，空间复杂度为O(1)。

2017-01-17 07:40:17 1175

原创 Java Swing中文乱码解决方法

今天，在做一个Java界面，在Eclipse上运行中文显示乱码。如图：解决方法： Run As Run Configuration，在Arguments中增加下面这句： -Dfile.encoding=gbk 结果：

2017-01-04 21:52:19 19358

原创 Spark History Server配置使用

1、Spark History Server的作用在运行Spark应用程序的时候，driver会提供一个webUI用于展现应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口。也就是说，这个服务是伴随Spark应用程序的运行周期的，也就是当应用程序运行完成后，将无法查看应用程序的历史记录。Spark History Server就是为了应对这种情况而产生的，通过配置，Spar

2016-11-22 15:21:02 2233

原创 Hadoop集群使用双网卡问题

spark，hadoop交流群，QQ群号：521066396，欢迎加入共同学习，一起进步~问题描述：原本hadoop集群使用的是动态IP，当断电的时候，IP发生改变，就要修改hosts文件，工作量大。后来改用主节点为双网卡，一个动态IP，一个静态IP，目的是让集群内部使用静态IP，用户通过动态IP访问集群。但是有部分NodeManager无法启动，而DFS的状态是正常的。解决：（1）在hos

2016-10-13 19:46:15 4536

原创大数据组件服务的启动与关闭命令

spark，hadoop交流群，QQ群号：521066396，欢迎加入共同学习，一起进步~标题

2016-08-23 13:07:55 2510

原创 HBase因时间不同步无法启动regionserver

Reported time is too far out of sync with master. Time difference of 353804ms > max al lowed of 180000ms 问题解决： 1、方案1 在hbase-site.xml添加配置<property> <name>hbase.master.maxclockskew</name>

2016-07-13 08:26:06 710

原创 Ubuntu Hadoop 2.x 动态添加节点

spark，hadoop交流群，QQ群号：521066396，欢迎加入共同学习，一起进步，没有广告~ 一、Hadoop运行环境配置 1、修改系统hostname(/etc/hostname文件) 2、修改hosts文件，将集群所有节点hosts配置进去(/etc/hosts文件) 3、设置主节点到新增节点的免密码登录将主节点的~/.ssh目录下的id_rsa.pub文件内容添加至每

2016-06-26 22:51:38 346

原创 Hadoop多个输出案例

需求：将原始数据按近似比例采样，将数据分为训练集和测试集。训练集存放于指定输出目录的train目录下，测试集存放于指定输出目录的test目录下。class SampleMapper extends Mapper<LongWritable, Text, NullWritable, Text> { private double ratio; private Random random =

2016-06-05 18:51:48 425

原创 Java获取某个日期前后几天日期

spark，hadoop交流群，QQ群号：521066396，欢迎加入共同学习，一起进步~以下是Java获取某个日期前后几天日期的代码：public static void main(String[] args) { SimpleDateFormat sdf = new SimpleDateFormat("yyyy/MM/dd "); String str = "20

2016-05-23 19:20:11 13962

原创多次读取reduce函数中迭代器的数据

spark，hadoop交流群，QQ群号：521066396，欢迎加入共同学习，一起进步~第一次碰到读取reduce函数中迭代器的数据只能取一次的问题。为了优化，在reduce函数中，Iterable values只能被读取一次。查阅相关资料，如果要反复使用，需要克隆或者新生成对象。举个简单例子：如果在reduce函数中读过values，for (Text value : values) {

2016-05-13 16:30:20 1498

原创 org.apache.hadoop.util.Shell$ExitCodeException

在集群上跑程序遇到如下错误：16/04/27 19:59:37 INFO mapreduce.Job: map 0% reduce 0%16/04/27 19:59:37 INFO mapreduce.Job: Job job_1461208377524_0545 failed with state FAILED due to: Application application_146120837

2016-04-27 20:25:29 2832

原创 win7远程连接ubuntu，出现灰屏解决方法

问题： win7远程虚拟机ubuntu 12.04 打开windows自带的远程桌面连接。输入ubuntu虚拟机的IP地址可以连接上，输入username和password 点击OK，出现灰色屏幕解决方法： 1、在虚拟机上的Dash Home搜索Desktop Sharing，并进行如下设置。若是没有找到，安装GNOME桌面，再进行设置。安装方法为：sudo apt-

2016-04-15 13:00:40 19062 2

原创 Linux Shell介绍

spark，hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~1、shell脚本Shell是用户与Linux操作系统沟通的桥梁 Linux的Shell种类众多，常用的有bash，也就是Bourne Again Shell 1、由于易用和免费，Bash在日常工作中被广泛使用 2、Bash是大多数Linux系统默认的Shell。 3、文件名后缀通常是.sh#!/bin

2016-04-11 23:58:49 686

原创 Hadoop多个输入案例

需求：将原始数据文件和类别数据文件根据用户id合并成一个文件。原始数据文件：用户id，详细信息类别数据文件：用户id，所属类别两个Mapper分别为OriDataMapper，IdKindDataMapper，输出key,value均为Text。private void job1(Configuration config, Path outputdata, String idkindda

2016-03-08 19:04:47 1735

原创 Storm UI启动却无法显示

前几天在配置Storm遇到了一个问题，Storm进程nimbus，supervisor，core都启动起来了，却报图中的错误。解决办法：关闭iptables防火墙

2015-11-26 17:51:06 5950 1

原创 hadoop fs -mkdir testdata错误提示No such file or directory

hadoop fs -mkdir testdata错误提示No such file or directory(版本2.4.1) 解决方法： hadoop fs -mkdir -p /user/hadoop/testdata

2015-08-02 08:58:07 2848

原创 Weka连接数据库出现No suitable driver found for jdbc:mysql://localhost/dbname

今天用weka连接数据库的时候，总是提示No suitable driver found for jdbc:mysql://localhost/dbname。同样改了weka.experiment.DatabaseUtils.props下的文件，之前安装都没有出现过这样的问题。重新安装，配置jdbc驱动路径。都还是报错。找了好久，终于找到了。解决方法：打开weka安装目录下的RunWeka.

2015-07-24 18:21:52 2281 2

转载 Eclipse 无法编译或提示“错误: 找不到或无法加载主类”

做项目过程中，更新了一下SVN，把自己机器上代码更新成了最新版本，可是在运行程序时发现Eclipse提示：“错误: 找不到或无法加载主类……”。发现根本就没有生成.class文件，也即没有时行编译。后来连错误提示也没有了，点击“build project”后一点反应都没有，不能编译。最后才发现自己犯的错误好低级：工程中的src文件夹不是”源文件包“形式了，显示的是普通文件夹的样式。解决办法是：在sr

2015-07-21 17:26:26 1193