2 江门彭于晏

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 47w+

hadoop,spark,kafka,zookeeper各种命令

自己老记不住命令写下来记一下hadoop启动:./sbin/start-all.shhadoop关闭:./sbin/start-stop.shzookeeper 启动: ./bin/zkServer.sh startkafka启动:bin/kafka-server-start.sh -daemon config/server.properties

2020-06-08 00:26:48

kafka常用命令

刚学到kafka,命令记一下创建topicbin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytest创建生产者:bin/kafka-console-producer.sh --broker-list 192.168.140.31:9092 --topic atopic创建消费者:bin/kafka-console-consumer.sh

2020-06-07 22:13:02

Ubuntu18安装hive时遇到Failed to get schema version.解决办法(MySQL8)

写好了配置文件之后,初始化死活都不过,真的是气死我了,在网上查了很多办法,hive用户权限(我连接的用户为hive)已经搞定了,也能远程连接,还是不过。机缘巧合之下发现在网上搜了下参考:https://www.jb51.net/article/167105.htm修改了MySQL8的时区之后就通过了已正常进入hive...

2020-06-04 22:42:39

在excel中快速插入常用的图片(使用剪辑管理器)

版本要求office2010,高版本没有剪辑管理器文件 -> 新建收藏夹,把你常用的图片放进这里下一步: 插入成功右击图片,编辑关键词添加为这张图的关键词,(这个词是可以直接在剪贴画中搜索得出,最好是把前面关键词都删掉)最后在excel中就可以直接搜索关键字,直接添加图片,(如果是经常使用的图片这样会比直接插入图会快很多)...

2020-03-14 13:59:43

eclipse配置mapreduce全教程

资源提供:https://pan.baidu.com/s/1I-TxOB4qfaPuX3yJN_v9WQHadoop官方:https://hadoop.apache.org/releases.html去官网下载Hadoop的安装包,在windows上解压src的也要下载,上面的链接提供了2.6.5的,需要更高版本自行下载下载好压缩包,在windows上解压,并新建一个hadoop-lib...

2019-10-31 23:23:25

ubantu1804安装hadoop2.8.5全教程

之前每个虚拟机需要配好JDK和有hadoop下面只有关于hadoop2.8.5的配置前提将一个虚拟机作为主节点,其他虚拟机作为从节点#设置root的密码sudo passwd root#切换为root用户su root在root用户下运行此命令#这里是给hadoop文件夹授予权限,如果没有这个权限后面格式化操作,就无法创建存储文件的目录,导致logs上写着文件夹不存在,导致...

2019-10-31 23:03:25

HA高可用同步透穿第二个namenode无法启动解决方法

我搭建HA时,在节点2同步了节点1的信息了,启动namenode发现节点2的namenode无法启动。于是我去翻了日志,发现Encountered exception loading fsimagejava.io.FileNotFoundException: No valid image files found意思是缺少了镜像文件,核对一下,节点2果然缺少了fsimage这个文件很简单...

2019-09-05 12:47:19

hadoop3.1.2 HA高可用搭建

官方文档https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Configuration_details**1.资源角色规划****2.配置**2.1对全分布式集群的备份,以后想用全分布式的话就把hadoop-full名字改成had...

2019-09-05 12:37:23

Hadoop3.1.2全分布式安装

安装要求jdkssh免密码具体方法可参考之前的文章顺便提一句在获取密钥之前需要vim /etc/ssh/ssh_config在最后添加 StrictHostKeyChecking no否则secondarynamenode无法启动成功另外需要vim /etc/ssh/sshd_config在最后添加(每个节点都需要,否则就会报Permission denied (pub...

2019-06-02 19:21:54

Hadoop3.1.2伪分布式安装

网上和书上的一些教程有一些过时了,于是就写了这篇教程安装之前的要求1. jdk(不要openjdk)2. ssh免密码jdk 从官网中下载jdk1.8 是tar.gz用scp工具传输到Linux /opt/linux中在opt文件夹中用tar -zxvf命令解压配置Java环境变量JAVA_HOME=/var/opt/jdk1.8.0_211PATH=/var/opt/jd...

2019-06-02 00:32:13
勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。