- 博客(10)
- 收藏
- 关注
RSS订阅原创 hadoop,spark,kafka,zookeeper各种命令
自己老记不住命令写下来记一下hadoop启动：./sbin/start-all.shhadoop关闭：./sbin/start-stop.shzookeeper 启动： ./bin/zkServer.sh startkafka启动：bin/kafka-server-start.sh -daemon config/server.properties
2020-06-08 00:26:48
163
原创 kafka常用命令
刚学到kafka，命令记一下创建topicbin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytest创建生产者：bin/kafka-console-producer.sh --broker-list 192.168.140.31:9092 --topic atopic创建消费者：bin/kafka-console-consumer.sh
2020-06-07 22:13:02
173
原创 Ubuntu18安装hive时遇到Failed to get schema version.解决办法（MySQL8）
写好了配置文件之后，初始化死活都不过，真的是气死我了，在网上查了很多办法，hive用户权限（我连接的用户为hive）已经搞定了，也能远程连接，还是不过。机缘巧合之下发现在网上搜了下参考：https://www.jb51.net/article/167105.htm修改了MySQL8的时区之后就通过了已正常进入hive...
2020-06-04 22:42:39
814
原创 在excel中快速插入常用的图片（使用剪辑管理器）
版本要求office2010，高版本没有剪辑管理器文件 -> 新建收藏夹，把你常用的图片放进这里下一步： 插入成功右击图片，编辑关键词添加为这张图的关键词，（这个词是可以直接在剪贴画中搜索得出，最好是把前面关键词都删掉）最后在excel中就可以直接搜索关键字，直接添加图片，（如果是经常使用的图片这样会比直接插入图会快很多）...
2020-03-14 13:59:43
301
原创 eclipse配置mapreduce全教程
资源提供：https://pan.baidu.com/s/1I-TxOB4qfaPuX3yJN_v9WQHadoop官方：https://hadoop.apache.org/releases.html去官网下载Hadoop的安装包，在windows上解压src的也要下载，上面的链接提供了2.6.5的，需要更高版本自行下载下载好压缩包，在windows上解压，并新建一个hadoop-lib...
2019-11-01 11:54:01
3428
原创 ubantu1804安装hadoop2.8.5全教程
之前每个虚拟机需要配好JDK和有hadoop下面只有关于hadoop2.8.5的配置前提将一个虚拟机作为主节点，其他虚拟机作为从节点#设置root的密码sudo passwd root#切换为root用户su root在root用户下运行此命令#这里是给hadoop文件夹授予权限，如果没有这个权限后面格式化操作，就无法创建存储文件的目录，导致logs上写着文件夹不存在，导致...
2019-10-31 23:03:34
220
原创 HA高可用同步透穿第二个namenode无法启动解决方法
我搭建HA时，在节点2同步了节点1的信息了，启动namenode发现节点2的namenode无法启动。于是我去翻了日志，发现Encountered exception loading fsimagejava.io.FileNotFoundException: No valid image files found意思是缺少了镜像文件，核对一下，节点2果然缺少了fsimage这个文件很简单...
2019-09-05 12:55:52
1029
原创 hadoop3.1.2 HA高可用搭建
官方文档https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Configuration_details**1.资源角色规划****2.配置**2.1对全分布式集群的备份，以后想用全分布式的话就把hadoop-full名字改成had...
2019-09-05 12:39:19
732
1
原创 Hadoop3.1.2全分布式安装
安装要求jdkssh免密码具体方法可参考之前的文章顺便提一句在获取密钥之前需要vim /etc/ssh/ssh_config在最后添加 StrictHostKeyChecking no否则secondarynamenode无法启动成功另外需要vim /etc/ssh/sshd_config在最后添加（每个节点都需要，否则就会报Permission denied (pub...
2019-06-02 19:21:54
692
原创 Hadoop3.1.2伪分布式安装
网上和书上的一些教程有一些过时了，于是就写了这篇教程安装之前的要求1. jdk（不要openjdk）2. ssh免密码jdk 从官网中下载jdk1.8 是tar.gz用scp工具传输到Linux /opt/linux中在opt文件夹中用tar -zxvf命令解压配置Java环境变量JAVA_HOME=/var/opt/jdk1.8.0_211PATH=/var/opt/jd...
2019-06-02 00:32:13
352
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人