cyjku-CSDN博客

原创 Hadoop环境搭配（flume环境配置）

1、将下载的flume压缩包拉到/opt/software/文件夹下安装包版本：apache-flume-1.9.0-bin.tar.gz2、将安装包解压到/opt/module/文件夹中，命令：cd /opt/software/tar -zxvf 安装包名 -C /opt/module/3、修改系统环境变量，命令：vi /etc/profile在编辑面板中添加如下代码：export FLUME_HOME=/opt/module/apache-flume-1.9.0-b.

2021-12-19 18:41:58 611

原创 Hadoop环境搭配（Hbase环境搭配）

1、将Hbase安装包拉到/opt/software/文件夹中安装包版本：hbase-2.2.0-bin.tar.gz2、解压Hbase安装包到/opt/module/文件夹下，命令：cd /opt/software/tar -zxvf 安装包名 -C /opt/module/3、修改系统环境变量，命令：vi /etc/profile在编辑面板中添加如下内容：export HBASE_HOME=/opt/module/hbase-2.2.0export PATH=$PAT

2021-12-19 18:38:37 160

原创 Hadoop环境搭建（Zookeeper环境搭建）

1.在zookeeper安装之前，先检查防火墙是否关闭①防火墙状态的查看，命令：systemctl status firewalld②关闭防火墙，命令：systemctl stop firewalld③设置开机防火墙不启动，命令：systemctl disable firewalld2.将zookeeper安装包拉到/opt/software/文件夹中3.解压zookeeper安装包到/opt/module/文件夹下，命令：cd /opt/software/

2021-12-16 14:51:30 1165

原创 Hadoop (Hive的安装)

1、下载安装包：apache-hive-3.1.2-bin.tar.gz上传至linux系统/opt/software/路径2、解压软件:cd /opt/software/tar -zxvf apache-hive-3.1.2-bin.tar.gz-C /opt/module/3、修改系统环境变量vi/etc/profile添加内容：export HIVE_HOME=/opt/module/apache-hive-3.1.2-binexport PATH=$PA..

2021-12-16 14:24:24 133

原创 Hadoop环境搭建（MySQL环境配置）

1.将Mysql其上传到linux下/opt/software中2.检查当前系统是否安装过Mysql: rpm -qa|grep mariadbmariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_643.将MySQL安装包解压到/opt/module/文件夹中，命令：cd /opt/software/ tar -xf 要解压的文件名 -C...

2021-12-16 14:18:38 2520

原创 ssh免密登录

一、在每个节点生成公钥和私钥，并拷贝1.生成公钥和私钥ssh-keygen -t rsa然后敲（三个回车）（注意需要中间需要注意如有请输入y或yes）将公钥拷贝到要免密登录的目标机器上：ssh-copy-id hadoop100输入密码，回车ssh-copy-id hadoop101输入密码，回车ssh-copy-id hadoop102输入密码，回车二、在拷贝的虚拟机上也进行如上操作三、在Hado...

2021-12-14 11:41:50 2170

原创 hadoop完全分布式搭建

一、核心配置文件1.Linux系统中获取JDK的安装路径：echo $JAVA_HOME2.在hadoop-env.sh文件中修改JAVA_HOME 路径：（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）cd /opt/module/hadoop-3.1.3/etc/hadoop/vi hadoop-env.sh进行如下修改：保存并退出3.配置core-site.xml：vi core-site.xml在..

2021-12-14 11:11:04 74

原创克隆虚拟机

集群配置注意事项：NameNode和SecondaryNameNode不要安装在同一台服务器（2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到）ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。一、克隆虚拟机1.一定要先将需要克隆的虚拟机关机核心配置文件Linux系统中获取JDK的安装路径：echo $JAVA_HOME①配置：hadoop-env...

2021-12-12 15:29:54 683

原创伪分布式搭建

1.切换到hadoop下面的etc（配置文件都在etc下面）cd /opt/module/hadoop-3.1.3/etc/hadoop/2.查看一下自己的要配置的文件查看打 “ll”3.依次配置这四个文件①配置core-site.xml命令：vi core-site.xml将configuration标签中的内容删掉换成如下内容:<property><name&g...

2021-12-12 14:39:57 494

原创连接MobaXterm及jdk、hodoop环境配置

一、连接MobaXterm1.开启虚拟机hadoop1002.打开MobaXterm3.填写IP地址及用户名，如何点击ok4.连接成功二、jdk、hodoop环境配置1.在opt文件下分别创建两个文件夹，命令：mkdir /opt/softwaremkdir /opt/module（在software里面存放的是我们解压前的文件，在module里面存放的是问我们解压后的文件）2.解压jdk①把需要解压的文件拉到software里②切换到sof..

2021-12-11 21:51:16 1716

原创 Hadoop环境搭建（主机名、Ip地址、映射及网络配置）

一、在安装的虚拟机上修改主机名地址1.显示当前主机名命令：hostname2.修改主机名命令：方法①：输入vi/etc/ hostname方法②：输入hostnamectl set -hostname进入后在编辑模式下，删除原来的主机名，输入新的主机名自定义主机名后，需要重启虚拟机：reboot -h now二、修改虚拟机的IP地址:vi /etc/sysconfig/network-scripts/fcfg-ens33修改如下...

2021-12-10 17:43:46 9219

cyjku的博客