- 博客(20)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop + Hive + DolphinScheduler高可用集群部署
一 ：Hadoop + Hive + DolphinScheduler二：sqoop+datax
2022-07-21 16:56:26
3413
原创 DataX
设计理念：为了解决异构数据源离线同步工具，datax将网状的同步链路变成了星型数据链路，datax作为中间传载体去连接各种数据源，当需要对接一种新的数据源的时候只需要将新的数据源对接到datax,就能将已有的数据源进行无缝的对接二、datax3.0框架设计 datax作为离线数据同步框架，采用了framework+plugin架构构建。将数据源读取和写入抽象成reader和writeer插件，纳入到整个数据同步框架中。 Reader：负责数据采集，将数据发送给framework w
2022-05-26 21:59:43
252
原创 服务器和集群常见问题
1#启动hive报错：Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V#解决办法：guava-19.0.jar和hadoopjar包冲突(用hadoop的guava-27.0-jre.jar替换掉hive下的guava-19.0.jar包)#先找到对应的jar包
2022-02-14 11:25:22
1216
原创 CDH6.2.0扩容
扩容加节点步骤：#修改ipvi /etc/sysconfig/network-scripts/ifcfg-ens192IPADDR="192.168.100.159"#重启网卡服务systemctl restart network#修改主机名(新增的服务器)hostnamectl set-hostname server155#安装常用的工具(新增的服务器)yum install sudoyum install -y vimyum -y install lrzszyum -y i
2022-02-14 11:02:59
729
原创 postgresql连接异常The authentication type 10 is not supported
postgresql The authentication type 10 is not supported
2022-01-07 14:09:27
10022
原创 postgresql13.5离线安装
前置准备下载对应版本的安装包我这边默认用的postgresql13.5postgresql13-13.5-1PGDG.rhel7.x86_64.rpmpostgresql13-libs-13.5-1PGDG.rhel7.x86_64.rpmpostgresql13-server-13.5-1PGDG.rhel7.x86_64.rpm在所需要安装postgresql的服务器上上传安装软件安装步骤通过rpm方式安装对应的postgresql13.5[root@server10 tmp]# rp
2021-12-30 13:50:17
1868
1
原创 集群免密配置
逻辑全部生成公钥和私钥将第1台的公钥拷到该目录特定文件authorized_keys中，将第1台的authorized_keys scp到第2台机器，将第2台的公钥拷到该目录特定文件authorized_keys中将第2台的authorized_keys scp到第3台机器将第3台的公钥拷到该目录特定文件authorized_keys中将第3台的authorized_keys scp到第1台机器具体操作所有集群机器cd /root/ssh-keygen -t rsa#然后三个回车[
2021-11-25 13:43:50
1656
原创 一:使用FreeIPA安装Kerberos和LDAP( IPA-Client安装)
需要先改好ip 域名关系192.168.100.01 hadoop01.gyb.bigdata.demo.com hadoop01192.168.100.02 hadoop02.gyb.bigdata.demo.com hadoop02192.168.100.03 hadoop03.gyb.bigdata.demo.com hadoop03192.168.100.04 hadoop04.gyb.bigdata.demo.com hadoop04#具体为vim /etc/hostsIPA-Cl
2021-11-11 15:31:48
869
原创 一:使用FreeIPA安装Kerberos和LDAP
网络安全框架协议(主要实现网络安全验证实现多租户用户的资源隔离)以LDAP为数据存储后端，Kerberos为验证前端，Bind为主机识别，同时还提供统一的命令行管理工具和WEB管理界面的集成信息管理系统：特点 易于管理，安装和配置任务自动化一：安装配置步骤扩充密钥长度:说明(Kerberos需要使用256为的AES加密算法，而JRE默认中的密钥长度比较短，并且不足以支撑。所以我们需要升级集群中所有服务器节点JRE的安全策略，使其能够解除密钥长度的限制。修改的方式是下载并替换JRE中的Unlimited
2021-11-02 15:03:46
1236
原创 三：sqoop1.4.7安装配置
sqoop安装配置#从官网下载对应的安装包上传服务器并解压到指定路径tar -zxvf /tmp/sqoop-1.4.7.tar.gz -C /home/sqoop/#把mysql驱动复制到sqoop的lib目录下cp /home/hive-3.1.2/lib/mysql-connector-java-5.1.9.jar /home/sqoop/sqoop-1.4.7/lib/#修改sqoop/conf/下的sqoop-env.sh文件cp sqoop-env-template.sh sqoop
2021-10-12 13:14:05
514
原创 二：hive3.1.2安装
hive3.1.2安装#解压hive安装包并修改文件夹名称tar -zxvf /tmp/apache-hive-3.1.2-bin.tar.gz -C /home/cd /home/mv apache-hive-3.1.2-bin hive-3.1.2#配置hive环境变量#输入 vim /etc/profile，按i编辑export HIVE_HOME=/home/hive-3.1.2export PATH=HIVEHOME/bin:HIVE_HOME/bin:HIVEHOME/bi
2021-10-12 11:02:06
225
原创 一：hadoop3.1.3离线安装
环境初始化前提准备192.168.100.29 hadoop01192.168.100.28 hadoop02192.168.100.27 hadoop03192.168.100.26 hadoop04修改ip和主机名#修改ipvi /etc/sysconfig/network-scripts/ifcfg-ens192IPADDR=“192.168.100.151”#重启网卡服务systemctl restart network#修改主机名(新增的服务器)hostnamectl s
2021-10-12 10:56:36
422
原创 云服务器安装CDH集群
前提准备虚拟机上服务器版本：centos7.8对应ip和主机名192.168.100.150 server150 Server150192.168.100.151 server151 Server151192.168.100.152 server152 Server152192.168.100.153 server153 Server153对应的软件准备(jdk,mysql,cdh等对应版本,服务器常用工具)Jdk1.8u181Mysql5.7Cdh6.2#所有节点安装常用工具Yum
2021-09-24 10:36:42
420
2
原创 jar包下载大全
https://mvnrepository.com/search?q=hive-jdbc去https://mvnrepository.com上搜索需要下载的jar包点进去选对应的版本 生成对应的maven配置然后复制对应的maven代码到本地的maven项目的pom.xml<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc --><dependency> <groupId>
2021-09-23 17:19:03
706
hive-jdbc-2.1.1-cdh6.2.0-standalone.jar
2021-09-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人