- 博客(21)
- 收藏
- 关注
RSS订阅原创 git fock的子项目从上游仓库（源项目）同步更新
1.clone fock的项目到本地git clone https://github.com/YOUR_USERNAME/YOUR_FORK.git2.查看项目远程状态git remote -v# origin https://github.com/YOUR_USERNAME/YOUR_FORK.git (fetch)# origin https://github.com/YOUR_USERNAME/YOUR_FORK.git (push)3.添加一个将被同步给 fork 远程的上游仓库
2020-05-09 13:08:01
626
原创 HBase读写流程、flush、文件合并、region拆分
HBase存储原理（架构）HBase依赖于Zookeeper和Hadoop的，所以在启动HBase前需要启动Zookeeper和Hadoop。HMaster用于管理整个HBase集群，即管理每个HRegionServer，它掌握着整个集群的元数据信息，同时会将相应的数据存储到Zookeeper（元数据信息、高可用信息等）。HMaster的职责：1）管理用户对Table的增、删、改、查操作...
2019-12-28 14:24:41
909
原创 Flink 问题总结
1.local运行报错1. Memory manager has been shut down.（org.apache.flink.util.FlinkException: The TaskExecutor is shutting down.）现象：在执行过程中，一开始流处理都可以执行，但是几秒后就停住了，经过debug和日志分析，Mini Cluster被停了。但是相同的代码、依赖同学又可...
2019-12-20 17:47:19
8066
3
原创 kylin 部分问题
1.低版本kylin报错 Failed to find metadata store by url: kylin_metadata@hbaseDEBUG [main] hbase.HBaseConnection:307 : HTable 'kylin_metadata' already existsException in thread "main" java.lang.IllegalArgu...
2019-12-03 00:17:49
458
原创 hadoop 部分问题
1.hadoop使用start-all.sh启动时namenode启不了查看namenode日志：WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Remote journal 192.168.146.212:8485 failed to write txns 124097-124097. Will tryto...
2019-11-28 10:13:37
362
原创 hive 部分问题
1.使用mr 执行任务时报 org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATHFAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATH问题解析：整合phoe...
2019-11-28 10:01:53
213
原创 Linux解决 -bash: nc: command not found问题，安装nc
1、执行测试echo “hello qianfeng” | nc hadoop01 6666的时候遇到以下错误：-bash: nc: command not found是因为没有安装nc 的原因2、使用yum安装ncyum install -y nc执行结果：已加载插件：fastestmirror, security设置安装进程Loading mirror speeds fro...
2019-09-23 00:01:17
1785
原创 sqoop、datax几种导入导出
1、列出数据库sqoop list-databases \--connect jdbc:mysql://hadoop01:3306 \--username root --password 123456;2、列出表sqoop list-tables \--connect jdbc:mysql://hadoop01:3306/test \--username root --passwo...
2019-09-21 14:53:41
1190
原创 sqoop从mysql到hive问题
ClassNotFoundException问题大概会需要在sqoop的lib目录下导入三个包， hive-common-...jar ，commons-logging-...jar, hive-exec-..*.jar ..*为版本编号，jar包从hive的lib目录下copy即可1、报错信息如下：ERROR tool.ImportTool: Import failed: java.io...
2019-09-21 10:04:05
420
原创 将用户添加到sudoers里面，使用户拥有sudo权限
1、遇到下面问题说明当前用户没有sudo权限，需要将其添加到sudoers文件中[hadoop@hadoop03 ~]$ sudo vi /etc/resolv.conf[sudo] password for hadoop:hadoop 不在 sudoers 文件中。此事将被报告。2、切换为root用户修改sidoers文件[hadoop@hadoop03 ~]$ su root[r...
2019-09-20 20:36:30
641
原创 虚拟机ping不通百度等外部网络
设置静态IP之后，ip没问题，发现ping不通百度，但是可以ping通网关1、检查vi /etc/sysconfig/network-scripts/ifcfg-eth0中的属性DEVICE=eth0HWADDR=00:50:56:37:22:E8TYPE=EthernetUUID=ecc26599-dea2-4f74-b94c-6084d30feaa2ONBOOT=yesNM_CO...
2019-09-20 16:01:00
573
原创 VMware虚拟机启动错误（正在被占用、内部错误）等问题
解决虚拟机大部分启动时错误（比如正在被占用、内部错误等）1、究极方法（基本上启动错误都可解决，还没遇到解决不了的）：虚拟机大部分启动时错误（比如什么正在被占用、内部错误等）是因为我们非正常关闭虚拟机导致，尝试了删除 .lck文件、 重启vmware、重启电脑都没用，此时我们的终极解决方案1）从控制面板中打开电源选项，找到关闭电源按钮的功能2）点击更改当前不可用设置–将启用快速启动选项取...
2019-09-20 15:02:55
7386
3
原创 Hive更换TEZ引擎
1、关于版本问题：hive-1.2.1+tez-0.9.0+hadoop-2.7.7hive-2.3.6+tez-0.9.0+hadoop-2.7.1两种搭配均试过可行，之前配置的时候觉得与版本有很大关系，试过之后发现版本影响不大，还没发现有问题2、Tez安装与配置1、解压并修改文件夹名字[hadoop@hadoop01 tez]$ tar -zxvf apache-tez-0.9.0...
2019-09-20 10:49:04
4822
1
原创 HA高可用完全分布式集群 HDFS搭建
在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态。HDFS高可用（HA）方案就是为了解决上述问题而产生的，在HA HDFS集群中会同时运行两个Namenode，一个作为活动的Namenode（Active），一个作为备份的Namenode（Standby）。备份的Na...
2019-09-10 19:53:41
256
原创 1、程序员常用工具网站
1、优品PPT高品质免费PPT模板下载网站，比第一PPT质量高很多。网站：http://www.ypppt.com2、图片无损变大网站：http://bigjpg.com/zh3、文件格式转换工具cloudconvert 一个格式转换网站，你能想到的格式转换几乎都有网址：https://cloudconvert.com4、文件共享拷贝兔拷贝兔是款跨平台文件传输工具，能做...
2019-09-09 16:37:29
880
原创 linux使用ntp时间同步
linux使用ntp时间同步1.安装ntp[root@hadoop01 ~]# yum –y install ntp2.设置ntp服务开机启动[root@hadoop01 ~]# chkconfig ntpd on3.同步时间[root@hadoop01 hadoop]# ntpdate cn.pool.ntp.org...
2019-08-31 20:33:42
297
原创 linux搭建hdfs
1、设置静态IP设置静态IP https://blog.csdn.net/weixin_42119153/article/details/100124300#commentBoxhttps://blog.csdn.net/weixin_42119153/article/details/100124300#commentBox2、安装jdk安装jdk https://blog.csdn.ne...
2019-08-29 00:39:43
1671
原创 linux配置ssh无密码登录
linux配置ssh无密码登录我们这里有三台机器，分别是：hostname ipaddress 1、hadoop01 192.168.146.2002、hadoop02 192.168.146.2013、hadoop03 192.168.146.202我们本次配置 hadoop01机器上能不输入密...
2019-08-28 21:33:34
601
原创 linux安装JDK
1.下载jdk8官网手动下载下载Linux环境下的jdk1.82.源码包解压将jdk源码包上传到/home/app/java（软件一般安装到这个目录/usr/local）使用解压命令解压[root@localhost local]# tar -zxvf jdk-8u181-linux-x64.tar.gz解压完成修改文件夹jdk1.8.0_181字为 jdk1.8[root@l...
2019-08-28 20:13:20
244
原创 linux设置静态IP及克隆后修改IP和hostname
1、安装的虚拟机设置静态IP1.修改本机VMnet8设置2.修改VMWare网络设置此处网关要与VMWare8设置中的网关一直一致3.开启虚拟机，修改/etc/sysconfig/network-scripts/ifcfg-eth0 文件内容为DEVICE=eth0HWADDR=00:0C:29:DD:05:59 #本机默认的MACTYPE=EthernetUUID=d6...
2019-08-28 20:02:39
598
原创 CentOS 6 rpm方式安装mysql
一、卸载CentOS自带的mysql如果之前安装过，或者没有卸载CentOS自带的mysql1.查看安装的mysql[root@localhost etc]# rpm -qa | grep -i mysqlMySQL-server-5.5.47-1.linux2.6.x86_64MySQL-client-5.5.47-1.linux2.6.x86_642.忽略依赖卸载所有的mysql...
2019-08-27 19:28:19
565
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人