- 博客(17)
- 收藏
- 关注
RSS订阅
转载 2020大数据领域十大必读书籍
相信身边有很多应届毕业生以及想转行大数据的，状态大多都是：万脸懵逼。老司机教你：看书、写代码、多交流。2020你看了几本书呢?小编为大家精心挑选了大数据领域里十本有价值的书，先干掉这几本书，再和老司机谈大数据!不过，像《大数据时代》、《数据之巅》等这些经典到“烂大街”的书我就不一一推荐了，很多人都看过，没看过的也都听说过。 一、《Presto技术内幕》Presto是Facebook开发...
2020-02-09 13:10:22
2824
原创 Centos7多次开关机出现问题:Entering emergency mode.Exit the shell to continue 解决
因多次开关机无法正常使用centos7问题解决
2023-02-06 09:16:18
704
1
原创 Google的三驾马车
Google的三驾马车Google的伟大之处，不仅因为它建立了一个很好很强大的搜索引擎，而且还在于它创造了3项革命性技术：GFS、MapReduce和BigTable，即所谓的Google三驾马车。2003年10月19—22日，Google在美国纽约召开的第19届ACM操作系统原理研讨会（Symposium on Operating Systems Principles，SOSP）上，发表了论文《Google文件系统》，系统地介绍了Google面向大规模数据密集型应用的、可伸缩的分布式文件系统——GFS
2021-02-22 09:25:18
1053
原创 SpringBoot打war包
1.修改pom.xml文件//第一处<packaging>war</packaging>//添加依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <exclusions> <exclusion> <
2020-05-29 13:43:55
298
原创 Kettle在centos7下运行的坑(求解答)
Kettle在centos7下运行的坑(求解答)【前言】最近在工作中使用了Kettle，在windows下执行没有任何异常，但是在centos下执行资源库中的转换和任务时，疯狂报同一个错，查看了各种帖子也没有搞定，如果有大神恰巧看到这篇帖子，还请不吝赐教。下面来说说具体的错误：先上图：在centos7系统下执行文件资源库中的转化和作业时也可以正常执行，下面是我执行的命令：./pan.sh -rep=kettle -user=admin -pass=admin -trans=test./ki
2020-05-18 17:28:25
558
原创 解决虚拟机开启后网络异常(Job for network.service failed)方法
前言：今天早晨开启虚拟机(我用的是centsos7和VM)，发现连接不了，通过ip a 命令发现无法获取到ip地址。下面来说说我的解决步骤。1.我想通过重启网络命令(systemctl restart network)看看是否有用，结果出现以下提示信息Restarting network (via systemctl): Job for network.service failed. See...
2020-02-10 09:05:28
7210
4
原创 CDH版本组件端口汇总
CDH版本组件端口汇总组件端口号端口用途HDFS50020DataNode 协议端口HDFS50010DataNode 收发器端口HDFS50075DataNode HTTP Web UI 端口HDFS50475安全 DataNode Web UI 端口HDFS14000REST端口HDFS14001管理端口HDF...
2020-02-05 16:55:36
2701
1
原创 hive中的lateral view(侧视图) 与 explode函数的使用
今天偶然间发现了一个hive中列转行的小题目，需要用到lateral view 和 explode函数，刚好借这题说说lateral view 与 explode函数的使用。题目是这样：原数据表如下图moviecategory《疑犯追踪》悬疑,动作,科幻,剧情《Lie to me》悬疑,警匪,动作,心理,剧情《战狼2》战争,动作,灾难需求：将电影分...
2019-12-27 14:52:43
1454
转载 【mysql】count(*)，count(1)与count(column)区别
转自： https://www.cnblogs.com/CareySon/p/DifferenceBetweenCountStarAndCount1.html在SQL Server中Count()或者Count(1)或者Count(column)或许是最常用的聚合函数。很多人其实对这三者之间是区分不清的。本文会阐述着三者的作用，关系以及背后的原理。往常我经常会看到一些所谓的优化建议不使用Cou...
2019-12-25 16:27:38
207
原创 大数据环境搭建卷五(scala+spark+kafka+flume+sqoop)
一、安装scala1.解压并重命名tar -zxvf scala-2.13.1.tgz -C /opt/module/cd /opt/module/mv scala-2.13.1/ scala21312.配置环境变量并开启测试vi /etc/profile//末行添加##SCALA_HOMEexport SCALA_HOME=/opt/module/scala2131expo...
2019-11-21 19:51:09
365
原创 大数据环境搭建卷四(mysql+hive)
一、安装hive1.解压hive，并重命名cd /opt/softwaretar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt/module/cd /opt/modulemv hive-1.1.0-cdh5.14.2/ hive1102.(1)修改/opt/module/hive110/conf目录下的hive-env.sh.template名称...
2019-11-20 14:00:22
210
原创 大数据环境搭建卷三(Zookeeper和HBase安装)
【前言】本章是继一、二卷之后再hadoop集群安装Zookeeper和HBase,可在本人博客查看卷一卷二。【步骤】一、安装Zookeeper1.解压cd /opt/software //包放置的位置tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/module/cd /opt/module/mv zookeeper-3.4.6 zk346cd zk...
2019-11-19 17:26:39
176
原创 大数据环境搭建卷二(hadoop集群搭建3台)
【前言】本章是在《大数据环境搭建(卷一)》的基础上进行，可参考大数据环境搭建(卷一)。【步骤如下】1)克隆两台按卷一搭建的伪集群，分别修改主机名和IP地址，以及etc/hosts中的IP与主机名：vi /etc/sysconfig/network-script/ifcfg-ens33TYPE="Ethernet"BOOTPROTO="static"DEFROUTE="yes"PEE...
2019-11-19 09:58:05
206
原创 大数据环境搭建卷一(伪集群JDK+Hadoop)
大数据环境搭建（卷一）【前言:】本篇适合已经对hadoop生态圈以及熟练linux操作的用户阅读参考。【文章重点:】伪集群(1台)模式搭建，为卷二搭建集群(3台为例做准备)。目前先安装hadoop，后续会持续更新hbase、hive、zookeeper、spark、kafka等安装教程。【环境准备:】工具是用了VMware Workstation Pro15.5，centos7，hadoop...
2019-11-18 18:33:50
203
原创 Linux、jdk、mysql安装
Linux学习第一天学习目的：掌握Linux 安装设置静态ip地址修改yum源(可参考https://blog.csdn.net/zhaluo_dehezi/article/details/86689322)安装jdk1.8及配置安装mysql及配置(可参考https://blog.csdn.net/pengjunlee/article/details/81212250)设置无秘登录...
2019-08-13 12:19:17
214
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人