坐着吃灬炸鸡-CSDN博客

原创 The auxService:mapreduce_shuffle does not exist

The auxService:mapreduce_shuffle does not exist今天在hadoop伪分布式环境中运行java.jar文件时，报错如下：The auxService:mapreduce_shuffle does not exist解决办法：修改yarn-site.xml 文件，如下：<property><name>yarn.nodemanager.aux-services</name><value>mapreduce

2020-09-10 23:59:49 848

原创 Hadoop高可用集群下namenode格式化失败问题解决

Hadoop高可用集群下namenode格式化失败问题解决输入hdfs namenode -format报如下错误解决方法：1.在zookeeper目录下执行./bin/zkServer.sh start 启动各个zookeeper2.在Hadoop目录下执行hadoop-daemon.sh start journalnode启动各个NodeName上的 JournalNode进程。...

2020-09-08 14:53:30 2158

原创 Hadoop格式化时报错：-bash: hdfs: command not found

-bash: hdfs: command not found搭建Hadoop环境各种配置顺顺利利，等到我想要进行格式化时我的小伙伴给我报了一个-bash: hdfs: command not found的错误，各种配置环境检查完后发现没有执行生效环境变量，输入source /etc/profile后格式化成功...

2020-09-04 23:44:59 5055 1

原创 mongoDB安装与配置

mongoDB安装与配置配置yum源通过yum进行安装配置开启启动验证查看版本和启动状态启动配置yum源[hadoop@hadoop101 ~]$ vi /etc/yum.repos.d/mongodb.repo[MongoDB]name=MongoDB Repositorybaseurl=http://mirrors.aliyun.com/mongodb/yum/redhat/7Server/mongodb-org/4.0/x86_64/gpgcheck=0enabled=1通过yum

2021-03-15 11:48:44 163

原创 hadoop无法启动namenode解决方法

hadoop无法启动namenode解决方法删除Hadoop下的/logs和/tmp后格式化namenode

2021-03-04 10:56:14 1439 2

原创 docker启动tomcat容器访问端口显示404

docker启动tomcat容器访问端口显示404 启动Tomcat容器 docker run -d -p 8081:8080 tomcat 查看已经启动的容器 docker ps 使用8081端口访问Tomcat失败先查看防火墙状况 service firewalld status 出现下图所示代码，表示已经关闭防火墙如果防火墙没关闭，先关闭防火墙 # 关闭防火墙systemctl stop firewall

2021-02-24 00:02:35 301

原创 Ubuntu数据仓库环境部署(docker、tomcat、jdk、mysql、hadoop、hive、sqoop)

Ubuntu数据仓库环境部署一、Docker安装（本文主要讲Ubuntu环境）1.1 Centos Docker安装1.2 Ubuntu Docker安装【推荐】1.3 MacOs Docker安装1.4 Windows Docker安装【不推荐】二、容器准备2.1 拉取镜像2.2 启动并创建容器2.3 进入容器三、环境准备3.1 安装必要软件3.2 配置SSH免密登录3.3 设置时区3.4 关闭防火墙3.5 安装包准备四、MySQL安装4.1 上传解压安装包4.2 安装必要依赖4.3 安装服务端和客户端4

2021-02-23 23:47:31 601

原创 MobaXterm连接Ubuntu

（1）更新源sudo apt-get update（2）安装openssh-serversudo apt-get install openssh-server可能出现以下错误解决方法如下：sudo dpkg-divert --local --rename --add /sbin/initctl Adding ‘local diversion of /sbin/initctl to /sbin/initctl.distrib’sudo ln -s /bin/true /sbin/initc

2021-02-23 22:51:31 556 2

原创 VMware Workstation15.5安装ubuntu-16.04.6

VMware Workstation15.5安装ubuntu-16.04.6安装包新建虚拟机编辑虚拟机设置虚拟机上安装Ubuntu系统安装包ubuntu-16.04.6提取码: rtym新建虚拟机打开VMware→文件→新建虚拟机→默认下一步至选择客户机操作系统为Ubuntu64位继续下一步根据需求选择直至新建完成编辑虚拟机设置选择Ubuntu的镜像文件虚拟机上安装Ubuntu系统开启虚拟机选择中文简体，并安装第一个选项可选可不选，第二个不选选择“清除整个磁盘并安装Ub

2021-02-23 22:41:29 315

原创 hive执行sql报错：FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLoca

hive执行sql报错：FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask解决措施：hive> set hive.auto.convert.join=false;关闭自动mapjoin

2021-01-27 23:00:58 773

原创启动Hbase shell后执行list命令报错： Master is initializing

启动Hbase shell后执行list命令报错： Master is initializing 问题出现原因：可能由于集群的机器时间不同步时，盲目的开启hbase造成的。此外，集群机器时间不同步，还会导致集群开启异常，比如，开启的节点个数变少以及Hmaster节点启动一段时间后自动关闭等问题，解决方法如下。 hbase(main):001:0> list_namespace NA

2021-01-07 01:21:05 1739 2

原创 Hbase伪分布式安装

Hbase伪分布式安装安装与配置修改Hbase配置文件#安装包hbase-1.2.0-cdh5.14.2.tar提取码: bukx安装与配置解压到指定路径[root@hadoop30 software]# tar -zvxf hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/对hbase重命名[root@hadoop30 opt]# mv hbase-1.2.0-cdh5.14.2/ hbase120/配置环境变量vim /etc/profileexpor

2021-01-07 00:39:17 262

原创基于Spark GraphX的图形数据分析(一)

基于Spark GraphX的图形数据分析（一）为什么需要图计算图（Graph）的基本概念图的术语顶点（Vertex）边（Edge）有向图无向图有环图无环图度图的经典表示法邻接矩阵Spark GraphX 简介GraphX核心抽象GraphX API创建Graph属性图应用示例构建用户合作关系属性图构建用户社交网络关系查看图信息)为什么需要图计算许多大数据以大规模图或网络的形式呈现许多非图结构的大数据，常会被转换为图模型进行分析图数据结构很好地表达了数据之间的关联性图（Graph）的基本概

2020-11-25 08:57:39 193

原创 spark清洗过滤json格式

spark清洗过滤json格式待处理数据内容如下将该文件上传至hdfs[root@hadoop30 kb09file]# hdfs dfs -put /opt/kb09file/op.log /kb09file验证是否上传成功[root@hadoop30 kb09file]# hdfs dfs -ls /kb09file启动spark-shell[root@hadoop30 kb09file]# spark-shell从hdfs查看op.log文件内容sc.textFile("

2020-11-23 00:10:02 686

原创 Exception in thread “main“ java.lang.RuntimeException: java.net.ConnectException: Call From hadoop30

Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException: Call From hadoop30/192.168.29.30 to hadoop30:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org

2020-11-17 10:25:23 1473

原创 cannot access /opt/spark/lib/spark-assembly-*.jar: No such file or directory

cannot access /opt/spark/lib/spark-assembly-*.jar: No such file or directory问题叙述原因解决办法问题叙述安装好spark后，启动hive报错，内容如下：原因spark版本升级到2.x以后,原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。解决办法打开hive下面的bin目录,找到hive文件,编辑hive文件,找到如下一行

2020-11-17 10:19:10 480

原创 Linux下scala与spark安装与配置

spark安装与配置安装包具体安装与配置安装包scala-2.11.12提取码: yrrtspark-2.4.5-bin-hadoop2.6提取码: sn75具体安装与配置新建一个将安装包解压到/opt/下

2020-11-05 20:13:21 159 1

原创 Scala集合函数方法（三）

Scala集合函数方法（三）函数名具体函数方法函数名slice sliding sortBy sortWith sorted span splitAt startsWith stringPrefix sum tail tails take takeRight takeWhile to toArr

2020-10-29 17:28:32 468

原创 idea的jar包导入

idea的jar包导入File–>Project StructureModules–>Dependencies–>+选择想导入的jar包即可

2020-10-29 16:20:59 94

原创 Scala集合函数方法（二）

Scala集合函数方法（二）函数名具体函数方法函数名indexOfSlice indexWhere indices init inits intersect isDefinedAt isEmpty isTraversableAgain iterator last lastIndexOf lastIndexOfSlice lastIndexWhere lastOption length lengt

2020-10-28 17:38:30 435

原创 Scala集合函数方法（一）

Scala函数（一）函数具体用法++++:+::+/::\ addStringaggregateandThenapplyapplyOrElsearraycanEqualcharAtclonecollectcollectFirstcombinationscompanioncomposecontainscontainsSlicecopyToArraycopyToBuffercorrespondscountdeepdiffdis

2020-10-28 00:44:51 664

原创 Scala函数之部分应用函数与偏函数

Scala函数之部分应用函数与偏函数部分应用函数偏函数部分应用函数部分应用函数（Partial Applied Function)是缺少部分参数的函数。例：object Function{def main(args:Array[String]):Unit={def add(a:Int,b:Int,c:Int):Int={a+b+c }def sumadd=add(1,_:Int,_:Int) println(sumadd(2,3)) }}运行结果6偏函数偏函数是

2020-10-26 17:33:57 92

原创 Scala模式匹配与隐式参数

Scala模式匹配模式匹配的基础语法（案例：成绩评价）在模式匹配中使用if守卫在模式匹配中进行变量赋值对类型进行模式匹配（案例：异常处理）对Array和List的元素进行模式匹配（案例：对朋友打招呼）case class与模式匹配（案例：学校门禁）Option与模式匹配（案例：成绩查询）Scala的模式匹配类似于Java中的swich case语法，即对一个值进行条件判断，然后针对不同的条件，进行不同的处理。但是Scala的模式匹配的功能比Java的swich case语法的功能要强大地多，Java的s

2020-10-22 16:32:38 91

原创 dbeaver安装配置

dbeaver安装配置安装包配置过程本文以hive示例安装包链接: https://pan.baidu.com/s/1Gjlrj60N0kQCThVvprqk4A提取码: bchr配置过程创建新连接-->选中hive图标-->下一步依次输入主机名、数据库名、用户名、密码--->编辑驱动设置将hive/bin/hive-jdbc-1.1.0-cdh5.14.2-standalone复制到dbeaver文件夹下添加文件hive-jdbc-1.1.0-cdh5.14.2

2020-10-13 16:24:44 1683 1

原创 zepplin报错：java.net.SocketException: Broken pipe (Write failed)

zepplin报错：java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketException: Broken pipe (Write failed)虚拟机关机再重启后登录zepplin执行hive语句就开始报错。解决方法(1)在zeppelin安装目录下的bin目录将zeppelin服务重新启动zeppelin-daemon.sh stopzeppelin-daemon.sh

2020-09-23 22:52:17 668

原创 Could not start ZK at requested port of 2181. ZK was started at port: 2182.

Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients (e.g. shell) will not be able to find this ZK quorum.今天在伪分布式hadoop中开启HBASE时报如下错误：Could not start ZK at requested port of 2181. ZK was started at port: 2182

2020-09-21 20:28:28 2724 1

原创 hadoop高可用集群搭建

hadoop高可用集群搭建配置HDFS-HA集群启动HDFS-HA集群配置HDFS-HA集群前提：保证hadoop集群搭建成功。保证zookeeper时区同步和集群搭建成功。以三台机器为例，hadoop01为主节点，hadoop06为备用节点，hadoop07为参与高可用集群的普通机器。主机名 ip地址 namenode QuorumPeerMain JournalNode NodeManager JobHistoryServer..

2020-09-18 12:25:28 230

原创 zookeeper的安装配置和zookeeper集群的时区同步配置

标题zookeeper环境变量配置和文件配置[root@hadoop01 software]# cd /opt/[root@hadoop01 opt]# mv zookeeper-3.4.6 zkpr[root@hadoop01 opt]# source /etc/profile进入zkpr配置文件的目录配置文件zoo.cfg[root@hadoop01 opt]# cd zkpr/conf/[root@hadoop01 conf]# vi zoo.cfgtickTime=2000#最

2020-09-18 12:19:50 225

原创 hadoop集群配置

克隆虚拟机关闭已经安装和配置好的hadoop虚拟机。右击虚拟机，选择管理，选择克隆。这里要选择创建完整克隆。其他的步骤还是跟之前一样的，更改一下虚拟机的名字就行。克隆好之后，点击克隆好的虚拟机，点击编辑虚拟机设置，更改网络适配器里面的高级设置，重新生成一下mac地址，然后确定就可以。注意：两台克隆好的虚拟机都需要重新生成。更改设置把三台虚拟机都开启。使用root用户登录。输入：vi /etc/sysconfig/network-scripts/ifcfg-ens33

2020-09-18 11:34:16 159

原创 Linux安装Hadoop

Linux安装Hadoop安装和配置hadoop安装和配置hadoop更改主机名：[root@hadoop02 hadoop]# hostnamectl set-hostname hadoop02[root@hadoop02 hadoop]# vi /etc/hosts#输入：192.168.136.36 hadoop02在根目录下先创建一个software目录，用来放置安装包：[root@hadoop02 /]# mkdir software把9个安装包拖进来：把安装好的jdk

2020-09-16 00:41:20 147

原创 Linux安装ELK

Linux安装ELKELK简介特点：ELK安装ELK配置es6配置启动elasticsearchnode和head配置启动head-masterkibana安装和配置启动kibanalogstash启动测试ELK简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点：分布式实时文件存储、检索、分析零配置、集群自动发现索引自动分片、副本机制RESTful风格接口多数据源自动搜索负载高可用高扩展一种NOSQL的数据存储工具ELK安

2020-09-15 23:51:32 689

原创 Kibana

KibanaKibana安装Kibana基本使用查看Kibana运行状态开发者工具Dev ToolsKibana 数据探索创建index pattern数据探索Discover>选择Index Pattern按时间窗口过滤数据（须包含@timestamp字段）搜索数据进行字段过滤Kibana数据可视化支持的可视化图表分类通用操作Elasticsearch聚合查询桶可以被嵌套，例如尝试聚合添加度量指标饼图按入学年份统计人数索引stuMetricsCount聚合BucketsTerms类型分桶保存可视化结

2020-09-15 23:12:05 87

原创 Logstash

Logstash&kibanaLogstash简介具备实时数据传输能力的管道在ELK中作为日志收集器安装LogstashLogstash如何工作Logstash对任何事件处理分为三个阶段编解码器运行Logstash的两种方式Logstash配置语法配置文件结构Logstash数据类型输入插件file：从文件中获得事件流编解码器jsonrubydebug过滤器grok：使用正则表达式解析任意文本和结构grok自定义模式输出插件Logstash简介具备实时数据传输能力的管道支持多种数据源输入支持

2020-09-15 23:02:02 100

原创 Elasticsearch

ElasticsearchELK StackElasticsearch简介特点安装ElasticsearchES数据模型文档（Document）管理文档是ES最小数据单元原始数据文档元数据批量操作bulk文件批量读取文档索引（Index）管理创建索引索引名称规范带参数创建索引索引的映射查看索引映射删除索引ES分布式架构节点注意索引分片分片主分片主分片分配副本分片分片检索查询阶段取回阶段倒排索引（Inverted Index）ES搜索方式主要包括两种URI Search：简易方式，可临时使用，不适合构建复杂查

2020-09-15 20:18:07 132

原创 shell常用脚本

shell常用脚本jdk安装和配置环境变量mysql安装和配置安装tomcat安装subversion和配置文件jdk安装和配置环境变量注意：安装包和shell脚本放在同一目录下#!/bin/bashecho "-----开始安装jdk-----"#解压jdk到当前目录下tar -zxvf jdk-8u251-linux-x64.tar.gz#配置环境变量追加到/etc/profile里面echo "export JAVA_HOME=/opt/jdk1.8.0_251" >> /

2020-09-15 19:13:03 256

原创 shell编程

shell编程Shell Script介绍概念应用场景编写第一个Shell脚本test.sh变量命名规则三种引号反引号：引用命令的结果单引号：强引用，引号中输入什么，输入就是什么双引号：弱引用，可引用变量的值变量的定义及使用变量的定义变量运算预定义变量位置变量Shell数值关系运算符数值关系运算符逻辑运算符字符串运算符文件运算符流程控制if选择语句if语句if-else语句if else-if else语句for循环语句一般for循环增强for循环while循环语句until循环语句case语句跳出循环br

2020-09-15 19:04:34 65

空空如也

空空如也