大数据狂人-CSDN博客

原创 Hadoop 2.9.2集群安装部署

备前提：1，关闭防火墙2，关闭selinux3，安装jdk4，修改hosts文件5，修改主机名与ip的对应关系6，配置免密登入需要三台（或以上）能够互相访问到的Linux主机本实验中的三台主机为同一子网下的三台主机，分别为：192.168.100.251：作为master，运行namenode、datanode结点192.168.100.252：作为slave1，运行datanode结点192.168.100.253：作为slave2，运行datanode结点本次实验使用的是hado

2021-10-26 10:43:19 1103

原创 Flink中常见的几种异常

问题一：Exception in thread “main” org.apache.flink.table.api.TableException: Could not instantiate the executor. Make sure a planner module is on the classpathat org.apache.flink.table.api.java.internal.StreamTableEnvironmentImpl.lookupExecutor(StreamTableE

2021-10-09 17:05:12 2684

原创 centos7下使用wget命令出现无法在本地验证发行者的权限。为了安全地连接到GC.GNU.ORG，请使用“无检查证书”。的解决方法

centos7下使用wget命令出现无法在本地验证发行者的权限。为了安全地连接到GC.GNU.ORG，请使用“无检查证书”。的解决方法解决方案[root@master servers]# yum install -y ca-certificates已加载插件：fastestmirror, langpacksLoading mirror speeds from cached hostfile * base: ftp.sjtu.edu.cn * extras: ftp.sjtu.edu.cn

2021-10-08 10:42:19 838

原创 A JNI error has occurred, please check your installation and try again

A JNI error has occurred, please check your installation and try again出现原因：没有将依赖包提供在范围内解决方案

2021-09-29 15:25:43 439

原创 object creation impossible, since method snapshotConfiguration in class TypeSerialize

问题Error:(20, 63) object creation impossible, since method snapshotConfiguration in class TypeSerializer of type ()org.apache.flink.api.common.typeutils.TypeSerializerSnapshot[(String, Int)] is not definedval wordAndOne= sourceDataSet.flatMap(x=>x.spli

2021-09-29 13:33:39 254

原创 2021-09-02java代码中使用Calendar 获取前一天、上个月的第一天、上个月的最后一天

Java代码中使用Calendar 获取前一天、上个月的第一天、上个月的最后一天 Date dNow = new Date(); //当前时间 Date dBefore = new Date(); Calendar calendar = Calendar.getInstance(); //得到日历 calendar.setTime(dNow);//把当前时间赋给日历 calendar.add(Calendar.DAY_OF_

2021-09-02 14:14:18 1742

原创解决：unable to find valid certification path to requested target

问题sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target出现原因这个问题的根本原因是你安装JDK时，Java\jar 1.8.0_141\lib\ext\里面缺少了一个安全凭证js

2021-08-25 13:42:09 56065 6

原创 ERROR:could not parse “xx“ as type decimal

ERROR:could not parse “xx” as type decimal无法解析"xx"，作为十进制类型出现原因可能是由于进行数据判断的时候出现脏数据，脏数据无法转化为数值类型的值进行比较例如：update table a set enterprise_scale=(case when split_part(a.maibusinc,'万',1)>=40000 then '高'else 'NULL'end) 当我们的maibusinc值中含有脏数据无法转化为数据进行

2021-08-12 17:04:52 593

原创 This connection has been closed

SQL 错误 [08003]: This connection has been closed.出现问题：使用连接工具跑sql时，长时间没有结果，工具自动断开解决方案：将sql语句放到后台去执行

2021-08-10 09:11:25 5926

原创 command is too large: 853488551 bytes (max: 256000000)

使用postgresql时出现的问题创建表时出现的问题create table enterprise_wide_table asselect a.entname,b.code_name as area,a.dom,c.nic_id,d.fulltitle,a.opscope,a.entstatus ,a.regcap ,a.esdate,date_part('year',now()) - to_char(a.esdate,'yyyy') as year,e.ancheyear ,e.

2021-08-09 20:38:44 165

原创 java.lang.NoClassDefFoundError: com/stumbleupon/async/Callback

java.lang.NoClassDefFoundError: com.loopj.android.http.LogHandler这是由于kuduAPI版本不兼容造成的，换成对应的版本即可。

2021-07-13 15:15:08 1196

原创 crontab java command not found

这里是我去使用crontab做定时任务去执行我的shell脚本内的jar时出现的问题定时任务每三小时去执行一次脚本发现crontab的定时任务不能自动执行，但是手动执行脚本一直能成功。查到最后，发现是脚本里用了系统的环境变量。* */3 * * * sh /home/shuangkua2/report.sh >/home/shuangkua2/shuangkua.log 2>&1出现的问题/home/shuangkua2/report.sh: line 4: java: co

2021-06-23 14:02:34 1078

原创 403 Forbidden (varnish) the provided credentials were incorrect

2021年Cloudera公司的CDH与HDP均无法下载也就是说CDH各版本都不能免费获取了。很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz现在开始要输入账号密码认证了。用Cloudera的账号密码的话，会得到如下失败信息：403 Forbidden (varnish) the provided c

2021-06-18 11:10:39 2268

原创 mysql、hive安装部署

前提1、已经关闭了selinux2、已经安装jdk3、已经关闭防火墙4、已经配置了免密登入5、设置防火墙开机不自启动6、已经安装了hadoop一、安装Mysql1、使用yum安装mysqlwget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpmrpm -Uvh mysql57-community-release-el7-11.noarch.rpm安装数据库yum install mysql-

2021-06-13 14:53:44 821

原创 javax.net.ssl.SSLException: closing inbound before receiving peer‘s close_notify

原因MySQL在高版本需要指明是否进行SSL连接原始的 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value> </property&gt.

2021-06-13 14:23:48 823

原创 CentOS7 linux 中提示 -bash: ls:等命令未找到命令

原因是由于环境变量被修改了，所以才找不到命令解决方法执行export PATH=/bin:/usr/bin:$PATHok问题就解决了

2021-06-13 14:06:26 1320

原创 shell脚本如何使用if判断

if条件判断语句if (表达式) 语句1else语句2fi1、测试数字大小#!/bin/shNUM=100if (( $NUM > 4 )) ;thenecho “this num is $NUM greater 4 !”fi2、测试目录是否存在，如果不存在则新建目录#!/bin/sh#judge dir existif [ ! -d /test/wxj ];thenmkdir -p /test/wxj else echo “This DIR

2021-05-31 14:46:46 1313

原创 Python入门到精通零（第一天）

第一个HelloPython程序Python源程序的基本概念1、Python源程序就是一个特殊格式的文件，可以使用任意文本编辑的软件Python的开发2、Python程序的文件扩展名通常都是.py结尾的一、Hello world实操演练在桌面下，新建Python目录在新建Python目录下创建一个.py结尾的python文件编辑python文件，输出[root@node01 home]# mkdir 语言Python[root@node01 home]# cd 语言Python/[

2021-03-10 21:17:01 899

原创操作系统的简单介绍

操作系统（Operation System ， OS）介绍在计算机中，操作系统是其最基本也是最为重要的基础性系统软件。从计算机用户的角度来说，计算机操作系统体现为其提供的各项服务；从程序员的角度来说，其主要是指用户登录的界面或者接口；如果从设计人员的角度来说，就是指各式各样模块和单元之间的联系。事实上，全新操作系统的设计和改良的关键工作就是对体系结构的设计，经过几十年以来的发展，计算机操作系统已经由一开始的简

2021-03-08 22:22:01 1410

原创 Hadoop 1 ~ Hadoop 3 的发展史

Hadoop简介 Hadoop到目前为止发展已经余年了，版本经过了无数次的更新迭代，目前市面上已经把Hadoop分为Hadoop1、Hadoop2、Hadoop3三个版本。Hadoop1介绍 Hadoop1版本刚出来的时候是为了解决两个问题：一个是海量数据如何存储的问题，一个是海量数据如何计算的问题。Hadoop1

2021-03-06 15:04:54 2123

原创结构化数据与非结构化数据有什么区别？

结构化数据和非结构化数据是大数据的两种类型，这两者之间并不存在真正的冲突。客户如何选择不是基于数据结构，而是基于使用它们的应用程序：关系数据库用于结构化数据，大多数其他类型的应用程序用于非结构化数据。然而，结构化数据分析的难易程度与非结构化数据的分析难度之间的关系日益紧张。结构化数据分析是一种成熟的过程和技术。非结构化数据分析是一个新兴的行业，在研发方面有很多新的投资，但不是一项成熟的技术。了解两者之间的差异是充分利用这两者的关键，特别是在从Web数据中获益时。什么是结构化数据大多数人都熟悉结构化数据

2021-03-06 15:04:23 4531 1

原创 Kubernetes基本概念和术语之Master和Node

kubernetes中的大部分概念，如Node、Pod、Replication Controller、Service等都可以看做是一种 “资源对象”，几乎所有的资源对象都可以通过kubectl工具(或者API接口)来实现增、删、改、查等操作，并将其保存在etcd中进行持久化存储，从这个角度来看，kubernetes其实是一个高度自动化的资源控制系统，它通过对比etcd库里保存的 “资源期望状态”与当前环境中的“实际资源状态”的差异来实现自动控制和自动纠错。在介绍资源对象之前，我们先了解一下kubernet

2021-03-02 13:08:28 6259

原创什么是服务器、云服务的优缺点是什么、为什么要使用云服务器？

云服务什么是云服务器？云服务是基于互联网的相关服务的增加、使用和交互模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。云服务指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。背景云计算是继

2021-02-28 14:22:50 2787 1

原创 Redis三主三从集群搭建（三台机器）

192.168.100.21master192.168.100.22slaves1192.168.100.22slaves2一、上传解压1、上传2、解压[root@master servers]# pwd/opt/servers[root@master servers]# tar -zxvf redis-5.0.8.tar.gz -C /opt/servers/安装redis的相关依赖...

2021-01-30 13:20:23 9922 3

原创 E576: viminfo: 缺少 ‘＞‘ 位于行:

今天操作Linux时突然出现的问题，使得每次编辑都得不停回车这时我们直接删除/root/.viminfo，就好了[root@slaves1 redis-5.0.8]# rm -rf /root/.viminfo[root@slaves1 redis-5.0.8]# vim redis.conf # Redis configuration file example.## Note that in order to read the configuration file, Redis must b

2021-01-29 20:59:06 2840

原创使用云服务器执行yum时，rpm损坏和无法为立即文档创建临时文件: 设备上没有空间的解决方案

RPM包是Redhat和许多版本的linux(SUSE,红旗，Turbo)采用的一种软件包，或者说是一种软件包管理的方法。全称是：Redhat package mangement，是红帽子的发明。出现问题当我们配置完本地yum后使用yum时[root@master ~]# yum cleanerror: rp

2021-01-28 21:21:20 1522

原创 Docker面试题大全整理

第一部分1、如何在生产中监控Docker？ Docker提供docker status和docker事件等工具来监控生产中的Docker。我们可以使用这些命令获取重要统计数据的报告。Docker统计数据：当我们使用容器ID调用docker stats时，我们获得容器的CPU、内存使用情况等。它类似于Linux中top命令。Docker事件： Docker事件是一个命令，用于查看Docker守护进程中整改

2021-01-25 21:33:43 5801 1

原创 DockerCpose项目实战

DockerCopse实战演练简介DockerFile build run 手动操作，单个容器！微服务。100个微服务！依赖关系。Docker Compose 来轻松高效的管理容器i。定义运行多个容器。官方介绍定义、运行多个容器。YAML file 配置文件。single command。命令有哪些？Compose is a tool for defining and running multi-container Docker applications. With Compose,y

2021-01-24 19:07:00 996

原创有关单点问题的详解

如何解决云服务上的单点问题？云服务一般都存在哪些单点故障隐患1、数据库：我们知道数据库的单点隐患会对业务产生很大的影响。数据库故障会导致整个应用无法提供服务。随着业务规模的发展，当单台数据库可处理的业务能力已经无法满足业务需求时，必然引入了主、从负载均衡的数据库架构，同时把数据库热备问题解决。2、应用服务器：使用期限达到数年的服务器容易出现各种各样的硬件问题而导致宕机，所以我们用到了 LVS 负载均衡技术把几台服务器组成集群来提供服务。3、机房：一般机房单点故障出现的频率为一两年一次，如电力

2021-01-20 16:46:42 4094

原创 SpringBoot微服务项目打包成Docker镜像详解

SpringBoot微服务打包Docker镜像分为如下几步：构建springboot项目打包应用编写dockerfile构建镜像发布运行一、构建SpringBoot项目1、第一步创建一个springboot微服务项目2、自定义名称3、选择需要的Spring Web，然后next4.编写一个Controller测试类5、启动springboot项目6、访问二、打包应用1、将项目打包2、测试是否打包成功3、将项目拿出来到window机器上测试下载执行dem

2021-01-20 10:36:53 3721 3

原创 Failed to start LSB: Bring up/down networking RTNETLINK answers: File exists

关于Redhat中网络启动错误解决办法报错： Failed to start LSB: Bring up/down networking.RTNETLINK answers: File exists有三种情况会出现这种原因：原因一：错误原因：和 NetworkManager 服务有冲突解决方案：关闭 NetworkManger 服务， systemct stop NetworkManager，并且禁止开机启动 systemctl disable NetworkManagersyst

2021-01-19 21:36:25 1229 2

原创 Docker的精髓（容器数据卷、Dockerfile、Docker网络）

容器数据卷什么是容器数据卷docker的理念：将应用和运行的环境打包形成容器运行，运行可以伴随着容器，但是我们对于数据的要求，是希望能够持久化的！就好比，你安装一个MySQL，结果你把容器删了，就相当于删库跑路了，这TM也太扯了吧！

2021-01-17 21:45:34 1264

原创云平台SLB详细介绍和实战演练

昨天为大家讲解如何使用腾讯云的ELB做负载均衡，今天大数据狂神为大家带来一篇阿里云实战SLB做负载均衡的玩法。如何使用ASCM平台 ASCM平台提供了云平台资源的查看和管理功能。您可以在通过资源申请，获得ASCM的用户帐号后，通过以下链接可登录ASCM平台： &nb

2021-01-08 10:13:25 1510

原创腾讯云ELB负载均衡（blance）

想必谈到腾讯云这里大家并不陌生，因为与它类似的就有阿里云、华为云。今天大数据狂神就来带大家一起了解一下，腾讯云CLB负载均衡。产品简介产品概述云负载均衡（Elastic Load Balancer）提供安全快捷的流量分配服务，它可以无缝提供分配应用程序流量所需的负载均衡容量，以实现自动分配云中多个 CVM 实例间应用程序的访问流量，让您实现更高水平的应用程序容错能力。负载均衡服务通过设置虚拟服

2021-01-06 23:42:27 3182 1

原创 Docker从入门到精通（三）

Docker Compose（单机使用）介绍以前使用Docker时（一）写完项目后需要定义一个DockerFile（二）通过DockerFile文件使用 docker build命令生产一个镜像（三）通过run 命令去执行上述流程全是手动操作，并且只能操作单个容器！如果有个这样的案例微服务。100个微服务！（就需要启动一百个项目，如果使用docker就需要每个去执行上述操作，而且每个项目可能之间还有依赖关系）依赖关系。当遇见这种情况的时候我们就...

2021-01-05 21:35:13 819

原创 Docker从入门到精通（二）

测试Helloworld1、启动hello-world docker run hello-world2、run干了什么？底层原理 Docker是怎么工作的 Docker是一个Client-Server结构的系统，Docker守护进程运行在主机上，然后通过Socket连接从客户端访问，守护进程从客户端接受命令并管理运行在主机上的容器。容器，是一个运行时环境，就是我们前面说到的集装箱为什么Docker比较 VM 快 1、docker有着比虚拟机更.

2021-01-01 17:18:55 1020

原创 Docker从入门到精通（一）

Docker概述 Docker为什么出现一款产品从开发到上线，从操作系统，到运行环境，再到应用配置。作为开发+运维之间的协作我们需要关心很多东西，这也是很多互联网公司都不得不面对的问题，特别是各种版本的迭代之后，不同版本环境的兼容，对运维人员是极大的考验！环境配置如此麻烦，换一台机器，就要重来一次，费力费时。很多人想到，能不能从根本上解决问题，软件可以带环境安装？也就是说，安装的时候，把原始环境一模一样地复制过来。解决开发人员说的“ 在我的机...

2020-12-23 21:49:46 943

原创 Cassandra一键部署脚本

安装cassandra的前提是先安装jdk，所以首先我们得安装jdk这里我上篇博客有一键安装jdk的脚本这里修改配置文件我使用的是set命令sed 命令：指定行，从第一行到第一行；把该行的ssd，换成cd；-i 表示的是替换并直接修改文件；sed-i'1,1s/ssd/cd/g' test_file编写脚本vim cassandra.sh#!/bin/sh#解压路径PATH_INSTALL='/opt/servers'#tar路径PATH_SOFT='/op...

2020-12-23 19:51:42 850

原创 linux中如何实现Nas的共享存储

什么是Nas？ NAS（Network Attached Storage：网络附属存储）按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储，而效率却远远高于后者。目前国际著名的NAS企业有Netapp、EMC、OUO等。为什么要用 NAS？国内云储存不安全，辛苦收集的大片突然就成了一张和...

2020-12-14 23:09:24 3239

原创 Windows的nginx操作

链接：https://pan.baidu.com/s/1usyD1eNTQsfF80OXH9_Ctg提取码：6x2d复制这段内容后打开百度网盘手机App，操作更方便哦Windows的nginx笔记1）网上下载nginx2)修改配置文件stream {#去连接fastdfs_tracker端口#vm_fastdfs_tracker名字 upstream vm_fastdfs_tracker { hash $remote_addr co...

2020-11-28 21:50:39 958 1

空空如也

空空如也