weixin_38610500的博客

原创 nginx负载均衡原理及配置

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

原创 jenkins安装、配置Git+Maven的自动化构建

jenkins安装配置发布安装安装插件使用Jenkins配置Git+Maven的自动化构建安装首先安装配置java环境：java -version安装jekins:有多种安装方法：(1) 用yum install jenkins -y 安装：添加Jenkins repo： wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins.io/redhat-stable/jenkins.repo rpm --import

原创 GitLab的安装及使用

GitLab的安装及使用前言GitLab安装GitLab使用SourceTree管理客户端软件前言Git是一款免费、开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理。Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件Git与SVN的区别 SVN是集中式版本控制系统，而Git是分布式版本控制系统，Git与SVN的区别可参考Git与SVN的区

原创 excel拼接sql语句

有时我们在excel整理出数据后，向把这些数据在数据库中进行更新或插入，这时候我们可以使用excel直接拼接sql语句,在复制到sql client中去执行:例如：这里我们想通过excel拼接这样的插入语句： INSERT INTO `test`.`t_ingco_wms_arrival_inbound`( `ARRIVAL_NO`, `ARRIVAL_INBOUND_NO`, `SIGN_PIC_URL`, `ARRIVAL_TYPE`, `STATUS`, `VERSION_NO`, `DEL_FL

原创 spark安装测试

spark安装测试spark安装测试spark-shell使用提交流程分析spark安装测试解压安装： 把安装包上传到/opt/soft下, 并解压到/opt/module/目录下 tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module 然后复制刚刚解压得到的目录, 并命名为spark-local: cp -r spark-2.1.1-bin-hadoop2.7 spark-local运行官方求PI

原创 FLINK安装及提交任务

flink安装及提交任务flink安装后续。。。flink安装 1.安装前确认有java环境,我这里有三台机器,分别是hadoop1,hadoop2,hadoop3； 2.将tar包上传到服务器的一个节点上：flink-1.10.0-bin-scala_2.11.tgz，我这里是放在/opt/soft下； 3.解压：tar -zxvf flink-1.10.0-bin-scala_2.11.tgz,解压后的文件夹：flink-1.10.0 4.修改flink-1.10.0/conf

原创 hbase操作命令

hbase建表建表二级目录三级目录建表进入hbase客户端： [atguigu@hadoop1 hbase-1.3.1]$ hbase shell SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/module/hbase-1.3.1/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.cl

原创 服务器时钟同步为最新时间

sudo ntpdate -u ntp4.aliyun.com

原创 hbase安装

hbase安装hbase安装启动hbase安装保证已经配置了JAVA_HOME,HADOOP_HOME环境变量将hbase-1.3.1-bin.tar.gz上传到/opt/soft下解压：tar -zxvf hbase-1.3.1-bin.tar.gz -C …/module下编辑：conf/env.sh 128行： export HBASE_MANAGES_ZK=false 注释掉46,47行！①jdk8下注掉这两行：编辑/opt/module/hbase-1.3.1/con

原创 flume安装

flume安装安装及配置环境变量使用安装及配置环境变量1.保证有JAVA_HOME;2.直接解压即可；将 apache-flume-1.7.0-bin.tar.gz包放到/opt/soft下,加压到/opt/module下[atguigu@hadoop1 flume-1.7]$ lsbin CHANGELOG conf DEVNOTES doap_Flume.rdf docs lib LICENSE NOTICE README.md RELEASE-NOTES tools

原创 java项目资源路径总结

File file = new File("\home\font\simhei.ttf");BufferedInputStream bis = new BufferedInputStream(new FileInputStream(file));2.//D:\JAVA\WmsPdaApi_SUITE\src\main\webapp\String realPath = request.getSession().getServletContext().getRealPath("");3.//f...

原创 hive大表join空key优化

hive大表join空key优化如果A表中有大量c字段为null的数据。如果不对null值处理，此时，会产生数据倾斜！情形一情形二如果A表中有大量c字段为null的数据。如果不对null值处理，此时，会产生数据倾斜！情形一 假如不需要id为null的数据！此时可以将A表中id为null的字段提前过滤，减少MR在执行时，输入的数据量！ 解决： 将null值过滤，过滤后再执行Join! (select * from A where c is not null)A left join B

原创 hive常用函数

hive常用函数系统内置函数自定义函数cc系统内置函数 1．查看系统自带的函数 hive> show functions; 2．显示自带的函数的用法 hive> desc function upper; 3．详细显示自带的函数的用法 hive> desc function extended upper;自定义函数cc...

原创 hive beeline使用

1.hadoop集群启用 start-all.sh2.启用hive3.开启hiveserver24.beeline进入命令行：输入： !connect jdbc:hive2://hadoop1:10000/default紧接着输入用户名、密码 [atguigu@hadoop1 root]$ beeline Beeline version 1.2.1 by Apache Hive beeline> !connect jdbc:hive2://hadoop1:10000/default

原创 hive几种导入数据方式

load语法： load data [local] inpath ‘xx’ into table 表名 partition()local: 如果导入的文件在本地文件系统，需要加上local，使用put将本地上传到hdfs不加local默认导入的文件是在hdfs，使用mv将源文件移动到目标目录hadoop fs -put department /load data inpath ‘/department’ into table deptpart3 partition(area=‘suzh

原创 hive几种建表方式

普通建表如创建一个分区表：create external table if not exists default.deptpart1(deptno int,dname string,loc int)PARTITIONED BY(area string)row format delimited fields terminated by ‘\t’;like语法 create table person2 like person;创建的表只是复制表结构没有数据；如果是分区表，创建的依然是分

原创 hive分桶

hive分桶创建分桶表导入数据三级目录创建分桶表 建表时指定了CLUSTERED BY，这个表称为分桶表！ 分桶： 和MR中分区是一个概念！ 把数据分散到多个文件中！ create table stu_buck(id int, name string) clustered by(id) SORTED BY (id desc) into 4 buckets row format delimited fields terminated by '\t';导入数据创建临

原创 hadoop ConnectException异常

最近hive执行导入数据时，mapreduce执行异常，异常信息如下异常日志：通过分析可知9000端口连接异常，由于我之前一直都是运行正常，不可能是配置原因导致的，忽然想到是不是9000端口被占用，于是开始查询端口使用情况；netstat -tunlp | grep 9000kill -9 5857 后重启hadoop集群，结果执行正常了。。。。...

原创 hive分区

hive分区创建分区表导数据多级分区表数据修复创建分区表1.创建分区表 create external table if not exists default.deptpart1( deptno int, dname string, loc int ) PARTITIONED BY(area string) row format delimited fields terminated by '\t';2.创建分区① alter table 表名 add partit

原创 spring嵌套事务探究

1.serviceA 调用 serviceB（另起事务） serviceA在 serviceB正常执行后抛异常，serviceB事务不回滚，serviceA事务回滚2.serviceA 调用 serviceB（另起事务），serviceB方法里抛出异常，但在serviceA 里trycatch serviceB，serviceB事务回滚，serviceA事务不回滚3.serviceA 调用 serviceB serviceA在 serviceB正常执行后抛异常，但被trycatch，ser

原创 hive安装部署及使用

hive安装部署及使用hive安装部署hive简单使用hive数据的存储配置hive的元数据存储到MySQL中hive安装部署前提：hive是java写的，因此需要配置java环境变量；另外保证你的hadoop集群正常起来 [atguigu@hadoop1 root]$ echo $HADOOP_HOME /opt/module/hadoop-2.7.2 [atguigu@hadoop1 root]$ echo $JAVA_HOME /usr/java/jdk1.8.0_1311.把apac

原创 zookeeper监听器实测

一个zk的节点可以被监控，包括这个目录中存储的数据的修改，子节点目录的变化，一旦变化可以通知设置监控的客户端，这个功能是zookeeper对于应用最重要的特性，通过这个特性可以实现的功能包括配置的集中管理，集群管理，分布式锁等等。getData(), getChildren(), and exists()可以设置对某个节点进行监听。New ZooKeeper时注册的watcher叫default watcher，它不是一次性的，只对client的连接状态变化作出反应。下面我们通过两个测试来具体了解这个

原创 Hadoop之MapReduce详细工作流程

hadoop job运行全流程分析总结Read阶段Map阶段Shuffle阶段Reduce阶段OutputFormat阶段Read阶段根据输入格式：InputFormat的实现类①切片, getSplit()②使用输入格式的RR读取数据, createRecordReader()具体实现类有：默认的TextInputFormat场景： 普通的文本格式数据来源切片： 采用默认的切片策略，以文件为单位，先判断文件是否可切，如果可切，循环以片大小为单位切片！不可切，整个文件作为1片！R

原创 hadoop开启安全模式

进入管理员模式：hdfs dfsadmin开启安全模式：关闭安全模式：

原创 hadoop查看namenode edits文件

原创 hadoop副本数查看修改

hdfs的默认副本数量是3个，配置在/etc/hadoop/conf/hdfs-site.xml中 dfs.replication 3 我们也可以通过hdfs dfs -ls /path/to/file 命令查看hdfs上的文件：文件类型会在第二列显示副本数量3，第五列显示文件大小，目录因为是由namenode维护的，所以没有副本数量，显示为-如果想修改全局副本数量，只需要修改上面的hdfs-site.xml中的配置然后重启hdfs即可，修改完成后：若hdfs中副本数

原创 centos查看端口使用情况

原创 hadoop本地开发异常总结，9000端口连不上

hadoop本地开发异常一、9000端口连不上权限异常一、9000端口连不上分析原因：1.防火墙是否关闭；—可以2.宿主机是否可以访问虚拟机；—可以3.查看端口是否可访问：利用netstat -tpnl查看的端口开发情况：我这里是将9000端口开放给了192.168.56.102，本机的ip；我的宿主机是无法ping通192.168.56.102的，我是通过桥接模式访问宿主机的：这里我将9000端口开放给本机：改为：重启网络： service network restart

原创 最新hadoop集群搭建(2020)

hadoop集群搭建一、机器准备二、安装JDK三、配置ssh免密码登录四、建立主机名和ip的映射五、 安装配置hadoop1. 将hadoop安装包解压到/opt/module下2. 配置/opt/module/hadoop-2.7.2/etc/hadoop下的core-site.xml3. 配置/opt/module/hadoop-2.7.2/etc/hadoop下的hdfs-site.xml4. 配置/opt/module/hadoop-2.7.2/etc/hadoop下的yarn-site.xml5.

原创 ssh 到其他机器找不到命令

这里我们先来了解两种登录脚本的执行顺序： 登录脚本的执行顺序：【注：仅适用于 bash shell】 Login Shell 是指登录时，需要提供用户名密码的shell，如：su – user1 , 图形登录， ctrl+alt+F2-6进入的登录界面。 这种Login shell 执行脚本的顺序： 1. /etc/profile 【全局profile文件;它定义了LoginUser的 PATH, USER, LOGNAME(登录使用者帐号)

原创 centos 编写并执行脚本

这里我们编写一段脚本，用于在多台机器上执行同一命令，这里的多台是已经可以相互ssh的三台机器编写脚本这里我的脚本名称叫xcall #!/bin/bash #在集群的所有机器上批量执行命令 if (($#==0)) then echo 请输入你要操作的命令！ exit fi echo 要执行的命令是$* #循环执行此命令 for ((i=1;i<=3;i++)) do echo ---

原创 hadoop在YARN上运行MapRaduce

在YARN上运行MapRaduce修改mapreduce 配置文件修改yarn配置文件测试修改mapreduce 配置文件本人hadoop安装地址/opt/module/hadoop-2.7.2修改改路径下etc/hadoop下的mapred-site.xml： <configuration> <property> <name>mapreduce.framework.name</name> <value>

原创 hadoop分布式HDFS配置

hadoop分布式HDFS配置修改配置文件core-site.xml格式化文件保存路径启动namenode & datanode修改配置文件core-site.xml本人hadoop安装路径如下：/opt/module/hadoop-2.7.2修改etc/hadoop下的core-site.xml： <configuration> <property> <name>fs.defaultFS</name>

原创 hadoop基础知识

一、大数据1.含义大数据指在一定时间范围内使用常规的软件无法处理的数据集合！2.特点①海量②高增长率③多样性④低价值密度二、Hadoop1.含义狭义： Hadoop只代表hadoop框架本身！广义： hadoop代表整个hadoop体系，由hadoop框架和其他依赖于hadoop的其他框架共同组成！2.hadoop的组成2.x版本HDFS: 负责大数据存储的一个分布式文件系统！YARN: 负责为大数据计算程序提供资源申请，管理和调度的框架！MapReduce: 编程框架Co

原创 VirtualBox创建虚拟机，并实现宿主机与虚拟机之间互ping，虚拟机与虚拟机之间互ping

VirtualBox创建NAT网络模式的虚拟主机创建虚拟机配置网络--实现宿主机与虚拟机之间互ping，虚拟机与虚拟机之间互ping配置NAT网络地址转换已实现了虚拟机访问外网配置端口转发实现宿主机访问虚拟机配置主机（host-only）网络，实现虚拟机之间互访创建虚拟机1.菜单控制下选择新建：2.名称根据你自己需要命名，类型选择linux，版本根据自己需求选择，我选择的是other linux 64，点击下一步：3.内存根据自己要求，一般1024：4.直接点创建：5.选择VDI,点下一

原创 VM下添加硬盘并分区挂载

VM--Centos7添加硬盘空间前言添加虚拟硬盘分区、格式化、挂载1.先用fdisk -l来查看当前所存在的磁盘：2.使用fdisk命令来进行分区：3 分完区后将新建分区文件系统设为系统所需格式：挂载：前言最近在使用VM搭建hadoop集群，硬盘空间不够，提前扩容，增加硬盘空间。添加虚拟硬盘1.先关闭VM；2.打开需要扩容的一台虚拟机，右键设置，点存储;3.创建新的虚拟盘选VDI基本格式，下一步：动态分配，下一步：选择保存创建文件的位置，选择你要创建硬盘的大小，点创建：创建好

原创 nginx动静分离项目部署

nginx动静分离项目部署前言实现步骤前言Nginx的负载均衡和静态代理结合在一起，我们可以实现动静分离，这是实际应用中常见的一种场景。动态资源，如jsp由tomcat或其他web服务器完成静态资源，如图片、css、js等由nginx服务器完成它们各司其职，专注于做自己擅长的事情动静分离充分利用了它们各自的优势，从而达到更高效合理的架构整个架构中，一个nginx负责负载均衡，两个nginx负责静态代理。Nginx在一台Linux上安装一份，可以启动多个Nginx，每个Nginx的配置文件不一

原创 nginx静态代理

nginx静态代理前言静态代理的实现方式一 在nginx.conf的location中配置静态资源的后缀方式二 在nginx.conf的location中配置静态资源所在目录实现案列 通过nginx访问上面myweb案例中的图片前言    把所有静态资源的访问改为访问nginx，而不是访问tomcat，这种方式叫静态代理。因为nginx更擅长于静态资源的处理，性能更好，效率更高。    所以在实际应用中，我们将静态资源比如图片、css、html、js等交给nginx处理，而不是由t

原创 nginx静态网站部署

nginx静态网站部署前言案列location中配置路径讲解前言  Nginx是一个HTTP的web服务器，可以将服务器上的静态文件（如HTML、图片等）通过HTTP协议返回给浏览器客户端案列（1）通过Xftp将ace-master到linux服务器/opt/www目录下，为了演示方便，将名字改为ace(2) 在nginx.conf中添加配置注意要以分号结尾（3）重启nginx服务器（4）4.1.3通过http://192.168.3.104:80/ace/访问location中配

原创 nginx下载安装

nginx下载安装下载安装安装前的准备正式安装启动、关闭 、重启普通启动通过配置文件启动检查Nginx是否启动关闭优雅关闭快速关闭Nginx：重启配置检查查看版本下载 下载nginx-1.14.2.tar.gz的源代码文件：wget http://nginx.org/download/nginx-1.14.2.tar.gz 我的习惯，将下载或者上传的安装文件放到/home/soft/目录下安装安装前的准备Nginx的安装需要确定Linux安装相关的几个库，否则配置和编译会出现错误， 具