- 博客(22)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 linux常规设置之NAT网络固定IP
1. 编辑网络信息cd /etc/sysconfig/network-scriptsvi ifcfg-ens33BOOTPROTO=noneIPADDR=192.168.32.137GATEWAY=192.168.32.2（参考网关getway查看方式）2. 网关getway查看方式：3. 重启网络service network restart...
2020-02-11 15:52:55
498
原创 redis cluster安装配置
1. 各个节点修改edis配置文件（以6379为例，其他两台为6380、6381）vi redis.conf#bind 127.0.0.1protected-mode noport 6379daemonize yespidfile "/var/run/redis_6379.pid"dir "/home/cbsp/redis-cluster/redis-6379...
2020-02-08 15:11:05
169
1
原创 elasticsearch6.8 安装配置
版本信息：elasticsearch：6.8.5java：1.8##下载地址官方下载##解压缩unzip elasticsearch-oss-6.8.5.zip######配置#######远程访问vi config/elasticsearch.ymlnetwork.host: 0.0.0.0http.port: 9200#虚拟机内存限制...
2019-11-28 19:15:22
1964
原创 hive on spark
概要前提： 安装hive讲解版本信息： apache-hive-3.1.1-bin spark-2.4.4-bin-hadoop2-without-hive参考： HIVE官方文档一. HIVE配置vi conf/hive-site.xml<property><name>...
2019-11-13 14:03:44
171
1
原创 sqoop1.4.7安装配置
#解压缩gunzip sqoop-1.4.7.bin__hadoop-2.6.0.tar.gztar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tarmvsqoop-1.4.7.bin__hadoop-2.6.0sqoop-1.4.7.bin-hadoop-2.6.0## InstallationSqoop ships as one binary...
2019-09-27 11:15:49
204
原创 oozie5.1 编译安装
# 解压缩tar xzvf oozie-5.1.0.tar.gz# 依赖工具安装（已安装，请忽略）sudo yum install maven# 编译（非常耗时）可在我的上传资源中下载编译结果oozie-5.1.0-distro.tar.gzhttps://download.csdn.net/download/zphyy1988/11095148https://dow...
2019-04-03 14:24:20
2055
原创 spark with hive
标题标题前提-已搭建完成：hive3.1 安装配置（一）1.将hive-site.xml 拷贝到spark目录下cp $HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf/hive-site.xml2.编写测试案例val sparkSession = SparkSession.builder. .appName(&amp;amp;amp;amp;amp;quot;spark sql ...
2019-03-08 16:34:47
354
原创 hive3.1 安装配置
#一、解压缩tar -xzvf apache-hive-3.1.1-bin.tar.gz#二、环境变量vi /etc/profileHIVE_HOME=/opt/bigdata/hivePATH=$HIVE_HOME:$PATHexport PATH HIVE_HOMEsource /etc/profile#三、hive 配置##1.hive-def...
2019-03-08 15:38:59
742
原创 spark sql 内置函数（摘自官网）
http://spark.apache.org/docs/latest/api/sql/index.html!! expr - Logical not.%expr1 % expr2 - Returns the remainder afterexpr1/expr2.Examples:> SELECT 2 % 1.8; 0.2> SELECT M...
2019-03-06 16:26:04
1273
原创 flume1.9 安装配置
#架构图##source ：使用spoolDir 监控目录##channel ：使用kafka##sink ：使用hdfs---------------------------------------------------------------------------------#安装配置#1.vi flume-env.shcp flume-env.sh.t...
2019-02-28 11:25:45
2501
原创 spark&hadoop调优
version:spark-2.4.0-bin-hadoop2.7#1.在HDFS创建目录 /spark/jarsbin/hadoop dfs -mkdir -p /spark/jars#2.将$SPARK_HOME/jars下所有包上传到hdfs目录 /spark/jarsbin/hadoop dfs -put /opt/bigdata/spark../jars/* /spar...
2019-02-23 19:35:21
302
原创 hdfs 集群模式搭建（QJM）
version:hadoop-2.7.7#所有hadoop节点vi hdfs-site.xml<property><name>dfs.nameservices</name><value>mycluster</value></property><property><n...
2019-02-23 19:25:53
221
原创 kafka集群搭建
tar -zxvfkafka_2.12-2.1.0.tgzcd config####################参数修改###############################masterbroker.id=0 #每台服务器的broker.id都不能相同zookeeper.connect=master:2181,slave1:2181#slave1br...
2019-02-01 15:28:19
168
原创 zookeeper集群搭建
集群节点：192.168.62.155 master192.168.62.156 slave1#######################各个节点 begin########################tar -zxvf zookeeper-3.4.13.tar.gzcd confcp zoo_sample.cfg zoo.cfgvi zoo.cfgdat...
2019-02-01 15:27:38
116
原创 yarn集群模式配置（二）
# 配置集群各节点vi yarn-site.xml<configuration><!-- Site specific YARN configuration properties --><property> <name>yarn.nodemanager.aux-services</name> ...
2019-01-30 16:29:18
640
原创 yarn集群模式配置（一）
tar -zxvf hadoop-2.7.7.tar.gzcd /home/spark/bigdata/hadoop-2.7.7/etc/hadoopvi hadoop-env.shexport JAVA_HOME=/opt/jdk1.8.0_201 cd /home/spark/bigdata/hadoop-2.7.7vi etc/hadoop/core-site....
2019-01-30 16:26:40
492
原创 mongoDB 副本模式集群搭建
# 架构图 #主服务器：master 负责读和写#副本节点：slave1 负责读#仲裁节点：slave1 负责投票选主# 1. 安装tar zxvf mongodb-linux-x86_64-3.6.3.tgz# 2.启动主节点master:mkdir datamkdir logstouch logs/mongo-replset1.logbin/...
2019-01-30 16:19:43
339
2
原创 springboot docker部署
springboot docker部署1、创建网络映射###########################宿主############################172.18.0.5 kafka_node1172.18.0.6 kafka_node2172.18.0.7 kafka_node32、创建spring boot 镜像2.1 在目录...
2018-10-19 15:19:25
252
原创 spring docker部署环境安装手册
spring docker部署环境安装手册创建静态网段mysqlmongozookeeperkafkaredisRabbitMQ创建静态网段docker network create --subnet 172.18.0.1/16 net_dockerdocker inspect net_dockermysql#1、下载并安装docker search mysqldocker pull...
2018-10-19 15:13:14
193
1
spring cloud oauth2
2018-10-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人