- 博客(21)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 sqoop安装
tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /export/servers/cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/confcp flume-env.sh.template flume-env.shvim flume-env.shexport JAVA_HOME=/export/servers/jdk1.8.0_144
2021-06-08 15:26:25
94
原创 flume安装
第一步：下载解压修改配置文件tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /export/servers/cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/confcp flume-env.sh.template flume-env.shvim flume-env.shexport JAVA_HOME=/export/servers/jdk1.8.0_144第二步：开发配置文件vim /
2020-10-16 16:47:01
141
转载 scala下界的使用小结
scala下界的使用小结def biophony[T >: Animal](things: Seq[T]) = things对于下界，可以传入任意类型传入和 Animal 直系的，是 Animal 父类的还是父类处理，是 Animal 子类的按照 Animal 处理和 Animal 无关的，一律按照 Object 处理也就是下界，可以随便传，只是处理是方式不一样不能使用上界的思路来类推下界的含义————————————————版权声明：本文为CSDN博主「李昊轩的博客」的原创文章，遵循
2020-08-10 05:18:49
175
原创 kafka快速入门（官网）
1.下载、解压kafka软件包下载tar xvf kafka_2.12-2.5.0.tgz2.启动确保先启动zookeeper/export/servers/zookeeper-3.4.5-cdh5.14.0/bin/zkServer.sh start启动Kafka serverbin/kafka-server-start.sh config/server.properties3.创建一个topicbin/kafka-topics.sh --create --bootstrap-se
2020-07-12 18:55:24
322
原创 lua集成kafka
Nginx 文件:nginx.confcd /usr/local/openresty/nginx/conf vi nginx.confworker_processes 1; events{ worker_connections 1024; } http{ include mime.types;default_type application/octet-stream; sendfile on; keepalive_timeout 65; #开启共享字典，设置内存大小为 10M，供每个 nginx
2020-07-11 20:37:02
1196
原创 hive安装
1、解压hivecd /export/serverstar -zxvf hive-1.1.0-cdh5.14.0.tar.gz2.修改hive-env.shcd /export/servers/hive-1.1.0-cdh5.14.0/confcp hive-env.sh.template hive-env.shvim hive-env.shHADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0export HIVE_CONF_DIR=/e
2020-06-26 09:38:44
395
原创 Phoenix安装
1、准备工作提前安装好ZK集群、hadoop集群、Hbase集群2、安装包从对应的地址下载：http://phoenix.apache.org/download.html这里我们使用的是：apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz3、上传、解压将对应的安装包上传到对应的Hbase集群其中一个服务器的一个目录下解压：tar -zxvf apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz -C /export/ser
2020-06-18 06:12:45
398
原创 hive与hbase整合
第一步：拷贝hbase的五个依赖jar包到hive的lib目录下将我们HBase的五个jar包拷贝到hive的lib目录下hbase的jar包都在/export/servers/hbase-1.2.0-cdh5.14.0/lib我们需要拷贝五个jar包名字如下hbase-client-1.2.0-cdh5.14.0.jar hbase-hadoop2-compat-1.2.0-cdh5.14.0.jarhbase-hadoop-compat-1.2.0-cdh5.14.0.ja
2020-06-18 06:12:14
250
原创 HBase的集群环境搭建
第一步：下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz第二步：压缩包上传并解压tar -zxvf hbase-1.2.0-cdh5.14.0-bin.tar.gz第三步：修改配置文件第一台机器进行修改配置文件1.修改第一个配置文
2020-06-18 06:11:32
290
原创 mysql事务隔离级别
查询事务隔离级别 show variables like '%tx_isolation%'\G设置事务隔离级别读未提交 SET GLOBAL TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;读已提交SET GLOBAL TRANSACTION ISOLATION LEVEL READ COMMITTED;可重复读SET GLOBAL TRANSACTION ISOLATION LEVEL REPEATABLE READ;...
2020-06-04 14:47:57
109
原创 spark安装
1.下载spark安装包下载地址spark官网：http://spark.apache.org/downloads.html这里我们使用 spark-2.1.3-bin-hadoop2.7版本.2.上传压缩包并解压这里我们上传到第一台机子 /export/servers 目录下，并执行以下命令：tar -zxvf spark-2.1.3-bin-hadoop2.7.tgz3.修改配置文件修改spark-env.shcd /export/servers/spark-2.1.3-bin-had
2020-06-02 07:35:37
363
原创 linux mysql 安装
1、Adding the MySQL Yum Repository；rpm -Uvh mysql80-community-release-el7-3.noarch.rpm2、Selecting a Release Series修配置文件vi /etc/yum.repos.d/mysql-community.repo57 enabled改成180 enabled改成03、Installing MySQLyum install mysql-community-server4、Starting
2020-05-31 20:35:25
433
原创 HADOOP CDH 伪分布式环境搭建
安装环境服务部署规划 服务器IP 192.168.72.110 192.168.72.120 192.168.72.130 HDFS NameNode SecondaryNameNode DataNode Da...
2020-05-08 08:50:13
1012
原创 电影推荐系统基础环境搭建
电影推荐系统项目基础环境搭建如果机器的配置不足，推荐采用一台虚拟机进行配置，而非完全分布式，将该虚拟机CPU的内存设置的尽可能大，推荐为CPU > 4、MEM > 4GBMongoDB（单节点）环境配置// 通过WGET下载Linux版本的MongoDBwget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhe...
2020-05-04 09:51:47
2972
原创 CDH版本的zookeeper环境搭建
1.下载，解压下载地址为：cdh5下载地址我们这里下载CDH5.14.0这个版本的zookeeper的压缩包2.修改配置文件node01修改配置文件创建zk数据存放目录mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas修改zk配置文件cd /export/servers/zookeeper-3.4.5-cdh5....
2020-05-03 16:46:19
916
原创 大数据集群环境准备(centos7)
1.三台虚拟机关闭防火墙关闭防火墙，并禁止开机自启动systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动systemctl status firewalld.service#查看firewall状态2.三台机器关闭selinux临时关闭sete...
2020-05-03 14:55:20
1302
1
原创 centos7安装
,等着,姑娘想逛街(事件发生)的时候,被call(回调,去拎包)...
2019-04-14 22:06:39
248
空空如也
订单表和订单明细表join时，数据量大，能不能用分桶表优化？
2022-03-18
fllink预写日志和两阶段提交的差别
2021-11-03
tomcat为什么一启动就可以一直运行?
2019-04-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人