- 博客(11)
- 收藏
- 关注
RSS订阅
原创 Zeppelin-安装及使用
Contents：Zeppelin简介 Zeppelin简介Zeppelin编译安装 Zeppelin案例 Zeppelin和shell整合 Zeppelin和JDBC(Hive)整合 Zeppelin和Spark整合 一、What is Zeppelin? 1）官 网：http://zeppelin.apache.org/2）帮助文档：http://zeppelin....
2018-08-24 11:42:01
4569
原创 SSH免密码登录
#ssh-keygen回车即可 上面的命令执行后，会在当前用户目录下创建 .ssh目录，~/.ssh目录下会有id_rsa私钥文件和id_rsa.pub公钥文件 拷贝公钥到本机公钥文件authorized_keys中#ssh-copy-id -i ~/.ssh/id_rsa.pub localhost 验证： 拷贝公钥到其他主机机公钥文件authori...
2018-09-12 11:11:38
1827
原创 Spark1.x和spark2.x的区别
DataFrame与Dataset 统一化了，只剩下DataSet了 flatMapToPair 由reture list变为reture iterator ForeachRDD 不再return null 更新状态的函数中,使用的Optional来自com.google.common.base，函数不能用 Spark streaming 中JavaStreamingContextFac...
2018-09-05 13:46:45
3439
原创 域名映射JAVA项目
已有Java项目部署在Tomcat之上，通过tomcat访问Java项目的地址为：http://10.150.10.153:8080/pfl/user/index后期，部署了Nginx-->10.150.10.156:80,并且加了域名-->http://gaia.houbank.net，映射关系：http://gaia.houbank.net ----> 10.1...
2018-08-08 15:35:20
801
原创 Mysql数据库添加从库,主从同步
Contents环境准备 更改my.cnf 开启slave服务一、环境准备查看已有mysql的版本mysql -uroot -p>select version();下载相对应的mysql版本：下载地址:http://dev.mysql.com/downloads/mysql1）解压#解压tar-zxvf mysql-5.6.35-linux-gli...
2018-08-08 15:19:54
2776
转载 zabbix-mysql迁移分离
io过高，迁移mysql 停掉zabbix导出数据库的zabbix库导入到新机器，并启动mysql 1：修改zabbix_server.conf文件里DB相关的地址，用户名和密码。vim /etc/zabbix/zabbix_server.confDBHost=10.12.1.42DBUser=zbx_userDBPassword=123456 2：重启服务，重启完，zabbix server收...
2018-05-21 10:06:05
621
原创 svn添加新的账号
1.确定svn的文件夹的位置sudo find / -name svn或者ps -ef | grep svn这里确定的是/data/svn路径下2.修改svn/conf下面的authz和passwd文件2.1进入passwd，在[users]下面加上你要添加的svn账号及密码 格式为：[users]zhangsan=123456lisi=123456然后保存wq2.2再进入authz，在[gr...
2018-04-16 13:27:47
16231
1
原创 sqoop oracle数据到hive
第一步，查看oracle表DEPT对应的信息：第二步，在hive中创建对应的表create table oracletohive(DEPTNO string,DNAME string,LOC string);第三步，使用sqoop导出oracle数据到hive中sqoop import --connect jdbc:oracle:thin:@10.150.XX.XX:1521:数据库名 \--us...
2018-04-09 16:50:47
994
原创 修改linux swap空间的swappiness，降低对硬盘的缓存
linux会使用硬盘的一部分做为SWAP分区，用来进行进程调度--进程是正在运行的程序--把当前不用的进程调成‘等待（standby）‘，甚至‘睡眠（sleep）’，一旦要用，再调成‘活动（active）’，睡眠的进程就躺到SWAP分区睡大觉，把内存空出来让给‘活动’的进程。 如果内存够大，应当告诉 linux 不必太多的使用 SWAP 分区， 可以通过修改 swappiness的数值...
2018-04-03 11:48:36
1280
原创 Hive自定义UDF函数开发
场景需求：判断字符串里面是否有中文 pom.xml:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http...
2018-04-02 18:40:12
255
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人