- 博客(23)
- 收藏
- 关注
RSS订阅
转载 重启centos7 网络问题
/etc/init.d/network restartRestarting network (via systemctl): Job for network.service failed because the control process exited with error code. See "systemctl status network.service" and "journalct...
2018-03-15 16:49:43
5699
1
原创 List＜map＜String,Object＞ 去重
List<Map<String,Object>> list = new ArrayList<>(); Map<String,Object> map1= new HashMap<>(); Map<String,Object> map2= new HashMap<>(); Map<String,Object> map3= new HashMap<>();.
2020-10-29 11:06:29
2398
1
原创 java练习题 关于倒叙数字队列相加并输出队列
题目 输入两个倒叙的队列，里面存储个位数数字，数目一样多 ，通过相加计算生成一个新的队列输出 如下输入List a包含1 2 3 List b包含4 5 6321+654= 975 返回一个list 5 7 9代码如下public class test { public static void main(String[] args) { List<Integer> a = Arrays.asList(new Integer[]{5,2,5}); ...
2020-10-24 17:32:26
252
1
原创 java 练习题 关于倒叙数字队列相加并输出队列
题目 输入两个倒叙的队列，里面存储个位数数字，数目一样多 ，通过相加计算生成一个新的队列输出 如下输入List a包含1 2 3 List b包含4 5 6 321+654= 975 返回一个list 5 7 9代码如下public class test { public static void main(String[] args) { List<Integer> a = Arrays.asList(new Integer[]{5,2,5}); .
2020-08-10 13:44:11
245
原创 JAVA通过反射调用外部的jar包
把外包jar的信息写在配置文件中，这样如果外部jar改变了，只需要修改properties相应的配置即可。config.properties文件内容如下jarUrl=E:/MessageSend.jarclassName=org.linewell.message.MessageSendmethodName=sendMessage获取conf.properties的方法如下：...
2019-03-18 10:41:45
2572
原创 hive-2.3.4手动部署文档 centos7上
一．Hive-2.3.4手动部署注：此处部署HIVE主机IP为192.168.17.2341.下载hive2.3.4版本命令：$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz 2.解压hive tar到路径/usr/local并修改文件名...
2019-02-26 09:30:14
239
原创 部署安装ES文档记录
步骤一.在没一台上解压安装ES后，进入config中修改elasticsearch.yml由于需要多实例：比如在192.168.17.234上装两台data节点，所以在/etc/elasticsearch目录下创建两个目录分别为instance1和instance2分别拷贝主目录下config中的配置文件，并修改成如下模板。模板：# ====================...
2019-01-22 16:39:00
137
原创 centos7上部署安装ES6.5.1版本的记录文档
步骤一.在没一台上解压安装ES后，进入config中修改elasticsearch.yml由于需要多实例：比如在192.168.17.234上装两台data节点，所以在/etc/elasticsearch目录下创建两个目录分别为instance1和instance2分别拷贝主目录下config中的配置文件，并修改成如下模板。模板：# ====================...
2018-12-19 16:06:52
1001
原创 修改rpm中的文件重新打包
1.安装rpmrebuild 和安装rpmbuildrpmrebuild下载链接： https://sourceforge.net/projects/rpmrebuild/files/rpmrebuild/2.12-1/rpmbuild直接用yum安装 ：yum install rpm-build2.配置rpm编译目录vi ~/.rpmmacros%_topdir /data/...
2018-12-07 12:00:33
5390
4
原创 干净删除linux下的mysql
# rpm -qa | grep -i mysql# rpm -ev mysql-community-server-5.6.41-2.el7.x86_64 # rpm -ev --nodeps mysql-community-libs-5.6.41-2.el7.x86_64# find / -name mysql 删除以上文件# rm -rf xxx...
2018-10-11 16:11:41
649
原创 java造mysql假数据记录
造假数据的方法：尽量对数据库表每个字段写一个对应的方法，这样比较清晰。方法一：获得车牌号，根据自己的需求控制字母和数字的比例。 public static String getPlateNo(){ String str1="ABCCCCCCCCCCCCCCCCCCCCCCCCDEFGHJKC"; String str2="ABCDEFGHJKLMNPQRSTUVWXYZ0123...
2018-06-15 17:06:01
1848
原创 flume将kafka中topic数据导入hive中
一、首先更加数据的表结构在hive中进行表的创建。 create table AREA1(unid string,area_punid string,area_no string,area_name string,area_dept_unid string,area_longitude string,area_latitude string,area_sortid string,c...
2018-06-07 14:35:31
6065
1
原创 通过flume把oracle数据导入到kafka
版本flume 1.6 kafka2.11flume中缺少flume-ng-sql-source的jar包需要去下载，下载地址可以是：https://github.com/keedio/flume-ng-sql-source.git 但比较麻烦，也可以下载已经弄好的jar：https://download.csdn.net/download/chongxin1/9892184第一步：把下载好的...
2018-06-05 14:50:25
4757
原创 通过flume把日志文件内容写入kafka主题
首先自行安装flume和 kafka当然还要jdk，我flume版本是1.6的kafka版本2.11，jdk1.8。首先在路径flume下的conf里面创建一个logtokafka.conf文件进行配置配置内容如下。agent.sources=r1agent.sinks=k1agent.channels=c1agent.sources.r1.type=execagent.sources....
2018-06-05 10:48:57
789
原创 hive 表关联hbase表 命令和总结
在hive shell中创建关联表的命令如下：CREATE TABLE hive表名(rowkey date-type, value1 date-type, value2 date-type, value3 date-type) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROP...
2018-03-16 15:20:28
610
原创 hbase表list不存在，但是创建时报错：已存在
原因是以前创建过这个表，但是hbase暴力删除了这个表后，zookeeper还保留了这个表的信息。在linux 下用hbase zkcli 命令进入ls /hbase/table 可以查看存在的表信息然后用命令rmr /hbase/table/表名 进入hbase shell 后就可以创建刚刚删除的表了。...
2018-03-16 10:08:52
2609
原创 hive 的导入导出数据的命令汇总
一.导入数据从本地文件导入数据到 hive表：LOAD DATA LOCAL INPATH '本地文件路径' INTO TABLE 表名称 PARTITION(分区字段名='分区值'); 表要提前创建好，如果表没有设置分区可以不加分区。把hdfs上的文件导入到hive表：LOAD DATA INPATH 'hdfs路径' INTO TABLE 表名称 PARTITION(分区字段名='分区值'...
2018-03-14 11:36:36
627
原创 hdfs api 实战
直接上代码：package com.linewell.hdfs;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io...
2018-03-12 09:19:38
420
原创 java jdbc 连接hive-2.1.1
package com.linewell.hivetest;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;public class HiveTest { private static String Drive...
2018-03-08 10:48:00
3753
1
原创 在myeclipse上连接hadoop-2.8.0 运行mapreduce程序
首先 hadoop集群是要先搭建的没的说。可以先在hadoop上运行自带的mapreduce jar包，跑一下，不成功说明配置文件没有配置好，这里就不说配置哪些了，网上很多。1.在windows下下载hadoop-2.8.0.tar.gz 并且解压 2.下载 hadoop-eclipse-plugin-2.7.0.jar插件 ，然后放到myeclipse的dropins文件夹下，然后重启my...
2018-03-07 18:47:20
310
原创 在centos7基于hadoop2.8.0安装hive2.1.1注意点
安装参考文章：安装hive2.1.1链接我安装hive2.1.1基本上就是看这个博主的，但是在安装的时候出现一些错误，不知道博主为什么可以安装成功，我就会出现错误，所以写这一篇就是记录一下自己怎么对博主安装做了哪些改动的。1.直接关闭防火墙 ，因为前面都没有单独开放端口，所以为了统一就统统不开放了，直接把防火墙关了。命令：systemtcl stop firewalld.service2.hive...
2018-03-02 14:24:30
219
原创 hbase 在三台centos7上的分布式集群的配置部署
linux镜像是centos7 Hadoop版本2.8.0 zookeeper版本3.5.1 hbase版本1.3.1 jdk 1.8hadoop 部署zookeeper的部署hbase的部署 注意点一：在集群各个节点的/var目录下面创建一个文件夹： sudo mkdir -p /var/hadoop/pids,记得更改这个文件夹的权限，chown -R hadoop:hadoop /v...
2018-02-28 10:02:41
696
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人