- 博客(34)
- 收藏
- 关注
RSS订阅原创 Docker:安装配置容器化的Hadoop集群和hive
目录一、环境和应用准备二、构建images三、搭建Hadoop集群四、配置Hadoop集群五、安装Hive一、环境和应用准备环境：centOS7安装包版本：apache-hive-3.1.2-bin.tarhadoop-2.7.7.tar.gzjdk-8u11-linux-x64.tar.gzmysql-connector-java...
2020-04-17 09:47:49
1943
转载 centos7 增加根目录磁盘空间
https://blog.csdn.net/dylloveyou/article/details/81147491
2020-04-14 16:00:28
301
原创 docker 搭建zookeepr集群和kafka集群
搭建kafka集群需要先建好zookeeper集群。我们需要三个镜像，zookeeper、wurstmeister/kafka:2.12-2.0.1和sheepkiller/kafka-manager，其中sheepkiller/kafka-manager不是必须的。下拉镜像docker pull zookeeperdocker pull wurstmeister/kafka:2....
2020-04-10 15:06:22
273
1
原创 kafka:创建主题、生产者发消息、消费者收消息
创建test主题：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test生产者发送消息：./kafka-console-producer.sh --broker-list localhost:9092 --topic tes...
2020-04-08 15:12:30
416
原创 kafka消费者发消息失败
报错如下./kafka-console-producer.sh --broker-list 容器ip:9092 --topic testTopic>1[2020-04-01 01:42:01,606] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id ...
2020-04-01 10:11:38
2851
2
原创 kafka启动消费者失败
bash-4.4# ./kafka-console-producer.sh --broker-list kafka1:9092 --topic testTopic[2020-04-01 01:39:16,119] WARN Couldn't resolve server kafka1:9092 from bootstrap.servers as DNS resolution failed for...
2020-04-01 09:49:02
6428
原创 hdfs的读写文件过程
写详细步骤：1、客户端向NameNode发出写文件请求，。2、检查是否已存在文件、检查权限。若通过检查，客户端调用DistributedFileSystem的create方法创建文件，直接先将操作写入EditLog，并返回输出流对象。（注：WAL，write ahead log，先写Log，再写内存，因为EditLog记录的是最新的HDFS客户端执行所有的写操作。如果后续真实写操作失败了...
2019-05-09 12:25:36
932
转载 java的经典算法--递归解决爬楼梯问题
面试中比较常见的算法问题假设你正在爬楼梯，需要n步你才能到达顶部。但每次你只能爬一步或者两步，你能有多少种不同的方法爬到楼顶部样例比如n=3，1+1+1=1+2=2+1=3，共有3中不同的方法返回 3public class Solution { /** * @param n: An integer * @return: An integer ...
2019-05-09 10:06:43
2491
原创 java多线程--run方法和start方法的区别
/*创建一个线程 Thread t1 = new Thread();t1.run(); 只是调用了一个普通方法，并没有启动另一个线程，程序还是会按照顺序执行相应的代码。t1.start(); 则表示，重新开启一个线程，不必等待其他线程运行完，只要得到cup就可以运行该线程。*/package puzzle;public class test { public static vo...
2019-04-04 16:13:39
422
原创 java list集合的遍历删除
list集合可以用remove方法来删除元素，但是用简单的for循环遍历来依次删除肯定是错的package udf;import java.util.ArrayList;import java.util.Arrays;public class Quanxian { public static void main(String[] args) { ArrayList<St...
2019-04-03 20:45:52
256
原创 hive的一些基础知识
Hive 是什么？ Hive 是建立在 Hadoop 上的数据仓库。通俗的说，数据仓库就是用来作为查询 分析的数据库，很少用来插入，修改，删除 当前我们使用的hive版本是2.5.3.0-37hive中的基本数据类型数值型：tinyint、smallint、int、integer、bigint、float、double、decimal日期类型：timestamp（纳秒级时间戳) DAT...
2019-03-29 22:06:30
393
转载 java 集合有序无序
有序、无序是指在进行插入操作时，插入位置的顺序性先插的位置在前，后插的位置在后，则为有序，反之无序而大家容易混淆的就是排序，排序是指集合内的元素是否按照升序或降序来排序实现了List接口的集合类全部有序，如ArrayList、LinkedList实现了Set接口的集合类中，HashSet无序，TreeSet有序（二叉树排序)实现了Map接口的集合类中，HashMap无序，TreeMap...
2019-03-28 21:55:44
1184
原创 java 的四种修饰符权限
同类 同包 子类 其他包 public √ √ √ √ protect √ √ √ × default √ √ × × private √ × × ×
2019-03-27 15:43:41
126
原创 java死锁的构建
在一个多线程得环境当中，A线程拿了a资源再等待b资源，B线程拿到了b的资源，正在等待获取a资源。但是要求a和b资源均为共享资源，若不是共享资源，则不存在线程同步问题。public class DeadLock { static class MyThread extends Thread { private int id; public static Object resourceA...
2019-03-26 21:58:03
431
原创 java实现快速排序
public class TestQuickSort{ public static void quickSort(int [] intArray,int low,int high){ if(){ return; } } int low_temp=low; int high_temp=high; in...
2019-03-26 20:25:00
137
原创 Object的常用方法
equals：判断两个对象是否相等，java原生实现的是比较地址，重写后可自定义，多改成按内容比较。比如String，Integer等。hashcode返回对象的hashcode值，是个int值，多用于hash结构的对象，比如hashset、hashmap，用于查找位置之后的再进行equal的比较，提高查找效率。toString对象的字符串化toClass返回对象的字节...
2019-03-26 17:22:30
245
原创 java的单例模式--饿汉模式
单例模式，用来是实现来产生一个对象，在一个应用进程中自始至终，只有一个实例对象饿汉模式，来了就要吃public class EleManSingle { private static EleManSingle singleton = new EleManSingle(); private EleManSingleton(){ } public stati...
2019-03-25 21:31:06
267
1
转载 java中的多态
比如你要做个篮子放水果，你当然不希望造这样的篮子--苹果篮子，橘子篮子，梨篮子，正常人都会想，麻烦啊，我就造个篮子，什么都能放，干嘛造那么多啊？回归程序：你造个篮子 basket（）；参数是水果 fruit，这样你调用的时候就可以这样 basket（fruit f）；然后往里放苹果啊，梨啊，什么都行，只要是水果类的子类好处：这样设计你的程序，等你的参数变了的时候，只要还是水果，你就不用去改程序...
2019-03-21 15:19:53
144
原创 mysql的一些基础知识
DDL:Data Definition Language（数据定义语言）create、alter、dropDML:Data Manipulation Language（数据操作语言） insert、update、deleteDQL:Data QueryLanguage（数据查询语言），主要是select...
2019-03-13 21:39:04
146
原创 hive项目准备工作的常用模式
当我们开发项目，进行数据仓库的操作时，我们没必要一条命令一条命令的写，我们可以把命令分门别类的写在操作系统脚本文件里，然后把命令中的变量用参数代替（以后只需要修改这些参数就行了），然后去执行这些文件就行了。文件多了也需要分开放置到不同路径里，常用的四个路径是config、create、deal、udf。config：存放相关配置变量create：存放表结构数据deal：具体的sql脚本udf：ud...
2018-05-20 08:43:41
280
原创 JDBC和DBCP
jdbc是Java Database Connectivity(java数据库连接)是一种用于执行sql语句的java api示例源码(防注入、使用PrepareStatement)：首先要利用反射注册加载驱动，然后是建立连接，这个过程需要指明url（类似于ip，用于识别数据库的位置，其写法为jdbc:mysql://192.168.88.107:3306/Mrs_WuHo_O,其中jdb...
2018-04-09 20:21:58
4964
原创 java版二次排序的流程
基本的二次排序，以按照两个字段排序为例。先按第一字段升序，再按第二字段降序。二次排序的核心是把原来的key--value对组合成key，称为newkey，value还是value。与原来的wordcount相比，多了一个“分组”步骤，就是把newkey中的第一个字段相同的数据放到一起，再按第二个字段排序。如图，pre-map阶段，namenode切分文件后，再把文件内容按行（\n）分割，距行首的偏...
2018-04-08 21:50:08
1575
原创 MapReduce具体过程
统计hdfs某个文件中重复单词的数目（WordCount），每个单词用空格分隔，统计每个单词的出现频率，说明MapReduce框架的过程。进行map过程之前，进行Pre-Map过程。框架帮我们把文件切分，NameNode把文件切分成block，每个block最大为128M；文件小于128M时，文件多大形成的block就是多大；一个block不能跨多个文件。分隔好后，针对每个文件内部，再根据换行符\...
2018-03-17 22:53:59
322
转载 大数据生态组件简述
1、客户端向 nameNode 发送要上传文件的请求2、nameNode 返回给用户是否能上传数据的状态3、加入用户端需要上传一个 1024M 的文件，客户端会通过 Rpc 请求 NameNode，并返回需要上传给那些 DataNode(分配机器的距离以及空间的大小等),namonode会选择就近原则分配机器。4、客户端请求建立 block 传输管道 chnnel 上传数据5、在上传是 datan...
2018-03-17 09:16:27
691
原创 hadoop：linux下读取集群上的文件
package com.wh.util;import java.io.ByteArrayOutputStream;import java.io.File;import java.io.IOException;import java.util.ArrayList;import java.util.Collections;import java.util.HashMap;import j...
2018-01-31 23:14:41
905
1
原创 linunx环境下ssh已root身份远程密钥登录其他主机
原理：客户端向ssh服务器发出请求，服务器将自己的公钥返回给客户端；客户端用服务器的公钥加密自己的登录密码，再将信息发送给服务器；服务器接收到客户端传送的密码，用自己的私钥解码。 正确性判断： 如果结果正确，则同意登录，建立起连接，否则拒绝运行流程开始连接之前，保证远程主机的ssh服务开启，防
2018-01-31 22:52:02
464
原创 maven java redis
一、建立maven工程。建立好maven project后打開pom修改原有的pom，加上倉庫(repositories)和依賴(dependencies)。改好maven后，就可以再雙人床、中新建包和類，用java代碼運行redis即可。。
2018-01-20 22:44:04
459
1
原创 linux系统下的把mysql的编码格式改成utf8
用vi /etc/my.cnf编辑配置文件，按下图改。修改好后，service mysqld restart重启数据库服务。登录数据库，使用一个数据库，如use mysql，然后用show variables like 'character_set_%';查看是否修改好了，修改好后应呈现
2018-01-20 00:19:19
455
1
原创 虚拟机和linux系统的安装
选择操作系统版本：CentOs安装虚拟机VM VirtualBox5.5.1.30，按步骤安装。设置安装位置按自己的需求禁止或允许选项（一般按默认的全都打上对勾就行了）安装过程中会重启网络链接，选择yes选择Install开始安装等待安装VM VirtualBox安装完成手动或自动开启VM VirtualBox 管理器，准备安装系统，选择新建创建虚拟电脑，起名字，选定系统和版本，我们选用的是red...
2018-01-18 22:57:08
286
空空如也
为什么先pull再push?
2023-03-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人