- 博客(39)
- 收藏
- 关注
RSS订阅原创 mac系统下使用flink消费docker运行的kafka
版本flink 1.12.0scala 2.11java 1.8kafka 2.0.2首先使用maven创建一个新的工程mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.12.0 -DgroupId=learn.flink -DartifactId=flink-java -Dversion=1.0
2021-12-07 14:38:37
604
原创 HBase读写数据流程
写数据流程客户端现在要插入一条数据，rowkey=r000001, 这条数据应该写入到table表中的那个region中呢？1/ 客户端要连接zookeeper, 从zk的`/hbase`节点找到`hbase:meta`表所在的regionserver（`host:port`）;2/ `regionserver`扫描`hbase:meta`中的每个region的起始行健，对比`r00000...
2019-01-15 18:16:11
401
原创 spark+kafka+redis简单操作
sparkStreaming消费kafka数据,将偏移量写入到redis中的简单操作kafka生产者生成一些数据object Kafkaproducer { def main(args: Array[String]): Unit = { // kafka的配置 val props: Properties = new Properties() // broker的节...
2019-01-06 23:54:50
786
原创 Spark中处理业务并写入mysql
数据样本ip.txt1.0.1.0|1.0.3.255|16777472|16778239|亚洲|中国|福建|福州||电信|350100|China|CN|119.306239|26.0753021.0.8.0|1.0.15.255|16779264|16781311|亚洲|中国|广东|广州||电信|440100|China|CN|113.280637|23.1251781.0.32.0|...
2018-12-28 20:09:25
1080
原创 认识GC时遇到的算法
引用计数算法给对象中添加一个引用计数器，每当有一个地方引用它时，计数器值就加1；当引用失效时，计数器值就减1；任何时刻计数器为0的对象就是不可能再被使用的但是主流jvm中并没有使用引用计数算法来管理内存,主要是因为它很难解决对象之间相互循环引用的问题可达性分析算法在主流的商用程序语言(C#,Java,Lisp)的主流实现中，使用可达性分析(Reachability Analysis)来判定...
2018-12-05 18:49:16
139
原创 springboot+mybatis简单操作
实现步骤：1.Springboot项目创建2.在pom.xml中，使用maven架包导入mybatis依赖dependency3.逆向工程，配置自己的generatorConfig逆向工程的配置文件，然后使用maven插件执行出来，逆向出DAO层还有Model层4.在application.properties中，配置我们的数据源 mybatis所需要的配置5.MyMapper接口的创建...
2018-11-27 21:15:25
131
原创 JQ实现ajax简单代码
这里是 html页面jq代码 $("#btn").click(function() { $.ajax({ url: "http://localhost:8080/FirstServlet/Register", method: "get", data:{ "username":$("#name").val(), "pwd":$("#pas
2018-11-27 20:34:56
270
原创 flume、azkaban、sqoop小操作
flume 日志采集工具agent 任务 source channel sinknetcat 想相当于开启了socket进行接收spooldir 检测文件夹,但是内部不要再有文件夹,而且不要放重名文件,否则处理后发现有重名文件会报错exec unix命令的执行结果作为要接受的数据 例如 tail -F xxx.logavro 常用于RPC,远程数据传输,在agent串联中作为上一个age...
2018-11-21 21:03:41
423
原创 centos7安装 flume
1.上传flume压缩包2.解压3.在conf文件夹下复制flume-env.sh.template并改名为flume-env.sh并添加Java环境完成
2018-11-19 21:18:38
309
原创 hiveQL
create table student(id string,name string) row format delimited fields terminated by ‘\t’;将本地文件加载到表中load data local inpath ‘/usr/local/data.txt’ into table student;将hdfs文件加载到表中load data inpath...
2018-11-13 20:12:07
766
原创 centos7安装hive
安装hive前提:首先hadoop集群环境要能跑起来1.先在网上下一个hive的压缩包2.然后解压3.解压完将这个jar包传到hive的lib文件夹下4.在 /etc/proflie 下将HIVE_HOME和path配置好5.在conf文件夹下创建hive-site.xml<configuration> <property>
2018-11-12 19:22:50
415
原创 centos7安装 my sql
安装mysql步骤:1.sudo yum -y install wget2.wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm3.sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm4.sudo yum -y install mysql-server...
2018-11-12 19:12:58
402
原创 打包eclipse中的MapReduce类及在linux上运行jar出现的问题
注意:我使用的是centos7+hadoop2.7.3的环境今天将eclipse中写好的MapReduce打成jar包传到linux服务器上，跑了下hadoop集群。首先先记录下如何将eclipse的工程打成jar包1.选中你要打包的包右键选中export2.输入jar选择如下 然后next3.点击Browse选择一个你想保存jar包的位置 然后next4.然后一直next到最后无...
2018-11-06 19:27:17
521
原创 MapReduce中自定义类并序列化
今天操作了一下MapReduce，并自定义了类进行输入输出。其中出现了一些问题:就是该如何序列化。然后将输出中的key-value分别使用自定义的类。当value为自定义的类时发现当value为自定义的类时，此类一定要继承writable。并重写其中的write()和readFields()方法。方能成功。当你只继承Comparable时，会出现异常当key为自定义的类时需要继承W...
2018-11-05 19:42:50
401
原创 MapReduce模板
package gorilla.util;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWrit...
2018-11-02 11:20:52
131
原创 类的加载
1.加载将类的.class文件加载到方法区创建一个Class对象(表示就是.class文件) 相当于文件的对象2.连接验证 验证一下类的内部结构(成员变量 和 方法)准备 为静态变量或静态方法开辟空间 赋初始值解析 将局部变量进行替换 替换成对应值 int a = 10 下面所有的a直接替换成103.初始化创建对象 new对象...
2018-10-31 21:51:38
106
原创 利用JUnit实现对hadoop中javaAPI的测试
package gorilla.test;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntax...
2018-10-31 21:50:28
508
1
原创 JUnit中的注解
可以不需要写在main方法 添加@Test注解就可以测试了@Before在执行每个方法之前，会有公共的事情，可以写。会在每个方法执行之前调用@After则与@Before相反...
2018-10-31 09:17:49
140
转载 HDFS读写流程
HDFS写数据流程client发起文件上传请求,通过RPC与NameNode建立连接,NameNode检查目标文件是否已经存在,父目录是否存在,并检查用户是否有相应的权限,若检查通过, 会为该文件创建一个新的记录,否则的话文件创建失败,客户端得到异常信息,client通过请求NameNode,第一个block应该传输到哪些DataNode服务器上;NameNode根据配置文件...
2018-10-29 19:29:52
178
原创 基于伪分布式hadoop搭建完全分布式
上篇博客中，我们搭建了单机版和伪分布式版的hadoop。但是在真正的开发中都是用的完全分布式hadoop环境。因此今天我们就来搭建一下完全分布式hadoop环境。前提:有四台解压了hadoop和javajdk，且其中一台作为namenode需要已经搭建成了伪分布式，其他三台作为datanode，所以这三台还不需要配置环境完全分布式hadoop在xshell中右击，最下方有个“发送键输入到所...
2018-10-28 20:56:02
800
原创 linux搭建单机版和伪分布式hadoop
前提:我使用的window操作系统，然后下载的VMware创建虚拟机，然后在xshell中进行操作，并使用filezilla进行文件的上传。这些可以自行百度搜索下载。单机版hadoop环境搭建首先我们用VMware创建一个新的虚拟机。创建过程不在细说了。创建完成后，useradd hadoop添加用户，并添加密码。然后ip addr查询一下ip在xshell和filezilla上连接一下。...
2018-10-25 20:52:37
790
原创 linux设置用户名并使用命令设置密码
useradd username方法1.passwd 密码来手动设置密码方法2.**echo “密码” | passwd username --stdin这样就直接设置成功了
2018-10-24 21:47:03
11326
原创 servlet连接数据库实现登录
实现了一个简单的连接数据库查询用户名是否匹配，并登录且记住账户密码的操作。一下是代码。封装的一个Connection工具类package com.xx;import java.io.IOException;import java.io.InputStream;import java.sql.Connection;import java.sql.DriverManager;impo...
2018-10-10 22:30:17
12621
2
原创 Servlet中的一些基本方法
获取servlet配置信息(需要在web.xml中进行配置)getServletConfig()然后getInitParameter()获getInitParameterNames()然后就可以获取web.xml中的配置信息了获取ServletContext对象1.getServletConfig().getServletContext();2.getServletContext()...
2018-10-09 21:34:09
1020
原创 Eclipse中将Servlet部署在TomCat上
首先创建一个Dynamic Web Project记得将这个勾上然后将TomCat服务器添加到Eclipse中就会出现右击 点击add and remove 点击工程 添加 完成后 点击工程右击 选中Properties 找到这个add Libarary选择Server Runtime添加您下载的tomcat服务器，保证版本一致。第三步完成后添加一个class文件然后就...
2018-10-08 21:05:37
1992
原创 封装JDBC连接
封装一个JDBC连接的工具类并使用了读取工程下的JDBC.Properties文件,这样只需要修改文件中的信息，实现了代码的复用。public class JDBCUitl2 { private JDBCUitl2(){ } private static Connection connection; private static Properties prope...
2018-09-29 20:53:44
818
原创 JDBC
JDBCjava database connection是java为连接数据库提供的一套接口连接数据库步骤1.加载驱动类2.获取数据库连接 通过数据库账号密码获取连接3.通过数据库连接对象 获取sql语句的执行对象4.使用SQL语句执行对象来执行sql语句5.接受执行sql语句后的结果集处理6.关闭资源 Class.forName("com.mysql....
2018-09-28 20:08:35
127
原创 数据库之连接查询
学生表CREATE TABLE student (stuid VARCHAR (10) PRIMARY KEY,stuname VARCHAR (50)); 分数表CREATE TABLE score (stuid VARCHAR (10),score INT,courseid INT); 科目表CREATE TABLE course (courseid VARC...
2018-09-28 20:03:45
138
原创 数据库查询栗子
去除重复数据 distinct 注意:查询的所有数据完全相同才能去除重复的 查询emp表中所有薪金SELECT DISTINCTename,salFROMemp; 查看雇员的月薪与佣金之和 sal+comm两列值相加并且组成一个新的字段 值和null相加只能返回null IFNULL(expr1,expr2) 如果expr1为null就用expr2代替...
2018-09-27 19:36:23
476
原创 数据库之简单入门
1.DDL语句 数据库定义语句 (对 库 表 进行定义)Create Drop Alter2.DML语句 对数据库中表的数据进行操作insert update delete3.DQL语句 对数据库中的数据进行查询(简单查询)select1.DDL语句1.查询当前所有的数据 show databases2.创建数据库 Create database 数据库名3...
2018-09-26 19:46:16
236
原创 Java之反射
反射可以将一个正在运行的类通过这个Class文件的对象，可以直接获取类内部的所有方法和成员变量。获取Class文件对象1.通过对象获取2.通过类获取3.通过Class中的静态方法获取(Class.forName())比如说我们创建了一个Person类 // 通过对象获取 Person person = new Person(); //...
2018-09-25 20:32:26
90
原创 java之多线程
多线程首先本文是建立在大家对进程和线程有一点了解的基础上的。如进程线程了解不多的话，可以参考 [进程、线程、多线程相关总结 ]。线程的几种创建方式1.继承Thread类// 创建线程类的子类class SubThread extends Thread{ // 重写run方法 @Override public void run() { Syst...
2018-09-19 20:21:30
110
原创 java之流之深入
LineNumberReader作用:用来获取行号。比如： File file = new File("xx/Desktop/Test/hong.txt"); FileReader fr = new FileReader(file); LineNumberReader lnr = new LineNumberReader(fr)...
2018-09-17 20:36:19
116
原创 java之装饰者模式
装饰者模式作用:对对象的原有功能进行升级书写步骤1.明确被装饰的对象2.将被装饰的对象 通过构造方法传入装饰类装饰类中 肯定有一个成员变量 就是被装饰的对象3.拥有被装饰的对象 相当于可以调用该对象中的所有方法就可以对该方法进行升级// 在校学生class Student implements Study{ @Override public void Study...
2018-09-17 20:30:20
120
原创 java之流
转换流转换流呢是可以查指定编码表进行读写的流。 OutputStreamWriter(字符流转向字节流的桥梁) InputStreamReader(字节流转向字符流的桥梁) 具体操作如下: // 转换流写个UTF-8格式的文件 public static void getWriterUTF8() throws IOException { // 文件...
2018-09-15 12:01:07
130
原创 java之File
文件首先是获取文件的三种方法// File类构造方法1 根据绝对路径或者相对路径构造File file = new File("src/dd.txt");// File类构造方法2 根据 parent 路径名字符串和 child 路径名字符串创建一个新 File 实例。File file2 = new File("某文件夹名", "wl.txt&
2018-09-12 19:32:00
156
原创 java之异常处理
异常相比大家写了这么久代码，控制台出现异常的次数不会少了吧。今天我们就来看看异常。 首先，什么是异常呢。 Java异常是Java提供的一种识别及响应错误的一致性机制。就是会出现各种奇奇怪怪的红字终止了你的程序。 我们来看看异常的划分Throwable(所有异常的父类) --Error(数据库崩溃 系统崩溃) --Exception(异常类) ...
2018-09-11 20:07:51
125
原创 java之面向对象之多态
多态多态呢就是一种事物的多种形态或者状态。 多态的前提 1.类与类之间有关联(继承关系) 2.必须要有方法的重写 3.父类的引用指向子类空间举个栗子：// 先创建两个类 一个动物类 一个猫类继承动物类class Animal{ public void eat() { System.out.println("恰"); }}class Ca...
2018-08-29 19:47:36
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人