珹先生-CSDN博客

原创 Maven加载jar包的几种方式

Maven加载jar包的几种方式常规方式正常我们使用maven加载jar包，基本上都是添加jar名称，利用之前配置好的下载端点进行下载，例如： <dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc8</artifactId> <version>12.2.0.1</version> </dependenc

2021-07-14 16:14:46 1565

文章目录Oracle 日常基本命令用户与权限创建用户给用户修改密码修改自己的密码删除用户给用户赋权限收回用户权限系统权限：是数据库管理相关的权限：connnect 角色：resource 角色：dba 角色：表空间创建表空间必须使用 system 用户创建创建用户指定默认表空间修改用户默认表空间：查看表空间：查看用户默认表空间：表结构的操作创建表：修改表添加列修改列删除列修改表的名称修改列名查看表结构约束非空（NOT NULL）添加非空删除非空唯一（UNIQUE）添加修改唯一删除唯一主键（PRIMARY K

2021-07-14 13:58:42 2439

原创 Mybatis连接Mysql进行增删查改

文章目录Mybatis简单介绍利用maven下载jar包创建配置文件创建database.properties文件创建mybatis-config.xml 文件创建mapper文件夹及RoleDao.xml文件提交创建好两张表及插入数据Role 表User表编写代码dao接口Role 类User类测试类TestMybatisMybatis简单介绍MyBatis 是一款优秀的持久层框架，它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的

2021-07-13 16:40:02 270

原创 Flink Window窗口机制

文章目录Flink Window窗口机制Demo 1Demo 2Demo 3Flink Window窗口机制Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。本文主要聚焦于在Flink中如何进行窗口操作，以及程序员如何从window提供的功能中获得最大的收益。　　窗口化的Flink程序的一般结构如下，第一个代码段中是分组的流，而第二段是非分组的流。正如我们所见，唯一的区别是分组的stream调用keyBy(…

2021-06-30 22:44:58 359 2

原创 Flink是什么？如何简单应用？

文章目录Flink是什么？Flink介绍处理无界和有界数据部署应用程序在任何地方以任何规模运行应用程序利用内存中的性能Flink Demo展示利用Scala 进行wordcount利用Java进行wordcount利用Java进行wordcount2Source 展示source1_CollectSource2_FileSource3_KafkaSource4_MySourceSink 展示Sink1_KafkaSink2_MysqlFlink是什么？Flink介绍Apache Flink是一个框架和

2021-06-28 20:58:11 454 2

原创利用IDEA对Redis进行增删查改

利用IDEA对Redis进行增删查改利用maven导入依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.6.0</version> </dependency>设置资源文件新建 resource文件夹，并设置为资源文件夹，并在文件夹

2021-06-28 10:41:03 1007 1

原创 Redis是什么？它的优点有哪些？

Redis是什么？它的优点有哪些？Redis 是当前互联网世界最为流行的 NoSQL（Not Only SQL）数据库。NoSQL 在互联网系统中的作用很大，因为它可以在很大程度上提高互联网系统的性能。Redis 具备一定持久层的功能，也可以作为一种缓存工具。对于 NoSQL 数据库而言，作为持久层，它存储的数据是半结构化的，这就意味着计算机在读入内存中有更少的规则，读入速度更快。对于那些结构化、多范式规则的数据库系统而言，它更具性能优势。作为缓存，它可以支持大数据存入内存中，只要命中率高，它就能快速

2021-06-26 12:37:52 3370

原创 Redis中五种数据类型简单操作

文章目录Redis中五种数据类型简单操作字符串的增删改查Set集合的增删改查List集合的增删改查Hash集合(类似Java)的增删改查SortedSet集合的增删改查Redis中五种数据类型简单操作假设你已经安装Redis服务器；假设你已经打开Redis cli命令行工具；假设你对Redis有所了解；Redis简单增删改查例子字符串的增删改查#增加一个key为ay_key的值127.0.0.1:6379> set ay_key "ay"OK#查询ay_key的值127.0.0.

2021-06-25 09:42:40 75

原创 CentOS7使用命令行安装Oracle11GR2

文章目录CentOS7使用命令行安装Oracle11GR2安装依赖包验证依赖包创建oracle用户解压Oracle安装包修改系统配置创建Oracle安装目录修改环境变量修改oracle配置文件安装数据库安装完成验证安装结果启动数据库日常开机后启动的步骤：CentOS7使用命令行安装Oracle11GR2安装依赖包操作用户：rootyum -y install binutils compat-libcap1 compat-libstdc++-33 compat-libstdc++-33*i686 co

2021-06-24 18:50:55 531 1

原创 Spark Streaming 窗口函数window

Spark Streaming 窗口函数windowSpark Streaming之window滑动窗口应用，Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据，会被聚合起来执行计算操作，然后生成新的RDD，新的RDD组合成一个新的DStream在窗体函数展示网官图中所示，就是对每三秒钟的数据执行一次滑动窗口计算，这3秒内的3个RDD会被聚合起来进行处理，然后过了两秒钟，又会对最近三秒内的数据执行滑动窗口计算。所以每个

2021-06-23 20:57:30 640 1

原创 Spark Streaming 简单应用

Spark Streaming 简单应用这里介绍几个 Dstream 的使用小demo 仅供参考demo 1实现简单的WordCount 功能，在nc端口生产数据后，可以在控制台打印WordCount的统计结果：import org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.

2021-06-22 21:23:02 116 2

原创 Azkaban的应用

文章目录Azkaban的应用项目流程demo1-hello worlddemo2demo2-1demo2-2demo 3demo 4demo 5demo 6demo 7demo 8demo8-javademo-sparkpangAzkaban的应用这里做了几个简单的有代表性的demo，介绍了azkaban日常工作中的应用场景，以供参考项目流程打开登录页面：登录后点击右上角的create project 创建新的项目：demo1-hello world创建一个项目文件：azkaban.pr

2021-06-22 20:57:24 317 1

原创 Azkaban的安装

Azkaban的安装编译编译的目的是为了获取对应的安装包官网下载链接：https://azkaban.github.io/官方配置教程：https://azkaban.readthedocs.io/en/latest/getStarted.html#虚拟机需要先安装Gradle工具，如果没有安装的话，可以去官方下载自己对应的版本下载得到这两个压缩包后进行安装：tar -zxvf azkaban-3.84.10.tar.gzunzip gradle-5.6.3-all.zip然后对azk

2021-06-21 21:03:38 600

原创 MongoDB数据导入Hive

MongoDB数据导入Hive方法和Hbase导入hive类似，区别在于，需要现在Mongodb设置一个账户创建用户进入mongodb后开始操作：//创建管理员账户 userAdminAnyDatebase 为管理员权限，可以管理，不能关闭数据库> use adminswitched to db admin> db.createUser({user:"admin",pwd:"admin",roles:[{"role":"userAdminAnyDatabase","db":"a

2021-06-07 16:02:58 670 1

原创 Hbase数据映射到Hive

Hbase数据映射到Hive//新建库并使用库 create database events; use events; //设置变量名为db 指向库名 events set hivevar:db=events; //设置允许所有的分区列都是动态分区列00000000000000000000 set hive.exec.dynamic.partition.mode=nonstrict; //设置允许动态分区功能 SET hive.optimize.sort.dy

2021-06-07 15:57:58 969

原创 Java实现MongoDB的简单增删改查

Java实现MongoDB的简单增删改查现有一个mongodb的测试表格，内容如下：根据该表做一个简单的增删改查，具体实现代码如下：import com.mongodb.BasicDBObject;import com.mongodb.MongoClient;import com.mongodb.client.FindIterable;import com.mongodb.client.MongoDatabase;import com.mongodb.client.MongoIterable

2021-06-06 19:23:05 426

原创 MongoDB日常命令总结

MongoDB日常命令总结> show databases 查看数据库admin 0.000GBconfig 0.000GBkb11 0.000GBlocal 0.000GB> use kb11 //选择数据库switched to db kb11> show tables //查看数据库中的表students> db.createCollection("aabb"); //创建表{ "ok" :

2021-06-04 20:59:14 118

原创 MongoDB安装步骤及常用命令

文章目录MongoDB安装步骤解压并改名创建文件夹创建配置文件启动常用命令MongoDB安装步骤解压并改名tar -zxvf mongodb-linux-x86_64-rhel70-4.0.24.tgzmv mongodb-linux-x86_64-rhel70-4.0.24 mongodb创建文件夹在mongodb目录下创建以下文件夹，用于存放对应文件//创建数据库文件路径mkdir -p ./data/db//创建日志文件路径mkdir -p ./log创建配置文件在mon

2021-06-02 21:14:21 147 1

原创 Kafka窗口函数

Kafka窗口函数public class WindowStream { public static void main(String[] args) { Properties prop=new Properties(); prop.put(StreamsConfig.APPLICATION_ID_CONFIG,"windowdemo"); prop.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG,"192.16

2021-05-31 22:19:13 292 2

原创 Kafka中的数据导入Hbase

Kafka中的数据导入HbaseHbase新建空表start-hbase.shhbase shellcreate_namespace 'events_db'create 'events_db:user_friend', 'uf'编写代码public class UserFriendToHB { static int num =0; public static void main(String[] args) { //kafka消费端属性配置

2021-05-31 22:17:46 208

原创 Java实现C3P0数据库连接池

Java实现C3P0数据库连接池maven 下载依赖包<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.38</version> </dependency> <!-- https://mvnrepository

2021-05-31 19:51:45 222

原创 Java实现WordCount统计本地文件(单线程和多线程)

Java实现WordCount统计本地文件(单线程和多线程)单线程public class WordCountTest { public static void main(String[] args) { long start = System.currentTimeMillis(); Map<String,Integer> wordMap=new TreeMap<>(); FileReader fr=null;

2021-05-31 19:44:03 229

原创 Java 实现 Kafka Streaming API

Java 实现 Kafka Streaming API下面用几个实例简单实现一下Kafka Streaming，几个案例都需要提前在kafka内创建对应名称的 topic，这里不做赘述，直入主题。案例一：实现直接转入本案例实现的功能为往 topic A 写入数据时，会同步写入topic B，只是简单的转发功能，代码如下：import org.apache.kafka.common.serialization.Serdes;import org.apache.kafka.common.

2021-05-27 21:50:15 265 2

原创 Java代码实现Kafka生产者和消费者API

文章目录Java代码实现Kafka生产者和消费者生产者消费者Java代码实现Kafka生产者和消费者这里通过java代码分别实现kafka的生产者和消费者，并且能够实时发送和接收数据生产者public class MyProducer { public static void main(String[] args) { Properties properties = new Properties(); properties.put(ProducerConfig

2021-05-27 21:36:59 352

原创 Hive提取JSON字符串内的指定字段名的值

hive提取json字符串内的指定value值方法如上图所示test表内，info列的值为一个json字符串，利用什么方法可以直接取出其中time 的值。除自定义UDF函数外，这里提供两种简单的方法。get_json_objectget_json_object 函数可以按照JSON字符串内的字段名取值：select get_json_object(info,'$.time') from testjson_tuple可以达到相同的功能，区别在于 get_json_object 一次只能去

2021-05-27 21:27:35 2441

原创 Flume中的拦截器的使用方法(Interceptor)

文章目录Flume中的拦截器的使用方法(Interceptor)Java代码实现打Jar 包创建conf文件验证Flume中的拦截器的使用方法(Interceptor)Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有Java代码实现用java代码实现简单的功能，如果出现hello开头的，拦截到一个地方，出现hi开头的

2021-05-25 14:39:34 998

原创 Flume安装及使用

文章目录Flume安装及使用安装解压并改名配置flume.env.sh文件测试安装netcat安装telnet基本使用案例一配置conf文件运行案例二准备文件创建conf文件修改events.csv文件名运行文件：Flume安装及使用安装解压并改名tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gzmv flume-ng-1.6.0-cdh5.14.0.tar.gz flume160514配置flume.env.sh文件路径为： flume160514/conf

2021-05-24 16:47:01 775 1

原创 Kafka的安装

文章目录Kafka的安装解压并改名配置文件server.properties配置环境变量启动启动Zookeeper启动Kafka常用命令汇总生产者模式和消费者模式总结Kafka的安装需要安装环境内有JDK环境，Zookeeper可以自己安装，也可以使用Kafka自带的集成zookeeper解压并改名安装文件放到Linux系统内后解压进行改名tar -zxvf kafka_2.11-2.0.0.tgzmv kafka_2.11-2.0.0 kafka211配置文件server.properti

2021-05-20 16:39:28 73

原创 Spark项目模拟——航班飞行网图分析

文章目录Spark项目模拟——航班飞行网图分析需求描述数据准备需求思路整理代码实现总结机场数量：航线数量：最大的边属性：哪个机场到达航班最多：找出最重要的飞行航线：找出最便宜的飞行航线：Spark项目模拟——航班飞行网图分析需求描述数据准备数据文件一份，如下：文件格式为CSV，字段之间分隔符为“,”列依次为：#日、周#、航空公司、飞机注册号、航班号、起飞机场编号、起飞机场、到达机场编号、到达机场、预计起飞时间（时分）、起飞时间、起飞延迟（分钟）、到达预计时间、到达时间、到达延迟（分钟）、预计飞

2021-05-19 21:29:23 965 9

原创 Spark 处理log日志

文章目录Spark 处理log日志(数据清洗)源数据准备数据清洗要求准备环境开始清洗实现需求Spark 处理log日志(数据清洗)源数据准备准备一个 .log 格式的文件，内容如下所示数据清洗要求准备环境读取文件后，按照格式一层层切分数据，并将最终的结果保存到 Mysql 数据库中，代码如下所示先设置参数类，避免多次调用的代码冗余object JdbcUtils { val url="jdbc:mysql://192.168.146.222:3306/etldemo" val

2021-05-18 22:29:48 2016 1

原创 Spark处理复杂JSON字符串

复杂JSON字符串的处理(Spark高级技巧)准备数据准备一份复杂一点的json字符串{"cm":{"ln":"-55.0","sv":"V2.9.6","os":"8.0.4","g":"[email protected]","mid":"489","nw":"3G","l":"es","vc":"4","hw":"640*960","ar":"MX","uid":"489","t":"1593123253541","la":"5.2","md":"sumsung-18","vn":"1.3.4"

2021-05-13 14:16:20 445 1

servlet功能演示

空空如也