kevin_37723298-CSDN博客

原创 Debezium获取MySQL Binlog同步到kafka，sparkStreaming实现实时计算

Debezium获取MySQL Binlog同步到kafka，sparkStreaming实现实时计算版本信息：kafka(kafka_2.11-2.1.1)zookeeper(zookeeper-3.4.10)sprak(spark-2.1.0-bin-hadoop2.7)Debezium(debezium-connector-mysql-0.9.5.Final-plugin.tar.gz)Debezium下载地址https://repo1.maven.org/maven2/io/debezi

2020-09-02 10:46:28 1030

原创 Spark Streaming整合Kafka，Mysql，实时保存数据到Mysql(直接读取方式)

集群分配如下：192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本：spark-2.1.0-bin-hadoop2.7kafka版本：kafka_2.11-2.0.0Spark Streaming程序package com.kk.sparkstreaming.kafkaimport org....

2018-12-03 10:42:31 5504 3

原创 SparkSQL创建表的几种方式

数据格式：7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30// 需要导入的包import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.catalyst.encoders.ExpressionEncoderi...

2018-11-25 20:42:46 16495

原创 idea中使用mybatis,mapper和xml不能在同一级，解决方法

需要在pom.xml中添加<build> <finalName>cdn</finalName> <resources> <resource> <directory>src/main/java</directory> <includes> <include>**/*.p...

2019-06-04 17:33:02 858

原创 springboot启动报错解决方案(ApplicationEventMulticaster not initialized - call 'refresh' before multicasting)

报错异常java.lang.IllegalStateException:ApplicationEventMulticasternotinitialized-call'refresh'beforemulticastingeventsviathecontext:org.springframework.context.annotation.AnnotationCo...

2019-05-13 08:33:45 2181

原创 Spark Streaming整合Kafka，Mysql，实时保存数据到Mysql(基于Receiver的方式)

集群分配如下：192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本：spark-2.1.0-bin-hadoop2.7kafka版本：kafka_2.11-2.0.0Spark Streaming程序package com.kk.sparkstreaming.kafkaimport org....

2018-12-03 10:43:11 962

原创 Spark Streaming整合Flume，Mysql(基于Flume的Pull模式)，实时保存数据到Mysql

集群分配如下：192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本：spark-2.1.0-bin-hadoop2.7flume版本：apache-flume-1.7.0-binflume配置如下：#flume启动命令#bin/flume-ng agent -n a1 -f myagent/a...

2018-11-30 16:59:52 298

原创 Spark Streaming整合Flume，Mysql(基于Flume的Push模式)，实时保存数据到Mysql

集群分配如下：192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本：spark-2.1.0-bin-hadoop2.7flume版本：apache-flume-1.7.0-binflume配置如下：#flume启动命令#bin/flume-ng agent -n a4 -f conf/a4.c...

2018-11-30 16:58:58 271

原创 SparkSql操作表的两种方式

package com.kk.sparksqlimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.catalyst.encoders.ExpressionEncoderimport org.apache.spark.sql.Encoderimpor...

2018-11-25 21:02:15 1239

原创 Scala中常用的高阶函数

// map-&gt;在列表的每个元素上计算一个函数，并且返回一个包含相同数目元素的列表def main(args:Array[String]) { val num = List(1,2,3,4) num.map((i:Int)=&gt;i*2) for (n &lt;- num.map((i:Int)=&gt;i*2)) { println(n) }...

2018-11-21 22:58:58 514

原创 Scala中的文件访问

1. 读取行def main(args:Array[String]) { // 读取行 val source = scala.io.Source.fromFile("G://a.txt"); println(source.mkString); val line = source.getLines(); for (s&lt;-line) { pr...

2018-11-21 22:57:13 383

原创 Scala中的继承，抽象，特质

1. 继承// 父类class Person(val name:String, val age:Int) { def sayHello():String = name + age;}// 子类// 如果希望使用子类中的值，去覆盖父类中的值，需要加override关键字class Employee(override val name:String,override val age:...

2018-11-20 23:03:09 154

m0_37723298的博客