- 博客(60)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Spring Framework 注解大全
Spring IOC/DI 相关注解@Configuration 等价于applicationContext.xml配置@Configurationpublic class ApplicationConfig { //...}使用程序实现加载工厂AnnotationConfigApplicationContext ctx= new AnnotationConfigA...
2019-09-29 16:44:11
1683
原创 Kafka Streams——轻量级的流处理库
Kafka Streaming概述Kafka Streams是一个用于构建应用程序和微服务的客户端库，其中的输入和输出数据存储在Kafka集群中。它结合了在客户端编写和部署标准Java和Scala应用程序的简单性，以及Kafka服务器端集群技术的优点。特点弹性、高可扩展、容错可以部署在容器、虚拟机、单独、云环境中同样适用于小型、中型和大型用例集成Kafka Security写标准的...
2019-08-02 18:19:03
1257
原创 从零学Elasticsearch系列——JAVA API操作
参考资料：https://spring.io/projects/spring-data-elasticsearch#overview测试代码GitHub地址：查询方式Restful API基于http协议，使用JSON为数据交换格式，通过9200端口的与Elasticsearch进行通信，您可使用HttpClient类库通过9200端口操作Elasticsearch。JAVA A...
2019-01-09 11:18:24
6768
2
原创 SpringBoot工程中整合Dubbo + Nacos
SpringBoot工程中整合Dubbo + Nacos文章目录SpringBoot工程中整合Dubbo + Nacos一、前言二、服务注册添加依赖在 application.properties 中配置创建服务接口创建服务接口实现启动SpringBoot工程 发布dubbo服务二、服务消费添加依赖在 application.properties 中配置Dubbo服务消费者启动SpringBoot工程 测试服务调用一、前言Dubbo：服务调用的RCP框架，测试版本：2.7.8Nacos :
2020-11-03 17:24:24
1604
原创 如何在SpringCloud工程中使用Alibaba Nacos作为服务注册中心
如何在SpringBoot工程中使用Alibaba Nacos作为服务注册中心文章目录如何在SpringBoot工程中使用Alibaba Nacos作为服务注册中心前言一、服务注册二、服务发现前言Nacos官网一、服务注册添加依赖<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</art
2020-11-03 15:40:33
224
原创 面试算法题: 求数组中的第二最大数
如题：/** * 求数组中的第二最大数 * @author gaozhy * @describe * @date 2020/9/11 5:23 下午 */public class SecondMaxNumber { public static void main(String[] args) { int[] arr = new int[]{10, 1, 5, 14, 3, 0, 13, 18, 9,15,20}; int firstMax = Integ
2020-09-11 18:09:05
269
原创 Git 版本控制系统
Git版本控制系统一、概述https://git-scm.com/Git is a free and open source distributed version control system designed to handle everything from small to very large projects with speed and efficiency.版本控制是一种...
2020-02-26 17:56:58
926
原创 SparkSQL 统计某天每个用户访问页面次数前N的的页面
前两天有小老弟面试遇到如下问题：那应该如何完成这个SQL语句的书写呢？测试数据：val rdd = spark.sparkContext.makeRDD( List( ("2018-01-01", 1, "www.baidu.com", "10:01"), ("2018-01-01", 2, "www.baidu.com", "10:01"), ("2018-0...
2020-02-10 22:14:36
1266
原创 Apache Kafka基本操作
Apache Kafka基本操作一、概述http://kafka.apache.org/Apache Kafka是一个分布式的流数据平台； 三层含义：消息系统（MQ）： 发布和订阅流数据流数据处理（Streaming）: 可以基于Kakfa开发流数据处理的应用，用以实时处理流数据流数据存储（Store）： 以一种安全分布式、冗余、容错的方式，存放流数据；Apache Kafk...
2020-01-06 17:56:44
289
原创 Apache Hive
Apache Hive一、概述数据仓库：英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射...
2020-01-06 17:30:56
416
原创 Apache Flume
Apache Flume一、概述http://flume.apache.org/Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data.Flume分布式、可靠、高效的数据采集、聚...
2020-01-06 17:16:22
344
原创 Spark SQL面试题——窗口函数
问题A表里面有三笔记录 字段是 ID start_date end_date数据是：1 2018-02-03 2019-02-03;2 2019-02-04 2020-03-04;3 2018-08-04 2019-03-04；根据已知的三条记录用sql写出结果为：A 2018-02-03 2018-08-04;B 2018-08-04 2019-02-03; C 2019-0...
2019-12-12 14:28:24
3997
1
原创 Spark Standalone HA集群
一、准备环境三台虚拟机（版本CentOS7）172.16.82.128 node1172.16.82.129 node2172.16.82.130 node3配置ip地址映射[root@localhost ~]# vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localh...
2019-12-10 14:26:54
365
原创 Spark SQL
Spark SQL一、概述http://spark.apache.org/docs/latest/sql-programming-guide.htmlSpark SQL是Spark中一个模块，用以对结构化数据进行处理。SparkSQL在RDD之上抽象出来Dataset/Dataframe 这两个类提供了类似RDD的功能，也就意味用户可以使用map、flatMap、filter等高阶算子，同时...
2019-12-03 16:38:34
490
原创 Scala入门到放弃——模式匹配和样例类（十二）
十六、模式匹配和样例类模式匹配是Scala中非常有特色，非常强大的一种功能。模式匹配，其实类似于Java中的swich case语法，即对一个值进行条件判断，然后针对不同的条件，进行不同的处理。但是Scala的模式匹配的功能比Java的swich case语法的功能要强大地多，Java的swich case语法只能对值进行匹配。但是Scala的模式匹配除了可以对值进行匹配之外，还可以对类型进行...
2019-11-14 10:56:49
172
原创 Scala入门到放弃——集合（十一）
十五、集合Scala提供了一套很好的集合实现，提供了一些集合类型的抽象。Scala 集合分为可变的和不可变的集合：可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。不可变集合（默认）类永远不会改变。不过，你仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改变。集合中基本结构：序列Vecto...
2019-11-14 10:55:09
268
原创 Scala入门到放弃——泛型（十）
十四、泛型泛型类类似于Java，类和特质可以携带类型参数class Student[T, S](var name: T, var age: S) { // T S K // <> ---> [T,S,K]}object Student { def main(args: Array[String]): Unit = { // ...
2019-11-14 10:50:56
136
原创 Scala入门到放弃——异常处理和隐式转换（九）
十二、异常处理异常Scala 的异常处理和其它语言比如 Java 类似。Scala 的方法可以通过抛出异常的方法的方式来终止相关代码的运行，不必通过返回值。package exceptionimport java.io.IOException/** * scala异常分类和java一样的 * Throwable * |- Error * |- Ex...
2019-11-14 10:47:51
179
原创 Scala入门到放弃——高阶函数（八）
十一、高阶函数scala的函数对象是一种特殊的class，即可担当函数计算职责又可以作为变量传递作为值的函数object Function04 { def main(args: Array[String]): Unit = { val result = sum _ // _ 匹配函数参数列表 println(result) } def sum(x: Int, y...
2019-11-14 10:44:59
156
原创 Scala入门到放弃——特质trait（七）
十、特质trait类似于Java中的接口语法特质关键词trait特质可以同时用于抽象方法和具体方法无父类 实现特质extends trait1 with trait2 with trait3 ...有父类 实现特质extends 父类 with 特质1 with 特质2 ...当做接口的特质Scala可以完全像Java接口一样工作, 你不需要将抽象方法声明为 ...
2019-11-14 10:41:11
194
原创 Scala入门到放弃——继承（六）
九、继承scala继承使用extends关键字package classesclass Animals { var name: String = ""}class Bear extends Animals { def run = name + "在愉快的奔跑！"}object AnimalsDemo { def main(args: Array[String]): ...
2019-11-14 10:35:24
139
原创 Scala入门到放弃——类和对象（五）
八、类类是对象的模板， 属性（有什么）和方法（做什么）类定义package classes// 简化写法// class User// 标准写法class User {}object UserDemo { def main(args: Array[String]): Unit = { // 创建对象 "new" 关键字 val user1 = new ...
2019-11-14 10:31:12
114
原创 Scala入门到放弃——数组（四）
七、数组操作概念上类似于Java中的数组，一个特定类型的元素集合数组的初始化package arrayobject Array01 { def main(args: Array[String]): Unit = { // 数组声明 // a1数组的长度为10 泛型为Int val a1 = new Array[Int](10) val a2 = n...
2019-11-14 10:21:01
130
原创 Scala入门到放弃——函数（三）
六、函数函数三要素：函数名、参数、函数体声明函数语法def functionName ([参数列表]) : [return type] = { 函数体}示例// 无返回值def sayHi(str: String): Unit = { println("Hello:" + str)}// 可省略返回值类型，支持自动推导def sum(x: Int, y: Int) = x...
2019-11-14 10:18:06
147
原创 Scala入门到放弃——变量、类型、条件分支、循环（二）
三、变量和类型常用类型和Java一样，Scala中也有7种数值类型：Byte、Short、Int、Long、Double、Float、Char，以及1个Boolean类型。跟Java不同的是，这些类型都是类，归属于scala.*包。还有一种常用类型为java.lang.String用以声明字符串表达式表达式是可计算的语句。如：1 + 1你可以使用println来输出表达式的结果。/...
2019-11-14 10:16:07
228
原创 Scala入门到放弃——安装和基本使用（一）
Scalahttps://www.scala-lang.org/一、概述Scala是一门多范式的编程语言，一种类似java的编程语言 [1] ，设计初衷是实现可伸缩的语言 [2] 、并集成面向对象编程和函数式编程的各种特性。二、安装和使用安装配置JDK（略）C:\Users\Administrator>java -versionjava version "1.8.0_161...
2019-11-14 10:13:05
273
原创 Spark Streaming输出操作【Output Operations on DStreams】
Spark Streaming输出操作 可以将DStream中的数据写入到外部的存储系统，如：数据库或者文件系统Output OperationMeaningprint()Prints the first ten elements of every batch of data in a DStream on the driver node running the s...
2019-07-05 16:20:16
680
原创 Spark学习之路（四）【RDD编程 API——动作算子Action】
RDD编程APISpark支持两个类型（算子）操作：Transformation和ActionAction触发代码的运行，我们一段spark代码里面至少需要有一个action操作。常用的Action动作含义reduce(func)通过func函数聚集RDD中的所有元素，这个功能必须是课交换且可并联的collect()在驱动程序中，以数组的形式返回数据集的所有...
2019-06-25 11:37:21
314
原创 Spark学习之路（三）【RDD编程 API——转换算子Transformation】
RDD编程APISpark支持两个类型（算子）操作：Transformation和ActionTransformation主要做的是就是将一个已有的RDD生成另外一个RDD。Transformation具有lazy特性(延迟加载)。Transformation算子的代码不会真正被执行。只有当我们的程序里面遇到一个action算子的时候，代码才会真正的被执行。这种设计让Spark更加有效率地运...
2019-06-25 10:27:17
465
原创 Spark学习之路（二）【RDD概述、不同数据源的RDD创建方式】
Spark之RDDRDD概述RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。构建RDD通过并...
2019-06-14 18:04:10
454
原创 Spark学习之路（一）【概述、环境搭建、基本操作】
Spark一、概述http://spark.apache.org/Apache Spark™ is a unified(统一) analytics engine for large-scale data processing.特点高效：Run workloads 100x faster.易用：Write applications quickly in Java, Scala, Pyt...
2019-06-11 17:08:54
2278
原创 使用Logstash-input-jdbc同步数据库中的数据（全量 和 增量）
从零学Elasticsearch系列——基础概念从零学Elasticsearch系列——环境搭建从零学Elasticsearch系列——使用kibana实现ES基本的操作从零学Elasticsearch系列——深入搜索（Query、Filter、Aggregation）从零学Elasticsearch系列——JAVA API操作从零学Elasticsearch系列——集成中文分词器IK...
2019-04-26 10:42:07
6817
4
原创 MongoDB系列——搭建MongoDB分片集群（六）
Mongo官网——Sharding官方介绍Sharding（分片） is a method for distributing data across multiple machines. MongoDB uses sharding to support deployments with very large data sets and high throughput operations.个...
2019-04-10 14:38:27
225
原创 MongoDB系列——搭建MongoDB副本集集群（五）
Mongo官网——Replication官方介绍：A replica set in MongoDB is a group of mongod processes that maintain the same data set. Replica sets provide redundancy and high availability, and are the basis for all prod...
2019-04-10 14:22:07
454
原创 MongoDB系列——Spring Boot集成（四）
注：示例代码使用的Spring Boot版本为：2.0.1.RELEASESpring Boot集成本质上使用的Spring Data MongoDB创建Spring Boot工程并导入Maven依赖<dependencies> <dependency> <groupId>org.springframework.boot<...
2019-04-10 14:05:22
181
原创 MongoDB系列——官方JAVA API操作（三）
一、简介MongoDB常用的JAVA客户端驱动有两种：mongodb-driver（官方）：https://docs.mongodb.com/ecosystem/drivers/springdata-mongodb：https://spring.io/projects/spring-data-mongodbNOTE：3.6版本的MongoDB，只允许localhost连接，如果您要...
2019-04-09 16:04:55
5853
1
原创 MongoDB系列——常用操作CRUD（二）
一、插入操作1. 单个文档插入db.COLLECTION_NAME.insert(document)2. 批量文档插入db.COLLECTION_NAME.insert([document,document1.....])注：在高版本mongodb中又新增了 db.collection.insertOne()和db.collection.insertMany() 这两个方法，分别...
2019-04-09 14:39:14
230
原创 MongoDB系列——概述（一）
一、简介MongoDB 是一款免费开源的NOSQL文档型数据库，旨在为WEB应用提供可护展的高性能数据存储解决方案。Note:NOSQL(not only sql)：指的是非关系型数据库,没有固定的存储格式，一般适用于超大规模数据的存储。NOSQL优点：高可用、可扩展、低成本、数据结构灵活NOSQL缺点：弱化事务二、 特点数据存储格式为 BSON（一种二进制形式的存储格式...
2019-04-09 14:28:27
294
原创 基于CAS实现单点登录
CAS一、概述CAS是中央认证服务Central Authentication Service的简称。最初由耶鲁大学的Shawn Bayern 开发，后由Jasig社区维护，经过十多年发展，目前已成为影响最大、广泛使用的、基于Java实现的、开源SSO解决方案。2012年，Jasig和另一个有影响的组织Sakai Foundation合并，组成Apereo。Apereo是一个由高等学术教育机...
2019-04-01 11:09:28
6756
转载 单点登录SSO
单点登录SSO概述一、概述单点登录单点登录（Single Sign On），简称为 SSO，是目前比较流行的企业业务整合的解决方案之一。SSO的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。1. 单系统登录机制如图：2. 多系统登录机制 单系统登录，SSO需要一个独立的认证中心，只有认证中心能接受用户的用户名密码等安全信息，其他系统不提供登录入口，只...
2019-04-01 10:50:28
118
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人