- 博客(66)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Java 并发编程＜13＞-ThreadPoolExecutor的springboot应用
ThreadPoolExecutor的springboot应用，a .为什么使用线程池降低系统资源消耗，通过重用已存在的线程，降低线程创建和销毁造成的消耗；提高系统响应速度，当有任务到达时，通过复用已存在的线程，无需等待新线程的创建便能立即执行；方便线程并发数的管控，因为线程若是无限制的创建，可能会导致内存占用过多而产生OOM，并且会造成cpu过度切换（cpu切换线程是有时间成本的（需要保持当前执行线程的现场，并恢复要执行线程的现场）提供更强大的功能，延时定时线程池b.线程池为什么需要使用队列。
2022-12-10 14:25:18
726
1
原创 Mysql 锁、大事务、MVCC版本控制
Mysql事务与Spring事务、Mysql并发多版本控制MVCC、Mysql大事务、Mysql索引分类及存储
2022-10-16 15:45:54
322
原创 Java并发编程系列-线程安全性、锁控制及原子操作和安全集合有哪些
Java 并发编程<1>-线程实现的方式Java 并发编程<2>-线程状态Java 并发编程<3>-线程属性和方法Java并发编程<4>-线程安全Java并发编程<5>synchronizedJava并发编程<6>ThreadLocalJava并发编程<7>lock和ReentrantLock...
2022-05-14 10:36:17
138
原创 实时数仓-Doris ON ES
原理介绍 Doris通过创建外部表方式将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案，支持： ES中的多index分布式Join查询 Doris和ES中的表联合查询，更复杂的全文检索过滤 创建ES外表后，FE会请求建表指定的主机，获取所有节点的HTTP端口信息以及index的shard分布信息等，如果请求失败会顺序遍历host列表直至成功或完全失败。 执行查询时，会根据FE得到的...
2021-11-22 21:59:28
4896
原创 实时数仓-Doris简介及安装
doris简介doris由百度大数据部研发 ，之前叫百度Palo，2018年贡献到Apache社区后，更名为doris。本博客主要从业务角度（我们为什么会选择使用它，如何用）来对doris进行简要介绍。doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。MPP (Massively Parallel Processing)，即大规模并行处理。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇...
2021-11-21 10:10:20
3566
原创 Flink客户端操作
命令介绍 Flink 提供了丰富的客户端操作来提交任务和与任务进行交互，包括 Flink 命令行，Scala Shell，SQL Client，Restful API 和 Web。Flink 首先提供的最重要的是命令行，其次是 SQL Client 用于提交 SQL 任务的运行，还有就是 Scala Shell 提交 Table API 的任务。同时，Flink 也提供了Restful 服务，用户可以通过http 方式进行调用。此外，还有 Web 的方式可以提交任务。命令操作1、启动服...
2021-10-24 10:20:06
722
原创 Flink Kafka数据写入MySql
之前我们讲过kafka-flink-es的场景，本次我们讲解kafka->flink-mySql，即数据采集存储到kafka，通过flink消费kafka数据，实时计算，结果存储到mySql，这个场景项目接处也是非常多，因为数据很多时候要存储到数据库，下面介绍具体实现过程。环境搭建flink参考Flink环境搭建，令人惊愕的HA，mySql自行安装。代码实现1、pom.xml 引入下面的包<properties> <flink.version>1..
2021-10-08 21:46:21
1804
原创 nginx常用配置-/root/alias/try_files/index/代理/跨域/https
1. 最简反向代理配置在http节点下，使用upstream配置服务地址，使用server的location配置代理映射。upstream my_server { server 10.0.0.2:8080; keepalive 2000;}server { lis
2021-09-05 16:16:08
980
原创 Flink Kafka数据写入Elasticsearch
现在相当多场景设计为：kafka->flink-es，即数据采集存储到kafka，通过flink消费kafka数据，实时计算，结果存储到es，最后通过kibana展现，下面介绍具体实现过程。环境搭建 flink参考Flink环境搭建，令人惊愕的HA，kafka和elasticsearch的环境搭建参考参考之前写的文章，如下链接Elasticsearch7.X-Springboot整合ELK进行日志收集<1>。启动kafka、启动elasticsearch。...
2021-08-02 22:50:18
1086
原创 Flink SQL 案例Word Count
FlinkSQL简介Flink SQL 支持的语法 Flink SQL 核心算子的语义设计参考了 1992、2011 等 ANSI-SQL 标准，Flink 使用 Apache Calcite 解析 SQL ，Calcite 支持标准的 ANSI SQL。 Flink Table & SQL API是在DataStream和DataSet之上封装的一层高级API，看下图： 基于 Flink SQL 编写的 Flink 程序也离不开读取原始数据，计算逻辑和写入计...
2021-07-27 22:03:58
447
2
原创 Flink客户端操作
Flink 命令行 Flink环境搭建前面已经讲过，可回顾Flink环境搭建，令人惊愕的HA环境搭建。Flink 的命令行参数很多，输入 flink - h 能看到完整的说明：flink-1.7.2bin/flink -h 如果想看某一个命令的参数，比如 Run 命令，输入：flink-1.7.2bin/flink run -h1.启动命令在bin目录下执行./start-cluster.sh访问http://192.168.244.129:8...
2021-07-27 21:37:00
641
1
原创 Flink水位线之watermark原理及实战
watermark概念Flink 实际上是用 watermarks来实现 Event - Time 的功能。watermark在Flink中也属于特殊事件，其精髓在于当某个运算值收到 。带有时间戳“T”的watermarks时就意味着它不会接收到新的数据了。使用watermark的好处在于可以准确预估收到数据的截止时间。举例，假设预期收到数据时间与输出结果时间的时间差延迟 5分钟，那么Flink 中所有的windows Operator 搜索 3点至4点的数据，但因为存在延迟需要再多等5 分钟直至收
2021-07-22 20:12:55
960
1
原创 Flink状态管理和容错
状态管理的基本概念flink状态是什么flink的状态，简单来说，就是有状态函数或者算子在处理数据时，保存在本地的一个变量，这个变量可以是自定义结构的数据，用于记录计算时产生的结果，或者其他的数据。有状态的操作在对每条数据进行处理时，会基于状态计算或更新状态信息，如下图：为什么要管理状态？ 使用了状态，为什么要管理状态？因为实时作业需要7*24不间断的运行，需要应对不可靠的因素而带来的影响。flink状态的分类managed State & Raw State...
2021-07-11 19:42:34
257
2
原创 Flink的数据转换Transformation
datastream转换操作 single-datastream操作：定义对单个datastream数据集元素的处理逻辑map、flatmap、filter、keyby、reduce、aggregation。 multi-datastream操作：定义对多个datastream数据集元素的处理逻辑union、connect、comap、coflatmap、split、select、iterate。datastreammap() 调用用户定义的MapFunction对Data...
2021-07-08 22:47:04
605
2
转载 java中父类声明子类实例化
问题：1、比如两个类。父类：Father ，子类 Child extends Father。在使用时候，这样写：Father child==new Child();这样看来，声明的时候，是父类，而在产生对象的时候，实际的对象是子类。怎么理解？？？知识点：Java的多态性面向对象编程有三个特征，即封装、继承和多态。封装隐藏了类的内部实现机制，从而可以在不影响使用者的前提下改变类的内部结构，同时保护了数据。继承是为了重用父类代码，同时为实现多态性作准备。那么什么是多态呢？方法的
2021-07-04 22:40:45
587
原创 Flink-数据局流DataStream
扫码关注系列文章Flink主要用来处理数据流，所以从抽象上来看就是对数据流的处理，正如前面大数据开发-Flink-体系结构&& 运行架构提到写Flink程序实际上就是在写DataSource、Transformation、Sink。 DataSource是程序的数据源输入，可以通过StreamExecutionEnvironment.addSource(sourceFuntion)为程序 添加一个数据源 Transformation是具体的操作，它对一个或多...
2021-07-04 17:43:07
353
3
原创 Elasticsearch7.X-IK分词器
ES中文分词离不开ik插件，下面介绍分别介绍ik插件的安装及分词的扩展。IK分词器安装IK插件安装1.下载ik插件https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.0/elasticsearch-analysis-ik-7.12.0.zip2.放入plugins的目录下解压3.重新启动es即可扩展本地词库 ik分词之所以能分词除了java解析还有与之对应的分词词典...
2021-06-19 21:49:29
311
2
原创 Flink-剖析窗口周期
在讲窗口之前，我们回顾下Flink中的数据分类:有界数据流和无界数据流。 无界数据流：指的是一旦开始生成后就会持续不断的产生新的数据，即数据没有时间边界，这种类型的数据一般适用于做ETL 有界数据流：指的是输入的数据有始有终，一般这种类型的数据用于批处理，如统计过去一分钟的pv或者uv等类似聚合类操作。 Flink又是实时流技术，那么如何支持有界数据流的聚合操作呢？这个时候就有了窗口的概念。 窗口的作用就是为了周期性的获取数据，即把传入的无界数据流在逻辑上划分...
2021-06-13 16:10:28
257
1
原创 Flink的数据类型
Apache Flink 以其独特的方式来处理数据类型以及序列化，这种方式包括它自身的类型描述符、泛型类型提取以及类型序列化框架。本文档描述了它们背后的概念和基本原理。支持的数据类型 Flink 对可以在 DataSet 或 DataStream 中的元素类型进行了一些限制。这样做的原因是系统会分析类型以确定有效的执行策略。 Java Tuple 和 Scala Case类； Java POJO； 基本类型； 通用类； 值； ...
2021-06-07 21:02:33
668
4
原创 Flink经典案例HelloWorld
Flink是由Scala进行开发的，而Scala是基于JVM的一种语言。所以最终也会转换为JAVA字节码文件，所以Flink程序可以由Java、Scala两种语言都可以进行开发。也可以同时开发。比如Java写一部分代码，Scala写另一部分代码。可以参考<Apache Flink利用Maven对Scala与Java进行混编>。首先运用maven的flink1.13.0项目骨架生成项目mvn archetype:generate -DarchetypeGroupId=or...
2021-05-30 10:26:05
1580
原创 Flink环境搭建，令人惊愕的HA
扫码关注系列文章 Flink的HA，不仅依赖zookeeper而且还依赖分布式文件系统如：HDFS、OSS、S3、MapR FS等，一个高可用集群居然依赖两个外部服务，kafka已经去除了zookeeper，相信不久的将来Flink也会做出改变。环境搭建（单节点） Flink 环境搭建分为docker方式及实体机方式，我们下面分别以docker方式及实体机方式进行安装。docker-compose.yml方式（1）配置yml文件version: "2.1"...
2021-05-24 22:01:43
521
原创 Flink系列-起源及生态组件
来源：Flink系列-起源及生态组件扫码关注系列文章Flink简介 Apache Flink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够不上在各种集群环境，对各种规模大小的数据进行快速计算。Flink 是一个分布式的流处理框架，它能够对有界和无界的数据流进行高效的处理。Flink 的核心是流处理，当然它也能支持批处理，Flink 将批处理看成是流处理的一种特殊情况，即数据流是有明确界限的。 与spark对比，flin...
2021-05-16 19:36:18
279
原创 Elasticsearch7.X-Springboot整合ELK-kafka进行日志收集(dockercompose安装)＜2＞
来源：Elasticsearch7.X-dockercompose安装Springboot整合ELK进行日志收集扫码关注系列文章为什么用kafka 通常我们看到如上数据流向图，有人用Redis在中间作为消息队列，但Redis作为消息队列并不是它的强项，RabbitMQ的为了保证消息不丢失他的性能和kafka至少相差10倍以上，作为日志可以允许丢失现象，Kafka 是一个高吞吐量的分布式发布订阅日志服务，具有高可用、高性能、分布式、高扩展、持久性等特性，所以kafka为最佳选择。...
2021-05-11 21:44:44
315
6
原创 Elasticsearch7.X-Springboot整合ELK进行日志收集(dockercompose安装)＜1＞
来源：Elasticsearch7.X-dockercompose安装Springboot整合ELK进行日志收集ELK简介 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana ,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎...
2021-05-05 22:13:24
442
2
原创 Elasticsearch7.12主键/version/routing/consistency写一致
扫描关注持续好文目录ID生成介绍VERSION介绍外部版本号文档路由原理默认路由机制自定义路由文档写一致性quorumallID生成介绍 映射也就是mapping，用来定义一个文档以及其所包含的字段如何被存储和索引，可以在映射中事先定义字段的数据类型、分词等属性。自动生成id，和手动生成id的适应场景： 手动指定ID 从某些其他的系统中，导入一些数据到es时，会采取这种方式，就是使用系统中已有数据的唯一标识，作为es中document...
2021-05-01 10:43:47
470
原创 Elasticsearch7.12搜索-索引mapping＜2＞
动态映射概念说明 动态映射可直接创建索引并写入文档，文档中的字段的类型是es自动识别的，不需要在创建索引的时候设置字段的类型。在实际项目中，如果遇到的业务在导入数据之前不确定有哪些字段，也不清楚字段的类型是什么，使用动态映射非常合适。es在文档文档插入时，它会利用动态映射来决定该字段的类型，并自动把该字段添加到映射中，根据字段的取值自动推测字段类型。规则如下： JSON数据 ES中的数据类型 null 不会添加字段...
2021-04-30 21:01:22
290
2
原创 Elasticsearch7.12搜索-索引mapping＜1＞
扫码关注持续好文映射简介及类比 映射也就是mapping，用来定义一个文档以及其所包含的字段如何被存储和索引，可以在映射中事先定义字段的数据类型、分词等属性。与关系型数据库对比在关系型数据库中创建数据表时会设置字段的类型，如下创建user_info表，createtableuser_info(idVARCHAR2(32) notnull,nameVARCHAR2(50),tel VARCHAR2(...
2021-04-24 21:26:48
720
1
原创 Elasticsearch7.12全文搜索-索引的建立
扫码关注持续好文索引简介 索引是具有相同结构的文档集合，我们对elasticsearch的大部分操作都是 基于索引来完成，在Elasticsearch中，文档归属于一种类型(type),在 5.X 版本中，一个 index 下可以创建多个 type；在 6.X 版本中，一个 index 下只能存在一个 type；在 7.X 版本中，直接去除了 type 的概念，就是说 index 不再会有 type。而类型存在于索引(index)中。与关系型数据库类比 Elasticsea...
2021-04-24 21:22:50
524
原创 Elasticsearch7.12全文搜索安装
扫码关注持续好文es安装es有两种安装方式，一种直接在linux系统安装，另一种基于容器安装。1.在linux系统下安装es7需先安装好jdk11或以上版本，容器安装不需要考虑，下面以docker安装为例。2.基于centos7以上的docker安装1）docker方式拉去镜像docker pull docker.elastic.co/elasticsearch/elasticsearch:7.12.02)单节点启动docker run -p 9200:...
2021-04-24 21:19:02
209
原创 Elasticsearch来源
Elasticsearch简介简介 全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的查询字词的过程。 搜索目前以Elasticsearch和solr使用最多，而es是目前最流行...
2021-04-24 21:10:00
358
转载 彻底理解ThreadLocal
ThreadLocal是什么 早在JDK 1.2的版本中就提供java.lang.ThreadLocal，ThreadLocal为解决多线程程序的并发问题提供了一种新的思路。使用这个工具类可以很简洁地编写出优美的多线程程序。 当使用ThreadLocal维护变量时，ThreadLocal为每个使用该变量的线程提供独立的变量副本，所以每一个线程都可以独立地改变自己的副本，而不会影
2015-10-19 15:04:06
357
转载 Spring中Singleton模式的线程安全
spring中的单例 2011-01-06 14:00 spring中管理的bean实例默认情况下是单例的[sigleton类型],就还有prototype类型 按其作用域来讲有sigleton,prototype,request,session,global session。 spring中的单例与设计模式里面的单例略有不同，设计模式的单例是在整个应用中只有一个实例，而spr
2015-10-19 15:02:11
351
转载 成员变量和局部变量有什么区别？
clashttp://blog.csdn.net/wgz721/article/details/6616408s A { int a;//成员变量 public static void main(String[] args) { int b;//局部变量 } }—————————————————————————————————————————————————————
2015-10-19 14:48:20
499
转载 windows服务器环境下apache内存释放及死机问题解决办法一览
http://hi.baidu.com/seo0775/item/27e4891f7e64536d70d5e841windows服务器环境下apache内存释放及死机问题解决办法一览环境：windows2003系统，dell 1u服务器，phpnow集成环境：apache2.2+php5.2+mysql-5.0问题：用一段时间后httpd进程会占用过多内存，有时候占1.5G
2014-02-11 17:18:38
5653
转载 权限
http://blog.csdn.net/netv/article/details/6526142一、管理什么，控制什么我们在做系统开发的时候都离不开后台管理，我们要管理的非业务对象有哪些呢？根据我个人的经验总结如下：1． 用户管理2． 组织机构管理3． 职务管理4． 功能菜单5． URL管理6． 角色管理 二、如何管理1． 用户
2013-12-09 14:25:44
747
原创 单点登录cas 的2点疑问？
你好 我想问下2个问题（3.2.1） 1.SessionMappingStorage 不是静态的， 客户端退出的时候怎么能得到原来的值 实现服务端调用客户端退出的。 2.session失效监控退出销毁SessionMappingStorage 里的对应session，如果 session是基于客户端保存的 那么关闭浏览器SessionMappingStorage 永远无法销毁？
2013-08-31 09:04:44
493
linux telnet 64位安装文件包
2016-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人