- 博客(88)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Camunda并行网关(Parallel Gateway)使用介绍
目前Camunda提供了5种不同类型的网关：Parallel Gateway（并行网关）,Complex Gateway（复杂网关） ,Exclusive Gateway（独占网关）,Inclusive Gateway（包容网关）,Event-based Gateway（事件网关）。本文主要介绍Parallel Gateway（并行网关）。一、并行网关使用场景并行网关适用于，当多个条件任务同时执行完毕时，流程才能继续向下进行的场景。
2023-03-25 19:28:39
1644
原创 Camunda - external task之NotAcquiredException
Camunda The task's most recent lock could not be acquired解决办法
2023-02-18 16:31:06
960
原创 Camunda - 参数lockDuration与asyncResponseTimeout
Camunda external task lockDuration与asyncResponseTimeout参数介绍
2023-02-18 15:38:12
1102
原创 Camunda错误边界事件与用户任务结合使用
使用Camunda错误边界事件(Error boundary event)与用户任务(User task)处理流程异常与修复
2023-02-04 19:52:25
1947
2
原创 SpringBoot集成OpenFeign实现文件下载
本文介绍了如何在SpringBoot中集成Openfeign, 并以文件下载为案例，介绍了如何使用openfeign，以及使用openfeign下载文件时的注意事项。
2022-07-31 20:45:57
3103
原创 3.6 Trino二次开发-动态数据源管理-打包阶段问题汇总
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任
2022-01-20 15:58:26
7228
1
原创 3.5 Trino二次开发-动态数据源管理-代码实现
目录前言代码实现1.Restful接口2.数据源信息注册到ConnectorManager、CatalogManager3.通过Announcer机制广播数据源信息4.DiscoveryNodeManager的refreshNodesInternal维护数据源信息5.完整代码地址总结前言上文中对动态数据源的二次开发方案进行了表述，本文将从代码的层面，实现Trino动态数据源的管理。代码实现代码实现上，我们依旧从开发方案中提到的4个步骤入手，对核心代码进行刨析。
2022-01-18 16:29:26
8211
8
原创 3.4 Trino二次开发-动态数据源管理-开发方案设计
目录前言1.前提2.不足3.方案介绍步骤1步骤2步骤3步骤4总结前言前面的文章中，围绕着Catalog对Trino的源码进行了调研和解析，了解了Catalog加载过程中都做了哪些的工作。本文将围绕动态数据源管理为主题，进行二次开发方案的阐述。开发方案设计1.前提首先强调几个小的前提我们管理的动态数据源，是基于当前Trino的Plugin支持的数据源类型。 Trino对数据源的支持粒度是集群节点级别的。举个例子，假设Trino集群Test有三个..
2022-01-14 17:00:51
7606
3
原创 3.3 Trino二次开发-动态数据源管理-源码解读3
文章目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言上文中介绍了如何在Trino中添加Rest API接口，以及Trino加载到创建Catalog的过程。由于篇幅的原因没有对updateConnectorIds部分的源码进行调研。本文中主要涵盖两部分的内容：1）Trino Catalog创建过程中涉及到的实体和类进行梳理2）updateConnectorIds调研一、Catalog创建过程中涉及的实体和类示例：pan
2022-01-06 13:42:44
7312
1
原创 3.2 Trino二次开发-动态数据源管理-源码解读2
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分
2021-12-28 16:21:47
7417
5
原创 3.1 Trino二次开发-动态数据源管理-需求及源码解读1
目录前言一、当前需求二、解决方案1.当前情况2.方案概述3.源码解读总结前言前面的文章中提到了，如何在windows环境构建trino的开发环境，本文中主要针对二次开发的场景，来对实际二次开发过程中的思路和问题进行整理及分享。一、当前需求需求: 业务场景中需要数据源在Trino上可以进行动态的管理，包括：添加、编辑、删除；但是Trino本身的数据源是不支持这些热操作的，它的做法是把数据源配置到properties文件中，重启后生效。每次添加一个数据源就重
2021-12-27 16:32:34
7890
原创 2.2 Trino Windows开发环境搭建—源码修改篇
1. 前言在上一篇中，介绍了在Windows上搭建Trino开发环境所需要的组件。本篇文章，主要介绍通过修改源码，让Trino在Idea中运行起来。2. 步骤1）配置文件Trino的配置文件位于“testing/trino-server-dev/etc”目录下，这里面我们先重点关注config.properties文件里面的plugin.bundles参数，这个参数是用来配置Trino加载哪些插件的。这里我们不需要加载这么多的插件，因业务需求只保留“../../plugin/trino-my
2021-09-29 17:29:24
7797
原创 2.1 Trino Windows开发环境搭建—组件篇
系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基
2021-09-28 17:21:58
7588
3
原创 1.CDH集成Trino(PrestoSQL)
系列文章目录1.CDH集成Trino(PrestoSQL)文章目录系列文章目录 前言 一、Trino是什么？ 二、CDH集成Trino的步骤 1.Trino集群规划 2.系统设置 3.Trino部署 总结前言最近在一次与大厂小伙伴交流的交流中，他提到了联邦分析和他们基于PrestoSQL实现了跨源分析。我心想这都是啥，听着这么高大上，这就是差距啊，当时咱也不敢问。回去搜索了一下，联邦分析和PrestoSQL，这跨数据源的查询在Spark和Flink.
2021-08-30 17:14:38
7935
3
原创 Flink 1.11.2集成Iceberg 0.11.1
上一篇写了如何在CDH中集成Flinkhttps://blog.csdn.net/qaz1qaz1qaz2/article/details/118153264本篇记录一下Flink集成并使用Iceberg的过程目录1. 集成1.1 版本1.2 过程1. flink与Iceberg集成的包下载2.下载hive依赖包3.安装依赖包2. 使用2.1 Flink SQL Client2.2 Flink Table Api1. 集成1.1 版本...
2021-06-24 16:14:04
6558
原创 CDH6.3.2集成Flink1.11.2
背景: 最近数据湖技术风风火火，其中三大湖之一的Iceberg，已其不绑定引擎层的特性，引起了作者的注意，作者也想学习一下，奈何自己的CDH里Flink还是1.9版本，因此有了这篇集成的文章。好了，说了这么多的废话，我得去带薪喝杯水了。...
2021-06-24 13:31:34
7045
3
原创 SpringBoot启动时源码调用流程分析
之前在阅读SpringBoot源码时写了几篇文章，感觉SpringBoot及Spring内容庞大流程多，写成了流水账。这两天花了点时间把启动的整个代码调用流程及解析用图展示出来。看上去会清晰一些。图比较宽不知道能不能显示清楚。...
2021-04-01 16:17:05
5974
原创 TensorFlow模型应用流程
前言最近项目中需要用Tesnsorflow做个二元分类的预测(具体的业务场景就不提了)，无奈大家之前都没做过。最终领导把这个任务安排给了我，本着公司需要什么，我就做什么的原则，承担了下来。书归正传，本文主要介绍模型从开发到应用的过程，不涉足模型调优等与数据科学相关的问题(主要是不会啊)。文中用到的模型程序是基于tensorflow官方的svm示例修改而来。一、模型流程以下是模型从生成到使用的整体流程图一.设计模型该部分对应上图中，原始数据->训练数据的部分。1..
2020-09-21 16:17:47
6754
原创 CentOS7安装Tensorflow
前言1.5以上版本的tensorflow中使用 AVX 指令编译，我们的服务器因为太老不支持.可以通过cat /proc/cpuinfo|grep flags 查看结果中是否有avx，如果没有就是不支持不支持avx想安装tensorflow，有两种方法1) 安装1.5以上高版本就必须要重新进行源码编译2) 安装1.5版本这里我们采用第二种方案，安装tensorflow1.5安装过程1.安装系统依赖包yum install wgetyum ins..
2020-09-21 13:24:42
5957
原创 手写minibatis来解读mybatis源码
文章目录前言 一、Mybatis流程梳理 二、实现minibatis 1.SqlSessionFactory 2.读入数据 总结前言MyBatis采用ORM(Object Relational Mapping，对象关系映射)实现的持久化层框架，被广泛应用到现在的项目开发中。本节是想通过手动实现一个mini版本的MyBatis，来理解MyBatis的流程，核心的源码以及应用到的设计模式。一、Mybatis流程梳理在使用Mybatis进行数据库交互的时...
2020-09-18 11:09:55
5424
原创 5.Springboot2启动过程源码分析-Bean的实例化
系列文章目录1.Springboot2启动过程源码分析-SpringApplication初始化2.Springboot2启动过程源码分析-SpringApplication#run3.Springboot2启动过程源码分析-prepareContext方法4.Springboot2启动过程源码分析-refresh方法5.Springboot2启动过程源码分析-Bean的实例化6.Springboot2启动过程源码分析-总结文章目录系列文章目录 前言 一、Bean的生命
2020-09-16 16:46:21
5523
原创 4. Springboot2启动过程源码分析-refresh方法
系列文章目录1.Springboot2启动过程源码分析-SpringApplication初始化2.Springboot2启动过程源码分析-SpringApplication#run3.Springboot2启动过程源码分析-prepareContext方法4.Springboot2启动过程源码分析-refresh方法5.Springboot2启动过程源码分析-Bean的实例化6.Springboot2启动过程源码分析-总结文章目录系列文章目录 前言 AbstractA
2020-09-16 10:59:22
5355
原创 3. Springboot2启动过程源码分析-prepareContext方法
系列文章目录1.Springboot2启动过程源码分析-SpringApplication初始化2.Springboot2启动过程源码分析-SpringApplication#run3.Springboot2启动过程源码分析-prepareContext方法4.Springboot2启动过程源码分析-refresh方法5.Springboot2启动过程源码分析-Bean的实例化6.Springboot2启动过程源码分析-总结文章目录系列文章目录 前言 prepar.
2020-09-15 21:53:49
5272
原创 2.Springboot2启动过程源码分析-SpringApplication#run
系列文章目录1.Springboot2启动过程源码分析-SpringApplication初始化2.Springboot2启动过程源码分析-SpringApplication#run3.Springboot2启动过程源码分析-prepareContext方法4.Springboot2启动过程源码分析-refresh方法5.Springboot2启动过程源码分析-Bean的实例化6.Springboot2启动过程源码分析-总结文章目录系列文章目录 前言 Spring.
2020-09-15 15:42:56
5181
原创 1.Springboot2启动过程源码分析-SpringApplication初始化
系列文章目录1.Springboot2启动过程源码分析-SpringApplication初始化2.Springboot2启动过程源码分析-SpringApplication#run3.Springboot2启动过程源码分析-prepareContext方法4.Springboot2启动过程源码分析-refresh方法5.Springboot2启动过程源码分析-Bean的实例化6.Springboot2启动过程源码分析-总结文章目录系列文章目录 前言 SpringApp
2020-09-15 10:17:25
187
原创 Spring5创建bean的源码解析(一)整体流程
代码环境: SpringBoot 2.1.8 + Spring 5.1.9简单分析下在SpringBoot中Spring5创建bean的过程1. 通过main函数的run方法进入到SpringApplication.javapublic ConfigurableApplicationContext run(String... args) { StopWatch stopWatch = new StopWatch(); stopWatch.start(); Configura.
2020-09-08 09:10:27
258
原创 SQLServer数据库文件mdf和ldf的导入及导出
通常导出SQLServer数据库的方式有两种:1.以SQL文件的方式导出2.以mdf和ldf数据库文件的方式导出 SQL文件的导出方式，通常需要自定义列与列之间的分隔符，因为默认的分隔符","，很可能出现在列的值中下面介绍一下导出和导入mdf和ldf的方式在sqlserver management studio进行如下操作1.导出数据库 1.1 脱机，(选择的数据库
2016-10-15 21:29:39
23756
原创 Spark将RDD转换成DataFrame的两种方式
介绍一下Spark将RDD转换成DataFrame的两种方式。1.通过是使用case class的方式，不过在scala 2.10中最大支持22个字段的case class,这点需要注意2.是通过spark内部的StructType方式，将普通的RDD转换成DataFrame装换成DataFrame后，就可以使用SparkSQL来进行数据筛选过滤等操作下面直接代码说话packag
2016-10-15 21:29:33
10574
原创 Spark之RDD基础
RDD概念:RDD是只读的，分区记录的集合RDD支持基于工作集的应用，同时具有数据流模型的特点：自动容错位置感知性调度可伸缩性速度快的原因:RDD允许用户在执行多个查询时显式的将工作集缓存在内存中，后续的查询能够重用工作集RDD的5个主要属性1.一组分片(Partition),数据集的基本组成单位. 每个Partition都会被逻辑映射成BlockManager的一个Bl
2016-10-15 21:29:22
318
原创 Flume-ng 1.6启动过程源码分析(二)
阅读Flume源码后发现，Flume有两个顶级的接口：1. ConfigurationProvider接口，提供了getConfiguration()方法，用于获取不同组件的配置。2. LifecycleAware接口，提供了三个方法，start() stop()和getLifecycleState()，分别用于组件的启动 停止以及组件在生命周期中处的状态，可以说这个接口贯穿于整个Flume
2016-10-15 21:29:16
836
原创 Flume-ng 1.6启动过程源码分析(一)
启动部分主要分为四块 命令行参数的载入，这部分用的common cli实现对于可选的zk配置的加载对于flume-ng配置的加载，这里利用EventBus实现配置文件动态加载组件的启动简单介绍下EventBus，它是Guava提供的消息发布-订阅类库，机制与观察者模式类似。 下面主要介绍上面提到的第3和4部分。首先flume-
2016-10-15 21:29:10
379
原创 flume使用hdfs sink时需要注意的几点
最近接触了flume，这个日志收集器在扩展性方面确实很便捷，相信这与其架构的设计有密切的关系。书归正传，这次用到了hdfs sink在使用时还是有几点需要注意的，在此和大家分享一下。 第一部分windows下搭建单机的hdfs如果你和我一样没有linux的测试环境，想在windows搭建hdfs，可以参考下面的链接，笔者就是参照这篇文章进行部署的http://blog.csdn.n
2016-10-15 21:29:04
1745
1
原创 基于flume-ng抓取mysql数据到kafka
flume是一个日志收集器，更多详细的介绍可以参照官网:http://flume.apache.org/ 在apache flume的官网上没有找到sql数据源数据抓取的source，可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现，已可以适配所有的关系型数据库
2016-10-15 21:28:58
3544
3
原创 利用scala的trait特性实现简单AOP
最近开始系统的研究下scala trait字面意思是特质或者特征，这里翻译成特征比较合适。scala中trait的意义和java中接口很类似，但是trait支持实现，也就是说在scala的trait中方法可以是抽象方法，也可以是带实现的非抽象方法。另一个重要的与java interface的不同点，scala可以在一个class实例化的时候通过with关键字混合进一个trait。wit
2016-10-15 21:28:52
403
原创 自然语言处理之分词器ansj和hanlp介绍
1.ansjansj是ictclas(中科院分词)的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化内存中中文分词每秒钟大约100万字(速度上已经超越ictclas)文件读取分词每秒钟大约30万字准确率能达到96%以上目前实现了: 1.中文分词 2.中文姓名识别 3.用户自定义词典可以应用到自然语言处理等方面,适用于对分词效果要求高
2016-10-15 21:28:47
4970
原创 基于自然语言关键词的打分器
最近在做自然语言处理，当句子中有多个关键字时，就无法简单的通过关键字进行分类，需要筛选出句子的核心关键字，基于这个思想，自己开发了一个打分器，得分多高的关键词，即为该句的核心关键词该打分器主要是为自然句子中的关键字进行打分，通过分数的高低选举出关键字的重要度下面通过简单的例子说明,如句子: 电脑异响，怀疑是硬盘有问题，查为风扇的故障，更换风扇后正常.其中筛选出和电脑相关的词汇设置
2016-10-15 21:28:41
855
原创 常用git命令积累汇总
以下是最近用git cmd常用到的命令项目目录：cd Project_Dir #初始化gitgit init #添加要提交的文件如README.md,'.'代表当前目录的所有文件git add README.mdgit add . #git提交代码 带上注释git commit -m "update readme.md commit" #git从服务的maste
2016-10-15 21:28:36
217
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人