- 博客(166)
- 收藏
- 关注
RSS订阅原创 Flink 状态管理
一、介绍Flink状态包括：算子状态和按键分区状态，简单理解就是记录任务的中间状态或者数值二、按键分区状态（Keyed State）基于 KeyedStream 上的状态。这个状态是跟特定的 key 绑定的，对 KeyedStream 流上的每一个 key，都对应一个 state。按键分区状态分为：ValueState、ListState、ReducingState、MapState、AggregatingState2.1、ValueState即类型为T的单值状态package c
2024-04-02 14:50:32
361
原创 DataX介绍
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。github地址详细文档操作手册支持数据框架如下：架构Reader：为数据采集模块，负责采集数据源的数据，将数据发送给Framework。Writer：为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
2024-01-31 13:55:53
1224
原创 Flume介绍
Apache Flume 是一种分布式、可靠且可用的系统，用于有效地收集、汇总大量日志数据，并将其从多个不同来源转移到集中式数据存储区。Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume 可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件信息以及几乎所有可能的数据源。Source：数据收集组件，从外部数据源收集数据，并存储到 Channel 中。
2024-01-24 16:29:34
1220
原创 Maxwell介绍
介绍：它读取MySQL binlog并将数据更改作为JSON写入Kafka、Kinesis和其他流媒体平台（目前支持：kafka、RabbitMQ、Redis、file、Kinesis、Nats、Google Cloud Pub/Sub、Google Cloud Bigquery、SNS）版本：从v1.30.0版本开始不支持jdk1.8，支持jdk11，所以推荐使用v1.29.2版本。
2024-01-18 15:30:32
666
原创 Hive 部署
Apache Hive是一个分布式、容错的数据仓库系统，支持大规模的分析。Hive Metastore（HMS）提供了一个中央元数据存储库，可以轻松地进行分析，以做出明智的数据驱动决策，因此它是许多数据湖架构的关键组件。Hive构建在Apache Hadoop之上，并通过hdfs支持S3，adls，gs等存储。Hive允许用户使用SQL读取、写入和管理PB级数据。官网地址。
2023-12-26 15:00:17
1073
原创 zookeeper介绍
思路：每次创建临时顺序节点之后，判断当前节点是否为为最小序号节点，如果是最小序号节点，说明锁没有被占用，可以直接使用，如果不是最小序号节点，那说明锁已经被占用，需要等待上一个节点释放，才可以使用锁。目前最新的版本为：3.9.1，最新稳定版为：3.8.3，稳定版本为：3.7.2，3.6.4版本目前已经停产，理论上来说最推荐使用3.7.2，不过也要兼容其他组件的版本。语法：create [-s] [-e] [-c] [-t ttl] path [data] [acl]-v：指定要修改的节点的版本号。
2023-11-13 15:40:53
660
原创 Flink 窗口
滚动窗口：TumblingProcessingTimeWindows.of(Time.seconds(10))滑动窗口：SlidingProcessingTimeWindows.of(Time.seconds(10), Time.seconds(2))会话窗口：ProcessingTimeSessionWindows.withGap(Time.seconds(5))
2023-09-08 14:38:16
772
原创 Scala面向对象
scala中的伴生对象类似于Java中的静态成员变量(static)，用于在一个类中声明静态属性，主对象可以调用伴生对象中的所有属性和方法（即使是私有的），不过这种用法可能不多，一般对象中也不会去声明一个静态属性，如果是想调用一些静态属性可以直接声明一个object对象。：伴生对象中的apply方法可以不使用new方法来初始化一个对象：val tom: Person = Person(“tom”)：scala中的继承和Java一样，可以在子类中定义父类中没有的字段和方法，或者重写父类的方法。
2023-07-12 10:44:52
489
原创 Spark算子
介绍：Spark中RDD 的算子分为两类：1、Transformation转换算子:返回一个新的 RDD2、Action行动算子:返回值不是 RDD(无返回值或返回其他的)Spark中的转换算子和Java中的Function非常的相似，也和Scala中的函数式编程类似，不过Spark中封装了更多的转换算子（真的是太多了(吐槽)）
2023-07-10 17:20:49
358
原创 Scala方法
3、函数是一个对象，继承自FunctionN，函数对象有apply，curried，toString，tupled这些方法。1、方法是隶属于类或者对象的，在运行时，它是加载到JVM的方法区中. 但是函数本身就是一个对象。2、可以将函数对象赋值给一个变量，在运行时，它是加载到JVM的堆内存中。2、类似于方法，函数也有输入参数和返回值。3、函数定义不需要使用def定义。1、函数是一个对象（变量）4、无需指定返回值类型。
2023-06-30 15:52:30
502
原创 RabbitMQ详解
RabbitMq是一个消息中间件，用于流量削峰，业务解耦等场景SpringBoot一共提供了如下5种交换机类型，包括：CustomExchange（自定义交换机）、DirectExchange、FanoutExchange、HeadersExchange、TopicExchange。
2023-06-01 14:52:06
846
原创 使用JWT实现登录认证
session：存储再服务端，无法引用与分布式场景，并且需要占用服务端的资源cookie：存储再客户端，适用于分布式场景，但是存在安全问题，不支持垮域访问token：存储在localstorage中，更加灵活。
2023-05-23 17:06:23
1713
原创 XXL-SSO简要说明
XXL-SSO 是一个分布式单点登录框架。只需要登录一次就可以访问所有相互信任的应用系统。拥有”轻量级、分布式、跨域、Cookie+Token均支持、Web+APP均支持”等特性。现已开放源代码，开箱即用。官方文档XXL-SSO的原理其实非常的简单用户访问系统，如果没有登录会被重定向到服务端，在服务端进行登录，登录之后会将生成的认证信息存储在Cookie中，这样，同一个浏览器中的系统请求的时候都会携带上Cookie，这样就可以通过拦截器判断该用户是否登录，以此来实现单点登录的效果。
2023-05-22 17:25:09
974
原创 MyBatis Plus 拦截器实现数据权限控制
上篇文章介绍的MyBatis Plus 插件实际上就是用拦截器实现的，MyBatis Plus拦截器对MyBatis的拦截器进行了包装处理，操作起来更加方便MyBatis Plus提供的InnerInterceptor接口提供了如下方法，主要包括：在查询之前执行，在更新之前执行，在SQL准备之前执行/**return;} } /*** 查询。
2023-05-18 11:27:23
3485
2
原创 MyBatis Plus 插件
这里只列举了2个常用插件，其他官方插件可以看。2、数据查询时自动添加租户字段的筛选条件。1、数据插入时租户字段数据的自动插入。
2023-05-16 11:05:08
1068
原创 MyBatis Plus 代码生成器
两种方式都可以生成代码，使用代码的方式更加灵活一些，代码也更加方便管理，使用插件更加快捷一点，也可以自定义修改插件模板，但是不方便团队维护。
2023-05-15 18:03:16
723
原创 Scala数据类型
一、scala数据类型结构图二、结构说明2.1、值类型基础类型类型说明AnyVal所有数值类型的父类Byte8位带符号整数Short16位带符号整数Int32位带符号整数Long64位带符号整数Char16位无符号Unicode字符Float32位单精度浮点数Double64位双精度浮点数Booleantrue或falseUnit表示空，Unit是AnyVal的子类，它类似于Java中的void2.2
2023-04-24 15:34:00
92
原创 YARN常用命令
命令说明yarn application -list列出所有Applicationyarn application -list -appStates ALL按任务状态过滤Application，包括：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLEDyarn application -kill <ApplicationId>kill掉Applicationyarn l
2023-04-19 17:28:08
377
原创 HDFS常用命令
命令作用样例解释-mkdir创建目录hadoop fs -mkdir sanguo-moveFromLocal剪切hadoop fs -moveFromLocal shuguo.txt /sanguo将本地文件剪切到hdfs-copyFromLocal拷贝hadoop fs -copyFromLocal weiguo.txt /sanguo将本地文件拷贝到hdfs-put拷贝hadoop fs -put wuguo.txt /sanguo和c
2023-04-11 15:54:15
707
原创 使用virtualbox和vagrant创建虚拟机
1. 下载virtualboxvirtualbox下载地址2. 下载vagrantvagrant下载地址3. 验证vagrant是否安装成功vagrant4. 初始化虚拟机vagrant init centos/75. 启动虚拟机vagrant up5. 连接虚拟机vagrant ssh
2022-04-12 10:48:51
287
原创 SpringBoot、SpringCloud、SpringCloudAlibaba版本依赖关系
组件版本关系Spring Cloud Alibaba VersionSentinel VersionNacos VersionRocketMQ VersionDubbo VersionSeata Version2021.0.1.0*1.8.31.4.24.9.22.7.151.4.22.2.7.RELEASE1.8.12.0.34.6.12.7.131.3.02.2.6.RELEASE1.8.11.4.24.4.02.7.81.3.0
2022-03-31 11:52:41
960
1
原创 Swagger 踩坑2.0
Swagger中ApiModel存在bug，如果使用了一些特殊字符则会导致Swagger无法识别改model结论：# / %这些符号都会导致swagger出现问题
2022-01-09 16:47:10
361
原创 2021年终总结
一转眼已经毕业两年了，也从一个职场菜鸟变成了现在的老油条。 2021年发生了很多，今年年中从杭州辞职回到了合肥，加入了科大讯飞，结束了两年的杭漂生活，说实话，现在回头看，是有些后悔去杭州的（当然啦，眼下就是最好的），兜兜转转又回合肥了。 上半年在杭州一直负责调优，说实话，有些无趣，只能在一些细节上调整，不能大刀阔斧的引入一些中间件，从底层改变，最后收效甚微，不过领导倒是挺满意的（从20s+到3s左右，不过我感觉还是很慢），最后也因为种种原因决定从这家公司辞职，说实话这家公司还是挺不错的，环境，技
2021-12-17 15:14:03
693
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人