- 博客(2057)
- 资源 (28)
- 收藏
- 关注
RSS订阅原创 Hyper-V安装Centos + 配置Centos repo + 解决wifi连接和固定ip访问Cetos问题 + 其它零碎问题 + 远程访问（转载+经过修改版本 + 问题补充版本 + 补充部分）
以下转自：https://blog.csdn.net/qq_31362933/article/details/132280598?
2023-10-27 00:29:46
561
转载 【Hyper-v 管理器虚拟机配置内网外网固定ip】
可能还有其它解决方案，但目前是我用过最有效的方法了。如有其它更好的解决办法，请评论区留言一起探讨！
2023-10-26 23:42:23
2386
原创 13.108.Spark 优化、Spark优化与hive的区别、SparkSQL启动参数调优、四川任务优化实践：执行效率提升50%以上
13.108.Spark 优化1.1.25.Spark优化与hive的区别1.1.26.SparkSQL启动参数调优1.1.27.四川任务优化实践：执行效率提升50%以上。
2023-08-31 15:45:13
1246
原创 13.107.最全的Hive 优化方案汇总：临时参数的作用域、切分大文件、合并小文件、设置 Map 和 Reduce 的内存大小、设置 Map 和 Reduce 的堆大小设置 等
13.107.最全的Hive 优化方案汇总：1.1.8. 临时参数的作用域：1.1.10.切分大文件1.1.11.合并小文件1.1.12.设置 Map 和 Reduce 的内存大小1.1.13.设置 Map 和 Reduce 的堆大小设置1.1.14.开启Combiner功能：在map端预聚合1.1.15.拓扑图，优化并行执行1.1.16. 万能方法1：一个MR，拆成多个（即纵向拆分），为了降低数据倾斜的压力。【比较少用】
2023-08-31 15:05:15
747
原创 详细了解G1、了解G1、G1垃圾收集器详解、G1垃圾回收器简单调优
首先，在了解G1之前，我们需要清楚的知道，垃圾回收是什么？简单的说垃圾回收就是回收内存中不再使用的对象。垃圾回收的基本步骤：1.查找内存中不再使用的对象。2.释放这些对象占用的内存。1.查找内存中不再使用的对象那么问题来了，如何判断哪些对象不再被使用呢？A:引用计数法引用计数法就是如果一个对象没有被任何引用指向，则可视之为垃圾。这种方法的缺点就是不能检测到环的存在。B:根搜索算法（可达性分析算法）
2023-08-22 21:57:01
1968
2
原创 07_Hudi案例实战、Flink CDC 实时数据采集、Presto、FineBI 报表可视化等
7.第七章 Hudi案例实战7.1 案例架构7.2 业务数据7.2.1 客户信息表7.2.2 客户意向表7.2.3 客户线索表7.2.4 线索申诉表7.2.5 客户访问咨询记录表7.3 Flink CDC 实时数据采集7.3.1 开启MySQL binlog7.3.2 环境准备7.3.3 实时采集数据7.3.3.1 客户信息表7.3.3.2 客户意向表7.3.3.3 客户线索表7.3.3.4 客户申诉表7.3.3.5 客户访问咨询记录表7.4 Presto 即席分析7.4
2023-08-14 11:02:31
1764
原创 06_Hudi案例实战、Apache Flume日志采集、SparkSession数据处理、数据入kafka、保存Hudi表、集成Hive指标分析、加载Hudi表数据、FineBI 报表可视化等
本文来自"黑马程序员"hudi课程6.第六章 Hudi案例实战6.1 案例架构6.2 业务数据6.2.1 消息数据格式6.2.2 数据生成6.3 七陌数据采集6.3.1 Apache Flume 是什么6.3.2 Apache Flume 运行机制6.3.3 Apache Flume 安装部署6.3.4 Apache Flume 入门程序6.3.5 七陌社交数据采集6.3.5 七陌社交数据采集6.4.1 创建模块6.4.2 封装实体类6.4.3 编写流式程序6.4.3.1 构建
2023-08-13 12:49:55
846
原创 05_Hudi 集成 Flink、Streaming query、Flink SQL Writer、Flink SQL集成Kafka、Flink SQL写入Hudi、消费Kafka数据等
本文来自"黑马程序员"hudi课程5.第五章 Hudi 集成 Flink5.1 安装Flink 1.125.2 快速入门5.2.1 集成Flink概述5.2.2 环境准备5.2.3 创建表5.2.4 插入数据5.2.5 查询数据5.2.6 更新数据5.3 Streaming query5.3.1 创建表5.3.2 查询数据5.3.3 插入数据5.4 Flink SQL Writer5.4.1 Flink SQL集成Kafka5.4.2 Flink SQL写入Hudi5.4.2
2023-08-13 10:37:38
673
原创 04_Hudi 集成 Spark、保存数据至Hudi、集成Hive查询、MergeInto 语句
本文来自"黑马程序员"hudi课程4.第四章 Hudi 集成 Spark4.1 环境准备4.1.1 安装MySQL 5.7.314.1.2 安装Hive 2.14.1.3 安装Zookeeper 3.4.64.1.4 安装Kafka 2.4.14.2 滴滴运营分析4.2.1 需求说明4.2.2 环境准备4.2.2.1 工具类SparkUtils4.2.2.2 日期转换星期4.2.3 数据ETL保存4.2.3.1 开发步骤4.2.3.2 加载CSV数据。
2023-08-12 00:04:58
952
原创 03_Hudi 核心概念、时间轴Timeline、文件管理、索引Index、存储类型、计算模型、批式模型Batch、流式模型Stream、增量模型Incremental、查询类型、数据写操作流程等
3.第三章 Hudi 核心概念3.1 基本概念3.1.1 时间轴Timeline3.1.2 文件管理3.1.3 索引Index3.2 存储类型3.2.1 计算模型3.2.1.1 批式模型（Batch）3.2.1.2 流式模型（Stream）3.2.1.3 增量模型（Incremental）3.2.2 查询类型（Query Type）3.2.5 COW和MOR对比3.3 数据写操作流程3.3.1 UPSERT 写流程。
2023-08-11 22:46:20
460
原创 02_快速体验 Hudi、编译 Hudi、安装HDFS、安装Spark 3.x、模拟数据、插入数据、查询数据、.hoodie文件、数据文件、Hudi 数据存储概述、Metadata 元数据等
Hudi数据集的组织目录结构与Hive表示非常相似，一份数据集对应这一个根目录。数据集被打散为多个分区，分区字段以文件夹形式存在，该文件夹包含该分区的所有文件。在根目录下，每个分区都有唯一的分区路径，每个分区数据存储在多个文件中。每个文件都有惟一的fileId和生成文件的commit所标识。如果发生更新操作时，多个文件共享相同的fileId，但会有不同的commit。每条记录由记录的key值进行标识并映射到一个fileId。
2023-08-11 22:09:15
1182
原创 01_Hudi 框架概述、数据湖Data Lake、什么是数据湖、数据湖框架、背景概述、Hudi 介绍、Hudi 发展及特性等
先了解什么是数据湖DataLake，及Hudi 数据湖框架功能及各个版本特性。Data lake这个术语由Pentaho公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)提出，他对数据湖的解释是：把你以前在磁带上拥有的东西倒入到数据湖，然后开始探索该数据。数据湖（Data Lake）和数据库、数据仓库一样，都是数据存储的设计模式。数据库和数据仓库会以关系型的方式来设计存储、处理数据。
2023-08-11 20:35:49
1403
原创 13_Ansible role、创建目录结构、Roles依赖关系；Playbook参考资料：facts、with_item、jinja模板、role角色
roles不管是Ansible还是saltstack，我在写一键部署的时候，都不可能把所有的步骤全部写入到一个’剧本’文件当中，我们肯定需要把不同的工作模块，拆分开来，解耦，那么说到解耦，我们就需要用到roles官方推荐，因为roles的目录结构层次更加清晰。例如：我们之前推荐大家写一个base.yml里面写所有基础优化的项目，其实把所有东西摞进去也是很鸡肋的，不如我们把这些功能全部拆分开，谁需要使用，就调用即可。建议：每个roles最好只使用一个tasks这样方便我们去调用，能够很好的做到解耦。
2023-08-11 17:06:27
1281
原创 12_Ansible Jinja2模板概述、如何使用Jinja2、使用Jinja2注意事项、jinja2模板使用、变量使用语法、Jinja2模板逻辑判断语法、Jinja2模板循环语法、注释等
jinja2是Python的全功能模板引擎。
2023-08-11 16:46:54
451
原创 11_Ansible jinja2、基本语法、{{}}的使用、变量、表达式、逻辑运算、算术运算、操作列表、str, num, tuple, dic, boolean、
14.Ansible jinja214.1.jinja2基本语法14.2.{{}}的使用14.3.变量14.4.表达式14.5.逻辑运算14.6.算术运算14.7.操作列表14.8.str, num, tuple, dic, boolean14.9.将变量的选取写到文件中，然后在playbook中定义变量并使用文件中选取的内容以下转自：https://blog.csdn.net/weixin_43384009/article/details/105301811{{ }}：用来装载表达式，比
2023-08-11 16:36:58
304
原创 10_Ansible之Playbook,介绍,核心元素,语法,一个简单的示例,运行方式,元素属性,tasks任务列表,handlers与notify,Playbook中变量的使用,标签的使用等
Playbook与ad-hoc相比,是一种完全不同的运用ansible的方式，类似与saltstack的state状态文件。ad-hoc无法持久使用，playbook可以持久使用。playbook是由一个或多个play组成的列表，play的主要功能在于将事先归并为一组的主机装扮成事先通过ansible中的task定义好的角色。从根本上来讲，所谓的task无非是调用ansible的一个module。将多个play组织在一个playbook中，即可以让它们联合起来按事先编排的机制完成某一任务。
2023-08-11 16:25:59
343
原创 09_playbook应用和roles自动化批量安装示例、yaml简单示例、task list、特征、定义task的细节、notify和handler、标签tag、include和roles
(1).可以为每个task加上name项，也可以多个task依赖于一个name。例如下面的两个例子。从两个示例中可以看出，两个task其实都是属于一个name的，第二个task无需再使用name命名。tasks:tasks:实际上，name只是一种描述性语句，它可以定义在任何地方。例如，定义在play的顶端。(2)既然是task，那么必然会有其要执行的一个或多个任务，其本质是加载并执行ansible对应的模块。在playbook中，每调用的一个模块都称为一个action。
2023-08-11 16:03:34
304
原创 08_ansible, 循环、标准循环、嵌套循环、对哈希表使用、对文件列表使用循环、对并行数据集使用循环、对子元素使用循环、对整数序列使用循环、随机选择、Do-Until循环、查找第一个匹配的文件
11.循环11.1.标准循环11.2.嵌套循环11.3.对哈希表使用11.4.对文件列表使用循环11.5.对并行数据集使用循环11.6.对子元素使用循环11.7.对整数序列使用循环11.8.随机选择11.9.Do-Until循环11.10.查找第一个匹配的文件11.11.迭代程序的执行结果11.12.使用索引循环列表11.13.循环配置文件11.14.扁平化列表11.15.循环中使用注册器。
2023-08-11 15:37:40
492
原创 07_ansible, 条件选择、加载客户事件、在roles和includes上面应用’when’语句、条件导入、基于变量选择文件和模版、注册变量
10.条件选择10.1.When语句10.2.加载客户事件10.3.在roles和includes上面应用’when’语句10.4.条件导入10.5.基于变量选择文件和模版10.6.注册变量。
2023-08-11 15:22:52
1195
原创 06_Ansible: Variable、合法的变量名、在Inventory中定义变量、关于Jinja2、Facts、访问复杂变量数据、魔法变量、命令行中传递变量、变量的优先级
我们已经在其它文档中覆盖了大量关于使用变量的场景,所以这里没多少新的知识点,权当加深记忆.通常你想基于一个机器位于哪个群组而设置变量.比如,位于波士顿的很多机器会使用 ‘boston.ntp.example.com’ 作为NTP服务器.请看 Inventory（https://ansible-tran.readthedocs.io/en/latest/docs/intro_inventory.html）文件 文档来学习在inventory中使用多种方式来定义变量.vars:这种所见即所得的方式非常好。
2023-08-11 13:04:52
579
原创 05_ansible playbook介绍、简介、语言的示例、主机与用户、Task、Action Shorthand、角色(Roles)和Include语句、Roles、角色默认变量
Playbooks 与 adhoc 相比,是一种完全不同的运用 ansible 的方式,是非常之强大的.简单来说,playbooks 是一种简单的配置管理系统与多机器部署系统的基础.与现有的其他系统有不同之处,且非常适合于复杂应用的部署.Playbooks 可用于声明配置,更强大的地方在于,在 playbooks 中可以编排有序的执行过程,甚至于做到在多组机器间,来回有序的执行特别指定的步骤.并且可以同步或异步的发起任务.
2023-08-11 12:42:10
342
原创 04_Ansible命令ad-hoc、command模块、cron模块、user模块、group模块、copy模块、file模块、ping模块、shell模块、service模块、script模块等
6.Ansible命令（ad-hoc）6.2.command模块–用于在被管理主机上运行命令6.3.cron模块6.4.user模块6.5.group模块6.6.copy模块6.7.file模块6.8.ping模块6.9.shell模块6.10.service模块6.11.script模块6.12.yum模块6.13.setup模块6.14.字符串处理7.YAML语法7.1.基本的YAML。
2023-08-11 12:09:19
458
原创 03_ansible inventory、Hosts and Groups、Host Variables、Group Variables、Default groups、Pattern
4.1.1.案例4.7.1.一般所有连接4.7.2.非SSH连接类型5.Pattern。
2023-08-10 19:31:39
434
原创 02_ansible配置文件中属性介绍
转自：https://ansible-tran.readthedocs.io/en/latest/docs/intro_configuration.html#accelerate-connect-timeout。
2023-08-08 22:49:45
249
原创 01_什么是ansible、基本架构、ansible工作机制、Ansible安装、配置主机清单、设置SSH无密码登录等
转自：https://blog.51cto.com/liqingbiao/1875921ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于 paramiko 开发的,并且基于模块化工作，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。
2023-08-08 22:28:09
1627
原创 15_基于Flink将pulsar数据写入到ClickHouse
ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。结论: ClickHouse像很多OLAP数据库一样，单表查询速度由于关联查询，而且ClickHouse的两者差距更为明显。
2023-08-08 21:18:19
1745
原创 14_基于Flink将pulsar数据写入到HBase
hbase是基于Google发布bigTable论文产生一款软件, 是一款noSQL型数据, 不支持SQL. 不支持join的操作, 没有表关系, 不支持事务(多行事务),hbase是基于 HDFS的采用java 语言编写查询hbase数据一般有三种方案(主键(row key)查询, 主键的范围检索,查询全部数据)都是以字节类型存储，存储结构化和半结构化数据。hbase表的特点: 大 面向列的存储方案 稀疏性。
2023-08-08 21:01:47
809
1
原创 13_Pulsar对接Flink完成数据预处理、预处理需求说明、构建Maven项目,加入依赖、添加相关POJO类、编写Flink代码，对数据进行处理操作、测试数据是否可以正常写回到Pulsar
3.6.Pulsar对接Flink完成数据预处理3.6.1.预处理需求说明3.6.2.构建Maven项目,加入依赖3.6.3.添加相关POJO类3.6.4.编写Flink代码，对数据进行处理操作3.6.5.测试数据是否可以正常写回到Pulsar1-两个表需要进行Join合并, 抽取需求核心相关字段, 形成宽表数据2-对表进行拉宽操作: create_time字段 拉宽为 年、月、天、小时3.6.3.添加相关POJO类1- 在项目中创建: com.itheima.pojo2- 加入资料
2023-08-08 18:32:44
221
原创 12_Apache Pulsar 实战篇、大数据平台架构、基于Canel采集数据到Pulsar、启动 Pulsar Connectors、启动 Canal开始进行采集数据
大数据平台是传智教育在2016年初开始构建, 最初始主要是进行离线的数仓平台构建,力争将公司核心数据(访问咨询数据,意向用户,报名数据以及学员考勤数据等)进行整合,对这些过往数据以天为单位进行挖掘分析, 从而能够更加了解学员的相关的指标, 能够更好的为学员服务在2021年初, 大数据平台开始引入流式的处理, 主要采用Pulsar完成实时数据的传输, 基于Flink进行实时数据预处理以及转换操作, 最终基于CK完成实时指标统计, 构建实时数仓。
2023-08-08 18:19:13
210
原创 12_Apache Pulsar 可插拔协议、kafka on Pulsar(KOP)、Pulsar KOP、AMQP协议(RabbitMQ) on Pulsar(AOP)、Pulsar AOP
2.4. Apache Pulsar 可插拔协议2.4.1.2. Apache Pulsar KOP – 如何配置2.4.1.3.Apache Pulsar KOP – 如何使用2.4.2. AMQP协议(RabbitMQ) on Pulsar(AOP)2.4.2.2.Apache Pulsar AOP如何配置2.4.2.3.Apache Pulsar AOP如何使用。
2023-08-08 17:34:12
170
原创 11_Pulsar Adaptors适配器、kafka适配器、Spark适配器
2.3. Pulsar Adaptors适配器2.3.1.kafka适配器2.3.2.Spark适配器。
2023-08-08 17:12:05
815
原创 09_Pulsar如何实现生产和消费流程、Pulsar数据生产流程、Pulsar数据读取流程、Pulsar数据生产流程、Pulsar数据读取流程、Pulsar数据读写故障处理流程
2.2.3.Pulsar如何实现生产和消费流程2.2.3.1.Pulsar数据生产流程2.2.3.2.Pulsar数据读取流程2.2.3.2.1.Pulsar数据生产流程2.2.3.2.2.Pulsar数据读取流程2.2.3.2.3.Pulsar数据读写故障处理流程。
2023-08-08 16:48:36
194
原创 08_Pulsar架构原理（Broker与Bookkeeper）、Pulsar分层存储、Bookkeeper架构、Bookkeeper相关名词概念、Bookkeeper整体架构
2.2.Pulsar架构原理（Broker与Bookkeeper）2.2.1.深入理解Pulsar分层存储2.2.2.深入理解Bookkeeper架构2.2.2.1.Bookkeeper相关名词概念2.2.2.2.Bookkeeper整体架构2.2.2.3.Bookkeeper整体架构。
2023-08-08 16:38:31
499
原创 用ChatGPT编写的一个调用ElasticSearch的maven的spring elasticsearch demo案例
创建一个Elasticsearch操作类，用于执行Elasticsearch的操作。/search：从名为“my_index”的索引中搜索匹配“Java”的文档。/createIndex：创建名为“my_index”的索引。/deleteIndex：删除名为“my_index”的索引。/insert：向名为“my_index”的索引插入一条文档。/update：更新名为“my_index”的索引中的文档。/delete：从名为“my_index”的索引中删除文档。创建Elasticsearch操作类。
2023-03-16 12:36:28
2801
3
原创 07_Pulsar高级组件基本使用(Connector,Functions,事务)、Function(轻量级计算流程)概念与使用、Connector 连接器概念与使用，其它Connector
2.Apache Pulsar高级2.1.Pulsar高级组件基本使用(Connector,Functions,事务)2.1.1.Function(轻量级计算流程)概念与使用2.1.1.1.Pulsar Function轻量级计算框架2.1.2.Connector 连接器概念与使用2.1.2.1.Pulsar Connector 连接器2.1.2.2.Pulsar Connector连接器 —>Pulsar Flink Connector。
2023-03-05 22:49:22
777
原创 06.Apache Pulsar的JAVA API相关使用操作,基于Pulsar实现Topic的构建操作,使用JAVA如何管理租户/namespace/Topic,基于Pulsar实现数据生产/消费
1.6.Apache Pulsar的JAVA API相关使用操作1.6.1.基于Pulsar实现Topic的构建操作_准备工作1.6.2.基于Pulsar实现Topic的构建操作1-使用JAVA如何管理租户2-使用Java如何管理namespace3-使用JAVA如何管理Topic1.6.3.基于Pulsar实现数据生产1.6.4.基于Pulsar实现数据消费首先，需要我们创建一个maven项目，并加入Pulsar相关的依赖1.6.2.基于Pulsar实现Topic的构建操作1-使用JAV
2023-03-05 22:05:52
1226
1
原创 05_Pulsar的主要组件介绍与命令使用、名称空间、Pulsar的topic相关操作、Pulsar Topic（主题）相关操作_高级操作、
多租户是一种架构，目的是为了让多用户环境下使用同一套程序，且保证用户间数据隔离。简单讲：在一台服务器上运行单个应用实例，它为多个租户（客户）提供服务。Apache Pulsar 最初诞生于雅虎，当时就是为了解决雅虎内部各个部门之间数据的协调，所以多租户特性显得至关重用，Pulsar 从诞生之日起就考虑到多租户这一特性，并在后续的实现过程中，将其不断的完善。多租户这一特性，使得各个部门之间可以共享同一份数据，不用单独部署独立的系统来操作数据，很好的保证了各部门间数据一致性的问题，同时简化维护成本。
2023-03-05 19:20:36
1410
原创 04_Apache Pulsar的可视化监控管理、Apache Pulsar的可视化监控部署
1.4.Apache Pulsar的可视化监控管理1.4.1.Apache Pulsar的可视化监控部署。
2023-03-05 17:31:06
840
原创 03_Apache Pulsar的Local与分布式集群构建、Pulsar的分布式集群模式、Pulsar的分布式集群模式构建\启动\测试
1.3.Apache Pulsar的Local与分布式集群构建1.3.1 Apache Pulsar的Local模式构建1.3.1.1.Apache Pulsar的Local模式基本使用1.3.2.Apache Pulsar的分布式集群模式1.3.2.1.安装zookeeper集群1.3.3.Apache Pulsar的分布式集群模式构建1.3.4.Apache Pulsar的分布式集群模式启动1.3.5.Apache Pulsar的分布式集群模式测试。
2023-03-05 17:21:00
657
easyui资料
2014-02-22
17个在线编辑器，包括kindeditor，STEditor，HTMLArea3.0last20071025等
2012-07-22
二手购物网源码
2012-05-31
强大的购物网代码（java）
2012-05-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人