- 博客(398)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 增强学习和蒙特卡洛树搜索算法详细解析
阿尔法狗（AlphaGo）是谷歌旗下DeepMind开发的一个著名的增强学习算法，它在围棋领域取得了显著的成就。本文主要探讨其中两个重要的算法：增强学习算法和蒙特卡洛树搜索算法。
2023-11-16 14:23:39
571
原创 人工智能：CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的知识梳理
CNN 主要用于处理图像数据，RNN 用于处理序列数据，而 DNN 是一个通用的深度神经网络架构，可以应用于各种不同类型的数据。这些神经网络架构也可以结合使用，以解决复杂的多模态问题。
2023-10-24 17:58:05
5274
3
原创 Hadoop简介之望见数据湖
1 Hadoop概述随着信息化时代的来临，数据信息呈爆炸式增长。IBM的研究称，90%的人类文明数据是近两年产生的，而到了2020年，全球产生的数据量将是今天的44倍。传统的方法已难以应对越来越多的海量数据，因此海量数据的处理方法成为研究热点。大数据技术研究与应用推动互联网产业的快速发展，同时企业也促进了大数据技术的“新陈代谢”。在国外的计算机行业，Yahoo，Linkedin，Fackbook，eBay等企业都着手搭建Hadoop平台，努力推动Hadoop技术的发展并完善Hadoop项目。在国内，随着
2020-09-28 15:09:37
2517
2
原创 Greenplum安装时修改gpssh-exkeys中SSH免密登录端口
SSH免密登录的默认端口号为22，如果需要使用2226端口，可以修改如下地方298 def testAccess(hostname):299 '''300 Ensure the proper password-less access to the remote host.301 Using ssh here also allows discovery of remote host keys *not*302 reported by ssh-keyscan.303...
2020-09-08 14:13:29
3114
2
原创 机器学习之模糊聚类（Fuzzy Clustering）附代码
FCM将数据点与聚类中心之间的距离作为样本与聚类的隶属度的衡量标准，通过迭代优化聚类中心和样本的隶属度来最小化目标函数（通常是样本与其所属聚类中心之间的加权平方误差）。根据隶属度值，可以将每个数据点分配给最高隶属度的群体，或者将每个数据点分配给多个群体，并根据其隶属度值进行权重。对于每个数据点，初始化其隶属度到每个群体的随机值，确保每个数据点对于每个群体的隶属度之和为1。模糊聚类过程与传统的硬聚类类似，但在每个数据点与每个群体的隶属度方面有所不同，这使得模糊聚类更适用于一些数据不是严格分离的情况。
2024-04-24 09:17:02
20
原创 机器学习之增强学习DQN(Deep Q Network)
Q-learning 是一种基于值函数的强化学习方法，它通过学习一个价值函数 Q(s, a)，来评估在状态 s 下采取动作 a 的价值。经验回放通过保存智能体与环境交互的经验样本，并随机抽样用于网络的训练，以减少样本间的相关性，提高训练效率。它是基于Q-learning算法的一种扩展，通过使用深度神经网络来估计Q值函数，从而实现对复杂环境中动作的学习和决策。这些可以通过问题的特征来确定，例如在一个游戏中，状态可以是游戏画面的像素值，动作可以是游戏中可执行的操作。) 是目标网络的参数，用于计算目标 Q 值。
2024-04-22 14:31:32
246
原创 cento常用命令
CentOS 是一种基于 Linux 内核的操作系统，它与其他 Linux 发行版类似，因此许多常用的 Linux 命令在 CentOS 上同样适用。
2024-04-18 14:21:59
210
原创 机器学习之时序差分学习(Temporal Different Learning)
时序差分学习（Temporal Difference Learning）是一种强化学习算法，常用于解决序列决策问题。它结合了动态规划和蒙特卡洛方法的优点，在未来奖励和当前估计之间进行自举式更新。该算法的核心思想是通过不断地估计状态值或动作值的更新来学习。具体来说，它通过比较当前状态的估计值和下一个状态（或下一步动作）的估计值加上未来奖励的总和，来调整当前状态的估计值。
2024-04-18 14:19:08
449
原创 SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。SeaTunnel 主要解决数据集成领域的常见问题：数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据源的工具。复杂同步场景。
2024-04-16 17:19:40
385
原创 docker in docker原理与实战
Docker in Docker（简称为DinD）是一种将Docker容器作为另一个Docker容器的运行环境的技术。这种技术允许在Docker容器内部运行另一个Docker守护进程，使得在容器中可以创建和管理其他容器。
2024-04-16 09:50:18
637
原创 负载均衡的原理及算法
负载均衡（Load Balancing）是指在计算机网络中将工作负载（如请求、数据流量等）分配给多个计算资源（如服务器、网络连接等），以实现资源利用的均衡和性能优化。
2024-04-16 09:34:50
931
原创 r-tree 总结
R树（R-tree）是一种用于高维空间索引的数据结构，经常用于数据库和地理信息系统（GIS）中。：树中的每个节点，包括叶节点，在其中都与一个边界矩形相关联，该矩形围绕其内部的所有对象或子节点。：多年来，已提出了各种R树的变体和扩展，以满足特定要求或在某些场景中提高性能。：R树将空间对象组织成一个包含多个边界矩形的层次结构。：R树通常用于数据库中以优化空间查询，例如范围搜索（查找在指定区域内的对象）和最近邻搜索（查找最接近给定点的对象）。R树是空间索引的基本数据结构，提供了对多维空间中的空间数据的高效访问。
2024-04-16 09:28:57
93
原创 kylin的使用心得
Kylin拥有一个活跃的开发者社区和用户社区，用户可以在社区中获取技术支持、提出问题、分享经验，并参与到Kylin项目的开发和改进中。：Kylin通过预计算多维度的聚合数据，并将其存储在多维度的立方体中，从而实现了快速的多维分析查询能力。：Kylin提供了简单易用的部署和管理工具，用户可以快速搭建和配置Kylin集群，并进行监控和调优。Kylin是一个功能强大、易于使用、性能优越的大数据OLAP引擎，它为用户提供了快速的多维分析查询能力，帮助用户更好地理解和探索数据，从而为业务决策提供支持。
2024-04-15 09:59:39
92
原创 OneFlow深度学习简介
OneFlow是一个基于深度学习的开源框架，主要面向机器学习工程师和研究人员。它提供了类似于其他深度学习框架（如TensorFlow和PyTorch）的API，同时具有高性能和高效的特点。OneFlow专注于在大规模数据集和分布式环境下的训练和推理，以及在生产环境中的部署和优化。其设计目标之一是提供易于使用的接口，同时保持对最新研究的支持，使用户能够快速实现并部署复杂的深度学习模型。OneFlow是由中国企业华为发起并维护的开源深度学习框架，旨在提供高性能、高效率的深度学习解决方案。特点和优势高性能。
2024-04-15 09:55:35
312
原创 WebKit结构简介
WebKit是一个开源的浏览器引擎，最初由苹果公司开发，用于其Safari浏览器。它也被用于其他浏览器，比如Google Chrome的早期版本。WebKit是一个功能强大且灵活的浏览器引擎，为用户提供了快速、安全、稳定的网络浏览体验，并为开发者提供了丰富的工具和API，以支持各种类型的Web应用程序开发。
2024-04-12 09:31:18
817
1
原创 FineBI概述
企业可以利用 FineBI 对销售数据进行分析，包括销售额、销售趋势、客户分析等，从而了解销售业绩和市场情况，优化销售策略和业务决策。：FineBI 支持数据挖掘和预测分析功能，用户可以利用这些功能进行数据模式识别、趋势分析和预测建模，从而做出更准确的商业决策。：FineBI 提供了丰富的数据分析和查询功能，用户可以利用这些功能进行数据挖掘、查询和分析，从中发现数据之间的关系和规律。：FineBI 提供了丰富的报表和可视化工具，可以帮助企业管理层和决策者更好地理解和分析数据，从而做出更明智的决策。
2024-04-11 14:58:03
310
原创 蝙蝠算法（Bat Algorithm）介绍（附代码）
蝙蝠算法（Bat Algorithm）是一种启发式优化算法，模拟了蝙蝠在捕食过程中的行为。这个算法是由Xin-She Yang于2010年提出的，其灵感来源于蝙蝠在夜晚捕食时利用超声波来定位猎物的过程。蝙蝠算法主要用于解决连续优化问题。
2024-04-11 10:09:10
54
原创 常用的启发式算法
模拟退火算法模拟了金属退火过程中的温度变化，通过随机扰动和接受不太好的解以避免局部最优解的陷阱，逐渐降低“温度”来接近最优解。：模拟鸟群或鱼群的行为，每个“粒子”代表潜在解的一个候选点，通过不断调整速度和位置来搜索最优解。：受到自然选择和遗传学原理的启发，通过模拟生物进化过程中的选择、交叉和变异来搜索问题的解空间。：受到蚁群觅食行为的启发，通过模拟蚂蚁在解空间中释放信息素、选择路径的行为来搜索最优解。：模拟蝙蝠在捕食时发出超声波来搜索猎物的行为，通过调整频率和幅度来搜索最优解。
2024-04-11 09:55:06
146
原创 Fiddler的安装与使用
Fiddler 是一个功能强大的网络调试工具，它可以帮助你捕获、检查和修改网络流量，用于调试 Web 应用程序、移动应用程序等。
2024-04-10 16:50:31
139
原创 Gitea的简单介绍
作为一个轻量级的 Git 服务程序，Gitea 的安装和配置非常简单，可以快速部署在各种平台上，包括 Linux、Windows 和 macOS。它还支持多种数据库后端，如 SQLite、MySQL、PostgreSQL 等，以及多种身份验证方式，如本地账户、LDAP、OAuth 等，满足不同用户的需求。Gitea 采用 Go 语言编写，具有简单、快速、易于安装和配置的特点。尽管 Gitea 是一个轻量级的解决方案，但它提供了许多与代码管理相关的功能，包括问题跟踪、代码审查、Wiki、团队合作等。
2024-04-10 16:48:09
486
原创 什么是灰度发布
灰度发布（Gray Release），也称为金丝雀发布（Canary Release），是一种软件部署策略，用于逐步将新版本的软件或功能引入到生产环境中，以降低风险并及时发现潜在的问题。在灰度发布中，新版本或功能只会被部署给一小部分用户或流量，然后逐步增加到更多的用户或流量中。灰度发布有助于降低在生产环境中引入新版本或功能时的风险，因为它允许团队在部署的过程中进行监控和调整。保持稳定性：在推出新功能或更新时，可以确保系统的稳定性，避免因一次性发布导致的系统崩溃或性能下降。
2024-04-08 14:47:25
144
原创 AbstractQueuedSynchronizer (AQS)的内部实现
AQS 的内部实现基于一系列原子操作、同步队列和线程等待唤醒机制，提供了一个灵活且高效的基础，用于实现各种类型的同步器，如独占锁、共享锁、信号量等。通过合理使用 AQS 提供的方法和机制，可以实现线程安全的并发控制，确保共享资源的正确访问。AQS 提供了原子操作来获取和释放同步状态，以及一些方法来检查同步状态的有效性和执行相应的操作。这个队列是一个 FIFO 队列，新的等待线程会被添加到队列的尾部。这些方法的具体实现由 AQS 的子类负责，通过重写这些方法，可以实现不同类型的同步器，如独占锁和共享锁。
2024-04-08 10:36:27
127
原创 AbstractQueuedSynchronizer的独占锁和共享锁
AbstractQueuedSynchronizer（AQS）提供了两种类型的锁：独占锁和共享锁。的优点之一是它支持重入性，允许同一线程在持有锁的情况下多次获取该锁，避免了死锁的发生。方法获取写锁，执行完写操作后释放写锁。方法获取锁，执行完操作后使用。
2024-04-08 10:31:38
323
原创 Lakehouse 大数据概念
在传统的大数据架构中，数据湖用于存储原始、未加工的数据，而数据仓库则用于存储经过加工和清洗的数据，供企业分析和报告使用。通过结合数据湖和数据仓库的优势，Lakehouse为企业带来了更高效、更灵活和更可靠的数据处理能力，有助于实现数据驱动的业务决策和创新。Lakehouse提供了一个统一的数据存储平台，可以容纳多种类型和格式的数据，包括结构化数据、半结构化数据和非结构化数据。对于已经建立了数据湖的企业，Lakehouse提供了一种升级路径，通过引入数据仓库的特性和功能，增强数据湖的管理和分析能力。
2024-04-07 11:06:00
256
原创 开源数据湖iceberg, hudi ,delta lake, paimon对比分析
Iceberg, Hudi, Delta Lake和Paimon都是用于大数据湖（Data Lake）或数据仓库（Data Warehouse）中数据管理和处理的工具或框架，但它们在设计、功能和适用场景上有所不同。
2024-04-07 10:51:49
596
2
原创 Apache Paimon实时数据糊介绍
Apache Paimon 是一种湖格式，可以使用 Flink 和 Spark 构建实时 数据糊 架构，用于流式和批处理操作。Paimon 创新地将湖格式和 LSM（日志结构合并树）结构相结合，将实时流式更新引入湖架构中。生态系统：除了 Apache Flink 外，Paimon 还支持其他计算引擎（如 Apache Hive、Apache Spark 和 Trino）的读取。读/写：Paimon 支持多样化的数据读写和执行 OLAP 查询的方式。Paimon 提供表抽象。
2024-04-02 14:20:22
466
原创 湖仓管理系统 Amoro部署
Apache Amoro(incubating) 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体验。Amoro 的愿景是依托于 Apache Iceberg、Apache Paimon 等新型数据湖表格式的基础功能，持续打磨湖仓管理系统的定位和开箱即用的功能，为大数据产品和用户带来：降低湖仓应用门槛，融入现代数据栈，为围绕湖仓构建的大数据产品极瘦身，让湖仓不再成为互联网企业的专宠。
2024-04-02 14:08:04
134
原创 机器学习之局部异常因子算法(Local Outlier Factor)
LOF算法的核心思想是，异常点通常在其周围的邻域中具有较低的密度，而正常点则在其周围的邻域中具有较高的密度。具体来说，LOF算法对于每个数据点，计算其与其周围邻域内其他数据点的密度比值，即该点的局部异常因子。：在医疗领域，LOF算法可以用于检测医疗数据中的异常情况，例如异常的生理指标、疾病模式等，有助于早期发现疾病。：在网络安全领域，LOF算法可以用于检测网络中的异常活动，例如异常的网络流量、恶意软件行为等。：分析标记的异常点，解释其异常性质，并进行必要的后处理，例如过滤噪声、调整阈值等。
2024-04-01 17:20:57
454
原创 机器学习之分层聚类中的概念聚类(Conceptual Clustering)
在分层聚类中，概念聚类指的是通过将数据点分组成具有相似性的概念或类别，并构建一个层次化的结构来表示这些概念之间的关系。在概念聚类中，关键的挑战之一是如何定义概念之间的相似性度量，这通常需要领域专家的参与或者基于数据特征的统计学习方法。：通过合并最相似的概念或聚类来构建层次化结构。概念聚类在分层聚类中的主要思想是基于概念或属性之间的相似性来构建聚类结构，而不是简单地将数据点分配到预定义的簇中。：在电子商务平台或内容平台中，概念聚类可以用来将用户喜欢的物品或内容分组到相似的类别中，从而提供个性化的推荐。
2024-04-01 17:14:56
309
seatunnel 支持hive jdbc
2023-07-28
dataCollection安装jar包0.07版本
2023-01-16
hbase-manager安装包，已编译
2022-11-14
大数据之湖仓一体，未来如何发展
2024-04-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人