Apache Pulsar

原创 邀请函 | Pulsar Meetup 深圳 2024

Hi, All Pulsar Stars： 让大家久等了，我们回来啦！首站，Apache Pulsar Meetup 深圳 2024 诚邀大家参与。敬礼！????Pulsar Meetup 深圳 2024 将于 2024 年 4 月 27 日 周六举办，此次活动由 AscentStream 谙（ān）流科技和腾讯云中间件联合举办。Apache Pulsar 社区和合作伙伴诚邀Pu...

原创 Pulsar 社区周报 | No.2024-04-12 Pulsar 大会筹办倒计时

“各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，周五发布。”本期主题：Pulsar 大会筹办倒计时4.27 Pulsar Meetup 深圳 20245.14 Pulsar Virtual Summit Europe 2024欢迎添加 Pulsar bot（文后二维码）抢先报名和了解。Pulsar 大会筹办倒计时Pulsar Wee...

原创 Pulsar 社区周报 | No.2024-04-05 Pulsar LTS 3.0.4 新版发布

“各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，周五发布。”本期主题：LTS 3.0.4 发布Apache Pulsar 新版发布：LTS（稳定性长期支持版）新版：3.0.43.2.x 系列新版：3.2.2版本策略[1]Pulsar Weekly Merge Stars感谢以下的小伙伴，感谢你们本周为 Apache Pulsar 做...

转载 【直播抽奖】《Apache Pulsar 原理解析与应用实践》书作者国栋老师和上海谙流方阗老师一起带来消息队列技术革新之旅的探讨...

PowerData社区寄语：PowerData 携手 Apache Pulsar 社区与机械工业出版社，于 2024 年 4 月3日 20:30 开展消息队列技术革新之旅：Kafka、RocketMQ与Pulsar的时代变迁与未来展望的主题分享。探索数据科技前沿，深入了解消息队列技术的演进历程，探究下一代分布式消息系统 Apache Pulsar 的先进设计理念。直播预约分享内容消息队列发展历...

转载 拥抱变革：Apache Pulsar 引领消息队列云原生变更之路

作者简介作者：杨国栋 原腾讯科技工程师 《Apache Pulsar原理与实践》作者 杭州电子科技大学硕士 ApachePulsar社区开源爱好者 现国内互联网消息队列领域研发 PowerData技术丛书编委会负责人序言：操作系统、数据库、中间件是基础软件的三驾马车，而消息队列属于最经典的中间件之一，迄今已有 30 多年的历史。本文会从消息队...

原创 Pulsar 社区周报 | No.2024-03-29 Pulsar 全面拥抱 OpenTelemetry 标准

“各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，周五发布。”Pulsar 逐步拥抱 OpenTelemetry 标准OpenTelemetry 正在迅速成为指标度量的事实标准 API，这将有利于提升指标采集的扩展性，Pulsar 正在也在快速拥抱中。其中 PIP-264[1] 讲述了服务端指标的迁移。本周 Release 的 PIP...

转载 消息队列20年：腾讯专家沉淀的 MQ 设计精要

????腾小云导读作者是腾讯 TDMQ 初创团队的成员，在多年的业务中台的实践中，也频繁地使用到了 MQ，比如最常见的消息推送，异常信息的重试等等，对消息队列有深刻的了解。此篇文章，作者会站在时间维度讲解这二十年每款 MQ 诞生的背景以及解决了何种问题，让你能够更加清晰地了解到 MQ 的底层逻辑，帮助你学习今后可能会出现的新架构。欢迎阅读~????目录1消息队列发展历程 1.1 第一阶段：解耦合...

原创 Pulsar 社区周报 | No.2024.03.22 官网焕然一新：重磅推出 PMC 和 Commiter 名录

“各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，周五发布。”官网焕然一新：重磅推出 PMC 和 Commiter 名录image.pngApache Pulsar 社区已经成长为全球顶级开源社区，这些成就由你们 PMC memebers、Committers 和 Contributors 共同构筑。现官网隆重推出成员名录，表彰每位社...

原创 技术探究 | 开篇 | 深度探讨：Apache Pulsar 在事件驱动型业务中的应用

技术探究 | 开篇 | 深度探讨：Apache Pulsar 在事件驱动型业务中的应用本篇为《深度探讨：Apache Pulsar 在事件驱动型业务中的应用》系列文章的开篇，后续章节正在加紧提炼中。欢迎扫描下方二维码加入 Apache Pulsar 社区，可通过填写社区表单，优先获取后续完整小册子的推送。作者：Deepak Chauhan, Max N 译者：Teng Fu、方阗注：为了行为顺畅...

原创 Pulsar 社区周报 | No.2024.03.15 LTS 3.0.3 新版发布

“各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，周五发布。”本期主题：LTS 3.0.3 发布Apache Pulsar 新版发布：LTS（稳定性长期支持版）新版：3.0.33.1.x 系列新版：3.1.3最新特性版本：3.2.1Pulsar Weekly Merge Stars感谢以下的小伙伴，感谢你们本周为 Apache Pul...

原创 Pulsar 介绍 | 为什么选择 Apache Pulsar 而不是 Kafka

本文翻译自 Saket Jain 的系列博客《Choosing Apache Pulsar Over Kafka》。文章讲述了 Apache Pulsar 的优势、常用配置并针对 Linux 系统给予了相应调优建议，值得推荐。作者：Anshul Singh，译者：傅腾注：为了行为顺畅，有部分调整。翻译不易，有任何问题，都可以小窗公众号私信，或者直接联系 Pulsar Bot :)第一部分：探索 P...

原创 Pulsar 社区周报 | No.2024.03.08 Pulsar-Spark Connector 助力实时计算

关于ApachePulsarApache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址：http://github.com/apache/pulsar/导语各位热爱P...

原创 技术探究 | Flipkart 带来 Apache Pulsar 集群调优指南

本文翻译自 Flipkart 博客《Tuning Apache Pulsar Cluster》，讲述 Flipkart 如何调优 Apache Pulsar 集群的性能，并给出了详尽的调优指南。作者：Anshul Singh，译者：傅腾注：为了行为顺畅，有部分调整。翻译不易，有任何问题，都可以小窗公众号私信，或者直接联系 Pulsar Bot :)这是一篇对 Apache Pulsar 集群...

原创 Pulsar 社区周报 | No.2024.03.01 Apache Pulsar Helm Chart 3.3.0 版本发布

关于ApachePulsarApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub地址：http://github.com/apache/pulsar/导语各位热爱 P...

转载 Apache Pulsar 为滴滴大数据运维带来了哪些收益？

滴滴大数据于 2021 年 1 月份开始调研 Apache Pulsar ，同期建立内部 2.7 分支版本。在 2021 年 8 月 4 日正式上线了第一个 Pulsar 集群——数据通道同步任务集群，主要为数据开发平台、同步中心产品提供服务，涉及 Log->ES、BamaiLog->ES、BamaiLog->CK 和 Log->HDFS 链路的建设。截止目前，已经稳定运行...

转载 大咖面对面：Pulsar Meetup Beijing 2023 开始报名！

????欢迎参加 Pulsar Meetup Beijing 2023！????????时间：2023年10月14日，周六????场地：中关村国家自主创新示范区展示交易中心（圆明厅）????地址：北京市海淀区新建宫门路2号????主办方：StreamNative（北京原流数据科技发展有限公司）StreamNative is the ultimate partner to accelerate time-to-pro...

转载 Apache Pulsar 的 Golang admin 库简介

Apache Pulsar 是一种高度可扩展和可靠的消息传递系统，正在得到开发者的广泛关注。Pulsar 提供了许多功能和优势，使其成为现代数据流应用程序的热门选择。然而，管理 Pulsar 集群可能是一个复杂的任务，这就是 StreamNative 创建pulsar-admin-go库的原因。pulsar-admin-go是一个 Go 库，为开发人员提供了统一的 API 集合，可编程地管理...

转载 Apache Pulsar 摆脱 Topic Metadata 限制的改进思路

本文整理自 Apache Pulsar PMC member & StreamNative 工程师李鹏辉在大会上的分享《摆脱主题元数据的限制，Apache Pulsar 的无限数据保留改进》。视频链接：https://www.bilibili.com/video/BV1kT411L7PH本次分享的主题是 Apache Pulsar 如何摆脱限制，支持无限数据保留。本文将从 Topic Me...

转载 腾讯将 Apache Pulsar 应用于Apache InLong 的技术实践

本文由 StreamNative 整理自 ApacheCon Asia 2022 上腾讯工程师陈林的分享《腾讯将 Apache Pulsar 应用于Apache InLong 的技术实践》。本文将介绍什么是 Apache InLong，Apache Pulsar 如何应用于 InLong，腾讯数据平台团队针对 Apache Pulsar 做了哪些优化，并展示在腾讯安全、腾讯视频在集群运营等一线实践...

转载 Apache Pulsar 在⽹易有道智慧教育场景下的实践

本文由 StreamNative 整理自 Pulsar Summit Asia 2022，来自网易有道基础架构工程师沈家琦的分享《Apache Pulsar 在⽹易有道智慧教育场景下的实践》。本文主要介绍 Apache Pulsar 在网易有道的建设实践经验，以及在智慧教育领域的业务落地经验。关于 StreamNativeStreamNative（北京原流数据科技发展有限公司）由 Apache P...

转载 打通 Apache Pulsar 与 Envoy，构建高效游戏 OTO 营销平台实践

文章摘要本文整理自 Pulsar Summit Asia 2022 上腾讯互娱 GDP 微服务开发平台网关技术负责人江烁的演讲《打通 Apache Pulsar 与 Envoy，构建高效游戏 OTO 营销平台实践》。本文将介绍介绍腾讯互娱利用 Apache Pulsar 和 Envoy 运营游戏 OTO 营销平台的经验。作者简介江烁，腾讯互娱 GDP 微服务开发平台网关技术负责人。关于腾讯互娱腾讯...

转载 打造消息中台，华为终端云基于 Apache Pulsar 的演进实践

‍‍文章摘要华为云终端将消息系统从 Kafka 迁移到 Pulsar，并基于 Pulsar 打造中台应对消息系统面临的挑战。本文整理自 ApacheCon Asia 2022 上，来自华为终端的林琳、王小童关于《华为终端云基于 Apache Pulsar 的消息队列演进》的分享，将介绍 Apache Pulsar 在华为终端云中台建设部署实践的过程中面临的挑战与解决方案。作者简介•林琳，华为终端...

转载 详解 Apache Pulsar 消息生命周期

文章摘要本文整理自 Pulsar Summit Asia 2022 腾讯云高级研发工程师冉小龙的演讲《Deep Dive into Apache Pulsar Lifecycle》。Apache Pulsar 中抽象了 Topic 来承载用户发送的消息，一条消息发送到 Topic 中之后会经过 Broker 的计算存储到 Bookie 中。本文将详细阐述消息是如何发送到 Broker 并经过 Br...

转载 技术探究｜Pulsar 消费者基于正则表达式订阅方式的改进

改进 Pulsar 消费者基于正则表达式的订阅方式 本文翻译自 StreamNative 博客《Improving Regular Expression-Based Subscriptions in Pulsar Consumers》。译者简介钟颖群，微信大数据团队成员，从事大数据基础架构服务建设。深入研究基于正则表达式的订阅目前，Pulsar 客户端有两种方式来创建消费者：1.指定需要消费的主题...

原创 案例实践｜运营腾讯游戏，Proxima Beta 使用 Apache Pulsar 升级团队协作与数据治理...

文章摘要本文整理自 Pulsar Summit Asia 2022 上，Proxima Beta 软件工程师施磊的分享《How to achieve better team integration and data governance by using Apache Pulsar》。本文首先将为大家介绍 CQRS 和 Event Sourcing 概念，便于了解为何 Proxima Beta 使...

原创 Function Mesh：流处理任务的 Serverless 化实践

文章摘要本文整理自 ApacheCon Asia 上，StreamNative 工程师付睿的分享《Use Apache Pulsar Functions in a Cloud-Native way》。本文将介绍在云原生环境中使用 Pulsar Functions 的实践，以及基于 Pulsar Functions 和 Kubernetes 的项目 Function Mesh。希望本文可以为 Pul...

原创 StreamNative 宣布开源 Iceberg Sink Connector for Apache Pulsar

本文翻译自 StreamNative 博客《Announcing the Iceberg Sink Connector for Apache Pulsar》。作者陈航，StreamNative 主管工程师，Apache Pulsar PMC 成员。译者简介钟颖群，微信大数据团队成员，从事大数据基础架构服务建设。我们很高兴地宣布适用于 Apache Pulsar 的 Iceberg Sink 连接器...

转载 议题征集 | Pulsar Summit 2023 欧洲峰会正式启动！

近日，Pulsar Summit 组织组织方 StreamNative 宣布：Pulsar Summit 2023 欧洲峰会将于 5 月 23 在线上召开。演讲议题征集已开启，欢迎提交 Pulsar 演讲内容，与 Apache Pulsar 专家面对面交流。往期峰会回顾Pulsar Summit 是 Apache Pulsar 社区年度盛会，Apache Pulsar 社区成员与消息和流计算社区的...

原创 Apache Pulsar 的湖仓一体方案：Pulsar-Lakehouse 分层存储集成详解

文章摘要本文整理自 ApacheCon Asia 2022 上 StreamNative 工程师陈航的演讲《Make Apache Pulsar as Lakehouse: Introduction Lakehouse Tiered Storage Integration for Pulsar》。本文将介绍将 Apache Pulsar 二级存储与 Lakehouse 集成的湖仓一体解决方案。作者...

转载 技术探究｜基于 Apache Pulsar 构建实时数据仓库

文章摘要本文整理自 ApacheCon 2022 上 StreamNative 工程师杨子棵、刘德志的分享《Build One Real-time WareHouse Based on Apache Pulsar》。本文将介绍数仓架构的演进与挑战、Apache Pulsar 架构以及 Pulsar 作为云原生消息队列能否满足实时数仓的要求，然后分享基于 Apache Pulsar、Apache F...

转载 开工大吉：与 Apache Pulsar 社区成员相约 2023 QCon·北京站

关于 QConQCon 是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会，每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自 2007 年 3 月份开始举办以来，已经有超万名有多年从业经验的技术人员参加过 QCon 大会。QCon 内容源于实践并面向社区，演讲嘉宾依据热点话题，面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。QCon 北京 2023｜全...

转载 视频回顾 | Pulsar Summit Asia 2022 40+ 议题

Pulsar Summit Aisa 2022 已于 2022 年 11 月 19-20 日在线上顺利举办。在两天的大会里，来自中国大陆、印度、新加坡、北美、欧洲等区域的 41 位 Apache Pulsar 社区专家与贡献者共同分享一线 Apache Pulsar 实践经验、场景案例、技术探究和运维故事，交流探讨 Pulsar 项目最新进展和动态。Pulsar Summit Asia 2022 ...

转载 Apache Pulsar 2023 动态展望

作者介绍李鹏辉，StreamNative 首席架构师，Apache Pulsar PMC 成员。拥有十余年消息系统与微服务工作经验。其近期工作方向和 Apache Pulsar 息息相关，曾于 2019 年推动 Pulsar 在智联招聘的落地，这是 Apache Pulsar 在中国的首个落地案例。导语新的一年已经开始，Apache Pulsar 在 2023 年可能发生怎样的进化呢？本文为大家介...

转载 Apache Pulsar 之 2022

相关阅读•Apache Pulsar 2021 年度盘点•Apache Pulsar 2020 年度总结

转载 Apache Pulsar 祝大家元旦快乐

转载 StreamNative 宣布发布 Flink-Pulsar SQL 连接器

本文翻译自 StreamNative 博客《Announcing the Flink-Pulsar SQL Connector》，作者 Yufei Zhang。本文译者：王中兴，就职于 ebay 消息中间件团队，社区昵称 alphawang。StreamNative 宣布 Flink-Pulsar SQL 连接器已经发布，现在即可下载并使用。Flink-Pulsar SQL 连接器支持通过简单的 ...

转载 Function Mesh 基于 KubeVela addon 为应用提供 Serverless 能力

什么是 Function Mesh ？Function Mesh 是一个 Serverless 框架，专门为流处理（stream processing）应用而设计。它基于 Pulsar Functions 和 Pulsar IO Connectors 为用户的应用及复杂的流处理任务提供了强大的事件流（event-streaming）编排和处理能力。Function Mesh 以一种更云原生的方式使...

原创 AoP：如何从 RabbitMQ 迁移到 Apache Pulsar

本文翻译自 StreamNative 博客《How to Migrate from RabbitMQ to Apache Pulsar™》，作者 David Kjerrumgaard。本文译者 @dros6（https://github.com/dros6），译文由 StreamNative 组织整理。RabbitMQ 是一个流行的开源消息系统，被广泛用于使用发布-订阅模型的异步服务间通信。Rab...

转载 技术探究｜深入了解 Apache Pulsar 中的主题数据生命周期

本文翻译自 StreamNative 博客《A Deep Dive into the Topic Data Lifecycle in Apache Pulsar》，作者陈航，Apache Pulsar PMC 成员，StreamNative 主管工程师。译者信息译者：何城波，就职于深信服 PaaS 平台部，负责 Pulsar、Kafka、Elasticsearch 相关运维开发工作Apache P...

转载 StreamNative 宣布 Spring for Apache Pulsar 正式发布

译者信息王中兴，就职于 ebay 消息中间件团队，社区昵称 alphawang。我们很高兴地宣布Spring for Apache Pulsar[1]的第一个里程碑版本已发布，现在你可以在 Spring 应用程序里直接利用 Apache Pulsar 的强大能力。我们先来看一下 Apache Pulsar 与 Spring 集成带来的好处，然后通过示例应用程序讲解如何进行集成。为什么使用 Sp...