- 博客(250)
- 收藏
- 关注
RSS订阅原创 Databend Cloud 正式上线腾讯云市场，加速挖掘数据创新价值
近日，新一代大数据分析平台 Databend Cloud 正式上线腾讯云千帆云市场，成为腾讯云 SaaS 生态圈中的重要一员。依托腾讯云平台的技术支持和市场资源， Databend Cloud 将充分发挥数据价值的挖掘能力，助力更多企业实现数据驱动的决策运营。Databend Cloud 是一款基于开源云原生数仓项目 Databend 打造的易用、低成本、高性能的新一代大数据分析平台，提供一站式 SaaS 服务，具有免运维、开箱即用等特点。
2024-04-18 10:19:05
603
原创 Databend 开源周报第 140 期
查询摘要是对查询的总结，如果两个查询的摘要相同，这意味着它们共享相同的模式。通过检查各自的查询摘要，可以确定哪种查询模式耗时更多，有助于优化数据库性能和资源利用。如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review。或者，你可以点击来挑选一个随机问题，祝好运！
2024-04-16 18:03:25
821
原创 数据安全之路：Databend 用户与角色管理应用
通过权限和角色管理，Databend 提供了一个灵活数据安全管控框架。使得用户按照自己的需要高效地管理数据访问和操作权限。确保数据的安全性和完整性。
2024-04-11 14:19:16
987
原创 Databend 开源周报第 139 期
📢 Databend 现已默认启用全新聚合哈希表实现，在 Hits 基准测试中单条查询性能提升最高达 40%！是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。。
2024-04-09 10:32:00
1251
1
原创 Databend 集成 PRQL：现代数据处理的一小步
读作 “Prequel”，是一种与 SQL 并肩的查询语言，它的独到之处在于采用了管道式的语法，在查询关系数据库时显得更加直观和高效。Databend 拥抱 PRQL在版本中，得益于社区贡献者提交的重要，Databend 成功地引入了对 PRQL 语言的支持。这一新特性进一步增强了 Databend 查询的灵活性和用户友好性。集成细节Databend 和 PRQL 都采用了 Rust 语言进行开发，这使得集成 PRQL 编译器prqlc成为可能。该。
2024-04-03 18:06:46
324
原创 数据安全之路：Databend 用户策略指南
通过合理配置网络策略、密码策略和数据脱敏策略，Databend 提供了强大的数据安全保护机制，确保用户的数据得到妥善保护，并提高了系统的安全性和可靠性。
2024-03-27 17:24:23
919
原创 Databend x CubeFS：面向未来的企业级云原生数据存储与分析
用场景的丰富，企业面临着前所未有的数据存储挑战。大规模数据存储变得日常化，伴随着超大容量和快速变化的I/O需求，传统的存储解决方案已经难以满足企业对弹性、运维效率及总体拥有成本（TCO）的更高要求。这些挑战促使基于分布式架构的软件定义存储（SDS）技术应运而生，并逐渐走向成熟。即便有了基于分布式架构的软件定义存储服务，但是在构建查询系统时，传统的数据仓库往往采用 Share-Nothing 架构，这种存算一体的设计在某些场景下虽然高效，但它的弹性相对较弱。
2024-03-21 17:20:04
1270
原创 Databend 开源周报第 135 期
Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。What's On In Databend探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。支持查询队列Databend 现已支持查询队列功能，通过设置max_running_queries确定可最大并发运行的查询数量。如有更多查询，这些查询会排入队列，直到处理资源被释放。例如，max
2024-03-12 11:11:42
347
原创 一文读懂 Databend 的开放表格式引擎
凭借组合不同表引擎进行查询，Databend / Databend Cloud 可以支撑在同一个数据库下混合不同格式的表，并进行分析与查询。本文只是提供一个基本的 Workshop 供大家体验功能和使用，欢迎大家基于这个案例进行拓展，探索更多组合 Iceberg 和 Delta Table 进行数据分析的场景，以及更多潜在的真实世界应用。推荐阅读。
2024-03-07 17:47:15
861
原创 Databend Labs 成立 3 周年！
Databend Labs」是开源 Data Cloud 基础设施研发商，也是背后支撑 Databend 开源项目和 Databend Cloud 云平台的核心团队，致力于为用户提供更低成本、更高性能、更加易用的企业级数据建设处理一站式解决方案。2024 年 3 月 5 日，正值惊蛰时节，也是「Databend Labs」成立三周年纪念日。在过去的 3 年里，Databend Labs 一直是 Rust 开源数据库生态的先锋建设者和重度参与者，并且积极推动云数仓解决方案的变革。
2024-03-06 11:42:55
882
原创 淘宝用户购物行为分析
在本案例中，我们将使用 Databend Cloud 对来自天池实验室的进行分析，一起发现有趣的购物行为。该数据集为 CSV 格式，包含了 2017 年 11 月 25 日至 2017 年 12 月 3 日之间，有行为的约一百万随机用户的所有行为（包括点击、购买、加购、喜欢）。
2024-02-29 18:15:06
408
原创 TPC-H 基准测试：Databend Cloud 与 Snowflake 对比
TPC-H 基准测试是评估决策支持系统的标准，专注于复杂查询和数据维护。在这项分析中，我们使用 TPC-H SF100（SF1 = 600万行）数据集比较了 Databend Cloud 和 Snowflake，该数据集包含 100GB 数据和大约 6 亿行，跨越 22 个查询。记住，不要只是相信我们的话 —— 我们鼓励您自己运行并验证这些结果。我们的基准测试虽然受到 TPC-H 的启发，但与官方 TPC-H 结果不直接可比。TPC 基准测试™ 和 TPC-H™ 是交易处理性能委员会（
2024-02-22 10:47:47
442
原创 数据所在，计算随行：Databend 的 2023 年度总结
2023 年是 Databend 为用户和客户全面交付 Data Cloud 数据云平台的一年，真正实现了「数据所在，计算随行」的理念，即将计算力带至数据之处，致力于为用户交付更澎湃的算力。Databend 自 2021 年开始研发，「三年之期已到」，，Databend 会交出怎样的一份答卷呢？让我们一起看看吧。
2024-02-18 09:21:28
806
原创 Databend Stream 的设计与实现 | Data Infra 第 18 期
年前最后一场 Data Infra 直播活动将于本周六（02月03日）与大家见面。本次活动我们邀请到了 Databend 研发工程师-张祖前，与大家分享主题为《 Databend Stream 的设计与实现 》的相关知识。参与本次活动，不仅能帮助我们深化对 stream 在实时数据处理方面的理解，我们还能掌握 stream 的最佳实践和应用策略。无论您是技术爱好者还是专业人士，都会在这次的探索中收获丰富的知识和经验。⏰ 活动时间：北京时间 02 月 03 日 上午 10:00 - 11:00（周六）
2024-02-02 09:50:35
399
原创 当我谈查询优化器时，我谈些什么 (1)—— IR 设计
在正式开始聊之前，我想先明确一下查询优化器的定义。在一般语境中，查询优化器特指对查询的执行计划进行优化的一个数据库组件。但是由于各个数据库实现上的不同，查询的优化方式也变得五花八门，比如在 AST 上直接进行 Rewriting，在 AST Lowering 的时候做些转换，在查询执行的时候进行动态的 Rewriting 等等。为了统一概念，我将从 SQL 解析器 (Parser) 到执行器 (Executor) 之间的所有部分统称为查询优化器 (Query Optimizer)。
2024-02-01 10:59:36
948
原创 从 Greenplum 到 Databend，万全网络数据库平台架构演进
在过去的 4 个月中，我们团队成功完成了整个业务系统的迁移工作，涵盖了 4 个业务线，共计近 500 张表和 600 个任务的迁移任务。这次迁移不仅提升了技术，也加强了团队协作。我们计划继续优化系统，并保持对 Databend 新进展的关注，积极回馈社区。Databend 的卓越性能和稳定性在整个迁移过程中发挥了关键作用，为我们的业务发展提供了强有力的支持。在成功完成业务系统的迁移之后，我们并没有止步于此，而是立志继续向前迈进，展望着更为辉煌的未来。
2024-01-25 18:04:40
815
原创 Databend x HuggingFace，海量数据，随心分析
在这篇文章中，我们展示了如何使用 Databend 直接访问和查询 HuggingFace 数据集。并且展示了如何使用 SQL 对数据进行预处理，使其符合数据规范。此外，利用 CASE WHEN 语句，我们可以轻松表达简单的模型，在 SQL 中完成对 Iris 数据集的预测任务，并且进行精度统计。本文涉及的所有操作均可以在 Databend Cloud（海外版）上直接体验。如果你对使用 Databend 进行数据科学分析感兴趣，也欢迎使用 Databend Cloud 上就绪的计算集群进行一步探索。
2024-01-18 17:42:31
384
原创 从 AutoMQ Kafka 导出数据到 Databend
作者：韩山杰Databend Cloud 研发工程师是使用 Rust 研发、开源的、完全面向云架构、基于对象存储构建的新一代云原生数据仓库，为企业提供湖仓一体化、计 算和存储分离的大数据分析平台。本文将介绍如何通过将数据从 AutoMQ for Kafka 导入 Databend。本文中提及的 AutoMQ Kafka 术语，均特指安托盟丘（杭州）科技有限公司通过 GitHub组织下开源的项目。首先到。
2024-01-11 10:03:28
1073
原创 恭喜 Databend 上榜 2023 开源创新榜「优秀开源项目 」
经过严格的评选过程，评委会从众多参评项目中挑选出 20 个优秀开源项目，新一代云原生数仓项目的 Databend，在众多优秀开源项目中脱颖而出，荣列优秀开源项目榜单。近日，国家科技传播中心见证了一场开源界的重要事件：由中国科协科学技术传播中心、中国计算机学会、中国通信学会和中国科学院软件研究所联合主办，CSDN 承办的 2023 年开源创新榜专家评审会圆满落幕。由王怀民院士担任评委会主任，评委会成员包括来自全国的学会、大学、科研院所、企业、开源基金会、行业联盟等二十多位开源专家。
2024-01-05 19:05:35
385
原创 Databend 的算力可扩展性
作者：尚卓燃（PsiACE）澳门科技大学在读硕士，Databend 研发工程师实习生对于大规模分布式数据处理系统，为了更好应对数据、流量、和复杂性的增长，需要对系统的可扩展性加以重视。可拓展性代表一种预期，即在现有软件和硬件水平无法满足工作负载的时候，通过扩展系统可以进一步满足工作负载的需要。Databend 是一款现代化的云原生数据仓库，旨在通过弹性和可扩展的架构提供高效的数据分析能力。
2024-01-04 17:29:35
804
原创 Databend 部署与运维概要：本地部署 Meta 服务并利用 Kubernetes 管理 Query 服务
本指南旨在介绍如何部署和运维 Databend ，并且采用结合本地部署 Meta 服务和使用 K8s 管理 Query 服务的形式，以平衡元数据管理持久化和计算资源弹性调度的需求。由于 Databend 的部署逻辑在单机模式和集群模式下的一致性，部署模式可以从单机轻松拓展到多节点集群，所以本指南中只基于最简单的情况进行介绍，即：一个本地部署的单节点 Meta ，和一个由单机 K8s 集群管理的 Query 副本。
2023-12-28 17:48:28
864
原创 Databend 开源社区上榜 2023 年度 OSCHINA 优秀开源技术团队
2023 年 12 月 8 日，OSCHINA 对其平台上众多认证的官方技术团队和开源社区进行了全面评估，并颁发了“ 2023 年度优秀开源技术团队”奖项，以表彰各团队在推动中国开源生态系统发展方面所展现的创新能力和显著贡献。在这一评选中，Databend 开源社区有幸获得了 2023 年度优秀开源技术团队的称号，此奖项基于技术团队在平台上发布的内容的深度和广度、以及各种活动运营的影响力等多方面表现而颁发。
2023-12-21 17:26:49
383
原创 Databend 源码阅读： Meta-service 数据结构
在 Databend 中，不仅 key 需要结构化定义，value 也同样需要严格的结构化定义。想象一下，我们的数据仓库是一个大柜子，里面的每个抽屉都用字符串标记，而抽屉里面放的都是二进制数据包。当我们想要存取这些数据包时，我们需要确切地知道每个数据包的内容和结构，这就要求我们用一个独特的结构体来代表这个值的结构，并在必要时将值序列化成二进制数据存储到数据仓库中。在 Databend 中，我们使用 trait来定义存储在 KV-store 中的 value。
2023-12-20 10:51:08
967
原创 【活动回顾】Databend 云数仓与 Databend Playground 扩展组件介绍
Databend 是一款使用 Rust 研发的新一代云原生数据仓库，完全面向云架构并基于对象存储构建。它具备即时扩缩容能力，能够在数分钟内增加数百倍的算力，为企业提供了一个基于对象存储、湖仓一体化、计算和存储分离的大数据管理和分析集中式平台。实现了一份数据，统一计算入口，供多用种业务使用，从而助力企业更准确地洞察业务、制定战略，很好的满足了客户私有化部署的不同需求。
2023-12-14 17:41:15
822
原创 Databend 开源周报第 123 期
是 Rust 官方提供的代码检查工具，通过静态分析来发现问题或不符合规范的代码。通过配置文件，可以制定项目 Clippy 规则，统一代码开发规范，提供最佳实践指引。例如，可以使用下面的 lints 提示开发者使用来代替。
2023-12-12 10:18:03
862
原创 Rusty Tuesday ：Rust 基金会一行来访 Databend Labs，共话技术创新！
在本次活动中，我们非常荣幸地邀请到了多位行业精英：Rust 语言的核心开发者 、 Rust 基金会的创始成员之一兼 Ferrous System 创始人 Florian Gilcher 、Simens 的资深开发者 Daniel Bovensiepen 与 Felix，斑马智行的 Frank 以及 Rust中文社区布道师张汉东先生，与Databend团队共同探讨和分享 Rust 的最新进展和应用实践。我们欢迎所有对 Rust 感兴趣的朋友加入我们的活动，共同推动 Rust 社区的持续发展。
2023-12-08 17:35:25
385
原创 KubeSphere Marketpalce 上新！Databend Playground 助力快速启动数据分析环境
12 月 5 日，Databend Labs 旗下 Databend Playground（社区尝鲜版）成功上架青云科技旗下 KubeSphere Marketplace 云原生应用扩展市场，为用户提供一个快速学习和验证 Databend 解决方案的实验环境。
2023-12-07 18:04:04
621
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人