大数据和云计算技术-CSDN博客

原创 GaiaDB：全球唯一支持多云的云原生数据库

本文我受邀作为DTC 2024云原生数据库专场主持人，并发表专题演讲《基于通用硬件构建的云原生数据库GaiaDB 4.0》，根据我的演讲内容总结而来。欢迎大家查看！下面是正文：大家好，先简单自我介绍一下，我叫朱洁，现在再百度负责数据库，大数据等产品；以前写过一本畅销的大数据的书《大数据架构详解》；另外我有一个公众号，叫《大数据和云计算技术》，日常一些技术上分享我会放到公众号上，欢迎大家关注。我今天...

2024-04-18 10:02:19 599

原创 2024 云原生数据库发展现状和趋势

一、云原生数据库是什么云计算的出现促进了企业信息技术的进步。云计算供应商把大量的计算、存储和通信资源汇聚在一个“池”中，允许企业或个人用户根据需求购买这些资源，从而能快速、低成本地建立信息系统。当系统负载发生变化时，可以根据需要增减计算资源。对于供应商来说，能统一管理所有用户使用的大量资源，实现规模效应，降低边际成本。对于云计算用户来说，获取资源快捷、便捷，按需使用的成本更低。从全社会的角度看，整...

2024-04-15 19:00:34 245

转载云数据库价格一瞥

概述最近，大家似乎和价格“磕”上了。本文仅考虑主流产品（RDS MySQL、Redis）的部分主流规格，对各家厂商的价格做一个对比，供参考。TL;DR：总体来看，各家云厂商价格趋于持平，部分主流商品百度云、华为云更便宜。RDS MySQL的单机版本，意外的是百度云的价格明显最低，小规格几乎是其他厂商价格的三分之一。RDS MySQL双机高可用通用规格，华为云的价格最低，百度云、腾讯云其次。RDS ...

2024-04-09 08:37:47 11

原创百度向量数据库 VectorDB 性能报告

百度向量数据库 VectorDB 是一款纯自研高性能、高性价比、生态丰富且即开即用的向量数据库服务，提供高效的向量索引和相似度查询服务。为了让用户更好地了解VectorDB的性能表现，VectorDB性能白皮书详细描述了性能测试环境、测试方法和测试结果。本章节说明性能测试所需的环境与数据集。数据库规格测试实例规格如下表格所示：规格项规格信息数据库类型标准版代理节点数2数据节点规格4c8g（4核心，...

2024-04-08 09:50:10 748

原创正念冥想

今天讨论一个对科技人士很有帮助的锻炼，正念冥想。正念“正念是正确的观念？”“是积极乐观的想法？是正能量吗？” 并不是。正念起源于佛教，是佛陀释迦牟尼提出的被称为“四念处”的方法论，即通过对当下环境“身、受、心、法”的如实感知，加强意识与身体的连接。起初是佛教徒用来修行，解脱烦恼的，后来也被世俗广泛应用。迄今为止，已被宗教和非宗教人士践行了两千五百年了，具体被应用于禅修冥想、运动和日常生活。冥想是什...

2024-04-06 14:34:01 308

原创向量数据库 Q&A

Q: 向量数据库适合什么场景A:向量数据库适用于许多不同的场景，特别是涉及高维数据和相似性搜索的应用。以下是一些适合使用向量数据库的常见场景：图像和视频搜索：向量数据库可以用于索引和搜索图像或视频特征，使用户能够根据视觉内容和风格查找相似的图像或视频。例如，用户可以根据特定对象或场景搜索图像，并且系统将返回视觉上相似的图像。自然语言处理：向量数据库可以用于索引和搜索文本嵌入，使用户能够根据语义相似...

2024-04-04 09:46:07 254

原创漫谈湖仓一体业界最新动态和发展趋势

前段时间和朋友闲聊，讨论到这个话题，共享出来和大家一起讨论问题一、数据湖技术栈核心技术更新点Databricks：Delta Live Tables ETL增强、湖仓数据分层、增量ETL增强、Spark Structured Streaming Checkpoints、BI增强、AI增强、数据湖治理hudi：增量查询增强、Flink与Spark支持增强、lakehouse统一格式、alluxio高...

2024-04-01 08:00:29 610

原创什么是数据库的下一站？

SU7 能突出重围？3 月 28 日，小米发布 SU7。罗永浩在社交平台发文谈小米SU7，“各种补贴拿完了差不多20万吧，足以把这个价位段的大部分油车、杂牌电车、不够智能的电车都淘汰掉了。小米很可能继平价手机市场之后，在大众消费车市场上重新上演良币驱逐劣币的史诗性一幕。”小米的商业逻辑很简单，就是高性价比，当年小米在智能手机行业也是这个逻辑，性价比不是绝对低价，比他便宜的没有他好，比他好的，没有他...

2024-03-30 19:30:24 857

转载云原生数据库下一站：像 MySQL 一样流行，让更多人受益于新技术的发展

过去的半个世纪，数据库产品形态经历了漫长演变与持续更新。起始于大型机的集成式、封闭的数据库服务，随后过渡到小型机时代的标志性 IOE 数据库架构。随着互联网的蓬勃发展，MySQL 等开源数据库掀起了一股浪潮。而云计算的崛起则标志着云数据库新时代的来临。深究背后的原因，我们不难发现数据库的发展始终紧密跟随用户需求的转变。在当下，云原生数据库崭露头角，受到了 AWS、阿里云、百度智能云等众多云厂商的热...

2024-03-28 17:32:24 11

转载百度云原生数据库 GaiaDB 引领数据库普惠新潮流

2024年4月12日-13日，由中国DBA联盟（ACDU）和墨天轮社区联合主办的第十三届『数据技术嘉年华』(DTC2024)将在北京新云南皇冠假日酒店盛大开启。作为本次峰会的一大亮点，百度智能云数据库产品总架构师朱洁将于4月13日上午，在『云原生数据库』分论坛上进行《基于通用硬件构建的云原生数据库 GaiaDB 4.0》的主题演讲。在这场备受期待的演讲中，将深入探讨云原生数据库发展历程以及未...

2024-03-27 11:10:14 59

转载不再等待直接上答案，百度智能云推出数据库 Copilot

- 01 -在云数据库的使用过程中，时常借助问题工单或帮助文档来解决业务中遇到的一些状况。向客服提交工单后，如果遇上复杂问题，客服人员会和您进行多轮沟通，确认问题详细情况，再转去联系后端的产研团队获得进一步支持。在继续等待一段时间后，客服回复了一个文档链接和一些操作指导，并推荐您参考文档的详细内容进行操作。即使得到了客服的全力帮助，我们还需要扛住业务催促的压力，沉下心来详细地阅读文档内容，或者收...

2024-03-22 12:22:20 12

原创大模型和向量数据库怎么搭建 RAG 系统？Step by step 例子来了。

RAG 介绍RAG是一种先进的自然语言处理方法，它结合了信息检索和文本生成技术，用于提高问答系统、聊天机器人等应用的性能。以下是RAG的详细工作流程：RAG 的工作流程RAG的工作流程文档加载（Document Loading）从各种来源加载大量文档数据。这些文档将作为知识库，用于后续的信息检索。文档分割（Document Splitting）将加载的文档分割成更小的段落或部分。这有助于提高检索的...

2024-03-15 09:25:40 759

原创揭秘百度向量数据库

1问：“百度的向量数据库叫什么名字？”大模型答：“很高兴为你服务，百度的向量数据库 VectorDB 别称 “莫愁”，属于百度数据库团队自研的数据库产品。”大模型为什么知道百度向量数据库的名字呢，这一问一答中究竟经历了什么呢？其实要实现大模型和企业的私有化数据和知识管理起来，就需要用到向量数据库。问题转为向量数据，然后在向量存储模块中找到关联的内容，把问题和找到的内容一起发给大模型理解，大模型返...

2024-03-12 08:02:44 1040

转载百度智能云发布专用向量数据库 VDB 1.0，全新设计内核开启性能狂飙

1 专用向量数据库应对未来业务挑战向量数据库 = 向量检索 + 数据库向量数据库大致可以分为 2 部分：向量数据的检索，以及向量数据的存储和管理。向量数据库的性能，比如高 QPS、低延时等，使得业务能够更快的响应用户的查询请求，提供更流畅的使用体验。想要提高向量数据库的性能，首先可以采用更新的向量检索算法，其中各类优异的向量检索算法，通常能够通过各类插件被快速应用。想要进一步提升业务性能，则...

2024-03-08 11:19:30 25

原创云原生数据库 GaiaDB 支持新的管理工具啦

GaiaDB‍‍‍GaiaDB是百度智能云自研的新一代企业级关系型数据库，最大容量可扩展500TB以上，吞吐达到150+万QPS，TCO相比自建降低50%。作为一款100%兼容 MySQL 的云原生数据库产品，用户可以通过多种客户端工具连接GaiaDB 实例，例如MySQL Workbench、Navicat for MySQL。现在，用户可以通过 Ninedata 来访问和管理Gai...

2024-03-05 08:02:19 378

转载云数据库性能深度测评与对比

笔者一直都在非常深度关注、调研和使用云数据库，其中性能是关注的重点之一。一方面性能是最终成本的重要影响因素，更好的性能，通常意味着使用更少的资源支撑更高的业务量，从而降低整体成本。另外，性能还意味着在极端场景下，数据库的上限支撑能力。所以，近期对各个云数据库厂商做了一个较为系统的性能对比，供开发者和企业在云数据库选型时的参考。总览：云数据库性能对比在进行大量测试之后，对主要的云厂商分别选择了一个“...

2024-02-28 08:01:34 44

原创 2023 年中国数据库十大发展总结

2023 年：信心跌至冰点2022 年中，红衫的一篇《适应与忍耐》的报告，对公司经营提出了预警，让各个公司保持现金流，重整团队，想办法增加盈利。这篇报告的推出的时间点应该是各个整个行业的拐点，大家不再期待 V 型复苏拐点，信心开始逐步跌落，2023 年初跌倒谷底和冰点。2023 年整个一年都是在艰难的慢慢恢复，各行各业普遍艰难，公司裁员加剧，就业率创新低。数据库行业2021 年的资本盛宴开始，众多...

2024-02-27 08:00:44 653

原创云数据库 Redis 性能深度评测（阿里云、华为云、腾讯云、百度智能云）

在当今的云服务市场中，阿里云、腾讯云、华为云和百度智能云都是领先的云服务提供商，他们都提供了全套的云数据库服务，其中 Redis 属于RDS 之后第二被广泛应用的服务，本次测试旨在深入比较这四家云服务巨头在Redis云数据库性能方面的表现，为企业在选择合适的云数据库时提供重要的参考依据。我们将针对阿里云、腾讯云、华为云和百度智能云的 Redis 云数据库进行全方位的性能测试，包括读写性能、并发处理...

2024-02-26 08:01:00 1300

转载真香！NineData SQL 开发全面适配 GaiaDB

2 月，新年伊始，NineData 重磅发布，提供了对百度云原生关系型数据库 GaiaDB 的支持。这一次的发布不仅仅是简单的数据源支持，而是覆盖了整个 SQL 开发能力的重要发布，意味着您已经可以完整地使用 NineData SQL 开发的所有能力来管理您的 GaiaDB 实例。1. 先简单介绍一下 GaiaDBGaiaDB 是百度智能云研发的一款云原生数据库，100% 兼容 MySQL，目前已...

2024-02-22 10:30:11 40

原创百度智能云数据库又新增多位朋友了

GaiaDB-X 与龙芯平台完成兼容认证近日，百度智能云的分布式关系型数据库软件 GaiaDB-X V3.0 与龙芯中科技术股份有限公司的龙芯 3C5000L/3C5000 处理器平台完成兼容性测试，功能与稳定性良好，获得了龙架构兼容互认证证书。龙芯系列处理器通用 CPU 处理器是信息产业的基础部件，是关系到国家命运的战略产业之一。国产 CPU 目前主要有三个发展路线，分别是采用 X86 路线、引...

2024-02-18 15:13:40 944

转载百度“莫愁”向量数据库公测发布，大家可以申请了

号外！号外！“莫愁前路无知己，天下谁人不识君”“莫愁”向量数据库终于发布了欢迎大家年前先来尝鲜，点点看看，帮忙找茬。官网地址：https://cloud.baidu.com/product/vdb.html帮助文档地址：https://cloud.baidu.com/doc/VDB/index.html...

2024-02-04 20:01:39 128

原创云原生数据库 GaiaDB 的核心技术演进和解析

导读在越来越强调云原生的环境下，存算分离作为一种新的架构理念，已经是大势所趋。新的技术架构带来新的问题和挑战，百度智能云的云原生数据库 GaiaDB 采用 Quorum 分布式协议、高性能网络、高可靠分布式存储引擎等技术实现更高的性能和可用性。随着越来越多的企业将业务搬迁至云端，网络、计算和存储资源的弹性伸缩能力变得越来越重要。这些资源的弹性伸缩能力不仅可以帮助云上业务轻松应对业务尖峰，还可以大大...

2024-02-03 10:11:12 1037

转载大模型太给力了，数据库运维工作量直接减少 50%！

本文源自百度智能云数据库运维团队的实践，深入探讨了基于大模型构建「知识库智能问答系统」的设计过程和应用。全文包括了总体的技术方案选型、各个模块的设计实现、重点难点问题的突破、以及目前的落地场景应用等。该系统自从内部上线以来，整体的回答准确率达到 80% 以上，数据库运维工作量直接减少 50%：包括 80% 咨询量，以及 20% 工单处理工作。1背景随着大模型的飞速发展， AI 技术开始在更...

2024-01-31 11:52:39 109

原创使用DTS实现TiDB到GaiaDB数据迁移

1 概览本文主要介绍通过 DTS 数据迁移功能，结合消息服务 for Kafka 与 TiDB 数据库的 Pump、Drainer 组件，完成从TiDB迁移至百度智能云云原生数据库 GaiaDB。消息服务 for Kafka：详细介绍参见：消息服务 for Kafka 产品介绍百度智能云云原生数据库GaiaDB：详细介绍参见：云原生数据库 GaiaDB2 需求场景适用于使用百度智能云数据传输服务 ...

2024-01-21 19:00:21 917

转载如何实现一个百万亿规模的时序数据库，百度智能云 BTS 架构解析和实践分享...

本文整理自 2023 年 12 月 16 日，百度智能云数据库总架构师朱洁在《国产数据库共话未来趋势》技术沙龙上的主题分享。随着互联网和物联网的高速发展，产生了大量的结构化、半结构化数据。在百度集团内部， BTS（Baidu Table Storage）成为处理这些半结构化数据的关键产品。随着技术的不断发展和业务需求的多样化，BTS 在百度内部经历了从支持单一 Table 能力到支持宽表、时序等...

2024-01-20 19:00:00 165

原创补充TiDB与云原生数据库的性能比较，测试结果先诧异，之后懂了

前段时间小编测试了三家云厂商的云原生数据库库，包括阿里云 PolarDB、百度智能云 GaiaDB 和腾讯云 TDSQL-C，测试的结论是"阿里云 PolarDB > 百度智能云 GaiaDB > 腾讯云 TDSQL-C"。有读者私信我想比较下TiDB，因为企业在MySQL替换过程中会纠结TiDB自建还是直接用云原生数据库，因此小编在之前的测试基础上补充了TiDB的性能对比。未阅读过...

2024-01-19 17:30:29 370

原创云原生数据库性能对比（阿里云、百度智能云、腾讯云）

近些年，云原生数据库成为云厂商的重要发展方向，阿里云、百度智能云、腾讯云均先后发布了自研的云原生数据库。笔者认为云原生数据库具有更高的性价比、更极致的弹性，可以满足业务发展的不同阶段和负载场景的需求，也是云数据库从托管开源数据库到原生化自研的必然发展。笔者一直非常深度关注、调研和使用云数据库，其中性能是关注的重点之一。一方面性能是最终成本的重要影响因素，更好的性能，通常意味着使用更少的资源支撑更高...

2024-01-18 16:10:11 988

原创 PLG 的整体框架

上一篇介绍了 PLG 的概念《PLG 基础概念和关键点》，接上一篇以数据库做 PLG 介绍下整体思路和框架，希望对大家有帮助。整体框架• 构建用户漏斗模型，通过快速迭代，改进各个环节。• 扩大入口流量，增加转化率核心抓手• 各种渠道: 官网，各种搜索引擎，其他还有文档，社交媒体，github/开发者工具，生态伙伴￮研究各个渠道的流量，转化率，去尝试提高找出转化多的，热门关键字...

2023-03-29 19:00:42 331

原创 PLG 基础概念和关键点

什么是 PLGPLG 是 Product Led Growth 的缩写，常翻译为产品增长或产品主导型增长。这个概念最早是风投公司 OpenView 2016年提出的。定义：PLG 是一个聚焦终端用户的增长模型，依赖于产品自身作为获取、转化、扩展客户的核心动力。• 以产品来驱动，通过免费试用，平台内教学，知识库，自动化售后来获客，转化和留存。• PLG 相比传统的 SLG 核心就是抓住最终用户，通过...

2023-03-28 20:00:26 932

原创再聊聊 2B 企业出海

最近和不少 2B 创业公司聊，都觉得国内卷，把出海当做优选项，甚至有些公司官网全部改成英文，专做海外生意，出海又天真的认为就是放到云上就 OK 了。国际化不是那么好搞的，前面专门写了《2B 企业出海关键难关》，2B 出海要过产品关、语言关、文化关至少三关，这其实还是宏观上的。从实操角度，一个产品出海最核心还是怎么 GTM，PMF。再多想想：在国内这个事情就不容易，以数据库为例，摩天轮（http...

2023-03-27 20:00:57 173

原创 2B 企业出海关键难关

以前写过文章，看好2B 产品国际化的大逻辑，但是国际化不是一蹴而就的，需要做好长期有耐心的准备。国内2B市场，尤其是数据库市场卷的不行，所以大量的企业想的第一时间就是国际化。但是中国的产品和品牌国际化成功的比较少，华为是其中的标杆。华为1996年开始试水，直到2005年才算是有突破。经过8年的奋战，海外才成为主战场。华为的海外市场拓展的时间线：海外试水阶段（1996-2000年）：小分队试探海外市...

2023-03-20 17:29:40 250

原创日常怎么来决策一个产品需求做不做

一个正常的产品肯定首先要有一个非常清晰的产品定位和价值主张，有一个相对清晰的规划和路标。怎么来去制定这个定位和路标，这是一个战略规划的过程，战略规划完成之后还需要通过战略解码来实现上下对齐...

2022-03-19 20:05:56 214

原创行程卡是怎么记录行程的？

上图是天津市通讯管理局里面明确行程卡使用的是基站数据，那大家会好奇了，为啥基站数据能得出来行程？其实这个和无线通讯的原理是有很大关系的，**无线是用一个个蜂窝来划分区域的，一个蜂窝叫一个小...

2022-02-20 15:53:18 2427

原创 Windows Azure Storage 论文阅读

最近读微软一篇比较早的论文，Windows Azure Storage：A Highly Available Cloud Storage Service with Strong Consi...

2022-02-06 15:50:59 1083

原创讲逻辑

人无千日好，花无百日红，企业也一样，每个时代都有就业热点。我映像中，90年代，进入事业单位，肯定是上上之选，那个时候就业还靠分配，也没有什么辞职一说。2000年左右，运营商、外企是当红炸子...

2022-01-30 14:50:39 182

原创我认知的 DevOps 核心价值

记得刚读大学的时候，热门的专业叫软件工程，这个专业用国外的教程，学费比一般的专业还要贵很多，大概是 1.5 倍以上，因此搞软件从来都是很复杂甚至感觉高大上的一个事情。后面去读《人月神话》，...

2022-01-23 11:07:14 2376

原创云服务厂商人才空心化隐忧

snowflake 成为年度数据库根据 DB-engine 统计的流行度，2021 年 snowflake 成为年度数据库。年度数据库的标准很简单，就是新增流行度最多的数据库，DB-Eng...

2022-01-15 18:47:56 533

原创再读李录《文明、现代化、价值投资与中国》：追求真知是核心意义

最近重新读了一下李录的书《文明、现代化、价值投资与中国》，核心内容讲的中心思想有几个方面：- 是文明分三个阶段，史前文明 1.0，农业文明 2.0 ，现代科技文明 3.0；现代文明，通过科...

2022-01-08 14:58:29 3301

原创所有过往、皆为序章：我的2021

2021 生活2021年，我用《道阻且长行则将至》来总结和展望。2022年，我要说：所有过往、皆为序章。2021年又波澜不惊的过去了，先简单回顾一下去年立的 flag，还是有得有失的。读...

2022-01-01 16:52:42 759

原创 Modern Data Stack 下 Data Integration 生态（下）

前言上一篇介绍了什么是moderndatastack,这一篇继续来梳理下，在modern data stack 下面常见的产品都有哪些。业界一些常见的产品（按主要场景分类）数据同步/...

2021-12-25 10:28:45 1512

空空如也

空空如也