新一代数据仓库明星企业偶数科技

新一代数据仓库的那些事

  • 博客(145)
  • 收藏
  • 关注

原创 《ANCHOR:区分 “湖仓一体” 和 “湖仓分体” 的锚》

一、从数据仓库说起1990 年,数据仓库之父比尔·恩门 (Bill Inmon) 率先提出了数据仓库的概念,其专著《建立数据仓库》指出数据仓库为分析决策服务,是一个面向主题的、集成的、非易失的且随时间变化的数据集合。2000 年开始,数据仓库在国内得到了广泛的推广,电信和银行业最早建立起数据仓库。比尔·恩门 (Bill Inmon)业务增长源源不断的产生数据,这些数据存储在业务数据库中,也就是我们常说的 OLTP 数据库。当积压的历史数据越来越多,对业务数据库产生负载,导致业务系统运行速度降低;同时,在日益

2022-08-03 15:00:37 1164

原创 技术分享丨你的数据库为什么这么慢?

当你发现数据库查询特别慢的时候,并且从硬件配置、SQL优化和索引等方面都找不出原因,那你可能需要从数据库的计算引擎本身的性能找下原因。数据库的计算引擎性能有多重要?我们可以拿汽车做个简单类比。服务器硬件配置是基础设施,相当于汽车行驶的道路,高速公路和山村土路的行驶效果肯定是不一样的;SQL的查询优化相当于驾驶水平;而数据库计算引擎就相当于汽车发动机,既是数据库性能的源动力,也是各家厂商最核心的技术壁垒。那么,我们就从数据库计算引擎的实现技术探究下如何提高数据库性能。下图是从客户端发出一条SQ

2021-08-18 11:47:35 274

原创 国家数据局正式揭牌,2030年数据要素市场规模或破万亿

国家数据局的成立将有助于强化数据要素制度供给,构建数据流通体系,激活数据生产力,对于构建新发展格局、建设现代化经济体系、构筑国家竞争新优势具有重大意义。数据要素是数字经济的发展基础和关键要素,国家数据局正式揭牌,无论是对于加强数据要素利用,还是完善数据安全治理,都是中国顺应数字经济的特别之举,有助于发展数字经济,抓住全球新一代科技发展浪潮。按照相关文件,国家数据局将负责协调推进数据基础制度建设,统筹数据资源整合共享和开发利用,统筹推进数字中国、数字经济、数字社会规划和建设等,由国家发展和改革委员会管理。

2023-11-10 17:16:06 141

原创 偶数科技亮相2023中国程序员节——数据库技术高峰论坛

为了进一步推动国产数据库技术的发展和应用,本次论坛汇聚了业界专家、学者,围绕多模态、分布式、国产迁移、湖仓一体、开源社区等数据库技术话题开展交流与探讨,增进广大程序员对前沿新技术及应用的深入了解,拓展知识深度。至此,开放格式,一份数据,多个引擎的架构初步形成,这样的“一数多擎”架构形成了可以破局当前企业数据困境的方案——实时湖仓(Realtime Lakehouse)。● 针对结构化数据,需要兼容开放数据格式,兼顾实时查询、离线分析、高并发和高可用的分析引擎,比如偶数的OushuDB。

2023-11-10 17:08:19 131

原创 偶数科技携Skylab实时湖仓数据平台亮相2023全国中小企业数字化转型大会

会议期间,偶数科技等典型企业的数字化转型新技术、新产品、新应用、新模式集聚亮相,系统展示了全国中小企业数字化转型成效。偶数科技Skylab实时湖仓是一个拥有海量数据存储、计算、分析、应用和 AI 能力的数据平台,提供完整的数据管理生态闭环,帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。同时,偶数科技的代表在大会上分享了公司在数字化转型方面的成功案例和独到见解,其在中国移动、国家电网、建设银行等头部企业的最佳实践,引起了参会者的广泛关注和讨论,为与会嘉宾提供了借鉴和启示。

2023-11-10 17:07:33 292

原创 OushuDB 专家认证第四期报名开始啦!

培训课程立足学员的实际工作需求,内容涵盖了 OushuDB 的产品功能、原理和技术讲解,并将理论与实践相结合,模拟各类真实使用场景,将丰富的技术知识与经验传递给学员。OushuDB 是新一代分布式云原生数据库,可轻松构建企业核心数仓、数据集市、实时数仓以及湖仓一体数据平台,拥有众多的技术创新点和广阔的市场前景。未来,偶数科技会更加努力为客户、合作伙伴以及所有数据库爱好者,提供更多具有创新性、实用性、前瞻性的优质培训内容,创造更深远的社会价值。2023年11月9日9:00—11月30日12:00。

2023-11-10 16:58:20 126

原创 从北京到南京:偶数在能源行业的数据迁移实践

由于北京数据中心原来的服务器机型老旧,不兼容南京数据中心即将搭建的新集群,因此本次迁移通过搭建临时集群的方式,在北京数据中心将原有数据文件同步至临时集群,再将临时集群搬迁至南京数据中心,临时集群和南京集群组建新的OushuDB 集群,导入备份数据。除了以上平台能力建设的大幅提升,该客户基于平台开放格式的统一数据存储,还可以选用和优化不同大数据组件(如处理结构化数据、非结构化数据和流式数据的不同计算引擎),可落地的多引擎融合能力,让该客户在能源领域提早布局实时分析和人工智能,抓住数字化转型先机。

2023-10-20 15:20:08 213

原创 大模型、实时需求推动湖仓平台走向开放

IDC 调研显示,企业在数字化商业过程中更加关心利用数据和信息来创造自身竞争优势,因此实现底层统一的数据管理是进行上层资产管理和业务决策分析的关键。以往,由于技术水平的制约和方案的局限性,我们难以实现底层统一的数据管理。因此,为了能用更丰富的数据源训练AI模型,我们以极高的代价将数仓的数据导出;为了实现实时数据处理,我们不惜选择冗长的数据处理链路,造成多份数据和多个计算引擎烟囱林立。

2023-10-20 15:15:18 249

原创 有湖有仓,如何升级到湖仓一体

很多企业在过去的 IT 基础建设过程中,都已经搭建了数据仓库或数据湖,或者两者都有。其中数据仓库一般使用的是传统 Oracle 或者传统 MPP 数据库,如 Teradata 和 Greenplum,数据湖使用 Hadoop 大数据平台。所以在考虑湖仓一体升级改造时,就会有一个疑问——假如企业既有数据湖又有数据仓库,该选择基于湖还是仓进行湖仓一体的升级改造呢?讨论通过湖或者仓进行湖仓一体升级,我们要知道现有的数据湖和数据仓库分别使用的什么架构,然后我们才能知道选择什么路径,使用什么技术。

2023-10-20 14:57:53 106

原创 Gartner发布2023年最新技术成熟度曲线,偶数科技位列湖仓一体代表厂商

Gartner 认为,湖仓一体(Lakehouse)是一个将数据湖的灵活性和数据仓库的规范性、易用性和高性能的特点结合起来的融合基础架构,无物理和逻辑的数据孤岛。曲线由五个部分组成,分别对应了新技术发展的五个阶段:技术刚刚流行的启动期、随着关注度提升的热门关注期、热度下降的低谷期、爬升期、高原期。目前,偶数的湖仓一体已经在金融、电信、能源和互联网等行业中得到应用,同时,其技术优势与成长性也得到了诸如建设银行、中国移动等头部客户的认可。该技术逐步成型,出现了成功的案例,一些敏锐的公司开始跟进。

2023-10-20 14:56:19 196

原创 偶数科技发布实时湖仓数据平台Skylab 5.3版本

近日, 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品,分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava,在本次的新版本升级中以上全线产品都进行了更新。

2023-10-20 14:55:27 542

原创 偶数科技与白鲸开源完成兼容性认证

WhaleStudio 是白鲸开源科技根据全球领先的 DataOps 理念打造的新一代数据集成调度工具,它由两大核心组件组成,WhaleScheduler 与 WhaleTunnel,将全球领先的调度开发组件与数据集成组件集成在一起提供给用户全球领先的完整解决方案。新一代执行器显著提升批处理和按需即席查询效率,采用计算存储分离架构,解决了传统数据库高成本、高门槛、难维护、难扩展的问题。测试结果显示,双方产品相互良好兼容,稳定运行、安全,同时可以满足性能需求,为企业级应用提供可靠保证。

2023-08-01 15:19:19 573

原创 湖仓一体概念快问快答

过往,构建湖只能用 Hadoop 技术栈,否则存不下,做数仓就得用 MPP 数据库,这本来就是割裂的,而现阶的湖仓一体就不再有这样的问题,所以湖和仓都在新的一体化平台中,是架构上的统一。很多云厂商都提供了数据湖和数据仓库架在自己的云底座上面的,确切的说是提供了云上的 MPP 和云上的 Hadoop,尽管实现了逻辑上的湖仓一体,但是湖+仓≠湖仓一体,云上的 MPP+Hadoop 仍然会各自形成数据孤岛和数据冗余,仍要通过复杂的管理组件实现仓和湖的数据同步,本质上大多数厂商的湖仓分体现状是一样的。

2023-08-01 15:01:39 252

原创 偶数科技亮相第十届中国中小企业投融资交易会

本届投融会展览面积逾一万平方米,主要参展机构包括中国建设银行、中国工商银行、中国银行、中国农业银行、民生银行、光大银行、广发银行、招商银行、微众银行、北京银行、清源资本、平安普惠、中信建投等几十家金融机构、地方政府展团等参与展示。在大会开幕仪式中,第十二届全国政协副主席、全国工商联原主席王钦敏指出,要坚决贯彻落实党中央决策部署,为中小企业发展营造良好环境,加大对中小企业支持力度,坚定企业发展信心,着力在推动企业创新上下功夫,加强产权保护,激发涌现更多专精特新中小企业。

2023-08-01 15:00:09 578

原创 入选首批共建单位,偶数科技亮相TDBC2023可信数据库发展大会

近日,由中国信息通信研究院、中国通信标准化协会指导,中国通信标准化协会大数据技术标准推进委员会、InfoQ 联合主办的"2023可信数据库发展大会"在京召开,大会发布多项信通院及相关机构在数据库领域的研究成果,其中包括《中国数据库产业图谱(2023)》和数据库应用创新实验室电信行业工作组,偶数科技作为电信行业工作组首批共建单位在会上亮相。下一步,协会将加快推进数据库领域关键技术标准体系研制,充分发挥标准引领作用,助力我国数据库产业高质量发展,共筑数字经济可信底座,为我国数字经济发展做出更大贡献。

2023-08-01 14:54:13 93

原创 偶数科技发布实时湖仓数据平台Skylab 5.3版本

近日, 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品,分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava,在本次的新版本升级中以上全线产品都进行了更新。

2023-08-01 14:51:22 499

原创 Gartner发布2023年最新技术成熟度曲线,偶数科技位列湖仓一体代表厂商

Gartner 认为,湖仓一体(Lakehouse)是一个将数据湖的灵活性和数据仓库的规范性、易用性和高性能的特点结合起来的融合基础架构,无物理和逻辑的数据孤岛。曲线由五个部分组成,分别对应了新技术发展的五个阶段:技术刚刚流行的启动期、随着关注度提升的热门关注期、热度下降的低谷期、爬升期、高原期。目前,偶数的湖仓一体已经在金融、电信、能源和互联网等行业中得到应用,同时,其技术优势与成长性也得到了诸如建设银行、中国移动等头部客户的认可。该技术逐步成型,出现了成功的案例,一些敏锐的公司开始跟进。

2023-08-01 14:50:30 148

原创 Transformer 要占领地球了,大语言模型最全盘点!

随着最近半年 ChatGPT 火爆全球,基于 Transformer 架构的大语言模型(LLM)逐渐走入大众视野,可以说,Transformer 在AI 领域的影响力绝不亚于变形金刚在科幻领域的影响力。Transformer 的核心思想是使用自注意力机制(Self-Attention Mechanism)来建立序列之间的依赖关系。就在2年前,很多模型主要还是基于长短期记忆(LSTM)和递归神经网络(RNN)的其他变体,而如今大语言模型都是基于 Transformer 的注意力机制。

2023-08-01 14:46:48 197

原创 OushuDB × 东方证券:数据仓库信创国产化最佳实践

OushuDB 在完成国产数仓平台迁移的基础上还在拓展能力和性能方面实现了升级,同时还提供了超出预期的三大能力——实时查询、超高并发、弹性扩容,随着数据化转型的升级,这几类能力变得越来越重要,是未来各行业 IT 建设的必选项。与一个大型金融机构相匹配的,正是东方证券当前管理的海量数据。在系统平台数据迁移与应用迁移试运行阶段,偶数工程师提供了全面的运维技术支持,包括系统故障排错、系统性能调优、系统监控、故障点排查、集群节点故障迁移等,同时完成了东方证券数仓平台性能测试、非功能测试,平台试运行阶段全程保障。

2023-05-12 17:49:28 693 1

原创 偶数社区投稿丨OushuDB学习实践系列(一):开一家超市

我也不知道是哪位前辈祖先,但是我们可以想到,第一个开超市的人一定明白了交换的价值,他开超市成功了,并且摸索出了一套基本的规范,后人根据这样的规范,开了类似的场所、店铺,而后逐渐有了市场、有了行业。开了一家超市,你自然就是这个超市的主人,同样的,当你创建数据库后,你就自动成为了这个新数据库的主人(所有者),以后开不开这家超市,是否删除掉这个数据库,都是你来决定。你当时选择开超市,是看到别人开超市赚钱了,有利可图,你才开始做这件事的,并且有了一个比较成熟的市场规范,那么,第一个开超市的人是谁?

2023-04-17 15:10:02 438

原创 如何更好的进行数据管理?10 条建议给到你

真正在数据和查询层面形成一体化架构,彻底解决集群规模和并发受限、非结构化数据无法整合、建模路径冗长、数据一致性弱、性能和时效瓶颈等问题,从而帮助用户彻底规避数据孤岛,优化数据供给能效,有效降低 IT 运维成本和数据管理技术门槛,让企业在数字化转型过程中赢得先机。进而确定数据处理步骤,包括数据提取、数据清洗、数据转换、数据整合、数据加载等。另外,数据完整性可以提高数据分析的效率,如果数据是完整有效的,分析人员将能够更快地挖掘到相关信息,做出更准确的决策,并且更容易发现数据之间的关系和模式。

2023-04-17 15:03:31 318

原创 偶数科技发布实时湖仓数据平台 Skylab 5.0

新版 Skylab 的发布标志着偶数科技具有从数据存储、计算、管理到分析、应用和 AI 能力的完整的数据管理生态闭环,帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。用更先进的技术和更少的成本,为企业带来全实时的洞察力、更智能的决策、更快的应用集成,助力企业数字化转型。通过对存量和新增的数据资产进行全方位的规划管理,为企业搭建领先的数据运营体系,减少数据污染和治理成本,提高数据可见性和使用效率,助力数字经济下的数据确权和定价,加快数据要素流通。降低运维成本,提高管理效率。

2023-04-17 10:59:10 447

原创 数据分析的核心算法有哪些?

6、最优化理论的三大非经典算法:模拟退火法、神经网络、遗传算法。3、线性规划、整数规划、多元规划、二次规划等规划类问题。5、动态规划、回溯搜索、分治算法、分支定界等计算机算法。2、数据拟合、参数估计、插值等数据处理算法。8、一些连续离散化方法。7、网格算法和穷举法。

2023-02-24 18:16:16 613

原创 OushuDB云原生数据库有哪些核心技术

虚拟化是云计算最重要的核心技术之一,它为云计算服务提供基础架构层面的支撑,是ICT服务快速走向云计算的最主要驱动力。因为在多节点的并发执行环境中,各个节点的状态需要同步,并且在单个节点出现故障时,系统需要有效的机制保证其它节点不受影响。云计算的好处显而易见,但随着其规模越来越大,云计算本身的能耗越来越不可忽视。云安全可以说是从传统互联网一直遗留下来的问题,只是在云计算的平台上,安全问题变得更加突出。云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效地管理大量的数据。

2023-02-24 18:13:33 193

原创 数字化转型对企业有什么好处?

企业在布局数字化转型时,尽管会面对各界多样的声音,但一定要回归到企业的本质需求上来:“降本、增收、提效”等企业核心目标。通过企业日常运营的数据,客户公司反馈的数据,形成企业日常运营的全场景数据,再反馈到改进产品、改善流程、精准营销、升级运营、优化库存等业务上来,形成良性发展的闭环。数据使战略能够提供更加相关、定制化和适应性更强的信息。很多企业都积累了大量有关消费者的数据,但真正的优势来自于分析这些数据以推动业务的发展。数字化转型提供了一种机制,用于获取正确的数据并将其完全集成,以实现更高层次的业务洞察力。

2023-02-17 17:51:18 193

原创 Teradata 宣布退出中国,OushuDB 成为更好选择

相比 Teradata 的传统 MPP 架构,OushuDB 不仅满足了自主可控的要求,同时在技术方面实现了跨越式提高,存算分离,在大规模高并发等多场景中可以实现查询速度质的飞跃。基于 OushuDB,可以轻松实现新一代实时湖仓一体平台的搭建,不仅可以实现“高效稳定、快速承载、技术先进、安全可靠”的要求,同时还保证了迁移工程中的业务稳定,综合成效比达到 Teradata 的几十倍。以 Teradata 为代表的外资数据库厂商在中国面临的困境主要来自于三个方面:一是我国对数据安全的重视和自主可控要求的提高;

2023-02-17 17:45:49 418

原创 ChatGPT 爆火!谷歌、微软、百度纷纷下场?

2月8日,微软公布了新一代的语言模型AI“普罗米修斯”(Prometheus),凭借比ChatGPT更强大的下一代OpenAI大模型提供技术支持,使新版必应搜索引擎和Edge浏览器集搜索、浏览、聊天于一体,给用户带来更完整的答案和更自然的聊天,并能生成文本和编程。服务重新开放后,我向ChatGPT询问了如何快速扩容,它显然是知道云端的弹性计算的和扩展是可以让它避免系统崩溃的,但是它的开发者们却对这场人机对话全球狂欢的突然袭来始料未及,终于在大量负载之下频繁暂停服务。某科技类博主进行过类似测试,如8+2=?

2023-02-17 17:38:51 3752

原创 ChatGPT 爆火!谷歌、微软、百度纷纷下场?

2月8日,微软公布了新一代的语言模型AI“普罗米修斯”(Prometheus),凭借比ChatGPT更强大的下一代OpenAI大模型提供技术支持,使新版必应搜索引擎和Edge浏览器集搜索、浏览、聊天于一体,给用户带来更完整的答案和更自然的聊天,并能生成文本和编程。服务重新开放后,我向ChatGPT询问了如何快速扩容,它显然是知道云端的弹性计算的和扩展是可以让它避免系统崩溃的,但是它的开发者们却对这场人机对话全球狂欢的突然袭来始料未及,终于在大量负载之下频繁暂停服务。某科技类博主进行过类似测试,如8+2=?

2023-02-10 15:12:26 2231

原创 OushuDB HDFS原理(二)

所以,NameNode 高可用容错能力非常重要。3.DataNode 故障容错DataNode 会通过心跳和 NameNode 保持通信,如果 DataNode 超时未发送心跳,NameNode 就会认为这个 DataNode 已经宕机失效,立即查找这个 DataNode 上存储的数据块有哪些,以及这些数据块还存储在哪些服务器上,随后通知这些服务器再复制一份数据块到其他服务器上,保证 HDFS 存储的数据块备份数符合用户设置的数目,即使再出现服务器宕机,也不会丢失数据。

2023-02-09 15:11:18 166

原创 OushuDB HDFS存储原理(一)

和 RAID 一样,数据分成若干数据块后存储到不同服务器上,可以实现数据大容量存储,并且不同分片的数据可以并行进行读写操作,进而实现数据的高速访问。你可以看到,HDFS 的大容量存储和高速访问相对比较容易实现,但是 HDFS 是如何保证存储的高可用性呢?分布式文件系统 HDFS 的设计目标是管理数以千计的服务器、数以万计的磁盘,将这么大规模的服务器计算资源当作一个单一的存储系统进行管理,对应用程序提供数以 PB 计的存储容量,让应用程序像使用普通文件系统一样存储大规模的文件数据。

2023-02-09 15:10:36 220

原创 ChatGPT 爆火!谷歌、微软、百度纷纷下场?

2月8日,微软公布了新一代的语言模型AI“普罗米修斯”(Prometheus),凭借比 ChatGPT 更强大的下一代 OpenAI 大模型提供技术支持,使新版必应搜索引擎和 Edge 浏览器集搜索、浏览、聊天于一体,给用户带来更完整的答案和更自然的聊天,并能生成文本和编程。ChatGPT 显然是知道云端的弹性计算的和扩展是可以让它避免系统崩溃的,但是它的开发者们却对这场人机对话全球狂欢的突然袭来始料未及,终于在大量负载之下频繁暂停服务。就在本周,科技巨头纷纷表态,会有类似的产品推出。

2023-02-09 14:52:37 1645

原创 数据赛道持续火热,偶数科技为什么被 Gartner 评为“Cool Vendor”?

报告显示,偶数科技凭借其云原生数据库 OushuDB 入选今年 Cool Vendor,OushuDB 是偶数 Skylab 云数据平台中的核心组件,拥有创新的存算分离云原生架构,以及超高并发、超高性能和超大规模的产品特性,为不同行业用户提供了湖仓一体和实时数仓技术能力。”从 Gartner 分析师的评选理由,能看出偶数科技的技术路线,切实地符合了 Gartner 所观察到的用户对数据分析应用趋势,并且 OushuDB 的云中立、数据应用兼容性,也满足了用户对数据分析可移植性和灵活性的需求。

2023-02-03 16:35:13 567

原创 偶数科技入选 IDC 中国分布式数据库报告,获 Innovator 殊荣

偶数科技自成立以来一直致力于云原生数据库技术的研究和突破,其核心产品云原生分布式数据库 OushuDB 通过计算存储分离架构解决了传统数据平台高成本、高门槛、难维护、难扩展的问题,在众多领域和行业获得了最佳实践和头部客户认可,偶数云数据平台同时支持各大公有云和私有云。在金融领域,偶数与建行共同成立了高性能大数据处理技术实验室,融合建行 PB 级海量数据的应用场景和偶数科技的数据库创新能力,共同打造新一代极速云数据库,用于湖仓一体等大规模核心数据的处理场景,成为建行专项前沿技术的重要力量。

2023-02-03 16:31:00 601

原创 案例分析 丨湖仓一体助力保险企业数据战略转型升级

在对该客户需求进行深度挖掘并横向比较行业现状后,我们发现:(1) 包括该客户在内的多数保险企业的数据分析场景较为单一,直接产生业务价值的数据挖掘不够丰富;(2) 该客户现有数据分析场景的效率、性能、用户体验都亟待提升。下文我们详细展开分析。

2023-02-03 16:26:58 595

原创 数据中心转型利润中心:数据如何赋能零售行业营销升级?

在经验的基础上,叠加数据驱动,通过实时采集多样化的数据,即时分析制定个性化的精准营销方案,取代大一统的基于经验的方案,并通过数据平台获取及时、全面的营销反馈,进行快速调整。当然,精准用户画像、实时营销反馈、跨部门营销协同等等这些美好的业务愿景的实现,都要基于一个更加先进的数据平台来支持,在下篇文章中我们将重点介绍零售行业湖仓一体平台的实现方法,帮助零售行业与时俱进,形成新一代云原生数据平台。各部门间可以共享客户和市场营销数据,进行产品的交叉推送,共享最优的营销渠道,充分发挥数据的价值。

2023-02-03 15:42:07 324

原创 大数据看全国疫情生活,北京、武汉已过疫情拐点

值得注意的是,每一波疫情都不可能感染该地区的全部人口,因此群体感染比例是本轮疫情实际感染人口最大值的百分比,本轮疫情结束时,群体感染比例达到100%,而该地区实际人口感染比例不可能到达100%。以日本为例,自2022年开始彻底“躺平”,疫情快速爆发,搜索引擎“发烧”指数也快速上升,时间基本同步。同理,我们计算了全国主要城市的开始时间,北京是11月19日,武汉是11月25日,上海、深圳、重庆、苏州、杭州是11月28日,广州是11月29日,成都、南京是12月5日,基本上与我们实际感知一致。

2023-02-03 15:37:44 331

原创 偶数科技获 ITPUB 2022 年度技术卓越奖

OushuDB 是由偶数科技自主研发打造的新一代云原生分布式数据库,采用存算分离架构,按需弹性,具备极速执行器,提供 PB 级数据交互式查询能力。OushuDB 通过计算存储分离架构解决了传统数据库高成本、高门槛、难维护、难扩展的问题,OushuDB 同时支持各大公有云和私有云。近日IT行业知名媒体 ITPUB 公布了 2022 年度数据库技术榜单,偶数科技凭借自主研发的新一代云原生分布式数据库 OushuDB 再次斩获年度技术卓越奖奖项。

2023-02-03 15:22:25 90

原创 我为什么抢不到票?!全国最难抢线路揭晓

通过观察“广州-长沙”、“广州-郑州”、“深圳-长沙”和“广州-武汉”等线路的剩余比例,我们可以想象到2023年春运抢票大军中,在广深打拼的Jason、Tony和Amy们必然是拼尽网速和手速才可能购得一张返回中部地区的高铁票。如何在这17条线路中找出最卷线路?通过比较平均剩余比例并进行排序我们神奇的发现,车次最多的线路“广州-长沙”,竟然是抢票最难的,难怪铁路总局为长沙返乡人设置了更多的车次。根据这17线路的全部车次和剩余在售车次,我们设定一个统一指标叫做“剩余比例”(LR),来比较各条线路的抢票难度。

2023-02-02 15:22:55 269

原创 信通院联合偶数科技等企业发布《云原生湖仓一体白皮书》

回顾数据技术产品的发展历程,在海量、异构、实时、云化等应用需求的驱动下,数据系统的架构不断演进,先后经历了传统数据库、传统数据仓库、云数据库、云数仓、湖仓并存等不同阶段,基于云原生的湖仓一体解决方案依托细粒度、定制化的决策支持能力,有助于全面展现数据价值。应用存算分离、高性能计算、元数据集群高可用、可插拔存储、实时数据读写、磁盘IO隔离等技术实现的云原生湖仓一体架构可以有效解决包括数据孤岛、性能瓶颈、高并发、实时处理、资源弹性在内的行业用户数据处理五大难题。

2023-02-02 15:17:29 243

原创 数字新基建之数据云

比如,金融机构普遍采用夜间“跑批”的方式对当日交易数据进行ETL处理,从而将数据汇总到数据仓库、数据集市中,供用户进行报表分析与即席查询,但数据基础设施底层的复杂查询性能,成为“跑批”结果时效性的主要瓶颈,影响了用户进行决策的频次和时效性。根据IDC报告显示,到2025年,公共云中的数据百分比将接近50%。数据体系:包含了企业内可利用数据的组织方式,包括源系统的交易数据,各类非结构化、半结构化、二进制数据,以及结构化数据的数据分层关系、数据模型、数据表结构、视图关系、字段名称、数据容量、数据权限分配等。

2023-01-11 15:27:32 362

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除