傅一平-CSDN博客

原创一图看懂数据仓库、数据平台、数据中台、数据湖的内涵和区别！

当大数据平台出现的时候，有人是说这不就是大号的数据仓库吗？当数据中台出现的时候，有人说这不就是数据仓库的进一步包装吗？数据湖的出现更是让很多人陷入困惑。事实上，数据仓库、数据平台、数据中台、数据湖还是有区别的，不仅在技术架构上，更是体现在业务的支撑模式上。下面我先用一张图简单示意这四个概念的区别（省略了数据管理等相关组件），其中绿色背景代表数据中台、黄色代表数据平台、灰色代表数据仓库及橙色代表数据...

2024-04-15 07:30:15 373

原创搞定数据治理：12招流程、2类神器、9项软技能 | DGI数据治理（六）

DGI(Data Governance Institute)是我看到过的最棒的数据治理框架，这是DGI数据治理框架系列的第6篇文章，错过了前面的精彩内容？点击下面链接抓紧补课！（1）一文详解数据治理的5W1H | DGI数据治理(一)（2）一文详解数据治理框架图 | DGI数据治理(二)（3）一文详解数据治理的使命和价值 | DGI数据治理(三)（4）一文详解数据治理的受益者 | DGI数据治理(...

2024-04-08 07:31:02 308

原创解锁企业架构：漫画版TOGAF框架，让初学者也能游刃有余！

TOGAF是由The Open Group开发的一个高度著名的企业架构框架。它旨在帮助组织通过提供一套系统化的方法来设计、规划、实施和管理企业架构。但TOGAF架构框架并不容易系统化掌握，诸如构件、构建块、内容元模型、连续体等诸多概念也比较抽象。因此，这次我打算采用漫画和类比的方式，以五分钟的极短篇幅，来清晰讲述TOGAF架构框架的核心概念及其结构，希望能让每个人都能领略到TOGAF的精妙之处，当...

2024-04-01 07:30:43 556

原创一文读懂数据治理5大成果，让数据从“资源” 变 “资产” | DGI框架揭秘（五）...

DGI(Data Governance Institute)数据治理框架是屹今为止我看到过的最棒的数据治理框架，这是DGI数据治理框架系列的第５篇文章，错过了前面的精彩内容？点击下面链接抓紧补课！（1）一文详解数据治理的5W1H | DGI数据治理(一)（2）一文详解数据治理框架图 | DGI数据治理(二)（3）一文详解数据治理的使命和价值 | DGI数据治理(三)（4）一文详解数据治理的受益者 ...

2024-03-27 07:34:05 520

原创数据治理的真经（PPT）

数据治理直接成就业务很难，而企业数据一致性的数据治理是我认为最接近业务的一次，因此叫取了数据治理的“真经”。我们做这次企业数据一致性治理主要有四个旅程碑，体现了做企业数据治理的主要工作，分别是：1、明确工作的总体思路2、完成问题分析和汇报3、督促各部门进行整改4、做好常态化运营工作接下来，我将以PPT的形式展示这些里程碑的主要成果，呈现我们在本次数据治理中的完整历程，希望能为大家提供有益的启示。阶...

2024-03-18 07:30:57 652

原创数据治理如何"酒香不怕巷子深"？6大价值+3大陷阱全解析 | DGI框架揭秘（四）...

DGI（Data Governance Institute）数据治理框架是屹今为止我看到过的最棒的数据治理框架，这是DGI数据治理框架系列的第4篇文章，错过了前面的精彩内容?点击下面链接抓紧补课!（1）一文详解数据治理的5W1H | DGI数据治理（一）（2）一文详解数据治理框架图 | DGI数据治理（二）（3）一文详解数据治理的使命和价值 | DGI数据治理（三）本文介绍该框架10个组件的第2个...

2024-03-11 07:30:10 674

原创为什么数据治理很难直接成就业务？

数据要素正逐渐成为生产资料的一部分，这促使越来越多企业开始重视数据治理。然而，随着数据治理工作的推进，许多团队发现直接展现其价值颇为困难。有些人开始质疑数据治理的实际效用，认为它被过分夸大。为何数据治理会留下这种印象？结合自己的实践和分析，我认为主要是由数据治理的间接性、抽象性、长期性、变革性等特点导致的，同时受到业务鸿沟和利益博弈的影响。接下来，我将详细剖析原因，并探索可能的解决之道。首先、数据...

2024-03-04 07:30:31 967

原创一文详解数据治理的使命和价值 | DGI数据治理（三）

DGI（Data Governance Institute）数据治理框架是屹今为止我看到过的最棒的数据治理框架，我所实践的数据治理内容，大都没有逃脱这个框架，因此推荐给你。为了方便大家读懂DGI框架，一方面我摘取了DGI数据治理框架[1]每个章节最核心的内容要点，方便大家速览，另一方面，我会结合实践，给出自己的解读和详细说明案例。这是DGI数据治理框架系列的第三篇文章，将介绍该框架10个组件的第1...

2024-02-27 07:30:44 993

原创没有读不懂的书，ChatGPT让我的理解力提升了1000%！

新春假日AI领域并不平静，屡屡搞出王炸。前有英伟达发布的Chat with RTX，即每个人都可以利用自己的算力和数据做私有的ChatGPT，后有OpenAI全新发布的文生视频模型Sora，即将永久改变内容创作行业。但这些跟当下的大多数人有什么关系呢？有人会说娱乐，嗯，的确是的，但还有一样隐藏之下，那就是学习。ChatGPT将大幅提升每个人自学的能力，能提升多少倍呢？我说ChatGPT可以让你从原...

2024-02-18 07:30:16 484

原创关于数据治理十大魔鬼问题的经典回答！

本文列出了我碰到过的关于数据治理最为棘手的十大问题，并且给出了回答，细品！同时，祝大家新春快乐，与数据同行伴你同行！1、我是一个IT人员，发现系统中有很多同名不同义的指标，了解到这是由于不同部门的人员定义造成的，请问该如何解决这类问题？面对系统中存在的同名不同义指标问题，作为IT人员，可以通过以下步骤来解决这个问题：（1）指标审计收集现有指标：汇总系统中所有的指标及其定义、使用场景和负责部门。识别...

2024-02-08 09:55:04 921

原创从业务到数据，大模型应用成功的再思考！

作为一名数据团队的管理者，已经带着团队入局大模型一年有余，关于大模型应用方面的探索，自己在《业务为王，大模型应用的探索和思考！》一文中进行了介绍。其实不只是我们，相信很多数据团队也在进行大模型应用的尝试，大家都认为这是一次机会。客观的讲，数据团队搞大模型，挑战还是很大的，我这里主要谈谈自己团队当前面临的挑战，同时也谈谈初步的解决思路，供大家参考。第一，就是想清楚why和what，寻找最合适的，最细...

2024-02-04 07:30:11 1361

原创一文详解数据治理框架图 | DGI数据治理（二）

在第一篇《读透数据治理：DGI框架全解（第一章）》中我对数据治理的六个问题进行了诠释，本篇将正式介绍DGI数据治理框架图，这是当前关于DGI数据治理框架最新最全面的解读。我们为什么需要数据治理框架呢？所有组织都需要制定关于数据管理、价值实现、成本与复杂性降低、风险管理以及遵守日益增多的法律和监管要求的决策。数据治理框架提供了一套管理数据资产的政策、程序、标准和指标，帮助组织明确复杂或不明确的概念。...

2024-01-30 07:30:26 541

原创读透数据治理：DGI框架全解（第一章）

数据治理的重要性不言而喻，但许多人却难以区分数据治理与数据管理的区别。这是一个严重的问题，因为这两者的使命和价值截然不同。尽管像DAMA、DCMM和《华为数据之道》这类读物都对数据治理有所论述，但客观来讲，它们在系统化方面仍显不足，更多的是关于数据管理的内容。以DAMA的经典车轮图为例，数据治理仅占其中一个章节，DAMA的中文翻译也叫数据管理框架，不少人会误将数据治理视为数据管理的一部分。《华为数...

2024-01-22 07:31:51 1066

原创数据治理：数据安全100个基本概念全解

根据DAMA的定义，数据安全指定义、规划、开发、执行安全策略和规程，以提供对数据和信息资产的适当验证、授权、访问和审计。数据安全的目标有三个：启用对企业数据资产的适当访问，并防止不适当的访问理解并遵守所有有关隐私、保护和保密的法规和政策确保所有利益相关方的隐私和保密需求得到执行和审计在《数据治理：一文讲透数据安全》一文中，我对如何实施数据安全进行了相对宏观的介绍。本文将从微观入手，对104个数据安...

2024-01-15 07:30:22 933

原创数据治理：一文讲透数据安全

数据安全是数据治理的核心内容之一，随着数据治理的深入，我不断的碰到数据安全中的金发姑娘问题（指安全和效率的平衡）。DAMA说，降低风险和促进业务增长是数据安全活动的主要驱动因素，数据安全是一种资产，这是很好的观点。我决定系统化的去学习一下数据安全知识，因此重新研读了DAMA、DCMM、相关书籍的数据安全内容，在此基础上，尝试用更系统化、通俗化、案例化的方式讲清楚数据安全到底是什么，希望带给大家新的...

2024-01-08 07:30:24 1150

原创 2024年，我的数据工作计划

2023年已经过去，以下是我关于2024年数据工作的初步思考，包括企业数据一致性治理、业务对象建模、数据民主化、实时决策、业财融合、B端数据分析、数据治理变现及大模型应用等八项工作，特此分享。1、企业数据一致性治理很多人在讲数据治理与业务的关系有点远，企业数据一致性治理则是直接呈现数据治理价值的一种方式，比如，解决用户订单和开通平台的数据不一致就会降低公司的经营风险，这种效益是非常直接的。但传统的...

2024-01-02 07:30:31 947

原创为了搞懂数字化转型，我连问 ChatGPT 42个问题，通透！

我对数字化转型有很多的疑问，这次向ChatGPT请教，连问42个问题，瞬间觉得通透了很多。下面是我的问题和ChatGPT的回复，近3万字，估计已经可以汇编成一本名叫《数字化转型问题答疑集》的小册子了，共分为概念篇、方法篇、实践篇和数据篇，希望能带给你新的启示！一、概念篇1、数字化转型到底是什么？数字化转型是指组织利用数字技术全面改造其业务运营、管理方法、客户互动和整体商业模式的过程。这个概念涵盖了...

2023-12-11 07:31:04 321

原创业务为王，大模型应用的探索和思考！

大模型出来后，自己就一直在思考大模型在公司的应用场景，也特别希望大模型在数据治理领域有所作为，至今已有大半个年头，今天就跟大家来聊聊这个探索之旅，共分为七个阶段：1、ChatGPT的启蒙2、“智乎”问答的幻象3、ChatBI能力之殇4、完美的“智典”场景5、智能核稿的考验6、实践的六个总结7、后续工作的思考1、ChatGPT的启蒙自己从事数据相关工作，经常碰到各种问题，ChatGPT出现后，其强大...

2023-12-05 07:30:24 218

原创数据团队如何编写2023年度工作总结与2024年度工作计划

转眼2023年即将走到尾声，当前大家估计都在忙着写各种年度总结吧。对数据团队来说，由于其独特的生态位置，较难用传统的收入或利润等硬性指标来衡量贡献，因此写好总结变得更为重要。这里就谈谈自己在写总结时的一些心得。1、导语在总结的最前面，一般要先讲下公司的战略部署和工作会议要求，对齐公司的战略很重要，例如以下的文字描述：集团公司在**会议上提出，要把握数字经济发展特征，顺应信息能量融合创新的时代潮流，...

2023-11-27 07:30:22 273

原创如何画一张人见人爱的应用架构图？

这篇文章表达了我对应用架构的最新理解，并且采用Archimate架构工具进行建模，力图画出最漂亮而专业的应用架构图，为了画图还专门去学习了Archimate，大家进来欣赏一下吧。下面也列出了我前期写的如何画业务架构、数据架构和技术架构图的文章，方便大家系统学习。怎样画一张人见人爱的业务架构图？如何画出一张清晰而专业的技术架构图？始于业务，终于技术，敲开理解数据架构的大门！一、企业架构全景图TOGA...

2023-11-15 07:30:35 298

原创如何最简单、通俗地理解GPT的Transformer架构？

OpenAI 最近开了自家的第一届开发者大会，发布的GPT-4 Turbo和GPTs等成果令人震撼。虽然国内各种大模型马不停蹄，但看了这个发布会，感觉跟ChatGPT的差距又变大了，ChatGPT是真的遥遥领先了。对于许多人来说，理解其背后的核心技术——Transformer模型仍然是一个挑战。您是否曾经好奇，是什么使得GPT能够如此精准地生成文本、回答问题，甚至编写程序代码？但Transform...

2023-11-13 07:30:23 112

原创如何打造一个大模型生成的数据目录？

今年以来，自己一直在做大模型应用方面的思考，在“智典”应用落地之际，今天就来跟大家分享一下我们在数据目录元数据自动生成方面的探索和实践。高质量的数据目录是企业高效开发利用数据的基础。经过多年构建的数据治理体系，我们的企业级数据目录已经建立起来。该目录自底向上包含三个层次：数据资源目录、数据资产目录和数据开放目录，各层都对应于数据处理生命周期的不同阶段，纳管的数据资源已经超过2万项。为了确保数据目录...

2023-11-06 07:30:30 271

原创如何画出一张清晰而专业的技术架构图？

最近发了几篇文章分别讲了业务架构、应用架构及数据架构（见文末链接），如果说业务架构定义了“我们需要做什么”，数据架构和应用架构描述了“我们将如何做到这一点”，技术架构则提供了“我们需要哪些工具和技术来实现这一目标”的答案。这次，我要系统化的谈谈技术架构的概念、视图和实践，这也是TOGAF架构系列的最后一篇。下图放了一张融合了业务架构、应用架构和技术架构各种组件的示意图，让大家对技术架构的生态位置有...

2023-10-23 07:31:52 615

原创怎样画一张人见人爱的业务架构图？

在架构系列文章中，我写过一篇《把业务架构搞搞懂，才算敲开了理解业务的大门！》，在拜读了TOGAF后，我觉得有必要重写一篇业务架构的文章，重新阐述我对业务架构的最新理解。在这里，我会采用图、目录和矩阵的形式，附以27个案例，讲清楚业务架构的内涵。有了业务架构的加持，IT人员在落地数据、应用和技术架构时，将会有清晰的指引。我甚至认为，搞清楚业务架构，IT就成功了大半。对于业务人员来讲，能将自己的业务知...

2023-10-16 07:30:14 262

原创始于业务，终于技术，敲开理解数据架构的大门！

最近连发二篇文章分别讲了业务架构和应用架构，这是第三篇，即数据架构。数据架构是企业架构的核心部分，而对于很多人来说，理解其构建过程可能仍是一个难题。我之前为大家分享了《数据架构的本质到底是什么 by 傅一平》，详细解释了数据架构的概念。然而，很多读者更想进一步探讨的是如何构建出高效的数据架构。为此，我参考了TOGAF的指导原则，为大家整理出了数据架构的主要交付物，总结为九大核心制品：1、目录：数据...

2023-10-07 07:30:06 182

原创傅一平：2023年我的私人书单（上）

2023年一直在通过ChatGPT学习，读书少了，但不能不读。这里推荐上半年读过的TOP 9 书单，同时附上我的一句话评语和豆瓣的评分，涉及思考方法、系统架构、跨学科知识、沟通技巧、生活感悟、个人修养等等。TOP1佛畏系统-用系统思维全面提升你的决策力一句话评语：什么是中年油腻？就是这个人的价值观已经完成了，他再也没有了渴望，他认为他现在的价值观就是最好的了，他所有愿望都只不过是欲望，他鄙视...

2023-09-25 07:30:32 128

原创死磕了半天，终于搞懂了应用架构！

企业架构有四大支柱，分别是业务架构、数据架构、应用架构和技术架构，上次我写了一篇业务架构的文章《把业务架构搞搞懂，才算敲开了理解业务的大门！》，谈了对业务架构的粗浅理解，这次来讲讲应用架构。网上关于应用架构的资料非常碎，因此我找了企业架构开发方法的权威TOGAF作为参考，把应用架构的交付物和端到端流程全部走了一遍，图文并茂，希望尽量用浅显易懂的方法把应用架构讲讲清楚。一、企业架构全景图TOGAF（...

2023-09-18 07:30:19 330

原创把业务架构搞搞懂，才算敲开了理解业务的大门！

为了真正掌握业务的核心，我们需对其背后的框架进行深入探讨。这正体现了业务架构的至关重要性。业务架构不仅仅是业务的高层设计图谱，它还是数据、应用和技术架构驱动所在。随着当前数字化转型的推进，业务架构已逐渐变为跨领域流程设计的核心环节。以运营商为例，他们有一个叫做“地址查询变更”的业务功能。为了满足这一业务需求，资管系统和CRM系统各自构建了相应的应用功能模块，但这导致了数据不一致性的问题。从业务架构...

2023-09-04 07:30:07 321

原创从小学到高考：讲述我与儿子的成长故事

三年前，当儿子考上高中的时候，我就想着写一篇文章做纪念，然后写了一半就放弃了，因为初中阶段充满了遗憾。在儿子高一拿到好成绩时，我又想着写一篇文章以作鼓励，写了一半也放弃了，因为革命尚未成功。如今，在儿子将踏入大学的校门之际，我决心为这段日子，为他的成长，写下一些记忆。我总结不出来什么儿子的学习经验，自己所认识到的儿子的学习经验，在儿子看来并不是很真实，因为充满了主观腻断，他说：“学习就是很朴实无华...

2023-08-27 11:03:08 229 1

原创 500天的旅程：主数据系统成功上线，我要分享的经验与教训！

在这篇文章里，我要和大家分享一段跨越500天的主数据项目实践之旅。这不只是技术实现的故事，更多的是关于团队协同、决策的考验与数据治理的探索。从项目初步构想到最终成功上线，我们经历了很多挑战，如决策的纠结、认知差异、系统的复杂度以及项目中的种种不确定性。请随我一起，一同探索这段旅程的起伏和转折。1、决策过程艰难现实世界中的每一个地址，都代表着一个家庭或者商业客户。对于运营商来说每一个地址也就意味着一...

2023-08-21 07:31:05 141

原创数据治理VS数据管理，ChatGPT用通俗的类比和案例终于讲清楚了本质区别！

没有研究过政治学，没有搞过公司，要深刻理解治理和管理这种底层概念的难度本来就挺大，更别提加上一个数据的抬头，然后要说出数据治理和数据管理的区别。DAMA算是对数据治理概念诠释的比较好的，但也没有清晰的点出数据治理与数据管理的本质区别。在日常工作中，我们基本上是把数据治理和数据管理等同对待的，当然，搞清楚数据治理和数据管理的区别似乎也没多少现实意义。但情况正在发生变化。去年国家发布了“数据二十条”，...

2023-08-07 07:31:42 173

原创分布式架构入门：一文轻松搞懂晦涩的CAP理论！

对于设计分布式系统的架构师来说， CAP 是必须掌握的理论。CAP 定理( CAP theorem )又被称作布鲁尔定理( Brewer’s theorem)，由加州大学伯克利分校(计算机领域神一样的大学)的计算机科学家埃里克·布鲁尔在 2000 年的 ACM PODC 上提出的一个猜想。2002 年，麻省理工学院(另一所计算机领域神一样的大学〉的赛斯·吉尔伯特和南希 ·林奇发表了布鲁尔猜想的证明...

2023-07-31 07:30:12 87

原创企业级数据目录实战：从组织、方法、流程到平台

自2021年启动企业级数据治理工作，做的第一个事情就是打造企业级数据目录，今天就来谈谈企业级数据目录的构建之路。一、设立企业数据责任人是第一要务大家都知道组织保障对于数据治理工作的重要性，但组织保障中最重要的工作是什么呢？不是什么企业数据治理委员会，也不是什么数据治理办公室，而是企业要明确设立企业数据责任人，因为任何组织、机制、流程都会僵化，只有企业数据责任人才能灵活的应对变化。只要企业数据责任人...

2023-07-24 07:31:07 419

原创 PPT | 数据中台如何成就业务？

最近代表中国移动浙江公司参加了2023年信通院大数据产业发展大会，在数据中台高质量论坛做了《数据中台如何成就业务-浙江移动数据中台之道》的主题分享，由于时间关系很多内容没有作深入的讲解，这次提供下演讲的PPT。注：文末附上了PPT下载地址。整个分享表达了我们关于数据中台的四个观点和四个核心能力的理解，希望尽量在“道”上能带给大家启示。四个观点分别是：观点一：没有业务就没有数据中台观点二：数据中台不...

2023-07-10 07:30:56 145

原创数据中台的商机

阿里拆中台了，很多人来问数据中台还要不要的问题，我认为中台总是要有的，无非是薄厚的问题。然后又有人来问数据中台价值创造的问题，这个其实是数据中台最核心的问题，我就来正式聊一聊，里面有很多的批判，大家自己体会。1、认清数据中台的业务本质前段时间《谈数据》写了一篇文章《请不要将数据中台做成BI》，大家以为作者在否定BI是数据中台的一部分，认为数据中台一定不是BI这种形式，我不是这么看的。BI是一种支撑...

2023-06-12 07:30:38 613

原创如何缓解高考前紧张的情绪，ChatGPT这么说......

明天就要高考了，看到家长有各种打气的做法，既有上灵隐寺的，也有穿着旗袍希望旗开得胜的，还有说什么失败了不要紧的......，反正都是焦虑的不行。面对高考，大多考生都会紧张，但适度的紧张对发挥出考生的水平有帮助，但家长各种突破常规的加油做法则会适得其反，无形中在制造“垃圾压力”。我的第一个建议就是不要管，平时怎么做现在也怎么做，孩子再紧张，一进入考场看到试卷就会进入状态，大家都身经百战。如果孩子的确...

2023-06-06 07:30:27 325

原创为了搞懂ERP，我连问 ChatGPT 30个问题，通透！

我对ERP有很多的疑问，这次向ChatGPT请教，连问30个问题，瞬间觉得通透了很多，以下是我的问题和ChatGPT的回复，分为概念篇、架构篇和生态篇三部分，希望能带给你新的启示。一、概念篇1、ERP是什么？请通俗易懂的解释ERP（Enterprise Resource Planning）即企业资源计划，它是一种集成了企业所有必要的商业过程（包括财务、人力资源、供应链管理等）的计算机化管理系统。简...

2023-06-05 07:30:08 494

原创傅一平：一文讲透ERP的下一代架构！

”5月22日，华为宣布仅用15小时便完成了全球88家子公司MetaERP系统的切换。这也意味着华为MetaERP系统研发取得胜利，成功摆脱外国供应商断供停服威胁，实现该系统的全栈自主可控。“自己最近对ERP下一代架构有了兴趣，原因有四个：一是自己从事着ERP的相关工作；二是我是陈果公众号的粉丝，对他的ERP相关文章感兴趣；三是我也挺喜欢凯哥的中台文章，他对ERP的未来架构有着自己的看法；四是近来关...

2023-05-29 07:30:22 350

原创我用ChatGPT搞懂GPT技术原理，只问了30个问题，这是极致的学习体验！

自己前段时间写了一篇文章《问了ChatGPT 上百个问题后，我断定ChatGPT可以重塑学习范式！》，讲了使用ChatGPT的感受，最近我开始学习GPT的技术原理，原因有三个：1、工作中有可能要用到GPT，理解GPT的技术原理有利于做出正确的决策，比如某个场景说要用到大模型，我要能判定这是不是个伪命题。2、自己对新技术还是比较感兴趣的，不仅想知道what，更想知道why，这是对自己的要求。3、别人...

2023-05-15 07:30:07 1297

原创孟晚舟：战略驱动是根本、数据治理是基础、数据智能是方向，华为的这三个数字化洞见靠谱吗？...

2023年4月19日，华为第20届全球分析师大会19日在深圳开幕。本届大会以“跃升数字生产力，加速迈向智能世界”为主题，与全球行业与产业分析师、财经分析师、意见领袖及媒体等，共同探讨前沿趋势、产业发展策略、行业数字化方向。华为副董事长、轮值董事长、CFO孟晚舟在大会上发表了“初心如磐，奋楫笃行，共赢数字化未来”的主题演讲。她提到：“在近10年的持续变革中，研发、制造、销售、交付、财经等领域，都通过...

2023-05-04 07:30:43 440

空空如也

空空如也