hanxiaolaa-CSDN博客

原创如何透过数据标准看数据治理的实施

文章摘自5月28日，华矩科技数据治理系列讲座谭海华先生的分享。今天跟各位分享的，是想尝试通过一个数据治理里面的一些关键环节，来看怎么样去进行数据治理。主要分为以下几个部分:首先，谈谈怎么看数据治理的问题包括误区。我们从问题入手，我们看一看数据治理中最普遍碰到的问题，通过问题去分析我们所面临的情况。第二个，通过一个数据治理结构更深入地剖析一下我们在整个数据治理里面的一些瓶颈和问题究竟在哪里。第三个就是回到数据治理里面一个很关键的环节——数据标准，我们可以通过对数据标准的讨论来去看，在数据治理里面它.

2020-06-23 09:17:12 878

原创媒体平台全量公开用户IP属地甚至浏览记录引争议，数据合规你关注到了吗？

数据合规指的是企业及其员工对于数据收集、存储、使用、处理、共享、转让、跨境或非跨境传输、流动、保护的行为需符合国际条约、国内法律法规规章、其他规范性文件、行业准则、商业惯例、社会道德以及企业章程、规章制度的要求。企业数据可分为个人数据与非个人数据，前者是指具有可识别性的个人数据，如员工数据与客户（用户）数据，后者是指与个人无关的数据，如企业经营记录、日常管理记录、财务会计记录。而一个行之有效的合规体系搭建，离不开合理的制度和程序、高层参与、风险评估、尽职调查、培训和沟通、监督和审核等因素。

2022-09-30 14:01:22 493 1

原创从甜心教主“炸”活中年男粉看企业如何让“沉睡数据醒来说话”？

做好数据采集首先要充分考虑企业规模和数据规模的增长，提前做好数据信息积累的准备，其次需要收集足够全面的属性、维度、指标，使积累的数据更高质量，最终实现交叉贯穿，实现有效的分析数据，最后还需提高数据采集的及时性，从而提高后续数据应用的及时性。由于大量的数据仅仅是保存并沉睡在系统中，那么其质量问题很难暴露出来，只有被使用时，问题才会逐渐显现，但是将无数据质量保证的数据直接应运，损失的不仅仅是前期投入的精力、财力和物力，更严重的后果是执行了从不准确数据推到出的错误的算法、建模、决策等而产生的二次损失。......

2022-08-18 11:14:54 585

原创大数据“杀熟”：我是谁，我在哪，我（被）干了啥？

商家通过移动端应用后台收集用户的消费习惯信息，如经常浏览的商品类型、价格区间、购物历史等，并进一步收集与用户身份特征（如手机号码、微信、微博账号等）相关联的其他应用信息，通过银行账户资金往来、短信等途径估算用户的收入水平，从而进行行为建模，给用户贴“标签”，针对性地向用户推送一部分商品，隐藏另一部分商品，诱导用户的消费选择，并进行一定幅度的加价。消费者在面对“杀熟”现象时，不易发现，很难察觉，即便发现，也秉持着多一事不如少一事的原则做冷处理，消费者维权意识的缺失，导致大数据杀熟现象愈演愈烈。...

2022-08-04 18:03:54 1469

原创核酸扫码登记体验有感（如何提高OCR的文字正确识别率）

OCR即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。由于摄像头拍摄的图片，大多数是彩色图像，彩色图像所含信息量巨大，对于图片的内容，我们可以简单的分为前景与背景，为了让计算机更快的，更好的识别文字，我们需要先对彩色图进行处理，使图片只前景信息与背景信息，可以简单的定义前景信息为黑色，背景信息为白色，这就是二值化图了。这一研究，已经是很早的事情了，比较早有模板匹配，后来以特征提取为主，由于文字的位移，笔画的粗细，断笔，粘连，旋转等因素的影响，极大影响特征的提取的难度。...

2022-07-28 10:19:58 1472

原创 40余岁的边缘老技术，是未来乏力还是掘地而起？

精力大不如前，还要面对技术的飞速发展，科技领域的日新月异，相较之下，已经开始力不从心，升职空间变小，年龄技术受到双重歧视。有时候，老梁觉得自己真的老了，他老去的标志，绝不是老成稳重、沉默寡言，而是不肯再尝试，不肯再容许自己置身不熟悉的境地。.........

2022-07-26 09:59:14 111

原创高智伟：数据管理赋能交通行业数字化转型

在数据管理能力成熟度国标出来之后，对数据管理概念进行了比较明确的定义，数据管理定义为对数据管理和应用能力的判断，数据治理是对数据进行标准化、格式化、规范化的过程，这也呈现出资源进行有效的流程处理后，将形成对自己或企业有用的资产，最后该资产能流通到各个行业去，从而实现数据要素的作用。我们也把标准称之为“黄金屋”架构，包括数据整体架构、数据应用、数据安全、数据质量、数据标准等这些基础的工作，围绕架构可以看到各个项目里面的数据生存周期，能够保证项目在数据的需求、设计、开发、运维的过程中持续有效。...

2022-07-25 09:10:32 408

原创郑慧娟：基于统一大市场的数据资产应用场景与评估方法研究

我想未来，我们的方向或许是像目前的上交所和深交所一样，建立几个大的区域性数据交易所，或许是像各地的房地产交易中心一样，有条件的城市建立统一的规范的交易平台。按照评估程序，一般首先要明确评估对象（如交通集团拥有的交通数据的使用权），评估目的（资产转让、许可使用、公司并购、或者质押融资等产权变动的情况，评估必要性），确定基准日，评估范围（具体数据的类型和范围，如出行数据、路况数据等），应用场景（投资决策、精准营销、内部管理），价值类型（市场价值、投资价值等）和评估报告使用人。第三，数据资产评估方法。...

2022-07-21 14:01:59 768

原创陈艳艳：交通行业的大数据应用与行业数字化转型

个人在未来的发展中间，个人不仅仅是单纯的信息接触方，随着众包的数据，或者包括智能车辆的技术发展，个人也是数据的承接方，如何让个人有积极性，把数据共享出来，包括碳交易，商业活动的打折活动，进行数据的变现交易，这也是未来考虑的重点，因为在往年的时代，人、出行者、驾驶员、车辆、道路、枢纽，整个后台云端都是有效联通的，这也为基于交通数据的个人增值服务与保险，碳积分等提供了可能。还有一些定制公交的优化，在数据驱动下，我们知道哪些区域是潜在需求比较旺盛的区域，怎么设计线路包括车型的配比进行高效、高品质的服务。...

2022-07-20 09:19:56 575

原创谢振东：公共交通行业数字化转型升级的探索与实践

未来，我们将全面推广行业数字化转型工作，将在目前的基础上进一步深化数字化转型的理论和实践，面向大湾区的交通企业，推广数字化转型的实践经验，在这之外还要延伸交通产业的新业态，以市场为驱动，延伸布局公共交通的产业链，不仅仅坐公交，还要做出行、生活，基于智慧出行+智慧生活的这样一些服务，在此基础之上，还要完善数字化产业结构，要做到公共交通数据的产业化，我们开始是做公共交通产业的数据化，最终要实现公共交通数据的产业化。在这里最重要进行探讨，我们数据要流通，数据要用起来，不用起来是难以定价的。如何实现数据要素化？..

2022-07-19 13:51:49 975

原创时空伴随者：拒绝“被弹窗”，如何通过提升数据质量来确定我们一起吹过风

“我吹过你吹过的风，我们算不算相拥？算，属于密接。我走过你走过的路，我们算不算相逢？算，属于次密接……”这是最近火爆五一的一个幽默段子，在疫情严峻的当下，听听小段子，我们轻轻一笑，淡然面对后，有多少人会不禁好奇一下，大数据是如何判定我们曾相拥或相逢的？相拥或相逢，这极致的浪漫赋予共有者一个名称----时空伴随者。

2022-05-07 13:38:50 1707

原创数据关联分析告诉你干掉你的，往往不是同行，而是跨界者

你有多久没有留意超市结算口的口香糖了？是什么转移了你的注意了？作为一个格子衫的忠实用户，你的午餐还是单调的方便面吗？翻翻通话记录，联络最多的人居然时外卖？还记得沃尔玛那个“啤酒与尿布”的故事吗？智能手机与口香糖，外卖与方便面，啤酒与尿布，这些好不相关的东西居然紧密的关联了起来，改变了我们的生活，也改变了行业布局。

2022-04-26 19:13:40 894

转载什么是数字化？为什么需要数字化？数字化的未来？

文本来源大数据咖啡，作者王健傅一平评语：非常深刻且通俗易懂的讲解了数字化本质的文章，抽象的很好，我从这篇文章得到了六点收获：1、数字化的三种典型场景：（1）把人与人的交互迁移到数字世界，如游戏（2）物体信息映射到数字世界，滴滴出行（3）把业务场景迁移或映射到数字世界，如天猫2、数字化和信息化的关系：第一阶段：信息记录，物理世界为主，数字世界为辅，第二阶段：用户活动迁移，数字世界为主，物理世界沦为辅助，第三阶段，业务数字化重塑，数字世界从模仿物理世界演化到用数字世界的特质（大数据，人工智能，.

2022-04-19 09:09:37 6024 2

原创【交通行业数据治理会议推荐】大湾区交通行业数据要素增值研讨会

数字化转型已经是各行各业不可阻挡的战略发展方向，中国交通行业在迎来从本地政策支持、开放的市场、到数字化转型等所带来的黄金时代及红利，使其在大数据技术的引入，依托大数据技术的业务及制度创新等促使行业大数据的发展正引领交通行业的变革。而数据要素是数字经济的一个重要的组成部份，既是数字化转型的成果之一，也是数字经济增长的重要引擎，但当前数据要素资产化所面临的问题和困难，尤其是数据资产定价问题，极大妨碍了当前交通行业数字化转型及数字经济的发展，正是在这一背景下，作为DQMIS 2022年系列之一的行业数...

2022-04-07 15:06:51 11046

原创从“来现场POC”到“去线下店体验”：我的数据治理产品选型经历

本人所在的企业为亚洲领先的保险集团公司，公司业务遍布亚太地区多个国家，覆盖寿险、财险、健康险等多个险种。立足于创新、多元化的互联网保险产品与服务发展目标，作为公司数据部门的元老，我先后参与建设了公司的SMART 投保系统、UW/NB核保系统、LA个险核心系统等多个业务系统，同大部分保险企业一样，我们的软件开发能力有限，以及环境、投入等因素，我们各系统均为不同开发商基于自己对业务的理解进行规则设计与开发。对于集成这些系统的我们而言，保障系统间数据一致并能有效联动成为现今工作的至关难关：在测试环境...

2022-03-29 09:50:48 3373 9

原创又倒在了税务上，难道真的是抵不住“金钱”的诱惑，选择“铤而走险”？

依法纳税本是每个公民应尽的义务。这几年，有关明星、网红、大咖偷税，漏税的名人不少。应该说，对于很多普通人来说，确实无法理解，身价上亿，每天以百万千万进账的收入，他们却偏偏选择偷税漏税。难道真的是最终抵不住“金钱”的诱惑，选择“铤而走险”，才使得偷税漏税个案层出不穷？很多人或者企业直到被税务部门提醒整改，或者整改结束后依然被处以巨额罚款，也就是说他们基于自身软件条件的不足，并不知道自己偷税了。明明只是避税，怎么就违法了？企业避税都是违法的吗？避税是指纳税人在不违反税法规定的前提下，将纳税义

2022-03-17 15:09:49 2296

转载一个具体场景剖析业务中台和数据中台的关系

文章来源于凯哥讲故事系列，作者筱愚她爸傅一平评语：讲中台理论和方法的文章很多了，但能以案例形式讲出来的不多，这篇文章挺接地气，以一个订单案例的形式说明了数据中台和业务中台的核心价值。1、业务中台解决业务数据化问题，包括一致性、响应力、维护性和性能等问题2、数据中台解决数据智能化问题，包括分布式数据架构、服务化、实时化及全域数据的一致性等问题复杂的概念简单化，挺不容易，举案例是很好的方式，但有多少人在讲概念的时候，实际是举不出案例的，这叫知行不合一吧。01.前言数据中台和业务中台..

2022-03-14 16:01:08 1531

转载推荐收藏 | 企业数据治理团队的构成

以下文章来源于大鱼的数据人生，作者讨厌的大鱼先生现实中的企业数据治理组织的职责到底有哪些呢？如果让你成立企业数据管理部，你该如何安排人员？本文以大鱼的实践讲了企业数据管理部的构成，它可能适用于对于企业数据治理的价值有高度认知、并在资源上能给予实际支持的大型企业。企业数据管理部一般是虚实结合的组织，至少有以下十大职能，分别是数据战略管理、制度规范建立、信息架构管控、数据质量管控、数据安全管控、统筹跨部门需求、数据湖及治理平台建设、数据变革项目、数据创新孵化及培训推广运营，应该以此为工作内容组建..

2022-03-14 15:57:13 1684

转载数据共享，如何拆掉那些“部门的墙”？

来源：傅一平与数据同行拆掉部门间数据的“墙”是很多公司头痛的问题，自己最近做了一些思考，这里给出八个策略：1、数据共享要成为公司的顶层设计，形成共识2、明确公司数据的所有权组织，这是践行“数据是公司的战略资产”的前提3、打破“部门墙”不是“一把手”工程，而是系统工程4、制度固然重要，但成功的要点却在于流程再造5、再好的制度和流程，在现实面前也需要妥协6、从最关键的数据开始，不追求数据共享的规模7、让各部门在共享数据中获益，实现共同成长8、公司的数据部门是管理者，更是服务者服务...

2022-03-14 15:53:37 446

转载数据资产目录建设方法与案例

本文转载于：数据学堂，原文来源：Datablau傅一平评语：这篇文章介绍了数据资产目录的建设方法论，大概分为6个步骤：1、数据资产梳理：数据资产盘点及补充完善数据资产信息2、数据资产目录框架设计：业务视角、行业模型、其它行业成功经验、业务标准3、数据标签体系：数据分类分级、数据共享、数据认责、数据脱敏、数据质量、业务流程、业务实体4、数据资产目录与数据资产盘点结果建立关系5、数据资产与数据标签：数据资产标签化、数据资产目录与数据标签形成网状网数据检索体系6、利用数据资产管理.

2022-03-14 15:51:47 2428

转载数据资产如何进行有效分类？ by 大鱼先生

原创讨厌的大鱼先生大鱼的数据人生数据分类的目的是为了针对不同特性的数据采取不同的管理策略，以期实现最大的投入产出比，不同的企业或组织基于不同的目的，可以从多个角度对数据进行分类，今天就来聊一聊主流的分法。1、按照结构特征划分可以分为结构化数据、非结构化数据及半结构化数据。（1）结构化数据指数据元素之间具有统一且确定关系的数据，它由明确定义的数据类型组成，结构化数据一般特点是数据以行为单位，一行数据表示一个实体的信息。每一行数据的属性是相同的。结构化数据的分析更为便利，且存在成熟...

2022-03-14 15:49:08 1053 2

转载数字化转型顶层设计｜那些大企业没说的背后故事

很多企业数字化转型成功的背后是有以前的咨询成果在背书，咨询是不是一棍子买卖，到底有没有价值，一方面看咨询公司的能力，但更重要的是看局方的实力。有实力的局方如果正好缺乏一种说服力，或者没精力总结提炼，那咨询就起到了纽带的作用，其让管理者看到了做这个事情的价值，然后愿意在顶层设计等方面予以支持，有了公司的支持+能干活的人，决定了咨询的成功。

2022-02-23 09:06:51 217

转载快手如何搭建一个好的数据指标体系？

以下文章来源于DataFunTalk ，作者钱英男导读：本篇文章源自钱英男老师在『快手大数据｜数据内容建设交流会』上的演讲，相关视频回放可用快手APP搜索“快手大数据”观看。一个好的数据指标体系可以助力业务快速的解构业务、理解业务、发现业务问题，快速定位原因，并且找到最合适的解决方案。因此学习搭建一个好的数据指标体系是数据助力业务决策的灵魂。本文会从四个方向来进行相对应的展开和论述：首先我们来看下，为什么需要一个好的数据指标体系，好的数据指标体系和大家日常看见的这些数据指标到底有什么区别？..

2021-12-02 09:39:45 301

转载数据管理咨询为什么难以成功？

来源于数据力学，作者石头傅一平荐语：这篇文章的作者本身就是搞数据管理咨询的，点到的问题值得反思，观点总结如下：1、咨询顾问留下几百页文档，企业无法实际应用，新成立的数据组织，迟迟没有实际运作：这个现象其实不独在数据管理领域，整个咨询行业都有类似的问题2、大部分咨询顾问并没有实际的数据管理经验：具有实际企业数据管理经验的人肯定有不少，但估计自己所在企业的事情还干不过来，更别说总结输出了3、数据管理不仅仅是技术方法，更重要的是管理制度：技术复制相对简单，管理制度要复制是最难的，因为需..

2021-12-02 09:37:54 403

转载主题域、概念、逻辑、物理四种模型有什么区别与联系？

以下文章来源于大数据架构师，作者彭文华傅一平荐语：概念是理解知识的关键，虽然你可能每天都听到主题域、概念、逻辑、物理模型这种数据仓库的名词，虽然你可能也实践过了，但不代表理解了这些概念的本质，理解本质的一个好处就是发现第一性原理，融通很多底层的知识，从而能举一反三，你在一个地方理解的东西可以应用到其他地方去。孔子就夸颜回：闻一知十，这篇文章对于数据仓库建模概念给出了一些业务解释，有利于你去理解一些本质的东西。正文开始彭友萌好，我是你的老彭友。上周，有个彭友给我提了一个问题，说对主题域、概念.

2021-09-29 09:15:22 3029 1

原创 DQMIS 2021第五届数据质量管理国际峰会议程

峰会高端闭门论坛　9月8日　下午（14:00-20:00）时间主题与会嘉宾 14:00-14:30 签到全体峰会高端闭门论坛嘉宾 14:30-16:30 讨论国家数字经济及数据治理相关政策分享数据治理及相关行业的书籍出版状况（现状及计划）数据治理相关标准的制定现状与发展相关行业在数据治理的现状、问题及发展数据治理在实施执行的相关问题、技术及瓶颈目前中国在数据治理相关领域的教育与人才培养状况全体峰会高端

2021-08-04 14:07:38 482

原创 2021第五届数据质量管理国际峰会不容错过的六大看点

数据质量管理国际峰会（DQMIS®，Data Quality Management International Summit）由北京大学、国家电网全球能源互联网研究院与华矩科技三家产学研代表于2017年联合发起，开创中国数据质量管理研讨先河，聚焦数据质量行业趋势洞察与前瞻研判，连续4年站在中国数据质量管理探讨前沿。DQMIS 2021第五届数据质量管理国际峰会将于2021年9月在中国.北京举办，本次峰会以“数据要素 · 以质创值”为主题，正是在这一宏大背景下，和各路行业大咖精英一起叩问数据要素元年的数据质量

2021-06-24 09:01:09 252

转载什么是数据要素化？

来源：开放隐私计算一、数据何以成为生产要素？生产要素，不同流派有不同的定义和划分方法，百度百科的定义为：生产要素，是经济学中的一个基本范畴，包括人的要素、物的要素及其结合因素。生产要素指进行社会生产经营活动时所需要的各种社会资源，是维系国民经济运行及市场主体生产经营过程中所必须具备的基本因素。生产要素包括劳动、土地、资本、信息四种，随着科技的发展和知识产权制度的建立，技术也作为相对独立的要素投入生产。这些生产要素进行市场交换，形成各种各样的生产要素价格及其体系。生产要素的组成是个变化的概...

2021-05-31 10:53:09 6538

转载企业数字化进程面临挑战知识管理模式亟待转型

原创：辛梅“建设数字中国，发展数字经济。”从国家战略到个体发展，通过数字化手段提升组织业务增长和运营管理效率的数字化转型，成为企业面临的必然选择，而这其中，知识管理扮演着越来越重要的角色。但在新的形势下，知识的生成、存储、应用都面临着诸多挑战。5月21日，基于ECM（企业内容管理）的知识创新管理先行企业研讨会在上海举行，从知识密集型典型行业勘察设计入手，探讨知识管理现状与挑战，分享行业知识管理创新的方法与趋势。本文汇集其中的核心观点，供业界参考。一困难重重的知识管理建设过程首先，..

2021-05-30 10:01:33 219

转载如何全面而深刻的理解数据标准？（理论+案例）

作者：傅一平与数据同行这是一篇关于数据标准的综述，希望通过读这篇文章，你会对数据标准有全新的认识。注：数据标准规范相关文档见文末下载地址，包括《数据标准管理实践白皮书》、《数据资产管理实践白皮书》、《JRT 0105-2014 银行数据标准定义规范》、《数据资产管理实践白皮书、《证券期货业统计指标标准指引（2019 年修订）》、《GBT 36073-2018 数据管理能力成熟度评估模型》等一、数据标准的定义1、中国信通院《数据标准管理实践白皮书》[1][2]：...

2021-05-06 09:32:15 2974 1

转载数据管理的格局

以下文章来源于大鱼的数据人生，作者讨厌的大鱼先生做数据管理工作好多年了，其实刚从技术转成管理的时候，自己感觉还是蛮适应的，但随着人员的增加和业务范围的拓展，越来越感觉力不从心，有时会觉得做技术还是比较简单的，因为它面对的还是相对确定的东西。专业技能的成功也是最具可复制性的，它需要的只是你在一个领域坚持不懈地专注下去，只需要选择一个不算太不靠谱的方向，然后专心致志的专下去，最后必然能成为高手或者绝顶高手。世上有很多成功带有偶然因素和运气成分或出身环境，但至少这一样，被无数人复制了无数遍，否则就...

2021-04-27 10:14:35 392

转载国企数字化转型调查：四成企业自评低于全球平均水平，数据质量成主要障碍

文章源于公众号：国装智库为了了解中国企业数字化转型的现状、趋势和挑战，德勤做了一次145家企业（其中国企占77%）参与的在线问卷调查，有一些关键发现分享。首先，超六成受访企业已经启动数字化转型，77%的受访企业表示新冠疫情将加速自身数字化转型。虽不同所有制、不同行业企业有所差异，但总体自评比较低。其次，企业主导数字化转型部门，已经逐渐转移到业务和职能部门主导和深度参与，IT部门单独主导是最少见的情形，这表明中国企业的数字化转型已经走到了和业务与管理深度结合的阶段。第三，七成受访企业目前..

2021-04-06 11:53:15 254

转载 DCMM讲的数据“需求管理”进阶篇，关键要素？与流程关系？如何溯源？

以下文章来源于大数据技术标准推进委员会，作者李雨霏前文回顾：https://blog.csdn.net/hanxiaolaa/article/details/DCMM讲的数据“需求管理”基础篇五对于数据需求管理能力的几点说明1、数据需求说明书的关键要素有哪些？标准中暂无明确要求。数据需求说明书从业务、数据2个层面进行描述。业务层面，可描述该需求的业务背景、业务目标和业务价值。数据层面，可描述该需求的数据范围、数据业务含义、数据输出要求（报表、可视化、接口、文件等）、数据使用范围...

2021-04-06 11:48:04 1102

转载 DCMM讲的数据“需求管理”，是什么？管理目标？如何实现？

以下文章来源于大数据技术标准推进委员会，作者李雨霏前言在商品交易中，我们一直强调“顾客是上帝”，因为商品由顾客买单，也最终服务于顾客。在数据市场中，我们同样也需要强调这条“真理”，因为数据来源于企业的业务，也持续服务于企业业务创新与发展。因此，不断扩展企业内外部数据需求范围，及时了解梳理各类数据需求，提升数据需求响应速度，才可以最大程度发挥数据价值，使数据管理更充分的支撑业务发展。数据管理成熟度评估模型（DCMM）中将“数据需求”作为“数据生存周期”能力域的子能力项（其余3个分别为数...

2021-04-06 11:42:38 2617

原创一场与金融企业CFO的关于数据治理的对话：企业如何提升数据质量

对话双方：华矩顾问和某公司CFO财务部及CFO是一个企业在数据应用领域最频繁及关键的部门和个人，在企业级的数据治理项目中，他们扮演着重要角色，无论是对企业数据治理战略的推动，还是解决企业数据应用棘手的问题，他们的声音都是至关重要不可或缺的。本期对话截取了华矩科技在数据治理咨询项目中和这一特定的部门和重要岗位的关于数据治理在概念、观念、执行等领域的对话，以更好了解一家企业的CFO对数据治理的关切、需求和展望。这也必将加深行业对自身数据治理能力的建设的理解。现分享如下：01 关于数据治理咨询项目交付内

2021-03-17 10:49:00 274

空空如也

空空如也