- 博客(130)
- 资源 (22)
- 收藏
- 关注
RSS订阅转载 数据资产目录建设方案
而对企业数据资产的数据管理需要数据资产框架来支撑数据资产的展示、记录、分析，通过数据资产框架可以明晰企业拥有的数据资产、实现数据资产安全分享、提升数据资产质量、实现数据资产变现等数据管理目标。从数字化转型的实践经验中我们可以得知，企业的数据资产是企业数字化转型的数据底座，必须管理好企业的数据资产，才能有效地进行企业数字化转型。下面就来谈一谈数据资产框架中重要部分数据资产目录管理，通过数据资产目录的建设，实现对企业数据资产的有效管理。第五步：数据资产标签化（数据资产目录与数据标签形成网状数据检索体系）
2024-03-15 09:38:31
43
转载 解码隐形引擎：数据标签如何在中台架构下激活智能决策生命力
例如，通过机器学习算法自动发现数据间的隐含关联，生成更深层次的智能标签，这将极大减轻人工标注负担，同时提升标签的质量和覆盖范围。它就像一张详尽的地图，指引着我们在数据的迷宫中找到宝藏，特别是在企业数智化转型的过程中，数据标签在中台架构中扮演了提升效率和解决实际工作问题的关键角色。总之，在数中台中，数据标签功能通过提供统一的数据标准、提升检索效率、增强治理、支持复杂分析、促进个性化服务、简化集成迁移、提高决策质量和优化资源分配等手段，有效解决了实际工作中的多种问题，为企业带来了显著的运营和战略优势。
2024-03-15 09:33:31
21
原创 TOGAF企业架构师认证一文全掌握
在工作中一直涉及到企业架构相关知识，但是没有进行系统的整理和学习，这次考试认证的原因如下：1）随着各行各业数字化转型的深入，企业架构师逐渐受到重视，掌握4A架构（业务、数据、应用、技术）显得尤为重要，笔者在过往的工作经历中，涉及技术架构、数据架构比较多，对业务架构和应用架构属于门外汉，基于此，夯实企业架构的理论知识。2）最近工作跟数据治理相关性大，随便写了一些扩展知识，个人认为企业架构学习很有必要考试时间60分钟，40道单选题，答对22题（正确率为 55%），即通过考试；
2024-02-17 15:21:19
775
原创 TOGAF架构开发方法
就像不同的企业能够接受不同程度的风险一样，为这些评估标准的制定建立统一的实施指南是非常困难的，但随着架构开发方法的不断实践，治理机构的成熟度水平会日渐提高，这些标准也会根据特定的需求而逐渐清晰起来。但在这一过程中，起重要作用的企业架构并不是凭空产生的，在它的周围总是存在着一系列正在创造价值（也许效率不是最优）并等待被整合的基础设施和业务，而针对他们的整合变更，以及外界环境对他们的变更需求，都在企业架构的演进过程中充当了驱动力。对待这些变更请求，治理行为是必不可少的，并且一个吸取经验教训的过程也是必要的。
2023-12-30 23:22:43
1405
原创 3分钟基于Chat GPT完成工作中的小程序
GPT自从去年爆发以来，各大公司在大模型方面持续发力，行业大模型也如雨后春笋一般发展迅速，日常工作中比较多的应用场景还是问答模式，作为写程序的辅助也偶尔使用。今天看到一篇翻译的博客“我用 ChatGPT，在 120 秒内做了一个飞机观测器！”_CSDN资讯的博客-CSDN博客博客内容大致：Chat GPT写一个HTML，用户给定自己的坐标，可以实时接收飞过头顶的飞机信息。既然可以这样，那......发挥想象本文利用免费的GPT 3.5。
2023-10-06 11:27:43
1528
原创 数字化转型专题汇总
对***区县综合行政执法业务形成有效的信息化支撑 通过本项目的建设，融入先进的城市管理理念，运用先进的信息化技术，制定统一的系统建设技术导则和数据标准，打造城管执法指挥调度智能平台，实现执法办案业务和指挥调度工作电子化、自动化、智能化，提高***市城管执法办案各项业务能力和服务水平，提高办案效率和服务满意度,降低执法风险,实现执法办案规范化、指挥调度实时化、监督管理高效化、业务数据可视化、业务辅助智能化，有效落实和推进市委市政府提出的大城智管、大城细管、大城众管的管理要求。7. 某大型集团数字化转型方案。
2023-09-15 12:38:56
123
原创 10分钟学会Hive之用户自定义函数UTF开发
用户自定义函数概述用户自定义函数简称UDF，源自于英文user-defined function。
2023-09-13 14:56:18
468
原创 ONC数据政策
由数据合作伙伴拥有或共同拥有的数据可能受到其他许可证的约束，例如知识共享署名-非商业性使用4.0国际许可协议（CC-BY-NC），具体取决于与ONC建立的合作伙伴协议。在极少数需要限制数据的情况下，禁止访问可能适用于整个数据集、特定子集或最近的数据（例如，最近4小时的数据）。从加拿大海洋观测网访问或下载的数据，如果用于出版物，需要包括完整的引用信息，包括数据集的作者、标题、出版商、出版年份、数字对象标识符和本地查询持久标识符。有关ONC提供的数据产品的完整文档，请参考我们的数据产品维基文档。
2023-09-13 09:20:21
111
原创 数据治理实战步骤
写在前面：数据治理是数字化转型的基础，是数字要素流通的首要任务。但是面对不同的情况，数据治理的手段不同。数据治理专员要转换思想，数据治理中单靠技术、软件是不行的，比如一些单位认为数据治理平台是万能的，直接上平台一般是做不好的，需基于企业的组织文化、愿景等对症下药。先写个目录，供大家讨论，后续有时间也会继续补充。
2023-09-12 15:14:12
108
原创 数据仓库分层设计思想
ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。但是，这一层面的数据却不等同于原始数据。在源数据装入这一层时，要进行诸如去噪(例如有一条数据中人的年龄是 300 岁，这种属于异常数据，就需要提前做一些处理)、去重(例如在个人资料表中，同一 ID 却有两条重复数据，在接入的时候需要做一步去重)、字段命名规范等一系列操作。
2023-09-12 14:58:02
103
原创 CDGA、CDGP数据治理考试通关大全
重要更新！经过一段时间的沉寂，还是决定晚上加加班把CDGP考试认证通过一下，手里考的认证都是工程师（狗头.gif），丢面子，哈哈哈。
2023-06-28 15:35:10
821
3
原创 20分钟了解物联网开源数据库部署解决方案
本文针对物联网数据存储提供解决方案的思路，项目特点：结构化数据、传感器节点多(>100)、传感器类型多（>30）、采样频率高（1HZ），在此背景下，一般的关系型数据库已经不能够支撑数据存储，基于免费开源的软件完成数据存储工作，提高数据的读写能力。
2023-03-29 10:47:14
1751
原创 10分钟掌握Hive小文件过多如何解决？
在做数据仓库的时候，使用动态分区会产生许多的小文件，给计算资源造成较大的影响，所以本文针对小文件如何规避计算资源浪费作了一些设计。
2023-03-28 09:40:46
309
原创 数据治理工程师CDGA备考心得、时间安排、题库资源
之前做一些数据质量控制、元数据、主数据相关工作，一直忙于工作，没有去往考证的方面想，去年年底心血来潮就决定考一考，证多不压身嘛（也有部分学生向我咨询），（狗头.gif）
2023-03-18 17:56:38
4385
2
原创 Canal与Kafka数据传输协议protocol buffer
实时数仓开发中，利用Canal伪装slave获取MySQL的增量数据，获取后的数据由Kafka生产者接收，交由Flink实时流计算。白话文：安装一个protobuf-dt 2.2.1插件，将编写的proto文件发送给已经下载好的protoc.exe文件编译，编译后产生的Java文件要设置放置路径。下图中Java输出地址，不用写package的地址，因为package地址在proto文件中已写，如果是proto2的话，在写proto文件的时候语法不同，这里2.5.0也是可以的。3）安装protocol插件。
2023-02-01 15:05:53
643
原创 10分钟入门HBase特性与安装部署
1）HBase是BigTable的开源java版本。是建立在HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写NoSQL的数据库系统2）HBase仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务3）主要用来存储结构化和半结构化的松散数据4）Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务）5）Hbase中支持的数据类型：byte[]6）Hbase支持横向扩展，即增加服务器达到增加存储和处理能力大，可以存上十亿行，上百万列。
2023-01-02 16:14:01
591
原创 10分钟数仓实战kettle整合hive
在common文件夹下的hadoop-common-3.3.2.jar文件把jar包下载后放在\data-integration\lib目录下如果此时kettle是打开状态，需要重启，才能生效。
2022-12-22 10:01:48
416
原创 10分钟数仓实战之kettle发送邮件
2022/12/19 15:53:16 - 发送邮件 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Problem while sending message: javax.mail.MessagingException: Could not connect to SMTP host: smtp.qq.com, port: 465, response: -1。
2022-12-19 16:09:56
2103
原创 10分钟数仓实战之kettle整合Hadoop
很多朋友在做数仓的ETL的动作的时候，还是喜欢比较易上手的kettle前面章节有介绍过安装kettle，可以参考kettle在Windows系统中对数据的转换、表和文件的转换等，都相对简单，而在对大数据平台进行操作的时候，需要先配置相关参数，本节进行kettle整合Hadoop。
2022-12-12 22:27:26
1382
原创 通俗理解数据治理之主数据
1）国家标准GB/T 36073-2018 《数据管理能力成熟度评估模型》中对主数据的定义：主数据是组织中需 要跨系统、跨部门进行共享的核心业务实体数据。2）IBM 公司在其有关主 数据管理的红皮书《Master Data Manangement:Rapid Deployment Package for MDM》中主数据：有关客户、供应商、产品和账户的企业关键信息。
2022-12-10 19:20:10
1907
翻译 数据治理系统的文献综述
还确定了一些关键的数据治理成功因素，包括战略问责制、标准、管理盲点、拥抱数据的复杂性、跨部门问题、数据质量指标、与其他公司的合作、战略控制点、数据利益相关者的培训和意识和合规性监控。因此，成功的数据治理需要将来自不同部门的不同专业知识汇集到任何一个组织中，以实现流程的一致性、透明度和可重复性，从而实现最佳的数据相关决策并建立问责制、保持范围和重点、定义可衡量的成功。傅等人认为，有效的数据治理框架可以帮助组织创建明确的使命、实现清晰、增强使用组织数据的信心、建立责任、保持范围和重点，并定义可衡量的成功标准。
2022-11-28 09:22:15
427
原创 数据治理----集中、分布的各种模式傻傻分不清楚
元数据仍直接从源系统移动到集中式存储库，但存储库设计仅考虑用户添加的元数据、重要的标 准化元数据以及来通过自手工来源添加的元数据。参与数据治理和 数据管理的人员直接向负责治理、管理职责、元数据管理、数据质量管理、主数据和参考数 据管理、数据架构、业务分析等工作的数据管理主管报告。联邦运营模式：是混合运营模式的一种变体，提供了额外的集中层/分散层，联邦模式提供 了一个具有分散执行的集中策略。混合运营模式：分散模式和集中模式的优点。：集中式数据库、分布式数据库：联邦的（自治的）、非联邦的（非自治的）。
2022-11-22 21:49:57
2661
原创 Echarts绘制Tree树图的涟漪效果effectScatter
Echarts绘制图表是支持涟漪效果的，但是搜了材料，有地图、折线图、散点图等，不支持树图。本文方法实现了一种可以任意Echarts图的涟漪效果。
2022-11-03 12:50:03
1029
原创 BIM和IoT数据源框架
框架的第二个主要组件是基于全局本体的架构，可以将其视为与所有本地架构在语义上相关的虚拟通用本体。这些模块主要负责通过提供基于全局本体的架构的实体与BIM和IoT数据本地来源的相关实体之间的语义对应关系（本体映射）来维护查询回答所需的语义理解。迄今为止，已经设计了许多不同的工具和技术来满足语义网的愿景，例如OWL 2（用于本体创作的基于逻辑的语言），RDF 3（用于元数据的标准表示模型），SPARQL 4（一种用于RDF格式数据的查询语言）和SWRL 5（一种用于表达与OWL构造兼容的规则的逻辑语言）。
2022-10-30 16:38:37
1134
原创 IODE海洋数据门户平台简述
实时获得海洋高质量数据对于了解海洋变化过程是至关重要的。联合国教科文组织的国际海洋学数据与信息交换项目（IODE International Oceanographic Data and Information Exchange）正致力于建立海洋数据门户（ODP Ocean Data Portal），以便对世界上已有的各国海洋数据和服务进行无缝访问，从而促进海洋数据和服务的交流和传播。图1 海洋数据分发系统架构从概念上讲，ODP旨在实现“端到端”数据管理和“一站式”方法（图1）。
2022-10-27 13:47:27
935
原创 基于开源ERDDAP的海洋学科数据分发技术简介
可以直接从任何计算机程序（例如Matlab，R或您编写的程序）中绕过ERDDAP的网页并使用ERDDAP的RESTful Web服务（例如，搜索数据集，下载数据，制作地图），以及甚至来自网页（通过HTML图像标签或JavaScript）。ERDDAP提供所有数据，如.html表，ESRI .asc和.csv，Google Earth .kml，OPeNDAP二进制文件，.mat，.nc，ODV .txt，.csv，.tsv，.json和.xhtml。您不再需要去不同的数据服务器从不同的数据集中获取数据。
2022-10-27 13:44:08
553
翻译 云计算数据治理的关键挑战
阻碍云计算模型更广泛采用的主要原因之一主要与数据治理方面有关。虽然安全性被证明是采用云计算被提及最多的挑战，但表明云中41%的安全问题与治理和法律问题有关。云治理是IT领域的一个新名词，目前仍处于不成熟状态。微软将云治理定义为“围绕管理以下因素定义策略：可用性、安全性、隐私、云服务的位置，以及在应用程序运行时执行策略的合规性和跟踪”。数据治理被认为是云治理中最重要的方面之一。为本地IT基础架构构建的数据治理程序无法部署用于云基础架构和服务供应，这将需要全新的要求、设计和实施。
2022-10-24 15:49:05
212
原创 数据治理系统解决方案浅析
为了应对数据复杂的现实，数据管理解决方案变得越来越昂贵。企业在使用统筹数据方面变得更加复杂，推动了需要不同方式来处理这些数据的新需求。有远见的组织认为，解决数据问题的唯一方法是实施有效的数据治理。以前由IT驱动的管理数据方面的尝试大多都失败了。直到最近，数据治理大多是非正式的，国家在国家发展规划中多次提到大数据、数字化转型。尽管企业数字化转型其重要性得到高度认可，但数据治理领域仍处于开发和研究阶段。目前，存在的大多是数据治理领域的描述性文献综述。
2022-10-06 17:14:47
689
原创 小公司的大数据基础服务集成平台
小李学习后搭了一个三节点的大数据分析平台，集成Hadoop、Hive、HBase、zookeeper等，老板很开心，给小李涨了1000块工资，小李也很开森；12、国内厂商也都在开发相关平台，星环TDH、曙光方舟大数据融合分析平台、Ucloud等等，但是都大几十万，稍微一些定制功能上百万，产品卖的乐此不疲。19、生存与杀熟，cloudera推出社区版，付费不多，要生存，你习惯了CDH，用户量上来了，开始割韭菜。13、这笔钱王老板考虑许久，不能花，招这帮人就是压榨的，必须自己干、苦了干大数据的兄弟们。
2022-09-28 22:00:43
1121
翻译 大数据分析模型--批处理和流处理
ApacheFlume是一个基于代理的平台，它支持来自不同来源的分布式、可靠和可访问的Web服务，以有效地收集、聚合和移动大量事件数据到集中定义的数据存储。此外，Dryad的特点是功能众多，包括生成作业图、在可用机器上调度进程、处理集群中的瞬时故障、收集性能指标、作业可视化、调用用户定义的策略以及动态更新响应政策决定的工作图。这是一种系统化的处理范式，其中随着时间的推移收集一组数据或一组工业数据，例如运营数据、商业智能、社交数据、历史和档案数据以及服务数据，并将收集到的数据输入分析人机交互较少的处理系统。
2022-09-26 15:32:52
2401
翻译 基于数字孪生的智慧城市
智慧城市是基于数字城市、物联网和云计算建立的现实世界和数字世界的融合，实现人与物的感知、控制和智能服务，而数字孪生城市无疑是一种新型现代智慧城市建设的起点。它是城市大数据的资源库，是城市物联网的枢纽。随着物联网、大数据、云计算和人工智能的发展，智慧城市的建设基础已经从最初的静态3D建模层面逐步向动态数字技术与静态3D模型相结合的数字孪生层面演进，形成了数字孪生城市助力智慧城市建设的新理念。该文作者定义了数字孪生和数字孪生城市的概念，探讨了数字孪生与智慧城市的关系，分析了基于数字孪生的智慧城市的特点。
2022-09-26 15:29:08
833
翻译 基于卷积神经网络的海底火山烟雾图像分类
该文作者采用深度卷积神经网络（Deep Convolutional Neural Networks，DCNN）对小尺度数据集下的烟雾海底图和无烟海底图进行分类和有限的计算。在后期的工作中，我们可以增加样本的多样性（如黑烟、灰烟等，海底火山结合多种类型的烟雾，海底生物复杂场景的底图等）。
2022-09-22 17:23:55
389
翻译 基于遥感图像深度学习的海洋测深
沿海开发和规划面临的问题，包括自然灾害和极端风暴事件。跟踪和预测沿海地区物理特征随时间演变的能力是沿海开发、风险缓解和沿海地区一体化管理的重要因素。传统的海洋测深是使用回声探测技术获得的，该技术被认为是昂贵的，并且由于各种情况，并不一定可行。遥感图像可用于使用入射波特征和反演模型（例如波的物理模型）来估计测深。本文作者提出了一种使用深度学习进行测深估计的新方法。结果表明，深度学习能够在各种模拟情况下准确估计海洋深度，提供了一种新的海洋测深方法和深度学习的新应用。
2022-09-22 08:58:16
1368
原创 Hue集成MySQL支持丰富的图形表达效果感人
工欲善其事，必先利其器，网上教程往往让你安装一半丈二和尚摸不着头脑本文安装环境CentOS 7安装目录 /export/server软件包存放位置 /export/software已安装好Hadoop3.3.2、Hive3.1.2、Kafka2.12-3.2.1、MySQL等，可查看专栏其他文章。
2022-09-21 22:38:16
713
2
翻译 地球系统科学混合建模方法的挑战和机遇
这种方法对于稀疏空间数据也很有用，例如非卫星观测（地面站、浮标等），与仅使用再分析数据的其他方法相比，可以通过深度神经网络使用站点数据增加再分析数据的分辨率。计算需求随着时间的推移不断增长，并超过传统的仅使用 CPU 的超级计算的能力，Earth Systems的建模已从同构HPC系统转移到加速计算领域，尤其是基于GPU的加速。特征检测还有助于地球系统建模的决策支持，特征检测器可以在长期运行的气候模型中识别“有趣”的数据区域，然后只保存该特定事件的数据，大大降低了模型运行的I/O和存储要求。
2022-09-21 09:17:11
238
数据资产评估指导意见2023
2023-09-15
可信工业数据流通 关键技术研究报告
2023-09-15
数据治理体系建设与数据资产路线图规划
2023-09-15
DAMA数据管理各职能总结
2023-09-15
知识图谱与大模型融合实践研究报告2023.pdf
2023-09-13
某大型集团数字化转型方案
2023-09-13
某大型制造企业数字化转型规划方案
2023-09-13
航空行业数字化转型解决方案
2023-09-13
2023智慧能源数字化转型解决方案
2023-09-13
2023城管数字化转型整体解决方案
2023-09-13
农业数字化转型方案V3.0
2023-09-13
景区数字化转型方案V3.0
2023-09-13
政务数据治理重难点分析、实施步骤
2023-09-12
《数据治理-工业企业数字化转型之道》PPT（数据治理比较全面的体系介绍）（蔡老师）
2023-09-12
数据治理CDGP学习材料（新）
2023-06-21
数据治理CDGA学习资料（新）
2023-03-28
软件成本估算、工作量估算学习材料
2023-03-27
2023年系统集成项目管理工程师考试必备
2023-03-26
TOGAF 9.2企业架构自学整理材料
2023-03-26
数据治理之元数据管理学习材料
2023-03-18
数据治理之主数据管理学习材料
2023-03-18
protoc.exe 21.12
2023-02-01
TSCTA 007-2021 工业大数据平台 数据运行监控 技术规范
2022-11-10
TSCTA 006-2021 工业大数据平台 数据建模 技术规范
2022-11-10
TSCTA 005-2021 工业大数据平台 数据治理 技术规范
2022-11-10
mysql-connector-java-8.0.22.jar
2022-08-14
含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz
2022-08-14
geotools.zip
2020-07-03
swingx-wx.zip
2020-07-03
mappanel.zip
2020-07-03
MyCat水平分表如何查询所有节点的各个表的总行数和空间大小
2022-10-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人