- 博客(55)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 数据模型设计方法论汇总
是用来描述现实世界中客观存在的事物、事物的属性，以及事物之间关系的一种数据模型。在数据库设计中，ER模型被广泛用作数据建模的工具，它提供了不受任何数据库管理系统（DBMS）约束的面向用户的表达方法。在ER模型中，关系用菱形表示，并用无向连线将参与关系的实体与菱形相连，连线上标明关系的类型，如1对1、1对多或多对多等。在ER模型中，实体通常对应于数据库中的表，而实体的属性则对应于表中的字段。维度建模是一种在数据仓库中用于数据建模的技术，它将 事实表 和 维度表 组织在一起，以提供快速、简单的数据分析功能。
2024-03-01 12:20:47
809
1
原创 个人简介描述
技术博客迁移(个人)163网站技术博客地址：1、旧地址(不在使用)：http://gjggw123.blog.163.com/2、新地址(不在使用)：http://ggjggw123.lofter.com/目前就职于XX银行开发中心：大数据生产环境负责人★===★请加hadoop\spark\storm\scala\pythonQQ群：275079200QQ群：142...
2020-03-03 15:56:04
193
转载 大数据治理—《华为数据之道》转载
质量控制是质量改进的前提，控制就意味着维持以前的质量水平，是PDCA改进循环中保证水平不下降的“努力的楔子”，是保证下 一次改进的起点，而改进则是在起点基础上的变革和突破。主数据是参与业务事件的主体或资源，是具有高业务价值的、跨流程和跨系统重复使用的数据。数据Owner要负责所辖领域的信息架构建设和维护，负责保障所辖领域的数据质量，承接公司各个部门对本领域数据的需求，并有责任建立数据问题回溯和奖惩机制，对所辖领域的数据问题及争议进行裁决，公司有权对不遵从信息架构或存在严重数据质量问题的责任人进行问责。
2024-04-13 00:41:30
10
原创 ChatGPT都能做什么，有哪些场景？
它可以提供各种语言之间的翻译服务，包括英文、中文、法文、德文、西班牙文、俄文等。它可以帮助你编写小说，包括各种类型的小说，如言情、悬疑、恐怖、科幻等。它可以帮助你编写演讲稿、PPT等，包括商业演讲、学术演讲、庆典致辞等。它可以帮助你编写个人陈述，包括申请大学、研究生、博士生、奖学金、工作等的个人陈述。它可以帮助你编写商业计划书、市场调研报告、营销策略、商业简报、销售信件等。它可以帮助你优化你的网站、文章或其他内容的SEO。它可以进行文献综述、研究设计、数据分析等工作，为你提供高质量、可靠的研究结果和建议。
2024-03-20 15:43:52
608
原创 数据仓库领域的最佳实践 Kimball 和 Inmon 方法论
这种方法适合对设计科学性和规范性要求较高的企业，如金融和电信等行业，因为它能够提供稳定、可靠的数据支持，帮助企业做出准确的决策。综上所述，在实际的数据仓库建设中，往往会根据项目的具体需求和资源情况，结合使用Kimball和Inmon的方法论。这两种方法各有优势，Kimball方法论适合于快速迭代和面向特定业务需求的项目，而Inmon方法论更适合于需要全面规划和长期建设的大型企业级数据仓库项目。而如果企业对数据的准确性和可信度有更高的要求，并且业务场景相对固定，那么Inmon方法论可能更为合适。
2024-02-28 23:06:30
718
原创 数据仓库架构及原理
对于精通数据仓库架构及原理，并具备大型数据仓库架构设计、模型设计和处理性能调优等相关经验的专业人士，他们在企业数据管理和分析领域发挥着至关重要的作用。具备这些经验和技能的数据仓库专家能够为企业构建高效、可靠、易于扩展的数据仓库解决方案，从而支持企业的数据分析、报告和决策需求。：熟悉不同的数据仓库架构模式，如集中式、分布式、云原生数据仓库等，并能够根据业务需求选择合适的架构。（提取、转换、加载）工具、数据存储系统（如关系型数据库、分布式存储系统）、数据服务层（如。过程，提高数据抽取、转换和加载的速度和效率。
2024-02-28 22:25:17
367
原创 数据中台方法论
数据中台应将数据封装成服务，通过API或数据门户等方式提供给业务部门，使数据能够更方便地被应用和开发。总的来说，数据中台方法论是一套指导企业构建、运营和优化数据中台的原则、方法和最佳实践，旨在帮助企业实现数据的共享、复用和价值最大化。数据中台方法论主要是指导企业如何构建、运营和优化数据中台的一套原则、方法和最佳实践。数据治理还包括数据的清洗、整合、归类和标签化等工作，以提高数据的质量和可用性。数据中台应建立统一的数据标准、数据规范和数据质量管理体系，以确保数据的。数据中台应作为一个平台来运营，包括数据。
2024-02-28 22:22:36
362
原创 数据部门的整个数据架构 都包含哪些内容 ？
此外，数据集成涉及将不同来源的数据合并到一个统一的数据存储库中，以确保数据的一致性和可用性。此外，数据资产管理涉及数据的识别、评估、分类、存储和保护等，以确保数据资产的有效利用和管理。这包括数据的抽取、加载、转换和传输等步骤，以确保数据的准确性和一致性。总之，一个完整的数据架构需要考虑数据的组织、存储、处理、安全和管理等方面，以支持业务决策和运营需求。数据架构应制定和执行数据标准和规范，以确保数据的准确性和一致性。数据部门的整个数据架构包含多个关键组件和内容，这些共同确保数据的有效管理、存储、处理和安全。
2024-02-28 22:18:23
349
原创 数据治理主要工作内容
熟悉数据管理生命周期（DAMA）和数据管理能力成熟度评估服务(DCMM)等体系，负责制定 数据治理策略，包括数据质量、数据安全、数据合规性等方面，以确保数据的可靠性、可用性、完整性和安全性。数据治理体现在多个工作方面，主要包括元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据资产管理、数据交换管理、数据生命周期管理和数据安全管理等。通过制定数据质量规则、监控数据质量、识别和解决数据质量问题，可以确保数据的准确性和可靠性，提高数据的价值。
2024-02-28 22:14:35
849
原创 如何处理项目中最常见问题是什么，如何解决的，如何保障保质保量按时交付的？
在项目开始之前，与所有干系人明确项目目标、范围、时间表和预算。：建立有效的沟通机制，确保项目团队内部以及与客户和其他利益相关者之间的顺畅沟通。：通过定期的项目会议和进度报告，持续监控项目的进度、成本和质量。：在项目执行过程中不断总结经验教训，将学到的知识应用于后续项目，以提高项目管理的效率和效果。通过综合运用这些策略和方法，可以有效地处理项目中最常见的问题，保障项目保质保量按时交付。：确保项目所需资源的可用性，包括人力、物资和资金。：进行全面的测试，包括单元测试、集成测试、系统测试等，确保产品无缺陷。
2024-02-28 22:09:59
340
转载 《数据中台架构——企业数据化最佳实践》
本书解答了数据中台是什么、数据中台的价值是什么、数据中台如何帮助企业腾飞、企业具备数据中台的建设条件吗、应该如何建设数据中台、数据中台在哪些行业中有成功的应用、建设数据中台需要哪些软件支撑。
2023-02-09 11:40:53
392
转载 HTAP系统架构实践总结
HTAP两种数据库系统：一种是事务型的系统，这是数据源头产生的地方；另一种是分析型的系统，是我们的数仓。数据会定期从交易型数据库中借助ETL的方式流入到数仓. 然后在数据仓库做分析处理，产生相应的报表和报告。企业的经营决策者能够通过分析报告和决策报表去观察企业的经营行为，从而观察到未来的发展趋势。这是数据宝贵之处的体现之一。............................................................
2022-08-29 16:15:08
981
转载 简述raid 0 1 5 10的区别
简述raid 0 1 5 10的区别一、RAID卡概述 1、DELL阵列卡（RAID卡） RAID是英文Redundant Array of Independent Disks的缩写，中文简称为独立冗余磁盘阵列。简单的说，RAID是一种把多块独立的硬盘（物理硬盘）按不同的方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据备份技术。 组成磁盘阵列的不同方式称为RAID级别（RAID Levels）。 集中管理思想：资源整合，用统一标准进行管理
2020-11-04 12:07:13
3715
1
转载 马蜂窝数据仓库的架构、模型与应用实践（转）
马蜂窝数据仓库的架构、模型与应用实践（转） Part.1 马蜂窝数据仓库与数据中台 最近几年，数据中台概念的热度一直不减。2018 年起，马蜂窝也开始了自己的数据中台探索之路。数据中台到底是什么？要不要建？和数据仓库有什么本质的区别？相信很多企业都在关注这些问题。我认为数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历了数据中心、数据仓库等积累之后，借助平台化的思路，将数据更好地进行整合与统一，以组件化的方式实现灵活的数据加工与应用，以更清晰的数...
2020-08-25 15:53:35
312
转载 数仓深度 | 数据模型设计（推荐收藏，转）
数仓深度 | 数据模型设计（推荐收藏，转）如果把指标⽐喻成⼀棵树上的果实，那模型就是这棵⼤树的躯⼲，想让果实结得好，必须让树⼲变得粗壮。真实场景举例：⼤多数公司的分析师会结合业务做⼀些数据分析（需要⽤到⼤量的数据），通过报表的⽅式服务于业务部⻔的运营。但是在数据中台构建之前，分析师经常发现⾃⼰没有可以复⽤的数据，不得不使⽤原始数据进⾏清洗、加⼯、计算指标。由于他们⼤多是⾮技术专业出⾝，写的SQL质量⽐较差，甚⾄⻅过5层以上的嵌套。这种SQL对资源消耗⾮常⼤，会造成队列阻塞，影响其他数仓任务.
2020-08-25 15:29:45
745
转载 民生银行用户画像搭建与应用 / 民生银行客户画像搭建与应用
民生银行客户画像搭建与应用(转)分享内容：1、用户画像理论介绍 2、构建银行标签体系3、客户画像应用：（1）客户视图（2）个性化推荐（3）智能投顾（4）智能客服 4、一些应用案例主题介绍：本次分享重点介绍，目前民生银行如何搭建客户画像以及客户画像实际应用，其中包括银行的标签体系，客户画像在个性化推荐、智能投顾、智能客服等方面的应用。...
2020-08-20 11:19:20
1603
转载 数据中台（六）数据体系建设
数据中台（六）数据体系建设1、数据体系规划中台数据体系具备特征：覆盖全域数据 结构层次清晰：纵向数据分层，横向主题域与业务划分 数据准确性一致：定义一致性指标、统一命名、统一计算口径 性能提升 降低成本 方便易用数据中台体系架构数据分层贴源数据层ODS：操作数据层，对各个业务数据进行采集、汇聚、整合、增加数据标识、非结构转化为结构数据等，不做深度清洗加工——数据汇聚接入，例如：东方国信爬虫、新大陆数据汇聚接入 统一数仓层DW：细分为DWD（明细数据层）与DWS（汇总数.
2020-08-20 10:56:04
1101
转载 数据中台（五）数据开发：数据价值提炼工厂
数据中台（五）数据开发：数据价值提炼工厂目的：数据开发（离线开发、实时开发、和算法开发）将数据转化为数据资产，转换成业务需要的新形态，提炼数据价值一、数据计算能力的4种类型批计算：主要应用于数据高延时场景，例如：大规模的数据清洗、数据挖掘。MapReduce、hive、Spark等计算框架，吞吐量大、延时高1、MapReduce：分布式编程，分而治之 2、Spark：优势 数据处理技术：DAG执行计划 数据格式和内存布局：Spark RDD分布式索引 执行策略：Spar.
2020-08-20 10:55:12
801
转载 数据中台（四）企业数据汇聚联通：打破孤岛数据
数据中台（四）企业数据汇聚联通：打破孤岛数据目标：各个业务系统的数据实现互联互通打破数据孤岛，各业务场景的数据存储选型一、数据采集、汇聚的方法工具线上采集行为客户端埋点 全埋点：APP的SDK、小程序、智能穿戴设备 可视化埋点 代码埋点 服务端埋点：http服务器access_log日志线下行为采集wifi移动设备采集：图像视频 其他传感器 应用场景：安防、监测等互联网数据采集爬虫：scapy、webmagic、apache Nutch2等内部数据汇聚
2020-08-20 10:54:12
557
转载 数据中台（三）企业数据中台建设的评估与选择
数据中台（三）企业数据中台建设的评估与选择一、企业数据应用的成熟度评估（成熟度也高，数据支撑业务的能力越强）统计分析决策支持数据驱动运营优化二、建设数据中台的五个目标企业战略目标方面：建立了从数据资产化到资产业务化的可持续数据应用的高效闭环，为企业源源不断输出数据智能的能力数据形态目标方面：数据全面资产化，数据质量形成了管理制度和规范；数据资产高效输出和循环落地机制，形成数据资产管理闭环数据场景目标方面：数据服务可通过数据中台可自助式完成，缩短企业数据到业..
2020-08-20 10:53:12
532
转载 数据中台（二）企业数据中台的的建设与架构
一、业务与数据中台关系业务产生数据，数据服务业务，业务在阳，数据在阴，阴阳互补，形成闭环。二、数据中台建设方法论：定位：企业级战略保障条件：宣传认知意识、领导组织变革目标准则：可见、可用、可运营（评估表）数据可见：项目数据可用：项目数据可运营：项目三、数据中台架构数据汇聚 数据开发 数据体系 数据资产管理 数据服务体系 运营体系和安全管理...
2020-08-20 10:52:27
289
转载 8种ETL算法汇总大全！
8种ETL算法汇总大全！摘要：ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。1 ETL算法概览> 算法应用场景概览以上共计累积了8种ETL算法，其中主要分成4大类，增量累加、拉链算法是更符合数据仓库历史数据追踪的算法，但现实中基于业务及性能考虑，往往
2020-08-20 10:35:10
803
转载 数据中台（一）什么是数据中台
本文从数据中台的定义、核心能力、优点出发阐述企业数据中台建设的意义与必要性。一、数据中台定义数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。二、数据中台必须具备4个核心能力数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现４个核心能力，让企业员工、客户、伙伴能够方便地应用数据。企业数据中台必备4个能力2.1、汇聚
2020-08-20 10:31:27
661
转载 管理学之父德鲁克：目标管理的八要素和七步骤
管理学之父德鲁克：目标管理的八要素和七步骤(转)一、目标管理（MBO）的内涵1954年，管理大师彼得·德鲁克在其名著《管理的实践》中提出了“目标管理”的概念，并提出了“目标管理和自我控制”的主张。彼得·德鲁克认为，并不是有了工作才有目标，而是相反，有了目标才能确定每个人的工作，因而“企业的使命和任务，必须转化为目标”，如果一个领域没有目标，这个领域的工作必然被忽视。目标管理理论的提出是德鲁克对管理学界的一个伟大贡献，美国前总统布什在把2002年度的“总统自由勋章”授予彼得·德鲁克时，..
2020-08-12 11:18:21
2551
转载 clickhouse应用说明
clickhouse应用说明总结：Clickhouse有点：支持insert、select，是mpp数据库，支持OLAP联机分析处理，支持主从复制/读写分离。缺点：1.不支持null，不支持关联子查询。2.不支持事物。3.不支持Update/Delete操作。4.支持有限操作系统。应用场景：#可以应用以下场景：1.电信行业用于存储数据和统计数据使用。2.新浪微博用于用户行为数据记录和分析工作。3.用于广告网络和RTB,电子商务的用户行为分析。4.信息安全里面的日志分析。5.检测.
2020-08-12 09:38:56
1872
转载 一文搞定Mysql日期时间函数（转载）
一文搞定Mysql日期时间函数日期和时间函数部分也是我们日常工作中使用频率比较高的一部分。这一篇我们主要讲讲Mysql里面的日期时间相关的函数，不同数据库之间基本相同，只会有个别函数的差异。大家掌握一个数据库的，其他的遇到不会的，直接查就可以了。1.获取当前时刻时间 1.1返回当前时刻的日期和时间 1.2获取当前时刻的日期 1.3获取当前时刻的时间 1.4获取当前时刻的周数 2.日期时间格式转换 3.日期时间运算 3.1向后偏移时间 3.2向前偏移时间 3.3两日期做差文章较长，建议先.
2020-08-11 14:57:19
353
转载 一篇来自10年数据总监关于数据分析师的理解
一篇来自10年数据总监关于数据分析师的理解（转载）本文作者为数据海洋，海洋老师从一个数据分析师成长为管理过近百人的数据团队的负责人，这中间总结了不少经验，也踩了不少坑，现在他把这些分享出来，希望可以帮助到大家。总共有三篇，本篇为第一篇，主要写了数据分析师的入门需要的基本的知识，逻辑，工作方法。1.了解数据分析师数据分析师是企业在未来10年内最重要岗位之一，也许再过几年，对任何企业中的80%的岗位，都要求掌握数据分析能力。为什么？从几个层面简单来说：1.1在行业层面：在大数据时代下，.
2020-08-11 14:18:15
316
原创 项目交付关键几个点
关于项目角度的工作存在一些关键几个点要注意的：识别风险、管理客户、管理目标。一、识别风险：客户关系不好是风险 交付范围扩大是风险 需求变更是风险 团队管理与合作有风险注：遇到风险一定要做好一些分析，管理风险，一定基于事实来分析。二、管理客户多一些沟通，少一些猜测 对客户产生正确的认识，让客户成为团队的一部分，多一些沟通与合作点三、管理目标如何帮助客户达到目标，实现价值(分析客户遇到什么问题、要解决什么问题) 团队内部如何合作 团队和客户如何沟通 成功与失败的定义是什么（
2020-08-10 11:22:42
3530
原创 数据中台-实施篇：数据中台方法论简述
数据生命周期说明：说明：数据建设更多是指第一步“业务数据化” 到 “数据资产化”的过程。上图借鉴数澜科技数据中台数据方法论原图。智能中台数据构建和数据运营：数据预技术处理层级划分：...
2020-08-07 16:44:35
668
原创 数据中台-实施篇：数据接入相关规范
xxx数据接入相关规范1 文件内容规范每个EXECL保留一个SHEET页。 注：目前解析程序只解析第一个sheet页。如果与其他sheet页关联可能将导致数据不准确风险。1.1HDFS目录规范1.1.1 文件命名规范数据文件名称为自定义数据表文件名称，要有实在意义，取名简单，遵守企业命名规范,hdfs文件命名和ftp缓存服务器英文件命名保持一致。规范: 数据文件命名构成为:8位日期数字_原表英文名称-批次号(3位数值).后缀名...
2020-08-07 16:33:34
6131
原创 维度建模三种模式
维度建模三种模式 1.1 ~星型模式。星型模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。星型模式的维度建模由一个事实表和一组维表成，且具有以下特点：维表只和事实表关联，维表之间没有关联。每个维表主键为单列，且该主键放置在事实表中，作为两边连接的外键。以事实表为核心，维表围绕核心呈星形分布。 1.2 ~雪花模式。雪花模式(Snowflake Schema)是对星型模式的扩展。雪花模...
2020-07-28 09:54:53
2643
原创 如何深入浅出的理解数据仓库建模
如何深入浅出的理解数据仓库建模一 数据仓库建模的意义如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕混乱的桌面，经常为找一个文件而不知所措。数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。...
2020-03-26 11:42:03
249
原创 数据仓库系列：初识数仓
数据仓库系列：初识数仓前言： 本节是数据仓库系列文章的第一篇，本系列的目的在于快速的构建一套最小化可运行的基础数据体系，过程中也会涉及一些数仓的理论知识，但更偏重的是数仓的实现和背后的思考逻辑、所以在开发实施过程中会提供相对多的代码示例和具体的实现细节。 另外需要对数仓的界限做下限制，本系列所讨论的数仓是从数据接入后到数据结果表生成。最后需要指明的是本系列只涉及离线数...
2020-03-26 10:51:32
568
原创 数据仓库系列：一种通用数据仓库分层方法
数据仓库系列：一种通用数据仓库分层方法 前言 数据仓库系列：图标跟以前保持一致，数据分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计，或缺少明确而详细的说明，或缺少可落地实施的方案，或缺少具体的示例说明。 因此，本文将指出一种通用的数据仓库分层方法，具体包含如下内...
2020-03-26 10:47:16
359
原创 Elasticsearch 7.6.0 最详细安装及配置（HA）安装与启动
Elasticsearch 7.6.0 最详细安装及配置（HA）安装与启动Elasticsearch是一个非常好用的搜索引擎，和Solr一样，他们都是基于倒排索引的。今天我们就看一看Elasticsearch如何进行安装。下载和安装今天我们的目的是搭建一个有3个节点的Elasticsearch集群，所以我们找了3台虚拟机，ip分别是：192.168.73.130 192.1...
2020-03-05 16:57:14
4521
2
原创 Elasticsearch 7.6.0 最详细安装及配置（单节点）
Elasticsearch 7.6.0 最详细安装及配置Elasticsearch 7.x 最详细安装及配置一、Elasticsearch 7.x小马哥说过，学习技术栈得看版本，那么 Elasticsearch 7.x 有什么好的特性呢？ES 7.0 是 2019 年 4 月份发布的，底层是 Lucene 8.0。其他还有需要了解的是：废除单个索引下多 Type 的支持 ES...
2020-03-05 14:18:36
4975
原创 国内开源软件镜像站收藏
国内开源软件镜像站收藏阿里云 http://mirrors.aliyun.com/pypi/simple/豆瓣(douban) http://pypi.douban.com/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/中国科学...
2020-03-04 09:34:25
179
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人