qq_28069577的博客

原创 子过程与过程的ITTO

范围管理过程名 输入 工具和技术 输出 制定项目章程 1、项目工作说明书 2、商业论证 3、协议 4、事业环境因素 5、组织过程资产 1、专家判断 2、引导技术 项目章程 制订项目管理计划 1、项目章程 2、其他过程的输出 3、事业环境因素 4、组织过程资产 1、专家判断 2、引导技术 项目管理计划 指导

原创 第二章信息系统项目管理基础

2.1 项目管理基础2.1.1 项目概念项目是为提供一项独特产品、服务或成果所做的临时性努力2.1.2 项目的特点临时性：指每一个项目都有确定的开始和结束日期 独特的产品、服务或成果：项目创造独特的可交付成果，如产品、服务或成果 逐步完善：项目分步连续的积累，如在项目的早期，项目范围的说明是粗略的，随着项目团队对目标和可交付成果的理解更完整和深入时，项目的范围也就更具体和详细，在项目开发的过程中软件需求一般是逐步明确的 资源约束：每一个项目都需要具备各种资源来作为实施的保证，而资源是有

原创 PySpark数据分析

PySpark数据处理原理实验步骤步骤1：使用Python链接Spark环境import pandas as pdfrom pyspark.sql import SparkSessionspark = SparkSession \ .builder \ .appName('pyspark') \ .getOrCreate()# 原始数据 test = spark.createDataFrame([('001','1',100,87,67,83,98), (

原创 网络爬虫学习记录

一、计算机网络基础原理实验步骤步骤1：在Pyhon中创建一个list，存储以下个人信息（姓名、年龄、成绩）：[小王、40、50]，[小贾、50、23]步骤2：将步骤1的数据存储为json格式，并进行读取步骤3：将步骤1的数据存储为xml格式，并进行读取步骤4：学习计算机网络基础，思考从打开coggle.club到网页展示，有什么步骤？将你的思考结果写到博客。二、HTTP协议原理实验步骤步骤1：学习HTTP协议步骤2：HTTP的get和post有什么区别？用处在哪儿

原创 第十七章组织变革

基本概念和术语变革管理定义变革管理是指当组织成长迟缓，内部不良问题产生，无法适应经营环境的变化时，企业必须作出组织变革策略，将内部层级，工作流程以及企业文化，进行必要的调整与改善管理，以达企业顺利转型。影响变革的因素 变革种类 对待坚硬的挑战（如信息系统，组织流程），需要放开手脚大刀阔斧地废旧换新 对待绵软的挑战（如价值，情绪，能力），应对方法则复杂的多 变革战略 革命性、彻底的变革，如业务流程重组 渐进式的、递增式的变革

原创 第十四章大数据和数据科学

概要信息收敛三角业务驱动因素：期望从大数据集中发现更多的商业机会并采取行动，是提升一个组织大数据和数据科学能力的最大业务驱动力目标和原则：大数据的前景取决于能够管理大数据。在许多方面，由于数据源和数据格式的巨大差异，大数据管理将比关系数据管理需要更多的原则。与大数据管理相关的原则尚未完全形成，但是一个很明确的原则：组织应该仔细管理与大数据源相关的元数据，以便对数据文件及其来源和价值进行准确的清单管理。术语与重要概念数据科学数据科学流程大数据大数据架构组件大数据的来源数

原创 第十三章数据质量

定义为确保满足数据消费者的需求，应用数据管理技术进行规划，实施和控制等管理活动。目标 根据数据使用者的需求，开发一种让数据符合用途的管理办法； 作为数据生命周期的一部分，定义数据质量控制的标准，要求和规范； 定义和实施测量、监控和报告数据质量水平的过程； 通过过程和系统的改进，识别和提倡提高数据质量的机会。 原则重要性：数据质量管理应关注对企业及其客户最重要的数据。改进的优先顺序应根据数据的重要性以及数据不正确的风险水平来判定全生命周期管理：数据质量管

原创 第十二章元数据

定义通过计划、实施和控制活动确保可访问高质量的，整合的元数据目标 记录和管理与数据相关的业务术语的知识体系，以保证人们理解和使用数据内容的一致性 收集和整合来自不同来源的元数据，以保证人们了解来自组织不同部门的数据之间的相似与差异 确保元数据质量、一致性、及时性和安全 提供标准途径，使元数据使用者（人员、系统、流程）可以访问元数据 推广或强制使用技术元数据标准，以实现数据交换 元数据管理的原则 组织承诺：管理层支持 战略：对齐业务战略

原创 第十一章数据仓库和商务智能

定义通过规划、实施和控制过程，来提供决策支持数据，支持从事报告，查询和分析的知识工作者目标支持商务智能活动赋能商业分析和高效决策基于数据洞察寻找创新方式原则聚焦业务目标以始为终全局性的思考设计，局部性的行动和建设总结并持续优化提升透明度和自动化服务与数据仓库一起创建元数据协同不要千篇一律业务驱动因素运营支持智能合规需求商务智能活动输入业务需求可扩展性、运营、基础设施和支持的要求数据质量、安全及访问需求IT策略..

原创 第九章文件和内容管理

定义：计划、实施和控制任何形式或载体中的数据和信息的生命周期管理活动目标： 履行与档案管理有关的法律义务并达到客户的期望 确保能够高速有效的存储、检索、使用文件和内容 确保结构化和非结构化的数据的集成能力。 原则：组织中的每一个人都应该在保护组织的未来方面发挥作用档案和内容处理的专家应充分参与制度和规划的制定业务驱动因素：法规尊崇性要求诉讼响应能力电子取证请求能力业务连续性要求输入： 业务战略 it战略 法律

原创 第八章数据集成与互操作

定义：管理和整合在应用系统和组织内部，或者应用系统与组织之间传输的数据目标： 按照所需格式，及时的提供安全的、合规的数据 构建开发共享模型和接口，降低解决方的成本和复杂性 识别有意义的事件，自动触发预警和协作 支撑商业智能，数据分析、主数据管理、并致力于提高运营效率 输入：业务目标和业务战略数据需求和数据标准监督、合规和安全要求数据、流程、应用和技术架构数据定义源数据活动： 计划和分析 定义数据集成和生命周期需求

原创 第七章数据安全

定义：定义、规划、开发、执行安全策略和规程，以提供对数据和信息资产的适当验证、授权、访问、审计。目标： 启用对企业数据资产的适当访问，并防止不适当的访问 理解并遵守所有有关隐私、保护和保密的法规和政策 确保所有利益相关方的隐私与保密需求得到执行和审计 业务驱动： 降低风险 识别敏感数据资产并分类分级 在企业中查找敏感数据 确保保护每项资产的方法 识别信息与业务流程如何交互 业务增长

原创 第三章数据治理部分记录

数据治理数据治理项目的范围和焦点依赖于组织需求，但多数项目都包含如下内容：战略（Strategy），制度（Policy）标准和质量（Standards and Quality）监督（Oversight）合规（Compliance）问题管理问题管理的领域：数据安全、数据访问、数据质量、合规、数据所有权、制度、标准、术语或者数据治理程序业务驱动因素：法规遵从性，其他业务信息化管理需求所驱动的，数据治理的驱动因素大多聚焦于减少风险或者改进流程减少风险：一般性风险管理，数据安全，隐私改进流

原创 DAMA考点大概率分数分布

微信电子书所在位置：DAMA数据管理知识体系指南（原书第2版）-DAMA国际-微信读书1）数据治理（Data Governance）通过建立一个能够满足企业需求的数据决策体系，为数据管理提供指导和监督（参见第3章）。2）数据架构（Data Architecture）定义了与组织战略协调的管理数据资产蓝图，以建立战略性数据需求及满足需求的总体设计（参见第4章）。3）数据建模和设计（Data Modeling and Design）以数据模型（Data Model）的精确形式，进行发现、分析、展..

原创 第六章数据存储和操作

数据存储和操作背景数据存储与操作包括对存储数据的设计、实施和支持，最大化实现数据资源的价值。数据存储也操作一般包括两个子活动：数据库操作支持：数据库操作支持主要关注与数据生命周期相关的活动，即从数据库环境的初始搭建，到数据的获取、备份再到处置数据，还要保证数据库性能状态良好 数据库技术支持：数据库技术支持包括定义满足组织需要的数据库技术要求，定义数据库的技术架构，安装和管理数据库技术，以及解决与数据库相关的技术问题。语境关系图业务驱动因素为IT运营提供可靠的数据存储基础设.

原创 第五章数据建模和设计

数据建模和设计背景数据建模是发现、分析和确定需求的过程，用一种称为数据模型的精确形式表示和传递这些数据需求。数据一般采用6种模式进行表示：1.关系模式，2.多维模式，3.面向对象模式，4.事实模式，5.时间序列模式，6.nosql模式。每个模式又可以分为三个层级：概念模型，逻辑模型，物理模型。数据模型包含了数据使用者所必须的元数据。语境关系图概念主要介绍建模的不同数据类型、数据模型的组成部分，适合于开发的数据模型以及在不同情况下选择不同类型的原因。数据建模和数据模型模.

原创 第一章数据管理

基本概念数据 数据和信息数据被称为“信息的原材料”，而信息则被称为“在上下文语境中的数据”数据是一种组织资产数据管理的原则数据管理需求是业务的需求1.管理数据意味着对数据的质量管理2.需要元数据来管理数据3.数据管理需要规划4.数据管理须驱动信息技术决策数据价值1.数据是有独特属性的资产2.数据的价值可以用经济术语来表示有效的数据管理需要领导层承担责任数据管理依赖于不同的技能1.数据管理是跨职能的.

原创 第十章参考数据和主数据

背景在任何组织中，都存在跨业务领域，跨流程，跨系统使用数据的需求，如果将这些数据实现了共享，所有的业务部门都可以访问相同的数据清单，那么这个组织或者某个业务部门就会从中获益。共享一直存在的一个问题就是一致性的问题，系统和数据的变化往往比数据管理人员想象的要快的很多，在大型企业中更加的明显，这样就导致了他们的互相隔离，参考数据和主数据管理可以有效的解决这个问题，可以降低成本和风险语境关系图：目标确保组织在各个流程中都拥有完整、一致、最新且权威的参考数据和主数据 促使企业在各业务和各应用系

原创 你的数据治理属于哪个场景

原创理哥数据治理体系一、前言当前企业,基本上存有海量数据，目前最大的问题是质量较差，导致数据无法应用，所以一般企业的数据治理都围绕数据质量进行治理，根据我的经验，主要有如下4个数据管理治理场景，看下你们的项目属于哪个场景。二、数据管理治理场景1.场景一，创建数据管理系统一般公司都会创建一个或多个数仓系统存储数据数仓构建一般步骤和流程：3.数仓与商务智能->4.架构->6.数据建模和设计->7.数据存储->8.数据集成与互操作->系统测试上...

原创 熵、联合熵、条件熵、相对熵、互信息的定义

为了更好的理解，需要了解的概率必备知识有：大写字母X表示随机变量，小写字母x表示随机变量X的某个具体的取值；P(X)表示随机变量X的概率分布，P(X,Y)表示随机变量X、Y的联合概率分布，P(Y|X)表示已知随机变量X的情况下随机变量Y的条件概率分布；p(X = x)表示随机变量X取某个具体值的概率，简记为p(x)；p(X = x, Y = y) 表示联合概率，简记为p(x,y)，p(Y ...

原创 机器学习数学

微分学的基本思想和方法微分学的核心思想：函数逼近人均 GDP ：使用常数函数来逼近收入分布函数平均速度：使用线性函数来逼近实际运动轨迹年化收益率：使用指数函数来逼近收益函数微分学的核心思想是用熟悉且简单 的函数对复杂函数进行局部逼近微积分的基础语言： 极限论 微分学的基本手法：求导数从线性逼近到多项式逼近：泰勒级数从低纬到高维：多元函数的梯度梯...

原创 梯度下降的推导过程

http://baijiahao.baidu.com/s?id=1639202882632470513&wfr=spider&for=pc

原创 mardown数学公式

行内与独行行内公式：将公式插入到本行内，符号：公式内容公式内容公式内容，如：xyzxyzxyz独行公式：将公式插入到新的一行内，并且居中，符号：公式内容公式内容公式内容，如：xyzxyzxyz上标、下标与组合上标符号，符号：^，如：x4x^4x4下标符号，符号：_，如：x1x_1x1​组合符号，符号：{}，如：168O2+2{16}_{8}O{2+}_{2}168​O2+2​汉字、字...

原创 python数据分析

python数据分析数据分析工具Numpy：提供数组功能，以及对数据快速处理的函数，创建数组 np.array([])Scipy:提供矩阵计算，功能有最优化，线性代数，积分，插值，拟合，特殊函数，快速傅里叶变换，常微分方程求解等。Matplotlib功能主要是提供数据可视化，Pandas功能：有类似SQL的增删改查，并且带有丰富的数据处理函数，支持时间序列分析功能，支持灵活处理缺失数据...

原创 python学习

一门语言一个周拿下，主要走两个方面去学习，分好基本语法，对比曾经学过的语言，然后就是通用的算法基本语法记录简单的语法，采用缩进的方式，增加了代码的可读性python语言对大小写敏感，写错程序会报错。print（）函数，将结果打印在控制台基本数据类型：字符串string，整数int，浮点数float，布尔值boolean，空值None算术符：加 +，减-，乘*，除/，取余%，x的y次幂...

原创 数据分析方法

将数据处理完以后，现在的数据已经说是比较完整了，没有了重复值，没有了缺省值，于是我们需要将数据展示出来，一百万对老板来说就是一个数字，对于我们来说要让这一百万说话，说出老板理解不到的声音，那就是使用数据分析方法去分析数据分析的三大作用：现状分析，原因分析，预测分析，对应三大分析方法：对比，细分，预测！！数据分析方法对比分析法：任何事物都是既有共性，又有个性。只有通过对比，才能分辨出事务的性...

原创 数据分析方法论--确定数据分析的整体思路

PEST分析法作用：用于对宏观环境的分析指标：根据不同公司会有差异，但一般包括政治（Political），经济（economic），技术（technological）和社会(socail)政治环境：主要包括一个国家的社会制度，执政党的性质，政府的方针，政策，法令，关键性指标:政治体制，经济体制，财政政策，税收政策，产业政策，投资政策，专利数量，国防开支水平，政府补贴水平，民众对政治的参与度...

原创 数据分析的基本思路与常用指标

数据分析的基本思路明确分析目的和思路做任何事情都要有明确的目的，目的在我们完成一件事情的过程中起到指导的作用，一切以解决问题为中心当分析目的明确后，我们就要梳理分析思路，并搭建分析框架，把分析目的分解为若干个不同的分析要点，也就是如何开展数据分析，就能够使分析 结构化和体系化结构体系化的方法营销方面的理论模型有4p，用户使用行为，STP理论，SWOT，管理方面的理论模型有PEST，5...

原创 数据分析方法论和数据分析的方法

数据分析方法论就相当于衣服的设计图纸，数据分析的方法就相当于制作一个完整的衣服我们需要使用剪刀裁剪，使用缝纫机缝纫，使用熨斗去熨衣服

原创 数据分析入门

数据分析的种类描述性数据分析：属于初级数据分析，常见的分析方法有对比分析法，平均分析法，交叉分析法探索性数据分析和验证性数据分析：属于高级数据数据分析，常见的分析方法有相关分析，因子分析，回归分析，这部分就是人工智能的线性回归呀，等一些数据分析在公司的...

原创 springBoot的事务管理机制

什么是事务：数据库事务是指作为单个逻辑工作单元执行的一系列操作，要么完全执行，要么全部不执行，事务处理可以确保除非事务性单元内的所有操作都成功完成，否则不会永久更新面向数据的资源。一个逻辑工作单元要成为事务，必须满足所谓的 ACID（原子性、一致性、隔离性和持久性）属性，事务是数据库运行中的逻辑工作单位，由数据库中的事务管理子系统负责事务的处理。springBoot事务管理机制 sp...

原创 pypi是什么怎么用

PyPI(Python Package Index)是python官方的第三方库的仓库，所有人都可以下载第三方库或上传自己开发的库到PyPI。PyPI推荐使用pip包管理器来下载第三方库。https://github.com/yanmuyuan/python/tree/master/factorial学习PyPi时候自己做的例子，记录一下...

原创 hive错误

执行后mr报的错误如下FATAL ExecReducer: java.lang.UnsupportedOperationException: Currently the writer can only accept BytesRefArrayWritableat org.apache.hadoop.hive.ql.io.RCFile$Writer.append(RCFile.java:88...

原创 PyTorch的安装

1.Windows下安装Pytorch，这里使用Anaconda安装,一直点击下一步然后可以去我的电脑中查看path到此安装成功2.打开 Anacoda Navigator启动成功后可以看到3.安装PyTorch&torchvision打开https://pytorch.org/get-started/locally/找到符合自己系统的版本，使用conda方...

原创 企业系统规划方法（BSP）

BSP方法是企业战略数据规划方法和信息工程方法的基础，也就是说，后两种方法是在BSP方法的基础上发展起来的，因此，了解并掌握BSP方法对于全面掌握信息系统开发方法是有帮助的，BSP方法的目标是提供一个信息系统规划，用以支持企业短期和长期的信息需求。信息系统是一个企业的有机组成部分，并对企业的总体有效性起到关键作用，一定要支持组织的企业需求并直接影响其目标，因此规划过程必须是企业战略转化的过程，信息...

原创 Hive的MapJoin机制 hive.auto.convert.join

什么是MapJoin?MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。MapJoin的原理：即在map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的M...

原创 综合布线六大子系统

原创 搞笑题

计算机知识没有的，居然用汽车送，软考还是挺都比的写一个网络的技术点 三层模型主要将网络划分为核心层，汇聚层和接入层，每一层都有着特定的作用：核心层提供不同区域或者下层的高速连接和最优传送路径；汇聚层将网络业务连接到接入层，并且实施与安全，流量负载和路由相关的策略；接入层为局域网...

原创 软件架构风格

架构设计的一个核心问题是能否达到架构级的软件复用架构风格反映了领域中众多系统所共有的结构和语义特性，并指导如何将各个构件有效地组织成一个完整的系统架构风格定义了用于描述系统的术语和一组指导构建系统的规则数据流风格：批处理序列，管道-过滤器调用/返回风格：主程序/子程序，面向对象，层次结构独立构件风格：进程通信，事件驱动系统（隐式调用）虚拟机风格：解释器，基于规则的系统仓...

原创 SQL语言

结构化查询语言是关系数据库的标准语言，它是集数据定义语言（DDL），数据操纵语言（DML）和数据控制功能（授权，完整性规则和事物控制语句）于一体的数据库语言数据库定义语言SQL的DDL主要包括SQL模式，基本表及视图的定义和撤销的操作。数据仓库的开发与实施根据软件工程思想及数据仓库系统实施方法学，可以将数据仓库的开发，实施分为以下几个步骤：（1）业务需求分析 ...