10 弹指神通

尚未进行身份认证

我要认证

苟日新,日日新,又日新。

等级
TA的排名 24w+

Hydra

这里写目录标题一级目录二级目录三级目录Hydra介绍Hydra特性hydra安装hydra基本使用一级目录二级目录三级目录Hydra介绍  Hydra是一个用来动态创建配置的python开源框架,使做研究和复杂的应用更便利,配置信息可以通过配置文件或者运行参数来覆盖。Hydra的名字来源于其可以运行多个相似任务,就像Hydra(九头色)有多个头一样。Hydra特性方便组合的多源层次...

2020-05-04 01:20:58

数据治理平台建设过程及部分术语解释

大数据治理平台建设过程(引用)一、数据治理架构  分为三个层次,分别为战略与治理保障、大数据管理和大数据应用与服务,其中战略与治理保障包括,数据战略规划与评估,数据治理组织与职责、数据制度与管理流程;大数据管理包括数据标准管理、架构与模型管理、质量管理、生存周期管理以及安全管理;大数据应用与服务包括,数据分析、开放共享以及数据服务。该架构依照国标数据管理能力成熟度模型设计。二、数据质量问题的...

2019-09-10 10:20:51

浅谈数据仓库建设中的数据建模方法

原文:https://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0803zhousb/   所谓水无定势,兵无常法。不同的行业,有不同行业的特点,因此,从业务角度看,其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR,这两家公司的除了能够提供较为强大的数据仓库平台之外,也有各自的针对...

2018-03-29 17:44:56

Spark:Master High Availability(HA)高可用配置的2种实现

Spark:Master High Availability(HA)高可用配置的2种实现Spark Standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一样,存在着Master单点故障的问题。如何解决这个单点故障的问题,Spark提供了两种方案:基于文件系统的单点恢复(Single-Node Recovery with

2017-05-10 16:59:58

Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群

1.安装环境说明安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.132.操作系统环境准备2.1 配置SSH免密码登录主节点里root用户登录执行如下步骤ssh-keygencd ~/.ssh/cat id_rsa.pub >>authorized_keyschmod ~/.sshchmod ~/.ssh/authoriz

2017-04-17 21:53:31

转一个牛人的感悟:ETL的思考

做数据仓库系统,ETL是关键的一环。说大了,ETL是数据整合解决方案,说小了,就是倒数据的工具。回忆一下工作这么些年来,处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量,使用access、DTS或是自己编个小程序搞定。可?窃谑莶挚庀低持校珽TL上升到了一定的理论高度,和原来小打小闹的工具使用不同了。究竟什么不同,从名字上就可以看到,人家已经将倒数

2014-08-10 20:01:18

对于缓慢变化维的历史数据的处理

在做数据仓库的时候有一个备件维度,该维度由两张表构成。一张是

2014-05-20 10:56:15

incremental load

Define Parameter variable:          Mappings -> Parameters & Variables             Lets say ($$mv_PreviousUpdate - Variable - date/time - - - Max - False)             Initial Val

2014-02-28 15:03:08

【转】BIEE RPD建模的20条黄金法则

虽然是烂熟于网络的帖子,还是转了一份物理层1,在物理层总是使用Foreign join,不要用complex join2,当数据模型是星型时,为物理表建别名(以Dim_,Fact_或者Fact_Agg作为前缀)3,在可能的情况下,配置你的连接池使用本地驱动来连接物理数据库。例如,使用OCI而不是ODBC来连接Oracle数据库。业

2014-01-14 16:06:16

【转】EAM的构成及特点

EAM是一个集成的设备维护系统,EAM基本成分有以下一些功能:设备资产&技术管理:建立设备信息库,实现设备前期的选型、采购、安装测试、转固;设备转固后的移装、封存、启封、闲置、租赁、转让、报废,设备运行过程中的技术状态、维护、保养、润滑情况记录。设备文档管理:设备相关档案的登录、整理以及与设备的挂接。设备缺陷&事故管理:设备缺陷报告、跟踪、统计,设备紧急事故处理。预防性维修:以可靠性技术为

2013-12-27 11:16:13

如何构建数据仓库

数据仓库是一个面向主题的、集成的、随时间变化的,但信息本身相对稳定的数据组合,它为管理决策过程提供信息支持。这些特点决定了数据仓库的系统规划与设计不能采用同开发传统的OLTP数据库一样的规划和设计方法。    数据仓库的规划主要产生建设数据仓库的策略规划,确定建立数据仓库的长期计划,并为每一建设阶段设定目标、范围和验证标准。    数据仓库的策略规划包括:   

2013-12-25 16:43:47

EAM在发电企业的应用

转自:http://www.5jjdw.com/htmlcache/news/2011-12-04/101221.html  熟悉EAM业务系统前言电力体制改革的不断深化和推进,要求建立公平有序的电力市场竞争环境,发电企业面临着前所未有的竞争态势,所以,发电企业对内要降低生产运营成本,在安全生产的前提下求得最大的经济效益,在成本领先的战略基础上进行竞争。同时,由于发电企业是资产密集

2013-12-22 11:46:17

ESSBASE与BIEE的集成

Hyperion Essbase is MOLAP where as OBIEE is ROLAP- MOLAP as we store the cube data, analysis is much faster than ROLAP.Many users work with Essbase data using as their interface an add-in for Micr

2013-12-19 19:06:34

Essbase学习笔记

Essbase Classic Edition包括以下组件:服务器端Essbase Analytic Services:Essbase 的核心引擎和计算内核;Essbase Administration Services:Essbase 系统管理员界面,用于构建Essbase 数据模型(Outline)、装载和计算数据,并用于数据库调优;同时包括MaxL 和EssCmd 脚本工具,

2013-12-16 15:56:20

开发人员一定要收藏的网站

http://www.gotapi.com/ 语言:英语 简介:HTML,CSS,XPATH,XSL,JAVASCRIPT等API的查询网站。http://www.w3schools.com/ 语言:英语 简介:W3C制定的标准诸如XML,HTML,XSL等等的在线学习教程。http://www.xml.org.cn/ 语言:中文 简介:可以说是XML的中国官方网吧

2013-11-19 22:51:49

关于Informatica的使用(转载)

转自http://hexm008.blog.163.com/blog/static/1647460802010112354151766/ 1. INFORMATICA CLIENT的使用1.1       RepositoryManager 的使用1.1.1 创建Repository。前提:a. 在ODBC数据源管理器中新建一个数据源连接至你要创建Reposit

2013-11-09 20:00:08

关于oracle数据库update的一点理解

在数据仓库项目之中,有表 工单表(资产代码,系统代码,位置代码,功能位置代码),物体关系表(资产代码,系统代码,位置代码,功能位置代码),其中,物体关系表是通过直接导入的方式从现有的数据库中导入的,该表维护着所有资产、位置等等一切物体之间的关系,也就是说其中的大部分字段都是有值的,而工单表是数据仓库项目的事实表。需要从源库的数据表经过ETL将数据转换得到。现在我的工作是对工单表进行ET

2013-10-24 21:10:35
勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。