弹指神通-CSDN博客

原创 Hydra

这里写目录标题一级目录二级目录三级目录Hydra介绍Hydra特性hydra安装hydra基本使用一级目录二级目录三级目录Hydra介绍 Hydra是一个用来动态创建配置的python开源框架，使做研究和复杂的应用更便利，配置信息可以通过配置文件或者运行参数来覆盖。Hydra的名字来源于其可以运行多个相似任务，就像Hydra（九头色）有多个头一样。Hydra特性方便组合的多源层次...

2020-05-04 01:20:58 11299 2

转载数据治理平台建设过程及部分术语解释

大数据治理平台建设过程（引用）一、数据治理架构分为三个层次，分别为战略与治理保障、大数据管理和大数据应用与服务，其中战略与治理保障包括，数据战略规划与评估，数据治理组织与职责、数据制度与管理流程；大数据管理包括数据标准管理、架构与模型管理、质量管理、生存周期管理以及安全管理；大数据应用与服务包括，数据分析、开放共享以及数据服务。该架构依照国标数据管理能力成熟度模型设计。二、数据质量问题的...

2019-09-10 10:20:51 1810

原文：https://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0803zhousb/ 所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对...

2018-03-29 17:44:56 575

转载 Spark:Master High Availability（HA）高可用配置的2种实现

Spark:Master High Availability（HA）高可用配置的2种实现Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案：基于文件系统的单点恢复(Single-Node Recovery with

2017-05-10 16:59:58 643

转载 Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群

1.安装环境说明安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.132.操作系统环境准备2.1 配置SSH免密码登录主节点里root用户登录执行如下步骤ssh-keygencd ~/.ssh/cat id_rsa.pub >>authorized_keyschmod ~/.sshchmod ~/.ssh/authoriz

2017-04-17 21:53:31 417

转载转一个牛人的感悟：ETL的思考

做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可?窃谑莶挚庀低持校珽TL上升到了一定的理论高度，和原来小打小闹的工具使用不同了。究竟什么不同，从名字上就可以看到，人家已经将倒数

2014-08-10 20:01:18 2967 1

原创对于缓慢变化维的历史数据的处理

在做数据仓库的时候有一个备件维度，该维度由两张表构成。一张是

2014-05-20 10:56:15 2151 1

转载 incremental load

Define Parameter variable: Mappings -> Parameters & Variables Lets say ($$mv_PreviousUpdate - Variable - date/time - - - Max - False) Initial Val

2014-02-28 15:03:08 863

转载【转】BIEE RPD建模的20条黄金法则

虽然是烂熟于网络的帖子，还是转了一份物理层1，在物理层总是使用Foreign join，不要用complex join2，当数据模型是星型时，为物理表建别名(以Dim_,Fact_或者Fact_Agg作为前缀)3，在可能的情况下，配置你的连接池使用本地驱动来连接物理数据库。例如，使用OCI而不是ODBC来连接Oracle数据库。业

2014-01-14 16:06:16 1550

转载【转】EAM的构成及特点

EAM是一个集成的设备维护系统，EAM基本成分有以下一些功能：设备资产&技术管理：建立设备信息库，实现设备前期的选型、采购、安装测试、转固；设备转固后的移装、封存、启封、闲置、租赁、转让、报废，设备运行过程中的技术状态、维护、保养、润滑情况记录。设备文档管理：设备相关档案的登录、整理以及与设备的挂接。设备缺陷&事故管理：设备缺陷报告、跟踪、统计，设备紧急事故处理。预防性维修：以可靠性技术为

2013-12-27 11:16:13 972

转载如何构建数据仓库

数据仓库是一个面向主题的、集成的、随时间变化的，但信息本身相对稳定的数据组合，它为管理决策过程提供信息支持。这些特点决定了数据仓库的系统规划与设计不能采用同开发传统的OLTP数据库一样的规划和设计方法。数据仓库的规划主要产生建设数据仓库的策略规划，确定建立数据仓库的长期计划，并为每一建设阶段设定目标、范围和验证标准。数据仓库的策略规划包括：

2013-12-25 16:43:47 925

转载 EAM在发电企业的应用

转自：http://www.5jjdw.com/htmlcache/news/2011-12-04/101221.html 熟悉EAM业务系统前言电力体制改革的不断深化和推进，要求建立公平有序的电力市场竞争环境，发电企业面临着前所未有的竞争态势，所以，发电企业对内要降低生产运营成本，在安全生产的前提下求得最大的经济效益，在成本领先的战略基础上进行竞争。同时，由于发电企业是资产密集

2013-12-22 11:46:17 1477

转载 ESSBASE与BIEE的集成

Hyperion Essbase is MOLAP where as OBIEE is ROLAP- MOLAP as we store the cube data, analysis is much faster than ROLAP.Many users work with Essbase data using as their interface an add-in for Micr

2013-12-19 19:06:34 1164

转载 Essbase学习笔记

Essbase Classic Edition包括以下组件：服务器端Essbase Analytic Services：Essbase 的核心引擎和计算内核；Essbase Administration Services：Essbase 系统管理员界面，用于构建Essbase 数据模型（Outline）、装载和计算数据，并用于数据库调优;同时包括MaxL 和EssCmd 脚本工具，

2013-12-16 15:56:20 3339

转载开发人员一定要收藏的网站

http://www.gotapi.com/ 语言：英语简介：HTML,CSS,XPATH,XSL,JAVASCRIPT等API的查询网站。http://www.w3schools.com/ 语言：英语简介：W3C制定的标准诸如XML,HTML,XSL等等的在线学习教程。http://www.xml.org.cn/ 语言：中文简介：可以说是XML的中国官方网吧

2013-11-19 22:51:49 772

转载关于Informatica的使用（转载）

转自http://hexm008.blog.163.com/blog/static/1647460802010112354151766/ 1. INFORMATICA CLIENT的使用1.1 RepositoryManager 的使用1.1.1 创建Repository。前提：a. 在ODBC数据源管理器中新建一个数据源连接至你要创建Reposit

2013-11-09 20:00:08 5367

原创关于oracle数据库update的一点理解

在数据仓库项目之中，有表工单表（资产代码，系统代码，位置代码，功能位置代码），物体关系表（资产代码，系统代码，位置代码，功能位置代码），其中，物体关系表是通过直接导入的方式从现有的数据库中导入的，该表维护着所有资产、位置等等一切物体之间的关系，也就是说其中的大部分字段都是有值的，而工单表是数据仓库项目的事实表。需要从源库的数据表经过ETL将数据转换得到。现在我的工作是对工单表进行ET

2013-10-24 21:10:35 787

PDF拆分（python脚本）

使用PYTHON将PDF的指定页拆分成为一个新的PDF，支持选择PDF文件，输入起始页码和终止页码。

2019-05-08

中图分类第五版代码及上下级关系

中图分类第五版，包含完整的上下级关系，第一级没在里面，可以自己添加，需要的同学自取，爬了好几天才爬下来的。

2019-04-11

spark api chm java+scala

spark 的API chm

2017-08-14

hadoop backup and recovery solutions

hadoop备份和恢复的方案，找了好久才下到，有需要的同学自己拿

2017-05-02

MapReduce Hadoop

在现实中如何设计mapreduce算法，也有常用的操作的mapreduce实现

2017-03-30

Apache Tez

基于YARN来将数据流构建为一个DAG，能够更好地优化程序的执行过程。应该比基于MapReduce引擎的程序效率和通用性都提高了。

2017-03-30

Apache Pig编程

Pig用来处理hadoop上非结构化的数据，做ETL什么的还是不错的。新版的Pig是基于tez来构建的。

2017-03-30

Hadoop YARN

Hadoop2的资源管理系统。tez、SAPRK都是基于YARN来构建的。

2017-03-30

Apache Oozie

Oozie来调度hadoop上的任务，包括shell、java程序、mapreduce程序、sqoop、pig、hive、spark

2017-03-30

Hadoop核心技术第四版（英文）

Hadoop核心技术第四版，更新了Hadoop2的一些组件，值得一读。

2017-03-30

SQL PERFORMANCE TUNING

addison wesiley出版的sql performance tuning英文版，专注于SQL语言本身的性能调优，尽可能的跨数据库。

2014-12-26

HP Vertica Essentials

Vertica是HP收购的一个列式数据库，在数据分析、挖掘方面很有潜力，特别是对列式数据分析比传统的关系型数据库更有优势。本书是对Vertica的概念、管理等等有比较详细的讲解。（英文版）

2014-11-10

Bash Cookbook

Bash是很多Unix/Linux的默认shell，所以通用性很高。Cookbook就是手把手教的书，比较适合入门。但是是英文版的哟，需要的同学看清楚咯。

2014-11-10

SQL语言艺术

SQL语言艺术一书是对SQL语言中一些实用、重要的点进行归纳、总结，适合对SQL有一定的认识和应用的人，不适合SQL入门的同学。

2014-10-31

head first sql

head first sql 中文版，适合入门SQL的同学，以生动、形象的方式让我们入门SQL，就像和人谈话一样；适合没什么SQL基础的同学；所讲的内容由简入深，现在读来也有很多收获

2014-10-28

深入理解Linux内核（扫描版）

深入理解Linux内核，扫描版，第三版,希望对Linux有兴趣的同学一起学习。

2014-10-14

essbase培训资料

essbase中文的比较完整的培训资料，PPT，带有很多操作的图片，比较方便。分享给那些正在学习Essbase的同学！加油

2013-11-02

essbase数据库管理员手册（英文版）

essbase的数据库管理员手册英文版，对创建维度、装载数据基本的创建CUBE的步骤讲解比较详细。我看了很多其他的资料，还是这本最好，希望对跟我一样学习ESSBASE的同学有所帮助。

2013-10-31

oracle essbase 11 development cookbook

学习ESSBASE的资料，对essbase studio和EAS,EIS都有讲到，我目前只看到studio部分，感觉还不错。主要是现在关于essbase的这种书比较少，所以希望对跟我一样在学习essbase的同学有所帮助。 ps.是全英文的哈。

2013-10-14

essbase studio开发操作手册

essbase studio 中文的操作开发手册，适合入门

2013-10-11

BIEE客户端连接到服务器

详细描述了BIEE客户端连接BIEE服务器端对RPD文件进行操作和相关情况。

2013-09-06

BIEE元数据管理

对BIEE中的REPOSITORY进行了描述，对主题的三层：物理层、逻辑层和展示层都有介绍。

2013-08-29

BIEE用户手册

英文版的BIEE用户手册，想学习Analisis，dashboard的同学可以看看。不过是英文的额。

2013-08-29

Informatica中关于FTP的使用

简单介绍了如何在Informatica中使用FTP创建数据源和目标。

2013-08-26

Informatica中引入Excel文件

简单介绍了如何在informatica powercenter中使用EXCEL文件当作source和target。

2013-08-26

informatica组件详解

对informatica powercenter中的每个组件都有很深入和详细的讲解，但是是全英文的额，亲测比较适合初级学习。

2013-08-19

ORACLE BIEE完整培训资料

总共13个例子，包括创建Repository，物理层，逻辑层，表示层等等，每个pdf一个例子，是很全面的入门教程。但是不是很深入哈，只是初级的入门

2013-08-19

可搜索加密方案设计

云存储中可搜索加密方案的研究与设计，硕士研究生毕业论文，重邮

2013-07-08

java计算器

用java写的计算器，可以实现连续运算，共有三个类，编译之后直接可以运行

2013-07-08

可搜索加密

毕业设计的代码，是用Java做的可搜索加密方案的模拟仿真，有服务器与客户端两端，可完成模拟通信，且在云端完成了模拟搜索。

2013-06-15

用DES加密算法加密一个文件或者流

采用CipherInput和CipherOutput实现，不用管理具体的填充等细节，内附例子程序，简单快捷。

2013-05-05

expert one on one java ee development

ron的经典教材，javaee学习必备，spring架构作者的思考路程

2012-10-22

REESSE公钥密码Java实现

用java实现Reesse公钥密码体质可以对TXT文件内的比特数据进行加密

2011-12-26

JAVA简单模拟事件驱动系统

用JAVA简单模拟一个事件驱动系统模拟消息传递

2010-12-22

JAVA实现简单绘图程序

JAVA实现的绘图程序，输入参数，能绘制矩形正方形，圆形椭圆

2010-12-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人