- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据ETL简介
1 数据抽取ETL（Extract-Transform-Load）是将数据从来源端经过抽取（extract）、转换（transform）、加载（load）⾄⽬的端的过程。从数据源抽取出所需要的原始数据，经过数据清洗，最终将清洗后的数据加载到数据仓库中去。也称为数据仓库技术。数据抽取是从数据源抽取需要的原始数据，抽取的⽅式多种多样，要根据数据源的特点来确定，通常有如下⼏种数据抽取的⽅式：1、从关系数据抽取数据通常OLTP系统采⽤关系数据库存储业务操作数据，从关系数据库抽取操作型数据是最多⼀种数
2021-11-08 09:13:16
464
原创 安装Presto
将安装包解压缩到/opt/module目录下[hadoop@hadoop1 soft]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module为方便使用，将presto-server-0.196目录名称修改为presto[hadoop@hadoop1 ~]$ mv /opt/module/presto-server-0.196/ /opt/module/presto创建data目录[hadoop@hadoop1 ~]$ mkdir /o.
2021-10-31 20:40:27
97
原创 关于元数据与主数据
企业数据管理的内容和范畴通常包含交易数据、主数据以及元数据。以下主要讨论主数据、元数据的概念及应用。主数据和主数据管理的概念企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。企业主数据可以包括很多方面，除了常见的客户主数据之外，不同行业的客户还可能拥有其他各种类型的主数据，例如：对于电信行业客户而言，电信运营商提供的各种服务可以形成其产品主数据；对于航空业
2021-10-23 19:31:11
270
原创 数据库与数据仓库
1、数据库:是一种逻辑概念，用来存放数据的仓库，通过数据库软件来实现。数据库由很多表组成，表是二维的，一张表里面有很多字段。字段一字排开，对数据就一行一行的写入表中。数据库的表，在于能够用二维表现多维的关系。如：oracle、DB2、MySQL、Sybase、MSSQL Server等。2、数据仓库：是数据库概念的升级。从逻辑上理解，数据库和数据仓库没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析，辅助领导做决策；区别主
2021-10-15 16:45:11
768
原创 python 数据类型
数字数据类型存储数值。它们是不可变的数据类型，这意味着改变数据类型的结果值，需要一个新分配的对象。Python支持四种不同的数值类型：int (有符号整数): 通常被称为只是整数或整数，是正或负整数，不带小数点。long (长整数 ): 或长，是无限大的整数，这样写整数，后面跟着一个大写或小写的L。float (浮点实数值): 或浮点数，表示实数，并写入一个小数点分隔的整数部分和小数部分。浮点数也可以是科学记数法，用e或E表示的功率10 (2.5e2 = 2.5 x 102.
2021-09-27 19:40:23
101
原创 非对称加密和对称加密的优缺点
对称加密算法相比非对称加密算法来说，加解密的效率要高得多。但是缺陷在于对于秘钥的管理上，以及在非安全信道中通讯时，密钥交换的安全性不能保障。所以在实际的网络环境中，会将两者混合使用.例如针对C/S模型，服务端计算出一对秘钥pub/pri。将私钥保密，将公钥公开。客户端请求服务端时，拿到服务端的公钥pub。客户端通过AES计算出一个对称加密的秘钥X。 然后使用pub将X进行加密。客户端将加密后的密文发送给服务端。服务端通过pri解密获得X。然后两边的通讯内容就通过对称密钥X以对
2021-09-17 11:02:17
2048
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人