2 佑熙

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 11w+

(3)Flume的具体配置

2)Flume的具体配置如下:(1)在CM管理页面hadoop102上flume的配置中找到代理名称改为a1a1102 103a1.sources=r1a1.channels=c1 c2a1.sinks=k1 k2configure sourcea1.sources.r1.type = TAILDIRa1.sources.r1.positionFile = /opt/module...

2020-04-09 16:35:19

(1)cdh

Hadoop安装文档CentOS系统配置centos7关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service关闭selinuxsetenforce 0vim /etc/selinux/configSELINUX=disabledcentos7配置主机名临时修改主机名hostname ma...

2020-04-09 16:21:02

9(19)9.5 拉链表制作过程

9.5 拉链表制作过程9.5.1 步骤0:初始化拉链表(首次独立执行)1)生成10条原始订单数据CALL init_data(‘2019-02-13’,10,5,10,TRUE);[atguigu@hadoop102 bin]$ sqoop_import.sh all 2019-02-13[atguigu@hadoop102 bin]$ ods_db.sh 2019-02-13[atg...

2020-04-09 15:51:09

9(16)GMV指标获取的全调度流程16

8.2GMV指标获取的全调度流程1)生成数据CALL init_data(‘2019-02-12’,300,200,300,FALSE);2)编写Azkaban程序运行job(1)import.job文件type=commanddo_date=${dt}command=/home/hadoop/bin/sqoop_import.sh all dodate(2)ods.job文件typ...

2020-04-09 15:39:39

9(15)Azkaban调度器15

第8章 Azkaban调度器8.1 Azkaban安装azkaban-executor-server-2.5.0.tar.gzazkaban-sql-script-2.5.0.tar.gzazkaban-web-server-2.5.0.tar.gz2.2 安装Azkaban在/opt/module/目录下创建azkaban目录[atguigu@hadoop102 module]$...

2020-04-09 15:39:00

9(14)7.3Sqoop导出脚本14

7.3Sqoop导出脚本1)编写Sqoop导出脚本在/home/atguigu/bin目录下创建脚本sqoop_export.sh[atguigu@hadoop102 bin]$ vim sqoop_export.sh在脚本中填写如下内容#!/bin/bashdb_name=gmallexport_data() {/opt/module/sqoop/bin/sqoop export...

2020-04-09 15:38:18

9(13)数据可视化13

第7章数据可视化7.1在MySQL中创建表7.1.1每日活跃统计1)在MySQL中创建ads_uv_count表DROP TABLE IF EXISTS ads_uv_count;CREATE TABLE ads_uv_count (dt varchar(255) DEFAULT NULL COMMENT ‘统计日期’,day_count bigint(200) DEFAULT N...

2020-04-09 15:35:47

9(12)6.3 ADS层12

6.3 ADS层6.3.1 建表语句hive (gmall)>drop table ads_sale_tm_category1_stat_mn;create external table ads_sale_tm_category1_stat_mn(tm_id string comment ‘品牌id’,category1_id string comment '1级品类id ',...

2020-04-09 15:34:58

9(11)第6章需求三:品牌复购率11

第6章需求三:品牌复购率6.2 DWS层6.2.1 用户购买商品明细表(宽表)hive (gmall)>drop table if exists dws_sale_detail_daycount;create external table dws_sale_detail_daycount( user_id string comment ‘用户 id’,sku_id string...

2020-04-09 15:34:15

9(10)第5章需求二:转化率及漏斗分析10

第5章需求二:转化率及漏斗分析5.2ADS层之新增用户占日活跃用户比率5.2.1 建表语句hive (gmall)>drop table if exists ads_user_convert_day;create external table ads_user_convert_day(dt string COMMENT ‘统计日期’,uv_m_count bigint COM...

2020-04-09 15:31:51

(9)第4章需求一:GMV成交总额 4.1 ADS层9

第4章需求一:GMV成交总额4.1 ADS层4.1.2建表语句hive (gmall)>drop table if exists ads_gmv_sum_day;create external table ads_gmv_sum_day(dt string COMMENT ‘统计日期’,gmv_count bigint COMMENT ‘当日gmv订单个数’,gmv_amou...

2020-04-09 15:30:40

(8)用户行为数据宽表导入脚本8

3.5.3用户行为数据宽表导入脚本1)在/home/atguigu/bin目录下创建脚本dws_db_wide.sh[atguigu@hadoop102 bin]$ vim dws_db_wide.sh在脚本中填写如下内容#!/bin/bash定义变量方便修改APP=gmallhive=/opt/module/hive/bin/hive如果是输入的日期按照取输入日期;如果没输入日期...

2020-04-09 15:13:20

(7)3.5DWS层之用户行为宽表7

3.5DWS层之用户行为宽表3.5.1 创建用户行为宽表hive (gmall)>drop table if exists dws_user_action;create external table dws_user_action(user_id string comment ‘用户 id’,order_count bigint co...

2020-04-09 15:11:18

(6)3.4.6DWD层数据导入脚本6

3.4.6DWD层数据导入脚本1)在/home/atguigu/bin目录下创建脚本dwd_db.sh[atguigu@hadoop102 bin]$ vim dwd_db.sh在脚本中填写如下内容#!/bin/bash定义变量方便修改APP=gmallhive=/opt/module/hive/bin/hive如果是输入的日期按照取输入日期;如果没输入日期取当前时间的前一天if...

2020-04-09 15:10:29

(5)3.4DWD层5

3.4DWD层对ODS层数据进行判空过滤。对商品分类表进行维度退化(降维)。3.4.1 创建订单表hive (gmall)>drop table if exists dwd_order_info;create external table dwd_order_info (id string COMMENT ‘’,total_amount decimal(10,2) COMMEN...

2020-04-09 15:09:50

(4)3.3.9ODS层数据导入脚本4

3.3.9ODS层数据导入脚本1)在/home/atguigu/bin目录下创建脚本ods_db.sh[atguigu@hadoop102 bin]$ vim ods_db.sh在脚本中填写如下内容#!/bin/bashAPP=gmallhive=/opt/module/hive/bin/hive如果是输入的日期按照取输入日期;如果没输入日期取当前时间的前一天if [ -n “$1...

2020-04-09 15:09:06

(3)ODS层3

3.3ODS层完全仿照业务数据库中的表字段,一模一样的创建ODS层对应表。3.3.1创建订单表3.3.1创建订单表hive (gmall)>drop table if exists ods_order_info;create external table ods_order_info (id string COMMENT ‘订单编号’,total_amount decimal...

2020-04-09 15:08:20

(2.1)sqoop安装2.1

全量导入例如:bin/sqoop import \ (输入命令)–connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \ (指定连接jdbc端口和数据库名称)–username root \ (数据库用户名)–password root123 \ (密码 若不适用明文指定数据库密码 则可以用-P)–table user \ (指定数...

2020-04-09 15:07:18

(2)Sqoop安装2.0

第3章 Sqoop安装3.1 下载并解压下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中解压sqoop安装包到指定目录,如:$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.g...

2020-04-09 15:06:33

(1)数仓搭建1

第3章数仓搭建3.0配置Hadoop支持Snappy压缩1)将编译后支持Snappy压缩的Hadoop jar包解压缩,并将lib/native目录中所有文件上传到hadoop102的/opt/module/hadoop-2.7.2/lib/native目录,并分发到hadoop103 hadoop104。2)重新启动Hadoop。3)检查支持的压缩方式[atguigu@hadoop10...

2020-04-09 15:05:50

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv3
    阅读者勋章Lv3
    授予在CSDN APP累计阅读博文达到30天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享宗师
    分享宗师
    成功上传21个资源即可获取