自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(21)
  • 收藏
  • 关注

原创 MaxCompute表操作相关命令

1.4.1 添加分区----为已经存在的分区表新增分区。1.4.2 删除分区----为已存在的分区表删除分区。1.4.4 清空非分区表。1.4.3 清空分区表。

2024-03-29 14:55:06 201

原创 MaxCompute、Hive、MySQL以及Oracle的函数对比

【代码】MaxCompute、Hive、MySQL以及Oracle的函数对比。

2024-03-28 10:14:49 866 1

原创 阿里云实际项目应用01--创建表并写入数据

在对应的目录下创建一个新的odps文件然后敲代码,这里我构建一个eboard_test的文件![在这里插入图片描述](https://img-blog.csdnimg.cn/f5cefac3c8e64cc7b8f53b178b91b244.png运行完成就表明表创建成功。

2024-03-22 10:43:38 271

原创 FlinkSQL在阿里平台的使用

FlinkSQL在阿里平台入门使用

2023-09-15 18:11:57 133 1

原创 Flume采集数据Sink到S3

flume数据落地到S3

2023-09-01 14:18:27 128 1

原创 MySQL列转行

MySQL实现列转行

2023-08-30 13:55:24 849 1

原创 Flink入门

flink基础

2023-08-23 14:54:52 116

原创 hive基础和入门

hive基础和常见数据类型

2023-08-22 14:25:32 32 1

原创 Spark数据倾斜和调优

spark数据倾斜和调优

2023-08-18 15:42:25 283 1

原创 spark Core缓存广播变量

spark缓存和广播变量

2023-08-17 18:30:03 46 1

原创 RDD----常用算子

RDD常用算子

2023-08-17 18:12:13 97 1

原创 Spark入门

Spark简述

2023-08-17 16:41:00 19 1

原创 Sqoop

Sqoop基础

2023-08-17 11:01:39 24 1

原创 Flume

Flume简述和使用

2023-08-16 13:36:44 51 1

原创 02_基于用户点击推荐

基于用户点击推荐

2023-03-02 15:29:40 1196 1

原创 实时推荐项目

flink基于用户实时推荐

2023-03-02 14:48:02 196

原创 MapReduce运行过程

MapReduce是运行在yarn集群上的 主要分resourcemanger和nodemanger两类一个完整的MapReduce程序分为三个部分MRAppMaster 负责整个程序的过程调度及状态协调MapTesk 负责map阶段的整个数据处理流程ReduceTesk 负责reduce阶段的整个数据处理流程MapReduc...

2019-10-10 14:14:41 157

原创 大数据 ------hadoop(HDFS文件写的过程)

1. Client 发起文件上传请求, 通过 RPC 与 NameNode 建立通讯, NameNode 检查目标文件是否已存在, 父目录是否存在, 返回是否可以上传2. Client 请求第一个 block 该传输到哪些 DataNode 服务器上3. NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配, 返回可用的DataNode 的地址如: A, B,...

2019-09-26 21:55:10 389

原创 大数据之--------hadoop存储(HDFS)

Hadoop 的存储系统是 HDFS(Hadoop Distributed File System)分布式文件系统,对外部客户端而言,HDFS 就像一个传统的分级文件系统,可以进行创建、删除、移动或重命名文件或文件夹等操作,与 Linux 文件系统类似。Client客户端文件切片,文件上传的时候,Client对上传的文件进行切片成一个一个block,然后进行存储与namenode交互,获取文...

2019-09-21 20:49:55 248

原创 大数据之--------hadoop(简介)

简介:Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,它可以使用户在不了解分布式底层细节的情況下开发分布式程序,充分利用集群的威力进行高速运算和存储。从其定义就可以发现,它解決了两大问题:大数据存储、大数据分析。也就是 Hadoop 的两大核心:HDFS 和 MapReduce。(1)HDFS(Hadoop Distributed File System)是可扩展、容...

2019-09-21 20:49:02 131

原创 大数据入门-----zookeeper

Shell 编程一般指编写 shell 脚本。1:基本语法:使用 vi 编辑器新建一个文件 hello.sh 1 2 #!/bin/bash echo"Hello World !" 执行方式:方式1:sh hello.sh方式2chmod +x ./hello.sh #使脚本具有执行权限./hell...

2019-09-10 15:05:26 70

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除