- 博客(7)
- 资源 (17)
- 收藏
- 关注
转载 MaxCompute参数调优
1 背景及目的对于ODPS上的运行时间长的任务来说,针对不同的问题有不同的优化方法(详见其他章节)。但是对于一些特殊场景的任务来说,除了从业务上可以进行优化之外,还需要通过一些辅助的参数设置才能达到比较好的优化效果。因此,ODPS提供了很多性能参数供开发人员使用。2 参数介绍2.1 资源参数ODPS处理一个任务主要分为三个阶段:Map、Reduce、Join。如果处理的数据量比较大...
2019-08-03 18:48:51 3131
转载 阿里巴巴大数据之路——数据模型篇
阿里巴巴大数据之路——数据模型篇一、概述 1.什么是数据模型? 数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。 2.典型数据仓库建模方法论 ER模型 纬度模型(建模四步曲:确定业务流程->确定粒度->确定纬度->确定事实表)二、阿里巴巴数据整合管理体系oneData 1.体系架构...
2019-07-29 16:05:33 776
原创 MapReduce俩种方式实现WordCount的JAVA编程
MapReduce三种方式实现WordCount的JAVA编程1.MapReduce实现(服务器内部运行jar方式)Hadoop版本:hadoop 2.6.5JDK版本:jdk1.7.0_79Zk版本:zookeeper-3.4.6启动环境:三台zookeeper:zkServer.sh start全面启动Hadoop:start-dfs.sh启动YarnH...
2019-03-06 14:13:50 482
原创 Flume基础操作,自定义Sink
Flume基础操作,自定义Sink1. 配置一个flume agent任务目标:source为 exec source,用tailf命令,监控文件任意channel设置为filechannelsink为hdfs sink任务完成步骤创建Flume agent配置文件,配置source、sink、channel。配置source type 为exec,tail -f监...
2019-02-20 17:52:21 3547
原创 Sqoop基础操作练习(一)
Sqoop基础操作练习(一)一. 通过sqoop将mysql数据导入hdfs任务目标:新建一张表插入些许数据阿将这些数据导入到hdfs任务完成步骤创建mysql表作为数据源插入几条数据用于测试Sqoop抽取mysql到hdfssqoop import –connect jdbc:mysql://10.200.65.112:3306/test ...
2019-02-20 17:34:23 382
原创 Spark基础RDD练习(一)
spark_rdd练习1.并行化创建RDD通过并行化生成rddscala> var rdd1 = sc.parallelize(List(123,32,44,55,66,77,88,999))rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at :24查看该RDD的分...
2019-02-19 18:14:51 805 1
原创 Hadoop-HDFS学习理解到安装操作,以及HA高可用部署。
Hadoop HDFS概念分布式存储系统提供高可靠性、高扩展性和高吞吐量的数据存储服务分为三个节点NameNode:主节点,接受客户端读写服务,保存metadate信息,元数据,存储到fsimage文件上,fsimage在Format HDFS时创建,edits对metadate的操作日志,block位置信息不会保存到fsimage上。总结NN俩大功能:1.获取客户端的读写服务 2.存...
2019-01-24 15:47:10 252
SONiX.SN32F7_DFP.1.5.4.pack
2020-11-21
Keil.STM32L552E-EV_BSP.1.0.0.pack
2020-11-21
Keil.STM32L5xx_DFP.1.3.0.pack
2020-11-21
Keil.NUCLEO-L552ZE-Q_BSP.1.1.1.pack
2020-11-21
libsubstr_udf.so.rar
2019-11-25
产业互联网——构建智能+时代数字生态新图景(腾讯).pdf
2019-05-13
elfutils-libelf-devel-0.97.1-3.i386.rpm
2017-10-25
perl-Pod-Simple-3.13-141.el6_7.1.x86_64.rpm
2017-10-25
perl-5.10.1-141.el6_7.1.x86_64.rpm
2017-10-17
perl-libs-5.10.1-141.el6_7.1.x86_64.rpm
2017-10-17
perl-Module-Pluggable-3.90-141.el6_7.1.x86_64.rpm
2017-10-17
perl-Pod-Escapes-1.04-141.el6_7.1.x86_64.rpm
2017-10-16
perl-version-0.77-141.el6_7.1.x86_64.rpm
2017-10-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人