- 博客(6)
- 收藏
- 关注
RSS订阅原创 Spark MLlib应用
Spark MLlib应用实验目的深入理解和掌握Spark MLlib的操作方法；理解Spark MLlib编程解决实际问题的方法。实验要求掌握基于Spark MLlib的Scala编程环境配置；掌握Spark MLlib的操作编程方法。实验内容参考实验四创建一个支持Spark SQL的项目在Maven中配置Spark MLlib编程环境，pom.xml中添加：<dependency> <groupId>org.apache.spark</group
2021-01-14 20:49:19
906
原创 Spark Streaming应用
Spark Streaming应用实验目的深入理解和掌握Spark Stream中DStream无状态操作的方法；理解Spark Stream编程解决实际问题的方法。实验要求掌握基于Spark Stream的Scala和Spark SQL编程环境配置；掌握Spark Stream中DStream无状态操作编程方法。实验内容参考实验二创建一个Spark项目在Maven中配置Spark Streaming编程环境，pom.xml中添加：<dependency> <g
2021-01-14 20:13:34
410
原创 Spark SQL应用
Spark SQL应用实验目的深入理解和掌握DataFrame各种常见操作和编程方法；掌握使用Spark SQL编程解决实际问题的方法。实验要求掌握基于Maven的Scala和Spark SQL编程环境配置；掌握DataFrame查询方法。实验内容将实验二中的Online Retail.csv上传至HDFS在Maven中配置Spark SQL编程环境，pom.xml中添加：<dependency> <groupId>org.apache.spark<
2021-01-14 19:48:01
662
原创 RDD综合应用
RDD综合应用实验目的深入理解和掌握RDD各种常见操作和编程方法；掌握使用RDD编程解决实际问题的方法；掌握RDD分区映射编程方法；掌握RDD算法优化方法。实验要求掌握基于Maven的Scala和Spark Core编程环境配置；掌握Scala容器方法编程；掌握RDD数据分区；掌握RDD算法优化方法。实验内容配置Scala和Spark Core编程环境将文件TestHTML.txt上传至HDFS文件TestHTML.txt中每一行为一个HTML网页，原本的HTML中原本的\r\n
2021-01-14 13:16:49
728
1
原创 SCALA RDD编程基础
SCALA RDD编程基础实验目的熟悉Scala语法和函数式编程方法；掌握Scala和Spark Core编程环境配置；掌握常用Scala容器方法；掌握基于Scala的Spark RDD编程。实验内容配置Scala和Spark Core编程环境将文件Online Retail.txt上传至HDFS编写代码，实现以下功能：(1) 将Online Retail.txt按行读取至RDD(2) 统计各咖啡商品的销售额，按金额降序排列后保存(3) 统计各顾客的总消费金额，按金额降序排列后保存(4
2021-01-14 10:56:58
1517
原创 SPARK集群安装配置
SPARK集群安装配置实验目的熟悉Linux操作系统基本操作和Spark平台安装配置方法，理解Spark的提交模式和运行方法。实验内容实验过程参考文档《Spark集群环境配置》1.配置至少3台虚拟机的集群2.安装配置Spark Standalone集群3.基于Hadoop HDFS和YARN集群配置Spark4.在Spark集群中安装Hadoop并配置5.分别以Local、Standalone和YARN三种提交模式启动Spark Shell6.在上述三种提交模式下测试Spark命令：执行
2021-01-13 23:20:46
453
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人