- 博客(14)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 排jar包的依赖冲突的方法
今天排了一天的jar包冲突，头一次做这种操作，刚开始各种蒙，幸运的是总算把问题解决了，记录一下步骤：1、第一步当然是看日志了，看日志报的什么错误，jar包冲突常见的报错是nosumethod，然后会给出具体的方法与具体的类2、确定了冲突的类后，要找到这个类是在哪个包里的了。在idea中command + n可以搜索类，根据日志确定出这个类在哪个包里，这个可能会遇到不同包里重名的类，但是
2017-10-25 19:22:31
745
原创 Maven入门教程（内含实例）
maven介绍 Maven是一个项目管理工具和构建自动化工具，它包含了一个项目对象模型(Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理系统(Dependency Management System)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。
2017-05-28 17:54:58
515
原创 浅析Ordered与Ordering的区别
在scala.math包中，有两个用于实现比较的接口，Ordered与Ordering。实现了Ordered接口的类具备了比较的特性；而实现了Ordering接口的类提供了某种类型用于比较的方法。 Ordered要实现的方法： def compare(that: A): Int Ordering要实现的方法：def compare(x: T, y: T): Int 此外Ordered还提供了一个
2017-02-13 19:30:51
3027
原创 浅析Spark的RangePartitioner
Spark版本推进到2.0，其在shuffle时提供的partitioner主要有两种，HashPartitioner与RangePartitioner。本文主要对RangePartitioner的实现作一简单说明。
2017-02-10 14:42:18
2286
原创 浅析sortByKey算子
一、简介spark中用于排序的算子主要有两个，sortByKey与sortBy，其中sortBy是引用sortByKey来实现的。下面主要对sortByKey算子进行分析，该方法的实现代码如下： def sortByKey(ascending: Boolean = true, numPartitions: Int = self.partitions.length) : RDD[(K, V)] =
2017-02-10 12:55:41
3606
空空如也
SparkStreaming整合Kakfa后，生成DStream里，rdd数量的问题
2016-12-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人