- 博客(10)
- 资源 (24)
- 收藏
- 关注
RSS订阅原创 git上传本地文件到gitHub
亲测有效git远程仓库已经建好了，本地文件已经存在了，现在要将本地代码推到git远程仓库保存参考文章https://www.cnblogs.com/zhangsanfeng/p/10163968.htmlhttps://blog.csdn.net/qq_34446663/article/details/80468752git push -u origin master -f 强制pu...
2019-09-20 13:35:51
127
原创 scala疑惑(一) ListSet添加元素
object Test extends Logging { def main(args: Array[String]): Unit = { val a=scala.collection.immutable.ListSet(21,100,23) val b=a+4 b.foreach(println) }}这里的a+4调用了scala.collecti...
2019-09-12 19:18:11
939
原创 估算the JVM heap中object占用内存大小
org.apache.spark.util.collection.SizeTracker#takeSamplespark在shuffle的read和write阶段,都涉及到采样估算集合占用内存大小/** * Take a new sample of the current collection's size. */ private def takeSample(): Unit...
2019-09-11 16:36:42
254
原创 spark sql 自定义udf函数
import org.apache.spark.sql.functions._def compare(value_missing: String, value: String): Boolean = { var flag = false if (value_missing.length == value.length) { flag = value_missing....
2019-08-29 16:58:46
471
原创 spark源码剖析（二，ShuffleReader）
版本信息spark version 2.3.3jdk 1.8idea 2019MacBook Prospark的shuffle过程连接了job的前后两个stage除了第一个stage的数据是读取hdfs,hbase,hive等等之外其他的stage的数据都要利用ShuffleReader抓取数据ShuffleReaderShuffleReader是一个trait, 从注释看,...
2019-08-28 23:22:27
159
原创 case class的序-----Ordering和Ordered
版本信息scala 2.11.8jdk 1.8idea 2019MacBook ProOrdering在scala里要自定义一个类的话,一般都是case class,例如case class Student(name:String, score:Int)如果我们有了一个Student的数组val students = Array(Student("bob", 80), St...
2019-08-27 17:05:12
196
原创 spark中shuffle算子汇总
版本信息spark version 2.3.3jdk 1.8idea 2019MacBook Pro我们先在idea中搜素一下ShuffleDependency可以看到,生成的依赖是ShuffleDependency的RDD有CoGroupedRDDShuffledRDDSubtractedRDD然后我们分别看下什么算子产生了这些RDDShuffledRDD我们...
2019-08-26 16:34:37
774
原创 spark源码剖析（一，job调用流程）
最近领导让做一次关于spark的分享，于是专门把spark的流程看了一边，做一下记录，也是为了练练markdown，仅此而已。版本信息spark version 2.3.3jdk 1.8idea 2019MacBook Pro##从RDD开始在spark中，一个action算子触发真正的计算，我们看下RDD上的count/** * Return the number o...
2019-08-25 21:44:31
221
原创 文档模板Latex
\documentclass[UTF8,10pt,a4paper]{article}\usepackage{ctex}\usepackage{amsmath}\usepackage{amsfonts}\usepackage{amssymb}\usepackage{graphicx}\usepackage{bm} \usepackage{pdfpages}\author{wsy}\
2017-07-15 21:26:13
451
原创 报告模板LaTex
% !TeX spellcheck = en_GB% WangSheying于2015/11/2整理，TJU北洋园校区% TeXLive2015+TeXstudio个人推荐，可在线升级usepackage，比较方便%***************************************************************************************
2017-07-15 21:25:14
1556
Data Structures and Algorithms with Scala.pdf
2019-07-17
Graph_Databases_2e_Neo4j.mobi
2019-07-17
Graph_Databases_2e_Neo4j.epub
2019-07-17
Graph_Algorithms_Neo4j.mobi
2019-07-17
hadoop完全分布式高可用配置文件
2017-09-01
hadoop-2.8.1完全分布式搭建脚本和配置文件
2017-08-24
Kernel Methods for Pattern Analysis
2016-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人