6 KaiwenYu

尚未进行身份认证

久久为功

等级
TA的排名 17w+

Scala基础(8) 模式匹配(增)

scala中的模式匹配最常用关于match语句中。下面是一个简单的整型值的匹配实例。val colorNum = 1val colorStr = colorNum match{ case 1 => "red" case 2 => "green" case 3 => "yellow" case _ => "Not Allowed"}...

2020-02-20 14:58:21

Scala基础(12)Spark命令参数及独立应用程序

--master这个参数表示当前Spark Shell要连接到哪个master,如果是local[*],就是使用本地模式启动spark-shell,其中中括号内的型号表示需要使用几个CPU核心(core),也就是启动几个线程模拟spark集群。--jars这个参数用于把相关的JAR包添加到CLASSPATH中,如果有多个jar包,可以使用逗号分隔符连接它们。比如,要采用本地模式,在4个...

2020-02-20 14:56:40

Scala基础(11) 运行基本流程及RDD

Spark和Hadoop的比较MapReduce Spark 数据存储结构:磁盘HDFS文件系统的split 使用内存构建弹性分布式数据集RDD,对数据进行运算和cache 编程范式:Map+Reduce DAG:Transformation+Action 计算中间结果写入磁盘,IO及序列化、反序列化代价大 计算中间结果在内存中维护,存取速度比磁盘高几个...

2020-02-19 18:24:05

Scala基础(10) 函数式编程

函数式编程实例import java.io.Fileimport scala.io.Sourceobject WordCount{ def mian(args: Array[String]): Unit{ val dirfile = new File("path to files") val files = dirfile.listFiles()...

2020-02-18 16:20:16

Scala基础(9) 针对集合的操作

列表的遍历val list = List(1,2,3,4,5)for (elem <- list){println(elem)}也可以使用foreach进行遍历val list = List(1,2,3,4,5)list.foreach(elem => println(elem)) // 这是一个匿名函数 (elem:Int) => println(elem)...

2020-02-18 15:56:07

Scala基础(8)函数定义

函数的类型字面量包括整数字面量、浮点数字字面量、布尔型字面量、字符型字面量、字符串字面量和符号字面量、函数字面量和元组字面量。函数字面量:我们可以像定义变量那样去定义一个函数,由此导致的结果就是函数也会和其他变量一样,开始有“值”在函数式编程中,函数的“类型”和“值”也成为两个分开的概念,函数的“值”,就是“函数字面量”按照大家比较熟悉的定义变量的方式,采用Scala语法来定义一个函...

2020-02-18 11:46:02

Scala基础(7) 特质(Trait)

特质的定义特质定义使用关键字traittrait CarId{ var id: String def currentId():Int}上面定义了一个Trait,里面包含一个抽象字段id和抽象方法currentid。注意,抽象方法不需要使用abstract关键字,特质中没有方法体的方法,默认就是抽象方法。trait定义好之后,就可以使用extends或with关键...

2020-02-14 18:08:59

Scala基础(6) 单例对象和伴生对象

单例对象Scala并没有提供Java那样的静态方法或者静态字段,但是,可以采用object关键字实现单例对象,具备和Java静态方法同样的功能。⚠️注意:在Scala中需要对值进行返回可以使用:1. return value;2. 直接写在方法的最后面一行。object Person{ private var lastId = 0 def newPersonId()={...

2020-02-14 17:23:09

Scala基础(5) 构造器

利用主构造器传递参数class Counter(val name:String, val mode:Int){ private var value = 0 def increment(step:Int):Unit={value += step} def current():Int={value} def info():Unit={printf("Nama:%s...

2020-02-14 12:25:35

Scala基础(4) 面向对象编程基础

4.1 类类的定义和创建对象最简单的类的定义形式是:class Counter{ // 这里定义类的字段和方法}可以使用new关键字来创建对象new Counter // 或者new Counter()给类增加字段和方法class Counter{ private var value = 0 def increment():Unit = {v...

2020-02-13 19:13:47

Scala基础(3) 基础语法

3 数据结构3.1 容器(Collection)Scala提供了一套丰富的容器(Collection)包括List、Array、Set和Map等;容器可以分为有序和无序,可变和不可变等不同容器类别。Scala用了三个包来组织容器,分别是scala.collection、scala.collection.mutable(可变容器)和scala.collection.immutable(不...

2020-02-12 19:26:38

Scala基础(2) 基础语法

2. 控制结构2.1 if条件表达式val x = 6if (x>0){ println("Positive Number.")} else{ println("Negative Number.")}2.2 while循环var i = 9while(i > 0){ i -= 1 printf("i is %s\n",i)}...

2020-02-12 13:57:39

Scala基础(1) 基本语法

(来自于Spark编程基础,厦门大学林子雨老师教学视频)1. scala有两种类型变量:其中val是不可变的,在声明时必须被初始化,而且初始化后便不可再赋值;var是可变的声明时候需要进行初始化,其后还可以进行再赋值。2. 在scala中默认存在:import java.lang._ // 默认导入java.lang包里面所有的东西2.1 声名值和变量(如下结果均一致)...

2020-02-11 19:43:08

关于Leetcode的琐碎记录

在应对秋招刷题的过程中,如何在短时间内能够将复习的重点覆盖到互联网大厂会考察到的大部分知识点上,会直接影响到复习的节奏以及避免做些无用功,不在某些极少会考察到的知识点上钻无畏牛角尖。Leetcode官方推荐程序员在面试中需要掌握的算法和数据结构:算法排序算法:快速排序、归并排序、计数排序等 搜索算法:回溯、递归、剪枝技巧 图论:最短路径、最小生成树、网络流建模 动态规划:背包问题、...

2019-07-31 11:25:12

保存高分辨率图像--Matplotlib

使用savefig()保存图像文件plt.savefig('filename.png',dpi=600) 将图像保存为SVG的无损质量 plt.savefig('graph.svg')

2019-03-28 10:30:24

Python学习笔记(四)

数据可视化小实例import matplotlib.pyplot as plt input_value = [1,2,3,4,5]squares = [1,4,9,16,25]plt.plot(input_value,squares,linewidth=5)plt.title('Test graph',fontsize=24) #设置图标标题plt.xlabel('Valu...

2019-01-14 15:09:15

Python学习笔记(三)

关于文件和异常 读取文件时,使用read()函数(该函数是全文读取)时在到达文件末尾时返回一个空字符串,解决方法是:rstrip()删除字符串末尾的空白 with open('text.txt') as file_object: contents = file_object.read() print(contents.rstrip())  逐行读取读取文件时,常常...

2019-01-12 18:59:31

Python学习笔记(二)

对于一个函数而言,调用函数传递参数的有两种方式:(1)位置传递。传入的实参跟形参位置一一对应。(2)关键字传递。直接在实参传递的过程中将名称和值关联起来,不会混淆。def describe_pet(animal_type,pet_name): print(animal_type,pet_name)# 位置传递describe_pet('harry','hamster')# 关...

2019-01-11 16:08:35

MATLAB基础知识

常用数学函数 (1)函数名(函数自变量的值)             函数的自变量规定为矩阵变量,当然也可以是标量,标量本身就是矩阵的一种特例。             函数在运算时是将函数逐项作用于矩阵的每个元素上,所以最后运算的结果就是一个与自变量同型的矩阵。 (2)常用函数的应用             1. 三角函数有以弧度为单位的函数和以角度为单位的函数,如果是以角度为单位的函...

2019-01-10 16:42:25

Anaconda安装SPAMS(Python版本)

SPAMSSPAMS(SPArse Modeling Software),它是用来解决各种稀疏估计问题的优化工具箱。字典学习和矩阵因子分解(NMF,sparse PCA,....) 使用LARS,坐标下降法,OMP,SOMP ,最近邻方法解决稀疏分解问题 解决结构化稀疏分解问题(L1/L2,L1/linf,sparse group lasso,tree-structured regul...

2018-07-26 12:52:58

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条Blink获赞超过3个即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。