0 Mr.梧桐

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 16w+

Scala的高阶函数(2)

1.collect:通过执行一个并行计算(偏函数),得到一个新的数组对象val chars = Array('a','b','c') val newchars = chars.collect(fun) println("newchars:"+newchars.mkString(",")) //我们通过下面的偏函数,把chars数组的小写a转换为大写的A val fun:PartialFunction[Char,Char] = { case 'a' => 'A' c

2020-10-27 15:30:25

scala的高阶函数(1)

一、部分函数def showMsg(title: String, content: String, num: Int): Unit = { println(title + ": " + content + " " + num) } showMsg("警告", "当前水位是", 12) val title="警告" def showWaterAlter=showMsg(title,_:String,_:Int)//部分函数 showWaterAlter("当

2020-10-26 17:21:09

Scala面向对象(OOP)

伴生对象伴生类协变逆变一.类(class)类通过class关键字定义类通过new关键字创建实例类拥有成员变量和方法类的成员默认为public,也支持private、protected类中无法定义静态成员变量和方法类无需明确定义构造方法,通过构造参数列表声明为类的一部分1.类成员访问修饰符2.类的定义构造器:主构造器辅助构造器(从构造方法)成员变量与方法类的实例化3.类的继承Scala使用“extends”关键字实现继承子类重写父类方法必须使用“override”关

2020-10-23 14:16:49

Scala的模式匹配详解

模式匹配是Scala中非常有特色,非常强大的一种功能。模式匹配,其实类似于Java中的swich case语法,即对一个值进行条件判断,然后针对不同的条件,进行不同的处理。但是Scala的模式匹配的功能比Java的swich case语法的功能要强大地多,Java的swich case语法只能对值进行匹配。但是Scala的模式匹配除了可以对值进行匹配之外,还可以对类型进行匹配、对Array和List的元素情况进行匹配、对case class进行匹配、甚至对有值或没值(Option)进行匹配。而且对于Sp

2020-10-22 13:56:52

学好Scala的开山之作-函数篇(2)

目录1.隐式参数2.隐式函数(隐式转换)3.柯里化4.模式匹配5.样例化6.嵌套函数1.隐式参数方法可以具有隐式参数列表,由参数列表开头的implicit 关键字标记mplict只能修改最尾部的参数列表,应用于其全部参数Scala可自动传递正确类型的隐式值通常与柯里化函数结合使用 //定义一个隐士参数 implicit var a: Int = 10 //将作为Int类型隐式值自动传递 def sum(x: Int)(implicit y: Int): Int = (x +

2020-10-21 15:05:25

学好Scala的开山之作-函数篇(1)

一、Scala的数组、元组、集合1.数组存储固定大小的元素数组索引从0开始var a2=Array("Jason","Marie","Jimmy")println(a2(0)) //Jason2.元组可以包含不同类型的元素最多支持22个元素 (Tuple1~Tuple22)使用下划线“_"访问元素,“_1"表示第一个元素//元组声明方式一var tp1 = ("Mike", "123 ABC street", 58)println(tp1._1)println(tp1._

2020-10-20 17:38:21

Scala的Array函数整理

Scala:Array(集合、序列)Scala开篇(目录)数组是一种可变的、可索引的数据集合。在Scala中用Array[T]的形式来表示Java中的数组形式 T[]。val numbers = Array(1, 2, 3, 4) //声明一个数组对象val first = numbers(0) // 读取第一个元素numbers(3) = 100 // 替换第四个元素为100val biggerNumbers = numbers.map(_ * 2) // 所有元素乘2Scala提供了大量的

2020-10-20 14:13:35

学好scala的开山之作-基础篇

一、scala简介1.Scala源自JavaScala构建在JVM之上Scala与Java兼容、互通2.Scala的优势多范式编程:面向对象编程、函数式编程表达能力强,代码精简3.大数据与ScalaSpark采用Scala语言设计提供的API更加优雅基于JVM的语言更融入Hadoop生态圈二、Scala概述面向对象特性1.每个值都是对象2.对象的数据类型和行为由类(Class)和特征(Trait,类似于interface)描述3.利用特征实现混入式多重继承函

2020-10-19 16:56:10

666666,这篇关于sqoop的数据迁移知识总结(全),太详细了,我一个小白看了竟然都懂了

目录一、导入到HDFS二、导入到Hive三、导入到Hbase四、从hdfs导出到mysql一、导入到HDFS1.WHERE语句过滤导入sqoop import --connect jdbc:mysql://localhost:3306/hive --mysql里的数据库名 --table orders --数据库里的某个表 --where “order_date > ‘2015-10-10’” --where条件查询 --use

2020-09-29 19:18:47

这是一篇小白都在找的傻瓜式安装sqoop手册(超详细)

目录一、简介二、sqoop安装三、导入数据到hdfs一、简介Sqoop是什么Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具将数据从RDBMS导入到HDFSHDFS、Hive、HBase 从HDFS导出数据到RDBMS使用MapReduce导入和导出数据,提供并行操作和容错二、sqoop安装**安装前提:已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的环境。1.上传安装包 sqoop-1.4.6-cdh5.14.2.tar.gz 到虚

2020-09-26 16:03:14

66666,phoenix的简介和安装,Hbase的进阶,看了这篇,我竟然都懂了

目录一、Phoenix二、hbase常用命令三、Region管理一、PhoenixPhoenix简介构建在HBase上的SQL层使用标准SQL在HBase中管理数据使用JDBC来创建表,插入数据、对HBase数据进行查询Phoenix JDBC Driver容易嵌入到支持JDBC的程序中安装教程下载链接 链接网站将安装包依旧解压到Opt目录下,然后重命名打开phoenix下的Jia包所在的文件夹拷贝到Hbae下:cp phoenix-4.14.0-cdh5.14.2-server

2020-09-25 15:21:45

NOSQL综述和hbase基础语法

一、什么是NOSQLNoSQL:not only SQL,非关系型数据库NoSQL是一个通用术语指不遵循传统RDBMS模型的数据库数据是非关系的,且不使用SQL作为主要查询语言解决数据库的可伸缩性和可用性问题不针对原子性或一致性问题二、NOSQL的优缺点NoSQL和关系型数据库对比:NOsql的特点:最终一致性应用程序增加了维护一致性和处理事务等职责冗余数据存储但是NoSQL != 大数据!!!NoSQL基本概念:三大基石:CAP、BASE、 最终一致性分类如下:

2020-09-24 16:26:58

hive函数及其性能优化

目录一、函数的分类二、Hive内置函数三、UDF开发流程四、hive事务五、hive的优化设计六、压缩算法一、函数的分类从输入输出角度分类标准函数:一行数据中的一列或多列为输入,结果为单一值聚合函数:多行的零列到多列为输入,结果为单一值表生成函数:零个或多个输入,结果为多列或多行从实现方式分类内置函数自定义函数UDF:自定义标准函数UDAF:自定义聚合函数UDTF:自定义表生成函数二、Hive内置函数Hive提供大量内置函数供开发者使用标准函数字符函数类型转换函数数学函数

2020-09-22 19:02:26

hive的排序以及窗口函数

一、数据排序1.order by:全局排序select * from student order by score desc;2.sort by :内部排序每个mapreduce内部进行排序,对全局结果集来说不是排序。1.设置reduce个数: set mapreduce.job =3;2.查看设置reduce个数:set mapreduce.job3.将查询结果导入到文件中(排序):insert overwrite local directory ' /路径' select * from

2020-09-19 15:30:17

zeppelin的安装教程,超详细

一、简介它提供了一个非常友好的 WebUI 界面,操作相关指令。它可以用于做数据分析和可视化。其后面可以接入不同的数据处理引擎。包括 Flink,Spark,Hive 等。支持原生的 Scala,Shell,Markdown 等。Zeppelin是一个Apache的孵化项目.一个基于web的笔记本,支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档。(类似于ipython notebook,可以直接在浏览器中写代码、笔记并共享)可以看作一个多用途笔记本。可实现你所需要

2020-09-19 15:17:29

一图详解MapReduce的过程

2020-09-16 19:18:32

hive的数据结构以及创建内、外部表

目录一、hive二、使用hive的工具三、hive的数据类型四、hive的元数据结构之内外部表一、hive.hive是基于Hadoop上的数据仓库,用于对收集的数据进行分析管理,可以把存储的数据进行结构化,利用hive来建表处理数据,这样我们可以用类似于sql的语句来查找筛选数据信息,相对于复杂冗余繁琐的mapreduce处理数据,hive更加简单,容易上手,但是hive绝不等同于SQL数据库二、使用hive的工具两种工具:Beeline 和 Hive命令行hiveserver和beeline(h

2020-09-16 19:07:40

三分钟教会你认识hive以及安装hive,快进来学习点赞吧

一、hive1.发展史:07年8月 – 始于Facebook13年5月 – 0.11 Stinger Phase 1 ORC HiveServer213年10月 – 0.12.0 Stinger Phase 2 - ORC improvement14年4月 – Hive 0.13.0 as Stinger Phase 314年11月 – Hive 0.14.015年2月 – Hive 1.0.015年5月 – Hive 1.2.016年2月 – Hive 2.0.0 (添加 HPLSQL,

2020-09-15 20:19:00

听说你在找一篇超详细的hbase安装攻略,进来看就对了

一、Hbase简介hbase是bigtable的开源山寨版本,它提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。HBase中的表一般有这样的特点:1 大:一个表可以有上亿行,上百万列

2020-09-15 19:29:32

想学习Java apl实现hdfs的文件流程,看这一篇博客就够了!!!

一、HDFS读文件这里我们在用Java来实现的时候,需要用到maven工具,需要下载好一些安装包,才可以做到用Java来读取hdfs里的文件操作的代码如下:二、HDFS写文件这里不仅仅可以直接在代码里写出文件地址,还可以把它们看成是一个数组,下标分别为0和1,对应args中的0和1.通过这样子来指定,但是一定要apply 一下哦,同时代码改动如下:执行完成后,会自从出现我们创建的文件,打开即可看到我们的文件内容:三、上传文件利用Java来从本地上传到HDFS里的操作,代码操作如下

2020-09-11 17:30:50

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。