1 一抹米粒

尚未进行身份认证

我要认证

一只爱吐泡泡的小公鸡

等级
TA的排名 27w+

spark环境搭建,en

准备首先,安装Spark需要检查是否安装jdk下载spark安装包 https://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgzSpark安装不一定需要安装Hadoop,若已搭建Hadoop集群,建议下载对应版本Hadoop解压安装包# 解压Spark安装包到指定路径tar -zxf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/softs# 为方便使用,可建立

2020-08-03 15:26:15

数组、集合函数整理。。。

Array数组是一种不变的,可索引的数据集合val arr = Array(1,2,3,4) //声明一个数组对象//arr: Array[Int] = Array(1, 2, 3, 4)val first = arr(0)//读取第一个元素arr(3)=100//第三个元素val newarr = arr.map(_ * 2) //所有元素乘2println(newarr.mkString(",")) //打印数组,结果为:2,4,6,200++合并集合,并返回一个新的数组,新数组包含

2020-08-02 18:42:05

scala学习笔记(隐式转换)

隐式函数使用implicit关键字声明的带有单个参数的函数,会自动运用,将值从一种类型转换为另一种类型implicit def fun(num:Double):Int=num.toInt+1var num:Int = 3.5//输出4.5注意:隐式转化与函数名无关,只与参数类型和返回值类型有关隐式函数可以有多个,但必须保证当前域只有一个被识别隐式值将某个形参变量标记为implicit,当编译器在方法省略隐式参数时,搜索域中的隐式值作为缺省参数implicit val str1:St

2020-07-30 19:02:37

scala学习笔记(函数式编程1)

函数式编程基础 函数定义/声明 函数运行机制 递归//难点 [最短路径,邮差问题,迷宫问题, 回溯] 过程 惰性函数和异常函数式编程高级 值函数(函数字面量) 高阶函数 闭包 应用函数 柯里化函数,抽象控制…函数返回值问题scala函数可以根据函数体最后一行代码自动推断出返回值类型(return 可以省略)def fun (n1:Int):Int = n1在return省略的情况下,返回值类型也可以省略def fun (n1:Int)=n1如果函数中已经明确使用了return,返回值类型必须

2020-07-30 17:53:01

scala学习笔记(oop)

类与对象定义类scala 语法中,类并不声明为 public,所有这些类都具有公有可见性(即默认就是 public)类的属性Scala 中声明一个属性,必须显示的初始化,然后根据初始化数据的类型自动推断,属性类型可 以省略(这点和 Java 不同)。如果赋值为 null,则一定要加类型,因为不加类型, 那么该属性的类型就是Null 类型如果在定义属性时,暂时不赋值,也可以使用符号_(下划线),让系统分配默认值创建对象scala 在声明对象变量时,可以根据创建对象的类型自动推断,所以类型声明可

2020-07-30 17:34:34

scala学习笔记(1初识)

为什么学习Scala?因为Spark是使用Spark编写的,学习Spark有助于更好的学习Scala而Spark是大数据的重要内容,大数据需要使用SparkScala环境配置下载Scala安装包:https://www.scala-lang.org/download[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5OsoYvZc-1596024135950)(…/…/…/…/Pictures/Typora/image-20200721145902016.png)].

2020-07-29 20:03:23

linux常用的命令(初学有点用)

Linux常用命令(系统:CentOS7)目录操作结构:/系统根目录、~当前用户目录切换目录:清屏 ctrl+l、clear查看当前所在目录 pwd查看当前目录下的内容:ls:-a -i -l文件夹操作增:mkdir 目录路径删:rmdir 目录路径改:mv 原路径 新路径文件操作:增:touch 文件路径删:rm 文件路径删库跑路必备技能:rm -rf(无二次确认)改:​ 移动文件或修改文件名:mv 原路径 新路径​ 复制:cp

2020-07-23 14:07:16

Hive中关于DML的一些事儿

CTE 和嵌套查询CTE(Common Table Express)-- CTE语法with t1 as (select ...)select * from t1;CTE嵌套写语句不需要考虑顺序嵌套查询select * from(select ...) [as] t1;joinhive仅支持等值查询问:join有几种连接方式?内连接,外连接,交叉连接,等值连接内连接(inner join)-- 左右两表都存在于连接条件相匹配的数据保留select * from e

2020-07-23 14:05:04

Hive初体验(hello hive)

什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上Hive的优缺点优点操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)。避免了去写MapReduce,减少开发人员的学习成本。

2020-07-23 14:02:55

Hive内置函数大全(再背几遍)

数学函数round(double a) 返回对a四舍五入的bigint值round(double a,int d) 返回四舍五入值,保留d位小数bround(double a) 银行家舍入法(1-4舍,6-9进,5:前位数是偶,舍,前位数是奇,进)bround(double a,int d) 银行家舍入法,保留d位小数floor(double a) 向下取整 (取左值)ceil(double a),ceiling(double a)向上取整(取右值)rand()/rand(i

2020-07-23 13:55:30

phoenix安装使用(好用的呢)

Phoenix简介构建在HBase上的SQL层使用标准SQL在HBase中管理数据使用JDBC来创建表,插入数据、对HBase数据进行查询Phoenix JDBC Driver容易嵌入到支持JDBC的程序中Phoenix无法代替RDBMS缺乏完整性约束,很多领域尚不成熟作用 :使Hbase更易用Phoenix安装使用下载安装Phoenix拷贝相关Jar包到RegionServer的HBase的lib目录cd apache-phoenix-4.14.0-cdh5.14.2-bin/

2020-07-23 13:53:23

xmind 8安装(亲测有效)

官网下载安装客户端并安装Win:http://dl2.xmind.cn/xmind-8-update4-windows.exeMac:http://dl2.xmind.cn/xmind-8-update4-macosx.dmg下载补丁网盘地址:https://pan.baidu.com/s/17Xm9JO85B1E9IrmhmibdMA提取码:bp6m将补丁复制到安装路径的根目录 (根据自己需要选择panfu)Win:如:C:\Program Files (x86)\XMindMac:应用程

2020-07-23 12:56:03

Sqoop 学习笔记(我也刚学)

Sqoop环境搭建下载并解压下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/上传安装包到虚拟机解压安装tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/softs/创建软链接ln -s sqoop-1.4.6-cdh5.14.2.tar.gz sqoop配置环境变量vi /etc/profile ...修改配置文件sqoop-env.shcd /opt/softs/sqoop/conf #进

2020-07-23 11:22:40

Hbase学习笔记(我太难了)

什么是Hbase?HBase是一个高可靠性,高性能,面向列,可伸缩式的分布式存储系统HBase的目标是存储并处理大型的数据(具体说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据)Hbase特点海量存储、列式存储、极易扩展(​ 基于上层处理能力的扩展(RegionServer)​ 基于存储的扩展(HDFS)​ 通过横向添加RegionServer机器,进行水平扩展,进行Hbase上层处理能力,即提升Hbase服务更多Region的能力)、高并发(指并发情况下,单个i

2020-07-21 20:15:41

学习笔记:concat(),concat_ws(),group_concat()

concat()拼接字符串,若任何一个参数为空,则返回nullconcat_ws()concat_ws(separator,str1,str2),是concat()的特殊形式,第一个参数为其他参数见的分隔符,若separator=null,这函数返回nullconcat_ws函数会忽略所有的null值,但不会忽略空字符串group_concat()用于将分组中的值连接组合+----------+----+--------------------------+| locus | id |

2020-07-14 10:50:58

Hadoop+zookeeper+Hbase+Hive(ZooKeeper+Hbase)

文章目录zookeeper修改配置文件创建datadir目录启动zookeeperHbase配置Hbase启动Hbasezookeeper修改配置文件vi /zookeeper/conf.cfg------------------------------------------# The number of milliseconds of each ticktickTime=2000maxClientCnxns=0# The number of ticks that the initial

2020-07-06 10:05:17

Hadoop+zookeeper+Hbase+Hive(hadoop环境搭建)

文章目录准备linux环境搭建及jdk安装配置hadoop集群搭建单机版hadoop配置环境变量修改主机名和主机列表配置免密登录`/opt/hadoop260/etc/hadoop`目录下配置准备hadoop-2.6.0-cdh5.14.2.tar.gzhadoop-native-64-2.6.0.tarhbase-1.2.0-cdh5.14.2.tar.gzhive-1.1.0-cdh5.14.2.tar.gzjdk-8u221-linux-x64.tar.gzzookeeper-3.4.6

2020-07-06 10:02:47

学习笔记-MapReduce过程

MapReduce过程最外层的黑框是一个机器的边界map task读文件InputFormat(主要是TextInputFormat)–>RecorderReader–>read()一次读一行,返回<key,value>//InputFormat抽象类,只有两个抽象方法public abstract List<InputSplit> getSplits(JobContext) throws IOException,InterruptedException

2020-07-06 02:09:44

Linux搭建Hadoop环境

文章目录准备工作开始安装配置hadoop配置etc/hadoop目录下文件hadoop环境变量配置格式化HDFS启动Hadoop准备工作搭建好jdk环境的linux虚拟机:Linux安装jdkhadoop安装包:hadoop-2.6.0-cdh5.14.2.tar.gz 提取码:20n8开始安装把hadoop安装包导入虚拟机解压文件到/opt目录下,修改文件名为hadoop修改主机名hostname和主机列表hosts配置hadoop配置etc/hadoop目录下文件进入et

2020-06-26 14:47:08

VMware搭建linux虚拟机(面向小白)

VMware搭建linux虚拟机文件–>新建虚拟机–下一步稍后安装操作系统–>下一步Linux–>CentOS 7 64位–>下一步修改虚拟机名称和文件所在位置–>下一步设置最大磁盘大小和磁盘存储形式–>下一步自定义硬件–>修改硬件配置(内存、CD/DVD、网络适配器…)–>关闭–>完成启动虚拟机–>Install CentOS 7设置语言为English–>continue设置时间、磁盘、网络(记住33

2020-06-25 20:36:42

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。