Nix GnaHz-CSDN博客

原创 IDEA 创建Scala项目的三种不同方式

本文部分转自：https://blog.csdn.net/u013850277/article/details/78526046IDEA创建Scala项目积跬步，至千里IDEA 创建Scala项目的三种不同方式准备：安装IDEA 工具以及配置Scala环境IDEA 原本是不支持开发Scala的，因而需要自行安装Scala插件在线安装Scala插件步骤如下：一、创建普通Sc...

2019-10-28 09:27:35 936 1

原创 Scala第七天——面向对象编程——Trait特质

本文部分参考自：https://blog.csdn.net/dataiyangu/article/details/98483033Scala第七天——面向对象编程自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala特质一、不允许多重继承Scala 和 Java 都不允许多重继承，多继承会出现菱形继承问题，Scala 提供了特质，类似于 Java...

2019-10-24 19:27:57 361

原创 Scala第七天——面向对象编程——继承

本文部分参考自：https://blog.csdn.net/dataiyangu/article/details/98483033Scala第七天——面向对象编程自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala继承之继承类、超类、匿名内部类、抽象类一、extends（继承类）1.简述：（1）Scala中，让子类继承父类，与Java一样，也是...

2019-10-24 16:26:36 368 1

原创 Scala第六天——面向对象编程——对象

本文部分参考自：https://blog.csdn.net/dataiyangu/article/details/98482587Scala第六天——面向对象编程自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala对象之单例对象、伴生对象、Apply 方法、应用程序对象、枚举一、单例对象1.简述：（1）object，相当于class的单个实例，...

2019-10-24 15:33:37 189

原创 Scala第六天——面向对象编程——类

Scala第六天——面向对象编程自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala定义类、构造方法、内部类一、简单类和无参方法1.简述：（1）函数：类外边定义的def（2）方法：类内定义的def（3）注意：如果定时的def后的方法名没加()，在调用的时候就不能加();定义def的方法名加了()调用时，可以加()也可以不加()// 定义类，...

2019-10-24 14:21:25 202

原创 Scala第五天——Scala数据结构之映射、元组

本文部分参考自：https://blog.csdn.net/dataiyangu/article/details/98193842Scala第五天——Scala数据结构之Map、Tuple自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala映射、元组介绍及案例实操一、映射1.简介：映射就是 key-value 的集合，就类似于 Java 中的 ...

2019-10-24 10:04:55 137

原创 Scala第五天——Scala数据结构之数组

本文部分参考自：https://blog.csdn.net/dataiyangu/article/details/98193842Scala第五天——Scala数据结构之数组自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala数组介绍及算法案例一、数组1.定长数组(Array)：（1）概念：在Scala中，Array代表的含义与Java中类似...

2019-10-23 20:40:52 186

原创 Scala第四天——函数入门之过程、懒值及异常

本文部分参考自：https://blog.csdn.net/dataiyangu/article/details/98190098Scala第四天——函数入门自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解函数入门之过程、懒值及异常一、过程1.简述：在Scala中，定义函数时，如果函数体直接包裹在了花括号里面，而没有使用=连接，则函数的返回值类型就是...

2019-10-23 17:22:38 164

原创 Scala第四天——函数入门之定义、调用及参数

本文部分参考自：https://blog.csdn.net/dataiyangu/article/details/98190098Scala第四天——Scala函数入门自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解函数入门之定义、调用及参数一、函数的定义与调用1.简述：Scala 提供了很多函数，如果 math 函数，Java 中通常通过静态方法来...

2019-10-23 16:12:07 561

原创 Scala第三天——Scala语法规范

Scala第三天——Scala语法规范自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala语句终结符、块表达式及输入输出一、语句终结符（1）默认情况下，scala不需要语句终结符，默认将每一行作为一个语句（2）一行放多条语句：如果一行要放多条语句，则必须使用语句终结符·例如，使用分号作为语句终结符：var a, b, c = 0; if(a &...

2019-10-22 21:00:02 163

原创 Scala第三天——Scala控制与循环结构

本文部分参考自：https://blog.csdn.net/dataiyangu/article/details/98190098Scala第三天——Scala控制与循环结构自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala控制结构与循环结构一、If else 表达式1.if表达式的定义：（1）在Scala中，if表达式是有值的，就是if或者...

2019-10-22 20:29:25 202

原创 Scala第二天——Scala基础语法

本文部分参考自：https://blog.csdn.net/weixin_45473750/article/details/102556239Scala第二天——Scala基础语法自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala安装及REPL...

2019-10-22 19:02:05 242

转载大数据面试题总结（附答案）

大数据面试题总结前言最近由于要准备面试就开始提早看些面试、笔试题。以下是自己总结的一些经常出现、有价值的试题，包含hadoop、hive、hbase、storm、spark等。答案仅供参考，如有错误，请指出。试题不定时更新。一、hadoop相关试题1、MapTask并行机度是由什么决定的？由切片数量决定的。2、MR是干什么的？MR将用户编写的业务逻辑代码和自带的默认组件结合起来...

2019-10-15 19:53:13 1666

原创 Scala第一天——Scala安装（Windows）

Scala第一天——Scala安装（Windows）自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala安装及REPL一、Windows 下搭建 Scala 开发环境具体的步骤1、首先把 jdk1.8 安装2、下载对应的 scala 安装文件 scala-2.11.8.zip3、解压我这里解压到 E:\Scala4、配置 scala 的环境...

2019-10-14 20:56:22 383

原创 Scala第一天——Scala概述

Scala第一天——Scala概述自己的话：漆黑的黑夜表示着威胁我选择诙谐工作在堆叠没兑现归结于那些理解Scala概述一、学习Scala原因二、Scala 语言的特点Scala 是一门以 java 虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。你可以使用 Scala 编写出更加精简的程序，也能用于构建大型复杂系统，并且他可以...

2019-10-14 20:37:07 166

原创 linux下jps命令

文章参考自：https://blog.csdn.net/dataiyangu/article/details/84594071linux下jps命令一、jps简介jps是jdk提供的一个查看当前java进程的小工具，可以看做是JavaVirtual Machine Process Status Tool的缩写。非常简单实用。jps(Java Virtual Machine Proce...

2019-10-14 19:56:44 4427

原创 linux下通过yum命令安装jdk

linux下通过yum命令安装jdk让优秀成为习惯一、卸载centos自带的jdk1.查看当前的jdk版本root@localhost opt]# rpm -qa|grep java java-1.6.0-openjdk-1.6.0.37-1.13.9.4.el5_11tzdata-java-2015g-1.el52.卸载当前的jdk[root@localhost opt...

2019-10-14 19:29:41 396

原创 HBase第五天——HBase三个重要机制

HBase第五天——HBase 三个重要机制自己的话：我愿平东海，身沉心不改；大海无平期，我心无绝时。HBase的数据flush、compact、split机制一、数据 flush 过程（flush）当 MemStore 数据达到阈值（默认是 128M，老版本是 64M），将数据刷到硬盘，将内存中的数据删除，同时删除 HLog 中的历史数据；并将数据存储到 HDFS 中；...

2019-10-12 17:36:36 278 1

原创 HBase第五天——HBase读写过程

HBase第五天——HBase 读写过程自己的话：我愿平东海，身沉心不改；大海无平期，我心无绝时。HBase的读写过程及Master、Region的管理机制一、读请求过程1、Client 先访问 zookeeper，从 meta 表读取 region 的位置，然后读取 meta 表中的数据。meta中又存储了用户表的 region 信息；2、根据 namespace、表名和 ro...

2019-10-12 16:58:56 512

原创 HBase第五天——HBase数据结构

HBase第五天——HBase 数据结构自己的话：我愿平东海，身沉心不改；大海无平期，我心无绝时。HBase的数据结构及物理存储结构一、数据结构1. RowKey与 nosql 数据库们一样,RowKey 是用来检索记录的主键。访问 HBASE table 中的行，只有三种方式：通过单个 RowKey 访问通过 RowKey 的 range（正则）全表扫描RowKey ...

2019-10-12 14:55:36 342

原创 IDEA配置maven并创建maven项目

IDEA配置maven并创建maven项目Maven项目对象模型(POM)，是一个项目管理工具可以通过一小段描述信息来管理项目的构建，报告和文档的软件。下载Maven官方地址：http://maven.apache.org/download.cgi一、配置本地Maven环境1.解压并新建一个本地仓库文件夹：2.配置本地仓库路径3.配置maven环境变量4.测...

2019-10-12 09:38:30 531

原创 HBase第四天——HBase API 操作

HBase第四天——HBase API 操作自己的话：我愿平东海，身沉心不改；大海无平期，我心无绝时。HBase的java代码开发一、环境准备新建项目后在 pom.xml 中添加依赖：<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server&...

2019-10-11 21:15:16 252

原创 HBase第三天——HBase Shell 操作

HBase第三天——HBase Shell 操作自己的话：我愿平东海，身沉心不改；大海无平期，我心无绝时。HBase常用shell操作HBASE的表模型基本介绍一、基本操作1．进入 HBase 客户端命令行[hadoop1 hbase]$ bin/hbase shell2．查看帮助命令hbase(main):001:0> help3．查看当前数据库中有哪些表...

2019-10-11 15:50:10 356

原创 HBase第二天——HBase安装

HBase第二天——HBase安装自己的话：我愿平东海，身沉心不改；大海无平期，我心无绝时。HBase的集群环境搭建一、下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下：http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下：http://archive.cloudera.com/cdh5/cdh/5/...

2019-10-10 20:10:41 148

原创 Zookeeper启动成功后拒绝连接的解决方案

zookeeper启动成功后zkServer.sh status出错一、问题出现情形运行zookeeperd后显示启动成功：JMX enabled by defaultUsing config: /data/programfiles/zookeeper-3.4.5/bin/../conf/zoo.cfgStarTIng zookeeper ... STARTED但用zkServe...

2019-10-10 19:21:11 19679 3

原创 Zookeeper自探（五）—Zookeeper企业面试真题

Zookeeper自探自己的话：每天都要保持前进，我势必要有强劲的实力再跟全新的自己问好。多认识更加优秀的人，你会讨厌现在的自己。Zookeeper企业面试真题1、请简述 ZooKeeper 的选举机制详见 Zookeeper自探（三）—Zookeeper内部原理2、 ZooKeeper 的监听原理是什么？详见 Zookeeper自探（三）—Zookeeper内部原理3、 Z...

2019-10-10 17:36:35 178

原创 Zookeeper自探（四）—Zookeeper实战

Zookeeper自探自己的话：每天都要保持前进，我势必要有强劲的实力再跟全新的自己问好。多认识更加优秀的人，你会讨厌现在的自己。Zookeeper实战一、分布式安装部署详见Zookeeper自探（二）—Zookeeper安装二、客户端命令行操作1．启动客户端[hadoop1 zookeeper-3.4.10]$ bin/zkCli.sh2．显示所有操作命令[zk: ...

2019-10-10 17:14:48 93

原创 Zookeeper自探（三）—Zookeeper内部原理

Zookeeper自探自己的话：每天都要保持前进，我势必要有强劲的实力再跟全新的自己问好。多认识更加优秀的人，你会讨厌现在的自己。Zookeeper内部原理一、节点类型二、Stat结构体1）czxid-创建节点的事务 zxid每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳，也就是 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所...

2019-10-10 16:14:11 335

原创 Zookeeper自探（二）—Zookeeper安装

Zookeeper自探自己的话：每天都要保持前进，我势必要有强劲的实力再跟全新的自己问好。多认识更加优秀的人，你会讨厌现在的自己。Zookeeper安装及配置一、分布式安装部署1．集群规划在 hadoop1、hadoop2 和 hadoop3 三个节点上部署 Zookeeper2．安装前准备（1）安装 Jdk（2）拷贝 Zookeeper 安装包到 Linux 系统下（3）...

2019-10-10 15:38:24 141

原创 Zookeeper自探（一）—Zookeeper入门

Zookeeper自探自己的话：每天都要保持前进多认识更加优秀的人，你会讨厌现在的自己。Zookeeper入门一、概述Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。工作机制：二、特点三、数据结构四、应用场景提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。统一命名服务：...

2019-10-09 21:30:17 282

原创 HBase第一天——HBase入门

文章部分参考自：https://blog.csdn.net/dataiyangu/article/details/90648981HBase第一天——HBase入门自己的话：我愿平东海，身沉心不改；大海无平期，我心无绝时。一、HBase简介1. 什么是 HBase1.1 HBase的发展历程：HBase 的原型是 Google 的 BigTable 论文，受到了该论文思想的启发...

2019-10-08 21:51:12 201

原创 Flume自探（二）—Flume实战案例

Flume自探自己的话：每天都要保持前进多认识更加优秀的人，你会讨厌现在的自己。Flume实战案例一、监控端口数据官方案例1. 案例需求：首先，Flume 监控本机 44444 端口，然后通过 telnet 工具向本机 44444 端口发送消息，最后 Flume 将监听的数据实时显示在控制台。2. 需求分析：3. 实现步骤：3.1 安装telnet工具yum -y in...

2019-10-08 20:47:59 185

原创 Flume自探（一）—Flume概述及入门

Flume自探自己的话：每天都要保持前进多认识更加优秀的人，你会讨厌现在的自己。Flume概述及入门一、概述1.1 Flume 定义Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。1.2 Flume 组成架构下面我们来详细介绍一下Flume 架构中的组件：1.2.1 AgentA...

2019-10-08 15:53:35 118

原创 Hive第七天——Hive函数（开窗函数之组内排序）

本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/100688796Hive第七天——Hive函数自己的话：千里之行，始于足下。每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。开窗函数：组内排序开窗函数的固定写法：over(partition by 列名1,列名2 …… order by 列名3,列名4...

2019-09-28 10:50:37 2319

原创 Hive第六天——Hive函数（开窗函数之累计统计）

本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/100558433Hive第六天——Hive函数自己的话：千里之行，始于足下。每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。开窗函数：累计统计这类函数叫法很多，包括分析函数、窗口函数、开窗函数、分析窗口函数，其实说的都是一类函数一、开窗函数简介开窗函...

2019-09-27 21:45:14 7131

原创 Hive第六天——Hive函数（GROUP BY语句、HAVING语句、ORDER BY语句）

本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/90897373Hive第六天——Hive函数自己的话：千里之行，始于足下。每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。GROUP BY语句、HAVING语句、ORDER BY语句一、GROUP BY语句GROUP BY语句表示按照某些字段的值进行...

2019-09-27 16:17:24 7316 1

原创 Hive第五天——Hive函数（表生成函数：行转列）

本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/98724777Hive第五天——Hive函数自己的话：千里之行，始于足下。每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。表生成函数（行转列）一、表生成函数简介在Hive中，所有的表生成函数，包括用户自定义的和内置的，都统称为用户自定义表生成函数（us...

2019-09-26 21:34:02 373

原创 Hive第五天——Hive函数（URL解析函数）

本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/95303594Hive第五天——Hive函数自己的话：千里之行，始于足下。每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。URL解析函数在工作中，我们除了JSON格式还会经常遇到URL格式的日志数据，本文来详细介绍在Hive中解析URL的函数：1.par...

2019-09-26 20:22:47 1805

原创 Hive第五天——Hive函数（JSON解析函数）

本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/95091712Hive第五天——Hive函数自己的话：千里之行，始于足下。每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。Json函数解析在工作中我们会经常遇到JSON格式的日志数据，本文来详细介绍在Hive中解析JSON字符串的函数：1.get_jso...

2019-09-26 19:59:01 1007

原创 Hive第四天——Hive函数（常用数学函数与字符串函数）

本文参考自：https://blog.csdn.net/qq_23897391/article/details/94715278Hive—常用数学函数与常见字符串函数一、常见数学函数1.四舍五入 roundround(DOUBLE a)功能：传入DOUBLE类型的参数a，返回对a四舍五入的整数值，但返回的数据类型是DOUBLE，所以会有 .0hive (app)> selec...

2019-09-25 21:02:26 1311

空空如也

空空如也