dodo_man-CSDN博客

原创编写MapReduce程序，实现WordCount

一、在集群创好文件夹，并上传好相应的文件输入hdfs dfs直接回车即可出现操作提示（1）创建目录hdfs dfs -mkdir /wordcount(2)创建文件input和output目录hdfs dfs mkdir /wordcount/inputhdfs dfs mkdir /wordcount/output(3)上传本地TXT文件到集群hdfs ...

2019-03-28 20:46:58 2834 3

原创 eclipse接入hadoop-2.7.6集群(hadoop2.x版本通用)，含免费资源

资源：hadoop-2.7.6.tar.gz和hadoop-2.7.6-src.tar.gz:链接：https://pan.baidu.com/s/1gONNnDkRhZYpk9Aob1_ckA提取码：hedmwinutils-master:链接：https://pan.baidu.com/s/1iHVIA_R8sZEuDk-SiTQ42A 提取码：02vlha...

2019-03-28 20:29:13 1705 3

原创 Hadoop2.7.3完全分布式集群搭建（三节点）

实验环境虚拟机：Virtualbox系统：CentOS-6.5JDK:jdk-8u172-linux-x64.tarHadoop版本：Hadoop-2.7.3上述软件均是开源，大家可以网上自行下载一、CentOS6.5安装1.打开Virtualbox，点击新建2.输入第一台机器名centos6.5-matser，类型选择linux，版本选择Red Hat(...

2018-09-06 10:29:42 4558 5

一、什么是Hive Hive是建立在Hadoop上的数据仓库基础架构。它定义了简单的类SQL查询语句，称为HQL，HQL语言也支持用户自定义SQL函数，通过MR任务来处理复杂的分析任务。Hive中包含SQL解析引擎，它会将SQL语句转换成MR job在Hadoop中执行 Hive中的数据表在HDFS中的体现是文件 Hive数据存储是基于Hadoop的HDFS的，Hive默认直接加载文本文件(TextFile),还支持SequenceFile，RCFile等二、Hive系统架构...

2021-04-07 21:53:46 258

原创 Hive之表类型解析

Hive的表在HDFS里面体现都是文件1、内部表内部表示Hive中默认的表类型，表数据默认存储在warehouse目录下，即使我们使用load data的方式，Hive也会在数据拷贝在warehouse目录下，当我们创建内部表时，Hive会在warehouse下创建表名的目录存储数据文件，同时会在metastore维护元数据信息，当我们删除表的时候，表的数据会删除，同时metastore中的元数据信息也会同时删除。2、外部表外部表在加载数据的时候，实际数据并不会移...

2021-04-07 21:52:44 600

原创 HDFS之namenode文件解析

一、HDFS体系结构 HDFS支持主从结构，主节点称为NameNode，从节点称为DateNode，DataNode支持多个节点。HDFS还包含一个SecondaryNameNode进程，表面意思是一个辅助主节点（备用主节点）伪分布式单节点JPS进程：网络部署结构图：1.NameNode进程 NameNode是整个文件系统的管理节点，它主要维护着整个文件系统的文件目录树、文件/目录的信息和每个文件对应的数据块列表，并且还负责接收用户的操作请求。目录树：目录之间的层...

2021-04-07 21:52:11 3021

原创 nvm for window 开源资源（免费下载）

nvm下载通过官网下载太慢了，实在没办法只能找到1.1.1的版本用了感谢博主将资源存盘：https://blog.csdn.net/qq_36423639/article/details/70230571下面我附上一份资源：链接：https://pan.baidu.com/s/1ZqKKp5Pz9ar0lLOuKmCnZA提取码：2458安装很简单一直下一步即可，环境变量会自动添加。然后在安装目录下修改settings.txt文件修改国内下载源root: F:\nvmp...

2021-01-01 18:34:48 413

原创 HIVE 命令行操作和参数指引

Apache Hive Version 3.1.1类目中文描述 URL command 命令行 https://www.docs4dev.com/docs/en/apache-hive/3.1.1/reference/LanguageManual_Commands.htm Hive CLI HIVE客户端 https://www.docs4dev.com/docs/en/apache-hive/3.1.1/reference/Language

2020-05-19 10:38:56 308

原创 HIVE数据导入MYSQL实现方式

*以下内容均转自其他CSDN博主的优秀内容一、PYTHON脚本导数import osimport pymysql hive_sql = """beeline -u jdbc:hive2://10.5.145.113:10000 -n 用户名 -p 密码 --showHeader=false --outputformat=csv2 -e "SELECT * from tab...

2020-05-08 14:42:32 2460

原创 JQMeter进度条动态加载演示

一、构建html(仅需要一个空的div即可)<div id="jqmeter-container"></div>二、引入文件 JQmeter依赖于JQuery，所以引用文件的时候一定要先引入JQuery<script src="js/jquery.min.js" type="text/javascript"></script&gt...

2019-05-03 23:59:31 752

原创 Hbase权威指南（含目录，高清，免费）

知识理应开源共享，拒绝收费收积分Hbase权威指南链接: https://pan.baidu.com/s/1Y-YdMCPvjkZ06hG_r8AJHg 提取码: j9fz

2019-04-26 11:34:53 4851 16

原创 Hive编程指南(含目录，高清，免费)

希望知识能够开源共享，拒绝收费收积分Hive编程指南：链接: https://pan.baidu.com/s/1MJNnQGDz5nYl3tTMWZ63Jg 提取码: id8u

2019-04-26 11:33:25 8128 14

原创 python 3.5.2 下载（带资源免费）

python 3.5.2 下载：链接：https://pan.baidu.com/s/1uTQlq9ajabGpuYVaE24vQg 密码：oj8e 不知道怎么回事，外网的eclipse和python这类资源网速都下不动了，最近想用3.5.2版本，一去网上下载，发现外网下不动，国内的人尤其多的一些CSDN博主，直接都要5积分下载，我瞬间就不开心了，在此我上传了资源，供大家免费下载，希...

2018-08-16 12:38:31 19700 21

原创 Map集合遍历

一、通过keySet()方法，返回包含map所有key的一个set集合，然后foreach遍历这个set集合,然后通过key找出相应value值，效率最低，但是是最简单有效的遍历方法。package mapDemo;import java.util.HashMap;import java.util.Map;public class TraverseMap { public sta...

2018-08-14 14:51:30 193

原创 Set集合遍历

package setDemo;import java.util.HashSet;import java.util.Iterator;import java.util.Set;/** * @author 超级皮皮虾 * @description Set集合遍历的三种方式 * */public class TraverseSet { public static voi...

2018-08-14 14:37:13 5485

原创二分查找算法详解（折半查询）

一、基本思想二分查找是一种用于有序数列的折半查找算法。二分查找优点是比较次数少，查找速度快，平均性能好；时间复杂度为O(lgN)。因此二分查找也成为了面试中的常问问题。二、算法分析二分查找就是将查找的键和子数组的中间键作比较，如果被查找的键小于中间键，就在左子数组继续查找；如果大于中间键，就在右子数组中查找，否则中间键就是要找的元素。三、编码实现package...

2018-08-14 14:06:37 592

原创选择排序详解（Java实现）

一、基本思想简单选择排序是最简单直观的一种算法，每一趟从待排序的数据元素中选择最小（或最大）的一个元素作为首元素，直到所有元素排完为止，简单选择排序是不稳定排序。在算法实现时，每一轮确定最小元素的时候会通过不断地比较交换来使得首位置为当前最小，交换是个比较耗时的操作。其实我们很容易发现，在还未完全确定当前最小元素之前，这些交换都是无意义的。因此可以通过设置一个变...

2018-08-14 13:10:50 27584 18

原创插入排序详解（Java实现）

一、基本思想插入排序（Insertion-Sort）的算法描述是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。二、算法描述 1.从第一个元素开始，该元素可以认为已经被排序； 2.取出下一个元素，在已经排序的元素序列中从后向前扫描； 3.如果该元素（已排序）大于新元素，将该元素移...

2018-08-14 10:58:54 553

原创冒泡排序详解（Java实现）

一、冒泡排序基本思想冒泡排序是一种简单的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果它们的顺序错误就把它们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。二、算法描述 1.比较相邻的元素。如果第一个比第二个大，就交换它们两个； 2.对每一...

2018-08-14 10:26:00 474 5

原创排序算法概述

一、算法分类十种常见排序算法可以分为两大类：非线性时间比较类排序：通过比较来决定元素间的相对次序，由于其时间复杂度不能突破O(nlogn)，因此称为非线性时间比较类排序。线性时间非比较类排序：不通过比较来决定元素间的相对次序，它可以突破基于比较排序的时间下界，以线性时间运行，因此称为线性时间非比较类排序。二、算法复杂度稳定：如果a原本在b前面，而a...

2018-08-14 10:13:04 165

原创快速排序详解（Java实现）

一、快速排序的基本思想每一轮的排序都会将区域分割成两个独立的分区，其中左分区的序列的所有值均会比右分区的所有值小。然后对子分区进行同样的分割操作，最后达到整体有序。在排序的过程中，由于已经分开的两部分的元素不需要进行比较，故减少了比较的次数，降低了排序时间。二、快速排序的详细描述首先在要排序的区域a 中选取一个基准值，而后将区域分成两个分区，其中左分区 b 中的元...

2018-08-14 09:46:18 15133 4

原创二十三、Oracle学习笔记：综合案例

--查看所有雇员的工资--view（当用户输入view后提示用户输入查看第几页，每页显示几条记录，排序关键列）create or replace package pack1 istype my_cursor_type is ref cursor;end;create or replace procedure fenye(v_pagenow in number,v_pagesize ...

2018-08-05 19:19:38 1845

原创二十二、Oracle学习笔记：Oracle异常

一、Oralce异常1.Oracle低层定义了很多异常，每个异常都有一个唯一的编码，这些异常之中，有一些是比较常见的，ORACLE 给这些异常定义了名称，可以直接使用，其他没有名称只有编码的不能直接使用。2.异常的分类 (1)预定义异常既有编码又有名称的异常是预定义异常，此类异常可以直接使用 (2)非预定义异常有编码但没有名称的异常是非...

2018-08-05 17:25:37 158

原创二十一、Oracle学习笔记：编写函数和触发器

一、函数或过程的选择 1.如果要进行DML（增删改）,选择存储过程 2.如果没有DML，选择函数二、函数1.格式 create or replace function 函数名(参数1 类型，参数2 类型，。。。) return 类型 is --变量声明区 begin --业务逻辑区 return 值; end; ...

2018-08-05 17:25:20 708 2

原创二十、Oracle学习笔记：编写存储过程

一、编写存储过程1.复用匿名代码块，我们需要使用存储过程，函数，触发器等，存储过程就是封装了一个匿名代码块，可以通过参数进行输入，输出值。我们可以通过调用有名称的存储过程来复用代码块。2.格式：create [or replace] procedure 名称[(参数1 类型，参数2 类型， ...)] is|as --变量声明区间 begin --业...

2018-08-05 17:04:08 1922 1

原创十九、Oracle学习笔记：行变量

一、行变量的学习说明：行变量可以存储表的一条记录格式：变量名表名%rowtype; 访问行变量中的字段: 变量名.字段名--练习:使用行变量输出显示10号部门的员工编号，姓名，职位 declare cursor c is select * from emp where deptno=10; row_emp emp%rowtype;--行变...

2018-08-05 16:43:20 1125

原创十八、Oracle学习笔记：PLSQL操作(含游标的操作)

一、PLSQL1.什么是PLSQL plsql(procedural language sql)是过程化SQL语言，是Oracle数据库中特有的编程语法，可以进行一些复杂的计算和功能，其实是在基本的sql语言中加入了循环，判断等逻辑的一种数据库编程方式。运行在Oracle数据库上。2.作用：可以更高效的进行大数据量的运算3.优缺点：优点：效率高缺点：编写与维护...

2018-08-05 16:27:32 752

原创十七、Oracle学习笔记：视图操作和表复制

=======================================================================================================视图：1:为什么要使用视图 (1)简化复杂查询 (2)限制某些数据的访问。安全2:视图是一张虚拟的表，对应了一个查询语句。操作视图里的数据，相当于操作基表中的数据。3:视图...

2018-08-05 15:49:41 1053

原创十六、Oracle学习笔记：索引和约束（表字段快速查询和约束）

一、索引 1.为了方便快速查找数据表中的记录，索引也是数据库中的一个对象，索引内部信息包含记录的rowid,相当于地址信息。 2.索引被创建后，由数据库自动维护。--格式： create [unique] index indexName on tableName(colName[,……])--练习：创建索引，使用员工表中的部门号和员工编号 create index...

2018-08-05 15:37:54 378

原创十五、Oracle学习笔记：序列（用于表字段值自增）

一、序列 1.序列是数据库中为数据表提供的可以自动生成的唯一数值，通常用来给主键字段赋值。可以递增或者递减。作为主键的字段，通常不人为赋值，需要使用序列自动生成的值。 2.序列关键字 sequence 序列和表一样，都是数据库中的对象。通常序列为一张表提供主键值。也可以为多张表的主键提供主键值。 3.序列的创建 create sequence seqNa...

2018-08-05 15:16:26 889

原创十四、Oracle学习笔记：集合操作

一、集合多个查询语句，有可能取并集，交集，差集， union:取两个查询语句的并集，去重 union all:去两个查询语句的并集，不去重 minus:取两个查询语句的差集，第一个查询语句减去第二个查询语句中的共同部分 intersect:取两个查询语句的公共部分(交集)--练习：查询10号部门的员工信息 2.查询20号部门的员工信息 3.取并集...

2018-08-05 11:18:16 193

原创十三、Oracle学习笔记：decode函数、排序函数和高级分组函数

一、decode 函数（1）用法：decode(colName,search1,result1,search2,result2.....,[default])（2）逻辑：检索colName的值，如果是search1结果就是result1，同理往后....否则使用default，没有default时，返回的是null--练习:年终发奖金，职位'MANAGER'发放月薪的1.2倍,职位'SA...

2018-08-05 10:51:53 1235

原创十二、Oracle学习笔记：分页查询

一、分页查询： rownum:是数据库中提供的一个伪列，作用是给记录分配行号，从1开始此时不能做区间查询，只能查询前多n条数据。--练习：查询员工信息，同时显示行号 select rownum,e.* from emp e;--练习：查询前5条员工信息 select * from emp where rownum<=5; 使用伪列做区间查询,只能先查询前...

2018-08-05 10:34:28 234

原创十一、Oracle学习笔记：高级关联查询

一、关联查询基础 1.意义：有时候所需要的数据需要依赖多个表，可能会在两个表或多个表中这个时候需要操作多个表，才可以得到需要的数据，而这种查询就叫做关联查询。--练习：查看部门表和员工表的信息 select * from emp,dept; --连接查询，会出现笛卡尔积，没有意义 select * from emp,...

2018-08-04 17:52:51 247

原创九、Oracle学习笔记：聚合函数

一、聚合函数（多行函数，分组函数）需求：查看员工表中最高月薪，查询每个部门的平均工资，索要的数据在表中无法直接体现，需要经过计算，需要统计多条记录，显示成一条记录 --所有的聚合函数都忽略null (1)max()、min():查看一组数据中的最大值，最小值--练习：查看员工表中的最高月薪和最低月薪 select max(sal),min(sal) from...

2018-08-04 17:05:21 466

原创十、Oracle学习笔记：基本查询语句各子句用法

一、查询语句的组成 select * from tname where 条件 group by colName having 条件 order by colName 这些子句的先后执行顺序： 1):from 子句：内部从右往左，从后往前执行 2):where 子句：内部也是从右向左，从后往前执行条件（当有多个条件时，如果某一个条件限制的记录数多，应该...

2018-08-04 16:46:55 789

原创八、Oracle学习笔记：日期函数

一、日期操作1.数据库日期类型 date:数据库常用的日期类型，可以存储年月日时分秒默认格式 dd-mon-rr,占用7个字节第一个字节：存的是值+100 第二个字节：存的是年 yyyy\yy 第三个字节：存的是月...

2018-08-04 16:22:59 560

原创七、Oracle学习笔记：数值函数

(1)函数：四舍五入函数--格式： round(p,n):对p四舍五入，n表示保留多少位小数，n不写，默认为零，n可以为负数 --练习：对数字3.14进行四舍五入 select round(3.14) as 四舍五入 from dual;--练习：对数字0.648四舍五入保留两位小数 select round(0.648,2) as 四舍五入 from dual;--练...

2018-08-04 15:41:26 241

原创六、Oracle学习笔记：字符串函数

一、字符串操作 char:定长字符串类型(无论存多少数据都是固定长度的大小，最大长度为2000个字节)，不指定长度时默认为一个字节 varchar2:可变长字符串类型，最大长度为4000个字节，必须指定长度 long:varchar2的加长版，最大长度为2G字节。但是一个表中只能有一个long类型的字段，此字段还不能作为主键，也不能做索引 colb:...

2018-08-04 15:35:33 253

原创五、Oracle学习笔记：DQL数据查询语句

一、DQL:数据查询语言（select:挑选，选择意思）--格式： select colName,...,... from tname; or select colName as nickName,... from tname;(as 可以省略不写) 二、虚表(dual)：oracle中提供的一个没有数据的表名，是给一些基础操作（如计算等）提供的基础...

2018-08-04 15:14:54 374

空空如也

空空如也