- 博客(132)
- 收藏
- 关注
RSS订阅
原创 sparkSql 中三大数据抽象Rdd,dataFrame,dataSet 详述
1.Rdd2.dateFrame3.dataSet4.Rdd和dataFrame 相互转化5.Rdd和dataSet 相互转化6.dataFrame和dataSet 相互转化7.Rdd,dataFrame,dataSet的共性,区别
2020-03-10 12:59:02
1087
原创 hive中常用的重要函数NVL case when,行转列concat collect_set,列转行explode,时间函数date_format, date_add,next_day等等
介绍生产中经常使用的函数NVL 函数: 给值为NULL的数据赋值格式: NVL( value，default_value)功能: 如果value为NULL，则NVL函数返回default_value的值，否则返回value的值，如果两个 参数都为NULL ，则返回NULL。案例:hive (default)> select comm from emp;NULL 300....
2020-01-27 22:21:51
873
1
原创 hive 中排序order by,sort by,distribute by使用
1.使用 order by 子句做全局排序,Hive分析数据底层的实现是MapReduce,order by做全局排序,是通过只有一个reducer做到的hive (default)> select * from emp order by sal desc;2.sort by为每个reducer产生一个排序文件。每个Reducer内部进行排序，对全局结果集来说不是排序sort By：...
2020-01-27 14:26:09
4387
原创 spark 累加器
使用累加器三步骤定义累加器注册累加器使用累加器定义累加器:需要继承AccumulatorV2抽象类，实现父类的六个方法该案例累加器内部维护的是mutable.HashMapclass SesionAccumulator extends AccumulatorV2[String,mutable.HashMap[String,Int]]{ //必须可变的hashMap var...
2019-12-20 15:11:52
295
原创 安装Hue遇到的问题：Error: must have python development packages for 2.6 or 2.7. Could not find Python.h.
问题[xxx@hadoop-02 hue-3.7.0-cdh5.3.6]# make appsError: must have python development packages for 2.6 or 2.7. Could not find Python.h. Please install python2.6-devel or python2.7-devel". Stop.解决方式先export SKIP_PYTHONDEV_CHECK=1在make apps...
2021-04-15 23:26:30
1447
原创 hive创建数据库或者表的时候，无法创建出现MetaException异常
hive创建表或者数据库的时候 出现异常0: jdbc:hive2://hadoop-03:10000> create database if not exists db_o1;Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception:
2021-04-11 11:36:04
894
2
原创 linux中mysql 启动失败,显示: ERROR! The server quit without updating PID file (/var/lib/mysql/hadoop-03.pid)
错误信息Starting MySQL... ERROR! The server quit without updating PID file (/var/lib/mysql/hadoop-03.pid).原因在/usr/my.cnf 中添加了一行代码,用来修改字符集的default-character-set=utf8删除这一行,就可以正常启动了!!!有知道原因的回复一下...
2021-04-09 10:03:10
365
原创 请求和响应乱码解决
请求乱码（1）针对post请求,只解决请求正文乱码request.setCharacterEncoding(“utf-8”);String name = request.getParameter(“name”);（2）针对get请求(不安全，一般不用)String name = request.getParameter(“name”);//使用String的构造方法.String(byte[] b,String charset);name = new String(name.getBytes
2021-02-05 13:55:31
213
原创 请求转发&&请求重定向的区别
请求重定向代码： response.sendRedirect(url);浏览器执行俩次，浏览器的url会发生变化，相当于浏览器请求响应了俩次请求转发代码： request.getRequestDispatcher(url).forward(request,reponse);转发是服务器内部进行的，浏览器只执行一次，因为转发是服务器内部的，所以url 不用写项目名，默认当前项目，所以转发只能在本网站内部，同意的情况，因为转发在项目内，所以效率高一些区别注：/的问题。（在客户端浏览器执行的/代
2021-02-05 10:48:50
177
原创 IDEA如何创建web项目&& 部署项目到tomcat&&启动项目
(1) file–>new–>project—>选择Java Enterprise —>右侧选中 SDK/Java EE /勾选web Application—>next—>(2) next 之后，如下，填写项目名称接下来再在web中的WEB-INF下创建两个文件夹：classes和lib(其中classes存放编译后输出的class文件，lib用于存放jar包)并且按照下面方式配置classes为Excluded 文件夹存放源码的lib 设置为jar li
2021-01-29 10:44:00
128
原创 JDK的动态代理
JDK的动态代理目的：在不修改源码的基础上，对已有方法增强代理的方式JDK的动态代理是基于接口的动态代理：要求：被代理对象最少实现一个接口。提供者：JDK官方涉及的类：Proxy涉及的方法: newProxyInstance()：用于创建代理对象方法的参数：ClassLoader：类加载器，和被代理对象使用相同的类加载器。一般都是固定写法。Class[]：实现的接口。和被代理对象实现相同的接口。一般固定写法InvocationHandler： 如何代理。（想怎么增强方法，都写在这。）
2021-01-26 11:26:42
98
原创 IDEA中新moule创建类的时候没有class选项 无法创建类
异常如下：java包是灰色的点击new之后没出现class/pakage选项解决方法：（1）project structure—>modules–>sdk---->查看是添加否有jdk（2）java包—>Make directory as —>source root (前提第一步ok，我就是这一步解决的)...
2021-01-16 10:27:40
741
1
原创 Mysql的select 语句的执行顺序及注意事项
select语句书写顺序select …要显示的内容.. from …表名.. where 条件…. group by …分组的列 …having …分组后的条件… order by …排序底层执行顺序select …5… from …1.. where …2.. group by ..3…having ..4… order by ...6.即1. from : 表名 2. where：条件过滤(定义别名)3. group by : 分组(聚合函数执行)4. h
2021-01-11 09:24:34
356
1
原创 mysql表的约束&&Navicat 中复制建表create/更新update/插入insert语句
1. 建表语句create table 表名( 列名 数据类型 约束 ， 列名 数据类型 约束 约束， ………);2.约束1)主键约束:primary key作用：设置某一个字段为主键，主键的特性是唯一(不能重复)，并且不能为空。一般使用一个没有任何意义的字段，比如id作为一个主键（没有意义就不需要修改）。如果主键是一个int类型，还可以设置主键自增长。（即在插入记录的时候可以不用设置主键，让其自动以递增的形式添加）一张表中只能有一个主键create table 表名 (
2021-01-11 09:04:07
2429
原创 DBUtils的使用
DBUtils 介绍DBUtils工具类完成 DAO 的封装 ,简化DAO层代码编写核心类和接口是QueryRunner && ResultSetHandler,一起使用，完成数据表增删改查QueryRunner 框架核心类 ，所有数据库操作都是必须通过 QueryRunner 进行的ResultSetHandler 结果集封装接口，完成将ResultSet 结果集 封装为一个Java对象封装前案例 @Test public void query() throws S
2021-01-09 15:31:09
208
原创 javaSE经典三层架构 web service dao
web/service/dao 三层每层的作用三层结构目的就是解耦,一般分别在三个包下案例：使用三层结构和DAO模式登陆(1) 数据库信息(2). 创建数据库表对应的类Userpublic class User { private int id; private String username; private String password; private String email; public int getId() { ret
2021-01-03 20:26:26
1563
1
原创 Mysql 的sql注入是什么?怎么解决?
sql注入的原因语句和用户输入的内容进行拼接，发送给数据库编译的时候，数据库将用户输入的内容当成sql语句编译了。从而从根本上改变了我们开发者所期望sql语句原有的含义。导致程序受到sql攻击。sql注入的代码这案例用户名密码均错误也可以登陆,就是发生了sql注入public static void main(String[] args) throws Exception { //假设这里的用户名和密码是前端页面传递过来的。 String username = "ad
2020-12-30 11:56:20
546
原创 tar命令出现tar: 归档文件中异常的 EOF
错误gzip: stdin: invalid compressed data--format violatedtar: 归档文件中异常的 EOFtar: 归档文件中异常的 EOFtar: Error is not recoverable: exiting now解决方法:文件问题我这里重新上传就ok了
2020-12-16 14:22:01
13925
原创 spark 的RDD分区
RDD的俩种创建方1.从集合中创建RDD，Spark主要提供了两种函数：parallelize和makeRDD使用parallelize()从集合创建scala> val rdd = sc.parallelize(Array(1,2,3,4,5,6,7,8))使用makeRDD()从集合创建scala> val rdd1 = sc.makeRDD(Array(1,2,3,4,5,6,7,8))2.由外部存储系统的数据集创建RDD包括本地的文件系统，还有所有Hadoop支持的数据集
2020-11-03 21:00:15
373
原创 执行hive语句时候出现java.net.NoRouteToHostException
异常: java.net.NoRouteToHostException: 没有到主机的路由错误详情如下:java.net.NoRouteToHostException: No Route to Host from node-01/192.168.23.188 to node-02:8032 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由; For more details see: http:
2020-10-17 21:55:12
414
原创 VMware Workstation 未能启动 VMware Authorization Service
VMware启动虚拟机出错,显示:VMware Workstation 未能启动 VMware Authorization Service。您可以尝试手动启动 VMware Authorization Service解决方法:任务管理器---->服务—>找到VMAuthservice—>右击开始—>再重新启动虚拟机就ok啦...
2020-07-24 10:17:51
666
原创 java中static 和 final 关键字详解
static 关键字static 关键字属于一种修饰符,可以修饰成员属性,成员方法,内部类,代码块不能修饰构造器和局部变量使用static 修饰的成员称之为静态成员,没有static修饰的成员称之为普通成员(1) 修饰属性:随着类加载而加载到方法区,所有对象共享的a. 静态属性是所有对象共享的,一个对象更改,影响另外一个对象 普通属性是对象独享的b. 静态属性是随着类加载而加载(开辟空间),随着类的消亡而消亡,生命周期比较长 普通属性随着对象消亡而消亡c. 静态属性存储字方法区
2020-06-12 10:30:19
267
原创 Java面向对象节到总结细
面向对象概念面向过程&面向对象都是处理思考问题的方法面向过程概念:思考问题更加侧重与实现的过程,比较适合处理小型问题面向对象概念:以决策者的角色思考问题, 比较侧重于’谁来处理’,比较适合处理中大型问题面向对象和面向过程不是并不是完全独立的,一般来说宏观上先用面向对象的思想思考问题,细节上使用面向过程思考方式面向对象的实现的思路通过问题名词抽取法—>共同的行为属性抽象为类—>创建类—>创建对象如下图:类&对象的理解java最基本元素是类&对象
2020-06-10 16:26:26
115
原创 java中常用类Object详解
说明:Object是所有类的父类，任何类都默认直接或者间接继承Object,理论上由于所有的类都继承在Object类，因此省略了extends Object关键字。该类中主要有以下方法: toString(),getClass(),equals(),clone(),finalize(), 其中toString(),getClass(),equals是其中最重要的方法。Object类的构造Object类只有一个空参数构造器,虽然我们一般不new Object() 对象,但是需要一个空参数构造器,作用
2020-06-10 16:25:52
470
原创 java接口详解
接口理解抽象类可以理解为半成品,里面可以有抽象方法也可以有具体方法里面全是抽象方法的类就是接口,使用interface 关键字三者比较普通类(均是具体类)–>抽象类(有抽象方法也有具体方法)—>接口(只有抽象方法)接口的好处解决了类的单继承的缺点与类解耦接口的基本特点接口的成员:静态常量+抽象方法静态常量是public static final 修饰,必须初始化,接口中这些修饰符可以省略,默认也是这些修饰符修饰抽象方法: public abstract 修饰,一样可以省略,
2020-06-10 16:25:35
238
原创 Java继承的详解及案例
闲来无事复习以下哈哈哈哈哈继承概念继承概念一个类不用自己定义属性和方法,就已经具备了以一个类的属性和方法如何产生继承关系//extends 关键字class Sub extends Super{}继承特点及好处继承特点&好处a. 提高代码重用性能b. 提高代码扩展性能和维护性c. 为多态打下基础特点a. 子类继承了父类所有属性和方法,只是私有的不能直接访问而是通过公共的方法访问比如getName() setName()方法b. 子类不能继承父类构造器（类似初始
2020-06-06 22:08:52
1370
原创 集合底层结构和源码分析
集合java 中集合分为俩大类,一类保存单列数据的集合即Collection一类保存俩列数据的集合即Map单列集合Collection接口单列集合分俩类一类保存有序可重复List子接口,List的常见实现类的底层及源码https://blog.csdn.net/weixin_43548518/article/details/106173156一类保存无序不可重复Set子接口,Set的常见实现类的底层及源码https://blog.csdn.net/weixin_43548518/articl
2020-05-18 22:12:33
131
原创 Map 接口的俩个实现类Hashmap Hashtable Treemap底层结构&源码
Map 接口Java集合包括俩大类一类是保存单列数据的Collection接口,Collection又包括List 和Set子接口一类是保存双列数据的Map接口,常见的实现类为Hashmap , Hashtable TreeMap,PropertiesMap 接口的特点Hashmap 底层结构Hashmap 源码Hashtable 底层结构Hashtable 源码**Hashmap Hashtable 对比 **...
2020-05-18 21:33:48
335
原创 Set 的俩个实现类 HashSet TreeSet底层结构源码
前言Set 接口常见俩个实现类 :HashSet TreeSet倆个类的主要保存单列数据,数据无序不重复无序指写入顺序和取出顺序不一样HashSet TreeSet 基本操作都几乎相同,不同的是TreeSet 默认会将数据排序所以TreeSet 里面不能保存null 元素HashSet 底层结构和源码HashSet 创建底层直接创建了hashMaphashMap 底层是hashtable 就是hash表HashSet 底层维护了hashMap ,也是和hashMap 底层一样,是基于ha
2020-05-18 00:01:42
237
原创 ArrayList & linkedList & vector 底层结构
前言list 接口常见的三个实现类 :ArrayList / LinkedList / Vector三个类的主要保存单列数据,数据有序可重复创建对象,增删改查方法几乎一摸一样保存俩列数据的集合参考我的博客ArrayList底层结构和源码分析ArrayList 底层是可变数组,长度可变,数组长度不可变ArrayList list = new ArrayList();初始化ArrayList的时候底层创建了三个变量elementData 数组是Object[0] 数组长度为0size 为0
2020-05-17 17:50:48
505
1
原创 Mysql/hive 中视图view和表table的区别
视图的创建视图只能按照这种方式创建create psn_view asselect id , name from psn;视图和table 的创建从上述创建可以看出，视图是从一个或几个基本表导出的表。把复杂结果/重复接过保存下来；视图本身不存在独立存储在数据库中，是一个虚表。即数据库中只存放视图的定义而不存放视图对应的数据，这些数据仍然存放在导出视图的基本表中。当然hdfs中没有表目录这里看视图和表在数据库里的存储视图保存的是sql语句，类型显示为virtual_view视图查询视
2020-05-15 15:27:10
3798
原创 spark 的checkpoint 详解
Spark core的checkpoint（1）为什么checkpoint？虽然RDD的血缘关系天然地可以实现容错，当RDD的某个分区数据失败或丢失，可以通过血缘关系重建。但是对于长时间迭代型应用来说，随着迭代的进行，RDDs之间的血缘关系会越来越长，一旦在后续迭代过程中出错，则需要通过非常长的血缘关系去重建，势必影响性能。Spark中对于数据的保存除了持久化操作之外，还提供了一种检查点的机制，检查点（本质是通过将RDD写入Disk做检查点）是为了通过lineage做容错的辅助，lineage过长会造
2020-05-12 22:30:08
1602
原创 tail -F和tail -f区别
tail -f等同于–follow=descriptor，根据文件描述符（inode）进行追踪，当文件改名或被删除，追踪停止tail -F等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪...
2020-05-12 18:31:28
522
原创 Hbase精通---1.3.1版本
hbase 出现原因mysql行式存储，查询一列，因为列数据分散存储，所以查询效率比较低对行式存储列队增加删除效率也很低mysql 单表数据总容量最大值64t这时候就出现列式存储，代表就是hbase...
2020-05-11 15:40:45
324
原创 vi 命令常见快捷键
G(shfit+g):到文章末尾gg:到文章开头2+：光标往下2行dd:删除当前行d10d:删除当前光标行往下数10行dw： 删除光标后一个词yy:复制光标所在行4yy:复制四行内容p:粘贴复制的行????/ss/vv/g 替换当前行所有 vivian 为 sky/name: 全文查找单词name n 是下一个 name...
2020-04-28 09:19:38
1059
原创 rpc协议
经常看到rpc 端口rpc 是什么?rpc 其实是一种协议,就是进程之间的通信协议比如mysql 和java 之间通信就是进程间通信协议就是rpc 通信协议
2020-04-27 21:39:19
152
原创 hadoop中mapJoin和reuceJoin的区别和使用场景
sql 语句：select order.id, product.pname, order.amount from user join order on product.pid = order.pid 用mr 实现join ,这里包括mapJoin 和 reduceJoinreduceJoin的工作原理mapTask：对数据进行打标签区分数据不同源连接on 字段为key, 剩余部分+......
2020-04-25 22:19:25
385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人