- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hive中UDAF简单实现
需求：一个score表，就一个字段score，求其avg1>建表语句以及其数据create table test_score(score bigint);1030252592>具体实现代码package com.hnxy.function;import org.apache.hadoop.hive.ql.exec.UDFArgumentExce...
2019-08-14 23:02:10
829
原创 hive中分区表的创建
1>开启分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;否则会出抛出异常：2>创建分区表创建静态分区表：create table test_part_table(word string,num bigint )partiti...
2019-08-11 17:10:07
26197
1
原创 找不到主类或加载不了xx类
我的idea版本是2017.3.4，在pom.xml中设置<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</versio...
2019-08-02 23:50:32
275
原创 idea 中maven assembly 打包项目
使用assembly插件来打包项目：1>在pom.xml中配置assembly插件<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</...
2019-08-02 11:17:52
6924
1
转载 Shell中的数组及其相关操作
Shell中数据类型不多，比如说字符串，数字类型，数组。数组是其中比较重要的一种，其重要应用场景，可以求数组长度，元素长度，遍历其元素，元素切片，替换，删除等操作，使用非常方便。Shell中的数组不像JAVA/C，只能是一维数组，没有二维数组;数组元素大小无约束，也无需先定义数组的元素个数;但其索引则像JAVA/C/Python，从0开始，下面其常用的方式进行总结.【数组声明】...
2019-07-23 00:11:30
524
转载 Druid 配置及内置监控使用
Druid Monitor对于数据源，相信大家已经接触了不少了。比如c3p0、dhcp、proxool等，之后又发现使用tomcat-jdbc可以大大的提高性能。但是针对于我们的高并发的系统来说，总希望能找到一个性能更好、更稳定的产品来...
2019-06-26 18:55:07
6743
原创 深入HashSet底层源码，分析实现原理(数组扩容，链表，二叉树)
以add()方法为例，查看hashSet的底层源码实现，后面的源码啃不动了。。。。就我理解是数组+链表；当链表结构达到8个时候，会将前面的8个链表转换成二叉树结构，而不是以第8个链表为根节点，往后依次形成二叉树，即将数组+链表变成了数组+二叉树，所以最终的结构可能是：数组+链表+二叉树，其中二叉树以数组为基础，而不是以链表为基础，即不会在链表后面形成二叉树，而是将链表(达到8个结点)转换成二叉树。...
2019-06-10 00:59:47
1194
2
原创 LinkedList中removeFirst()底层源码分析
LinkedList底层是链表结构public E removeFirst() { final Node<E> f = first; if (f == null) throw new NoSuchElementException(); return unlinkFirst(f);}first指向链表...
2019-06-09 15:05:01
3542
1
原创 LeetCode中175题(combine two tables)
Mysql:(左外连接)select p.FirstName FirstName,p.LastName LastName,a.City City,a.State Statefrom Person pleft join Address aon p.PersonId = a.PersonIdOracle:SELECT FirstName, LastName, City, St...
2019-06-02 21:07:42
149
原创 Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space
在idea中本地访问hive中的数据：val df = spark.sql("select * from badou.order_products_prior")df.show(10)出错：Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space。order_product...
2019-04-13 09:22:24
664
转载 JVM中_XmnXmsXmxXss有什么区别
原文：https://blog.csdn.net/ooppookid/article/details/515309321、XmnXmsXmxXss有什么区别首先，Xmn、Xms、Xmx、Xss都是JVM对内存的配置参数，我们可以根据不同需要区修改这些参数，以达到运行程序的最好效果。了解jvm内存管理看这里：jvm是如何管理内存的Xms、Xmx-Xms、-Xmx分配用来设置进程堆内...
2019-04-13 08:53:51
2512
原创 java.net.URISyntaxException: Relative path in absolute URI: file:H:/Work_Space/idea/Jieba_kryo/spark
在idea上本地调试spark出错如下：Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:H:/Work_Space/idea/Jieba_kryo/spark-warehouse ...
2019-04-12 08:49:34
705
转载 SQL With As 用法
原文：https://www.cnblogs.com/Niko12230/p/5945133.html一．WITH AS的含义WITH AS短语，也叫做子查询部分（subquery factoring），可以定义一个SQL片断，该SQL片断会被整个SQL语句用到。可以使SQL语句的可读性更高，也可以在UNION ALL的不同部分，作为提供数据的部分。对于UNION ALL，使用WITH...
2019-04-11 16:41:24
149
转载 Hive 求学生成绩的最好课程（课程名+分数）、最差课程（课程名+分数）、平均分
原文：https://blog.csdn.net/goldlone/article/details/88856133题目描述有一张hive表，表名stdent_score，包含两列，分别是学生姓名name(类型string)，学生成绩score(类型map<string,int>),成绩列中key是课程名称,例如语文、数学等，value是对应课程分数(0-100)，请用一个hq...
2019-04-11 16:27:34
1223
原创 java.lang.Exception: Unknown container. Container either has not started ...Yarn日志监控
在hadoop平台运行任务出错，想查看日志，但是点击logs显示一段提示信息。 查阅资料后得知，是未开启historyserver服务，其默认关闭，是一个独立的服务，网页查看端口号默认：19888，可在yarn-site.xml中配置，配置完后将配置文件复制到其他节点上，同时注意，我指定的是newmaster地址，所以需要在newmaster机器上启动（你也可以指定其他地址，启动时...
2019-02-24 21:36:16
6502
原创 sql中grouping运算符rollup,grouping()
mysql不支持grouping运算符，目前仅仅支持rollup。建表：CREATE TABLE Employee( ID number(10) not null primary key, EmpName varchar(20), EmpSalary varchar(10), EmpDepartment varchar(20));insert all into Emp...
2019-02-21 23:10:31
2568
原创 group by 和 over(partition by)的区别
废话不多说，直接来干货！1>建表并插入数据，因为over是开窗函数，mysql不支持开窗函数，其他如oracle,sql server,db2...等新版本都支持(这里借用他人的数据)CREATE TABLE Employee( ID number(10) not null primary key, EmpName varchar(20), EmpSalary var...
2019-02-21 01:59:52
22380
11
原创 解决Hive中文乱码
在Hive中建表时，添加字段commment中文注释以便查看，但是desc 表名时出现乱码"??"，网上查阅资料总结了一下解决方案，步骤如下：1>在/etc/my.cnf中的[mysqld]后添加以下内容 init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8'...
2018-10-15 18:13:56
6241
原创 Spark安装以及配置
1>安装spark前，先安装好scala，https://blog.csdn.net/dwt1415403329/article/details/827247572>在/usr/local/src/中解压spark-2.0.2-bin-hadoop2.6.tgz3>在spark根目录中，进入/conf目录下，创建slaves和 spark-env.sh文件，我这里配的是集...
2018-09-16 16:58:05
292
原创 Centos7中Scala安装以及配置
1>安装scala需要java支持，需先安装jdk(这里就不介绍了)2>在/usr/local/src/中解压scala-2.11.4.tgz3>vim ~/.bashrc在其中添加SCALA_HOME=/usr/local/src/scala-2.11.4，export PATH=$PATH:$SCALA_HOME/bin，保存退出，然后source ~/.bash...
2018-09-16 15:23:14
1351
原创 Centos7修改主机名的方法
我想把主机名改成dwt，每次登陆时不再是localhost，而且可以区分其他节点。1>修改/etc/sysconfig/network中的内容，将原来的内容删除，添加HOSTNAME=dwt，然后保存退出即可。再修改/etc/hosts中的内容，在原来内容的基础上，再添加一行内容：192.168.146.22(ip) dwt即可。一般情况这样改就可以了，重启。2> 如果1步骤...
2018-09-16 14:37:17
274
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人