8 神罗天征-长门

尚未进行身份认证

暂无相关简介

等级
TA的排名 21w+

Hive中UDAF简单实现

需求:一个score表,就一个字段score,求其avg1>建表语句以及其数据create table test_score(score bigint);1030252592>具体实现代码package com.hnxy.function;import org.apache.hadoop.hive.ql.exec.UDFArgumentExce...

2019-08-14 23:02:10

hive中分区表的创建

1>开启分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;否则会出抛出异常:2>创建分区表创建静态分区表:create table test_part_table(word string,num bigint )partiti...

2019-08-11 17:10:07

找不到主类或加载不了xx类

我的idea版本是2017.3.4,在pom.xml中设置<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</versio...

2019-08-02 23:50:32

idea 中maven assembly 打包项目

使用assembly插件来打包项目:1>在pom.xml中配置assembly插件<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</...

2019-08-02 11:17:52

Shell中的数组及其相关操作

Shell中数据类型不多,比如说字符串,数字类型,数组。数组是其中比较重要的一种,其重要应用场景,可以求数组长度,元素长度,遍历其元素,元素切片,替换,删除等操作,使用非常方便。Shell中的数组不像JAVA/C,只能是一维数组,没有二维数组;数组元素大小无约束,也无需先定义数组的元素个数;但其索引则像JAVA/C/Python,从0开始,下面其常用的方式进行总结.【数组声明】...

2019-07-23 00:11:30

Druid 配置及内置监控使用

Druid Monitor对于数据源,相信大家已经接触了不少了。比如c3p0、dhcp、proxool等,之后又发现使用tomcat-jdbc可以大大的提高性能。但是针对于我们的高并发的系统来说,总希望能找到一个性能更好、更稳定的产品来...

2019-06-26 18:55:07

深入HashSet底层源码,分析实现原理(数组扩容,链表,二叉树)

以add()方法为例,查看hashSet的底层源码实现,后面的源码啃不动了。。。。就我理解是数组+链表;当链表结构达到8个时候,会将前面的8个链表转换成二叉树结构,而不是以第8个链表为根节点,往后依次形成二叉树,即将数组+链表变成了数组+二叉树,所以最终的结构可能是:数组+链表+二叉树,其中二叉树以数组为基础,而不是以链表为基础,即不会在链表后面形成二叉树,而是将链表(达到8个结点)转换成二叉树。...

2019-06-10 00:59:47

LinkedList中removeFirst()底层源码分析

LinkedList底层是链表结构​public E removeFirst() { final Node<E> f = first; if (f == null) throw new NoSuchElementException(); return unlinkFirst(f);}first指向链表...

2019-06-09 15:05:01

LeetCode中175题(combine two tables)

Mysql:(左外连接)select p.FirstName FirstName,p.LastName LastName,a.City City,a.State Statefrom Person pleft join Address aon p.PersonId = a.PersonIdOracle:SELECT FirstName, LastName, City, St...

2019-06-02 21:07:42

Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space

在idea中本地访问hive中的数据:val df = spark.sql("select * from badou.order_products_prior")df.show(10)出错:Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space。order_product...

2019-04-13 09:22:24

JVM中_XmnXmsXmxXss有什么区别

原文:https://blog.csdn.net/ooppookid/article/details/515309321、XmnXmsXmxXss有什么区别首先,Xmn、Xms、Xmx、Xss都是JVM对内存的配置参数,我们可以根据不同需要区修改这些参数,以达到运行程序的最好效果。了解jvm内存管理看这里:jvm是如何管理内存的Xms、Xmx-Xms、-Xmx分配用来设置进程堆内...

2019-04-13 08:53:51

java.net.URISyntaxException: Relative path in absolute URI: file:H:/Work_Space/idea/Jieba_kryo/spark

在idea上本地调试spark出错如下:Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:H:/Work_Space/idea/Jieba_kryo/spark-warehouse ...

2019-04-12 08:49:34

SQL With As 用法

原文:https://www.cnblogs.com/Niko12230/p/5945133.html一.WITH AS的含义WITH AS短语,也叫做子查询部分(subquery factoring),可以定义一个SQL片断,该SQL片断会被整个SQL语句用到。可以使SQL语句的可读性更高,也可以在UNION ALL的不同部分,作为提供数据的部分。对于UNION ALL,使用WITH...

2019-04-11 16:41:24

Hive 求学生成绩的最好课程(课程名+分数)、最差课程(课程名+分数)、平均分

原文:https://blog.csdn.net/goldlone/article/details/88856133题目描述有一张hive表,表名stdent_score,包含两列,分别是学生姓名name(类型string),学生成绩score(类型map<string,int>),成绩列中key是课程名称,例如语文、数学等,value是对应课程分数(0-100),请用一个hq...

2019-04-11 16:27:34

java.lang.Exception: Unknown container. Container either has not started ...Yarn日志监控

在hadoop平台运行任务出错,想查看日志,但是点击logs显示一段提示信息。 查阅资料后得知,是未开启historyserver服务,其默认关闭,是一个独立的服务,网页查看端口号默认:19888,可在yarn-site.xml中配置,配置完后将配置文件复制到其他节点上,同时注意,我指定的是newmaster地址,所以需要在newmaster机器上启动(你也可以指定其他地址,启动时...

2019-02-24 21:36:16

sql中grouping运算符rollup,grouping()

mysql不支持grouping运算符,目前仅仅支持rollup。建表:CREATE TABLE Employee( ID number(10) not null primary key, EmpName varchar(20), EmpSalary varchar(10), EmpDepartment varchar(20));insert all into Emp...

2019-02-21 23:10:31

group by 和 over(partition by)的区别

废话不多说,直接来干货!1>建表并插入数据,因为over是开窗函数,mysql不支持开窗函数,其他如oracle,sqlserver,db2...等新版本都支持(这里借用他人的数据)CREATETABLEEmployee(IDnumber(10)notnullprimarykey,EmpNamevarchar(20),EmpSalaryvar...

2019-02-21 01:59:52

解决Hive中文乱码

在Hive中建表时,添加字段commment中文注释以便查看,但是desc 表名时出现乱码"??",网上查阅资料总结了一下解决方案,步骤如下:1>在/etc/my.cnf中的[mysqld]后添加以下内容 init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8'...

2018-10-15 18:13:56

Spark安装以及配置

1>安装spark前,先安装好scala,https://blog.csdn.net/dwt1415403329/article/details/827247572>在/usr/local/src/中解压spark-2.0.2-bin-hadoop2.6.tgz3>在spark根目录中,进入/conf目录下,创建slaves和 spark-env.sh文件,我这里配的是集...

2018-09-16 16:58:05

Centos7中Scala安装以及配置

1>安装scala需要java支持,需先安装jdk(这里就不介绍了)2>在/usr/local/src/中解压scala-2.11.4.tgz3>vim ~/.bashrc在其中添加SCALA_HOME=/usr/local/src/scala-2.11.4,export PATH=$PATH:$SCALA_HOME/bin,保存退出,然后source ~/.bash...

2018-09-16 15:23:14

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。