4 咖啡豆丁

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 47w+

hive周日期处理

--本周星期几select if(pmod(datediff('2020-07-08', '1920-01-01') - 3, 7)='0', 7, pmod(datediff('2020-07-08', '1920-01-01') - 3, 7));--一年的第几周,跨年的周算在周天数比较多的年份select year(date_sub(next_day('2021-01-01','mo'),4))*100+weekofyear('2021-01-01');--本周周一日期select d.

2020-07-08 10:46:03

java 大根堆

PriorityQueue<Integer> maxHeap = new PriorityQueue<Integer>(k, new Comparator<Integer>() { public int compare(Integer o1, Integer o2) { return o2.compareTo(o1); }});

2020-06-11 17:17:32

scala option应用

--模式匹配val a:Option[Int] = Some(5)a match {case Some(s) => println(s)case None => print("None")}

2020-05-25 17:18:34

链表定义

public class ListNode { int val; ListNode next; ListNode(int x) { val = x; }}

2020-05-25 14:19:50

excel常用函数

--excel转时间格式=TEXT((LEFT(B2,10)+8*3600)/86400+70*365+19,"yyyy-MM-DD HH:mm:ss")

2020-05-23 15:30:57

maven打包无pom项目命令

mvn install:install-file -Dfile=D:\Project\hello.jar -DgroupId=com.hello.udf -DartifactId=hello -Dversion=1.0 -Dpackaging=jar -DgeneratePom=true

2020-05-23 11:40:39

spark-shell启动和退出

--启动spark-shell --master yarn --deploy-mode client \ --queue queue \ --driver-memory 1G --executor-memory 6G --executor-cores 4 \ --num-executors 30 --退出:quit

2020-05-23 11:38:53

hive创建表

--hive创建表use database;drop table hello;create external table if not exists hello(a string,b string,c string)partitioned by (date string)row format delimited fields terminated by '\001' stored as sequencefilelocation 'base_path/hello';

2020-05-23 11:13:56

shell时间

#获取几个月前对应的日期month=`date -d "$date -$num month" +"%Y%m%d"`#获取几个月前对应的月份first=`date -d "$date" +"%Y%m"`month=`date -d "${first}01 -$num month" +"%Y%m"`#获取几天前的日期day=`date -d "$date -$num days" +"%Y%m%d"`...

2020-05-23 11:03:22

scala 时间

/** * 获取完整时间 * * @return */ def fullTime: String = { val today = new Date val f = new SimpleDateFormat("yyyyMMddHHmmss") f.format(today) } /** * 获取天时间 * * @return */ def dayTime: String = { val t...

2020-05-23 10:43:42

省份简称

"京"->"北京市""津"->"天津市""沪"->"上海市""渝"->"重庆市""蒙"->"内蒙古自治区""新"->"新疆维吾尔自治区""藏"->"西藏自治区""宁"->"宁夏回族自治区""桂"->"广西壮族自治区""港"->"香港特别行政区""澳"->"澳门特别行政区""黑"->"黑龙江省""吉"->"吉林省""辽"->"辽宁省""晋"->"山西省""冀"->"河北省""青"-&

2020-05-23 10:35:51

不可见分隔符

--不可见分隔符定义val separator = "\001"--不可见分隔符分隔row.split("\\x01")

2020-05-23 10:33:13

hive常用参数优化

--中间结果压缩set hive.exec.compress.intermediate=true;set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;--sequeuencefile文件输出结果压缩set hive.exec.compress.output=true;set io.seqfile.compression.type=block;set mapred.output.com.

2020-05-23 10:27:19
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。