- 博客(13)
- 收藏
- 关注
RSS订阅原创 合并线段 java
合并线段 javae.g. [0, 1] [1, 4] [4, 5] [5, 8] [2, 6] [3, 10] -> [0, 1] [1, 10] ...
2022-06-15 11:34:36
312
原创 grafana修改时区
从数据库里查出来的时间格式 和实际差了8个小时可以在 Configuration -> Preferences -> TimeZone 修改为UTC
2021-06-25 10:31:59
5633
原创 Java正则提取字符串中的数字 分段提取
import java.util.LinkedList;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;public class StringUtil { /** * 获取字符串中的数字 分段提取 * @param str * @return */ public static List<String> get.
2020-12-18 11:33:19
1287
原创 Allure+testng maven配置
想把testng的报告改成Allure的，因为Allure里可以显示图片。网上找了半天，maven配起来一直再报错，可能版本不对，最终根据官网指导，成功运行。LAST_VERSION：2.13.5https://docs.qameta.io/allure/#_testng<properties> <aspectj.version>1.8.10</aspectj.version></properties><dependenc
2020-09-18 16:36:51
688
原创 Spark中Dataset[Row] Row.getAs[T](fieldname)无效的解决方案（Scala）
在spark中使用Dataset[Row]也就是DataFrame做处理时，如果改变了数据结构，并用implicit Encoder做隐式转换，会出现数据格式无效，在后续处理的时候无法使用 row.getAs[T](fieldname)来获取数据。可能是在spark处理的时候丢失了行数据的格式，在dataset上获取schema可以获得隐式转换中的数据结构，但是处理行数据的时候，schema值...
2019-12-06 13:13:57
4961
原创 利用spark内置函数读取文件名或文件所在路径
spark读取数据的时候常见一个需求，需要读入文件所在路径，例如读入数据的时候需要分区路径（通常是日期）。其实hive中就有内置函数可以直接读入文件路径 INPUT__FILE__NAME，只不过通常不太用，所以spark-sql里也有函数可以直接读取部分文件信息的。需要用到spark2.0.functions.input_file_name()import java.util.{...
2019-07-22 18:23:46
1853
1
原创 利用repartition和mapPartitions替代reduce功能
数据：用户，时间，地点 样例：10001,20190401 14:20:06,2000000001000001000000000004879310002,20190612 00:36:24,0000000100000005000000000018136210002,20190612 01:49:05,00000001000000050000000000181362需求统计：用户在每个...
2019-07-01 14:05:46
674
转载 Stream创建斐波那契数列
Stream 流 是递归的数据结构，包含一个表头（当前元素）和一个表尾（集合的其余部分）。可以利用一个函数和函数的递归调用来构建流。Stream.cons(head,tail) head是Stream中的表头，tail是余下的元素
2017-10-12 18:12:16
781
原创 Hive中not in函数的小坑
Hive中的not in函数有一个隐藏的陷阱，当not in() 中的数值包含NULL，匹不上的数据会返回NULL而不是True。所以当在where中使用not in子查询进行筛选，一定要记得去除NULL值。样例代码：--not in的原始结果select num,num not in (null,'2'), num not in (null,'2') and tru
2017-03-22 15:29:24
1851
原创 小程序：递归实现所有变位词的排列组合
找出一个单词的所有变位词，例如给到单词“stop”，找到对应的变位词“pots”和“tops”。采用暴力解法的话，把所有的可能性都排列组合一遍，一个一个判断；在排列组合这步很适合用递归来实现，写了个小程序测试了下。输入样例：abcd输出样例：abcd,abdc,acbd,acdb,adbc,adcb,bacd,badc,bcad,bcda,bdac,bdca,cabd,ca
2017-03-13 21:44:41
828
原创 Java从文本文件中读取数据，导致Map中Key值重复
有一个需求，从文本文档中读取数据，作为Map中的Key值。例如文本文件中有两行内容：keykey将每行的数据作为Map中的Key值，此时Map中应该只有一个Key，但在实际操作的时候会发现Map中有两个Key。
2016-11-26 10:45:23
1113
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人