志明与数据

原创 DBeaver下载地址

数据库IDE工具，开源，免费。

原创 Hive随机获取1个字符/字母

随机取A-Z某个字母怎么写？

原创 Hive中复杂日期格式转换

Hive复杂日期格式转换，如：将 “12-5月 -23” 转成 “2023-05-12”。

原创 数据治理怪象

一千个人眼中就有一千个哈姆雷特

原创 如何理解数据质量中准确性和一致性的区别？

有位读者问道：“为什么数据质量维度同时包括准确性和一致性，不应该是准确性包括一致性吗，总感觉在中文字面上这两个词有重叠的地方”，本文主要是答群友问，欢迎留言探讨。

原创 10个成语理解项目管理的价值观和方法论

未雨绸缪为觉者，防微杜渐是上策。路虽远行则将至，事虽难做则必成。

原创 数据管理执行指南 | 你需要知道什么？

摘自《穿越数据的迷宫：数据管理执行指南》

原创 工作小记20201017-hive或inceptor相关

本篇日记为手机app码字前几天发现星环inceptor或hive的一个问题，可能是缺陷吧。我有一个分区表，分区字段为处理日期（procdate date），因为应用场景是为了增量数据，也定为每天只处理一批数据，这时那个procdate通常取值为当前日期（sysdate，星环支持一些oracle方言/函数），然而当我查询的时候发现一个性能问题现象，如下：select * from tablename where procdate=trunc(sysdate, ‘dd’)上面这个查询其实是没有数据的，但

原创 思考：如何做好需求

一个交办出去做了近两周的需求，在再次与客户确认后，推翻了重做，半天搞定，所以有时候真的，客户一句我也不知道要啥，你先做做看吧，真的就是无头苍蝇，做好几版本让选吧，都没选上，最后只有纸笔拿出来，边画边讲，最后一目了然，打完收工。有时候并不是你不愿意做，而是你不知道到底要做啥，做到什么程度，等价于：不是别人没听明白，而是你没说明白。大部分都是你以为你以为的就是你以为的。...

原创 CSV文件内容中的换行符等常见特殊字符处理过程记录

因为导入CSV格式数据到hive的时候，会出现错行错列的现象，经过排查，主要原因是CSV文件内容中含有换行符（\r\n，\n，\r）和转义符（\）导致。正常我们使用一下建表语句默认支持CSV文件解析（关键设置：ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'）create table test( a string, b string, c string)ROW FORMAT SERDE 'org.apache

原创 csdn

原创 很高兴来到这里

很高兴来到这个学习天地!希望向大家学习新技术哦!