- 博客(117)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Impala累计去重计数
那么就需要另辟蹊径，思考其他解决方案，结合其他函数，完成累计去重计数，尽量满足分析需求；③ 按照上述步骤，先保证每个员工只有一条记录的序号为1，再进行序号为1的数据求和，即可以实现对加班数据，进行计算每天累计有多少名员工加班。通过以上方式，通过巧妙使用row_number下每个分区下只会有一个1的特点，就可以在Impala中实现累计去重计算，希望可以帮助大家。② 根据①的结果，按加班日期进行分区，只求和序号为1的数据，其他数据均处理为0，不做求和。与 decode() 结合，实现累计去重计算；
2023-10-13 09:41:04
331
原创 Impala计算时间精度差unix_timestamp
目前我了解到impala中现成的时间差只到日期，所以要精细到时间的话，就需要使用其他函数进行结合计算；如果读者你是计算日期差、月份差等以日期为精度的需求，可以参考前面我已经发过一篇文章，里面有介绍计算日期查、月份差的场景和demo，可以链接参考。通过以上的方法，就可以实现数据之间计算时间间隔，得到秒钟差，进而计算分钟差、小时差等数据，希望能够帮上大家。，如计算分钟差就用：/60，计算小时差就用：/3600，以此类推。如果是需要计算小时差、分钟差，秒钟差，请接着阅读下面的内容。1、将两/多个时间数据进行。
2023-04-18 16:04:35
1204
1
原创 Impala实现group_concat分组排序拼接
首先，先声明：常见数据库Oracle、Mysql、MSsql等，是支持group_concat中使用order by的，但是。注意：在步骤2中，如果不用row_number，只用order by排序，最后结果集还是会回到原始顺序，无法完成排序聚合。因为业务上强烈要求进行数据排序，所以我也是绞尽脑汁，最后找到了。如上，通过上述实现步骤，就可以实现Impala的分组排序拼接；1、先完成聚合前的数据筛选，完成数据过滤。
2023-03-29 10:38:27
3520
5
原创 Impala中replace和translate的用法和区别
在Impala中，还有一个字符串替换函数 translate，也可以用于做函数替换，只是用法上有一些区别，有些场景下比replace更好用，有些场景下只能用replace。那么，在单个字符替换的场景下，如果我们需要进行多次单个字符替换，即多层replace 嵌套的时候，我们可以用translate 来解决我们的需求，避免多层嵌套，降低解读成本，简化代码量；上面的示例很明显，replace 是进行整串字符串的替换，如果是单个字符的替换，那么 replace 和 translate 的效果是一致的；
2022-11-16 13:29:21
2413
原创 Impala查找指定字符位置instr
往往有时候，我们未必知道该字符所在的位置，也不能断言该字符就是从某位置开始，不能觉得理所当然，此时我们就需要应用 instr 函数，先进行字符的定位，再配合其他函数，如截取场景，进行查询函数的搭配使用，以达到我们的预期效果，这正式我们应用 instr 的目的和价值所在；以上，instr是一个在我们需要进行数据字符定位时，一个很好的函数，在Impala中，通过instr进行查找指定字符位置，应用instr函数，以及配合常见的字符截取函数，就能达到一些数据位置未知的情况下进行数据截取的应用，希望对大家有帮助。
2022-11-15 17:34:00
2286
原创 Impala解决cast导致UDF ERROR: Decimal expression overflowed
在使用cast as decimal时，有时会发生报错，报错内容大致为：UDF ERROR: Decimal expression overflowed；有兴趣了解原因的小伙伴们，可以把你的 decimal(m,n) 改成 float ，你就会发现，该字段有的结果是NaN。，如果有某条数据中除数是0，那么就会导致上述报错，而使我们的impala sql 不能正常运行。也许他没发现问题所在吧，我们在这里就说明一下发生以上报错，具体解决方式是什么。那么解决这个问题的方式就有啦，那就是做除法运算之前，做一下判断，
2022-11-14 17:41:07
2432
原创 Impala自定义排序decode
我现在自定义排序都是用临时表，join一下就可以解决排序问题；在开发过程中，代码既清晰，又方便维护，甚至可以方便用于做其他数据的关联，所以现在已经很少用函数自定义排序了；如上，decode函数有点不一样，除了需要说明排序字段、指定值之外，还需要说明对应的显示顺序；也就是说，只要说明了对应排序时的顺序，即使代码写入的时候是乱序的，也是允许的。将字段column中，指定值str、str2、str3，按照num1、num2、num3的排序顺序，进行正序排序。不同于其他数据库，有的是用field、有的用sort。
2022-11-10 15:46:19
1341
原创 Impala字符串截取left、right、substr/substring
此处Impala查询中，不支持mid函数，改为substr（substring也一样），其他同样支持left 和right。字符串的数据截取，是常见的一种需求，开发过程中往往要根据截取某段字符，进行数据的校验、匹配、关联等等。有的数据库中的字符串截取用的是left、right、mid。返回从左侧开始计算，指定length长度的字符串。
2022-11-10 15:16:18
5091
原创 Impala数据类型转换cast（可解决小数后长串数字问题）
数据类型转换是一个常见的需求，因为有一些函数、或者运算时，对数据类型有严格要求，所以在做运算前，都需要将数据先进行数据类型的转换，此处就需要用到cast，转为string、timestamp、decimal等等。虽然批量计算时，有一些数据计算是不会有长串小数的问题，但是只要有，就影响到了用户体验感（我是产品），所以后来我改用cast，直接改成。也是刚巧遇到的现象，愚笨的我一开始也蒙在鼓里，希望跟我一样遇到这种现象的读者，通过我上面的解释，能解决你的疑惑和问题哈。，这就跟我们的预期违背了；
2022-11-10 15:02:55
2889
原创 Impala时间转换to_date、to_timestamp
在时间的运算上，也常常使用到日期格式的转换，如日期字符串转为日期型，日期转为格式化字符串，是两种常见的需求；另外也有需要将时间转为时间戳的场景等等；把string类型的timestamp转化成时间戳Unix。把string类型的date或日期转化成时间戳Unix。指定时区的时间戳转化为UTC时区的时间戳。UTC时区指定时间戳转化为指定时区时间戳。，即可满足日期字符串转为日期型的需求；把时间戳秒数转化为本地地区中的字符串。，可以满足具有时间戳要求的场景；时间数据的转换上，主要用。返回时间戳对应的date。
2022-11-10 14:27:00
9581
原创 Impala计算日期差datediff
在数据库查询上，除了获取当前日期、进行日期加减外，常见的还有计算两个日期之后的日期差，为一些指标的计算提供时间基础；Impala中常用的日期差函数 datediff，就是用来计算两个日期之间的间隔；类似日期差的计算中，还有其他计算时间差的函数，如计算月份差（int_months_between）、浮点数月份差（months_between）、日期大小比较（date_cmp、timestamp_cmp）
2022-11-10 14:11:14
5892
原创 Impala时间加减date_add
在时间加减上，有很多函数可以使用，大部分sql中通用的是date_add，而且date_add比较灵活，可以自由设置加减类型，如年、月、日、时、分、秒等等。Impala中还自带了很多时间检查函数，这里逐个示例，不过函数太多，当然是推荐大家记住date_add一个就可以了哈。以上就是相关时间加减函数的用法介绍和示例，最后，依然建议大家使用date_add，比较全能，记住一个就行。前面先示例date_add的用法，在示例其他时间加减的函数。使用参数计算日期增量值（增加）使用参数计算日期增量值（减少）
2022-10-11 16:17:42
4326
原创 Impala获取时间信息
很久以前的笔记，翻出来分享（因为很多笔记可以胡乱写，自己看得懂就行，这里还是要规规矩矩的，哈哈）这里主要演示获取当前日期的信息，如具体日期、年份、月份、季度、日、时、每周第N天等等。话不多说，直接上代码和演示结果。
2022-10-11 14:41:42
2946
原创 Python进行数组的排序、倒序、截取
以上只示例用法，其实搭配起来使用可以有很多好处，不过还是要根据大家的实际场景进行使用，这里就不写太多，免得眼花缭乱，毕竟我们来看文章是来快速找出解决办法的哈。这里涉及到的场景，是对无序数组，需要进行有序排序的场景；结合起来就可以是对数组排序后，进行数组的取舍。也可以是对数组内容，进行头部取舍的场景；操作，取舍是对数组进行单冒号。排序是对数组中进行双冒号。
2022-10-11 14:28:28
3677
原创 Python元组转字典
我这里用到元组的场景，主要是用python进行数据库查询后，即cur.execute后，fetchall出来的，全部都是元组，不方便进行操作。元组是一个比较头疼的数据类型，至少以前在我这里是的，很不方便进行指定数据的提取、筛选、操作等等；而为了我在脚本中进行方便的操作、明白索引含义，我就会将其转成字段，方便我处理多种场景需求。
2022-10-11 14:06:27
1270
原创 Pandas处理和转置excel数据
之前帮同事处理的excel文件，因为表头是重复向右延伸，导致有很多列其实含义一致，但又不方便存储；为了方便将该excel的数据直接入库，此处需要将excel中进行处理，删除不必要的标题行、转置excel的行列等等。
2022-10-11 13:51:25
1137
原创 Pyhton中用pandas解决excel中身份证号不全问题
这是一个偶然事件，朋友在收集人员信息，但他收到的excel文件中，身份证号显示不全，溯源摇人也没有解决这个问题（建文件的人也没有了身份证号），然后我也是抱着试试的态度，帮他解决了这个问题。我这里的记录数不多，仅400行、7列，所以下面的代码只处理这些而已，大家可以根据自身情况，调整 i 和 j 的范围。当然，该处理方式也同样适用于银行卡号等长串数字的场景。
2022-10-11 13:35:21
810
原创 Python判断是否数字、字母
此处介绍的函数用来判断字符串是否数字、是否字母、是否字母/数字/字母+数字的组合。在日常脚本中，获取到数据后，偶尔要进行数据的校验，以便判断下一步执行的内容；用来判断是否字母/数字/字母+数字的组合。
2022-10-11 13:22:55
4617
原创 Python获取中国疫情数据（最新版）
获取疫情数据的脚本是2020年就写了，网上有多个地方可以获取；比如百度有：实时更新：新型冠状病毒肺炎疫情地图腾讯有：实时更新：新冠肺炎疫情最新动态因为一开始写的时候，觉得比较简单，所以一直没有分享出来不过最近大家可能会发现，部分接口的脚本跑不通了，这里是因为某个接口拿到的json串已经不完整了，有乱码了，导致json解析失败，数据自然也用不了了（其实之前也出现过，短暂几天）这个问题其实找出一个正常的api接口，换上就可以了
2022-05-18 13:53:31
1915
11
原创 Python用SMTP自动发送邮件email
发送邮件是一个常见的需求，一般会采用SMTP代理的形式，进行邮件自动发送在发送邮件时，主要有如下内容需要准备：① 发件人、收件人、抄送人② 发件人邮箱授权码③ 邮件主题④ 邮件正文⑤ 附件授权码的获取这里需要说明一下，比如QQ邮箱的授权码，需要在电脑上登录自己的QQ邮箱，在“设置”中找到。。。。。，如图所示为获取授权码的示例截图，将发送人邮箱授权码copy下来以便后面SMTP代理使用接下来示例用QQ邮箱，自动发送几个格式的邮件1、发送只有文本正文的邮件2、发送
2022-04-21 13:43:03
1882
原创 Python自动打开浏览器、输入账号密码、登录、截图
这里示例一下通过python，自动打开网页，登录后自动截图总体思路如下：① 加载Chrome浏览器驱动程序（下载地址） 具体下载方式可以参考：使用selenium自动打开谷歌浏览器② 打开url链接（此处建议sleep等待一下，避免网速或内存不良时，导致网页打开较久的问题）③ 找到账号密码的输入框④ 输入账号密码⑤ 点击登录按钮⑥ 全屏，避免不同分辨率导致页面布局的问题⑦ 逐步点击需要截图的链接位置⑧ 若有多个需要打开，需要将目录折叠回原样，或者F5刷...
2022-04-18 14:26:30
8348
原创 Python使用selenium自动打开网页、输入账号密码并登录
此处示例使用谷歌Chrome浏览器，打开指定网页，输入账号密码，并登录；代码思路如下：① 加载Chrome浏览器驱动程序（下载地址） 具体下载方式可以参考：使用selenium自动打开谷歌浏览器② 打开url链接（此处建议sleep等待一下，避免网速或内存不良时，导致网页打开较久的问题）③ 找到账号密码的输入框④ 输入账号密码⑤ 点击登录按钮from selenium.webdriver.chrome.service import Servicefrom s...
2022-04-18 13:55:25
19742
4
原创 Python使用selenium自动打开谷歌浏览器和网页
使用python自动打开浏览器，需要先安装selenium包，方可进行使用selenium的webdriver，有一个内置的Firefox驱动程序(Gecko Driver)实现，如果是希望用其他浏览器，则需要插入对应浏览器特定的驱动程序，才可以进行操作测试此处示例开发人员常用的Chrome浏览器，在开始测试之前，需要先下载对应的驱动程序：① 首先访问驱动程序下载地址：https://chromedriver.storage.googleapis.com/index.html② 在下
2022-04-18 13:41:29
7068
3
原创 Python解决for循环请求时meta重复问题
此处解决的是当我们在Scrapy包中，执行for循环，进行yield请求时，通过meta进行不同参数值的for循环传参后，最后发现请求的时候，meta的传参全部都是一样的的现象。此处是因为遇到回调response.meta取到的值的现象，此时每个meta都是一样的，且都是for循环中的最后一个值。这里的解决办法需要import copy，使用深拷贝deepcopy解决问题实际应用场景如下，在meta处，修改为深拷贝copy.deepcopy即可：# 变更前for mod in mods:
2022-04-18 11:21:23
310
原创 Python获取指定key字段下的所有值、根据指定key字段筛选和删除数据记录
当我们一次性获得众多数据时，相当于字典数组，如所有的学生科目成绩时，有时候会有需要对指定key字段进行数据统计等操作，或根据指定key字段进行数据的筛选或删除（相当于sql中的where操作）无独有偶，我这边在应用的时候，因为是将获取到的所有字典数组，不经过处理，全部放到数组中，形成的字典数组。此时需要对字典数组进行数据的筛选、删除、统计等操作。以下用学生科目成绩，分别对统计、筛选、删除，以及对应的组合操作，做对应示例：1、获取字典数组中，指定key字段下的所有值，并加以统计操作s..
2022-04-18 10:36:25
5587
6
原创 Python获取字典键keys、值values、对items
python字典的常规操作上，主要是根据字典的key键，获取对应的value值，或者直接回去整个item键值对，自行进行其他操作在实际开发中，我们面向的基本都是多个字典的字典数组，此处示例单个字典的键、值、对的获取，即对字典数组进行 for i in dict 后的操作stu = { 'name': '小王', 'age': 14, 'gender': '男', 'chinese': 81, 'math': 92, 'english': 80}
2022-04-18 10:14:00
29557
原创 Python解决request请求text中文乱码问题
无意中遇到的问题：发起request请求正常，返回的text里中文部分全部乱码，其他都正常；此处是content-type没有指定默认的编码，response默认是使用iso-8859-1编码对消息进行编码，再传送数据给客户端（大部分网页是有指定编码的）下面的多个解决方案：方法一：自行设置charset# 在html中搜索“charset”，找到编码格式，如此处是：charset="gb2312"prob_res = requests.get('http://www.******
2022-04-14 17:40:33
4620
原创 Python操作本地文件夹、文件
常见的文件/文件夹操作需求大致：①判断文件/文件夹是否存在；②新建文件/文件夹；③复制文件/文件夹；④剪切/移动文件/文件夹；⑤删除文件/文件夹import osimport shutil# 文件/文件夹是否存在（存在返回True，否则False）if os.path.exists("D:/123.doc"): print("文件已存在")# 新建文件夹os.makedirs(path)# 复制文件/文件夹shutil.copy(source_path,ai
2022-04-14 17:28:44
1039
原创 python连接数据库Mysql、Oracle、MSsql、ES
涉及到爬虫数据处理、数据清洗、数据查询、数据入库等操作时，则需要进行数据库的连接，以便进行数据查、校验、入库等操作；此处示例在python中，如何配置和连接数据库Mysql、Oracle、MSsql、Elasticsearch，以及代码执行方式（对应package包的安装比较简单就自行安装，这里只说代码层面的）1、连接Mysqlimport pymysql# 创建数据库连接con = pymysql.connect( host='127.0.0.1', port=3306
2022-04-14 16:27:26
378
原创 Python获取日期时间、格式化strftime和strptime、时间加减relativedelta
获取日期时间，算是大家经常要用到的操作吧，这里归纳总结一下import datetime的情况下，常用的日期获取、格式化、时间加减的场景，即today、now、strftime、strptime、relativedelta、timedelta等操作1、获取时间信息today、nowimport datetimetoday = datetime.date.today()now = datetime.datetime.now()# 获取当前日期（datetime）print(today)
2022-04-14 15:43:46
5227
原创 Python字符串替换replace、截取[]、查找find、计数count、分割split
不同语言中replace用法不一样，有的是replace(string,old_word,new_word)，有的是string.replace(old_word,new_word)同样，截取等功能函数，也会有所不同，比如常见的又substr、substring、left、mid、right、find、split等等1、python中的字符串替换replace场景为string.replace(old_word,new_word)，主要有“不限次替换”和“限制次数替换”两种应用场景，如下：
2022-04-14 14:42:25
1457
原创 Python的三元运算符
在进行字符串拼接或其他逻辑运算的时候，因为不想去写三五行代码定义和 if判断一个参数，重点是这个参数还只用一次，所以想到了三元运算符，从而简化代码量在JavaScript等其他其他代码程序中，三元运算符一般是：// 正确True? 条件expr : 错误False// 如：return '输出成功' ? res=='success' : '输出失败'在Python中略微不同：# 正确Trueif 条件expr else 错误False# 如：return '输出成功' i..
2022-04-14 13:11:55
2111
1
原创 Mysql不定次拆分substring_index和help_topic（行转列）
"变速器：跳挡；转向系统：失灵；制动系统：刹车失灵；车身附件及电器：行车安全辅助系统故障"实际开发中，偶尔会需要处理：将一个字段，根据指定字符串进行拆分，且拆分次数是不固定的情况。如上是一个实际数据，这里演示处理上面的字符串，将数据行转列，并携带其他字段信息，以便大家做其他后续处理数据表结构大致如下：code date pinpai chexi problem class 559277 2021-01-01 广汽丰田 汉兰达 变速器：.
2022-03-30 10:22:54
1124
原创 JS实现一键展开、折叠所有树节点
在数据分析报表中，通常会有结构树展开的分析报表。在结构树节点较多的时候，逐个进行展开、折叠等操作时，会比较繁琐、费时间、费手劲；此处示例通过点击按钮的方式，使用js实现一键展开、折叠所有的树节点（不限制层数）1、设置JS事件在需要事件展开/折叠的单元格/按钮上，添加“超级链接”，分别键入JavaScript事件控制：展开事件：$('.x-treenode-unexpand').trigger('click');折叠事件：$(".x-treenode-expand").
2022-03-23 15:20:04
3450
1
原创 JS实现点击单元格改变所在行颜色（最简代码）
我以前也发布过通过“JS实现点击单元格改变所在行颜色”的博客，不过都是以前初出茅庐的时候写的，代码不够简化。前段时间发现还有其他方式可以实现该效果，而且只需要一行代码，所以再发布一条，供大家参考使用。1、最受青睐功能：① 点击改变行颜色，无论原本有无背景色；② 点击其他行则清除背景，恢复背景色和颜色操作：添加加载结束事件（其他类型报表也通用）：//使点击的行变色contentPane.makeHighlight('#FFF4C4','',true);..
2022-03-23 11:25:12
2263
3
原创 oracle部分符号含义
以前第一眼看不懂的符号：!=、^=、<>、(+)1、oracle中的不等于符号有：!=、^=、<>2、oracle中的(+)是一种特殊的用法，(+)表示外连接，并且总是放在非主表的一方。例如：-- 左外连接：select A.a,B.a from A LEFT JOIN B ON A.b=B.b;-- 等价于select A.a,B.a from A,B where A.b = B.b(+);-- 右外连接：select A.a,B.a f
2022-02-17 13:40:56
1156
原创 oracle根据指定字符拆分字段instr、substr、regexp_substr
场景①：可以用instr查找字符位置，然后用substr进去内容截取，实现与mysql中的substring_index一样效果：select substr(c_name,0,instr(c_name,'-')-1) from tablename场景②：也可以用正则表达式regexp_substr，实现mysql中的substring_index效果：1、取分割后的第一个值：SELECT REGEXP_SUBSTR('123,,,ABC,!@#,,,', '[^,]+') FR
2022-02-17 13:34:37
10054
原创 oracle获取字符位置instr截取substr
一般获取字符位置后，会和截取字符串一起用，这里先铺垫一下字符串截取substrsubstr需要设置开始坐标和指定长度；若只有一个数字参数，则从该坐标开始，一直取到结束。-- 取前两个字符长度select substr(c_name,0,2)-- 取从第二个字符开始后的全部内容select substr(c_name,2)instr可以获取到指定符号的位置坐标select instr(c_name,'-')可联合substr，实现mysql中的substring_index
2022-02-17 13:23:10
1840
原创 mysql根据指定字符拆分字段内容substring_index
sql字段拆分场景有多种，常用的是拆分1次，这里我遇到的是需要拆分不定次数的场景。① 根据指定字符，执行1次字段拆分-- 截取第1个“,”符号左边的数据（从左截取）select substring_index(name,",",1) name from tablenameselect substring_index("abcd","b",1) //结果为：a-- 截取从右往左，第1个“,”符号，右边的数据（从右截取）select substring_index(name,",",-
2022-02-17 11:42:59
3086
24
原创 mssql保留两位小数
PS：如果数字相除后结果是整数，要么确实能除整，要么是因为字段是整形、字符串导致。如果是字段问题，则修改字段类型即可sql查询时保留两位小数方法可以用convert或*1.00实现① 直接convert改变数据类型-- 改变数据类型，可自定义小数位数select convert(decimal(16,2),3.14159265) rate ②用*1.00改变小数位数（具体小数位数可自定义）-- 自定义小数位数（此处*1.00需要放在分子上）select store_cnt*
2022-02-16 15:41:46
1797
中国行政区划地图数据202101.xlsx
2021-03-15
工程造价数据库-建设历程.docx
2019-10-28
造价系统项目开发技术经验分享.pptx
2019-06-21
DPS集算中心案例教学
2019-01-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人