- 博客(218)
- 资源 (27)
- 收藏
- 关注
RSS订阅原创 文本/代码编辑器notepad++ mac os上替代品 notepadnext 和 notepad--
地址: https://github.com/dail8859/NotepadNext/releases。
2022-12-14 14:35:03
2839
1
原创 hive 任务日期设置(分区和业务日期)
回跑任务的时候需要输入参数,正常情况下是需要输入 20220808 2022-08-07 2个参数.但有时候忘记输入业务日期,那么第一个参数就是分区,第二个参数去分区日期的前一天[yyyy-mm-dd格式]# 参数1：dt是分区[yyyymmdd] 参数2：d是业务日期[yyyy-mm-dd]这段代码写在shell脚本 hive -e的前边。...
2022-08-08 15:02:44
1048
原创 mysql数据存了回车符(CRLF)导致hive数据错位
Mysql数据同步到hive表的时候，hive的数据错位，就是找不到原因。后来发现是mysql存的数据有回车符。需要把mysql数据导出来为.txt格式的文件，用Windows下面的notepad打开才能看到。notepad软件没有Mac系统的版本。如图一所示“/data/20210125/....”和“机审极速下款”的中间有CRLF字样。“/data/20210125/....”被移到了第38行。...
2022-07-15 18:06:51
884
原创 hive 整形(bigint)和decimal类型相加丢精度的问题
在hive中计算收入出现的一个问题：收入计算公式是若干个数据项相加，total_income = income_a+income_b+income_c+......有的数据项原本就是整形，不带小数点的，表结构里面此项是bigint类型。有的数据项就是带小数点的，设置的decimal(18,2)。当这些数据项相加的时候，总收入却是整形。bigint+decimal(18,2) --->bigint，而且不是把bigint强制转换为decimal后再和其他项相加之后再四舍五入得来的整形。所以这里需要注意的是如果
2022-06-22 11:47:17
1198
原创 一个忽视的计算错误---还款人数
用户会存在短时间内(一个小时/一天内) 多笔还款的行为，这种情况是正常的。产生这种现象的原因是1.用户提前还款2.资方回调了批量的还款记录。可能是因为允许用户一次性还剩下所有期数 的还款。所以还款人数需要去重处理。......
2022-06-13 11:25:10
105
原创 FAILED: ParseException line 93:74 mismatched input ‘＜EOF＞‘ expecting ) near ‘)‘ in subquery source
如图：报错提示是93行有问题这里的93行是我下图的151行经测试 是分号;导致的,即使是注释
2022-05-13 17:33:50
1970
原创 报错:Hive Runtime Error: Map local work exhausted memory
因为join的左表有orc格式的.解决方法:在脚本里面增加配置内容set hive.support.concurrency=false;
2022-04-18 15:02:34
1637
原创 Mac OS 读写NTFS的软件（实测OK）
「NTFS-Pro-Installer.pkg」，点击链接保存，或者复制本段内容，打开「阿里云盘」APP ，无需下载极速在线查看，视频原画倍速播放。 链接：https://www.aliyundrive.com/s/MMfqiGHKiZz
2022-04-17 18:31:00
473
原创 Azkaban停留在 Logging initialized using configuration in jar:file:/application/cloudera/parcels/XXXXXX
现象 Azkaban停留在Logging initialized using configuration in jar:file:/application/cloudera/parcels/CDH-5.16.2-1.cdh5.16.2.p0.8/jars/hive-common-1.1.0-cdh5.16.2.jar!/hive-log4j.properties 一直不动16-03-2022 05:00:12 CST tb_product_order_large_minutes INFO -..
2022-03-16 14:33:48
2774
原创 impala jdbc驱动jar包
官网打不开在github上面找到了Shmily/ImpalaJDBC41.jar at master · Shmilyqjj/Shmily · GitHub
2022-03-10 11:33:20
1861
原创 Mac os系统操作关闭miui12.5充电提示音bug(亲测可用)
1.打开终端 安装brew 安装后重启下终端或者根据提示source一下快速安装brew/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"2. brew 安装Android platform-toolsbrew install cask android-platform-tools3.验证是否连接成功adb devicesadb sh..
2022-02-26 16:37:28
921
原创 hue上sql运行的结果和Azkaban上运行的结果不一致.
Azkaban上是shell脚本调用sql内容hive -e "sql代码"把sql代码放在hue上运行和用Azkaban上运行。发现2者的运行结果不一样。原因如下。and event = '$AppClick' ---在hue上运行不需要加转义符\and event = '\$AppClick' ---在Azkaban上运行需要加转义符\因为$符号是特殊符号,shell脚本里面的sql代码里面需要做转义符处理。另外最好在Azkaban的运行日志里面把sql语句打印出来。如下
2022-01-21 14:23:46
1517
原创 mongodb源表到hive表的同步
mongodb源表--->group3_mongo.appbehaviorpoint(hive) --->ods.appbehaviorpoint(hive)group3_mongo.appbehaviorpoint 只是个mongodb到hive的映射ods.appbehaviorpoint 才是真正的同步目标表-----------------------------------------1.如果mongodb源表增加了字段,那么group3_mongo.appbeha
2022-01-09 15:19:46
968
原创 Azkaban报错
shell脚本里面用hive -e" xxxxxx " 来运行sql。 xxxxx是sql内容。shell脚本是在windows环境下用idea编写的。把sql内容单独放在hue上运行成功,但是用azkaban运行报错。查找报错原因又说是用了hive关键词，发现user是关键词。把user改为users. 但是仍然报错。报错如下所示：05-01-2022 18:34:25 CST rny_loan_officer_city INFO - Logging initialized usin
2022-01-05 18:47:15
1129
原创 dbeaver编辑表结构和调整字段的顺序
DBeaver怎么才能编辑表? - 知乎 (zhihu.com)同样一个账号，navicat可以设计表(编辑表结构)，而dbeaver不可以。需要在数据库连接中修改配置。但不知道为什么hive还是不行，而且dbeaver不知道怎么调整字段的顺序，无法上移下移。...
2021-12-30 18:29:23
20305
4
原创 QuickBI 二级分区表预览失败解决
QuickBI数据集报错"xxx is full scan with all partitions, please specify partition predicates." (aliyun.com)ODPS二级分区表，两个分区字段都是string类型，数据集上勾选了全表扫描，数据集预览仍旧报错。以往的一级分区表分区字段也是string类型，只要勾选全表扫描，预览就正常。Table(group3_data_workspace,test_realtime_api_3) is full sca...
2021-10-22 15:07:21
1427
原创 DataX执行报错error occurred during initialization of vm.could not reserve enough space for object heap
使用了最新python3.9.导致报错。然后以为是给的内存条少了。但是这里给了1g内存。调大到4g还是同样的错误。怀疑是python版本太高了。卸载掉python3.9 使用3.6.发现使用下列2种都报错。python datax.py .\job\job.jsonpython datax.py ./job/job.json使用绝对路径才可以python datax.py D:\app\datax\job\job.json...
2021-07-30 16:25:02
781
原创 Windows10安装DataX
datax下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
2021-07-30 14:24:05
247
原创 oracle goldengate (ogg)高版本&历史版本下载地址
高版本：https://www.oracle.com/middleware/technologies/goldengate-downloads.html历史版本：http://edelivery.oracle.com/osdc/faces/Home.jspx一些低版本的需要在第二个网址里面才能找到。下载之前都登录Oracle账号。
2021-07-28 15:30:36
3413
原创 OGG报错编号以及解决方法--官方英文
网址：https://docs.oracle.com/goldengate/1212/gg-winux/GMESG/oggus.htm#GMESG110
2021-07-28 11:00:24
455
转载 GOLDENGATE运维手册
OGG常用监控命令说明对GoldenGate实例进行监控，最简单的办法是通过GGSCI命令行的方式进行。通过在命令行输入一系列命令，并查看返回信息，来判断GoldenGate运行情况是否正常。命令行返回的信息包括整体概况、进程运行状态、检查点信息、参数文件配置、延时等。除了直接通过主机登录GGSCI界面之外，也可以通过GoldenGateDirectorWeb界面登录到每个GoldenGate实例，并运行GGSCI命令。假如客户部署了很多GoldenGate实例，如果单独登录到每个实例的GG..
2021-07-24 14:48:16
2325
转载 OGG常见故障排除
故障（1）错误信息：OGG-00446 Could not find archived log for sequence 53586 thread 1 under alternative destinations. SQL . Last alternative log tried /arch_cx/1_53586_776148274.arc., error retri eving redo file name for sequence 53586, archived = 1, use_alter
2021-07-24 14:40:37
2477
转载 OGG基础知识整理
一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。GoldenGate基本架构...
2021-07-24 13:42:35
1035
原创 基于日志的CDC（变化数据捕获）
场景：源端往目标端同步数据，如果源端数据记录被删除，如何保证目标端数据和源端数据一致？在这里使用常规的etl工具做抽取是不行的，只能插入和更新已有的记录。这里使用基于日志的变化数据捕获---oracle golden gate. 坏处是这个软件不如etl工具容易使用，不好维护。...
2021-07-19 21:56:57
706
原创 tableau prep builder etl工具使用注意事项
server版本号：2020.4.01.使用本地的tableau prep builder来做etl流程，不要图方便在server网页端开发流程，会产生很多莫名其妙的报错。比如数据缓存问题。流程在不断的更改迭代，但最终的输出数据却没变，重启server端有时候也没有用。tableau 的内部机制不适合于边修改流程边测试。2.流程的数据库连接每次编辑流程都需要重新输入密码，发布流程后要运行还是需要重新输入数据库密码，很烦人。3.流程依赖问题，b流程依赖于a流程的输出。如果a流程更改了流程里面的环节
2021-05-25 21:11:24
1444
2
原创 计算机工作者使用电脑的一些感悟
1.用户名一定要用英文 否则有些软件安装报错。按照网上的方法把中文用户名改为英文用户名的过程中，不知道为什么WIN10把原用户名下面的数据给删掉了。好气！2.软件安装在D盘，不要安装在默认的C盘。3.重要文件保存在网上一份，比如腾讯文档。...
2020-10-15 14:13:02
189
原创 Kettle-将不同表的数据输出到同一个xls表的不同sheet
如图所示：左边是数据表，右边是sheet名称。xls名称为Databank_UNO_month需要注意的是执行顺序是1.FAST指标 2.AIPL指标 3.。。。。。。 依次类推使用【阻塞数据知道步骤都完成】控件控制执行顺序输出表配置1.因为FAST指标是第一个sheet.输出表配置如下2.AIPL指标是第二个sheet.输出表配置和第一个sheet FAST指标不一样。如下图所示。...
2020-09-18 11:19:57
2098
5
原创 Kettle 空字符串‘‘和Null不分的问题和解决
A表整个表往B表插入。报错某个字段为Null。实际上A表的这个报错字段并没有Null值，但是有空字符串''.需要在kettle.properties文件中增加一段代码。然后重启kettle就好了。KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y...
2020-08-24 17:39:02
1380
原创 mysql concat函数字符串连接null值后结果还是null值的问题解决
遇到一个问题：字符串与null值字符串连接不上。需要对有null值的列处理下，把null值替换为空字符串''.这样就可以了。
2020-08-04 15:39:16
754
原创 阿里云DTS数据传输收费问题
这是购买订单信息。当时买的时候是买的DTS的数据同步功能。后来不小心使用了DTS的数据迁移功能,被收费了1200多。
2020-07-30 11:41:50
1016
原创 提取sql查询语句中的表名 (from 和where 中间的table_name)
select substr(execute_sql,locate('from',execute_sql)+4,locate('where',execute_sql)-5) from table_name其中 execute_sql是列名,存储的是sql语句。另外需要注意的是 sql语句中from和表名表名和where只隔了一个字符串的距离.此sql才有效.如果不是，需要读者自己调试sql....
2020-06-16 15:56:50
2664
Allwinner A80 User Manual Revision1.1 20140929
2016-12-14
MTK6572 datasheet
2015-05-30
邪恶天才的精神表演项目
2015-04-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人