- 博客(6)
- 收藏
- 关注
RSS订阅原创 实时同步mysql数据到doris，Mysql+kafka+flink+doris
1、使用背景最近组里想要在现有的环境下搭一套实时数仓，综合分析之后doris将会作为实时数仓落地的数据库，数据源有消息数据，还有业务库的数据。2、数据源接入消息数据都好说，无论是pulsar,还是kafka，flink官方都已经提供了现成的source接口，照着官方文档去配置一下就ok，但是由于dba这个神秘组织的存在，他们担心会开启bin-log会增大他们的数据库压力，无法给我们开通访问bin-log的权限，作为大头兵的我只能默默接受，因此无法使用flink-cdc的方式去监控pg数据库的bin-l
2021-11-17 14:18:57
5118
2
原创 hive中怎么获取每周，每月，每半年第一天和最后一天
每周第一天，最后一天--每个自然周第一天set hivevar:swfdt=date_add('${hivevar:sdt}',1 - case when dayofweek('${hivevar:sdt}') = 1 then 7 else dayofweek('${hivevar:sdt}') - 1 end);set hivevar:wfdt=regexp_replace(${hivevar:swfdt},'-','');select ${hivevar:wfdt};select ${hiv
2021-09-16 15:06:38
3714
原创 shell脚本中解决浮点型数据比较大小问题以及如何获取数据库返回结果
shell脚本中解决浮点型数据比较大小问题以及如何获取数据库返回结果如果你是要用数据库查询出来的结果与某个特定的值比较，那么这篇文章正好是您可以借鉴的。方法一方法二如果你是要用数据库查询出来的结果与某个特定的值比较，那么这篇文章正好是您可以借鉴的。方法一利用sql查询语句中where语句进行过滤比较。比如在此处我要判断数据库中rt是否大于0.1。通过awk命令将所需要的结果获取出来result=`hive -e "select * from( select count(rate) rt f
2020-12-25 14:42:42
442
原创 实现xshell连接到另一台电脑的虚拟机上
桥连方式实现xshell连接到另一台电脑的虚拟机上（A电脑想要连接B电脑上面的虚拟机C）1、 在B电脑上VM中设置虚拟的为桥连模式2、 查看A电脑的ip地址3、 修改C上面的ip地址到A电脑网段上（B电脑应该与A电脑在同一个网段）4、 关闭A,B,C的防火墙5、 进入xshell输入C的IP，用户名，密码即可连接成功...
2020-09-19 22:33:39
3602
3
原创 解决监控大数据集群时zabbix web页面中zabbix server is not running问题
解决监控大数据集群时zabbix web页面中zabbix server is not running问题问题的出现zabbix web配置完成后，但是web端出现Zabbix service is not running解决过程1、查看日志tail -500 /var/log/zabbix/zabbix_server.log初步感觉应该是和连接数据库有关，于是查看数据库的相关配置2、问题分析zabbix的service端和web端都会有数据库的连接查看web端的连接配置文件su
2020-08-14 19:24:07
713
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人