自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(16)
  • 资源 (1)
  • 收藏
  • 关注

原创 YARN节点异常退出

yarn节点异常退出

2024-04-19 14:29:17 163 1

原创 sqoop导入数据到hive动态分区表

sqoop导入数据到hive动态分区表

2023-08-07 15:55:14 574 1

原创 sqoop导出数据到postgresql时设置schema的问题

sqoop导出数据到pgsq时,如何设置schema

2023-04-07 16:46:29 300

原创 POSTGRESQL远程连接报错: FATAL: no pg_hba.conf entry for host

POSTGRESQL远程连接报错: FATAL: no pg_hba.conf entry for host

2023-03-15 17:04:45 3716

原创 DolphinScheduler的Master节点掉线问题排查

DolphinScheduler的Mater节点掉线问题排查解决

2023-02-13 10:06:06 3198

原创 DolphinScheduler 连接Mysql数据源失败解决

Dolphinscheduler 连接mysql数据源提示失败,解决

2022-09-05 15:39:57 2916

原创 DolphinScheduler 资源中心创建目录或者文件失败

Apache DolphinScheduler 资源中心创建目录或者文件失败资源中心创建文件和修改文件会报错,提示 更新资源文件错误api-server报的错,查看日志:到hdfs上配置的resources路径(/dolphinscheduler/dolphinscheduler/resources)下查看资源,全部变成了只读模式。结合上面的报错信息,问题基本已经定位了。解决办法:修改临时资源文件的权限。chmod -R 777 /tmp/dolphinscheduler/dolphinsc

2022-07-01 17:27:16 3687

转载 dolphinscheduler的僵尸任务清理

Apache Dolphinscheduler 删除工作流实例

2022-06-20 17:36:58 1335

原创 CDH的Hive权限控制

CDH的Hive权限控制

2022-05-12 16:18:43 2991

转载 Hive SQL主要开窗函数用法介绍

在开窗函数出现之前,存在着很多用 SQL 语句很难解决的问题,很多都要通过复杂的相关子查询或者存储过程来完成。为了解决这些问题,在2003年ISO SQL标准加入了开窗函数,开窗函数的使用使得这些经典的难题可以被轻松的解决。下面通过一些简单的需求示例介绍主要的开窗函数。本例的数据源:select * from wx_tmp1;需求1:要在源表中,增加两列,全国总的gmv和各城市的gmv占比。select *,sum(gmv) over() as all_gmv,gmv/sum(gmv) ove

2022-04-24 17:42:52 1524

原创 海豚调用kettle任务报错,提示Unable to get VFS File object for filename ‘plugins‘。

配置内容如下:运行任务报错:Unable to list jar files in plugin folder ‘plugins’Unable to get VFS File object for filename ‘plugins’ : Could not find file with URI “/opt/module/data-integration/plugins” because it is a relative path, and no base URI was provided.Cou

2022-04-01 15:45:44 2062 7

原创 海豚调度启停命令汇总

1.启动命令sh bin/start-all.sh2.停止命令sh bin/stop-all.sh3.启动停止mastersh ./bin/dolphinscheduler-daemon.sh start master-serversh ./bin/dolphinscheduler-daemon.sh stop master-server4.启动停止workersh ./bin/dolphinscheduler-daemon.sh start worker-serversh ./bin/d

2022-02-23 16:54:39 1438

原创 海豚启动报错,提示日志文件夹无权限

海豚启动报错一、出现的问题监控中心worker节点和master节点挂掉,Zookeeper 管理中节点通信正常。重新启动提示根据报错,下载日志文件sz /opt/module/dolphinscheduler/logs/dolphinscheduler-master-server-hadoop002.out主要报错信息为:Logging system failed to initialize using configuration from ‘classpath:logback-mast

2022-02-23 16:46:59 2324

原创 MySQL启动提示The server quit without updating PID file (/[失败]sqld/mysqld.pid).

mysql突然挂掉,重新启动提示The server quit without updating PID file首先 从 mysqld_safe 查看日志路径打开日志看到报错信息:2021-12-28T12:58:09.193497Z 0 [Note] Server socket created on IP: ‘0.0.0.0’.2021-12-28T12:58:09.194701Z 0 [ERROR] /usr/local/mysql/bin/mysqld: Can’t create/wri

2022-01-18 15:36:30 5825

原创 Dolphinscheduler配置Datax抽取数据

需求是从mysql增量抽取数据到postgresql练习了两种实现方式第一种:使用海豚自带datax组件实现第二种:在海豚里调用shell脚本实现,抽取配置写在shell脚本中shell脚本配置内容如下:下载地址:https://download.csdn.net/download/weixin_43025027/76460239{“job”: {“content”: [{“reader”: {“name”: “mysqlreader”,“parameter”: {“colum

2022-01-18 15:13:27 5646

原创 Kettle8.3新建数据库连接窗口打开错误 提示 XUL Definition

@Kettle8.3新建数据库连接窗口打开错误 提示 XUL DefinitionTOC下载Kettle 8.3,jdk安装的10,安装好,点击DB连接提示连接错误(图找不到了,搜了一下也没有)大概是 Error with …… XUL Definition ……网上百度到的,都是说jdk版本不对,有人换了jdk8就OK了看完也装了jdk8,结果还是提示这个错误翻了半天资料,一筹莫展...

2019-11-18 15:04:25 476

DataX Json配置.json

datax抽取mysql表到pgsql表的json配置

2022-01-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除