- 博客(23)
- 收藏
- 关注
RSS订阅原创 PDI(kettle)使用Hadoop job executor将写好的MapReduce放至Hadoop集群上运行
准备好需要放上Hadoop执行的jar。创建作业如下图：编辑Hadoop job executor如下：Jar：在静态main方法里面包含Hadoop mapper和reducer job的Java JARDriver class：包含main方法的类Command line arguments：输入执行时所需参数，即main方法的args。注意：1.Output path 必须不存在2.Combiner class：组合器类一般不写，Pentaho默认的即可满足大部分需求，或者直接用r.
2022-02-16 15:23:49
1031
原创 PDI（kettle）兼容hadoop-连接CDH hadoop集群
1. 说明PDI可以与Hadoop协同工作。通过提交适当的参数，Kettle可以连接Hadoop的HDFS、MapReduce、Zookeeper、Oozie、Sqoop和Spark服务。在数据库连接类型中支持Hive、Impala和HbasePDI获取：https://sourceforge.net/projects/pentaho/files/Pentaho-9.2/client-tools/PDI server 获取：https://sour...
2022-02-16 10:33:34
2291
7
原创 PDI(kettle) 阻塞数据直到步骤都完成、Blocking step组件用法及区别
阻塞数据直到步骤都完成此步骤只是等待，直到对话框中指定的所有步骤副本都完成。可以使用它来避免转换步骤副本之间存在的自然并发（并行）描述：**监视下面的步骤：**在此表格中指定要等待的步骤，可点击“获取步骤”按钮将转换中的全部步骤自动填充到表格中。复制次数：步骤的副本号，当所选步骤具有多线程时（线程可通过右键点击步骤选择“改变开始复制的数量”进行设置，即设置多少份的拷贝，开多少线程。），可设置线程号来指定等待某个特定的副本号执行完毕。注意：当步骤之间的缓冲区已满时，这可能会导致转换死锁。解决方法是
2021-12-08 09:59:31
3229
原创 PDI(kettle) Java代码组件应用案例
1 概述Java代码步骤，位于Kettle转换的核心对象/脚本类别中，属于典型的需要编程基础才能掌控的步骤类型。而Java代码步骤，适用于熟悉Java语言的开发人员，用好这个步骤，需要对类、接口、多线程等语言相关知识有所掌握，并且需要对Kettle的基础框架有所理解。2 主要方法说明2.1 初始化PDI转换在执行前，会有一个各步骤的初始化动作，为步骤执行前的准备工作创造机会。为提高初始化的性能，Kettle为每个步骤启用一个初始化线程，从而并行完成所有步骤的初始化。初始化的主要内容就是调用一次步骤
2021-12-07 17:02:47
3092
原创 PDI(kettle) JavaScript组件使用及错误处理
JavaScript组件简介**步骤名称：**指定画布上修改的 Java 脚本值步骤的唯一名称**Transform Scripts：**在此步骤中创建的脚本**Transform Constants：**预定义的静态常量，用于控制数据行发生的情况。您必须为 trans_Status 变量分配一个常量值。要使用这些常量，必须首先CONTINUE_TRANSFORMATION在脚本的开头设置 trans_Status 变量，以便将变量分配给正在处理的第一行。否则，将忽略对 trans_Status
2021-10-11 15:27:29
2168
1
原创 PDI 性能调优技巧
步 提示 描述 JS 关闭兼容模式 在大多数情况下，重写 JavaScript 以使用与以前版本不兼容的格式很容易，并且使脚本更易于使用和阅读。默认情况下，旧的 JavaScript 程序以兼容模式运行。这意味着该步骤将像在以前的版本中一样进行处理。由于与强制兼容性相关的过载，您可能会看到性能略有下降。如果要使用新架构，请禁用兼容模式并更改代码，如下所示： •intField.getInteger() > intField •numberField.g
2021-09-26 16:27:36
356
原创 PDI(kettle)作业和转换的基本概念和简单示例
一、转换和作业定义转换（Transformation） 和 作业（Job）是Spoon设计器的核心两个内容，这两块内容构建了整个Kettle工作流程的基础。转换（Transformation）：主要是针对数据的各种处理（即数据量），一个转换里可以包 含多个步骤（Step）。作业（Job）：作业是步骤流，一个作业里包括多个作业项（Job Entry），一个作业项代表了一项工作，而转换是一种作业项，即作业里面可以包括多个转换也可以包含多个作业。作业的每一个步骤，必须等到前面的步骤都跑完了，后面的步骤才
2021-08-19 15:17:39
1570
原创 PDI(kettle)打开作业、转换报错：Invalid byte 1/2 of 1/2-byte UTF-8 sequence
Invalid byte 1 of 1-byte UTF-8 sequence原因是使用了中文，需要修改Spoon.bat中JVM参数【-Dfile.encoding=UTF-8】，如下图所示：PS:"-Xms1024m" “-Xmx2048m” 这一坨为PDI运行的jvm参数，如果内存溢出了适当调大一点，一般为他们的倍数Invalid byte 2 of 2-byte UTF-8 sequence原因在于：C:\Users\Administrator.kettle\repositories.
2021-08-18 15:15:37
531
原创 指定JDK运行PDI(kettle)
指定JDK运行PDI(kettle)修改Spoon.bat，建议使用notepad、editplus之类的工具打开，因为会高亮显示变量之类的东西设置变量PENTAHO_JAVA_HOME值为JDK的路径：set PENTAHO_JAVA_HOME=E:\work\java\jdk1.8.64\jdk1.8.0_92
2021-08-18 15:02:22
462
原创 PDI9.1(kettle)创建资源库
PDI9.1(kettle)创建资源库1.点击connect2.点击Repository Manager3.点击Other Repository4.点击Database Repository-Get Started5.起个名字后点击Database Connection6.点击Create New Connection,配置数据库即可PS：配置完之后可以测试下是否能连上数据库，如果报错的话一般检查下是否有驱动。没有就把相关驱动放到PDI路径下的lib文件夹，重启PDI即可。7.成功
2021-08-18 14:47:54
769
2
原创 Tomcat6/7应用服务器-禁用RC4等弱密码套件
Tomcat6/7应用服务器-禁用RC4等弱密码套件密码套件根据Tomcat应用服务器和jdk使用。修改conf\server.xml文件配置的sslEnabledpotocols、cipherssslEnabledpotocols的值一般为：TLSv1,TLSv1.1,TLSv1.2Java6 + Tomcat6/7 的ciphersTLS_ECDHE_RSA_WITH_AES_128_CBC_SHA,TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA,TLS_ECDHE
2021-08-09 15:58:16
1583
原创 Java调用HTTP接口
Java调用rest接口import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.HttpURLConnection;import java.net.MalformedURLException;import java.net.URL;import java.net.URLConnection;import java.util.ArrayList;impo
2021-06-30 16:09:32
534
原创 使用Java导入导出Excel文档
使用Java上传下载Excel文档ResourceUtil工具类导出前端导出后端导入前端导入后端ResourceUtil工具类import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.InputStream;public class ResourceUtil { //需要在ResourceUtil同级目录下创建excel包，然后把文件放进去 public static final String
2021-04-09 23:56:10
174
原创 修改Oracle数据库密码和相关报错处理
修改Oracle数据库密码和相关报错处理一般的Oracle数据库修改密码只需执行一条SQL就行--NEWPWD为想要修改的密码ALTER USER USERNAME IDENTIFIED BY "NEWPWD";--或者，OLDPWD为旧密码ALTER USER USERNAME IDENTIFIED BY "NEWPWD" REPLACE "OLDPWD";修改密码SQL报错及处理方法在处理报错之前我们先熟悉Oracle数据库密码的profile执行下面这段代码：SELE
2020-06-05 15:46:02
3175
1
原创 Oracle JOB定时任务用法
Oracle JOB定时任务用法创建一个JOBdeclare job number;BEGIN DBMS_JOB.SUBMIT( JOB => job, --自动生成JOBID WHAT => 'p_clean_pre;', --需要执行的存储过程名称或SQL语句，注意;号不能少 NEXT_DATE =>...
2020-04-02 15:08:38
336
原创 JAVA使用JdbcTemplate获取数据库连接工具类
JAVA使用JdbcTemplate获取数据库连接工具类JdbcTemplate获取数据库连接工具类， 目前只写了Oracle，MySQL，SqlServer，DB2和Sybase。package comm.util;import org.apache.commons.dbcp.BasicDataSource;import org.springframework.jdbc.core.Jd...
2020-03-26 15:18:44
1507
原创 JAVA使用HttpClient调用webservice接口
JAVA使用HttpClient调用webservice接口关于HttpClient用法参考：HttpClient-4.5.2官方教程完整翻译官方教程原文链接 HttpClient下载地址：链接：https://pan.baidu.com/s/1ScuxtWBdUvh-0xcLZRaa1Q提取码：gbqb调用webservice接口的代码：个人笔记，自用勿喷！package co...
2020-03-26 11:36:28
3554
原创 JAVA使用POI读取简单EXCEL数据
JAVA使用POI动态读取简单EXCEL数据改Java用于动态读取一些简单的Excel的数据， 复杂的表格未测试过。个人笔记，自用勿喷！package com.util;import java.io.FileInputStream;import java.io.InputStream;import java.util.ArrayList;import java.util.HashMa...
2020-03-26 09:41:13
185
原创 JAVA操作HBASE相关API
JAVA操作HBASE相关JAVA操作HBASE相关需要的JARJAVA操作HBASE相关好记性不如烂笔头，本文为记录下本人使用Java操作HBASE的一些API。自用勿喷！需要的JARhttps://download.csdn.net/download/qq_37219543/12269191配置config ； /** * hbase配置信息 * @return *...
2020-03-25 16:41:56
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人