- 博客(12)
- 收藏
- 关注
RSS订阅原创 kettle js脚本里添加xml数据
如何使用kettle的js脚本创建xml数据项目上遇到需求需要在kettle手动生成一段下xml数据，想到可以使用kettle中的js脚本组件去生成，但是如果使用字符串拼接的方法生成xml会非常麻烦，这里分享一个简单的方法：首先 var request = new XML();然后就可以之间给request赋值xml的内容了。var request = new XML();request=<soapenv:Envelope xmlns:soapenv="http://schemas.xm
2021-04-09 08:07:31
540
原创 kettle常用配置修改
这里写自定义目录标题kettle常用配置修改1、自定义jdk路径2、自定义kettle.properties路径kettle常用配置修改1、自定义jdk路径编辑kettle路径下的Spoon.bat文件在文件开头添加set JAVA_HOME=..\jdk(任意jdk所在路径)set PENTAHO_JAVA_HOME=%JAVA_HOME%#..代表kettle所在路径的上级路径如这样jdk和kettle就可以在同一根目录中。2、自定义kettle.properties路径编辑
2021-04-08 08:26:34
1753
1
原创 Kettle使用命名参数读取目录下多个dbf文件
Kettle命名参数的使用最近遇到一个项目，需要将一个文件夹下dbf文件中的数据输出到数据库。发现可以通过kettle中的Xbase文件输入读取dbf文件，Xbase文件输入只能读取一个文件，且无法通过获取文件名打开多个文件（会提示报错）最后通过使用命名参数的方式实现了该功能。作业整个作业包括：转换1：获取文件名步骤一：获取文件名通过正则表达式获取文件夹下所有d开头.dbf结尾的文件步骤二：字段选择选择需要的字段步骤三：复制记录到结果有了这一步就可以在作业中的下一个转换获得该
2020-06-06 11:40:42
1602
原创 yum使用不了
使用yum命令 发现Loading mirror speeds from cached hostfilehttp://mirror.centos.org/altarch/7/os/ppc64le/repodata/repomd.xml: [Errno 14] curl#6 - “Could not resolve host: mirror.centos.org; 未知的错误”查看/etc/r...
2019-09-05 16:18:20
472
原创 elasticsearch启动过程中被自动killed
elasticsearch无法正常启动，启动过程中被自动killed配置完elassearch后，发现elassearch无法和hadoop集群同时启动，已启动hadoop集群elassearch就会自动被killed，在启动elassearch时刚一开始就会被killed掉[admin@bigdata111 elasticsearch-6.1.1]$ bin/elasticsearch [...
2019-03-20 11:32:11
7235
原创 在云服务器上配置elasticsearch集群
最近在学习elasticsearch，准备在之前的三台云服务器上搭建elasticsearch集群，可是集群直接连接总是连接不通org.elasticsearch.transport.ConnectTransportException: [node-1][172.21.0.8:9300] connect_timeout[30s] at org.elasticsearch.transport.T...
2019-03-19 17:04:26
942
1
原创 大数据相关Maven依赖总结
1、Zookeeper<dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.10</version></dependency>2、JUn...
2019-03-19 16:47:39
304
原创 配置hbase+zookeeper时遇到的问题
今天在配置hbase+zookeeper时遇到了问题，使用list和create语句时没有问题，但是使用put语句一直报错：put ‘students’, ‘stud003’, ‘info:name’, ‘Tom’2019-03-09 13:39:08,238 ERROR [main] client.AsyncProcess: Failed to get region locationorg...
2019-03-09 14:42:40
1387
原创 MapReduce自定义对象的排序
当我们在使用MapReduce自定义对象时会遇到需要对其进行排序的问题，这时我们就可以通过实现MapReduce的WritableComparable接口实现自定义排序的功能。这里举一个对员工对象排序的例子。 1. 首先我们创建一个员工对象：public class Emp implements Writable { private int empno; private String...
2019-03-04 11:56:28
626
原创 yarn一直自动生成用户为dr.who的application
之前用三台云服务器搭建完集群后发现任务运行的特别慢 yarn:8088页面后发现有很多奇怪的任务在跑而且这些任务怎么都完不成还一直在生成，查看各种log日志怎么也没有exception。后来看了https://www.cnblogs.com/daxiangfei/p/9198856.html 才发现原来是被攻击了。查看进程发现cup占用异常的高应该是黑客用机器去挖矿了。。。。。解决方法：...
2019-03-02 11:35:18
2984
原创 GItHub上传
1、上传文件首先要有一个Git账号，简单注册就可以；输入用户名、邮箱、和密码就好了，之后会向邮箱中发送一个确认邮件，点进去就注册完成了2、配置Git(1) 首先在本地创建ssh key;$ ssh-keygen -t rsa -C "[email protected]"后面的[email protected]是你注册GitHub时的邮箱,之后会要求确认路...
2019-01-07 12:00:37
125
原创 IplImage转换为Bitmap
如何将OpenCV中的Iplimage转化为C#中的BitmapGitHub代码地址：https://github.com/peiyixi/IplImageToBitmap完整代码可以直接去GitHub上下载，上面还有一个小的demo程序最近项目用到了OpenCV与C#的交互问题，通过查阅信息和看源码总结了出一种将Iplimage转化为Bitmap的方法废话不多说直接上代码吧代码：1、...
2019-01-07 11:26:12
495
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人