- 博客(30)
- 收藏
- 关注
RSS订阅大饼玩Kettle之Hello World Example
Kettle官网有一个demo，是从csv文件读取数据到以XML文件输出 CSV 文件内容： 将以下内容保存为helloworld.csv last_name,name Suarez,Maria Guimaraes,Joao Rush,Jennifer Ortiz,Camila Rodriguez,Carmen da Silva,Zoe 输出的XML文件内容： <Rows&g...
2017-06-28 11:13:00
151
大饼玩Kettle之配置数据库连接
Oracle篇 1，双击Spoon.bat打开开发界面，ctrl+n新建转换。 2，选择Input文件夹，将Table input双击或者拖到右侧开发区。 3，双击表输入图标4，点击new 5，填写信息，点击test，确认。 未完待续 <script type="text/javascript"> $(function () { ...
2017-06-27 15:21:00
538
大饼玩Kettle之安装Kettle7.1
下载地址http://community.pentaho.com/projects/data-integration/ 点击DOWNLOAD 下载最新版7.1版本 下载完成后解压即可。 进入解压后的目录，找到Spoon.bat,双击进入Kettle。必须是JDK1.8版本 <script type="text/javascript"> ...
2017-06-27 15:03:00
681
Java报错之Connection is read-only.
原因很简单，查看spring的配置，发现有如下标签：<tx:attributes><tx:method name="find*" propagation="REQUIRED" read-only="true" /><tx:method name="query*" propagation="REQUIRED" read-only=&quo
2017-06-20 14:40:00
477
搭建kafka运行环境
转自http://zhangfengzhe.blog.51cto.com/8855103/15566501.前言由于项目涉及到kafka，自己以前没有接触过这方面的，学习了下，将搭建kafka运行环境同大家分享。2.搭建步骤第一步，到Apache Kafka官网下载最新的压缩包，比如我下载的就是：1...
2017-05-18 14:54:00
82
oracle 之 行转列函数
10g的wm_concat11g的listagg，但是有4000字符的限制。wm_concat用法举例with tt as (select 'tom' as name, '24' as age from dualunion allselect 'tom','22' from dualunion allselect 'bob','11' from dualunion all...
2017-04-27 14:58:00
250
oracle 之 语句执行顺序
转自http://wang286480403.iteye.com/blog/1899915转自http://wang286480403.iteye.com/blog/1899915转自http://wang286480403.iteye.com/blog/1899915重要的事情说三遍。SQL Select语句完整的执行顺序：1、from子句组装来自不同数据...
2017-04-14 17:05:00
77
oracle 之where子句和having子句
1.where 不能放在GROUP BY 后面2.HAVING 是跟GROUP BY 连在一起用的，放在GROUP BY 后面，此时的作用相当于WHERE3.WHERE 后面的条件中不能有聚集函数，比如SUM(),AVG()等，而HAVING 可以具体说明select mobile from table1 where sum(score) = 1group by mobile报错应该是sel...
2017-04-14 17:02:00
159
oracle 之replace 和 regexp_replace函数
oracle中replace函数：用法：replace(tarString,paString,gString)。参数说明：tarString，要替换的原字符串；paString，需要替换的子字符串；gString，需要替换的目标字符串。具体说明：select replace('01111','0','2') from dual;结果是21111若减少gString参数，即为...
2017-04-14 14:57:00
1007
Java 之 HashMap 和HashTable
今天研究了一下HashMap和Hashtable记得最深的一点就是HashMap是非线程安全的，k-v中，k和v可为null；HashTable是线程安全的，k-v中，k和v不可为null；由于线程安全的缘故，HashMap的效率比HashTable高。所谓的线程安全就是HashTable内部方法都是synchronized；另ConcurrentHashMap不是加synch...
2017-04-13 17:22:00
64
Oracle之select into var1
前几天同事写存储过程遇到这么一个问题:select t1.a into t_code from table1 t1 ----t_code是定义的varchar2紧接着select count(1) from table2 t2 where t2.t_code = t_code他就发现查询的结果是table2的全量，where条件没起作用。本来我以为是select ...
2017-04-13 14:44:00
200
Oracle数据库，唯一标识ID的生成
方法一：使用Sequence方法二：使用guid。获取方式：select sys_guid() from dual；SYS_GUID (),是Oracle 8i 后提供的函数。SYS_GUID产生并返回一个全球唯一的标识符(原始值)由16个字节组成。在大多数平台,生成的标识符由主机标符，执行函数的进程或者线程标识符，和进程或线程的一个非重复的值(字节序列)组成。可以用来生成唯一标识...
2016-12-15 15:25:00
2272
spring-boot启动报错【This application has no explicit mapping for /error.....】
从spring-boot官网上看的例子，自己试着写了一个 返回name和id的小接口，一开始访问http://localhost:8080/getPerson报错 :Whitelabel Error PageThis application has no explicit mapping for /error, so you are seeing this as a fallbac...
2016-12-14 16:44:00
1745
ActiveMQ 总结（1）
最近在研究activemq，套话就不多说了（因为研究的很浅很浅）。下载安装完之后，activemq会有一个web界面，监控之类的。像这样：当然这只是队列（queues）那一栏的。上面有很多参数，可以参考这篇文章 activemq控制面板。。网上有很多demo。附上几个比较全的实例的飞机票。。activemq学习笔记（5） activemq+spring。使用...
2016-05-05 11:37:00
90
使用sqoop做桥梁实现oracle和hdfs之前数据互导（问题和心得）
首先：版本号sqoop1.99.6 （也就是sqoop2）hadoop2.6.0。。。。之前说过了hadoop的安装和配置。在这就不多说了。sqoop的安装和配置我也是照的文档一步步来的。。。。下面是几张比较有用飞机票：sqoop2安装sqoop2安装（较详细）基本差不多；；；下面啰嗦一下我遇到的一些问题（俗话说得好：有问题看日志。日志路径：${...
2016-04-21 16:58:00
190
eclipse+hadoop 配置过程中遇到的问题
1)首先说下各个工具版本windows：win7 32位eclipse： 我用的是String tool Suite3.7.1hadoop ： 2.6.0虚拟机及linux版本：vmware 和 ubuntu 14.02)搭建过程就不详细说了，，也是找了好多教程。下面附可能有帮助的地址http://bbs.csdn.net/topics/390684266&...
2016-03-24 15:48:00
186
用sqlldr 具体怎么快速导出1亿的csv文件
下载一个sqluldr2.execmd命令cd到sqluldr2.exe目录下USER=用户名/密码@实例名sql=C:\sql语句.sqlhead=nofield=0x7c0x7cFILE=C:\导出的文件名field=0x7c0x7c是分隔符
2016-03-17 16:18:00
311
sqlld 错误
使用sqlldr导数时出现如下错误：" Record 1: Rejected - Error on table XXX, column X.Field in data file exceeds maximum length "上网查了一下找到原因了。 原来表中定义的字段 X 虽然是NVARCHAR(500); 但是用控制文件(CTL)中默认为是char类型。...
2016-03-10 16:06:00
358
listagg函数
跟10g的wm_concat类似，listagg是11g的聚集函数，但是有4000字符的限制。转自http://blog.itpub.net/18922393/viewspace-7543811,测试数据SQL>SQL> select empno,ename,deptno from scott.emp;EMPNO ENAME DEPTNO----...
2016-03-08 10:08:00
240
使用sqlldr 遇到的问题
错误代码：SQL*Loader-457: Comparison text of CONTINUEIF LAST must have length 1 not 63先到http://docs.oracle.com/cd/A57673_01/DOC/server/doc/MSG73/ch7.htm 去查找错误原因下面附控制文件代码load datainfile *continu...
2016-03-03 15:36:00
516
ORACLE 将number型的秒/毫秒值转成date类型
转自http://blog.csdn.net/zhengzhb/article/details/7082911在搞数据库时，发现有这样的一个字段，类型是NUMBER(38)，查看了一下里面的数据，都是这样的，1323957678114132132699429513221293068041322129716220猜到应该是1970年1月1号0点0分距现...
2016-02-26 09:45:00
449
FOR XML PATH
转自http://www.cnblogs.com/4mylife/archive/2012/09/06/2672755.htmlFOR XML PATH 方法是用于将查询结果集以XML形式展示，这样展示方式的好处不言而喻。现在我要介绍的FOR XML PATH的“另类”用法。首先，我们先来看看它的正常用法。下图是我们用到的一张TEST_PERSON表：用FO...
2016-02-25 10:54:00
75
oracle中Blob和Clob类型的区别
BLOB和CLOB都是大字段类型，BLOB是按二进制来存储的，而CLOB是可以直接存储文字的。其实两个是可以互换的的，或者可以直接用LOB字段代替这两个。但是为了更好的管理ORACLE数据库，通常像图片、文件、音乐等信息就用BLOB字段来存储，先将文件转为二进制再存储进去。而像文章或者是较长的文字，就用CLOB存储，这样对以后的查询更新存储等操作都提供很大的方便...
2016-02-15 10:24:00
56
EmEditor编辑长文档如何快速到达指定行
可以通过安装行号显示插件，借助于这个插件，可先打开行号显示功能，当想要转到一个长文档的某一行时，只需要记住行号，然后用一个跳转命令Ctrl+G即可以准确地到达目标行。...
2016-02-14 14:14:00
360
oracle update从一个表更新另一个表字段
当然可以用merge into ，但是前提是更新表t1和被更新表t2是1对1的关系。如果有1对多的关系，会报错ORA-38104: Columns referenced in the ON Clause cannot be updated:可以用这种方法：update （select .....） set column1 = column2;或者update t1 ...
2016-01-04 13:16:00
1410
lag 和lead 函数
oracle 的分析函数是非常好的一个功能，借助它们，我们可以很方便的实现一些特殊的语句需求，省去了自己实现的诸多麻烦。今天用到了lag 和lead 这两个分析函数，稍稍整理一下。lag 和lead 可以 获取结果集中，按一定排序所排列的当前行的上下相邻若干offset 的某个行的某个列(不用结果集的自关联）；lag ，lead 分别是向前，向后；lag 和lead ...
2016-01-04 10:15:00
276
wm_concat（column）结果为<clob>的解决办法
某个column的逻辑是如有多个则用英文逗号隔开；上网查询资料，是用oracle自带的wm_concat()函数；但select出来的结果是<clob>；然后再百度，解决方法是to_char一下；to_char(wm_concat(column)).....
2015-12-24 11:47:00
750
将数组、对象、Map、List转换成JSON数据
如果要将数组、对象、Map、List转换成JSON数据,那我们需要一些jar包：json-lib-2.4-jdk15.jarezmorph-1.0.6.jarcommons-logging.jarcommons-lang.jarcommons-collections.jarcommons-beanutils.jar...
2015-12-24 10:09:00
78
oracle TRANSLATE函数详解
translate（string,from_string,to_string）返回将（所有出现的）from_string中的每个字符替换为to_string中的相应字符以后的string。TRANSLATE 是 REPLACE 所提供的功能的一个超集。如果 from_string 比 to_sting 长，那么在 from_string 中而不在 to_string 中的额外字符将从 st...
2015-12-24 10:05:00
143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人