3 黑暗料理界的扛把子

尚未进行身份认证

我要认证

积蓄已久的资深潜水员即将变成散弹枪喷子

等级
TA的排名 11w+

kettle组件-行转列

使用场景描述使用组件【转换-》行转列】

2020-07-21 16:31:48

python 实现多表组合

A库中a表字段:A库a表 原名称 序号 提交时间 微信OpenID 饮食方案评价 运动方案评价 管理师评价 现在名称 id inputTime wxOpenId eatProgram motionProgram mTEvaluation 注:a表提交时间格式为:时间戳:需要转换为时间格式B库中b表字段:.

2020-06-16 10:14:07

列转行与数据集连接在业务场景的组合应用

今天业务部门提出了一个数据需求,需要将两批数据整合在一起,并要求固定的格式。需求图以前做这种图都是通过excel的vlookup,但涉及到业务类型,需要增加行的就比较麻烦了。现在通过kettle 的列转行和数据集连接实现这个功能制作流程图列转行组件的各部分代表意义列转行组件记录集连接(left out)记录集连接如有疑问可咨询微信:c243126035...

2020-05-09 11:53:50

行列转换小工具

近期在做数据迁移时看到以往的日常报表格式如下图左边,而我入库的结构为下图右边。具体的实现方式:使用kettle的行专列组件进行转换1、转换步骤名称:步骤的名称,在单一的转换中,名称必须唯一。2、Key字段:即关键词字段,行转列操作后,在此配置的字段会形成一个新字段,“Key字段”就是为这个新字段名称。其值为行转换组件中配置的所有“Key值”集合。3.字段:指定用来转变的字段集合,点击右...

2020-04-29 17:01:27

kettle 十分钟百万数据迁移

现在需要对以往数据进行整合并进行数据迁移确定目标表 数据源及数据量如下待迁移数据 目标表与Z0_工单_整理备份 的字段是一致的。为了方便后续操作(增删改查、数据迁移、增量备份)需要新增几个字段 1、 id 作为主键,方便更新、删除等修改操作 2、inserTime 数据插入时间,记录更新频次 3、updateTime 时间戳,记...

2020-01-20 10:32:29

kettle 优化表输出

今天进行教室信息整理数据入库的时候,因为更换了mysql服务器。导致数据插入速度极慢,因此需要调优——增大数据插入速度。所以考虑了一些方式 原本将近7分钟插入的数据只用不到三秒解决,下面是优化方式及结果目录 mysql连接数优化kettle 数据库插入操作优化kettle 允许线程多开适当提高数据集的大小增加Java虚拟机内存更改表输出提...

2019-12-08 15:13:01

python selenium 入门使用教程-环境安装

前提条件:安装好python3.5及以上版本、安装好PyCharm安装步骤:1、安装seleniumPyCharm-》File-》Settings-》Project Interpreter-》+-》selenium2、安装webdriver各大浏览器webdriver地址可参考:https://docs.seleniumhq.org/download/Firefox:htt...

2019-11-21 13:52:48

mysql SUBSTRING_INDEX在业务场景的应用

业务问题教育行业当中,在进行排课时,需要对人数少的同类班级进行合并。合并之后在统计班级当前人数时,需要对合班关联班级的当前人数进行加和作为合班班级的合班人数。那么如何通过代码实现合班人数的计算呢?假设现在的表结构如下(合班人数为目标值)班号 当前人数 合班关联班级 合班人数 A 1 A,B,C 6 B 2 A.B 3...

2019-11-12 17:12:23

pycharm import

个人笔记,pycharm引用包pycharm-》File-》setting-》Project Interpreter -》 + -》输入包名-》下载等待成功

2019-11-07 10:37:59

Java selenium 第三课 驱动加载方式

正常加载驱动的方式System.setProperty("webdriver.chrome.driver", "E:/googledriver/chromedriver.exe");WebDriver driver = new ChromeDriver();需求更改后加载驱动的方式1、加载驱动后调整页面的大小2、隐藏浏览器窗口3、禁止加载图片 //chromedri...

2019-11-05 11:20:23

kettle Excel输入 使用注意事项

1、组件位置2、组件功能读取数据可同时读取多个excel内 sheet名称不同 sheet内字段相同的多个excel内的数据处理数据对字段的类型、长度、经度、格式等进行整理3、使用流程不做错误处理:文件(选择表格引擎;添加文件或目录添加读取excel)---》工作表(选取使用的sheet)---》字段(获取来自头部数据的字段)---》规整格式---》预览文件(选...

2019-10-23 16:43:50

selenium webdriver 页面刷新

本文参考文章:https://blog.csdn.net/xiaoguanyusb/article/details/80703708页面刷新使用的方法driver.navigate().refresh();页面刷新的五种方式,其中最常见的为第二种。/**1.Using sendKeys.Keys method点击页面的刷新按钮*/driver.get("https://...

2019-10-21 13:57:51

Java selenium第二课 句柄转换

selenium 使用时如果点击操作新打开一个页面就会涉及到句柄的转换//转换句柄String[] handles = new String[driver.getWindowHandles().size()] ;driver.getWindowHandles().toArray(handles);//切换到详细的页面driver.switchTo().window(handles[1...

2019-09-26 14:26:59

Group By 分组并取第一条数据

MYSQL GROUP BYmysql 我使用排序进行筛选,保证分组、排序之后我的第一条数据就是我要的数据SELECT a.code , a.type AS 班型 ,MAX(a.num)FROM ( SELECT * FROM cent_ylb_numclass GROUP BY CODE, type ORDER BY CODE...

2019-09-26 14:09:35

jvaa 模拟http get 获取json

一、HTTP简介HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写。HTTP协议工作于客户端-服务端架构为上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后,向客户端发送响应信息。 二、HTTP工作原理HTTP协议定义Web客户端如何从Web服务器请...

2019-09-19 14:10:51

java selenium 基础第一课

最近开始回顾爬虫,主要是用selenium,爬取一些动态生成的页面。1、谷歌浏览器驱动selenium 可以搭配各种浏览器,只要能够匹配到驱动即可,我主要使用谷歌浏览器,浏览器和驱动版本号对应关系如下图驱动下载地址:http://chromedriver.storage.googleapis.com/index.htmlwindows、linux、moc驱动是不一样的,驱动下载完成...

2019-08-30 15:07:16

kettle入门级操作第一篇(读取excel、输出excel)

目录一、excel 读取并更改信息格式1读取信息1)、文件2)、工作表3)、错误处理4)字段二、数据更改1、数值类型保留小数2、时间类型规范格式一、excel 读取并更改信息格式1读取信息组件位置:转换-》输入-》Excel 输入组件使用:1)、文件表格类型(引擎):Excel 97-2003 XLS (JXL) : 读取03版本...

2019-08-11 15:32:13

sql 时间处理(SQL SERVER\ORACLE)

1、获取当前时间#dtbegindate : 数据库内时间#extract(MONTH FROM dtbegindate) :获取dtbegindate 内的月份#to_char (sysdate, 'yyyy-MM-dd') : 获取当前时间并转换为固定格式字符类型#to_date (to_char (sysdate, 'yyyy-MM-dd'),'yyyy-mm-dd'): 获取...

2019-08-09 16:04:17

java 时间处理

JAVA 获取时间的类有很多,今天对Date类与Calendar类进行使用总结1、获取当前时间及转化Date date = new Date();System.out.println(date);//cal作为Calendar类的子类对象,对应用户所在的时区Calendar cal = Calendar.getInstance();System.out.println(now....

2019-07-31 10:25:43

kettle EXCEL 累计输出数据

项目当中有些数据是需要进行累积的,每次读取原有数据再写入全部数据,耗时太多。以前输出excel 都是直接选择 kettle 当中的 Excel输出,然而今天眼前一亮。Excel输出 输出的excel为2003版本的很多 excel 函数是不支持的。经我猜想这Microsoft Excel 输出肯定是支持2007版本的excel的。经我探索发现:1、可以输出2007版本exc...

2019-07-26 16:01:46

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 分享达人
    分享达人
    成功上传6个资源即可获取