Eric_Hxy的专栏

原创 一种优化Kettle转换性能的通用方法

本文讨论在外部环境因素不变、内部转换不变的前提下，如何定位到性能瓶颈步骤，并通过垂直扩展进行有针对性、实效性的优化，同时简要介绍了自定义插件的编程思路。

转载 如何彻底解决Kettle无法连接MySQL8的缺陷？

一、背景在使用Kettle对数据进行处理时，最常见的操作莫过于关系数据库的使用，然而使用最新版本Kettle8常面临以下几个痛点：不支持MySQL8。MySQL是当前最流行的开源关系数据库，用户基数仅次于Oracle。由于具有更好的性能，目前很多系统都已经用上了最新版本MySQL8。比较遗憾的是Kettle并不支持该版本数据库的连接。 无法在同一转换/作业中同时使用相同数据库的不同版本驱动。因为Kettle将所有数据库驱动统一放在lib目录中，并由同一个类加载器进行加载，如果存在多个版本的驱动则.

转载 REST客户端步骤详解

REST客户端转换步骤可以消费RESTful服务。RESTful是一种网络应用程序的设计风格和开发方式，基于HTTP，可以使用XML格式定义或JSON格式定义。在该体系中Web服务被视为资源并且可以通过其URL进行标识。该步骤有常规、认证、SSL、标题、参数、矩阵参数六个标签页。常规标签页配置信息如图1所示：图1常规标签页配置信息下文详细解释各控件的含义：1、转换步骤名称：步骤的名称，在单一转换中，名称必须唯一。常规标签页为REST客户端资源输入以下连接信息：2、URL：指定请.

转载 Excel输出步骤详解

Kettle中的Excel输出步骤是将输入流中的数据转换为Excel文件输出到指定路径中。该步骤有“文件”、“内容”、“格式”、“字段”四个标签页。“文件”标签页配置信息如图1所示。图1 “文件”标签页配置信息下文详细解释各控件的含义：1.转换步骤名称：步骤的名称，在单一转换中，名称必须唯一。2.文件名：指定Excel文件生成的路径。3.创建父目录：勾选后将根据“文件名称”中的路径自动创建父目录。4.启动时不创建文件：勾选后在转换开始时不会生成文件。5.扩展名：为生成文.

转载 转发CKettle免费用户征集

CKettle是中国通服工业互联网(大数据)研究院自研的一款跨平台、跨行业、高效、稳定且易扩展的数据交换产品，专注于数据融通与价值挖掘。本产品基于Kettle8.0开发，在保留原生Kettle强大数据集成功能的基础上，对客户端的功能和易用性等方面进行了增强与本地化适配，建立了完善的云端支撑体系，致力于打造全方位CKettle使用与交流生态圈。了解更多CKettle相关信息，请进入CKettle官方网站https://ckettle.ccsaii.com.cn。现征集CKettle第一批免费技术服务用户.

原创 Java编程的实用技术

volatile修饰的变量，可以保证各个线程看到的是同一个值，但并不能保证其线程安全性。例如多个线程，并发对volatile变量进行数字运算，线程安全无法保证。也就是说，volatile可以保证可见性，但不能保证安全性。两种情况适合用volatile：1、运算结果不依赖变量的当前值，或者只有一个线程能够修改变量的值2、变量不需要与其他状态变量参与不变约束volatile还可以禁止指令重...

原创 实用Java虚拟机参数

-Xmx50m 设置最大内存为50兆-Xms30m 设置最小内存为30兆-Xmn10m 设置年轻代内存大小为10兆，年轻代包括一个Eden和两个Survivor区。-XX:+HeapDumpOnOutOfMemoryError 在出现内存溢出异常（OOME）时自动生成转储文件，后缀名为hprof，路径为执行程序的所在路径。也可以通过-XX:HeapDumpPath指定路径。-XX:...

原创 如何让用户上瘾？

触发：外部触发与内部触发。行动：追求快乐，逃避痛苦；追求希望，逃避恐惧；追求认同，逃避排斥。酬赏：社交酬赏（互动）；猎物酬赏（获得资源或者信息）；自我酬赏（操控感、成就感、终结感）投入：很高的发生频率与可感知的实用性。《上瘾-让用户养成使用习惯的四大产品逻辑》...

原创 数据处理知识图谱

原创 基于Eclipse搭建Kettle插件调试环境的两种方法

本文讲述基于Eclipse搭建Kettle插件调试环境的两种方法，并通过一个HelloKettle实例介绍插件开发的入门知识。

原创 使用Kettle从国家统计局下载行政区划代码数据

利用Kettle从国家统计局下载行政区划代码数据

原创 Ubuntu使用笔记

新建终端：Ctrl + Alt + T挂载虚拟机共享文件夹： sudo mount -t vboxsf vm_share  /home/erichoo/vm_host

原创 git常用命令

查看远程服务器的地址git remote -v

原创 LINUX下执行资源库中的指定job

kitchen.sh -rep=资源库名称 -user=资源库用户名 -pass=资源库密码 -dir=资源库目录名称 -job=作业名称 -level=日志级别kitchen.sh -rep=rep1 -user=admin -pass=admin -dir=/abc -job=jb1 -level=Basic

原创 DOCKER学习

三个核心概念：镜像Image：虚拟文件集合容器Container：运行态进程集合仓库Repository：镜像仓库运行容器：sudo docker run --name pg_8088 -e POSTGRES_PASSWORD=764275 -d -p 8088:5432 postgres:9.6-p参数将host机器的8088端口映射到容器的5432端口。列出容器：sudo docker ps ...

原创 登录Hive

hive> select * from cmc_history_data limit 10;OK001_10_7_8498766789855  10      7       0.03    2017-07-28 17:13:30001_10_7_8498767853827  10      7       0.03    2017-07-28 16:55:46001_10_7_8

原创 OutOfMemoryError GC overhead limit exceeded

在Java虚拟机中增加参数：-XX:-UseGCOverheadLimit可以disable该功能

原创 Kylin实例Cube实验

查询每周销售记录的数量：SELECT COUNT(*),B.WEEK_BEG_DT FROM KYLIN_SALES AS A INNER JOIN KYLIN_CAL_DT AS B ON A.PART_DT=B.CAL_DT GROUP BY B.WEEK_BEG_DT ORDER BY B.WEEK_BEG_DT查询每周的销售记录总数、价格均值、总价：SELECT C

原创 华为P6安装Sygic

地图路径在哪里？/storage/emulated/0/Sygic/Mapsvat.ta.2017.01  Vaticanqat.ta.2017.01  Qatarche.ta.2017.01  Switzerland

原创 Java枚举变量的遍历与转换

package test;/** * 演示如何遍历所有枚举值以及字符串转为枚举 * @author hexy * */public class GetAllEnumValues {    private enum Algorithm{FPGrowth,Apriori};    public static void main(String[] args) {

原创 负载均衡

负载均衡的一个基本架构：1、DNS服务器，如果资金充足的话，建议使用BGP机房，2-3台DNS服务器均衡，通常使用bind软件。如果资金紧的话，可以购买专业的dns服务，比如国内的dnspod。2、CDN服务器，一开始如果想省事，可以买专业公司的服务，如chinacache，但随着发展成本会越来越高。自建的话，可能分别搭建，放电信、联通、移动等不同机房的服务器，通过dns做动态解析。超大网

原创 git切换分支

hexy@hexy-PC MINGW64 /d/c3_git/emis/emis (master)$ git branch* masterhexy@hexy-PC MINGW64 /d/c3_git/emis/emis (master)$ git pullPassword authenticationPassword:Already up-to-date.

原创 面向对象设计原则

面向对象类设计，或者说是面向对象设计，有五大原则（SOLID）:　　Single Responsibility Principle 　　　　单一职责原则　　Open Closed Principle　　　　　　　　开闭原则　　Liskov Substitution Principle　　　　　里氏替换原则        Interface Segregation Princ

原创 导出所有DLL中的函数

新建bat文件，内容为：for /f "delims=" %%i   in ('dir  /b/a-d/s  D:\temp\C3-EntranceGuardApp\C3-EntranceGuardApp\*.dll')  do (echo %%i"C:\Program Files (x86)\Microsoft Visual Studio 11.0\VC\bin\x86_am

原创 JVM常用工具

查看进程C:\Java\jdk1.8.0_25\bin>jps -v -l8724 -Dosgi.requiredJavaVersion=1.8 -XX:+UseG1GC -XX:+UseStringDeduplication -Dosgi.requiredJavaVersion=1.8 -Xms256m -Xmx1024m4972 sun.tools.jps.Jps -Dappl

原创 Kettle6列拆分为多行步骤详解

1.        前言本文将对Kettle6中常用步骤列拆分为多行（英文原名：Split Field to Rows）。也就是说，将输入数据行集中的某个列按照条件拆分为多行。这种条件可以是简单的一个分隔符，也可以指定正则表达式。 2.        说明步骤的属性对话框如下图所示：下面通过一个表格逐项解释每一个对话框中字段的含义。序号

原创 Kettle源码的绿色开发环境搭建

1.        前言最近有些项目需要使用ETL工具，通过搜索引擎，找到了功能颇为不错的Kettle，而且是开源的，开发语言Java也属于熟练的语言之一，所以决定选择源码剖析这条更为专注的研究之路。与大家思路不同的是，我希望用尽量少的知识和工具，来构建可理解的项目框架。也就是说使用原生态的开发工具，仅仅需要源码和必要的配置文件，来搭建研究环境。本文使用的原材料只有3类：git

原创 project net netbeans服务器设置

工具/服务器/平台/VM选项-Xmx2048m -XX:MaxPermSize=512m

原创 BOT EPC EMC

BOT : Build-Operate-Transfer 建设-运营-移交EPC:Engineering-Procurement-Construction 设计-采购-施工EMC:Engery Management Contract 合同能源管理

原创 可维护性与可扩展性的区别

MaintainabilityIn engineering, maintainability is the ease with which a product can be maintained in order to:isolate defects or their cause,correct defects or their cause,repair or repl

转载 What is the difference between extensibility and scalability?

What is the difference between extensibility and scalability?Re-AskFollow41 AnswerAditya Prasoon, Dreamer,

原创 数据库设计模式笔记

One of the ideas behind this paper has to do with the introduction of anauxiliary API (mainly supported by views) that abstracts the complexity of the logicalschema from the application developer

转载 移动架构设计摘录

究竟什么样的架构才是最合适的？张旭表示，衡量一个架构是否合适的重要标准就是：是否适用于当前团队与业务规模，是否适用于产品/商业发展的下一步方向？如果团队规模扩大、扩展性不足、维护性崩坏、性能受到影响就必须引入重构。根据现有情况，重新做架构设计，并找到原有架构可复用的部分以及需要重/改写的关键点，给出重构的改善目标。

转载 CTO讲堂摘录

国内文件协作服务领域大家最熟悉的应该就是各类网盘了，不管是个人网盘还是企业网盘。亿方云在产品价值方面不同的地方在于：首先亿方云绝大多数功能都是围绕团队展开的，团队的文件共享、权限设置、讨论、历史版本管理以及其他各种多人协作场景中的应用，这些是像百度、360这些网盘不具备的。其次相比于国内网盘以文件存储这样的数据仓库概念不同，亿方云更像是一个物流中心，更强调文件的流转、引用，例如现在

原创 什么是领域逻辑层？

领域逻辑层，又叫业务逻辑层，主要职责包括：1、对后台数据的预处理2、计算3、前台数据验证4、根据命令调度数据

原创 ArcGIS Server REST服务学习

服务接口文档：http://sampleserver1.arcgisonline.com/ArcGIS/SDK/REST/index.html服务请求f参数：f=html服务目录f=jsonarcgis web api 通用数据交换格式f=amf某些特定操作，10.0新增arcgis10开始出现不安全操作，add/update

原创 我最常用的Eclipse快捷键

Ctrl + 1 显示错误修复辅助F4 显示类层次结构

原创 Windows7下Spring源码的下载与配置

1、下载源码download and install GitHub create local directory to store source files , for example d:\spring4execute following commands:cd d:\spring4git clone git://github.com/SpringSouce/Spring

原创 java调用rest风格web服务的两种方式

java调用rest风格web service 的两种形式

原创 网络上的学习资源

有用的链接