张小竟-CSDN博客

原创 kettle-Java集成-日志获取

kettle组件-Java集成获取日志网络的文档较少，本文档将详细描述其中内容实现内容JobMeta jobMeta=new JobMeta("C:/Users/LENOVO/Desktop/kettle/122.kjb",null);DatabaseMeta databaseMeta=new DatabaseMeta("fromDbName", "mysql", "Native(JDBC)", "192.168.13.17", &nb.

2020-09-01 16:49:29 2247

原创模拟kettle组件转换任务中输入-转换-输出功能点

Java如何模拟kettle组件转换任务中输入-转换-输出功能点，此类问题在网上解答较少，需要研究kettle源码完成，在下面的叙述中，我将一一解答输入mysql/** * 创建步骤：（输入：表输入） * * @param transMeta * @return */ priv.

2020-09-01 16:40:55 635

原创 java.util.concurrent多线程并行处理返回处理结果（计算一个list集合）

CompletionService将Executor（线程池）和BlockingQueue（堵塞队列）结合在一起，同一时候使用Callable作为任务的基本单元，整个过程就是生产者不断把Callable任务放入堵塞对了，Executor作为消费者不断把任务取出来运行，并返回结果，实现list集合分发多线程串行计算返回计算结果

2020-07-08 10:06:43 1515

原创 mysql导数到oracle（表结构字段长度相同，ORA-12899: value too large for column (actual: 27, maximum: 20)）

mysql库与oracle库表结构字段长度等都一致，在两个库互相导数的过程中出现**ORA-12899: value too large for column (actual: 27, maximum: 20**，刚开始认为是oracle中**UTF**，一个中文字占三个字节，而**GBK**，一个中文字占两个字节，故尝试将oracle字符集改为**GBK**，而后发现依旧是这个问题，经过思考，mysql **varchar**类型一个中文字占1字节，oracle **nvarchar2**一个中文字也占一

2020-07-08 09:48:21 1098

原创 pyspark集成anaconda类库，pyspark调用hive

CDH集成ananconda的资料。以及oozie调用anaconda的资料很少，这里写一篇，希望大家一起学习下

2019-11-07 17:00:27 2534

原创 youtube爬虫搭建

一、scrapy代码# encoding=utf-8import jsonimport refrom urlparse import urljoinfrom pytube import YouTubeimport scrapyfrom scrapy.http import Requestfrom scrapy.selector import Selectorfrom v...

2019-09-05 19:32:23 7911 2

原创 Java访问用户名密码验证的url

Java访问用户名密码验证的url引言代码引言有些url带有用户名密码，我们直接用curl或者wget访问的时候出现401，没有访问权限。这时我们就需要对url进行必要的权限处理代码private static String Post1(String url, String hexString) throws IOException { CloseableHttpClient cl...

2019-03-11 20:56:45 1913

原创 DB2数据库安装(db2 9.7 ,centos7)

DB2数据库安装(db2 9.7 ,centos7)一．软件配置Db2数据库 db2exc_970_LNX_x86_64.tar.gz环境 centos7DB2客户端 Aqua Data Studio 19.0 - 64bit二．Db2安装1.解压tar -zxvf db2exc_970_LNX_x86_64.tar.gz2.检查安装条件./db2prereqcheckWA...

2019-03-11 20:50:55 9455 1

原创复杂流程图的配置生成

复杂流程图的配置生成小记SQL创建jsp 编写js编写流程图效果展示小记jsPlumb使用SVG为开发者提供了一个可以形象化连接页面元素的工具jsPlumb库不需要外部依赖jsPlumb最后一个兼容IE8的版本为1.7.x，此后版本将只支持在现在浏览器中使用，但官方会继续维护1.7.x版本SQL创建去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的代码片.CRE...

2018-12-21 10:22:31 2908

原创 spark提交python脚本并传参

脚本命令这里第一个参数是python脚本名称，第二个参数是jsonspark-submit --master yarn --deploy-mode cluster --num-executors 20 --executor-memory 8g --executor-cores 2 --conf spark.yarn.executor.memoryoverhead=4096 $1...

2018-11-15 16:37:36 8297

原创 Java MD5加密解密

Message Digest Algorithm MD5（中文名为消息摘要算法第五版）为计算机安全领域广泛使用的一种散列函数，用以提供消息的完整性保护。该算法的文件号为RFC 1321（R.Rivest,MIT Laboratory for Computer Science and RSA Data Security Inc. April 1992）。MD5即Message-Digest Algo...

2018-06-29 10:09:27 69578 19

原创 Java图片分割与合并

一张图片有的时候太大了之后，我们需要把大图分割成若干张小图存入数据库，在读取的时候，需要把若干张小图合成一张大图因此有了如下的代码，首先分割private static void splitImage() throws IOException { //String originalImg = "C:\\img\\split\\a380_1280x1024.jpg"; ...

2018-06-29 10:04:35 7902 2

原创 Base64 加密解密图片

Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，Base64就是一种基于64个可打印字符来表示二进制数据的方法。可查看RFC2045～RFC2049，上面有MIME的详细规范。Base64编码是从二进制到字符的过程，可用于在HTTP环境下传递较长的标识信息。例如，在Java Persistence系统Hibernate中，就采用了Base64来将一个较长的唯一标识符（一般为1...

2018-06-29 09:58:25 16582 1

原创 easyui datagrid editor 编辑器的简单活用以及自定义校验

本文介绍easyui的datagrid如何使用编辑器的功能并且完成自定义的校验1、定义dategrid列表，这里editor主要是设置该字段可以编辑，并且指定自定义编辑类型editor="{type:'Wdate',options:{required:true}}"<e:datagrid url='' id="order_...

2018-05-17 12:02:38 25858 2

原创 nginx配置（带https）

nginx https nginx.conf配置文件摘要

2017-06-22 16:24:41 568

原创达利欧《原则》原则清单

达利欧《原则》原则清单一、生活原则拥抱现实，应对现实做一个超级现实的人真相（或更准确地说，对现实的准确理解）是任何良好结果的根本依据做到头脑极度开放、极度透明观察自然，学习现实规律进化是生命最大的成就和最大的回报理解自然提供的现实教训痛苦 + 反思= 进步考虑后续与再后续的结果接受结果从更高的层次俯视机器有明确的目标找出问题并且不容忍问题诊断问题，找到问题的根源规划方案坚定地从头至尾执行方案谨记：如果你找到了解决方案，弱点是不重要的理解你和其他人的“意境地图”与谦逊性做到头脑极度开放认识你的两大障碍奉行头脑

2020-07-16 10:22:53 2326

原创《麦肯锡笔记思考法》读书笔记

《麦肯锡笔记思考法》读书笔记一、大多数人的笔记和麦肯锡笔记的区别二、掌握麦肯锡笔记术的好处三、麦肯锡笔记术中最重要的三个心态一边思考假设一边做笔记追求成果用故事线思考四、麦肯锡四步解决问题笔记术第一步：找出真正问题第二步：建立假设分组整理，建立假设第三步：验证假设第四步：取得成果两点想法我们一切的工作都是为了解决问题，而解决问题的关键在于思考。《麦肯锡笔记思考法》这本书介绍的笔记思考法，教你如何将笔记做为“思考工具”和“解决问题的工具”，边写边思考，整理思绪，解决一切难题。最近在图书馆翻到了一本书《麦

2020-07-16 09:44:38 677

原创《麦肯锡笔记思考法》初步学习心得

《麦肯锡笔记思考法》初步学习心得)01今天在得到app中听到了一个知识新闻，讲解的是《麦肯锡的笔记思考法》。得到用了两分钟的时间提炼了作者的关于笔记思考的心得，我日常听的是音频版，一旦遇到有共鸣的内容，就会反复听，包括读文稿。02由于我最近也在思考关于写作的一些方法和技术，因此，尽管知识新闻的这两分钟很短，但是有很多内容触及到了我的心灵，我觉得这本书一定会给我带来很大的收获。我马上就有了去学习一下的冲动。我赶紧用手机在学习图书馆网站搜索了一下，发现图书馆还没有这本书。接着我在网上搜了一下电子书，也没

2020-07-16 09:34:47 391

原创自从看了＜＜麦肯锡的领导力法则＞＞之后......

自从看了<<麦肯锡的领导力法则>>之后......一、思维力：领导者要有全局观，用更高的视角看待问题二、威信力三、平衡力：恰到好处的安排四、协调力：各部门人员工作协调发展每个人都有可能成为领导者，提升领导力是对自己最好的投资！在工作中，不管你是不是领导，都需要有一点儿领导力，我认为领导力也是一种影响力，做正确的事情，并潜移默化影响你周围的人，和你一起前行。出色的领导者的优秀品质有很多，首先应该是真诚和有前瞻性，其次需要有激情和能力，唯独没有领导力。为什么？因为只有把所有的优秀

2020-07-16 09:21:36 468

原创 kubernetes & docker 单机安装

kubernetes & docker 单机安装安装docker第一步第二步安装kubernetes第一步第一步遇到的问题问题A第二步测试安装情况第二步遇到的问题安装docker第一步yum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo http://mi...

2019-09-05 19:49:37 558

原创 Java高并发包简单笔记

Java高并发记录高并发线程池高并发线程池有如下：newCacheedThreadPool 无界限线程池，存放个数Integer.MAX_VALUE可进行线程自动回收，可实现线程工厂newFixedThreadPool 有界线程池，可指定最大数量，可定制线程工厂 newSingleThreadEcecutor 创建单一线程池，单一线程池可以实现队列的方...

2019-07-11 11:54:07 228

原创 DB2V9.7实现Java自定义函数UDF

DB2V9.7实现Java自定义函数UDF，不需要用db2自带的jdk编译，只需要版本相同即可

2019-03-13 09:59:12 1000

原创 Java访问用户名密码验证的url

Java访问用户名密码验证的url引言代码解释引言有些url带有用户名密码，我们直接用curl或者wget访问的时候出现401，没有访问权限。这时我们就需要对url进行必要的权限处理代码解释private static String Post1(String url, String hexString) throws IOException { CloseableHttpClien...

2019-02-12 10:39:53 1969 2

原创 Docker技术入门及实战笔记总结（超长5页纸）

Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目，它是基于 dotCloud 公司多年云服务技术的一次革新，并于 2013 年 3月以 Apache 2.0 授权协议开源)，主要项目代码在 GitHub 上进行维护。Docker 项目后来还加入了 Linux 基金会，并成立推动开放容器联盟。

2018-12-27 18:18:27 482

原创解决Python的your data either using array.reshape(-1, 1) if your data has a single featur

今天写关于决策树的一些算法的时候，卧槽，mmp,竟然出现了红色的警示错误，oneRowX: [0. 0. 1. 0. 1. 1. 0. 0. 1. 0.]newRowX: [1. 0. 0. 0. 1. 1. 0. 0. 1. 0.]Traceback (most recent call last): File "D:/pythoncode/jqxi/tree/tree.py", l...

2018-12-11 15:48:30 5801 4

原创 zookeeper实现分布式共享锁

　这里，一般，都是创建临时有序子节点，怎么来创建，不难　　说到协调，我首先想到的是北京很多十字路口的交通协管，他们手握着小红旗，指挥车辆和行人是不是可以通行。如果我们把车辆和行人比喻成运行在计算机中的单元(线程)，那么这个协管是干什么的？很多人都会想到，这不就是锁么？对，在一个并发的环境里，我们为了避免多个运行单元对共享数据同时进行修改，造成数据损坏的情况出现，我们就必须依赖像锁这样的协调机...

2018-12-05 16:30:38 198

原创 Python代理IP实现

这两天在看python代理IP实现，终于敲定了，哈哈，看代码 from bs4 import BeautifulSoupimport requestsimport randomimport urllib2def get_ip_list(url, headers): web_data = requests.get(url, headers=headers) ...

2018-11-15 16:47:21 541

原创 springmvc集成kerberos认证hive jdbc连接

话说，是springmvc连接hive没啥问题，那如果是kerberos认证的hive怎么连 <beans:bean id="jdbcListener" class="com.bonc.bm.core.listener.JdbcListener"> <beans:constructor-arg name="kerberos" value="true"&gt

2018-11-15 16:31:02 3198

原创机器学习（一）k-近邻算法

k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类...

2018-08-06 15:27:47 453

原创 python3网络爬虫selenium应用

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功...

2018-08-06 10:41:04 565

原创 Java自动读取properties配置文件

<listener> <listener-class>org.springframework.web.util.Log4jConfigListener</listener-class> </listener> <context-param> <param-name>param...

2018-06-29 10:24:21 1025

原创 Java SFTP操作linux

ChannelSftp 工具类为Java使用SFTP操作linux的一个工具，那么何为SFTP：sftp是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的网络的加密方法。sftp 与 ftp 有着几乎一样的语法和功能。SFTP 为 SSH的其中一部分，是一种传输档案至 Blogger 伺服器的安全方式。其实在SSH软件包中，已经包含了...

2018-06-29 09:51:36 1009

原创 html页面添加水印

如何在html或者jsp页面添加水印而不影响页面的基本框架，今天我给出如下例子，敬请指错 .cover { position:absolute; left:0; top:0; z-index:999999999999999; margin-right:0px; margin-left:0px;

2018-01-19 12:34:39 39874 4

原创 oracle递归树形结构获取所有父节点，子节点

mysql递归树需要用到函数完成，而oracle的递归却显的简单了，一条sql就可以解决了递归父节点select * from rr s start with s."ID"=584 CONNECT by s.id= PRIOR s.PARENT_ID递归子节点select * from rr s start with s."ID"=584 CONNECT by PRIOR s.id= s.P

2018-01-19 10:46:06 4709

原创 springboot之aop面向切面处理

AOP：何为AOP aop全称Aspect Oriented Programming，面向切面，AOP主要实现的目的是针对业务处理过程中的切面进行提取，它所面对的是处理过程中的某个步骤或阶段，以获得逻辑过程中各部分之间低耦合性的隔离效果。其与设计模式完成的任务差不多，是提供另一种角度来思考程序的结构，来弥补面向对象编程的不足。　　通俗点讲就是提供一个为一个业务实现提供切面注入的机制

2018-01-08 10:10:00 426

原创 springboot之使用SpringBootCondition

Conditional@Conditional是SpringFramework的功能，SpringBoot在它的基础上定义了@ConditionalOnClass，@ConditionalOnProperty的一系列的注解来实现更丰富的内容。定义一个自定义标签import com.example.conditional.MyConditi

2018-01-08 09:44:15 9659 2

原创 springboot 之使用 Interceptor

spring boot拦截器默认有 HandlerInterceptorAdapterAbstractHandlerMappingUserRoleAuthorizationInterceptorLocaleChangeInterceptorThemeChangeInterceptor添加 WebMvcConfigurerAdapter 配置import org.springfram

2018-01-08 09:18:33 6900 2