明文存密码-CSDN博客

原创二叉树前序、中序、后序遍历Java和C非递归实现

写在前面正巧在看《算法：C语言实现》这本书，翻到树遍历这一篇。文章中生动形象的列出了前、中、后序遍历二叉树的过程，和算法思路。恰逢我又失眠，然后想看下Java实现。发现大多人的实现并没有书中实现的那么直观，甚至有些晦涩，于是我整理了下书中提供的算法，供大家参考。话不多说书中提到 ”为简单起见，我们从一个抽象栈开始考察，这个栈能够保存数据项或树，以将被遍历的树初...

2019-06-20 13:34:29 278

原创 Colocat Join 理解

前言在使用Doris的时候，help create table发现colocat join的建表语句，但是从未见过colocat join这个词语。所以想了解什么意思，但是百度翻译中文“共置联结”，搜了下bing，来勉强解释下。//Doris help create table 7. 创建两张支持Colocat Join的表t1 和t2 CREATE ...

2019-06-19 21:38:36 1460

原创 DataX--TxtFileWriter不写数据问题

写在前面我在用datax开发同步工具插件，需要从kafka消费数据，写入HIVE中。测试工具的时候先使用TxtFileWriter作为writer，观察中间结果。遇到问题由于我在reader里面使用while(true)来消费数据。如下图，打日志发现数据读到了，也sendToWriter了，但是生产文件大小为0 public void startRead(RecordSe...

2019-06-11 10:26:19 2674 2

原创 Datax支持kerberos认证

一、DataX很好用https://github.com/alibaba/DataX看到本篇之前，基本都从其他blog了解过datax（此处轻吹千字...）二、DataX不支持Kerberos由于阿里内部讨论过hdfs使用kerberos认证弊大于利，故不提供Kerberos认证能力。三、着手改造DataX由于我等厂商使用的是CDH组件，所以Hadoop都开启了Kerber...

2019-05-04 20:10:55 4345

原创 Flume 源码解读之解析HDFS路径

项目升级需求：需要通过flume采集过去时间段的日志，并存储到HDFS中，保证路径以 xxx/ymd=%Y-%m-%d/h=%H 来存储实践很简单：1）我们通过flume的RPCClient发送Event事件，给flume服务端，Event header中放入timeStamp headers.put("timestamp", data.getTime().toStrin...

2019-01-06 17:00:05 1737 2

原创 ExecutorCompletionService一不小心就会内存泄漏

我在定位苏宁智能告警平台内存泄漏过程中，发现ExecutorCompletionService的BlockingQueue占用了20%的堆内存。代码如下： CompletionService<Integer> exec = new ExecutorCompletionService<>( ExecutorUtils.getMu...

2018-08-29 15:58:03 1878

原创 python 实现CAS服务器认证

##CAS登陆流程##。如https://my.oschina.net/aiguozhe/blog/160715中所示。由于CAS不提供rest请求来通过认证。可行的方法是模拟浏览器请求，填入用户名和密码来实现认证流程。一、通过fiddler抓取登陆过程报文：Step1:Request Header：Response Header：302跳转到认证页面Step...

2018-08-14 11:30:41 7206 1

原创 JBOSS内存泄漏分析

现象：Apollo告警平台16台JBOSS服务器中有一台登陆不上，堆内存耗尽，OOM异常。分析：1、取回dump日志，通过IBM HeapAnalyzer分析NonRegisteringDriver类concurrentHashMap占用了73%的堆内存。疑点：为何GC回收不了此内存？打开5.1.45版本的mysql-connector-java下NonRegisterin...

2018-08-08 21:19:25 1312