sniperken-CSDN博客

原创关于使用kafka的个人总结

本篇文章算是对几个月工作的一个总结吧，接触了几个月的kafka和flume，感觉自己也只能算是了解kafka的阶段，接下来也打算深入研究下kafka的原理，下面写的算是对工作中使用到的kafka方面的东西做个总结吧！ kafka概述（有空可以浏览一下http://orchome.com）当前kafka版本为0.10.0.0。关于Kafka需要了解

2016-09-23 11:52:27 13191 1

原创使用flume进行日志收集的总结(2)

Sinks groups 和 Sink Processors Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。配置多个sink组成一个sinkgroup 并实现负载均衡负载均衡(load b

2016-09-13 14:22:27 513

原创使用flume进行日志收集的总结(1)

由于最近几个月在搞一个实时监控平台的项目，用的是flume+kafka+spark，之前领导说弄个文档总结一下项目开发中的用到技术以及容易出错的地方，以供之后的新手们参考（其实我也才接触了几个月而已），现在才有时间弄文档，顺便也发个博客记录一下（处女篇），毕竟当初我也是不断在网上查资料的，希望这份资料对大家有用吧。由于网上对于flume的简介很多，这里就不多做赘述了，直奔主题，

2016-09-09 11:34:50 1281

原创剑指offer-----旋转数组的最小数字(java版)

一题目把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个非递减排序的数组的一个旋转，输出旋转数组的最小元素。二例子例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小值为1。NOTE：给出的所有元素都大于0，若数组大小为0，请返回0。三思路对于数组{3，4，5，1，2}，我们可以使用二

2017-01-10 10:12:44 377

原创剑指offer-----用两个栈实现队列(java版)

一题目用两个栈来实现一个队列，完成队列的Push和Pop操作。队列中的元素为int类型。二例子测试操作：["PUSH1","PUSH2","PUSH3","POP","POP","PUSH4","POP","PUSH5","POP","POP"]对应输出：1 2 3 4 5三思路一开始push的时候只对栈1 push，在pop操作时，遍历栈1，

2017-01-10 09:04:23 356

原创剑指offer-----重建二叉树(java版)

一题目输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。二例子输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并返回。三思路根据前序遍历可以知道二叉树的根为1，所以中序遍历中前3个是根的左子树，1的后面元素是根的右子树，可以

2017-01-10 08:46:20 1153

原创剑指offer-----从尾到头打印链表(java版)

一题目输入一个链表，从尾到头打印链表每个节点的值。二思路使用递归的思想，递归结束的标志为到达链表的尾部。三程序源码class ListNode { int val; ListNode next = null; ListNode(int val) { this.val = val;

2017-01-09 21:21:58 388

原创剑指offer-----替换空格(java版)

一题目请实现一个函数，将一个字符串中的空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。二思路这一题直接用暴力解法，利用StringBuilder的append方法替换空格。三程序源码public class Solution { public String replaceS

2017-01-09 21:03:18 357

原创剑指offer-----二维数组中的查找(java版)

一题目在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。二思路我们可以从将二维数组当做是一个矩阵，从矩阵的最左下角的元素出发，如果该元素比目标数字大，则向上走，如果该元素比目标数字小，则向右走三源码public class Solution {

2017-01-09 20:52:08 303

原创剑指offer-----机器人的运动范围(java版)

一题目地上有一个m行和n列的方格。一个机器人从坐标0,0的格子开始移动，每一次只能向左，右，上，下四个方向移动一格，但是不能进入行坐标和列坐标的数位之和大于k的格子。二例子例如，当k为18时，机器人能够进入方格（35,37），因为3+5+3+7 = 18。但是，它不能进入方格（35,38），因为3+5+3+8 = 19。三思路思路很简单，要先定义一

2017-01-01 09:17:59 560

原创剑指offer-----矩阵中的路径(java版)

一题目请设计一个函数，用来判断在一个矩阵中是否存在一条包含某字符串所有字符的路径。路径可以从矩阵中的任意一个格子开始，每一步可以在矩阵中向左，向右，向上，向下移动一个格子。如果一条路径经过了矩阵中的某一个格子，则该路径不能再进入该格子。二例子例如 a b c e s f c s a d e e 矩阵中包含一条字符串"bccced"的路径，但是矩阵中不包含"abcb"路

2017-01-01 08:36:13 678

原创剑指offer-----滑动窗口的最大值(java版)

一题目给定一个数组和滑动窗口的大小，找出所有滑动窗口里数值的最大值。例如，如果输入数组{2,3,4,2,6,2,5,1}及滑动窗口的大小3，那么一共存在6个滑动窗口，他们的最大值分别为{4,4,6,6,6,5}；二例子针对数组{2,3,4,2,6,2,5,1}的滑动窗口有以下6个： {[2,3,4],2,6,2,5,1}， {2,[3,4,2],6,2,5,1}， {2

2016-12-31 15:58:05 4191

原创剑指offer-----数据流的中位数(java版)

一题目如何得到一个数据流中的中位数？如果从数据流中读出奇数个数值，那么中位数就是所有数值排序之后位于中间的数值。如果从数据流中读出偶数个数值，那么中位数就是所有数值排序之后中间两个数的平均值。二例子①输入 5 2 输出 5.0 3.5②输入 5 2 3 输出 5.0 3.5 3.0三思路Java的PriorityQueue 是

2016-12-30 21:40:55 2187

原创剑指offer-----找出二叉搜索树第k个节点(java版)

一题目给定一颗二叉搜索树，请找出其中的第k大的结点。例如， 8 /\ 6 10 /\ /\ 5 7 9 11 中，按结点数值大小顺序第三个结点的值为4。二例子输入二叉树如下：如果输入该二叉树，以及整数3（第三个节点），则输出7三思路要找出二叉搜索树的第k个节点，其实就是找出中序遍历的第k个节点，所以，只需要在中序遍历的时候添加一个变量，指示

2016-12-27 17:04:53 382

原创剑指offer-----多行打印二叉树(java版)

一题目从上到下按层打印二叉树，同一层结点从左至右输出。每一层输出一行。二例子输入二叉树：输出：{[8]，[6,10]，[5,7,9,11]}三思路思想就是层次遍历，只是要把每一层的节点都存放在同一个list中而已。①一开始先把根节点添加到list和一个queue中②while循环判断queue是否为空，不为空的话定义2个变量（l

2016-12-27 10:45:45 471

原创剑指offer-----序列化和反序列化二叉树(java版)

一题目请实现两个函数，分别用来序列化和反序列化二叉树二思路序列化二叉树时，根据前序遍历方式将二叉树节点的值转换为字符串，如果二叉树节点为空，则以‘#’代替，每个节点的值以‘，’分隔，反序列化时，也以前序遍历方式从队列中取出数值构建二叉树三程序源码String Serialize(TreeNode root) { if (root==nu

2016-12-27 10:16:56 2637

原创剑指offer-----输出二叉树的后继节点(java版)

一题目给定一个二叉树和其中的一个结点，请找出中序遍历顺序的下一个结点并且返回。注意，树中的结点不仅包含左右子结点，同时包含指向父结点的指针。二例子对于下面的二叉树，8的后继节点为9(题目说的中序遍历)，6的后继节点为7，5的后继节点为6三思路思路很简单，①如果节点有右子树，则该节点的后继节点就是往右子树出发，然后转到右子树的左子树，一直到左

2016-12-26 21:27:44 1608

原创剑指offer-----判断二叉树是否对称(java版)

一题目请实现一个函数，用来判断一颗二叉树是不是对称的。注意，如果一个二叉树同此二叉树的镜像是同样的，定义其为对称的。二思路个人本题十分简单，就是判断每个节点是否相等，每个节点的左子树是否与右子树相等，下面直接上代码三程序源码class TreeNode { int val = 0; TreeNode left = null; T

2016-12-26 21:22:19 1972

原创剑指offer-----按之字形顺序打印二叉树(java版)

一题目请实现一个函数按照之字形打印二叉树，即第一行按照从左到右的顺序打印，第二层按照从右至左的顺序打印，第三行按照从左到右的顺序打印，其他行以此类推。二例子输入二叉树为：8 6 10 5 7 9 11输出结果为：8 10 6 5 7 9 11三思路打印之字形的二叉树，需要两个栈，一个栈从左到右存放节点，一个栈从右到左

2016-12-26 21:02:36 2006

原创剑指offer-----删除链表中重复的节点(java版)

一题目在一个排序的链表中，存在重复的结点，请删除该链表中重复的结点，重复的结点不保留，返回链表头指针。二例子输入链表：1->2->3->3->4->4->5 处理后为：1->2->5三思路个人感觉这题关键是注意指针的指向，可以定义一个first对象（值为-1，主要用于返回操作后的链表），first.next指向head，定义一个last同样指

2016-12-25 20:11:12 3248 2

原创剑指offer-----链表中环的入口节点(java版)

一题目一个链表中包含环，请找出该链表的环的入口结点。二思路我们假设链表的头结点离环的入口节点为k，定义p1和p2指向链表的头结点，p2走的步长为2，p1的步长为1，当p1走了k步后，p2走了2k步，这时p1到达链表的入口节点，p2比p1多走了k步，离入口节点的距离为k，假定链表中环的长度为size，因为p2比p1速度快，所以p2需要追赶p1，又因为p1在入口节点

2016-12-25 16:22:37 1522 1

原创剑指offer------字符流中第一个不重复的字符(java版)

一题目请实现一个函数用来找出字符流中第一个只出现一次的字符。例如，当从字符流中只读出前两个字符"go"时，第一个只出现一次的字符是"g"。当从该字符流中读出前六个字符“google"时，第一个只出现一次的字符是"l"。如果当前字符流没有存在出现一次的字符，返回‘#’二例子输入'g'，输出'g'输入‘go’，输出'gg'输入'goo'，输出'ggg'输入'goo

2016-12-25 11:53:30 1482

原创剑指offer-----判断字符串是否表示数值(java版)

一题目请实现一个函数用来判断字符串是否表示数值（包括整数和小数）。例如，字符串"+100","5e2","-123","3.1416"和"-1E-16"都表示数值。但是"12e","1a3.14","1.2.3","+-5"和"12e+4.3"都不是。二思想①对字符串中的每个字符进行判断分析②e（E）后面只能接数字，并且不能出现2次③对于+、-号，只能出现在第

2016-12-24 22:44:15 1229

原创浅谈java中的几种引用

话不多说，这篇文章主要聊一下自己对java中几种引用的区别与用途的理解吧，虽然实际项目开发中用的并不多，但是对拓宽自己的知识面还是很有必要的。1.强引用强引用就是我们经常使用的引用，其写法如下StringBuffer buffer = new StringBuffer();上面创建了一个StringBuffer对象，并将这个对象的引用存到变量buffer中。强引用最

2016-12-11 17:53:58 1263

转载单例模式中为什么用枚举更好

枚举单例（Enum Singleton）是实现单例模式的一种新方式，尽管单例模式在java中已经存在很长时间了，但是枚举单例相对来说是一种比较新的概念，枚举这个特性是在Java5才出现的，这篇文章主要讲解关于为什么我们应该使用枚举来实现单例模式，它与传统方式实现的单例模式相比较又有哪些优势？1. 枚举写法简单写法简单这是它最大的优点，如果你先前写过单例模式，你应该知道即使有DCL（

2016-12-01 20:21:16 241

转载 Java中的阻塞队列

1. 什么是阻塞队列？阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：在队列为空时，获取元素的线程会等待队列变为非空。当队列满时，存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程。阻塞队列就是生产者存放元素的容器，而消费者也只从容器里拿元素。阻塞队列提供了四种处理方法:

2016-11-21 10:41:29 344

原创浅谈对CountDownLatch和CyclicBarrier的理解

先说一下CountDownLatch（看下列代码） public class UseCountDownLatch { public static void main(String[] args) { final CountDownLatch countDown = new CountDownLatch(2); Thread t1 = new Thread(new Runna

2016-11-17 21:16:07 311

转载图解HashMap和HashSet的内部工作机制

1）使用键（key）和值（value）将一个对象放入 map 中时，会隐式调用 hashCode() 方法，返回哈希值（hash code value），比如 123。两个不同的键能够返回一样的哈希值。良好的哈希算法（hashing algorithm）能够将数值分散开。在上面的例子中，我们假设 (“John”,01/01/1956) 的键和 (“Peter”, 01/01/1995) 的键返

2016-11-01 22:07:51 1137

并发编程实践中，ConcurrentHashMap是一个经常被使用的数据结构，相比于Hashtable以及Collections.synchronizedMap()，ConcurrentHashMap在线程安全的基础上提供了更好的写并发能力，但同时降低了对读一致性的要求（这点好像CAP理论啊 O(∩_∩)O）。ConcurrentHashMap的设计与实现非常精巧，大量的利用了volatile，f

2016-10-23 10:02:10 1262

转载 SpringMVC与Struts2区别与比较总结

1、Struts2是类级别的拦截，一个类对应一个request上下文，SpringMVC是方法级别的拦截，一个方法对应一个request上下文，而方法同时又跟一个url对应,所以说从架构本身上SpringMVC就容易实现restful url,而struts2的架构实现起来要费劲，因为Struts2中Action的一个方法可以对应一个url，而其类属性却被所有方法共享，这也就无法用注解或其他

2016-10-09 15:21:05 208

转载 ConcurrentHashMap源码剖析

ConcurrentHashMap是Java5中新增加的一个线程安全的Map集合，可以用来替代HashTable。对于ConcurrentHashMap是如何提高其效率的，可能大多人只是知道它使用了多个锁代替HashTable中的单个锁，也就是锁分离技术（Lock Stripping）。实际上，ConcurrentHashMap对提高并发方面的优化，还有一些其它的技巧在里面（比如你是否知道在g

2016-10-01 16:37:57 325

转载聊聊并发（2）：Java SE1.6中的Synchronized

1 引言在多线程并发编程中Synchronized一直是元老级角色，很多人都会称呼它为重量级锁，但是随着Java SE1.6对Synchronized进行了各种优化之后，有些情况下它并不那么重了，本文详细介绍了Java SE1.6中为了减少获得锁和释放锁带来的性能消耗而引入的偏向锁和轻量级锁，以及锁的存储结构和升级过程。 2 术语定义术语英文

2016-09-14 12:56:55 252

转载聊聊并发（1）：深入分析Volatile的实现原理

引言在多线程并发编程中synchronized和Volatile都扮演着重要的角色，Volatile是轻量级的synchronized，它在多处理器开发中保证了共享变量的“可见性”。可见性的意思是当一个线程修改一个共享变量时，另外一个线程能读到这个修改的值。它在某些情况下比synchronized的开销更小，本文将深入分析在硬件层面上Inter处理器是如何实现Volatile的，通过深入分

2016-09-12 13:06:50 222

TanZJ的博客