nyyjs-CSDN博客

原创理解动态代理及动态代理在RPC中的应用

我尽量用通俗的语言来解释我对动态代理技术的理解动态代理技术动态代理涉及到了两种技术：1，反射机制；2，代理机制。这两种技术的详细解释请自行谷歌或百度。有几篇文章大家可以看看： http://m.blog.csdn.net/hejingyuan6/article/details/36203505 http://www.cnblogs.com/xiaoluo501395377/p/3383130

2017-09-05 13:41:19 6164 3

原创 Eclipse和HBase连不上的问题分析

搭建一套物理上的hadoop和hbase集群，二者都是采用的完全分布式模式。若hbase用hdfs文件系统的话，那么就需要先搭建hadoop集群（若是file文件系统便不需要先搭建hadoop）。而hbase与hadoop存在版本兼容的问题，原因是RPC协议对版本的要求非常严格。因此在选择hbase和hadoop的版本时，务必要参考官方文档。如下，本人选择的版本： JDK版本：jdk1.8

2017-08-25 17:55:18 3111 1

原创 NIO（二）——SELECT

本文的行文思路是对照一个典型的例子，将select的整个IO过程捋一遍。，另外还会涉及一些平时容易忽略的知识点。概述 IO过程主要分为：1）数据准备阶段；2）数据操作阶段。所谓的阻塞非阻塞IO，主要指的都是第一个阶段。 NIO主要有三大部分：Channel，Buffer，Selector。NIO（Non-Blocking IO或New IO）是相对于BIO（Blocking IO）而言的。BIO

2017-07-28 09:23:43 445

原创 NIO（一）——阻塞/非阻塞/同步/异步/NIO/select/epoll基本概念

这个系列是我对NIO的个人理解，某些概念难免会与有理解上的偏差，希望各路大神能给在下指点出来，感激不尽！IO一般指的是内核与外部进行数据交互的所发生的事情。典型分为网络IO（socket），磁盘IO（文件），管道IO（pipe）等几类。我们将主要介绍网络IO这一部分。一，阻塞/非阻塞/同步/异步谈及网络IO，都会谈到阻塞，非阻塞，同步，异步这几个概念。我们先从IO的过程讲起。 IO主要

2017-07-27 16:58:40 2250 1

原创关于HDFS的一些总结

一，FsImage 和 FsEdit的意义及它们的运行机制FsImage。存储的是元数据镜像文件，具体讲是存储某一时段NameNode内存元数据信息。 FsEdit。操作日志文件。比如说，上传一个文件或删除一个文件，这些操作。从而引申出以下几个问题： 1)，什么是元数据？简单来讲，就是HDFS文件的属性信息（文件名、目录名等等属性信息）、文件内容信息（文件块情况、副本数等等内容信息）、dat

2017-07-20 11:04:04 406

原创 Eclipse连接远程Hadoop集群&运行WordCount例程

hadoop开发主要分为两种，第一种是脱离集群开发；第二种是连接远程Hadoop集群，将我们开发的API提交hadoop执行； http://www.aboutyun.com/thread-6950-1-1.html https://my.oschina.net/OutOfMemory/blog/776772 本文记录的是后一种，即用本地windows下的eclipse 连接远程linux下的

2017-06-20 16:13:52 3549 1

原创关于https 和 ssl握手的理解

几点说明： 1）本文主要目的是对https&ssl的总体过程和相关知识点做一下梳理，算是自我总结。如果同时能给本文的你一点启发或帮助，那就更好了。 2） https这个过程本身非常复杂，里面涉及到的技术点也非常多，本人无力一一展开。因此，如果有同学觉得我漏了某些点，欢迎补充。另，本文是我自己对https&ssl的个人理解，如果有理解不对的地方，十分期待和欢迎各位指出，大家一起进步。 3

2017-06-01 16:54:09 1050 1

原创 Logstash 给 Elasticsearch 吐数时的@timestamp问题处理

对@timestamp的8小时的问题的解释，请参考http://blog.csdn.net/shan1369678/article/details/51375537 ，解释的很详细。在这里结合我自己的项目，来谈对这个问题的理解。对ES中的某条日志，有如下两个字段：和 DATETIME 是日志生成的时间戳，我们并不清楚该日志的来源，故不能确定该日志是否是UTC还是UTC+8。但一般来说，很可

2017-05-26 17:51:35 8290

原创对consumer instance（消费者实例）的思考

官网(https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html#plugins-inputs-kafka-consumer_threads)说的要consumer instance，也就是消费者实例，到底是指什么？是指一个logstash进程，还是指logstash中的consumer_threads中的线程

2017-05-26 17:14:38 3783 2

原创由kafka的lag延迟引发的partitions数和consumers数的调整

问题描述：有一个topic为nams_flume_imp，有两个消费者组**-imp-adv-log 和 ****_logstash_imp来消费该topic，每个消费者组目前只有一个消费者，每个消费者只有一个线程。 Kafka有6个partition，也就是说每个消费者组只有一个消费者线程来消费6个partition的log数据。通过查看kafkamanage，发现****_logsta

2017-05-26 15:37:44 13508

原创关于python编解码的一些坑（二）

声明：本文为作者原创，转载请注明出处学过python的都知道，python的encode，decode里面有一些坑，掉进去后比较难爬出来。正好这段时间想总结一下这些坑，我会写2-3篇文章来介绍我对这些坑的理解。既然是个人理解，那很可能有些考虑不对的地方。因此如果大家自认为有更准确的理解，也希望能相互交流，共同学习，一起进步！另，文章中引用的文献，我都做了说明，也都注明了出处，以方便大家查阅。本篇文章

2017-02-23 13:32:18 518

原创关于python编解码的一些坑（一）

声明：本文为作者原创，转载请注明出处学过python的都知道，python的encode，decode里面有一些坑，掉进去后比较难爬出来。正好这段时间想总结一下这些坑，我会写2-3篇文章来介绍我对这些坑的理解。既然是个人理解，那很可能有些考虑不对的地方。因此如果大家自认为有更准确的理解，也希望能相互交流，共同学习，一起进步！另，文章中引用的文献，我都做了说明，也都注明了出处，以方便大家查阅。文章比较

2017-02-23 11:29:08 8361

转载图像处理中的卷积问题

卷积概念引入之滤波这里讨论利用输入图像中像素的小邻域来产生输出图像的方法，在信号处理中这种方法称为滤波（filtering）。其中，最常用的是线性滤波：输出像素是输入邻域像素的加权和。1.相关算子（Correlation Operator)定义：,即，其中ｈ称为相关核(Kernel).步骤：1）滑动核，使其中心位于输入图像g的（i，j）像素上2）利用上式求和，得

2015-11-12 17:55:00 1388

转载银行家算法

一.概念引入银行家算法（ banker's algorithm ）由 Dijkstra于1965提出，关键是将死锁的问题演示为一个银行家贷款的模型，由于能用于银行系统的现金贷款而出名。一个银行家向一群客户发放信用卡，每个客户有不同的信用额度。每个客户可以提出信用额度内的任意额度的请求，直到额度用完后再一次性还款。银行家承诺每个客户最终都能获得自己需要的额度。所谓“最终”，是

2014-10-13 10:58:04 727

nyyjs的专栏