wang23109203-CSDN博客

原创深入剖析tomcat读书笔记——连接器

最近阅读了深入剖析tomcat 这本书，顺便做读书笔记方便自己日后复习，同时也可以供他人参考。以下内容是第三章的内容，主要讲述简化了连接器：这里主要涉及到以下几个类 HttpConnector 负责创建一个服务器套接字，套接字会等待传入的Http请求 HttpProcessor 负责生产HttpRequest和HttpResponseHt

2016-04-19 10:56:54 463

原创 java I/O总结

IO是非常重要的一块，但通常又被人们所忽视，这里希望能有个很清晰的介绍。自己学习的同时希望能够给别人带来一些帮助，对文章中用到其他作者(已经给出了链接)的图片在这里表示感谢！IO的分类java IO可以分成两类：（1）基于字节操作的io接口：InputStream 和 OutputStream （2）基于字符操作的io接口：Writer 和 Reader 不论是磁盘还是网络传输，他们的最小单

2016-04-13 16:35:53 548

原创 webmagic学习笔记

今天来看看页面出来的过程在class Spider中有run函数，调用了 processRequest(requestFinal)完成对页面的下载和处理。在这个函数里面先调用downloader.download(request, this);完成页面的下载， pageProcessor.process(page);完成对页面的处理过程，随后可以进行抽取结果的持久的过程。爬虫下载页面以及后

2014-12-02 09:06:29 1034

原创 webmagic 学习笔记

今天要学习一下webmagic中的pipeline模块。首先是有一个接口： interface Pipeline 接口中提供了一个方法： public void process(ResultItems resultItems, Task task);处理resultitem中存取的结果。同时还有一个接口： interface CollectorPipeline extends Pipeli

2014-12-01 09:24:47 1213

原创读webmagic笔记

这里来记录一下scheduler模块介绍这个模块之前先要介绍一下scheduler.component模块 DuplicateRemover是接口，接口函数有 public boolean isDuplicate(Request request, Task task);和public void resetDuplicateCheck(Task task);以及public int getT

2014-11-30 19:24:44 1544