5 resolvewang

尚未进行身份认证

分布式微博爬虫 https://github.com/ResolveWang/WeiboSpider 快上车

等级
博文 20
排名 13w+

高可用分布式代理池:架构篇

历时大致两个月,到现在终于完成了分布式代理抓取爬虫,目前开源在了Github上。写这个项目的原因主要有两点,一是自己平时的部分工作需要和爬虫打交道,代理IP在有的时候可以发挥非常重要的作用,调研过一些开源的代理IP采集程序,发现在抓取、解析、校验、资源调度等这些方面总有一些不尽人意的地方;二是和一个网友(不严格的说算得上是伯乐)的交流让我有了关于使用Scrapy来写分布式爬虫的一些想法,正好可以借...

2018-03-06 14:12:52

如何构建一个分布式爬虫:基础篇

本文教大家如何构建一个简易的分布式爬虫

2017-05-22 22:32:09

如何构建一个分布式爬虫:理论篇

前言本系列文章计划分三个章节进行讲述,分别是理论篇、基础篇和实战篇。理论篇主要为构建分布式爬虫而储备的理论知识,基础篇会基于理论篇的知识写一个简易的分布式爬虫,实战篇则会以微博为例,教大家做一个比较完整且足够健壮的分布式微博爬虫。通过这三篇文章,希望大家能掌握如何构建一个分布式爬虫的方法;能举一反三,将celery用于除爬虫外的其它场景。目前基本上的博客都是教大家使用scrapyd或者scrapy-

2017-05-22 09:28:37

超详细的Python实现百度云盘模拟登陆(模拟登陆进阶)

本文细致的讲解了如何模拟登陆百度云

2017-05-14 15:27:52

超详细的Python实现新浪微博模拟登陆(小白都能懂)

本文主要是讲如何模拟登陆微博

2017-05-14 15:18:39

CSS相对定位、绝对定位之我见

CSS中的相对定位和绝对定位的理解,和它们的区别

2015-07-22 18:30:47

php遍历多维数组改变数组的值

php改变多维数组的值

2015-07-03 18:05:39

jquery中get和find方法区别,对象与标签元素的互换

jquery的对象和dom元素的互换,jquery中get()和find()方法的区别

2015-07-02 13:52:52

linux下面php文件和文件夹的创建及读写问题

对于我这种菜鸟来说,linux系统的权限问题总是令人蛋疼,今天在写一个关于php文件操作的程序的时候,遇到了这样一个问题,在用php读写指定文件的时候,提示没有权限,然后我打开utuntu命令终端,用指定命令(chmod777filename)改了要读写文件的权限级别,终于可以进行读写了.php在调用fopen()函数的时候,如果没有指定的文件,那么就将创建一个文件,但是当我这样做的时候,又遇

2015-04-24 14:58:07

wampp for linux 的mysql密码修改和字符编码的设置

折腾了半天的wamppforlinux了,最先是mysql默认密码的修改,因为原始的默认密码为空,用起来总不舒服,后来就想到把mysql的默认密码改了,步骤如下:先改掉mysql的默认密码.然后再在配置文件里改掉phpMyadmin里面的文件.具体步骤如下:先进入phpMyadmin,然后写一个sql语句修改mysql默认密码:updateusersetpassword=pas

2015-04-06 23:30:57

myeclipse for linux闪退

utuntu下myeclipse闪退

2015-04-05 11:11:26

hibernate中could not resolve property和is not mapped的问题

最近在学ssh,遇到了一些问题,这里我记录两个关于hibernate的问题。isnotmapped表示映射出了错,在我写的删除语句:"fromRole_rightrrwhererr.role_id="+roleId,其中的role_right是数据库的表名,role_id是该表的一个字段名。我的相应配置文件代码是这样的:RoleRight"table="role_righ

2015-03-25 00:11:33

myeclipse在编写代码出现黄线的问题

在用MyEclipse或Eclipse进行代码编写的时候,代码下边老是会弹出黄色的波浪线提醒你拼写有错误,其实有的时候并没有语法错误而只是myeclipse没识别而已,看起来很不舒服。后来就想把黄线给去掉,于是捣鼓了一阵,还是把烦人的黄线给去掉了。首先,打开window,选中preferences,在General里面选中Editors,然后选中Text Editors,展开其中的选项,有一个

2015-01-15 13:42:32

2015年规划和14年总结

忽然就到2015了,回望2014年,发生了好多好多重要的事情,感觉是自己这二十年来过得最最充实的一年。无论技术还是生活上,自己都有了很大的转变。这一年三月,和谈了两年的女朋友分手了,原因很简单,她受不了异地恋。以前也和她分过一次,因为她的背叛。但是后来自己却心软又和她复合了。或许异地在一起太难了吧。因为那段情也自己消沉了好长的时间,导致学业和技术的学习都耽搁了,现在想起来觉得自己当时就太认真了

2015-01-02 20:18:57

编译原理作业:编写一个程序,使之将一个C程序除注释之外的所有保留字全部大写

这是编译原理编程课的一次编程题目,用的j2se实现

2014-12-31 10:49:27

j2se bufferedwriter问题

这几天做编译原理一个练习题,需要用到文件读写的知识。费了好大力气才把文本指定的各种单词转化为了大写,然后在写入文件的时候又出现了新问题,因为我写文件的时候用的bufferedwriter,首先遇到了两个问题,把指定内容写入了文本文档,却发现文本没有换行,而原文件是有换行的;而且写中文的时候会出现乱码。后来通过各种搜索还有自己的尝试,把这两个问题解决了。第一个我在写的时候用bw.write(10)或

2014-12-27 14:49:25

数据库三范式详解

最近复习数据库,查了不少资料,这里有一篇写的很好的数据库文章,我把它搬过来作为参考:设计范式(范式,数据库设计范式,数据库的设计范式)是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则。在关系数据库中,这种规则就是范式。关系数据库中的关系必须满足一定的要求,即满足不同的范式。目前关系数据库有六种范式:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、第四范式(4NF)、第

2014-12-27 12:33:23

mysql jdbc 更新数据

今天忙了大半天,在更新string类型字段的时候老是提示语法出错,因为mysql的更新语法是 update表名set列名='列值'where语句。这里自己脑袋不开翘啊,就被一个‘’难住了,因为列值是一个变量值,用的函数返回值表示的(我写的为Stringnname=request.getParameter("nname");Stringname=request.getPa

2014-12-17 16:39:55

myeclipse以debug方式启动tomcat问题

Myeclipse以debug方式启动tomcat,我遇到过两个问题,这里把它们记录下来,希望可以帮到有相同困扰的朋友。第一个问题是,当我用myeclipse2014以debug方式启动tomcat8.x的时候,它老是进入调试那个界面,而且用浏览器不能访问自己的webapps。后来在网上找了一下方法,可以解决:点击window->preferences->tomcat->tomcat8.x(不一定

2014-12-15 18:44:27

C语言指针传递与值传递

一年以前,开始学编程语言,从c语言学起,记得刚学指针的时候,很是头痛,其中印象最深的一点就是指针传递和值传递的区别:最典型的例子就是swap()函数(具体函数就不写了),当时就在想为什么swap(inti,intj)不能交换两个整数,而要用swap(int*p,int*q),当时觉得难以理解,后来多看了一些书过后就渐渐明白传地址和传值的区别了,就这个例子而言,比如定义了两个变量m和n,

2014-12-11 21:46:44
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!