resolvewang-CSDN博客

原创高可用分布式代理池:架构篇

历时大致两个月，到现在终于完成了分布式代理抓取爬虫，目前开源在了Github上。写这个项目的原因主要有两点，一是自己平时的部分工作需要和爬虫打交道，代理IP在有的时候可以发挥非常重要的作用，调研过一些开源的代理IP采集程序，发现在抓取、解析、校验、资源调度等这些方面总有一些不尽人意的地方；二是和一个网友（不严格的说算得上是伯乐）的交流让我有了关于使用Scrapy来写分布式爬虫的一些想法，正好可以借...

2018-03-06 14:12:52 981

原创如何构建一个分布式爬虫：基础篇

本文教大家如何构建一个简易的分布式爬虫

2017-05-22 22:32:09 2111

原创如何构建一个分布式爬虫：理论篇

前言本系列文章计划分三个章节进行讲述，分别是理论篇、基础篇和实战篇。理论篇主要为构建分布式爬虫而储备的理论知识，基础篇会基于理论篇的知识写一个简易的分布式爬虫，实战篇则会以微博为例，教大家做一个比较完整且足够健壮的分布式微博爬虫。通过这三篇文章，希望大家能掌握如何构建一个分布式爬虫的方法；能举一反三，将celery用于除爬虫外的其它场景。目前基本上的博客都是教大家使用scrapyd或者scrapy-

2017-05-22 09:28:37 2414 2

原创超详细的Python实现百度云盘模拟登陆(模拟登陆进阶)

本文细致的讲解了如何模拟登陆百度云

2017-05-14 15:27:52 5395

原创超详细的Python实现新浪微博模拟登陆(小白都能懂)

本文主要是讲如何模拟登陆微博

2017-05-14 15:18:39 8756 8

原创 CSS相对定位、绝对定位之我见

CSS中的相对定位和绝对定位的理解，和它们的区别

2015-07-22 18:30:47 520

原创 php遍历多维数组改变数组的值

php 改变多维数组的值

2015-07-03 18:05:39 2538

原创 jquery中get和find方法区别,对象与标签元素的互换

jquery的对象和dom元素的互换，jquery中get()和find()方法的区别

2015-07-02 13:52:52 2645

原创 linux下面php文件和文件夹的创建及读写问题

对于我这种菜鸟来说，linux系统的权限问题总是令人蛋疼，今天在写一个关于php文件操作的程序的时候，遇到了这样一个问题，在用php读写指定文件的时候，提示没有权限，然后我打开utuntu命令终端,用指定命令(chmod 777 filename)改了要读写文件的权限级别，终于可以进行读写了.php在调用fopen()函数的时候，如果没有指定的文件，那么就将创建一个文件，但是当我这样做的时候，又遇

2015-04-24 14:58:07 5973

原创 wampp for linux　的mysql密码修改和字符编码的设置

折腾了半天的wampp for linux 了，最先是mysql默认密码的修改，因为原始的默认密码为空，用起来总不舒服，后来就想到把mysql的默认密码改了，步骤如下:先改掉mysql的默认密码．然后再在配置文件里改掉phpMyadmin里面的文件．具体步骤如下:先进入phpMyadmin,然后写一个sql语句修改mysql默认密码：update user set password=pas

2015-04-06 23:30:57 532

原创 myeclipse for linux闪退

utuntu 下myeclipse闪退

2015-04-05 11:11:26 585

原创 hibernate中could not resolve property和is not mapped的问题

最近在学ssh,遇到了一些问题，这里我记录两个关于hibernate的问题。is not mapped表示映射出了错，在我写的删除语句："from Role_right rr where rr.role_id = "+roleId，其中的role_right是数据库的表名，role_id是该表的一个字段名。我的相应配置文件代码是这样的：RoleRight" table="role_righ

2015-03-25 00:11:33 670

原创 myeclipse在编写代码出现黄线的问题

在用MyEclipse或Eclipse进行代码编写的时候，代码下边老是会弹出黄色的波浪线提醒你拼写有错误，其实有的时候并没有语法错误而只是myeclipse没识别而已，看起来很不舒服。后来就想把黄线给去掉，于是捣鼓了一阵，还是把烦人的黄线给去掉了。首先，打开window,选中preferences,在General里面选中Editors,然后选中Text Editors,展开其中的选项，有一个

2015-01-15 13:42:32 4649

原创编译原理作业：编写一个程序，使之将一个C程序除注释之外的所有保留字全部大写

这是编译原理编程课的一次编程题目，用的j2se实现

2014-12-31 10:49:27 2797

原创 j2se bufferedwriter问题

这几天做编译原理一个练习题，需要用到文件读写的知识。费了好大力气才把文本指定的各种单词转化为了大写，然后在写入文件的时候又出现了新问题，因为我写文件的时候用的bufferedwriter，首先遇到了两个问题，把指定内容写入了文本文档，却发现文本没有换行，而原文件是有换行的；而且写中文的时候会出现乱码。后来通过各种搜索还有自己的尝试，把这两个问题解决了。第一个我在写的时候用bw.write(10)或

2014-12-27 14:49:25 470

转载数据库三范式详解

最近复习数据库，查了不少资料，这里有一篇写的很好的数据库文章，我把它搬过来作为参考：设计范式（范式,数据库设计范式,数据库的设计范式）是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则。在关系数据库中，这种规则就是范式。关系数据库中的关系必须满足一定的要求，即满足不同的范式。目前关系数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、第四范式（4NF）、第

2014-12-27 12:33:23 431

原创 mysql jdbc 更新数据

今天忙了大半天，在更新string类型字段的时候老是提示语法出错，因为mysql的更新语法是 update 表名 set 列名 = '列值' where 语句。这里自己脑袋不开翘啊，就被一个‘’ 难住了，因为列值是一个变量值，用的函数返回值表示的（我写的为String nname = request.getParameter("nname");String name = request.getPa

2014-12-17 16:39:55 1042

原创 myeclipse以debug方式启动tomcat问题

Myeclipse以debug方式启动tomcat，我遇到过两个问题，这里把它们记录下来，希望可以帮到有相同困扰的朋友。第一个问题是，当我用myeclipse2014以debug方式启动tomcat8.x的时候，它老是进入调试那个界面，而且用浏览器不能访问自己的webapps。后来在网上找了一下方法，可以解决：点击window->preferences->tomcat->tomcat8.x(不一定

2014-12-15 18:44:27 2586

原创 C语言指针传递与值传递

一年以前，开始学编程语言，从c语言学起，记得刚学指针的时候，很是头痛，其中印象最深的一点就是指针传递和值传递的区别:最典型的例子就是swap()函数(具体函数就不写了)，当时就在想为什么swap（int i,int j）不能交换两个整数，而要用swap（int * p,int* q），当时觉得难以理解，后来多看了一些书过后就渐渐明白传地址和传值的区别了，就这个例子而言，比如定义了两个变量 m和n，

2014-12-11 21:46:44 610