- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 jmeter学习遇到的问题-持续总结
1、fiddler抓包链接不显示IP地址按照网上提供的在fiddler文档static station main()函数加一行内容，结果还是不管用。我的360、谷歌都不行。最后换用IE浏览器登录，fiddler显示登录网址信息了。2、http信息请求头内refer： 的作用refer对应的信息是表示该请求的来源，有些浏览器会通过识别refer信息来确定是否要提供访问，以保护自己的...
2019-03-22 00:03:34
236
原创 python编程导论学习笔记1
python是一门tong通用性编程语言，几乎可以快速创建任何类型的程序，而不需直接访问计算机硬件。这次学习主要是将python作为一个工具，目的是xu学习思考和解决计算问题的相关概念。首先xuex学习python的基本元素。2.1python程序处理的核心元素是对象。其有四类标量对象：（1）int（2）float（3）bool（4）Nonepython的对象可以有一个或多个变量与...
2018-07-16 23:53:35
371
原创 股票信息爬取问题解析
使用scrapy爬取股票代码时遇到以下问题：（1）'NoneType' object has no attribute 'split'；解答 在scrapy shell窗口下使用xpath提取股票代码，开始仅提取一个，很顺利。提取很多，使用for循环遇到了问题，弹出'NoneType' object has no attribute 'split'。意思是在调用split（）函数前，...
2018-06-25 20:46:00
571
原创 xpath和css用法的强化与对比
在scrapy shell窗口中验证提取标签或文本的语法：第一步需要定位，找到标签对应的位置，建立sel（1）'css' 法定位找到标签的父标签即可，如css('table tr');然后ip对应第几个td，借用语法nth-child（2）确定ip的位置，最后根据列表规则选择对应的ip。另外 'td:nth-child(2)::text'中的nth-child()是‘css'方法特有的，在xpat...
2018-06-08 00:27:23
2246
原创 代理服务器相关知识
1、代理服务器的安装使用代理服务器（代理IP）有两种方法，一种就是使用VPN，另一种是在INTERNET选项中设置IP。（1）使用VPN，就是在“打开网络和共享中心”创建新的网络连接；（2）使用internet选项设置ip，在“控制面板-网络和internet-internet选项-internet属性-连接-局域网设置-局域网（LAN）设置，然后在为LAN使用代理服务器前的复选框打钩，去网上搜索...
2018-06-07 21:34:08
250
原创 xpath和css的实战操作
在scrapy中使用selector对象提取页面中的数据，使用时会先通过XPath或CSS选择器选中页面要提取的数据，然后提取。xpath有一些基本语法，下面通过例子展示XPath的使用。（5）sel.xpath('./h1/text()').extract()'.'点表示从当前节点开始，所以写明'./'，没有点，表示从一个根目录开始的绝对路径。从当前节点开始，只选用一个子节点则用'/'，表示相对...
2018-06-06 23:59:28
966
原创 scrapy shell操作
1.问题描述在windows10系统下使用scrapy shell命令进行爬虫，结果失败出现错误crawled（403），这说明爬取的网站具有反爬机制。2.解决方法（1）在开头命令加 -s USER_AGENT = 'Mozilla/5.0'这种方法比较简单，但是需要每次使用时都要添加，比较麻烦。（2）修改scrapy的user_agent的默认值，在python的安装程序里面，我的路径为‘E:\...
2018-06-04 23:42:41
1009
原创 windows系统打开conf文件
在windows系统下初次打开conf文件时，系统没有推荐打开方式，此时可以自己选择记事本方式打开。记事本功能很强大，一般遇到不明扩展名的文件尝试用它来打开，十有八九是可以的。...
2018-05-31 21:07:45
20667
1
原创 新人报道
作为一个IT小白，在自学期间不断向百度请教时，发现几乎每次都可以在这里得到解决。为了更好的解决问题，我决定总结记录自己学到的知识，同时也希望借此能够得到各位的指点纠正。----Walt...
2018-05-31 20:58:48
121
松勤视频专用播放器2018.exe
2019-09-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人