- 博客(4)
- 收藏
- 关注
RSS订阅原创 python爬虫数据寻找过程（解决爬虫异步导致AttributeError: 'NoneType' object has no attribute 'find_all'错误）
前边写了url的分析我们爬取想要的数据，一般是打开网站链接，用浏览器的elements功能对网页标签进行数据分析，确定想要的数据的位置，再在代码中通过requests库的get和post方式发起请求，得到返回的内容，再用美味汤进行数据查找，最后保存。但这是静态加载的网站的数据分析方式，学习别人代码时会出现AttributeError: 'NoneType' object has no at...
2019-11-29 21:28:08
11648
2
转载 解决Python print 输出文本显示 gbk 编码错误问题
复制过来地，来源https://www.jb51.net/article/143722.htm前阵子想爬点东西，结果一直提示错误UnicodeEncodeError: ‘gbk' codec can't encode character ‘\xa0' in position，在网上一查，发现是 Windows 的控制台的问题。控制台的编码是 GBK，Python 是 UTF-8，造成了冲突。下...
2019-11-29 14:38:18
1453
原创 学习爬虫两天的收获
脑子不好使，记下自己学了啥1.直接上requests库（跳过urllib），用来获取网址2.学习BeautifulSoup，美味汤，从HTML或XML文件中提取数据，可以更快检索出想要的数据3.学习json，对XHR中的json数据进行分析处理4.浏览器network，xhr学习分析网页，找到想要的数据...
2019-11-23 23:46:26
733
原创 python爬虫URL分析
每个URL都由两部分组成。前半部分大多形如：https://xx.xx.xxx/xxx/xxx，后半部分，多形如：xx=xx&xx=xxx&xxxxx=xx&……，两部分使用?来连接例子：http://s.ygdy8.com/plus/s.php?typeid=1&keyword=%CB%AE%D0%CE%CE%EF%D3%EF，这是对阳光电影网站搜索水形物...
2019-11-23 23:38:03
1273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人