5 区区不才嗷

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 58w+

python爬虫数据寻找过程(解决爬虫异步导致AttributeError: 'NoneType' object has no attribute 'find_all'错误)

前边写了url的分析我们爬取想要的数据,一般是打开网站链接,用浏览器的elements功能对网页标签进行数据分析,确定想要的数据的位置,再在代码中通过requests库的get和post方式发起请求,得到返回的内容,再用美味汤进行数据查找,最后保存。但这是静态加载的网站的数据分析方式,学习别人代码时会出现AttributeError: 'NoneType' object has no at...

2019-11-29 21:28:08

解决Python print 输出文本显示 gbk 编码错误问题

复制过来地,来源https://www.jb51.net/article/143722.htm前阵子想爬点东西,结果一直提示错误UnicodeEncodeError: ‘gbk' codec can't encode character ‘\xa0' in position,在网上一查,发现是 Windows 的控制台的问题。控制台的编码是 GBK,Python 是 UTF-8,造成了冲突。下...

2019-11-29 14:38:18

学习爬虫两天的收获

脑子不好使,记下自己学了啥1.直接上requests库(跳过urllib),用来获取网址2.学习BeautifulSoup,美味汤,从HTML或XML文件中提取数据,可以更快检索出想要的数据3.学习json,对XHR中的json数据进行分析处理4.浏览器network,xhr学习分析网页,找到想要的数据...

2019-11-23 23:46:26

python爬虫URL分析

每个URL都由两部分组成。前半部分大多形如:https://xx.xx.xxx/xxx/xxx,后半部分,多形如:xx=xx&xx=xxx&xxxxx=xx&……,两部分使用?来连接例子:http://s.ygdy8.com/plus/s.php?typeid=1&keyword=%CB%AE%D0%CE%CE%EF%D3%EF,这是对阳光电影网站搜索水形物...

2019-11-23 23:38:03
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。