5 会编程的漂亮小姐姐

尚未进行身份认证

所有的高薪,背后都是玩命的付出和不懈的坚持,这也是为什么会有这样的现象:越厉害的人,反而越努力。切记,别用今天的安逸换来一辈子的艰难,这是天底下最赔本的买卖。

等级
TA的排名 2w+

github使用教程(3)

1.将本地代码push到githubgit initgit add ./* #根据自己实际情况进行添加git commit -m “first commit”git remote add origin https://github.com/66/66tomization.gitgit push -u origin master2.将远端代码拉取到本地git initgit ...

2019-11-14 15:34:46

爬虫取列表遇到的问题总结

比如我想取类似下面的博客里的所有标题![在这里插入图片描述](https://img-blog.csdnimg.cn/20190925160159244.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQyMjk3NDI=,siz...

2019-09-25 16:02:06

918一点教训总结

哈哈,此文和技术无关,仅总结一下个人的一点经历。昨天是中国耻辱的一天,918事件纪念日,同时也是我的耻辱日。读书以来,一直到工作,从来没被小偷偷过。昨晚一时大意,背了个双肩包,将手机随手丢进包里被偷了。因为我对cd的印象一直很好,觉得不会有人偷我,结果,不到五分钟的路程就被小偷光顾了!!!幸运的是,今早补卡成功,手机从买到现在也有4年了,损失也不大。昨天发现手机被丢的那一刻,我整个人是懵的,感觉...

2019-09-19 11:10:22

一些解决问题的心得体会

最近一直在弄一个爬虫系统项目,遇到过很多小问题,可是在没解决之前都是花了我很久的时间。因此,特地向写一点总结:1.遇到问题不要害怕,不要畏首畏尾。一个字,干就行2.解决问题的最好办法是找各种方法进行尝试,原地发呆并非良方3.充分利用网络,个人比较懒,不想翻译英文网页,一般直接采用百度。其实百度就很厉害,基 本可以解决大部分的问题,可是搜问题也有讲究。尽量多总结问题,然后向百度以各...

2019-09-12 11:21:42

运行run_flower.py文件一直无法打开http://localhost:5555/解决办法

几乎一下午一直无法进入http://localhost:5555/,找了很久原因都没解决。最终一个博客直接解决了我的问题。直接:pipinstallflower然后访问http://localhost:5555/即可。吐血。。。。。。。...

2019-09-12 11:05:31

运行程序遇到的问题

py4j.protocol.Py4JJavaError: An error occurred while calling o36.load.org.apache.spark.SparkException: Unable to create database default as failed to create its directory /user/hive/warehouseat or...

2019-07-25 10:55:27

后端返回URL某一部分的值

1.http://www.cnlinfo.net/从这里输入公司名字,获取企业黄页信息2.输入关键字后,后端会返回拼凑的URL后半部分,根据JS代码,我们可以通过以下办法获取到完整的urlimportrequestsurl=“http://www.cnlinfo.net/ashx/BianMa.ashx”data={“TypeNum”:“3”,“ZhongWen”:“北京...

2019-05-22 16:47:42

页面解析

1.content=response.content.decode(‘gb2312’,‘ignore’)html=etree.HTML(content)2.html=etree.HTML(response.text)

2019-05-22 14:19:47

检查代理是否可用

import requestss = requests.session()url =“https://mail.163.com/”s.keep_alive = Falses.proxies= {“https”:“47.100.104.247:8080”,“http”:“36.248.10.47:8080”, }s.headers= headerr = s.get(url)print(...

2019-05-18 09:41:59

join的使用总结

try: #addr 是一个列表 ['山东省','青岛市','奎文区'] addr = html.xpath('//dl[@class="codl"]/dd[1]/a//text()')#拿到地址所属省、市、区 address = '\u0002'.join(addr) #直接拼接list中内容 山东省\x02潍坊\x02奎文区except: mailing_add...

2019-05-16 10:04:58

strip()函数总结

1.描述Pythonstrip()方法用于移除字符串头尾指定的字符(默认为空格或者换行符)或字符序列。注意:该方法只能删除开头或是结尾的字符,不能删除中间部分的字符。2.语法strip()方法的语法:str.strip([chars])3.参数chars–移除字符串头尾指定的字符序列。4.返回值返回移除字符串头尾指定的字符生成的新的字符串。5.实例str=“0000000...

2019-05-15 23:29:55

不显示验证https的安全证书

urllib3.disable_warnings() # 不显示验证https的安全证书

2019-05-08 11:34:40

遇到的一些编码问题

fromurllib.requestimportunquoteurl=‘https://cn.mdina.com/companysearch.do?source=1&word=��Ҧ�пƿ���ҵ���޹�˾’newurl=unquote(url,encoding=‘gb2312’)print(newurl)...

2019-05-06 15:15:57

chorme调试Paused in debugger问题解决

2019-04-29 09:52:50

当无法使用xftp传输文件到linux时的解决办法

yum -y install lrzsz安装好了 输入rz

2019-04-18 15:41:51

Project(1)阶段性总结续文

爬取的项目大概有200多万数据,基本都是做数据补全。目前已经接近尾声,还是遇到不少问题,感觉还是要总结一下才对得起花费的时间。爬虫过程,最好将整个页面也拿下来。这次爬虫吃了大亏。同一数据爬取了3次,因为每次拿到的数据和网页不一致。后来采取了保存整个网页,这样,在数据验收的时候,当发现爬取下来的数据和网站上的数据不一致的时候,只需要检查拿去下来的整个页面就可以了。这样即使爬取的数据和当前网页...

2019-03-22 11:45:18

继403后又发现一个坑

发现爬取的数据正确,但是时间不对。最后想到的解决办法是重新爬,可以重新爬取有80多万的量,这样下去又要花很久的时间。突然发现爬虫中保存HTML页面的必要性。虽然爬取的时候感觉这样很麻烦,可是如果大量数据已经爬取完成,再发现小问题都无从考证,到底是爬取方案有问题,还是页面数据更新了?没有原始网页,这些都无从考证!切记:以后爬虫尽量保存原始页面,这样出问题了,可以分析自己的原因。而且也不用重新爬取,...

2019-03-20 16:31:59

使用linux命令每隔一段时间启动一次爬虫

while [ 1 ]; do python3 test.py & sleep 600;pkill -9 test.py; done

2019-03-19 17:44:38

启动Appium报错解决办法

在命令行中输入“adb shell”进入shell之后,再输入“cat /system/build.prop”获取到deviceName

2019-03-12 11:49:02

[WinError 5] 拒绝访问。: 'd:\\anaconda\\lib\\site-packages\\cryptography\\hazmat\\bindings\\_constant_ti

通过pip install mitmproxy安装mitmproxy报错:[WinError 5] 拒绝访问。: 'd:\anaconda\lib\site-packages\cryptography\hazmat\bindings\_constant_ti。。。。。。解决方法是:pip install --user mitmproxy...

2019-03-11 16:46:02

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。