- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 获取pm2.5空气质量AQI历史数据
网站：https://www.aqistudy.cn/historydata/前言： pm2.5的数据源比较多，但是历史数据比较少，很多网站不是很全，如图，这个网站的数据在同类网站中是算比较全面的了，界面也很简约清晰。一开始我爬取这个网站的时候看到网页结构很简单以为简单的构造请求就可以爬取数据了。没想到打开开发者工具后，发现其日数据是通过js加密解密加载到页...
2020-02-19 09:18:06
9970
8
原创 爬取淘宝买家秀，sign值的生成
最近在做关于淘宝买家秀的爬虫，其中无非就是关于sign的生成相关的几个点。这里我来介绍下自己总结的几个点。1.数据如图。淘宝传下来的数据存在js文件中2.参数appKey: 12574478t: 1560094920983sign: 9fd51773ab6c80205f4a0c2f97ca14c6api: mtop.taobao.social.feed.aggre...
2019-06-10 00:40:35
9820
21
原创 KFC门店信息获取 爬虫实战
最近在帮客户做东西时需要用到kfc的门店信息查询数据,在浏览了一圈博客之后,貌似大家都是采用selenium + PhantomJS 这种方式抓取kfc的ajax动态网页,其实在分析了一波该网站的请求之后,相对来说还是很简单的一个爬虫,该网站甚至没有做浏览器的验证url =http://www.kfc.com.cn/kfccda/storelist/index.aspx如图...
2019-06-06 23:35:04
3704
原创 利用selenium 爬取网页数据
有些网站的数据是加密过的，不能直接通过请求的方式获取。于是我们可以利用脚本测试工具selenium来控制浏览器从而爬取数据。安装：chrome：地址栏输入chrome://settings/help查看浏览器版本信息：去：http://chromedriver.storage.googleapis.com/index.html下载相对应的驱动然后放入浏览器的安装目录：...
2019-06-06 23:33:47
5134
原创 bootstrap datetimepicker的使用
在前端页面的开发中，我们经常要用到日期选择控件。而datetimepicker则是一个非常方便的控件页面效果：引入资源文件： <link rel="stylesheet" href="https://cdn.staticfile.org/twitter-bootstrap/3.3.7/css/bootstrap.min.css"></link>...
2019-04-16 22:28:56
1478
1
原创 bootstrap-table 常用用法
页面效果：导入资源：<link href="https://cdn.bootcss.com/bootstrap-datetimepicker/4.17.47/css/bootstrap-datetimepicker.min.css" rel="stylesheet"></link><script src="https://unpkg.com/boots...
2019-04-16 22:19:30
9680
原创 python爬虫中 lxml etree的相关使用
import requestsfrom lxml import etreeurl = 'https://dblp.org/pers/hd/p/Petersen:Karin'html = requests.get(url)html = etree.HTML(html.text) #初始化生成一个XPath解析对象items = html.xpath('//div[contains(@c...
2019-04-11 18:42:31
3055
原创 python 打开xls文件写数据
因为在写爬虫的时候要经常用到写Excel文件，于是总结一下：rb = xlrd.open_workbook('test.xls', formatting_info=True)wb = xl_copy(rb)sheet = wb.add_sheet('test')sheet.write(i, 0, 'row1Data')#i行0列sheet.write(i, 1, 'row2Data...
2019-03-31 10:21:11
1302
原创 python 爬虫 中乱码问题0xb5 和b'\x1f\x8b\x08
在爬取网页时经常碰到乱码问题，其中：b'\x1f\x8b\x08开头：import gzipret = gzip.decompress(res).decode("utf-8")另外一位博主的解决：import urllib.requestfrom io import BytesIOimport gzipresponse = urllib.request.urlopen...
2019-03-31 09:57:28
6472
1
原创 python-flask 完整项目结构搭建
![logo-full](/Users/crack/Desktop/logo-full.pngFlask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2 。Flask也被称为 “microframework” ，因为它使用简单的核心，用 extension 增加其他功能此文就已我一个初学者的视角来学习搭建fla...
2019-02-21 15:11:21
12255
原创 安卓加载gif图片
效果图：1.引入Glideimplementation 'com.github.bumptech.glide:glide:4.8.0'annotationProcessor 'com.github.bumptech.glide:compiler:4.8.0' 2.布局文件<ImageView android:id="@+id/my_image_view" ...
2019-01-28 16:29:51
1413
2
翻译 安卓浮动菜单RapidFloatingActionButton的·使用（转）
开头先附上大佬的地址：https://github.com/wangjiegulu/RapidFloatingActionButton效果图： 效果很赞（我啥时候才能写出何样的代码啊--呜呜呜~~~）项目引入Gradle implementation 'com.github.wangjiegulu:rfab:2.0.0'布局文件：<com....
2019-01-28 15:56:54
626
原创 安卓圆形图片控件CircleImageView的使用
CircleImageView的使用 在安卓开发中，我们常常会碰到一些圆形图片控件的困扰，而选择一款方便的圆形图片控件便成为了提高开发效率的有效手段，下面我推荐一款github上的项目，也是我本人经常使用的一款控件，因为用的比较多，随mark下来以方便下次使用项目地址：https://github.com/hdodenhof/CircleImageView1，引入代码文件：代码如下：...
2019-01-28 15:15:31
2028
原创 联想ideapad 700 15-isk mojave 最新Clover 分享
最近假期在家，于是折腾了一下黑苹果，并如愿吃到了最新的Mojave话不多说上图 我的机器配置如下：I5-6300HQ HD-530显卡950m；目前来说除了核显和网卡全球无解之外，其他的都还算完美，其中重点通过动态补丁解决了解决了核显7mb的问题（这个问题很常见，有相关困扰的小伙伴可以参考下黑果小兵的帖子）；用的工具是FBpatch，我会一起给出链接，只要操作得当，...
2019-01-26 12:24:17
4439
22
原创 树莓派光敏传感器控制LED小灯的开关
今天来做一个关于光敏传感器的使用demo，如图，我采用的是普通用于开发的光敏传感器传感器的基板上有两个LED，上一个是表示DO的高低电平，下一个表示是否通电 当挡住传感头之后，DO-LED熄灭（事先需要调节电位器。就是图上那个蓝色的东西）很重要。很重要。很重要 完成传感器测试过后我们需要在树莓派的python中安装RPi.GPIO直接pip安装就好...
2018-11-15 18:42:52
12342
7
原创 SSH框架简介+C3P0连接池（个人学习笔记非教程）
前言：本人在学习过程中喜欢写一点自己的体会与心得，遂挂到csdn上分享一下，有错误欢迎评论区或私信指出SSH框架简介Spring+Struts+Hibernate(虽然已经过时，但并不成为我们不学它的理由，因为我们有着更好的理由去学习它)Spring+SpringMVC+Mybatis常见软件框架mvcmvpmvvmmvvpSSH是 struts+spring...
2018-11-09 11:28:05
329
原创 树莓派搭建Git私有服务器
最近参加比赛后手里一直有块树莓派闲置，于是乎就想发挥一下这块树莓派的余热，顺便提升下自己的动手能力（手动滑稽），用树莓派做一个自己的git服务器现在开始准备工作我选用的是树莓派官方提供的系统https://www.raspberrypi.org/downloads/raspbian/ 官方推荐的镜像烧写工具Win32DiskImager v0.9.zip (sourceforge.ne...
2018-11-09 11:15:59
2177
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人