- 博客(5)
- 收藏
- 关注
RSS订阅转载 Redis持久化存储(AOF与RDB两种模式)
Redis中数据存储模式有2种：cache-only,persistence; cache-only即只做为“缓存”服务，不持久数据，数据在服务终止后将消失，此模式下也将不存在“数据恢复”的手段，是一种安全性低/效率高/容易扩展的方式； persistence即为内存中的数据持久备份到磁盘文件，在服务...
2018-08-18 11:16:20
151
原创 Python之单例模式
要将单例的话，先讲__new__方法__new__方法应用在__init__方法之前，我们知道在Python中，__init__方法时用来初始化实例对象的，而现在，我们需要知道的是__new__方法是属于object类的方法，它的作用就是创建类对象。 现在我们知道了__new__方法，下面再看单例模式。单例模式：让某个类创建出来的对象始终只有一个，让某个类创建出来的所有对象引用同一个...
2018-08-17 21:43:01
215
转载 scrapyd部署总结
一、前言由于毕设要做一个集成爬虫、文本分析和可视化的网站。需要将爬虫部署到网站上去供不懂技术的人使用。因此开始了研究scrapy+django。找了多方面的资料终于找到了我想要的，那就是scrapyd。网站通过http就可以从scrapyd上管理后台的爬虫了。二、环境...
2018-08-17 10:23:42
353
1
原创 有关Python中进程、线程、协程及其区别
1> 进程、线程和协程的认识： 进程是系统进行资源分配和调度的独立单位； 线程是进程的实体，是CPU调度和分派的基本单位； 协程也是线程，称微线程，自带CPU上下文，是比线程更小的执行单元；下图可以很好的解释进程与线程的关系：2> 区别 一个程序至少有一个进程，一个进程至少有一个线程； 线程的划分尺度小于进程(资源比进程少)，使得多线程程序...
2018-08-17 09:16:02
3519
1
原创 selenium+PhantomJS
why?–为什么要用？ 对于那些使用了 Ajax 或 DHTML 技术改变 / 加载内容的页面，需要浏览器帮助我们执行之后方能拿到数据。如果单单依靠传统爬虫的话拿到的是空数据，这时候我们可能需要用到selenium+PhantomJS。What?–什么是selenium？ Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行...
2018-08-17 00:23:33
225
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人