一吱大懒虫-CSDN博客

转载 JSONPath - 简单入门

原文来自：前往JSONPath - 是xpath在json的应用。xml最大的优点就有大量的工具可以分析，转换，和选择性的提取文档中的数据。XPath是这些最强大的工具之一。如果可以使用xpath来解析json，以下的问题可以被解决：1，数据不使用特殊的脚本，可以在客户端交互的发现并取并获取。2，客户机请求的JSON数据可以减少到服务器上的相关部分，这样可以最大限度地减少服务...

2018-06-13 21:43:41 678

转载 python 操作logging模块详解

一、简单用法，打印到屏幕：（日志级别critical > error > warning > info > debug > notset）二、升级用法自定义输出，配置级别，格式，日志位置：<span style="font-family:'Microsoft YaHei';font-size:14px;">import loggin...

2018-06-06 21:15:41 635

原创 selenium和phantomJS

selenium和phantomJS目录清单[x] . selenium和phantomjs概述[x] . selenium常用API[x] . 案例操作：模拟登陆csdn课程内容1. selenium和phantomJS是什么东西selenium是一套web网站自动化测试工具，主要通过命令行的操作完成常规可视化界面下的用户各种操作行为，因为其简单易学成本低...

2018-06-06 15:57:39 5219 2

原创关于scrapyd-deploy项目部署时出现environment can only contain strings的解决方法

在进行scrapyd学习的时候,用scrapyd-deploy进行项目部署,出现了一个错误：根据错误找原因,在scrapyd源码中有一个utils.py文件,打开这个文件在126行和130行进行一点改动将这两个参数改为str类型,问题完美解决...

2018-06-06 15:56:18 358

原创 windows >>>curl安装

一、curl 安装curl下载地址：https://curl.haxx.se/download.html，如下图所示下载完成后，解压。二、配置环境变量在系统高级环境变量中，配置CURL_HOME 解压后的目录path 追加 ;%CURL_HOME%\I386 三、检测是否安装成功输入指令:curl –help ，如下图...

2018-06-05 21:41:20 287

原创 python之Scrapyd部署爬虫项目（虚拟环境）

1、新建虚拟环境(方便管理)，在虚拟环境中安装scrapy项目需要使用到的包进入虚拟环境使用pip将所需包安装完成 2、打开命令行工具执行pip install scrapyd 3、输入scrapyd启动scrapyd服务，在浏览器输入127.0.0.1:6800 即可查看是否成功启动服务 4、如果连接成功先关闭服务，自己在D盘下新建一个文件夹，名称自定义如:ScrapydP...

2018-06-05 21:34:51 1442 1

转载 markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

2018-06-05 11:18:58 100

原创运行scrapy shell 'http://quotes.toscrape.com'出现错误ValueError: invalid hostname: 'http

运行scrapy shell r’http://quotes.toscrape.com‘出现错误ValueError: invalid hostname: r’http我在学习python的scrapy框架时，在windows7下面运行scrapy shell ‘http://quotes.toscrape.com‘命令时报错ValueError: invalid hostname: ‘http ...

2018-06-05 11:16:35 1459

原创数据库连接引擎那点事儿

在数据库实际操作过程中，我们很少涉及到数据库引擎对象的事情，一般情况在创建数据库的时候都使用默认的InnoDB数据库引擎，那么到底什么是数据库引擎，有什么样的数据库引擎，在实际使用的过程中都有什么主意事项，为什么InnoDB作为默认的数据库引擎，都是我们需要特别注意但是不需要太多操作的问题！1. 什么是数据库引擎数据库引擎定义了数据库存储数据的数据结构特点，主要通过指定的数据库引擎对象来限制数据库...

2018-06-04 21:57:44 619

原创 scrapy 初探

1. 了解scrapy框架采集数据的原理 1个采集流程 5个核心模块 7个组成部分安装scrapy：pip install scrapy 创建项目：scrapy startproject myspider|--myspider/ 爬虫根目录 |--myspider/ |-- spiders/ 爬虫程序所在目录[爬虫模块] |-- items....

2018-06-04 21:42:36 136

原创 python 生成简单的词云

from matplotlib import pyplotfrom wordcloud import WordCloud,ImageColorGeneratorimport jieba,pymysqlfrom scipy.misc import imread # 这是一个处理图像的函数conn = pymysql.connect( host = '127.0.0...

2018-06-04 21:38:32 665

原创 python爬虫入门

1-1 主要内容l 爬虫概述：了解什么是爬虫l 爬虫优势：知道爬虫用在什么地方l 爬虫实现方式：了解实现爬虫用到的各种技术l 爬虫的分类：了解爬虫工作相关的一些(不同爬虫)区别l 第一个操作程序：采集新浪社区新闻首页数据l 爬虫请求操作：伪造请求[技术实现]l 爬虫请求操作：模仿用户行为[社会工程学]l 爬虫请求操作：请求隐藏[代理] 1-2 课程内容1. 软件安装pytho...

2018-05-29 08:34:42 1438 2

转载 mysql安装及配置

打开下载的安装文件，出现如下界面：2mysql安装向导启动，点击“next”继续。3选择安装类型，有“Typical（默认）”、“Complete（完全）”、“Custom（用户自定义）”三个选项，我们选择“Custom”，有更多的选项，也方便熟悉安装过程。4在“MySQL Server（MySQL服务器）”上左键单击，选择“This feature, and all subfeatures, w...

2018-04-18 16:44:58 210

原创进程与线程阻塞与非阻塞

进程：CPU执行任务的模块。线程：模块中的最小单元。cpu比作我们每个人，到饭点吃饭了。可以点很多菜(cpu中的进程)：宫保鸡丁，鱼香肉丝，酸辣土豆丝。每样菜具体包含了哪些内容(cpu每个进程中的线程)：宫保鸡丁(详情：黄瓜、胡萝卜、鸡肉、花生米)。而详情构成了宫保鸡丁这道菜，吃了以后不饿。就可以干活了，cpu中的进程里的线程也是同理。当线程完成自己的内容将结果返回给进程，进程返回给cpu的时候。...

2018-04-16 20:22:34 2615 1

原创 python3 1.7.3 装饰器(decorator)

装饰器(decorator)功能1. 引入日志2. 函数执行时间统计3. 执行函数前预备处理4. 执行函数后清理功能5. 权限校验等场景6. 异常的处理7. 缓存装饰器示例例1:无参数的函数from time import ctime, sleepdeftimefun(func): defwrappedfunc(): print("%...

2018-04-01 20:57:12 261

原创在windows下python3使用multiprocessing.Pool时出现的问题

例如：from multiprocessing import Pool def f(x): return x*xpool = Pool(processes=4)r=pool.map(f, range(100)) pool.close() pool.join() 在spyder里运行直接没反应；在shell窗口里，直接报错，如下：Process SpawnPoolWorker-1...

2018-03-28 17:43:44 18380 4

转载用 python 爬虫抓站的一些技巧总结

来自： observer http://obmem.info/?p=476学用python也有3个多月了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本，本来想写google music的抓取脚本的，结果有了强大的gmbox，也就不用写了。这些脚本有一个共性，都是和web相关的，总要用到...

2018-02-27 18:51:39 166

转载 Python精华100个Python练手小程序

【程序1】题目：有1、2、3、4个数字，能组成多少个互不相同且无重复数字的三位数？都是多少？ 1.程序分析：可填在百位、十位、个位的数字都是1、2、3、4。组成所有的排列后再去　　　　　　掉不满足条件的排列。 2.程序源代码：for i in range(1,5): for j in range(1,5): for k in range(1,5): ...

2018-02-27 18:23:37 1673

一吱大懒虫的博客