weixin_42244952-CSDN博客

原创总结及scrapy爬虫框架

python: tuple list set dict range str 分片 [::] 推导函数：def 函数名称（参数）实现函数体参数种类：必须参数默认参数关键参数可变参数：tuple *args dict **kwargs 建议：默认参数一定要在必须参数之后定义，可变参数一定要定义在最后函数种类：外部函数内部函数 ...

2018-06-24 22:34:21 196

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容，提取生成 item 的方法。为了创建一个Spider，您必须继承 scrapy.Spider 类，且定义以下三个属性:name: 用于区别Spider。该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。start_urls: 包含了S...

2018-06-20 23:29:15 156

原创 xml解析

python有三种方法解析XML，SAX，DOM，以及ElementTree1.SAX (simple API for XML )python 标准库包含SAX解析器，SAX用事件驱动模型，通过在解析XML的过程中触发一个个的事件并调用用户定义的回调函数来处理XML文件。SAX是一种基于事件驱动的API。利用SAX解析XML文档牵涉到两个部分:解析器和事件处理器。解析器负责读取XML文档,并向事件...

2018-06-18 23:19:04 122

原创输入输出

open() 将会返回一个 file 对象，基本语法格式如下:open(filename, mode)filename：包含了你要访问的文件名称的字符串值。mode：决定了打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。这个参数是非强制的，默认文件访问模式为只读(r)。不同模式打开文件的完全列表：模式描述r以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。rb以二进制...

2018-06-13 23:03:30 136

原创装饰器，闭包

闭包&LEGB法则所谓闭包，就是将组成函数的语句和这些语句的执行环境打包在一起时，得到的对象听上去的确有些复杂，还是用一个栗子来帮助理解一下。假设我们在foo.py模块中做了如下定义：#foo.pyfilename = "foo.py"def call_func(f): return f() #如前面介绍的，f引用一个函数对象，然后调用它在另一个func.py模块中，写下了这样...

2018-06-10 17:00:31 102

原创日志，推导和迭代器，生成器

日志# import logging# LOG_FORMAT="%(asctime)s-%(levelname)s-%(message)s"# logging.basicConfig(filename="异常日志.txt",level=logging.DEBUG,format=LOG_FORMAT)# #logging.basicConfig(level=logging.DEBUG,form...

2018-06-07 00:01:56 189

原创面向对象和异常

面向对象技术简介类（class）:用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。方法：类中定义的函数。类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。数据成员：类变量在整个实例化的对象中是公用的。类变量定义在函数体之外...

2018-06-04 22:31:09 215

原创函数

函数函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段定义函数可以定义一个由自己想要功能的函数，以下是简单的规则：函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。函数内容以冒号起始，并且缩进。return [表达式] 结束函数，选择性地...

2018-05-30 22:40:42 111

原创元组，字典，函数

元组元组与列表类似，但是元组的元素不能修改如果只有一个元素，需要在元素后面增加括号，不加逗号不是元组类型元组也可以相加，变成一个新的元组不能删除元组某个元素，只能删除一个元组tuple(seq) 将列表转换为元组元组中的列表可以进行增删改字典键值对d = {key1 : value1, key2 : value2 }键和值用冒号分开，键值对用逗号分隔，整个字典包括在花括号中键必须是唯一的，但值不必...

2018-05-28 23:28:45 218

原创列表和字符串

字符串1.可以使用单引或双引来创建字符串，三引号允许一个字符串跨多行，字符串中可以包括换行符、指标符、以及其他特殊字符。可以使用方括号截取字符串，截取的字符串可以和其它字段拼接。2.转义字符需要在字符串中使用特殊字符时，用（\）转义字符\ (在行尾时) 续行符\\ 反斜杠符号\' 单引号\" 双引号\a 响铃\b 退格(Backspace)\e 转义\000 空\n 换行\v 纵向制表符\t 横向...

2018-05-23 23:34:01 251

原创 Python笔记

1.变量无需关键字，不需要声明n=102.print()换行 print(,end="")不换行input()可以直接输出3.单引号和双引号在python中没有没有什么区别4.注释单行注释：#（ctrl+/）多行注释：三个引号分别在要注释内容的开始和结束5.基本数据类型Number：（数字，含复数类型）:int,float,bool(真正的值还是1,0，可以进行数字运算),complex(...

2018-05-19 19:25:44 119

weixin_42244952的博客