4 WY_记录

尚未进行身份认证

python开发,爬虫,人工智能

等级
TA的排名 16w+

pyspider

文章目录pyspider连接与安装架构使用步骤说明1.创建项目2.项目编辑和调试页面3.启动爬虫pyspider用法详解1.命令行2.crawl()方法3.任务区分4.全局配置5.定时爬取6.项目状态7.删除项目pyspider连接与安装[github连接]https://github.com/binux/pyspider[官方教程]http://docs.pyspider.org/en/...

2018-09-22 16:28:07

argparse命令行解析模块

argparse命令行解析模块基本用法ArgumentParser对象add_argument()方法parse_args()方法其他工具官方文档argparse命令行解析模块导入包importargparse基本用法importargparse#导入包parser=argparse.ArgumentParser()#...

2018-09-16 15:37:29

CA和证书

CA和证书创建CA生成证书吊销证书配置文件生成证书请求参考CA和证书创建CA查看openssl.cnf配置文件:位于/usr/lib/ssl/openssl.cnf.ca相关的配置在CA_default条目下dir=/etc/pki/CA#CA的工作目录certs=$dir/certs#存放证书的地方crl_dir=$di...

2018-09-10 19:07:45

struct模块

struct模块函数和异常格式字符串类struct模块函数和异常struct.error:异常struct.pack(format,v1,v2,…):根据格式字符串打包,参数必须与格式所需的值匹配,返回字节对象struct.pack_into(format,buffer,offset,v1,v2,…):根据格式字符串打包,且将其从偏移offse...

2018-09-08 15:21:47

ptrhon GUI编程

ptrhonGUI编程GUI程序步骤基本概念控件窗口参数配置选项配置组件外观外观:对话框绑定事件Message和Entry组件tkinter连接变量Checkbutton,Radiobutton和Scale图像使用pillow查看和处理图像菜单顶层窗口菜单基于Menubutton的菜单和OptionMenuListbox和ScrollbarTex...

2018-09-02 11:07:21

regex正则表达式

表示法描述正则表达式示例符号literal匹配文本字符串的字面值literalfoore1|re2匹配正则表达式re1或者re2foo|bar.匹配任何字符(除了\n之外),当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符b.b^匹配字符串起始部分...

2018-08-16 19:58:01

搭建ftp服务器

ftp服务器安装与启动安装vsftpd:sudoaptinstallvsftpd-y查看是否启动:sudonetstat-nltp|grep21手动启动:sudosystemctlstartvsftpd.service配置用户目录新建用户主目录:sudomkdir~/uftp登录欢迎文件:sudotouch~/uftp/welcome....

2018-08-16 13:48:00

通过requests库伪造表单模拟登录github

fromlxmlimportetreeimportrequests#importpdbclassLogin():"""登录类,为实例提供了初始化状态和方法"""def__init__(self):"""初始化请求头,跳转url信息,会话"""self.

2018-08-13 16:23:46

简单图形验证码识别

图形验证码安装,配置及连接识别减少干扰图形验证码安装,配置及连接OCR,即OpticalCharacterRecognition,光学字符识别,是指通过扫描字符,然后通过其形状将其翻译成电子文本的过程tesserocr是Python的一个OCR识别库,是对tesseract做的一层PythonAPI封装,它的核心是tesseract。需要先安装...

2018-08-12 17:05:16

Splash

Splash安装,连接及配置Docker的安装SplashScrapy-Splash的安装SplashLua脚本Splash对象属性Splash对象的方法SplashAPI调用Splash负载均衡配置Splash安装,连接及配置Docker的安装dockerSplashGitHub:https://github.co...

2018-08-12 16:55:05

docker

dockerdocker架构ubuntu16.04安装docker使用dockerDocker官网:http://www.docker.comGithubDocker源码:https://github.com/docker/dockerDockerHub:https://hub.docker.com官方文档:https://docs.dock...

2018-08-12 16:50:47

Ajax分析

[TOC]Ajax数据爬取Ajax介绍Ajax,全称为AsynchronousJavaScriptandXML,即异步的JavaScript和XML。它不是一门编程语言,而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。XMLHttpRequest对象XMLHttpRequest对象是AJ...

2018-08-12 16:49:55

requests+正则表达式爬取猫眼国内票房榜

'''抓取猫眼国内票房榜,地址:http://maoyan.com/board/1'''importreimportrequestsdefone_page(url):'''获取页面'''headers={'User-agent':'Mozilla/5.0(X11;Linuxx86_64)App...

2018-08-12 16:19:26

python中 异常

[TOC]异常异常基础默认的异常处理器:异常会向上返回到程序顶层,启用默认的异常处理器,打印标准出错消息(堆栈跟踪和引发的异常)并终止程序.异常的角色:错误处理,事件通知,特殊情况处理,终止行为,非常规流程控制异常产生:python引发raise语句:显式的触发异常,raise关键字后跟着可选的要引发的异常类或者异常类的一...

2018-08-12 09:48:23

python中Unicode 和字节字符串

Unicode和字节字符串字符串编码方式:python字符串类型:文本和二进制文件:编码:处理BOM其他字符串工具Unicode和字节字符串字符串编码方式:ASCLL标准每个字符存储在一个8位的字节中(实际上,只有其中的7位真正用到)ord给出了一个字符的整数代码值chr针对一个给定的整数代码值返回其字符字节和字符串之间的来回转换:...

2018-08-12 09:47:54

python系统编程

系统编程系统工具概述sys模块os模块脚本运行上下文当前工作路径命令行参数shell环境变量标准流文件和目录工具文件工具目录工具并行系统工具进程分支线程程序退出进程间通信(IPC)multiprocessing模块启动程序的其他方法系统编程系统工具概述python系统模块:模块名...

2018-08-12 09:46:55

configparser配置文件解析模块

configparser配置文件解析模块配置文件configparser的基本操作其他注意configparser配置文件解析模块配置文件配置文件中包含一个或多个section,每个section有自己的option;section用[sect_name]表示,每个option是一个键值对,使用分隔符=或:隔开;在optio...

2018-08-12 09:45:56

wireshark学习——1.认识界面

我们在正式利用Wireshark进行数据包分析之前,应当首先了解一下这款软件主窗口界面中每个部分的功能。Wireshark主窗口界面如下图所示(实验文件Lab1-1.pcapng):Alttext上图中每部分的含义如下:标题栏:用于显示所分析的抓包文件的名称、捕获的设备名称以及Wireshark的版本号。菜单栏:Wireshark的标准菜单栏。工具栏:常用功能的快捷图标...

2018-08-10 19:51:26

wireshark学习——2.实用表格

通过上次课程的学习,我们已经掌握了关于Wireshark的基础知识,那么接下来我们就有必要来研究一下这款软件强大的表格功能了。这里首先讲解一下关于网络中的端点以及会话的知识。在网络中,如果想让通信得到正常的执行,那么就必须至少拥有两台设备或者说端点(EndPoint)进行数据的交互操作。所谓的端点,就是指网络上用于发送或者接收数据的设备。比如在基于TCP/IP协议的通信中,就包含有两个...

2018-08-10 19:51:00

wireshark学习——3.图形显示

我们之前讲解的各种实用的表格虽然能够有效辅助我们的分析,但是如果想要更好的了解我们所分析的网络情况,则需要依靠Wireshark的图形功能来直观地展示出来。而我们这次课主要讲解Wireshark常用的一些图形界面。首先介绍一下IOGraphs。这个窗口可以让我们对网络上的数据吞吐情况进行绘图。这样就可以很容易地发现数据吞吐的峰值,找出不同协议中的性能瓶颈,并且还可以用来比较实时的数据流。...

2018-08-10 19:50:32

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!