NDBody-CSDN博客

原创 aioscpy - 基于asyncio及aio全家桶, 使用scrapy框架流程及标准的一个异步协程爬虫框架

aioscpy新协程爬虫框架, 基于asyncio及aio全家桶, 使用scrapy框架流程及标准的一个异步爬虫框架Aioscpy框架基于开源项目Scrapy & scrapy_redis。Aioscpy是一个快速的高级web爬行和web抓取框架，用于抓取网站并从其页面提取结构化数据。实现了动态变量注入和异步协程功能。分布式爬行和抓取......

2022-06-08 11:17:12 575

原创伪装请求头伪装useragent比fake-useragent库好用的伪装请求头库: anti-useragent

最为友好简单易用的伪装浏览器头推荐anti-useragent用法和fake-useragent 的用法一致, 不存在网络请求, 所有头都是随机生成打出以下资料来源于github 链接地址: anti-useragent特性more browser up to datemore randomize rulergrabs up to date useragent from useragentstring.com安装pip install anti-useragent基本用法from a

2021-09-29 16:24:16 3056

转载 Docker的安装配置及使用详解

基本概念Docker 包括三个基本概念镜像（Image）容器（Container）仓库（Repository）先理解了这三个概念，就理解了 Docker 的整个生命周期。1、docker安装与启动yum install -y epel-releaseyum instal...

2018-05-22 17:55:15 265

原创 deepin 15.5 安装 docker

首先，通过以下方法安装的docker版本一般太老，不建议使用。sudo apt-get updatesudo apt-get install docker.io这样安装完后版本为： Docker version 1.13.1, build 092cba3以下是安装docker方法：curl -sSL https://get.docker.com/ | sh 改用docker自己的仓库cur...

2018-05-22 12:34:50 1497

原创 Ubuntu 18.04 安装Mysql 8.0

链接在此下载链接打开链接后应该是这个界面，点击紫色字体，选择No thanks, just start my downloadsudo dpkg -i mysql-apt-config_0.8.6-1_all.deb# 安装成功后，提示选择版本， ubuntu18.04 默认安装8.0 所以这里选择 8.0 点击 oksudo apt-get updatesudo apt-get...

2018-05-22 10:28:11 5258

原创 Ubuntu 16.04 最新自定制美化方案推荐

Ubuntu 有许多的定制方法, 我这里推荐一个mac 的主题及美化方案, 美化后不满意随时可以来嘲讽我ubuntu 是一个可自定义化较强的linux系统,如果你喜欢的话可以尽情的定制属于自己的系统1、下载 macbuntu 壁纸：http://www.linuxidc.com/Linux/2016-06/131945.htm 或者使用微软的必应壁纸也可以取代2、安装 MacBunt...

2018-05-15 23:48:24 1968

原创常见的http状态码

常见的http状态码100：继续客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。101：转换协议在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。102：继续处理由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。200：请求成功处理方...

2018-04-28 14:58:44 1057

原创简单总结几种思维模式---助你编程，思绪如飞

矩阵思维：什么是矩阵思维，我们可以简单理解为一个思维工具就把它类比成汉字“田”，主要指把复杂的想法或事物放到四块矩形里。通常能够做到让看似混乱的、凭感觉的猜测，一下变得清晰比如，如果公司发现员工工作不好，对其指责或罚款其实都是不可理解的，因为这很难让他们变好。同样使用矩阵思维，我们会发现，工作不好一般有两种情况，“不想干好”和“能力不行”。放进矩阵，我们得出四个象限：一、想干好、能力也不错二...

2018-03-18 17:15:41 2493

原创 ubuntu 16.04 清理内存空间的方法总结

查看清理空间 1.du –h /var/cache/apt/archives 那我们就来删除这些软件包吧。若你生性小心谨慎，那就只删除那些你已经将其卸载掉的软件的软件。删除你已经卸载掉的软件包的命令为 sudo　apt-get autoclean 若你想清理出更多的空间，而且网速又比较快的话，那你大可以把电脑上存储的安装包全部卸载咯，命令为 sudo　apt-get clean 还有一类软件包...

2018-03-04 14:29:29 25936 1

原创面向对象(基础篇)

面向过程: 根据需求逻辑,自上而下编写代码函数: 将所需要的功能封装到函数中,需要使用时调用函数面向对象: 将含有功能模块的函数块封住到类中创建类和对象:面向对象编程是一种编程方式，这种方式的使用需要用到 “类” 和 “对象” 来实现，所以，面向对象编程其实就是对 “类” 和 “对象” 的使用。设计类: 类名,属性,行为类名: 女盆友属性: 姓名,性别,年龄,.

2018-02-05 21:45:56 869

原创 python 装饰器详解

引入装饰器的思想:如果我们想为某一个功能添加一个新的功能,如何在不改变他的原来的函数名的情况下实现呢?我们可能会这样:1.直接在原来的函数里头添加功能模块 --- 代码量太大逐一添加不太现实2.再写一个新的函数,在原来的函数里分别调用 --- 如果原来的函数在多处调用,且太过分散,工程量太大3.定义一个新的函数:def cover(): newFunc()

2018-01-21 14:26:26 898

原创手机号码,邮箱,身份证号码简单正则表达式匹配

手机号码的正则表达式import repattern = "^1[3-8]\d{9}$"str = "13667865555"res = re.findall(pattern,str)print(res)邮箱的正则表达式--随意邮箱pattern = "^[a-z0-9][a-z0-9_]+@[a-z0-9_]+\.[a-z0-9_]+"str = "2345sdsa

2018-01-13 18:02:29 1321

原创异常处理和自定义异常

###########异常处理############# 异常处理: 当程序遇到问题(异常)不结束程序(崩溃),而越过该错误继续执行格式1: try:可能出现异常的代码except 异常类型 as e:处理格式2: try:可能出现异常的代码except 异常类型 as e:处理finally: #无论程序是否出现异常,始终会执行该代码块代

2018-01-13 17:56:03 850

原创 python 正则表达式

正则表达式:######## 匹配单个字符与数字 ########.表示可以匹配任意一个字符,除了换行符以外[234] 表示的是2或者3或者4[abcd] 表示的a或者b或者c或者d[a-z] 表示任意一个小写字母[0-9] 表示任意一个数字[a-zA-Z] 表示匹配任意一个字母[a-zA-Z0-9_] 表示匹配任意一个字母,数字,下划线[^34

2018-01-13 14:22:24 872

原创递归,队列,栈遍历目录

递归遍历目录思路:1. 定义函数,参数值为需要遍历的路径2. 运用内置函数listdir ,将获取到的路径拆分成列表3. 循环遍历列表4. 拼接路径,用于判断是否是目录还是文件5. 如果是目录: 递归调用自己6. 如果是文件: 打印7. 找到函数出口: 如果目录不存在,则returndef getDir(sourcePath): if not

2018-01-10 21:52:08 916

原创 os模块pickle模块和字符串的一些内置函数

import osos.curdir 返回当前目录的路径os.getcwd() 获取当前路径os.listdir()获取目录下所有的文件名和目录名,将所有的目录和文件封装成列表os.mkdir() 创建一个目录,如果目录存在会报异常,如果该新目录的父级目录不存在会报异常os.makedirs() 如果该新目录的父级目录不存在会一同创建os.rename()修改目录和文件

2018-01-09 20:48:35 804

原创简单编写的文件复制模块python脚本

小文件复制:sourceFileName = input("请输入你要复制的文件名:")index = sourceFileName.rfind(".") # 除用字符串的内置函数外,还可以使用条件语句判断copyFileName = sourceFileName[:index]+ "-副本"+sourceFileName[index:]readFile = open(sourceFi

2018-01-07 16:50:00 1234

原创字典(dict),元组(tuple),集合(set),列表(list)知识点补充

字典:查: 字典是无序的,不能用索引来获取值,通过key来获取value,如果key不存在,会报异常1.直接通过key来查找格式: 字典名[key]例:name_value = dict1["name"]print(name_value)2.使用get方式好处: 当key不存在时,可以设置默认值参数,或者不设置返回None例:name_valu

2018-01-07 11:37:20 840

原创时间戳,时间元组,字符串三者的转换

1.时间戳------->时间元组:time1 = time.time()tuple = time.gmtime(time1) # UTC时间print(tuple)tuple1 = time.localtime(time1) # UTC + 8 时间print(tuple1)2.时间元组-------->时间戳:tuple2 = time.localtime()time2

2018-01-06 13:10:25 5594 4

原创简单的几种给定一个数判断是否是质数的方法

给定一个整数n，判断是否是质数（质数是只能被1和它自身整除的数）第一种:运用数学函数import mathnum = int(input("输入一个数值:"))if num > 1: sqare_num = math.floor(num**0.5) for i in range(2,num): if(num%i and num%(i+1)) ==

2018-01-05 19:25:48 12171 1

原创函数的基本概述

函数: 格式:def 函数名(形式参数1,形式参数2,...):语句块return 表达式(结果)调用函数名(实际参数1,实际参数2,...) 语句块:就是需要重复使用的代码调用格式:函数名(参数1,参数2,..) 1.函数名是需要调用的函数的函数名(名字必须一致) 2.函数名后跟(),()中放置需要传递给定义函数的参数(实际

2018-01-04 13:46:24 736 1

原创字典(dict),列表(list),元组(tuple),集合(*set)的基本概述

一.dict 字典格式:{key1:value1,key2:value2,key3:value3,...} 特点:无序的不可重复的,key(唯一的)不可变类型,字典本身是可变类创建:dict = {} # 创建一个空字典dict= {"aaa":"bbb","ccc":"ddd"} # 创建多个元素的字典遍历:1.直接遍历dict = {"

2018-01-03 21:49:16 917 1

handmine的博客