- 博客(28)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 使用keepalived实现数据库的高可用高可靠以及搭建数据库主从配置
这里使用的是keepalived来实现服务器宕机后可快速切换从服务器，对用户而言，是透明的，无感知的配置环境：主节点(master)：192.168.78.10从节点(slave)：192.168.78.20虚拟IP：192.168.78.401，安装以及实现配置keepalived master： 安装keepalived: [root@serverA keepalived]# tar -xvf keepalived-2.0.17.tar.gz //解压 [r
2020-11-20 22:33:34
516
2
原创 scrapy模块各组件之间功能
模块：发送请求，接收响应框架：集成了很多模块，每一个模块都是一个方法1，框架的基本概念Scrapy是一个可以爬取网站数据，提取结构性数据而编写的应用框架，我们只需要少量的代码就可以实现快速的抓取 scrapy使用了Twisted[扭曲]异步网络框架，异步请求，加快下载 同步(过程)： 一个请求，发送过后，等待响应， 阻塞状态：就是一直在哪里等待 异步(过程)： 调用在发出之后，这个调用就直接返回，不管有无结果， 非阻塞状态：关注的是程序在等待调用结果(消息，返回值)
2020-11-07 16:52:20
1014
1
原创 虚拟机安装centos7操作系统(图形化界面---命令行界面)
最近一直在配置服务的相关进程，搭建各类服务，今天虚拟机出现故障，需要重新安装，就干脆写一篇博文来给大家分享一下吧！1，进入虚拟机，选择新建，我这里是使用的VMware，选择典型，下一步2，选择驱动光盘，下一步3，选择操作系统类型，注意，这里下面一行一定选择centos64位，不然后面系统会无法生成网卡，下一步4，虚拟机名称以及在本地物理机安装位置，下一步5，默认磁盘大小为20G...
2020-01-15 12:15:57
3857
1
原创 re模块正则表达式基本使用
正则表达式*通用的字符串表达式框架*简洁表达一组字符串的表达式*针对字符串表达’简洁’和’特征’思想的工具*判断某字符串的特征归属正则表达式在文本处理中十分常用*表达文本类型的特征(病毒，入侵等)*同时查找或特换一组字符串*匹配字符串的全部或部分正则表达式的使用*编译：将符合正则表达式语法的字符串转换成正则表达式特征正则表达式的语法. 表示任何单个字符[] 字...
2019-10-14 17:30:53
217
原创 python中爬虫Scrapy框架的使用
简介Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。数据流程图各组件功能引擎(Sc...
2019-09-22 21:17:08
1080
3
原创 requests库简单爬取百度图片
代码块import reimport requests# 创建一个浏览器，并且实例化Sessionsession = requests.Session()# 传入请求头，防止被封，403session.headers.update({'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...
2019-09-18 14:18:13
812
原创 爬虫解析库Beautifulsoup爬取章节小说
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过我们喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮我们节省数小时甚至数天的工作时间,因为比较流行，在解析网页的时候，操作起来也很简单和高效以下以一个小小的案例来演示爬取小说章节代码块# 导入模块import requestsfrom bs4 imp...
2019-09-17 23:10:15
425
原创 python中的logging模块
组建loggers(日志记录器)----------------提供程序直接使用的接口Handlers(日志处理器)--------------将记录的日志发送到指定的位置Filters(日志过滤器)------------------用于过滤将特定的目录记录Formatters(日志格式器)-----------用于控制日志信息的输出格式使用步骤一个规范的日志文件创建1.创建log...
2019-09-16 17:28:39
96
原创 python中的base64模块
base64模块，不是加密算法，是用来将非ascll字符的数据转换成ascll字符的一种方法A-Z，a-z，0-9，+ / 一共64个符号import base64var = b"This is the only way to the python peak road..."var_encode = base64.b64encode(var) #对二进制数据进行bas...
2019-09-16 16:45:36
359
原创 python中的hashlib模块加密
hashlib模块，是一种加密算法，模块提供了许多供我们调用的hash算法，主要有，md5,sha1,sha224,sha256,sha384,sha512,往往有时候通过这样来加密还是不够安全，于是我们在加密的时候会带上时间戳，随机码，俗称为加盐使用MD5加密的主要两种形式，1，md5.digest(),二进制数据2，md5.hexdigest(),str类型数据简单示例import ...
2019-09-16 16:30:58
143
原创 python连接MongoDB数据库，DB-API操作
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。python连接mongodb步骤很简单1，导入模块2，客户端进行连接3，进行数据操作简单示例# 导入模块import pymongo# 客户...
2019-09-16 16:09:02
448
原创 python连接redis,DB-API
Redis 与其他 key - value 缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，即master-slave模式的数据备份Redis 优势性能极高 – Redis能读...
2019-09-16 15:33:36
1008
原创 python操作Mysql数据库DBAPI
上次我们用几行代码简单实现了pycharm远程连接数据库，并且操作查询，但是这仅仅是在数据库已经存在并且已经有表的前提下，来获取数据，更多的时候需要我们自己创建数据库，创建一张表来写入我们需要保存的数据，于是，接下来的代码块就足以实现功能，并且我把它封装成类，以方便自己调用代码块# 导入库import mathimport pymysqlimport random# 这里定义一个...
2019-09-07 10:06:17
253
原创 python与数据库mysql交互
通过pycharm简洁代码块操作mysql，以帮助我们理解具体步骤可分为五步1，安装并pymysql库pip install pymysql导入pymysql库import pymysql2与数据库建立链接，这里用一个字典来接收db_conf = { 'host':'ip', # 主机ip 'port':3306, ...
2019-09-06 17:12:54
196
原创 python--Django框架环境搭建
一.创建python虚拟环境在虚拟机上创建python虚拟环境，因为实际项目部署，是在linuxmkvirtualenv -p /usr/bin/python3.6 D_project2.创建django项目1.安装django选择安装django2.1.x最新的一个版本2.1.10pip install django==2.1.102.创建django项目cd到你想放dj...
2019-09-05 16:53:56
199
原创 python中装饰器@语法糖的使用
在不改变原来函数的前提下，给函数增加新的功能自定义的装饰器是@+自定义的闭包，可以动态的将装饰器化的函数功能添加在其他函数上。def func1(func): print('这个函数的功能是打印一段废话') def func2(): func() print('这个函数的功能也是打印一段废话') func() retu...
2019-09-02 15:44:24
202
原创 python中的单例模式
单例模式，一个类只能实例一个对象class Test(object): _isinstance = None def __new__(cls, *args, **kwargs): if Test._isinstance == None: cls._isinstance = object.__new__(cls) pr...
2019-09-02 15:26:52
89
原创 python中九九乘法表经典案例
当我们学习到了循环，不管是while循环，还是for迭代，九九乘法表便是一个非常实用的案例，下面就以几种不同的方式来实现，总之，换汤不换药，基本思想不变简单示例1for i in range(1,10): for j in range(1,i+1): print(f'{i}*{j}={i*j}',end=" ") print( )输出结果1*1=1 2*...
2019-09-02 15:20:46
697
2
原创 python中类的定义，属性，常用的一些查询方法
类用来描述具有相同的属性和方法的对象的集合。对于在类中定义的函数，称为方法。类变量不直接叫做类变量，称为属性。类中主要就是方法和属性1,类的定义，属性简单示例class Person(object): name = 'nanfeng' age = 18mor = Person() #mor就是一个类的实例化wum = Person() ...
2019-09-02 15:02:49
1053
原创 python中递归---阶乘，回调
递归中可以函数自身调用自身，但是使用类似于条件循环一样，要有递归终止条件，如果没有终止条件，无线调用自身，就会报错，这样做的目的就是为了防止无限消耗cpu资源简单示例 def factorial(n): if n == 0: return 1 elif n == 1: return 1 els...
2019-09-01 22:04:23
171
原创 python中函数作用域
函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率，Python提供了许多内建函数，比如print()。但也可以自己创建函数，这被叫做用户自定义函数。定义一个函数我们可以定义一个由自己想要功能的函数，以下是简单的规则：函数代码块以 def 关键词开头，后接函数标识符名称和圆括号()。任何传入参数和自变量必须放在圆括号中间。圆括号之...
2019-09-01 21:37:05
179
1
原创 requests库的使用
简介Requests是一个优雅而简单的Python HTTP库，专为人类而构建Requests是有史以来下载次数最多的Python软件包之一，每天下载量超过400000次之前的urllib作为Python的标准库，因为历史原因，使用方式可以说是非常的麻烦而复杂的，而且官方文档也十分的简陋，常常需要去查看源码相反，Requests的使用方式非常的简单，直观，人性化，让程序员的精力完全从库的使...
2019-09-01 20:58:24
177
原创 使用Navicat连接MySQL出现1045错误
解决用navicate远程连接数据库出现1045 access denied for user ‘root’@‘localhost’ using password yes方法一在mysql命令行中执行以下GRANT ALL PRIVILEGES ON *.* TO 'root' @'%' IDENTIFIED BY '123456' WITH GRANT OPTION;flush p...
2019-08-29 17:35:03
3044
原创 python爬虫之urllib库的基本使用二
python爬虫之urllib库的基本使用什么是urllib？urllib是python内置的HTTP请求库，是一个用来处理网络请求的python标准库，它包含4个模块。1，urllib.requests：请求模块，用于发起网络请求2，urllib.parse: 请求模块，用于解析URL3，urllib.error: 异常处理模块，用于代理request引起的异常4，urllib.ro...
2019-08-17 08:25:00
169
原创 python爬虫之urllib库的基本使用
python爬虫之urllib库的基本使用什么是urllib？urllib是python内置的HTTP请求库，是一个用来处理网络请求的python标准库，它包含4个模块。1，urllib.requests：请求模块，用于发起网络请求2，urllib.parse: 请求模块，用于解析URL3，urllib.error: 异常处理模块，用于代理request引起的异常4，urllib...
2019-08-16 16:05:07
200
原创 socket网络套接字
首先呢，我们要了解下什么是爬虫，爬虫的概念： 网络爬虫也叫网络蜘蛛，它特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义。更加专业和全面对的定义是：网络爬虫是伪装成客户端与服务端进行数据交互的程序。爬虫的应用： 1. 数据采集 大数据时代来临，数据就是核心，数据就是生产力，越来越多的企业开始注重收集用户数据，而爬虫技术是收集数据的一种重要手段。 2. ...
2019-08-15 17:30:13
97
原创 python序列类型列表增删查改
pyton中有很多种序列类型，比如 " "字符串，[]列表，()元组，{}(字典)，set()或者{}集合，这里就以list[]列表为例，列举一些常用得到操作CRUD这里定义一个列表li = ['A','B','C','D','E','F','G']print(li[2]) 通过索引下标取值，因为它的下表是默认从0开始，所以这里取出的元素时 CC切片取值 [index:i...
2019-08-01 17:53:06
195
原创 git仓库的基本使用
一：安装gitubuntu： sodu apt-get install gitwindows: 网上下载安装即可查看是否安装成功 git --version二：创建本地仓库1,创建一个文件夹用于存放项目文件(myproject)2,cd 切换到该文件夹下，打开git bash3,git init 初始化,会创建一个.git的隐藏文件再该目录下，关于版本控制的文件都...
2019-08-01 15:38:16
569
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人