- 博客(86)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 分布式爬虫：scrapy-redis 分布式源码分析
scrapy_redis组件来源：Github ： https://github.com/rmax/scrapy-redis加#号有汉字为分析内容。connection.py文件:import sixfrom scrapy.utils.misc import load_objectfrom . import defaults #Shortcut maps 'setting name...
2019-06-11 22:26:21
328
原创 MySQL:数据完整性
数据完整性分为：实体完整性，域完整性，参考完整性。参考完整性：参照完整性指的就是多表之间的设计,主要使用外键约束。多表设计: 一对多、多对多、一对一设计一：实体（行）完整性实体完整性通过表的主键来实现。使用主键来表示一条记录的唯一，且不为空语法：primary key主键分类:逻辑主键:例如ID,不代表实际的业务意义,只是用来唯一标识一条记录(推荐)业务主键:例如usernam...
2019-04-10 19:56:46
7590
16
转载 Mysql数据库设计
Mysql数据库设计https://www.cnblogs.com/code2one/p/9871912.html目录•设计的步骤•需求分析•概念结构设计•逻辑结构设计•物理结构设计•数据库维护和优化◦索引◦分区◦其他目的：减少数据冗余、避免数据维护异常、节约存储空间、高效访问设计的步骤① 需求分析② 概念结构设计：E-R图③ 逻辑结构设计：将E-R图转换为某一种数据模型，并优化。④ 物理结构设计：选哪种数据库⑤ 数据库实施⑥ 数据库维护和优化：建表、索引优化、大表拆分
2020-09-17 11:26:07
275
原创 python 退出二重循环
退出二重循环示例1：import timelst = [1,2,3,4,5,6]start = time.time()while len(lst): for i in lst: while True: end = time.time() s = int(end - start) print("s:",s) if 10 < s : lst.rem
2020-06-18 09:35:41
712
原创 Mysql 将一个数据库中表结构和数据复制到另一个数据库中
将数据库1中表1复制到数据库2中use 数据库2create table 表2 select * from 数据库1.表1
2019-10-22 11:32:41
1579
原创 怎样将一个数据库中的某张表的数据导入另一个数据库
–1、如果两库同机insert into dbnameb.dbo.tb select * from dbnamea.dbo.tb–2、如果两库不同机，先按照11做链接。然后insert into machinenameb.dbnameb.dbo.tb select * from machinenamea.dbnamea.dbo.tb...
2019-10-22 10:50:48
2190
原创 linux下开启、关闭、重启mysql服务
linux下开启、关闭、重启mysql服务命令一、 启动1、使用 service 启动：service mysql start2、使用 mysqld 脚本启动：/etc/inint.d/mysql start3、使用 safe_mysqld 启动：safe_mysql&二、停止1、使用 service 启动：service mysql stop2、使用 mysqld 脚本启动...
2019-10-11 17:02:02
534
原创 centos系统上安装masscan
yum install git gcc make libpcap-develgit clone https://github.com/robertdavidgraham/masscancd masscanmake#run#./masscan 203.58.19.1/24 -p80 --banners -oX result.xml./bin/masscan
2019-10-11 10:16:13
1776
原创 如何在linux中运行sql文件
1.在linux中进入sql命令行mysql -u root -p输入密码2.假设home下面有a.sql文件先得use databasename,要不会报错 “No Database Selected”然后source /home/a.sql记得home前面要有 /要不会报错 不能打开这个文件的还有一个更好的方法:使用navicat来连接linux下的mys...
2019-09-17 16:36:15
2742
原创 numpy
文章目录创建数组及数组属性数组索引 ---直接下标、切片数组形状改变数组组合：ufunc函数广播机制读写文件数组排序数组去重常用指标统计创建数组及数组属性np.array() import numpy as np#一维数组：# arr = np.array([1,2,3,4,5,6]) #二维数组：arr = np.array([[1,2,3],[2,3,4],[3,4,5]]...
2019-06-22 22:05:10
132
原创 matplotlib:图形绘制常用增加修饰和设置参数
文章目录（1）调整子图与子图之间的间距（2）设置RC参数支持中文和负号（3）增加子图（4）增加标题（5）修改x 刻度（6）修改y刻度（7）增加xy 标签值（8）增加图例及图例位置参数及图例大小设置（9）保存图片（10）绘制折线图及设置marker及各种参数（11）散点图的绘制（12）柱状图绘制（13）图形宽高及分辨率（14）折线图显示折线点 值（15）增加网格线显示（16）饼图绘制（17）拼图设置...
2019-06-17 22:39:59
1434
原创 matplotlib : 折线图绘制
绘制基本流程：（1）创建画布（2）准备x y数据（3）进行绘制图形（4）进行图形展示另外再进行 增加图例，增加标题，增加x轴 y 轴标签 ，增加刻度显示，增加网格线显示，y轴刻度更改 ，保存图片，常用RC参数设置，支持中文，支持负号设置常用RC参数设置：color=‘r’, linestyle=’:’, linewidth=1.2, marker="*", markersize=7,...
2019-06-17 15:44:34
377
原创 python 编码：ASCII 码，Unicode码，UTF-8 码关系及转码总结
一、ASCII 码ASCII 码 表示 127 个英文字符每个中文需要使用2个字节来编码，中文编码的规则 —— GB2312由于不同国家有不同的编码规则，如日本，韩国都使用各自国家的编码规则，在多语言混用的场合会出现混乱。二、Unicode 码Unicode 用来把所有语言都统一到一套编码里，这样就不会再有乱码问题了。Unicode通常用两个字节编码（有的也用四个字节），而 ASCII...
2019-06-14 19:53:17
1617
1
原创 nginx部署
linux虚拟机环境下：一、安装python需要的依赖包yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-develgcc make二、python解释器安装1．下载python解释器wget https://www.python.org/ftp/...
2019-06-12 09:07:43
389
原创 Django：F和Q查询（自带数据库）
一：F查询；二：Q查询一：F查询多个字段之间的比较—应用场景在上面所有的例子中，我们使用的过滤器只是将字段值与某个常量做比较、如果我们要对两个字段的值做比较那该怎么做呢？Django提供F()来做这样的比较，F()的实例可以在查询中引用字段来比较同一个model实例中的两个不同字段的值。Django支持F()对象和常数之间的加减乘除取模操作。二：Q查询多个字段联合查询，比如or-...
2019-05-18 20:08:46
636
原创 Django：聚合与分组查询（自带数据库）
一：聚合查询，from django.db.models import Avg, Sum, Max, Min, Count；二：分组查询，group by … having一：聚合查询聚合就是指mysql中的 Avg、Sum、Max、… 聚合函数 Count() 、Min()aggregate() 是QuerySet 的一个终止子句，意思是说，它返回一个包含一些键值对的字典。键的名...
2019-05-18 20:05:52
2284
原创 Django：字段查询常用操作总结（db.sqlite3数据库）
一、常用操作表格：模型类：1．必会12条<1> all(): 查询所有结果<2> filter(**kwargs): 它包含了与所给筛选条件相匹配的对象<3> get(**kwargs):返回与所给筛选条件相匹配的对象，返回结果有且只有一个，如果符合筛选条件的对象超过一个或者没有都会抛出错误。<4> exclude(**kwarg...
2019-05-18 19:56:52
7036
原创 Django：关系字段
关系字段(1)一对多外键类型在ORM中用来表示外键关联关系，一般把ForeignKey字段设置在 '一对多’中’多’的一方。例如:一个学科对应多个学生，一个学生对应一个学科。字段: ForeignKey字段参数:to : 设置要关联的表。to_field : 设置要关联的表的字段。 默认关联的是表的id。如果想关联其他字段名称可以使用此字段。on_delete: 当删除关联表中...
2019-05-18 19:49:24
977
原创 Django：ORM增删改查（CURD），关系字段总结
一、ORM中基本操作，1．概念，2．使用ORM进行增删改查(CRUD)，3．双下划线方法；二、关系表数据模型，1．一对多，2．多对多；三、同步数据库；四、admin的使用一、ORM中基本操作1．概念：O: object , R: relation , M : mapping, 对象关系映射，使用面向对象的思想来操作数据库。python中的一个类对应对应数据库中的一张表格。python...
2019-05-18 19:19:45
548
原创 Django：单表查询之神奇的双下划线
单表查询中双下划线运用：models.Tb1.objects.filter(id__lt=10, id__gt=1) 、#获取id大于1 且 小于10的值models.Tb1.objects.filter(id__in=[11, 22, 33])#获取id等于11、22、33的数据models.Tb1.objects.exclude(id__in=[11, 22, 33]) # no...
2019-05-18 19:13:25
635
原创 Django：利用orm进行用户的增删改查 及 超级用户Admin的使用
一：用户增删改查；二： 超级用户Admin的使用。一：用户增删改查1、将用户保存到数据库。（1）、创建模型类，生成对应的数据库表格在命令行下执行（1）、同步数据库 ： python manage.py makemigrations（2）、写入数据库： python manage.py migrate或在如下图中输入：makemigrations ; ...
2019-05-18 17:24:44
907
原创 硬编码 and 软编码
硬编码：什么是“硬编码”？“硬”，顾名思义，就是死板，一次性的意思。其定义也就是“将可变变量用一个固定数值表示”，这种方式在编码的过程中会导致变量很难修改。因此通常采用的方式都是软编码的方式，软编码：通过一个标记取代变量名称，而这个标记的值是可以不断变化的。但标记名称却是不变的，从而实现了“以不变应万变“。硬编码和软编码的区别是：软编码可以在运行时确定，修改；而硬编码是不能够改变的。...
2019-05-18 09:47:30
820
原创 Django：ORM概念优缺点理解
ORM : ORM概念，ORM特点，ORM 的优点，ORM 的缺点orm : 对象关系映射 (Object Relational Mapping) ,用于实现面向对象编程语言里不同类型系统的数据之间的转换 [1] 。从效果上说，它其实是创建了一个可在编程语言里使用的–“虚拟对象数据库”。ORM方法论基于三个核心原则： 简单：以最基本的形式建模数据。 传达性：数据库结构被任何人都能理解的语言文档...
2019-05-17 21:06:01
2736
1
原创 Django：Json和XML
Json简介：JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。它基于 ECMAScript (欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。(1)、J...
2019-05-17 20:47:34
913
原创 Django：Ajax(异步 javaScript and XML)
一：Ajax含义，二：重要作用，三：常用应用场景，四：优缺点，五：例子一：Ajax含义： Asynchronous JavaScript And XML ,翻译是：异步 JavaScript and XML。使用JavaScript 语言与服务器进行交互，传递的数据是XML格式现在也可以传输JSON（未来的趋势是用JSON进行轻量级的数据交换）。二：重要作用：AJAX 和普通的传输数据方式，...
2019-05-17 20:27:25
354
原创 Django：请求对象（HttpRequest）与响应对象（HttpResponse）
一：请求对象当一个页面被请求时，Django就会创建一个包含本次请求原信息的HttpRequest对象。Django会将这个对象自动传递给响应的视图函数，一般视图函数约定俗成地使用 request 参数承接这个对象。(1).请求相关的常用值path_info 返回用户访问url，不包括域名method 请求中使用的HTTP方法的字符串表示，全大写表示 GET、P...
2019-05-16 23:24:55
1211
原创 Django：文件上传三要素，图片上传、存储与显示
图片属于位图文件，也是一种文件文件上传文件上传三要素：1.提交方式 ：必须是post 。2.编码方式：enctype 必须是 multipart/form-data。3.标签类型：必须是 file 类型。html页面部分如：其中<img src=’’{%static image%}’’ alt=’’ ‘’> 用于显示图片图片上传、存储与显示的视图模块#上传文件：...
2019-05-16 21:58:33
2143
1
原创 Django：django中的请求流程
请求流程(1).启动服务端等待客户端来连接(1).浏览器发出请求然后经过wsgiref.py模块。(2).执行urls.py中的列表，请求url和列表中的参数进行匹配。(3).匹配成功后执行对应的视图函数。(4).将结果返回给浏览器。(5).断开连接django本质是个socket服务端：socket服务端与客户端请求与响应过程如图：...
2019-05-16 20:43:40
1038
原创 Django：MTV和MVC
理解MVC：在聊mvc之前，去公司找自己的朋友办事，你首先要知道你朋友的公司，然后遇到的是一个前台的妹子，前台的妹子告诉你，你的朋友在开发部，然后你才找到了你的朋友，然后开始处理事情，具体的事情会由你的朋友和你进行处理，处理过程当中你的朋友调用了他们公司的资源。同样你在请求网站的时候也一样,当我们请求服务器的时候，服务器将请求传递给具体处理请求的功能，在web开发中我们称之为controlle...
2019-05-16 19:36:00
1537
1
原创 Django：视图系统中的 CBV 和FBV
视图系统 CBV 和FBV1．FBV : 基于函数的视图。2．CBV: 基于类的视图。（1）创建视图类步骤：① 创建一个类继承 from django.views import View。②覆写(重写) get() 、post() 方法。1）当浏览器是get请求的时候，默认调用get() 方法。2）当浏览器是post请求的时候、默认调用的是post()方法。3）注意： get()、...
2019-05-15 23:17:16
297
原创 Django：app应用总结
一、创建app应用：1.创建app应用的目的，2.命令行创建app应用的步骤，3.通过pycharm软件创建app应用，二、App中的独立内容：1.独立路由，2.独立模板，3.独立静态文件一、创建app应用：1.创建app应用的目的：当项目足够大的时候，例如路由或者静态文件、模板文件都写在了一起，比较臃肿，因此我们可以创建app应用进行独立开发(分模块开发)。2.命令行创建app应用的步...
2019-05-15 21:40:56
396
原创 Django：路由系统总结
django三大系统：路由系统，视图系统，模板系统路由系统1．路由系统的作用： 匹配url路径，执行对应的视图函数。2．路由系统的基部格式：Urlpattens=[path(‘url路径’, 视图函数名称,默认参数（字典类型）,别名(url反向代理))]注，地址栏输入路径时，最后一个 / 浏览器默认加上，自己可加可不加3．使用正则表达式（1）使用 from django.url...
2019-04-25 22:38:58
256
原创 Django：模板系统（template）总结
模板系统（template）1.模板系统: 指html页面。2.常用符号(1){{变量名}}：在模板中解析变量(2){% %} 在模板中进行逻辑相关操作注释 {# … #}，单行注释。(3).变量在Django的模板系统中变量使用的语法：{{ 变量名 }}。当模版引擎遇到变量，就会用值替换掉变量。变量的命名可以是**字母数字以及下划线 ("_")**的组合。变量名称中不能有空格...
2019-04-25 21:57:35
487
原创 Django：请求流程和视图函数理解
1.请求流程(1).启动服务端等待客户端来连接(1).浏览器发出请求然后经过wsgiref.py模块。(2).执行urls.py中的列表，请求url和列表中的参数进行匹配。(3).匹配成功后执行对应的视图函数。(4).将结果返回给浏览器。(5).断开连接2.视图函数(1).函数名称任意，但是一般要见名知意（看见函数名称就知道做什么事情）(2).函数至少有一个参数，一般命名为req...
2019-04-25 20:22:48
419
原创 Django：Django安装及创建项目
1、Django下载位置；2.命令行安装及创建Django项目；3.PyCharm安装及创建Django项目；4.在虚拟环境创建Django项目1、Django下载位置Django下载：https://www.djangoproject.com/download/2.命令行安装及创建Django项目(1).下载命令：Pip install Django==2.1.2(版本号)(2...
2019-04-25 19:55:10
408
原创 Django：socket(B/S)--server端逐步进阶
1：框架本质—>2：解决中文乱码—>3：根据不同路径返回不同页面—>4：函数版—>5：函数进阶版—>6：返回具体页面—>7：让网页动起来1：框架本质：import socket server_sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM) server_sk.bind(('127.0.0.1',...
2019-04-25 19:38:41
1686
7
原创 Django：socket:解决中文乱码
client_sk.send( ‘Content-Type:text/html;charset=utf-8\r\n’.encode(‘utf-8’)) #设置响应头 （内容类型及字符集） 并send,import socketserver_sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM)server_sk.bind(("127.0.0...
2019-04-23 22:21:15
253
原创 URL与URI
URL与URI而URL是uniform resource locator，统一资源定位器URI，是uniform resource identifier，统一资源标识符1、URI是以一种抽象的，高层次概念定义统一资源标识，而URL则是具体的资源标识的方式。URL是一种URI。2、格式不同：URL的格式一般由下列三部分组成:第一部分是协议(或称为服务方式);第二部分是存有该资源的主机IP地址...
2019-04-23 22:14:28
5223
原创 Django：socket代码(server端)详解
web框架总体可以分为两部分功能，一部分是负责接受客户端信息的server socket代码，我们叫他服务器程序 ，一部分是进行逻辑判断代码我们叫做应用程序。以下用个例子详解server端代码import socketserver_sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM) server_sk.bind(('127.0.0.1...
2019-04-23 22:07:32
4769
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人