1 浅吻@

尚未进行身份认证

暂无相关简介

等级
TA的排名 13w+

运维常识

运维概述什么是运维服务器的运行维护名词IDC(互联网数据中心)服务器租用机柜租用监控软件zabbixnagioscactti常用Linux操作系统CentOSUbuntuRedHat虚拟化nginx反向代理流程客户端->反向代理服务器->把请求转发给内部网络的WEB服务器作用保证内网安全统一调度服务器,是服务器负载均衡,优化网站的...

2019-09-10 17:34:59

爬虫第七篇(scrapy 框架简介)

文档地址:https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/signals.htmlscrapy框架简介Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便Scrapy架构图[外...

2019-08-24 17:20:13

爬虫第六篇

爬虫第六篇python采用多进程/多线程/协程写爬虫从操作系统的角度:进程和线程,都是一种CPU的执行单元。进程:表示一个程序的上下文执行活动(打开、执行、保存…)线程:进程执行程序时候的最小调度单位(执行a,执行b…)一个程序至少有一个进程,一个进程至少有一个线程。并行:多个CPU核心,不同的程序就分配给不同的CPU来运行。可以让多个程序同时执行并发:单个CPU核心,在一个时...

2019-08-14 20:34:37

爬虫第五篇

爬虫第五篇BeautifulSoup+requests库使爬虫变得非常的简单BeautifulSoup库通俗来说是解析、遍历、维护“标签树”(例如html、xml等格式的数据对象)的功能库BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整...

2019-08-14 13:01:47

爬虫第四篇

爬虫第四篇Ajax的动态加载处理方法对于json格式的相应,如果页面是ajax动态加载的,可用通过设置它的limit(每次页面加载的数量)巧妙的避开,也可以通过自动化工具selenium来处理ajax的动态加载importrequestsimportjsonimportpymysqlclassDoubanSpider:def__init__(self):...

2019-08-13 18:41:12

爬虫第三篇

爬虫第三篇requests模块get请求importrequests#1.发get请求res=requests.get(url,params,headers,proxies,auth,verify,timeout)#2.响应编码格式res.encoding="utf-8"#3.获取htmlhtml=res.textrequests.get(url,p...

2019-08-13 14:17:25

Mock和MagicMock

Mock和MagicMock转载:https://blog.csdn.net/lk142500/article/details/85881426在单元测试进行的同时,就离不开mock模块的存在,初次接触这个概念的时候会有这样的疑问:把要测的东西都模拟掉了还测试什么呢?  但在,实际生产中的项目是非常复杂的,对其进行单元测试的时候,会遇到以下问题:•接口的依赖•外部接口调用•测试环境非常...

2019-08-09 16:58:48

vim常用操作和使用技巧12

vim常用操作和使用技巧移动光标在vi中,移动光标和编辑是两件事,正因为区分开来,所以可以很方便的进行光标定位和编辑.因此能更快一点移动光标是很有用的.w移动光标到下一个单词开头.e移动光标到下一个单词结尾b移动光标到上一个单词.0移动...

2019-08-08 20:12:54

好用的工具推荐

1.typoramarkdown文本编辑2.xmind思维导图3.endrawmax画流程图的4.Everything文本搜索工具5.BeyondCompare5.Postman发送请求6.Git7.SourceTree8.VSCode9.Sublime10.Pycharm11.Xshell12.MobaXterm13.Xftp14.WinSC...

2019-08-08 16:37:42

AJAX

AJAXAJAX:通过JS异步的向服务器发送请求并接受响应数据,响应数据的格式原来是xml,后来变成了JSON同步请求:当客户端向服务器发送请求时,服务器在处理的过程中,浏览器只能等待,效率较低异步请求:当客户端向服务器发送请求时,服务器在处理的过程中,浏览器可以做其他的操作,不需要一直等待AJAX的优点:异步访问局部刷新AJAX的使用场景:搜索建议表单验证前后端...

2019-06-16 20:40:17

IO 多路复用

IO多路复用IO密集型程序:在程序执行过程中存在大量IO操作,而cpu运算操作较少。消耗cpu较少,运行效率较低计算密集型程序(cpu密集型程序):在程序执行中cpu运算较多,IO操作相对较少。消耗cpu大,运行速度快IO分类:阻塞IO非阻塞IOIO多路复用阻塞IO:是IO的默认形态,是效率较低的一种IO情形。阻塞情况:因为某种条件没有达成造成的阻塞e.g. a...

2019-05-25 11:27:27

网络编程1

网络编程ISO七层模型——》网络通信工作流程的标准化应用层:提供用户服务,具体功能由特定的程序而定表示层:数据的压缩优化,加密会话层:建立应用级的连接,选择传输服务传输层:提供不同的传输服务。流量控制网络层:路由选择,网络互连链路层:进行数据转换,具体消息的发送,链路连接物理层:物理硬件,接口设定,网卡路由交换机等cookie高内聚:模块功能尽可能...

2019-05-25 10:38:16

Django框架全面讲解二

Django框架全面讲解二七、中间件(MiddleWare)django中的中间件(middleware),在django中,中间件其实就是一个类,在请求到来和结束后,django会根据自己的规则在合适的时机执行中间件中相应的方法。在django项目的settings模块中,有一个MIDDLEWARE_CLASSES变量,其中每一个元素就是一个中间件,如下图中间件中可以定义五个方法...

2019-05-24 19:54:33

Scrapy爬虫框架

Scrapy爬虫框架一、Scrapy五大基本构成:Scrapy框架主要由五大组件组成,它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫(Spider)和实体管道(ItemPipeline)、Scrapy引擎(ScrapyEngine)。下面我们分别介绍各个组件的作用。(1)、调度器(Scheduler):调度器,说白了把它假设成为一个URL(抓取网页的网址或...

2019-05-23 21:31:40

Django框架全面讲解

转:https://www.cnblogs.com/LiCheng-/p/6920900.htmlDjango框架全面讲解Python的WEB框架有Django、Tornado、Flask等多种,Django相较与其他WEB框架其优势为:大而全,框架本身集成了ORM、模型绑定、模板引擎、缓存、Session等诸多功能。本文将以下方面带大家全面了解Django框架流程基本配置路由系统...

2019-05-23 21:30:20

分布式数据库集群

分布式数据库集群Mysqlcluster是适用于分布式计算环境的高可用、高冗余版本的mysql,其技术在分布式系统中为mysql数据提供了冗余特性,增强了安全性,使得单个mysql服务器故障不会对系统产生巨大的负面效应,系统的稳定性得到保障。Mysqlcluster采用shared-nothing(无共享)架构,主要利用了NDB存储引擎来实现,NDB存储引擎是一个内存式存储引擎,要求数据必须...

2019-05-23 19:16:04

各种网络测试小工具的用法3

各种网络测试小工具的用法3dig命令是常用的域名查询工具,可以用来测试域名系统工作是否正常语法dig[选项]参数选项@<服务器地址>:指定进行域名解析的域名服务器;-b<ip地址>:当主机具有多个IP地址,指定使用本机的哪个IP地址向域名服务器发送域名查询请求;-f<文件名称>:指定dig以批处理的方式运行,指定的文件中保存着需要批处理查询的...

2019-05-22 19:56:29

正则表达式

正则表达式产生的原因:文本处理已经成为计算机的常见工作之一对文本内容的搜索,定位,提取是逻辑比较复杂的工作为了快速解决上述问题,产生了正则表达式技术定义:即文本的高级匹配模式,提供搜索,替代等功能。其本质是一系列由特殊符号组成的字串,这个字串即正则表达式。匹配原理:由普通字符和特殊符号组成字符串,通过描述字符的重复和位置等行为,达到匹配某一类字符串的目的元字符的使用...

2019-05-22 18:03:20

MySQL集群高可用架构

MySQL集群高可用架构前言高可用架构对于互联网服务基本是标配,无论是应用服务还是数据库服务都需要做到高可用。对于一个系统而言,可能包含很多模块,比如前端应用,缓存,数据库,搜索,消息队列等,每个模块都需要做到高可用,才能保证整个系统的高可用。对于数据库服务而言,高可用可能更加复杂,对用户的服务可用,不仅仅是能访问,还要保证数据的正确性,因此数据库的高可用方案一直以来是讨论的热点1.MySQ...

2019-05-21 11:18:52

装饰器

装饰器装饰器只不过是一种函数,接收被装饰的可调用对象作为它的唯一参数,然后返回一个可调用对象第一个例子:函数注册registry=[]#被装饰的对象,是一个可调用对象defregister(decorated):registry.append(decorated)returndecorated注册器方法是一个简单的装饰器,会把被装饰函数添加到regist...

2019-05-20 21:17:45

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。