- 博客(4458)
- 收藏
- 关注
RSS订阅转载 retrying模块的使用
安装模块：pip3 install retrying使用方式：使用retrying模块提供的retry模块通过装饰器的方式使用，让装饰器的函数反复的执行retry可以传入参数stop_max_attempt_number，让函数报错后继续重新执行，达到最大执行次数的上线，如果每次都报错，整个函数就报错，只要中间有一个成功了的话，程序就可以继续往后面执行了...
2019-09-28 20:54:00
633
转载 通过pyppeteer来爬取今日头条
import asynciofrom pyppeteer import launchasync def main(): browser = await launch() page = await browser.newPage() await page.setViewport(viewport={'width': 1280, 'heigh...
2019-09-28 15:27:00
1104
转载 Selenium详解
安装selenium pip3 install selenium# 查看是否安装成功# 进入到python环境中import seleniumprint(selenium.__version__)网页元素定位# 通过属性id和name来实现定位find_element_by_id()find_element_by_...
2019-09-27 19:02:00
576
转载 scrapy和scrapy-redis的区别
scrapy是一个python爬虫框架，爬取的效率极高，具有高度的定制性，但是不支持分布式。而scrapy-redis是一套基于redis库，运行在scrapy框架之上的组件，可以让scapy支持分布式策略Slaver端共享Master端redis数据库里的item 队列、请求队列和请求指纹集合。选择redis数据库的原因： redis支持主从同步，而且数据都是缓存在内存中...
2019-09-27 18:47:00
336
转载 分布式爬虫与增量式爬虫
首先要说一下scrapy-redis 配置文件settings主要配置Scrapy_Redis的功能，其中配置SCHEDULER是改变Scrapy原有的调度器。当项目运行的时候，Scrapy从配置文件中读取配置信息，根据配置信息运行Scrapy_Redis的功能，使得整个项目的调度器Scheduler和Spider都是Scrapy_Redis定义的，从而实现了分布式爬虫从...
2019-09-26 21:07:00
272
转载 scrapy框架来爬取壁纸网站并将图片下载到本地文件中
首先需要确定要爬取的内容，所以第一步就应该是要确定要爬的字段： 首先去items中确定要爬的内容class MeizhuoItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 图集的标题 title = scr...
2019-09-26 20:07:00
206
转载 Elasticsearch简介
Elasticsearch是一个分布式可扩展的实时搜索引擎和分析引擎，一个建立在全文搜索引擎基础上的搜索引擎，它不仅包括全文搜索功能，还可以进行如下工作：分布式实时文件存储，并将每一个字段都编入到索引中，使其可以被搜索实时分析的分布式搜索系统可以扩展到上百台服务器，处理PB级别的结构化或非结构化的数据对应到mysql中的关系关系数据库 ⇒ 数据库...
2019-09-26 08:34:00
121
转载 使用scrapy框架来进行抓取的原因
在python爬虫中：使用requests + selenium就可以解决将近90%的爬虫需求，那么scrapy就是解决剩下10%的吗？ 这个显然不是这样的，scrapy框架是为了让我们的爬虫更强大、更高效的存在，所以我们有必要好好了解一下scrapy框架。scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架 框架：用户只需要定制开发几个...
2019-09-26 07:38:00
185
转载 scrapy中的ImagePipeline下载图片到本地、并提取本地的保存地址
通过scrapy内置到ImagePipeline下载图片到本地在settings中打开ITEM_PIPELINES的注释，并在这里面加入'scrapy.pipelines.images.ImagesPipeline':5, #后面的数字代表执行优先级 ，当执行pipeine的时候会按照数字由小到大执行 在settings中加入IMAGES_URL...
2019-09-26 01:10:00
261
转载 Elasticsearch快速开始
Elasticsearch是一个分布式RESTful风格的搜索和数据分析引擎查询：Elasticsearch允许执行和合并多种类型的搜索——结构化、非结构化、地理位置、度量指标。搜索方式随心而变分析：找到与查询最匹配的是个文档是一回事。但是如果面对的是数亿级别的日志，又该如何解读呢？Elasticsearch聚合让你能够从大处着眼，探索数据 的趋势和模式速度：Elasti...
2019-09-24 18:08:00
147
转载 JVM 对象查询语言（OQL）[转载]
最近生产环境出现一个很奇怪的问题，测试环境无法重现，本地直连生产无法重现。于是用上 jmap + Java VisualVM 的 OQL (Object Query Language) 分析问题。关于OGL的文章不多，特此转载，原文出处：https://blog.csdn.net/pange1991/article/details/82023771本文主要翻译自JDK ...
2019-09-24 12:30:00
195
转载 二叉树遍历问题、时间空间复杂度、淘汰策略算法、lru数据结构、动态规划贪心算法...
二叉树的前序遍历、中序遍历、后序遍历前序遍历遍历顺序规则为【根左右】ABCDEFGHK中序遍历遍历顺序规则为【左根右】BDCAEHGKF后序遍历遍历顺序规则为【左右根】DCBHKGFEA什么是时间复杂度和空间复杂度时间复杂度是指执行当前算法所消耗的时间空间复杂度是指执行当前算法需要占用多少...
2019-09-24 08:17:00
325
转载 获取字符串首字母
1 using System; 2 using System.Collections.Generic; 3 using System.Text; 4 5 namespace TravelB2B.Core.Utils.Text 6 { 7 public class GetInitial 8 { 9 #...
2019-09-23 22:03:00
1445
转载 产生随机中文验证码
1 using System; 2 using System.Collections.Generic; 3 using System.Text; 4 5 namespace TravelB2B.Core.Utils.Text 6 { 7 /// <summary> 8 /// 产生随机中文验证码 9 ...
2019-09-23 22:01:00
84
转载 序列化与反序列化
1 #region 序列化 2 public static string Serializer<T>(T t) 3 { 4 //StringBuilder sb = new StringBuilder(); 5 using (MemoryStream ms = new Me...
2019-09-23 22:00:00
72
转载 Excel表格
using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading.Tasks;using org.in2bits.MyXls;namespace TravelB2B.Core.Utils.Excel{ ...
2019-09-23 21:59:00
78
转载 Json的使用
1 using System; 2 using System.IO; 3 using System.Text; 4 using System.Text.RegularExpressions; 5 using System.Runtime.Serialization.Json; 6 using Newtonsoft.Json; 7 using S...
2019-09-23 21:59:00
64
转载 共用方法整理
#region 获取文件后缀 public static string GetExtendName(string filename) { if (!string.IsNullOrEmpty(filename)) { var index = filename.La...
2019-09-23 21:51:00
107
转载 时间，日期的使用（公共方法）
1 public class TimeHelper 2 { 3 #region 实现发表的时间显示 4 /// <summary> 5 /// 实现发表的时间显示为几个月,几天前,几小时前,几分钟前,或几秒前 6 /// </summary> 7 ...
2019-09-23 21:25:00
109
转载 数据请求返回共用类（公共）
1 public class RequestResult 2 { 3 public bool IsSuccess { get; set; } 4 5 public string Message { get; set; } 6 7 public void OnSuccess(String msg = ...
2019-09-23 21:23:00
476
转载 身份证号码验证帮助类（公共方法）
1 /// <summary> 2 /// 身份证帮助类 3 /// </summary> 4 public class IDCardHelper 5 { 6 #region 检测身份证的合法性 7 public static bool Check(stri...
2019-09-23 21:20:00
430
转载 调用接口，数据请求（公共方法）
1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Text; 5 using System.Threading.Tasks; 6 using System.Web; 7 using System.Net; 8 us...
2019-09-23 21:19:00
1286
转载 发送邮件（公共方法）
#region 发送邮件 public bool Send(string email, string title, string body) { string message="发送成功"; return Send(email, title, body, out message);...
2019-09-23 21:09:00
134
转载 Des加密解密（公共方法）
1 public class Des 2 { 3 public static string Encrypt(string message, string key) 4 { 5 DES des = new DESCryptoServiceProvider(); 6 des.Ke...
2019-09-23 21:07:00
158
转载 星期几以及周，月份天数的计算（共用方法）
#region 计算星期几 /// <summary> /// //: 星期日至星期六的值为0-6 /// </summary> /// <param name="year"></param> /// <param...
2019-09-23 21:05:00
423
转载 生成随机字符（公共方法）
1 #region 生成随机字符 2 /// <summary> 3 /// 生成随机字符 4 /// </summary> 5 /// <param name="lens">随机字符长度</param> 6 /// <retu...
2019-09-23 20:58:00
123
转载 MD5函数（公共方法）
1 #region MD5函数 2 /// <summary> 3 /// MD5函数 4 /// </summary> 5 /// <param name="str">原始字符串</param> 6 /// <returns&...
2019-09-23 20:51:00
208
转载 字符串的截取（公共方法）
1 #region 从字符串的指定位置截取指定长度的子字符串 2 /// <summary> 3 /// 从字符串的指定位置截取指定长度的子字符串 4 /// </summary> 5 /// <param name="str">原字符串</param>...
2019-09-23 20:43:00
163
转载 AES加密解密
1 public class AESEncryption 2 { 3 #region 加密 4 /// <summary> 5 /// 加密 6 /// </summary> 7 /// <param name="input">...
2019-09-23 20:41:00
107
转载 日期选择控件
视图：<tr class="TrDisplay"> <th>开业年份：</th> <td colspan="3"> <input type="text" name="PracticeYear" id="PracticeYear" value="@Model.PracticeYear" maxle...
2019-09-23 20:31:00
85
转载 简易型单张图片上传
<tr> <th>Logo：</th> <td> <input type="file" name="file" /> @{ if (!string.IsNullOrEmpty(Model.Photo)) { ...
2019-09-23 20:05:00
75
转载 多张图片的上传
视图内容： <tr> <th><label for="">展示详情图</label> : </th> <td> <div class="">...
2019-09-23 16:47:00
127
转载 Django--csrf跨站请求伪造、Auth认证模块
form表单中使用跨站请求伪造 { % csrf_token % } 会动态生成一个input框，内部的value是随机刷新的如果不想校验csrf from django.views.decorators.csrf import csrf_exempt, csrf_protect 然后在不想装饰的函数的上面加上@csrf_exempt 如果只...
2019-09-22 04:22:00
154
转载 Django--中间件
Django中间件 Django默认由七个中间件 WSGI、wsgiref、uwsgi的区别 WSGI是协议 wsgiref和uwsgi是实现该协议的模块Django默认有七个中间件，但是Django暴露给用户可以自定义中间件，并且里面可以写五种方法ps： 1、在Django中请求来的时候会依次执行每一个中间...
2019-09-21 22:29:00
115
转载 Django--Cookie和Session组件
什么是Cookie： cookie的工作原理是：由服务端产生内容，浏览器收到请求之后保存在本地；当浏览器再次访问的时候，浏览器会自动带上这个cookie，这样服务端就能去通过这个cookie来判断你是谁了Django中操作cookie 获取cookierequest.COOKIES['key']request.get_signed_cookie(key,...
2019-09-21 19:10:00
136
转载 Django--form表单组件
form组件的祖耀功能如下： 1、生成页面可用的HTML标签 2、对用户提交的数据进行校验 3、保留上次输入内容使用form组件实现注册功能 第一步需要一个form类 第二步实例化form对象 第三步查看校验数据是否合法 第四部查看校验的错误信息 第五步查看校验通过的数据 ps： form中所有的字段默认都是必须传...
2019-09-21 12:38:00
140
转载 安装配置flask环境
安装 Flask好的，让我们开始吧！现在我们必须开始安装 Flask 以及一些我们会用到的扩展。我首选的方式就是创建一个虚拟环境,这个环境能够安装所有的东西，而你的主 Python 不会受到影响。另外一个好处就是这种方式不需要你拥有管理员权限。因此，打开一个终端窗口，选择一个你想要放置应用程序的位置以及创建一个包含它的新的文件夹。让我们把这个应用程序的文件夹称为micr...
2019-09-20 11:50:00
103
转载 Django--模型层
13个方法 all() filter() get() reverse() order_by() exclude() values() values_list() count() distinct() exists() first() last()神奇的双下滑操作 查看orm内部sql语句的方...
2019-09-20 08:49:00
109
转载 Django--路由层、视图层、模版层
路由层： 路由匹配 url（正则表达式，视图函数内存地址） 只要正则匹配到了内容，就不再往下匹配，而是直接运行后面的视图函数 匹配首页） url(r'^&', home) 匹配尾页 url(r'', errors) 路由匹配的规律 第一次是按照用户输入什...
2019-09-18 23:55:00
141
转载 利用java反射动态调用方法，生成grid数据
项目中需要java后台查询并组装前台grid的数据，数据行数不定，数据行定义不定，开始用了最原始的方法，写了几百行，就是前台需要什么字段后台拼接什么字段，java代码冗余量非常大，并且不够灵活，一旦前台页面需要调整字段顺序或者增加一个字段、删除一个字段时，后台需要修改java代码。经过一上午的重构努力，改为数据库配置字段与字段对应方法，java利用反射动态调用对象方法从而获取字段值，拼接...
2019-09-18 13:29:00
127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人