- 博客(81)
- 收藏
- 关注
RSS订阅原创 datetimepicker配置参数
$('#datetimepicker').datetimepicker({ value: '' // 设置当前datetimepicker的值 rtl: false, // false 默认显示方式 true timepicker和datepicker位置变换 format: ...
2022-08-08 09:43:28
564
原创 【转自崔庆才工作号】github clone下载慢的解决方案
阅读本文大概需要 3 分钟。”众所周知，GitHub 是一个巨大的开源宝库，以及程序员和编程爱好者的聚集地，包括我之前推荐的诸多优秀的开源项目全部都是位于 GitHub 上。但是每当我们看到优秀的开源项目，准备去下（bai）载（piao）时，会发现 git clone的速度异常之慢！就我个人而言，在我家里 200M 移动宽带的环境下，我克隆开源项目就没发现速度大于过 20.00KiB/s的时...
2020-04-27 12:31:29
290
原创 如何使用scrapyd对爬虫进行管控
部署前准备工作一：说明：scrapy框架相关爬虫代码不提供说明， 对于scrapyd的配置会有说明。对于scrapyd是对分布式的爬虫进行管控的插件，有web页面展示，不过只能通过api对其执行启动暂停等操作，建议使用Qt或者web来操控爬虫。虽然说是分布式的爬虫，建议对scrapy框架的爬虫都进行部署， 因为可能会涉及到后期的增量等抓取， 总是去服务器找爬虫文件也不是...
2020-04-08 14:48:07
257
原创 关于django部署至生产系统的一次记录
本人从事python开发相关的工作，故选择django框架进行开发。最近为公司开发了一套内部使用的展示系统，因为在部署测试时碰到一系列问题，故记录此次的部署操作流程，希望能与大家互相交流。环境说明系统：centos6.7python版本：python3.5.5Django版本：1.11.8uwsginginx：1.14.*第一步：测试代码本地运行状况当代码已经开发完成之后，请...
2018-12-12 01:34:31
333
原创 p标签样式
style="line-height: 1.6em; text-align: justify; text-indent: 2em;"
2018-11-23 10:42:00
4583
原创 python转任意进制（在模拟js生成随机数据时可以使用）
baseList = '0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'"""n为字符串，b为进制数"""def changeBase(n,b): x,y = divmod(n,b) if x>0: return chang...
2018-11-22 15:53:00
126
原创 excel正则模板
Private Sub RegExp_Replace()Dim RegExp As ObjectDim SearchRange As Range, Cell As Range'此处定义正则表达式Set RegExp = CreateObject("vbscript.regexp")RegExp.Pattern = "[0-9]{5}" '此...
2018-11-12 14:17:00
347
原创 数据库的异步操作，aiomysql
class MysqlOptAsync(object): def __init__(self, loop): self.host = host self.port = port self.user = username self.password = password ...
2018-10-29 14:53:00
752
原创 Github上 10 个开源免费且优秀的后台控制面板
Web 开发中几乎的平台都需要一个后台管理，但是从零开发一套后台控制面板并不容易，幸运的是有很多开源免费的后台控制面板可以给开发者使用，那么有哪些优秀的开源免费的控制面板呢？我在 Github 上收集了一些优秀的后台控制面板，并总结得出 Top 10。AdminLTEGithub Star 数 24969 ， Github 地址：https://git...
2018-10-15 09:53:00
815
21
原创 给广大码农分享福利：一个业界良心的github仓库，中文计算机资料
我今天查资料时无意发现的，https://github.com/CyC2018/CS-Notes这个仓库包含了下列几个维度的计算机学习资料：深受国内程序员喜爱，已经有超过3万多star了。1. 算法(1) 剑指 Offer 题解：目录根据原书第二版进行编排，代码和原书有所不同，尽量比原书更简洁。这里面包含了非常多的程序...
2018-10-12 12:16:00
544
13
原创 将一个文件夹下的所有图片的相对路径存入redis
# 获取文件夹下文件的名称集合path = 'pic/'fns = [os.path.join(root,fn) for root, dirs, files in os.walk(path) for fn in files]redis_obj = RedisOpt(redis_db=0)img_path_list = [img_path.rep...
2018-09-26 17:45:00
494
原创 数据库插入返回id的问题记录
对于一对多的数据表存储，先插入第一张表，然后需要该数据的自增的id，在另一张表中作为一个字段存入。通过查看资料，有以下两种方法。self.cursor.lastrowidself.db.insert_id()测试结果：self.db.insert_id()一直返回为0，在 MyISAM 和 Innodb中均是这样self.cursor.la...
2018-09-19 15:40:00
326
原创 redis操作
class RedisOpt(object): def __init__(self, redis_db=None): # 构造函数 try: self.redis_db = redis_db # redis链接方式一：连接redis固定方法 self.db =...
2018-09-13 15:02:00
88
原创 今日头条爬虫
import mathimport timeimport hashlibdef as_cp_clac(): t = int(time.time()) print(t) a = hex(t) a = a.upper() a = a.lstrip('0X') print(a) e = hashli...
2018-09-11 11:49:00
337
原创 计算文件的MD5值
import requestsimport hashlibimport osimport timedef get_file_md5(file_path): if os.path.isfile(file_path): with open(file_path, 'rb') as f: content =...
2018-09-11 11:19:00
419
原创 re.sub() 正则替换中关于分组的操作
re.sub(pattern, repl, string, count=0, flags=0)这是它的原型，网上对此式解说文章，多不胜数。对第二个参数，repl，上述用法，述者寥寥。但其功能，是以第一个参数，pattern中第一个组中值，替换pattern所匹配的字串，其格式为\number，编号从1开始第应第1组，以此类推，功能与\g<numb...
2018-08-31 16:31:00
2764
原创 解决 selenium + chrome webdriver 内存溢出导致崩溃的问题
在 selenium 长时间运行时出现了浏览器崩溃的问题，处理思路：尝试使用 handless 解决，发现无效，此方法无法解决删除浏览器缓存，问题解决，注意控制清缓存的时间 browser.delete_all_cookies() ...
2018-08-21 15:20:00
17637
原创 在win上加定时任务
任务计划程序如何设置请自行 Google 或 度娘遇到的问题:运行python脚本时出现了 cmd 运行框(执行的命令用的 python )解决方案:使用 pythonw 去执行, 因为 pythonw 是无界面的 python 解释器,建议在界面系统中后台跑 python 脚本时,使用此命令执行. ...
2018-08-17 17:52:00
147
原创 urllib 下载时遇见链接中含有中文
import urllib.parseurl = 'http://example.com/unicodè'url = urllib.parse.urlsplit(url)url = list(url)url[2] = urllib.parse.quote(url[2])url = urllib.parse.urlunsplit(url)prin...
2018-08-16 15:07:00
219
原创 对于文章图片中水印的问题
处理图片水印:下面的函数可以处理局部的水印,详细请看函数文档该函数适合处理位置固定的水印. def process_water_paper(original_name=None, box=None): """ :param original_name: 字符串形式接受, 需要处理的文件名称 :param box: 元组形式接收...
2018-08-10 14:58:00
277
原创 tesseract安装说明
INSTALLATION:Prerequisites:Python-tesseract requires python 2.5 or later or python 3.You will need the Python Imaging Library (PIL). Under Debian/Ubuntu, this isthe package "...
2018-07-27 17:25:00
158
原创 python 虚拟环境
环境说明centos 6.7 + python3.5 ( 编译安装 )1、centos6 安装 virtualenv 虚拟环境（root 用户或者加 sudo 执行） pip3 install virtualenv2、centos6 下出现 virtualenv command not found。# 与编译安装的python有关系ln -s...
2018-07-26 09:37:00
95
原创 文件内容为byte类型，读取时转为utf8
python--数据类型bytes在Python3以后，字符串和bytes类型彻底分开了。字符串是以字符为单位进行处理的，bytes类型是以字节为单位处理的。bytes数据类型在所有的操作和使用甚至内置方法上和字符串数据类型基本一样，也是不可变的序列对象。bytes对象只负责以二进制字节序列的形式记录所需记录的对象，至于该对象到底表示什么（比如到底是...
2018-07-24 11:14:00
3505
1
原创 读取大文件
with open(filename, 'rb') as f:for line in f:<do something with the line>构造可迭代对象 f，进行迭代遍历：for line in f，会自动地使用缓冲IO（buffered IO）以及内存管理，而不必担心任何大文件的问题。 ...
2018-07-20 13:44:00
68
原创 两个列表转为字典
需求：现在有两个列表，list1 = ['key1','key2','key3']和list2 = ['1','2','3']，把他们转为这样的字典：{'key1':'1','key2':'2','key3':'3'}>>>list1 = ['key1','key2','key3']>>>list2 = ['...
2018-07-10 09:28:00
1969
原创 在多线程下使用mysql
代码中我将pymysql.connect()函数放置到了多线程启动的函数外部。从而导致了报错，如下：pymysql.err.InterfaceError: (0, '')。将定义pymysql.connect()放置在多进程函数内部即可，即可解决参考链接：http://www.mamicode.com/info-detail-2272604.html...
2018-07-09 09:31:00
465
原创 appstore数据抓取
官方提供了数据接口，但是只能按照id号查询id号获取方法在 appstore 上分享应用，点击复制链接，其中有 id 号官方接口：https://itunes.apple.com/rss/customerreviews/page=1/id=1359578452/sortby=mostrecent/json?l=en&&cc=cn（ ...
2018-07-07 16:47:00
4516
原创 scrapy+redis+mongo 爬取万表网
爬取目标：万表网上商品的每个商品的商品名称，商品价格，店铺名称，商品编号，商品型号，商品品牌，商品销量，商品参数环境说明：scrapy + redis(对请求过滤去重) + mongo(存储数据)爬取页面分析列表页获取数据 构造分页 获取手表名xpath： //script[@type="text/javasc...
2018-07-05 16:48:00
135
原创 scrapy+redis mongo存储
分布式 item 数据存在 redis 中。使用以上代码将 redis 中的 item 结果数据存入 mongo 数据库中。代码测试可用，具体细节部分需要与个人开发环境有关，请自行调整。import redis,pymongo,json# redis 配置项(请自行替换)redis_url = '10.15.112.21'redis_po...
2018-07-02 16:53:00
386
原创 Scrapyd服务及其应用
Scrapyd 是一个用于部署和运行 Scrapyd 项目的工具，可以依靠它将 Scrapy 项目上传到云主机并通过 API 来控制它的运行。1. pip 安装该服务pip3 install Scrapyd2. 配置服务( centos7下 )，1.2版本默认没有配置文件，需自行创建mkdir /etc/scrapydvim /etc/scr...
2018-06-25 20:15:00
215
原创 asyncio 异步请求（涉及python 3.5 新引用语法）
asyncio 异步请求（python 3.5 新引用语法）python 3.4 引入了协程的概念。在 python 3.5 中确定了协程的语法event_loop 事件循环：程序开启一个无限的循环，程序员会把一些函数注册到事件循环上。当满足事件发生的时候，调用相应的协程函数。coeoutine 协程：协程对象，指一个使用 async 关键字定义的...
2018-06-20 23:00:00
748
原创 requests请求状态保持-登录github为例
模拟登录-状态保持 ---- 以登录 github 为例1 .页面分析：登录页 ( https://github.com/login ) 网页源代码能找到 form 表单的提交方式是 post 请求，登录账号并且打开 Chrome 浏览器的调试工具 ( F12 - Network - all ) 查看提交请求,能到以下信息提交数据为...
2018-06-20 22:55:00
1410
原创 爬虫异常，邮件提醒
需求：当爬虫出现故障时，第一时间来通知维护人员。采用邮件的方式告知。python 对Smtp协议支持的的smtplib和email模块email负责构造邮件smtplib负责发送邮件from email.header import Headerfrom email.mime.text import MIMETextfrom email....
2018-06-17 21:58:00
370
原创 协程的理解（二）-python3.4中asyncio
asyncio 是Python3.4引入的标准库，直接内置了对异步IO的支持。asyncio 的编程模型是一个消息循环，从 asyncio 模块中获取一个 EventLoop 的引用，然后把需要执行的协程扔到 EventLoop 中执行，就实现了异步IO。当处理流出现IO阻塞时，线程并不会等待IO操作执行完，而是去EventLoop中执行下一个协程。...
2018-06-15 16:57:00
567
原创 [转]并发和并行有什么区别
做并发编程之前，必须首先理解什么是并发，什么是并行，什么是并发编程，什么是并行编程。并发（concurrency）和并行（parallellism）是：解释一：并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。解释二：并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。解释三：在一台处理器上“同时”处理多...
2018-06-15 14:05:00
104
原创 （转）深刻理解Python中的元类(metaclass)以及元类实现单例模式
原文出处：https://www.cnblogs.com/tkqasn/p/6524879.html
2018-06-15 09:57:00
93
原创 协程的理解（一）
通过廖雪峰的Python3学习教程网站学习与整理以下内容。原文地址：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001432090171191d05dae6e129940518d1d6cf6eeaaa969000概念协程，英文名...
2018-06-15 09:51:00
245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人