- 博客(77)
- 收藏
- 关注
RSS订阅原创 服务器搭建环境安装scrapy报错：Could not find a version that satisfies the requirement Twisted>=13.1.0
简述：在python2和python3共存的情况下，python2已存在scrapy或者不存在。则根据需要python3需安装scrapy，安装报错如下。。。错误原因，通过pip install 安装scrapy是报错Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrap...
2019-04-23 14:21:44
2239
原创 Linux系统下安装python3环境和创建虚拟环境，及wondows创建虚拟环境
Python3安装方法推荐链接参考https://www.cnblogs.com/kimyeee/p/7250560.html按照步骤安装完成后，进入虚拟环境，pip install xxx ，安装某个第三方库测试一下是否成功，如果报错与TLS/SSL相关，参考文章最后的操作。创建Python3虚拟环境使用python3解释器，创建虚拟环境 env3为虚拟环境命名...
2019-04-23 14:19:09
1245
1
转载 Win10 Python3.5 安装pymouse（pyuserinput）报错坑
看到python可以控制鼠标和键盘，所以自己也试了下。结果遇到数个坑。我的电脑环境：python3.5.4Win10 64位 商业版问题描述：1、由于python3.5把pymouse和pykeyboard放在了pyuserinput这个包里面，所以我们只要安装这个包就可以了。2、如果直接pip install pyuserinput，会提示要先安装pyhook这个包。...
2019-04-15 16:53:35
539
原创 Python-Scrapy遇到的问题，报错：FileNotFoundError: [Errno 2] No such file or directory: 'scrapy crawl xxx'
问题一：项目中使用到了爬虫（scrapy）框架已经任务调度框架，在调度过程中报错信息如下：Traceback (most recent call last):File "/usr/local/python3/lib/python3.6/site-packages/apscheduler/executors/base.py", line 125, in run_job retval ...
2019-04-08 10:07:27
3535
原创 Redis的数据丢失说起
问题情况说明：redis已存在数据全部丢失，或者部分丢失。redis超出最大重试次数，redis分为同步机制，异步机制。。。背景 公司的redis有时background save db不成功，通过log发现下面的告警，很可能由它引起的：[13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Bac...
2019-04-02 14:07:36
384
转载 python爬虫 requests异常requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded
错误提示：requests.exceptions.ConnectionError:HTTPSConnectionPool(host='baike.baidu.com',port=443):Maxretriesexceededwithurl:https://baike.baidu.com/item/%E5%88%98%E5%BE%B7%E5%8D%8E/114923(Cause...
2019-04-02 13:53:17
4252
原创 MySQL死锁导致无法查询解决
首先执行：select * from information_schema.innodb_trxselect * from information_schema.innodb_locksselect * from information_schema.innodb_lock_waits查看事件比较久的事物。如何当前时间select sysdate();AM 10:07而事物开始的时间是：...
2019-03-22 14:16:20
410
原创 数据库死锁问题，Navicat修改表的时候，数据库中的一张表打不开也关不上
问题描述在修改一张数据库的表的时候，加了一个字段。然后鼠标指针就一直在转圈，Navicat就未响应。解决方法一般表打不开有三种原因：原因一:表死锁，会出现这样的情况，锁不释放，无论多久都读取不了数据，一直加载中！原因二：表里面的数据量太大造成的。原因三:网络慢，卡，数据不能传输下面介绍一下死锁：一、 什么是死锁死锁是指两个或两个以上的进程在执行过程中,因...
2019-03-22 14:00:58
2173
原创 navicat操作mysql中某一张表后， 读表时一直显示正在载入，卡死不动，无法操作
首先执行：show full processlist; //列出当前的操作process，一般会看到很多waiting的process，说明已经有卡住的proces了，我们要杀死这些process！！再执行：查看status是否有ID被锁，如果被锁，杀死ID，kill ID;killprocessid; //processid表示process的id，比如kill 3301...
2019-03-22 13:59:41
11877
原创 schedule模块定时执行任务
一、基本使用import scheduleimport timedef job(): print("I'm working...")schedule.every(10).minutes.do(job)schedule.every().hour.do(job)schedule.every().day.at("10:30").do(job)schedule.ever...
2019-03-21 18:09:16
1200
原创 python链接redis方法
1.python 连接redis普通连接import redis#后面是地址 端口r = redis.Redis(host='127.0.0.1', port=6379)2.连接池redis-py使用connection pool来管理对一个redis server的所有连接，避免每次建立、释放连接的开销import redispool = redis.Connecti...
2019-02-26 09:31:16
383
原创 Python字典按值排序、包含字典的列表按字典值排序的方法
operator.itemgetter函数operator模块提供的itemgetter函数用于获取对象的哪些维的数据，参数为一些序号（即需要获取的数据在对象中的序号）,要注意，operator.itemgetter函数获取的不是值，而是定义了一个函数，通过该函数作用到对象上才能获取值。eg: students = [('john', 'A', 15), ('jane', 'B', 1...
2019-02-13 09:45:32
5643
原创 django服务器重启，端口占用解决方案
在开发django项目时，启动开发服务器的命令为：python manager.py runserver [port]其中，[port]选项指定服务器所使用的端口 根据提示，要想关闭服务器，只需同过ctrl+c命令即可。关闭后可以再次启动服务器。 如果选择ctrl+z命令，服务器进程将被挂起，端口一直被占用。再次启动服务器会提示端口占用情况，如图： 遇到这种情况需要手动关...
2019-01-10 09:51:53
1166
原创 linux查看服务器端口状态，端口操作
查看服务器端口状态：Cd /etc/etc/init.d/iptables status 查看当前所有tcp端口netstat -ntlp查看所有80端口使用情况netstat -ntulp |grep 80查看所有3306端口使用情况netstat -an | grep 3306 开启8080端口cd /etc/sbin/iptables/ -I INPUT ...
2019-01-10 09:45:54
5854
原创 JS -- 标签内容行号自增，前端动态生成的
最近做一项目，需要对数据进行排序输出，要求有行号，依次递增1.2.3.4.5.......。前端通过<c：forEach> 遍历动态输出的<tr>，代码如下： <!-- 循环生成，列表数据 --> <c:forEach items="${pager.list}" var="auction"> <tr cl
2019-01-10 09:43:49
1276
原创 关于django服务器重启端口占用解决方案
在开发django项目时，启动开发服务器的命令为：python manager.py runserver [port]1其中，[port]选项指定服务器所使用的端口 根据提示，要想关闭服务器，只需同过ctrl+c命令即可。关闭后可以再次启动服务器。 如果选择ctrl+z命令，服务器进程将被挂起，端口一直被占用。再次启动服务器会提示端口占用情况，如图： 遇到这种情况需要手动关闭...
2019-01-09 18:08:31
559
转载 js DIV延时几秒后消失或显示代码
1、最常用的方法：<script language='javascript' type='text/javascript'>$(function () { setTimeout(function () { $("divid").show(); }, 6000);})</script>2、第二种方法jquery 让一个div...
2019-01-08 15:48:58
2770
原创 django 项目启动服务器错误 Error: That IP address can't be assigned to.
阿里云服务器上部署网站用的是python和django错误原因有很多：服务器的端口设置时没有打开开启服务的ip与服务器的ip不统一settings,.py 里面的ALLOWED_HOSTS = ['']设置有问题#settings设置ALLOWED_HOSTS = ['115.76.169.116', 'localhost', '0.0.0.0:8000']...
2019-01-08 15:43:15
3574
原创 python3 使用urllib.parse对url进行处理
对于处理某些通过 url 传参的请求，可以使用 urllib.parse 来处理，当然，也可以自己写方法。下面放上一个demo：import urllib.parse scheme = "http"host = "www.urllib_parse.com"path = r"test/test_1/test_2"data = { "key" : "value", ...
2018-12-21 13:59:38
1539
原创 tempfile模块可以用于生成临时文件和目录。
导入模块import tempfiletempfile.mkstemp([suffix=”[, prefix=’tmp’[, dir=None[, text=False]]]]) 以最安全的方式创建临时文件，并且仅有创建者可读、可写该文件。文件描述符并不传递给子进程。当不再使用临时文件时，需要显示删除os.remove(output_filename)。 参数：suffix指定文...
2018-12-20 11:34:36
1029
原创 python对安卓手机执行飞行模式
导入os模块import os它建议以下方式启用飞机模式：adb shell settings put global airplane_mode_on 1 不幸的是，它不起作用。它只是改变了飞行模式图标的状态，但所有无线电仍处于活动状态。它缺少一个非常重要的部分，即在设置更改后立即广播意图，以通知应用程序飞行模式状态已更改。要启用飞行模式，请使用以下命令： cmd...
2018-12-20 09:25:38
1722
3
原创 python-time模块》获取当前时间
strftime()功能：格式化输出时间字符串（str foramt time）格式：time.strftime('字符串格式'[,时间元组])返回值：格式化之后的哦字符串localtime()功能：获取当前时间元组格式1：time.localtime() 返回值：本地时间元组格式2：time.localtime(时间戳) 返回值:指定时间戳的本地时间元组...
2018-12-19 14:37:06
1335
原创 Python中》Requests Cookies操作【dict 和cookiejar互转】
dict 和cookiejar互转import requests#字典转cookiejarrequests.utils.dict_from_cookiejar(cj)#cookiejar转字典requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True) ...
2018-12-19 13:51:59
3618
4
转载 logging模块学习笔记：basicConfig配置文件
#coding=utf8import sys, logging logging.basicConfig(level=logging.INFO, format='levelname:%(levelname)s filename: %(filename)s ' 'outputNumber: [%(li...
2018-12-18 18:11:44
719
原创 python 使用requests请求https输出警报InsecureRequestWarning
报错 Python Requests throwing up SSLError解决方法：verify=Falserequests.put(url,data = data, headers=headers, timeout=10, verify=False)requests.get(url,data = data, headers=headers, timeout=10, ver...
2018-12-18 17:57:43
909
原创 sys模块设置递归深度。。。。报错RecursionError: maximum recursion depth exceeded while calling a Python object
RecursionError: maximum recursion depth exceeded while calling a Python object爬虫的朋友一般分页或者回调的时候就经常会遇到这个错误，英文意思很明白，超过了Python的最大递归深度。python默认的递归深度是很有限的（默认是1000），因此当递归深度超过999的样子，就会引发这样的一个异常。 解决方...
2018-12-18 16:40:47
10423
1
原创 关于scrapy爬虫的注意事项
1. 图片下载的设置class ClawernameSpider(scrapy.Spider): # 定制化设置 custom_settings = { 'LOG_LEVEL': 'DEBUG', # Log等级，默认是最低级别debug 'ROBOTSTXT_OBEY': False, # default Obey robots.txt ...
2018-12-18 16:02:27
1300
原创 更改pymysql默认的链接时间
解决pip安装第三方包出现socket.timeout: The read operation timed out超时问题这个问题的出现就是字面意思，链接超时。出现这个原因是两边网络连接速度慢。要解决这个问题要么提高网速----这个有的时候是服务器网速较慢，那没办法给他提高。要么就增加他的超时判定时间。使用语句：pip3 --default-timeout=100 instal...
2018-12-18 11:46:12
3753
翻译 python爬虫之requests的基本使用
简介 Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比urllib更加方便，可以节约我们大量的工作。一、安装 pip快速安装 1 pip install requests 二、使用 1、先上一串代码 1 2 ...
2018-12-18 10:35:55
258
原创 池模块 -进程池 -线程池
池模块线程池concurrent.futures.ThreadPoolExecutorfrom concurrent.futures import ThreadPoolExecutor from time import sleep tpool = ThreadPoolExecutor(max_workers=5) #设置线程最大数量 de...
2018-11-30 17:38:06
160
原创 python并发之concurrent.futures模块的使用
Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码。从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing的更高级的抽象，对编写线程池/进程池提供了直接的支...
2018-11-30 17:33:54
1090
原创 python 多线程，详细教程，线程同步，线程加锁，ThreadPoolExecutor
python 多线程的使用多线程主要用于大量的IO操作时的并发执行，以此来提高效率！多进程主要用于大量的计算，进而充分发挥CPU的性能！这里主要讲述两种多线程的使用： threading.Thread concurrent.futures.ThreadPoolExecutor使用第二种方式需要先安装（对于python2.x）pip install futures...
2018-11-30 15:15:34
1272
原创 Python 中使用 fakeuseragent 报错
from fake_useragent import UserAgentua = UserAgent(verify_ssl=False)报错：FakeUserAgentError('Maximum amount of retries reached')1、禁用服务器缓存：出现异常(fake_useragent.errors.FakeUserAgentError: Maximum ...
2018-11-16 15:57:13
890
原创 如何使用pymysql 获取键值对形式的数据
设置游标类型，默认游标类型为元组形式将游标类型设置为字典形式cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
2018-11-16 15:23:29
1012
原创 requests中设置get请求禁止发送参数
url=''urls=''import requests allow_redirects默认是True，true发送请求，false不发送请求ress=requests.get(urls,headers=head,allow_redirects=False)if res...
2018-11-14 16:09:01
803
原创 python中 break 和continue的用法
break和continue用法介绍：1.Python break语句，就像在C语言中，打破了最小封闭for或while循环。break语句用来终止循环语句，即循环条件没有False条件或者序列还没被完全递归完，也会停止执行循环语句。break语句用在while和for循环中。如果使用嵌套循环，break语句将停止执行最深层的循环，并开始执行下一行代码。Python语言 bre...
2018-11-14 15:10:57
4614
翻译 screen命令的安装及常用命令====》》》打开新窗口命令
命令简单理解在Xshell使用打开新窗口命令（name为自定义认为有含义的命名）打开新窗口screen -S name返回原来Ctrl+A+Z返回新窗口screen -r关闭退出当前端口（删除）Ctrl+D安装screen命令yum -y install screen如何安装 screenscreen在一些流行的发行版上已经预安装...
2018-11-12 15:44:38
1767
原创 Python3.6安装aip
AIP的安装（此aip非百度AIP）如同以往安装库的方法一样，进入目录：C:\Users\admin\AppData\Local\Programs\Python\Python36\Scripts执行：pip install aip我们的aip目录如下：如果正常导入AipOcr的话会报错的：执行 from aip import AipOcr报错如下：单独修改一...
2018-11-12 14:45:47
2744
原创 字符串前加r、f、u、l 的区别
f-strings 是指以 f 或 F 开头的字符串，其中以 {} 包含的表达式会进行值替换。（目前支持python3.6版本）下面看下 f-strings 的使用方法基本使用（作用：替换值）>>>name = 'hoxis'>>> age = 18>>> f"hi, {name}, are you {age}"#结果如下...
2018-11-12 14:37:37
3862
原创 urllib.parse的quote和urlencode区别
from urllib.parse import quotefrom urllib.parse import urlencodebase_url = 'https://s.taobao.com/search?'data = { 'q': 'ipad'}print('https://s.taobao.com/search?q='+quote('ipad'))print(ba...
2018-11-12 14:26:57
984
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人