2 WBerica

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 10w+

pymongo.errors.CursorNotFound: cursor id 1058082xxxxxxxx not found mongo索引超时

一,超时原因数据量太大,mongo 的性能处理不过来数据在处理过程中太耗时二,解决方案为find() 函数设置 no_cursor_timeout = True,表示游标连接不会主动关闭(需要手动关闭)items = myset.find(no_cursor_timeout = True)for item in items: print(item) #处理数据items.close()如果使用了方法一之后还出现报错,可以继续为find()函数设置batch_size参

2020-07-08 10:50:29

通过使用sklearn决策树,简单练习案例分析

# 根据电影中的类型,票房,产地,预测去不去看电影import csvfrom sklearn.feature_extraction import DictVectorizerfrom sklearn import preprocessingfrom sklearn import tree# 导入数据集,film_data = open('film.csv', 'rt')reader = csv.reader(film_data)# 表头数据headers = next(reade.

2020-07-03 14:34:56

如何把一个无序列表中把相同的数据形成一个新的列表

def test(list1): # 进行一个排序操作,把相同的元素排列到同样的位置 list1 = sorted(list1) result_list = [] x = [] for i in range(len(list1)): if i + 1 < len(list1): if list1[i] == list1[i + 1]: x.append(list1[i])

2020-05-29 14:23:37

ElasticSearch与python交互

测试环境 ElasticSearch7.7.0 python 3.81. 基本查询数据from elasticsearch import Elasticsearches = Elasticsearch()query = { "query": { "match_all": { } }}res = es.search(index='movies', doc_type='movie', body=query)print(res)#查询索引为mo

2020-05-22 12:41:03

安卓逆向入门

一:环境准备目标app(1)如果是国内市场的软件直接搜索找到安装包即可(2)如果软件的目标市场是国外的话,就要科学上网去找一下抓包软件(1)我这边使用的是charles ,也可以选择fiddler,mac下没有fiddler(2)配置charles 电脑版安装charles 并进行简单的配置,如果抓取的是app的包,配置:Proxy–>SSL Proxying Settings–>SSL Proxying 添加一个配置 host和port都直接用*号代替,电脑版就配置完了)

2020-05-18 15:29:47

adb链接模拟器

不同的模拟器的端口不一样,所以链接不同的模拟器有不同的链接方式不指定端口 默认adb 链接的是5555端口夜神模拟器adb connect 127.0.0.1:62001逍遥模拟器adb connect 127.0.0.1:21503mumu模拟器(网易的)adb connect 127.0.0.1:7555window电脑一般都会带有adb的命令,直接去命令行页面使用adb 链接...

2020-04-27 15:14:28

一篇文章搞懂python图片裁切的问题

```pythonimport osimport shutilfrom PIL import Image# 获取path目录下的所有文件def get_imlist(path): return [os.path.join(path, f) for f in os.listdir(path)]def cut_img(path="demo"): paths = pat...

2020-03-13 10:31:16

python实现添加文字水印到图片中间

1.环境python32. 需要用到的模块或包 os(内置模块),PIL(第三方模块,自己安装一下)import osfrom PIL import Image, ImageFont, ImageDrawdef add_text_to_image(imgpath="../img"):# imgpath 需要加水印的图片位置 for parent, dirnames, f...

2019-12-03 20:13:02

手动实现url去重

根据请求的url、请求方法、请求参数、请求体进行唯一标识,进行比对,由于这四个数据加到一起,内容较长,因此使用求指纹的方式来进行去重判断。指纹计算方法,最常用的就是md5、sha1等hash加密算法,来求指纹,找个地方保存指纹即可def _to_bytes(string): """为了兼容py2和py3,利用_to_bytes方法,把所有的字符串转化为字节类型""" if si...

2019-10-12 10:32:59

python 日志文件配置

自己搭建的日志文件,日常使用可以满足了import datetimeimport logging.handlersimport osimport loggingfrom logging.handlers import RotatingFileHandlerfrom init import log_dir# 验证日志文件夹是否存在,不存在创建一个新的文件夹def make_dir...

2019-09-26 16:03:03

python实现令牌桶

import multiprocessingimport timeimport redisfrom cfg import PROXY_REDIS_CFGfrom common import redis_poolproxy_redis_cfg = PROXY_REDIS_CFG['dev']redis_pool.init_redis(proxy_redis_cfg)TEST = ...

2019-05-25 14:14:49

python scrapy 爬取包含iframe标签内的数据

如图所示: 所要提取的数据都在iframe标签里面的,直接用xpath提取iframe标签里的内容是提取不到的,看到图一有一个script 所有的数据都在这个js标签内的,展开script标签后会看到一堆js代码,一直往下找会发现一个bytes类型的数据,如图这个红色的源码就是你要的数据,但是他是一个bytes类型的,提取出来之后需要你转一下格式,这里推荐使用import urllib...

2019-05-25 11:50:01

解决requsts响应的response经过etree.HTML之后代码减少

使用方法 导入这个函数 def create_root_node():text传入response.test即可from lxml import etree, htmlclass SafeXMLParser(etree.XMLParser): def __init__(self, *args, **kwargs): kwargs.setdefault('reso...

2019-03-22 16:58:17

关于亚马逊各国站点的时间转化成时间戳

传入各国的站点名字和时间 除了日本站其他站点的评论时间和feedback时间格式一样,日本站不同,代码已经处理def conduct_mon(area, dateStr): year = "" day = "" month = "" if area == "mx": ...

2019-03-04 14:57:50

转成各个国家的标准时间

from datetime import datetimeimport timedef utc_time(site): tss1 = str(datetime.utcnow()).split(".")[0] timeArray = time.strptime(tss1, "%Y-%m-%d %H:%M:%S") timeStamp = int(time.mktime...

2019-01-16 14:08:41

升级linux系统下的python版本 python3.52到python3.6

对系统Linux(Ubuntu)中的python3.5.2进行升级其实升级python3.6.3只需要三个指令。1. $sudo add-apt-repository ppa:jonathonf/python-3.62.$ sudo apt update3.$ sudo apt install python3.6可以使用python3.6进行调用pycharm中添加pycharm3...

2018-10-11 09:43:07

给定一个字符串s,你可以从中删除一些字符,使得剩下的串是一个回文串。如何删除才能使得回文串最长呢? 输出需要删除的字符个数。

根据python3.0import sysdef maxlcp(strs): if strs == None or len(strs) == 0: return 0 lens = len(strs) dp = [0] * lens dp[0] = 1 if strs[0] == strs[lens - 1] else 0 for i i...

2018-10-07 13:20:46

pickle模块个base64模块的使用

pickle模块的使用pickle模块是python的标准模块,提供了对于python数据的序列化操作,可以将数据转换为bytes类型,其序列化速度比json模块要高。pickle.dumps() 将python数据序列化为bytes类型 pickle.loads() 将bytes类型数据反序列化为python的数据类型测试 >>> import pickle ...

2018-09-27 17:36:27

docker 操作的终端命令基本使用

开启一个容器sudo docker run -it --name=myubuntu ubuntu进入一个开启的容器 sudo docker exec -it myubuntu /bin/bash删除容器sudo docker container rm mypython删除镜像 sudo docker image rm python镜像仓库拉去镜像和查看镜像 sudo ...

2018-09-25 11:36:44

Docker 删除镜和在镜像仓库拉去镜像

第一步:1. 查询镜像python@ubuntu:~/Desktop$ sudo docker image lsREPOSITORY TAG IMAGE ID CREATED SIZEhello-world latest 4ab4c602aa5e ...

2018-09-23 23:18:50

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 分享学徒
    分享学徒
    成功上传1个资源即可获取