- 博客(150)
- 收藏
- 关注
RSS订阅原创 关于python的路径问题
import osimport sysprint('#' *10)print(os.path.abspath(os.path.dirname('__file__')))print('#' *10)print(os.path.abspath('__file__'))print('#' *10)print(os.path.dirname(os.path.abspath(sys.argv[0])))print('#' *10)print(sys.argv[0])print('#' *10)
2022-03-16 21:53:01
831
原创 关于第一统计矩
https://gregorygundersen.com/blog/2020/04/11/moments/四个第一统计矩为：1.均值2.方差3.偏度E[(σxX−μx)^3^]4.峰度 E[(σX−μ)^4^]
2021-07-03 20:51:30
276
2
原创 pytorch中的嵌套函数
from torch._six import container_abcsfrom itertools import repeatfrom typing import Listdef _ntuple(n): def parse(x): if isinstance(x, container_abcs.Iterable): return x return tuple(repeat(x, n)) return parse_s.
2021-06-04 15:52:50
1320
2
原创 scrapy:同时运行多个爬虫
有的时候需要在scrapy工程里面运行多个爬虫，试用了网上两种方法。运行环境：scrapy:2.3.0 + python3.8第一种：# coding:utf-8from scrapy import cmdlinecmdline.execute("scrapy crawl spider1".split())cmdline.execute("scrapy crawl spider2".split())无效，只能运行第一个。第二种：https://www.cnblogs.com
2020-11-08 15:15:44
1296
原创 scrapy+splash:设置超时失败，仍然504
我使用scrapy-splash来爬行网页，并在docker上运行splash服务。命令是：docker run -p 8050:8050 scrapinghub/splash --max-timeout 3600但是设置并没有生效。解决方法是：yield scrapy_splash.SplashRequest( url, self.parse, endpoint='execute', args={'lua_source': script, 'timeout': 36
2020-10-22 21:03:40
703
原创 爬虫：scrapy+splash 记录一次靠运气解决的问题
Lua脚本：URL：https://sustainabledevelopment.un.org/globalsdreport/2019#mediafunction main(splash, args) splash.resource_timeout = 90 splash.images_enabled = false assert(splash:go(args.url)) return {html=splash:html(), png=splash:png(),
2020-10-09 21:52:57
927
1
原创 Ubuntu20.04安装Docker以及＜无法安全地用该源进行更新，所以默认禁用该源＞问题处理
Docker官方提供了三种方法安装第一次安装使用脚本的方法安装，出现了<无法安全地用该源进行更新，所以默认禁用该源>的问题，无法成功安装，当时使用的ubuntu镜像源是阿里云，安装信息显示阿里云没有Docker的发行包，不知道是什么原因。于是根据网上很多消息更换镜像源，更坑的是更换新源，<软件和更新>在更新源列表的时候直接就崩溃了。最后，博主在/etc/apt/sources.list.d下找到了两个docker相关的文件，将它们删除，再更换镜像源才把问题解决。推
2020-10-03 14:46:59
2402
原创 在scrapy与selemium对接结束后，关闭浏览器的方法
参考https://blog.csdn.net/Hepburn_li/article/details/91039747博客。一般在DownloaderMiddleware中建立browser对象。例如：class NewscrawlerDownloaderMiddleware: # Not all methods need to be defined. If a method is not defined, # scrapy acts as if the downloader mi
2020-08-04 13:09:39
629
2
转载 Annaconda更换国内源
https://www.cnblogs.com/yikemogutou/p/11396045.html较全方法集锦
2020-07-25 16:08:44
5243
原创 MySQL: win10安装MySQL 8.0.21成功记录
主机配置：拯救者R7000，win10，4600HMySQL下载MySQL直接去官网下载就行，选择community版本（免费）下载，链接：https://dev.mysql.com/downloads/mysql/选择community server-ZIP Archive安装包，第二个是调试文件。安装与配置将下载好的压缩包解压缩到全英文目录下，比如我在D盘新建了MySQL文件夹，解压到该文件夹下，D:/MySQL然后把mysql 8.0.21所在的路径D:\MySQL\mys
2020-07-25 13:25:46
1071
原创 python: classmethod修饰符的使用以及在scrapy中的使用例子
import pymongoclass MongoPipeline(object): def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_db = mongo_db @classmethod def from_crawler(cls, crawler): return cls(mongo_uri=crawle.
2020-07-23 14:53:15
287
转载 Selenium开启无界面模拟浏览器，节省程序运行时间
今天展示一下python操作无界面的chrome浏览器。主要利用selenium 和对应自己电脑上Chrome浏览器版本的webdriver。chrome版本的webdriver下载地址：http://chromedriver.storage.googleapis.com/index.html。windows版本的只有32位的chromedriver.你无需担心你用的是64位的浏览器。我写这写代码测试的正是64位的chrome浏览器。下载解压好的chromediver.exe文件放进python安装路径下的
2020-07-16 17:43:02
749
转载 PYQT: 主窗口调用另一个主程序的方法
本例给出了三种窗口打开方式。其中主界面打开主界面的方式，比较实用，却少有示例。特发布于此，希望对大家有帮助。一.主界面打开 新的主界面二.主界面打开 对话框三.主界面打开 提示框【如下代码，完全复制，直接运行，即可使用】import sysfrom PyQt5.QtWidgets import *from PyQt5.QtCore import *from PyQt5.Q...
2019-12-21 20:40:41
4469
9
原创 pyqt: 关于近期遇到的多线程问题+多线程方案
问题描述：写了一个小应用，有两个控件一个播放摄像头视频，一个固定时间间隔显示的算法检测过的图片(图片实时从摄像头读取)。最开始做的方案是：一个线程负责采集摄像头的图像数据流， 一个线程负责把数据流的图片显示到控件上， 在主线程进...
2019-12-21 20:31:18
737
原创 python: 通过serial与stm32通信的编码问题
参考链接：decode错误处理方案可选用的编码使用环境：ubuntu18.04python3.65问题点：使用pyserial与stm32通信，使用如下形式的编码进行write (input_s + '\r\n').encode('utf-8')但是在接受stm的信息的时候使用'utf-8'解码会出现乱码问题在查了可用编码后，发现可能是中文无法解码的问题，...
2019-12-18 10:02:37
1188
1
转载 使用labelImg标注得到的VOC格式数据集转换成COCO格式数据集
本文代码参考https://blog.csdn.net/u010397980/article/details/90341223只做个笔记使用参考代码如下#coding:utf-8 # pip install lxml import osimport globimport jsonimport shutilimport numpy as npimport xml.et...
2019-11-19 17:18:56
5704
9
原创 Pytorch:RuntimeError: DataLoader worker (pid 9119)
问题：在测试阶段出现如题问题RuntimeError: DataLoader worker (pid 9119) is killed by signal: Killed.问题来源：经过测试和网上搜索，基本确定了问题是内存不足造成的，我设置的num_workers=8在训练阶段没有出现问题，可以确定使用八个线程对于我的内存是足够的，那么就查找到了test阶段，在这里我发现，te...
2019-10-15 20:10:34
2309
原创 ubuntu18.04遭遇依赖包破损一系列连锁反应
问题：依赖包关系破损+安装包配置不稳定由于apt-get依赖的问题，电脑各种依赖包出现连锁的关系破损，同时出现了python-gi，python-crytography, python-pip处理错误的情况，具体表现为新立得无法进行安装包管理以及系统关键更新无法正常更新，建议重新安装这三个处于不稳定状态的包，然而无论是卸载还是更新这三个包都没有办法正常进行，陷入了死循环。在网上找了很多帖子...
2019-10-12 00:05:49
759
原创 Python: 记录一个关于图片直接转化为pytorch.tensor和numpy.array的不同之处的问题
img = Image.open(img_path).convert("RGB")img2 = torchvision.transforms.functional.to_tensor(img)print(img2)img1 = np.array(img)print(img1)输出是这样的：不仅shape不一样，而且值也是不一样的。解释如下：tensor = t...
2019-08-12 00:28:14
2584
原创 文本分类中使用TfidfVectorizer（）
在文本分类中，经常使用到TfidfVectorizer()函数，这个函数把词转换为向量，TF是词频，idf是逆文本频率，idf表现一个词在所有文本中出现的频率，它出现的越多说明越不重要，idf即是一个词的重要程度体现，越高越重要。在使用这个函数的时候，需要注意的是，它所输出的结果是一个scipy.sparse.csr.csr_matrix，我们在将结果输入到模型中的时候，需要注意模型是否支持这...
2019-05-30 09:42:33
6485
转载 机器学习：概率校准
sklearn.calibration.CalibratedClassifierCV概率校准是对分类的一个补充，优化算法或者验证算法的最优性。这个博客上解释的非常好
2019-05-30 09:00:22
1277
原创 Pytorch: RuntimeError: expected Double tensor (got Float tensor)
normalize = tvtsf.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])img = normalize(t.from_numpy(img))在这段代码运行后，会出现RuntimeError: expected Double tensor (go...
2019-05-25 09:00:59
7375
转载 python四个魔法方法__len__,__getitem__,__setitem__,__delitem__
转自：https://blog.csdn.net/yuan_j_y/article/details/9317817python中除了可以使用内建的类型，如list,tuple,dict，还可以创建自己的对象来实现像这些内建类型的访问，不过需要在定义类的时候对一些魔法方法逐一实现。如下：class DictDemo: def __init__(self,key,value)...
2019-05-17 22:00:57
413
原创 Matplotlib:生成图片但不显示图片
Generate images without having a window appear使用matplotlib.use()函数设置制图后端。import matplotlibmatplotlib.use('Agg')import matplotlib.pyplot as pltplt.plot([1,2,3])plt.savefig('myfig')上面代码不显示图...
2019-05-10 10:28:44
5014
原创 Python: 关于类初始化使用的一点细节
先上代码>>> class nn: def __init__(self,ss,kk): self.ss=ss self.kk=kk>>> class kn(nn): def __init__(self,qq=1,ww=2): ss = qq * 15 kk = ww *10 super(kn, self).__init__(ss...
2019-05-05 20:54:08
470
原创 Pytorch: tensor.expand_as()
把一个tensor变成和函数括号内一样形状的tensor，用法与expand（）类似>>> x = torch.tensor([[1], [2], [3]])>>> x.size()torch.Size([3, 1])>>> x.expand(3, 4)tensor([[ 1, 1, 1, 1], [ 2, ...
2019-05-02 21:20:09
20051
原创 Pytorch: self()的疑问
在新构建一个网络的过程中，我们通常继承torch.nn.Module，定义了__init__和forward函数之后，我们有的时候会用到self()，我在https://github.com/chenyuntc/simple-faster-rcnn-pytorch/blob/master/model/faster_rcnn.py#L233中看到了这个用法，从输入参数和输出判断出，self(...
2019-05-02 16:06:36
3855
2
原创 Pytorch: 设置局部梯度
torch.no_grad(),torch.enable_grad(),torch.set_grad_enabled()这三个函数对于设置局部梯度和赋能梯度计算。上代码：>>> x = torch.zeros(1, requires_grad=True)>>> with torch.no_grad():... y = x * 2...
2019-05-01 10:43:19
4299
转载 Pytorch: permute()函数，contiguous()，view（）
permute函数将tensor的维度换位contiguous()一般在permute()等改变形状和计算返回的tensor后面，因为改变形状后，有的tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这个函数，把tensor变成在内存中连续分布的形式。https://blog.csdn.net...
2019-04-30 16:45:41
5353
原创 Numpy : np.prod
返回给定维度上各个元素的乘积numpy.prod(a,axis=None,dtype=None,out=None,keepdims=<no value>,initial=<no value>)axis是指求积的维度keepdims是指保持维度，不缩减initial是起始数，即返回的矩阵会在元素乘积上再乘起始数>>> np.p...
2019-04-23 08:29:47
3933
原创 Numpy : 关于np.finfo函数
用法在这个网页中讲的比较好，有例子先上代码：#这是一个faster-rcnn中bbox_tools中的代码 eps = xp.finfo(height.dtype).eps height = xp.maximum(height, eps) width = xp.maximum(width, eps) dy = (base_ctr_y - ctr_y) /...
2019-04-23 00:14:23
14668
3
原创 Numpy : 使用np.newaxis增加一维，用于计算【很方便】
>>> newaxis is NoneTrue>>> x = np.arange(3)>>> xarray([0, 1, 2])>>> x[:, newaxis]array([[0],[1],[2]])将一个矩阵增加一维，在矩阵乘法中把两个一位矩阵相乘此外在切片中numpy.newaxis效果和Non...
2019-04-22 21:34:47
934
转载 Numpy : std()
极差 ： 最大值 - 最小值 总体方差 :分母为N 样本方差 : 分母为N-1 极差 内置方法都可以：max(data)-min(data) 总体方差 np.var()、nanvar() 样本方差 np.var(ddof=1) 总体标准差 np.std() 样本标准差 np.std(ddof=1) 标准差系数 np....
2019-04-21 21:47:05
2945
原创 Pytorch: 在预训练模型中输入的数据预处理
我们经常看到：transform = transforms.Compose([ transforms.RandomResizedCrop(100), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.4...
2019-04-21 21:30:26
2490
原创 Tensorflow: tf.add_to_collection
在default graph上封装了Graph.add_to_collection()先定义一下什么叫collection：一个Graph实例支持由名称标识的“集合”任意数量。为了方便构建大型图形，集合可以存储相关对象组：例如，对构建图形期间创建的所有变量tf.Variable使用集合（命名tf.GraphKeys.GLOBAL_VARIABLES）。调用者可以通过指定新名称来定义其他集...
2019-04-17 16:32:27
909
原创 Tensorflow: tensorflow中axis参数的说明
t = tf.constant([[1,2,3],[4,5,6]])>>> k = tf.reduce_mean(t, axis=0) >>> with tf.Session() as sess: print(k.eval())[2 3 4]可以看出axis=0时，是行方向的缩减而在tf.clip_by_norm...
2019-04-17 15:02:01
425
原创 Numpy: *号在python中的作用
将*元组解压缩为多个输入参数。可以作为维度输入的形状np.random.rand用于解压缩，在zip函数中也会用到np.random.rand(*(2,3)) # The same as np.random.rand(2,3)...
2019-04-17 10:31:00
781
原创 Tensorflow : var.name 和 var.op.name的区别
先上代码：>>> with tf.Graph().as_default() as g: c = tf.constant(5.0, name='c') print(c.name) print(c.op.name) with g.name_scope("nested") as scope: nested_c = tf.constant(10.0, name="c")...
2019-04-16 21:08:07
2277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人