- 博客(86)
- 收藏
- 关注
RSS订阅原创 1-深度学习要解决的问题
特征工程是机器学习数据准备过程中的核心任务，主要是通过变换数据集的特征空间，从而提高数据集的预测建模性能。（3）算法与参数选择决定了如何逼近这个上限。（1）数据的特征决定了模型的上限。深度学习也是机器学习的一部分。（2）预处理和特征提取是核心的。
2022-09-13 10:41:07
628
原创 IMRAM: Iterative Matching with Recurrent Attention Memory for Cross-Modal Image-Text Retrieval
IMRAM: Iterative Matching with Recurrent Attention Memory for Cross-Modal Image-Text Retrieval分享上周组会paper的内容。各位老师同学们大家下午好，今天分享的这篇文章是CVPR上跨模态检索领域的一篇文章，文章的题目是基于循环注意力记忆迭代匹配算法的跨模式图文检索，这篇文章的作者是清华大学博士研究生陈辉、清华大学软件学院特聘副教授丁贵广等人，可能在有些地方理解不到位欢迎大家及时批评指正。下面主要从背景
2022-05-10 14:50:07
610
2
原创 ValueError: too many values to unpack (expected 2)
python常见报错总结ValueError: too many values to unpack (expected 2)造成该错误的原因是model函数返回值只有一个，而在调用model函数时，却给了两个参数，所以引起了这个错误。
2022-04-28 09:36:39
506
原创 IndentationError: expected an indented block
python报错总结当报错为一下情况的时候IndentationError: expected an indented block说明有缩进的错误仔细检查代码确实存在缩进的问题修改缩进后
2022-04-27 20:15:37
1084
原创 python 路径拼接总结
如果最终访问路径为以下‘D:/Users/RY/PycharmProjects/pythonProject15/images&labels.csv’我们可以采用两种方式具体如下方法一采用with open(image_path+filename)import csvimport osimages, labels = [], []image_path='D:/Users/RY/PycharmProjects/pythonProject15/'filename='images&
2022-04-05 18:44:53
3813
原创 数据处理：用python批量改写csv文件内容
数据处理：用python批量改写csv文件内容最近项目遇到一系列批量操作的问题，由于数据量巨大，如果人工操作的话会耽误很多时间，所以写了一个脚本可以批量操作数据。具体问题描述有一个图片路径和标签的csv文件，由于路径的改变，原来路径为pokemon/center/center_1118.tif 我想让路径只变成单一的文件名比如center_1118.tif。具体实现import osimport csvimages, labels = [], []#初始化两个list数组分别存放csv文件
2022-04-05 16:09:02
3082
原创 python报错：ValueError: not enough values to unpack
报错：ValueError: not enough values to unpack分析具体原因：这个错误的信息是，期望有7个返回值，但其实函数只有4个返回值解决方法:检查函数和接收函数返回值的参数个数是否一致，改成一致即可...
2022-04-03 21:45:03
3307
原创 torch.load和model.load_state_dict区别
torch.load和model.load_state_dict区别加载预训练得到的权重是一个常见的问题，在最近遇到了两个加载权重的方法。分别是torch.load和model.load_state_dict。torch.load(‘best.pth’)是加载训练好的权重model.load_state_dict(‘best.pth’)是将训练好的权重加载到我们的模型中...
2022-03-23 21:22:37
3515
6
原创 RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}‘.format
RuntimeError(‘Error(s) in loading state_dict for {}:\n\t{}’.format将原来代码model.load_state_dict(torch.load(dir))改为model.load_state_dict(torch.load(dir), False)
2022-03-23 21:04:47
646
原创 模型加载预训练权重
将预训练好的模型加载到新的网络上。import torchfrom vit_pytorch import ViTmodel = ViT( image_size = 256, patch_size = 8, num_classes = 33, dim = 256, depth = 6, heads = 4, mlp_dim = 256, dropout = 0.1, emb_dropout = 0.1)#params=model
2022-03-23 20:58:57
1442
原创 使用vit预训练遥感数据得到分类模型
train.pyimport torchfrom torch import nnfrom torch.nn import functional as Ffrom torchvision import transformsfrom torch.utils.data import DataLoader,Datasetfrom torch import optimimport osimport csvfrom PIL import Imageimport warningswarnings.s
2022-03-19 13:41:15
3111
1
原创 RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the
报错：RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same解决方案：最近跑代码，在训练时出现标题所示问题。浏览了很多方法后，总结出现这个问题的主要原因是输入的数据类型与网络参数的类型不符。解决方案 加一行model.cuda()model=newmodel.Model()model.cuda()...
2022-03-19 11:59:30
2550
原创 npy文件过大 如何处理
思路：在我们训练模型的时候如果训练数据集过于大，系统可能会报“out of memory”的错误，这时候需要我们减小数据集，也就是将npy文件变小。主要方法就是把npy文件转化成numpy数组并截取。举例如下：import numpy as nppre_train=np.load("train_ims.npy",allow_pickle=True,encoding="latin1")slice=pre_train[:2900]print(slice.shape)np.save('newtrai
2022-03-06 10:24:15
6812
原创 python批量将文件移动到另一个文件夹
import osimport shutil# 想要移动文件所在的根目录rootdir = "images"# 获取目录下文件名清单list = os.listdir(rootdir)# 移动图片到指定文件夹for i in range(0, len(list)): # 遍历目录下的所有文件夹 path = os.path.join(rootdir, list[i]) list_split1=list[i].split('.') list_split2=lis
2021-12-03 14:47:09
3106
原创 python批量改后缀文件名
遇到问题在处理数据的时候想把.tif全部转化成.jpg后缀。import osfiles = os.listdir("images")#获取当前目录下的文件for filename in files: portion = os.path.splitext(filename)#将文件名拆成名字和后缀 if portion[1] == ".tif":#关于后缀 newname = portion[0] + ".jpg" os.rename(filenam
2021-12-03 14:27:50
573
原创 划分数据集常用代码
主要思路将一个数据集文件前80%用于训练，80%-90%用于测试，90%-100%用于验证。#!/usr/bin/env python # -*- coding:utf-8 -*-# 将一个文件夹下图片按比例分在三个文件夹下import osimport randomimport shutilfrom shutil import copy2datadir_normal = "./RSICD_images/"all_data = os.listdir(datadir_normal)#（图片
2021-12-01 19:11:49
4057
原创 分类问题中loss 和accuracy区别
accuracy在分类问题最常看的指标就是accuracy，它的计算公式一般是由预测正确的样本数/总样本数。但是accuracy本身是个不可导的方程。在分类任务中，对于一个N类任务，输出就是一个N维的向量，向量每一个位置就代表了一种类别，对应位置的值就代表预测的目标属于该类的概率，对于猫狗的分类，输出向量为[0.2, 0.8],就表示输入的图属于猫的概率为0.2，属于狗的为0.8。在输出预测结果时，我们是取概率最大的索引所对应的的标签作为最终预测的结果标签，在以上的例子中由于狗的概率大于猫，预测输出：
2021-11-25 16:36:22
3075
原创 IndexError: Target 34 is out of bounds.
IndexError: Target 34 is out of bounds.问题出现在训练用的标签处，标签5超过范围，之前的标签数为5，但是换了数据集后标签数为45发生改变，总而言之是目标分类数量超过了你所设置的标签数量的范围，归根结底是全连接参数没有改过来。...
2021-11-25 15:36:10
2188
4
原创 AssertionError: Torch not compiled with CUDA enabled
AssertionError: Torch not compiled with CUDA enabled原来代码中device = torch.device('cuda')此错误是由于下载的torch没有cuda,在运行时就会出错，经过查阅，应该改为device = torch.device("cuda" if torch.cuda.is_available() else "cpu")...
2021-11-25 15:03:27
838
原创 resnet18实现猫狗图片的分类
简介使用猫狗分类数据集中的训练集，共25000张图片。将原始训练集进行拆分，其中20000张用于训练，其余5000张用于测试。分类网络使用ResNet-18，使用了交叉熵损失函数和SGD优化方法。环境配置建立Conda虚拟环境，python3.7，几个重要的库：（1）pytorch 1.7.0（2）torchvision 0.8.0（3）opencv-python 4.5.2.52（4）tqdm 4.61.0目录结构运行方法必须下载数据集。数据集下载完成后，存放在[工程主目录]/dat
2021-11-22 19:27:33
3899
原创 用inception_v3提取图片的特征向量
import os.pathimport torchimport torch.nn as nnfrom torchvision import models, transformsfrom torch.autograd import Variableimport numpy as npfrom PIL import Imagefeatures_dir = './features' # 存放特征的文件夹路径data_list = []path='./FullFrame1'for file
2021-11-17 19:39:32
834
3
原创 用resnet50提取图片的特征向量
依次读取文件夹中所有的图片，最后将图片保存为npy文件。import os.pathimport torchimport torch.nn as nnfrom torchvision import models, transformsfrom torch.autograd import Variableimport numpy as npfrom PIL import Imagefeatures_dir = './features' # 存放特征的文件夹路径data_list = []
2021-11-17 19:26:44
7403
4
原创 torch模块的安装后 在pycharm中导入
torch模块的安装后 如何在在pycharm中导入的解决办法由于torch是在Anaconda Prompt环境下安装的，那么就把pycharm里面的interpreter改成anaconda。
2021-08-26 15:23:46
1902
原创 吴恩达机器学习6-4代价函数学习收获
如何拟合logistic模型参数θ，用来拟合的参数优化目标或者叫代价函数。假设训练集有m个训练样本，每个训练样本中用n+1维的特征向量表示，x0=1，具体实例如下图所示。如果依然使用线性回归中的均方误差来作为代价函数，由于1 / ( 1 + e − x )结构复杂，那么会导致Logistic回归的代价函数是非凸函数。如下图中的左侧所示，非凸函数有多个局部最优解，梯度下降法不能很好地工作。因此，需要为Logistic回归单独设计其他的代价函数，想到引入log函数，单个样本的代价计算如下。根据数学知
2021-08-03 09:05:12
339
原创 吴恩达机器学习6-3决策界限学习收获
利用logistic函数的假设函数得到的值如果大于或等于0.5，我们就预测y=1。当我们得到的值小于0.5我们就预测y=0。观察sigmoid函数发现，只要z大于等于0，g（z）的值就大于等于0.5。z小于0时，g（z）的值就小于0.5。举例来说，当g（z）的值大于等于1时候，z的值大于等于0，即θT*x>=0,假设θTx=θ0+θ1x1+θ2x2,当y=1时应该让θ0+θ1x1+θ2*x2>=0带入θ的实际值得到-3+x1+x2>=0，利用线性规划的知识x1+x2>=3表示直线
2021-08-03 09:03:42
317
原创 吴恩达机器学习6-1 6-2分类学习收获
常见的分类问题有垃圾邮件的识别、交易是否为欺诈、肿瘤的类别等等，分类问题一般只包含0，1这两类，但是也会有0，1，2，3这种属于多分类问题。以下例子是对肿瘤进行恶性和良性分类得到的数据，恶性与良性有两个值。所以我们可以做的是对于这个给定的训练集，把我们学过的线性回归算法应用到这个数据集用直线对数据进行拟合。我们可以将分类器输出的阈值设为0.5即纵坐标的值为0.5，如果假设输出大于等于0.5 那么可以得到y=1，如果小于0.5可以得到y=0。通常将线性回归应用于分类问题并不是个好主意，通常对数据集进行线性
2021-08-03 09:02:46
318
原创 吴恩达机器学习4-7 正规方程矩阵不可逆情况下解决办法学习收获
矩阵不可逆的情况下我们称为奇异或退化矩阵，在octave里有两个函数可以求解矩阵的逆pinv和inv，即使矩阵不可逆我们利用pinv能算出θ。矩阵不可逆常见的原因有两种，第一由于某种原因学习问题包括了多余的特征，举例来说x_1表示以平方英尺为单位的变量，x_2表示以平方米为单位的变量，由于平方英尺和平方米有着转换关系，所以两个类似的变量出现了多余，第二是因为运行的学习算法有很多特征，假设有m=4个样本，n=100个特征值此时会出现101维的向量，要配置101个参数4个样本还是有些少。如果出现了不可逆那就从这
2021-07-28 16:37:21
1286
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人