- 博客(283)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 one of the variables needed for gradient computation has been modified by an inplace operation: [tor
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [256, 3, 32, 32]] is at version 768; expected version 512 instead. Hint: enable anomaly detection to find the operation th
2023-12-04 15:20:43
170
原创 Unity导入google.protobuf失败，无法找到google命名空间
1.刚开始把protobuf的文件夹直接从其他项目里(unity2021)里复制到unity(2020)版本，当时报错protobuf.dll的依赖项system.memory版本不对。NuGet把其他项目中也安装了protobuf，可以在文件夹搜索一下，把重复的删除即可。2.第二个问题是，NuGet会把文件安装在package目录下，unity搜不到这个包。最好是先把符合该项目.NE版本的dll和xml文件都拿到，再从NuGet里把protobuf卸载。Tips：注意与项目的.NET对应。
2023-08-19 11:17:03
1073
原创 Tinywebserver 浏览器无法访问，阿里云服务器ping不通
使用ifconfig在linux服务器里找到的是私网ip地址。公网ip地址可以通过阿里云服务器里的实例，远程连接里找到，或者其他途径。使用了私网ip进行访问，应该使用公网ip。ping不通的原因也是因为ping私网ping不通。tinywebserver部署在阿里云服务器，使用ip:端口无法访问，一直显示超时。
2023-05-23 10:04:21
195
1
原创 【STL源码分析】List双向链表源码分析。c++实现list双向链表。
参考链接：https://blog.csdn.net/man_sion/article/details/71003095?
2023-05-11 13:22:39
464
原创 linux上active：exited，mysql找不到mysql.sock
第一个情况，很大可能性是因为mysql启动失败了，启动成功时会自动创建mysql.sock文件。比如出现exited的情况，只有出现running才是正常运行。确认这个路径与实际的配置文件路径相同，否则cnf文件无法起作用。因为是通过mysql.server文件进行启动的。首先，虽然我们配置了my.cnf文件，但调用该文件的路径不一定是对的。才能找到mysql运行中的进程。第二个情况是文件夹的权限问题。打开mysql安装路径下的。
2023-05-06 13:38:31
1383
原创 爱思维尔投稿系统编译latex失败。Loading ‘expl3.sty‘ aborted!
与tex文件相关的都上传为Manuscript手稿类型，图片上传为Figure类型（注意文中的引用地址）。可以补充一个rar压缩文件作参考。投稿系统的texlive不支持我们主机上新版的文件，会出错。使用2019以前的CLS文件，下载地址可以看参考文献的。出错直接是一段乱码，不会生成PDF。
2023-04-25 16:19:22
303
原创 Trying to backward through the graph a second time, but the saved intermediate results have already
如果按照错误提示直接修改loss.backward(retain=TRUE)容易导致存储过多的计算图。所以我找了下代码，发现p_s忘记detach了，加上就好了。错误含义：在第二次反向计算的时候，计算图已经被释放。
2023-04-17 16:48:18
148
原创 【c++_文件操作】查看txt文件是否为空/根据空格切割文件内容/修改文件内容
1、查看文件是否为空文件2、根据空格切割txt文件，存储到vector数组中先判断文件是否为空，不为空进行后续操作。使用全局函数getline逐行读取文件内容，存储到temp_data中，再逐行打印。3、修改文件内容方法一：由于文件流不能边读边写，因此使用了临时的txt文件存储修改后的内容. 使用该代码之后还需要覆盖原文件才能达到效果。方法二：
2022-12-05 16:56:40
1230
原创 c++:undefined reference to `execute::show_order(std::__cxx11::basic_string＜char, std::char_trait
在使用自创建的头文件里的函数时，没有加上作用域。所以程序找不到对应的声明。加上作用域
2022-12-05 09:28:34
274
原创 c++引入了头文件没报错但是undefined reference to `info_manager::info_manager()‘
把该文件里的file改成file下面那一行，意思是编译该目录下的所有cpp文件。vscode只编译了主函数的cpp文件，没有编译自己创建的cpp文件。
2022-12-02 16:20:17
434
原创 【c++】使用map存储自定义数据类型，并按自定义数据类型排序
由于c++中的map只按照key来排序，当key为自定义数据类型时，需要人为编写仿函数来指定排序规则。本次产生错误的原因：在编写仿函数Mycompare的时候，没有加上const，报错了。
2022-11-28 14:13:06
1022
原创 VScode报错：找不到任务“g++.exe build active file”
以上是修改后的，因为task文件是自动生成的，label处错误写法是：g++.exe的生成活动文件（中文），而launch文件找不到中文，就报错找不到了。把task文件中的改成英文就可以了。错误原因：使用中文版的vscode，并且复制了网上的launch文件。找不到任务“g++.exe build active file”。
2022-11-21 15:00:27
5363
原创 【个人学习】找bibtex参考文献的方法
学校数据库进例如IEEE、springer等出版商的网站里面搜文章，找cite。进百度学术里，找到arxiv的页面（红白的），右侧会有bibtex按钮导出。挂梯子去谷歌学术找，镜像网站不好用。
2022-10-11 10:22:56
919
原创 latex：使用英文模板中解决的问题，长公式换行，multirow使用导致的文字靠上等
解决方案：把\cline{2-5}修改为\cmidrule{2-5}使用&进行对齐，\进行换行，{aligned}进行左对齐。
2022-09-28 09:46:23
537
原创 SCI英文文献模板/查看SCI论文分区/tex模板的使用
elesvier的双栏论文的说明文档：https://support.stmdocs.in/wiki/index.php?参考链接：https://blog.csdn.net/larry233/article/details/102387370。2.使用overleaf进行在线编译tex文件，overleaf官网：https://www.overleaf.com/进去之后先注册，注册之后-创建新项目-上传自己的项目（官网下载的zip格式）先去官网，找到例如”guide for authors“，然后。
2022-09-26 10:03:02
1311
原创 pytorch读取数据集后显示图片+CIFAR100类别号对应的标签名称
【代码】pytorch读取数据集后显示图片+CIFAR100类别号对应的标签名称。
2022-09-21 21:01:55
1490
原创 运行pytorch 显存充足却显示OOM（out of memory）
因为我的代码对于CIFAR100和CUB200数据集用的是不同的resnet18，对于CIFAR100用的是专属的cifarresnet，修改了网络结构来适应CIFAR100数据集，所以在使用CUB200数据集的时候，–model 参数不能省略，因为代码里默认的超参数是cifarresnet，两者结构不一样。所以代码运行中，在前向传播的时候会报错，不过报错内容是Out of memory，此时可以从代码本身找找问题。显存容量剩下14000MB，但是我把代码的batchsize改成1也不能跑起来。
2022-09-17 11:13:17
1312
原创 【深度学习可视化】用t-sne可视化CIFAR100数据集的测试结果
【代码】【深度学习可视化】用t-sne可视化CIFAR100数据集的测试结果。
2022-09-14 22:21:16
1087
原创 RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)`解决方案
把batchsize从16改成了8，可能是内存不够了。但是batchsize改为32才报错out of memory，不知道为什么。
2022-08-23 10:33:48
563
原创 PIL.UnidentifiedImageError: cannot identify image file ＜_io.BufferedReader name=‘./MIT67/mit67/train
该图片有问题，直接删除即可。
2022-08-22 16:21:56
816
原创 MIT67数据集下载，Indoor Scene Recognition数据集及划分训练集测试集代码
MIT67室内场景数据集，共67个分类。原创的划分为训练集和测试集的代码。
2022-08-15 15:21:54
1302
原创 【论文笔记_对比学习_2021】Supervised Contrastive Learning
近年来，应用于自我监督表示学习的对比学习再次兴起，导致了深度图像模型的无监督训练中的艺术表现。现代批量对比方法包含或明显优于传统的对比损失，如三元组、最大余量和N对损失。在这项工作中，我们将自我监督的批量对比方法扩展到完全监督的设置，使我们能够有效地利用标签信息。属于同一类的点的聚类在嵌入空间中被拉在一起，同时推开来自不同类的样本的聚类。我们分析了监督对比(SupCon)损失的两种可能版本，确定了损失的最佳表现形式。交叉熵损失是深度分类模型的监督学习中最广泛使用的损失函数。我们的主要贡献总结如下。.....
2022-07-25 20:12:47
1541
原创 取matrix的值并与tensor值进行计算
我用[1,100]的matrix矩阵*[100,1]的矩阵得到了[1,1]的矩阵，然后要取得里面的值并且与一个tensor相加。
2022-07-24 21:32:49
545
原创 【论文笔记_对比学习_2021】CONTRASTIVE LEARNING WITH HARD NEGATIVE SAMPLES
如何才能为对比性学习提供好的负面例子？我们认为，就像度量学习一样，表征的对比性学习得益于硬性负面样本（即难以与锚点区分的点）。使用硬阴性样本的关键挑战是，对比性方法必须保持无监督状态，这使得采用现有的使用真实相似性信息的阴性采样策略变得不可行。作为回应，我们开发了一个新的无监督抽样方法系列，用于选择用户可以控制硬度的困难负样本。这种抽样的一个限制性案例导致了对每个类的紧密聚类，并将不同的类尽可能地推开的表现。所提出的方法改善了多种模式下的下游性能，只需要几行额外的代码来实现，并且没有引入计算开销。。....
2022-07-20 17:16:40
1987
原创 【论文笔记_对比学习_2020】A Simple Framework for Contrastive Learning of Visual Representations
本文介绍了SimCLR一个简单的视觉表征对比学习的框架。我们简化了最近提出的对比性自我监督学习算法，而不需要专门的架构或内存库。为了理解是什么使对比性预测任务能够学习有用的表征，我们系统地研究了我们框架的主要组成部分。我们表明（1）数据增强的组成在定义有效的预测任务中起着关键作用；（2）在表征和对比性损失之间引入可学习的非线性转换，大大改善了所学表征的质量；（3）与监督学习相比，对比性学习从更大的批次规模和更多的训练步骤中受益。在没有人类监督的情况下学习有效的视觉表征是一个长期存在的问题。......
2022-07-18 16:55:42
629
原创 【论文笔记_自蒸馏_2020】Regularizing Class-wise Predictions via Self-knowledge Distillation
具有数百万个参数的深度神经网络可能会因为过度拟合而导致泛化效果不佳。为了缓解这个问题，我们提出了一种新的正则化方法，对类似样本之间的预测分布进行惩罚。特别是，我们在训练期间提炼出同一标签的不同样本之间的预测分布。这导致了单个网络的暗知识（即关于错误预测的知识）的正则化（即自我知识的提炼），迫使它以类的方式产生更有意义和一致的预测。因此，它减轻了过度自信的预测，减少了类内变化。我们在各种图像分类任务上的实验结果表明，这种简单而强大的方法不仅可以显著提高现代卷积神经网络的泛化能力，而且可以提高其校准性能。…..
2022-07-14 22:42:07
1118
原创 【论文笔记_自蒸馏_2021】GROUND-TRUTH TARGETS DAMPEN REGULARIZATION IMPOSED BY SELF-DISTILLATION
即使是你的老师也需要指导：真实目标抑制了自我蒸馏所施加的正则化。知识蒸馏是一个经典的程序，其中一个神经网络与原始目标一起在另一个网络的输出上进行训练，以便在架构之间转移知识。在自我蒸馏的特殊情况下，网络架构是相同的，已经被观察到可以提高泛化的准确性。在本文中，我们考虑了在核回归设置中自我蒸馏的迭代变体，其中连续的步骤包含了模型输出和地面真实目标。这使得我们能够提供第一个关于在自我蒸馏过程中使用加权真实目标的重要性的理论结果。我们的重点是用适合蒸馏的加权均方误差目标函数来拟合非线性函数的训练数据，但要符合模
2022-07-12 22:29:54
793
原创 【论文笔记_优化_2021】SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLY IMPROVING GENERALIZATION
有效提高泛化能力的清晰度感知最小化在当今高度过度参数化的模型中，训练损失的值几乎不能保证模型的泛化能力。事实上，通常只优化训练损失值，很容易导致次优的模型质量。受先前工作的启发，我们引入了一种新颖、有效的方法来同时最小化损失值和损失锐度。特别地，我们的过程，清晰度感知最小化(SAM)，寻找位于具有一致低损失的邻域中的参数；这个公式导致最小最大优化问题，在这个问题上可以有效地执行梯度下降。我们提供的实证结果表明，SAM提高了各种基准数据集(例如，CIFAR-{10，100}、ImageNet、微调任务)和模
2022-06-29 10:33:47
3135
原创 【论文笔记_知识蒸馏_2021】UPANets: Learning from the Universal Pixel Attention Networks
PANets:向通用像素注意力网络学习图像分类中，skip和基于密集连接的网络占据了大多数排行榜。最近，从多头注意力在自然语言处理中的成功发展来看，可以肯定，现在是一个要么使用类似变压器的模型，要么使用具有注意力的混合细胞神经网络的时代。然而，前者需要巨大的资源来培养，而后者在这个方向上处于完美的平衡。在这项工作中，为了使细胞神经网络处理全局和局部信息，我们提出了UPANets，它用一种混合跳过密集连接结构来装备通道式注意力。此外，极端连接结构使UPANets具有更平滑的损耗前景。在实验中，UPANets
2022-06-23 11:23:14
1114
原创 【论文笔记_知识蒸馏_2022】Evaluation-oriented Knowledge Distillation for Deep Face Recognition
面向评价的深度人脸识别知识蒸馏知识提取(KD)是一种广泛使用的技术，它利用大型网络来提高紧凑模型的性能。以前的知识发现方法通常旨在引导学生在表示空间中完全模仿教师的行为。然而，这种一对一的对应约束可能导致从教师到学生的不灵活的知识转移，尤其是那些模型能力低的学生。受KD方法最终目标的启发，我们提出了一种新的面向评估的KD方法(EKD)用于深度人脸识别，以直接减少训练过程中教师和学生模型之间的性能差距。具体来说，我们采用人脸识别中常用的评价指标，即假阳性率(FPR)和真阳性率(TPR)作为性能指标。根据评估
2022-06-22 10:52:10
822
原创 【论文笔记_知识蒸馏_2022】Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation
通过对立知识蒸馏压缩深度图神经网络深度图神经网络(GNNs)已被证明对图结构数据的建模具有表达能力。然而，深度图模型的过度堆积的体系结构使得在移动或嵌入式系统上部署和快速测试变得困难。为了压缩过度堆积的广义神经网络，通过师生架构进行知识提炼是一种有效的技术，其中关键步骤是用预定义的距离函数来度量教师和学生网络之间的差异。然而，对各种结构的图使用相同的距离可能是不合适的，并且最佳距离公式很难确定。为了解决这些问题，我们提出了一个新的图模型的对抗性知识蒸馏框架GraphAKD，它对抗性地训练一个鉴别器和一个生
2022-06-17 10:43:01
629
原创 【论文笔记_注意力_2021】Augmenting Convolutional networks with attention-based aggregation
用基于注意力的聚集来扩充卷积网络我们展示了如何用基于注意力的全局映射来扩充任何卷积网络，以实现非局部推理。我们用一个基于注意力的聚合层代替最终的平均池，该聚合层类似于单个变压器块，它对补丁如何参与分类决策进行加权。我们用由两个参数(宽度和深度)参数化的简单的基于补丁的卷积网络来插入这个学习的聚集层。与金字塔式设计相比，这种架构系列在所有层上保持输入面片分辨率。正如我们在各种计算机视觉任务(对象分类、图像分割和检测)上的实验所示，它在准确性和复杂性之间产生了令人惊讶的竞争性权衡，特别是在内存消耗方面。视觉转
2022-06-16 10:59:28
1039
原创 【论文笔记_目标检测_2022】Cross Domain Object Detection by Target-Perceived Dual Branch Distillation
基于目标感知双分支提取的跨域目标检测在野外，跨领域目标检测是一项现实而具有挑战性的任务。由于数据分布的巨大变化和目标域中缺乏实例级注释，它的性能会下降。现有的方法主要关注这两个困难中的任何一个，即使它们在跨域对象检测中紧密耦合。为了解决这个问题，我们提出了一个新的目标感知双分支蒸馏框架。通过将源领域和目标领域的检测分支集成在一个统一的师生学习方案中，可以减少领域转移并有效地产生可靠的监督。特别地，我们首先在两个域之间引入一个不同的目标提议感知者。通过利用来自迭代交叉注意的目标提议上下文，它可以自适应地增强
2022-06-07 10:48:13
1342
1
原创 【论文笔记_剪枝_知识蒸馏_2022】INDISTILL: TRANSFERRING KNOWLEDGE FROM PRUNED INTERMEDIATE LAYERS
在资源有限的硬件上部署深度神经网络，如智能手机和无人机，由于其计算复杂性，构成了巨大的挑战。知识提取方法旨在将知识从大型模型转移到轻量级模型，也分别称为教师和学生，而从中间层提取知识为该任务提供了额外的监督。模型之间的容量差距、破坏其架构一致性的信息编码以及缺乏用于转移多层的适当学习方案限制了现有方法的性能。在本文中，我们提出了一种新的方法，称为InDistill，它可以通过利用通道剪枝的属性来显著提高现有单层知识提取方法的性能，以减少模型之间的容量差距并保持体系结构的一致性。此外，我们提出了一个基于课程学
2022-06-02 11:29:09
478
原创 【论文笔记_知识蒸馏_2022】Masked Generative Distillation
摘要知识提炼已经成功地应用于各种任务。当前的蒸馏算法通常通过模仿老师的输出来提高学生的表现。本文表明，教师也可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度出发，我们提出了掩蔽生成蒸馏(MGD)，它很简单:我们掩蔽学生特征的随机像素，通过一个简单的块，迫使它生成老师的全部特征。MGD是一种真正通用的基于特征的提取方法，可用于各种任务，包括图像分类、对象检测、语义分割和实例分割。我们用大量的数据集对不同的模型进行了实验，结果表明所有的学生都取得了很大的进步。值得注意的是，我们将ResNet-18.
2022-05-30 14:24:31
1487
原创 【论文笔记_知识蒸馏_2022】Spot-adaptive Knowledge Distillation
点自适应知识蒸馏摘要知识提取(KD)已经成为压缩深度神经网络的一个良好建立的范例。进行知识提炼的典型方式是在教师网络的监督下训练学生网络，以利用教师网络中一个或多个点(即，层)的知识。蒸馏点一旦指定，在整个蒸馏过程中，所有训练样本的蒸馏点都不会改变。在这项工作中，我们认为蒸馏点应该适应训练样本和蒸馏时期。因此，我们提出了一种新的提取策略，称为点自适应KD (SAKD ),在整个提取周期的每次训练迭代中，自适应地确定每个样本在教师网络中的提取点。由于SAKD实际上关注的是“从哪里蒸馏”，而不是大多数现有.
2022-05-30 09:48:57
542
Learning Channel-wise Interactions for Binary Convolutional Neural Networks.pdf
2021-04-07
web端电子报警地图.rar
2020-09-12
darknet和keras(包括yolo3权重).rar
2020-06-16
raccoon_dataset-master.rar
2020-06-03
protoc.rar
2020-06-01
xinan_demo.rar
2019-12-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人