- 博客(26)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 latex打表格竖线断开的解决方法
打latex表格的时候，可能竖线可能会出现断线的情况，解决办法是：把 toprule midrule bottomrule 换成hline，就可以了这是因为表格的风格导致的，三线表加竖线就会断开。参考链接：http://www.javashuo.com/article/p-oeftkzxw-kt.html...
2022-05-30 21:16:59
8561
原创 latex中估计、波浪线上标、大于、小于、大于等于、小于等于
最近在使用typora，里面的一些符号不是很好打，下面是搜到的解决方法后面会持续更新~~
2021-06-17 11:41:32
23645
2
原创 python将cifar10数据集转成图片格式的训练集和测试集
电脑环境：Python3.7需要注意路径，filename的那个地方~下面是训练集转化代码：import osfrom imageio import imsavedef unpickle(file): import pickle with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dictfilename = './data/cifar-10-ba
2021-06-09 17:46:59
607
5
原创 服务器多卡训练pytorch程序
参考链接：https://muzhan.blog.csdn.net/article/details/109318226亲测有效~
2021-05-29 20:24:03
475
原创 服务器安装pytorch-gpu版本踩过的坑
1、安装显卡驱动那些， 很多其他的博文里面都有这一部分，我感觉大部分人遇到的情况应该是基本都安装好了，注意的是CUDA 和CUDNN的版本一定要对应，不然后面运行代码的时候，会出现各种各样的错误，比较常见的是那个 CUDNN ERROR~~2、安装anaconda 基本大家都是从这一步开始的，我推荐的方法是现在windows上下载好，再传到Linux服务器上，免得因为 网络的问题一直下载不了，anaconda的具体安装方法也有很多的博文来解释，基本就是一路回车就行了。3、换源
2021-05-19 16:23:41
608
原创 论文阅读——SimCLRv2：Big Self-Supervised Models are Strong Semi-Supervised Learners
术语解释：Unsupervised pre-training：该方法包括使用无监督学习方法（比如自动编码器）或本文中使用的对比学习方法，使用未标记数据逐个对层进行预训练（贪心方法）。在这个预训练之后，使用标记的数据进行微调。这样的好处是什么？使用这种预先训练得到的权重训练一个模型比随机初始化权值产生更好的结果，因为模型在通常的预训练中预先学习数据的表示Contrastive learning: 它是基于相似图像相似性和不同图像之间的差异性，利用余弦相似函数的对比损失来学习表示总结：利用大
2021-02-06 23:52:41
1246
原创 论文阅读——Unsupervised Data Augmentation for Consistency Training
之前存在的问题：应用高斯噪声和dropout噪声（无法保证一致性）解决方式：在图像分类问题中使用了randAugment和TSA训练方式主要说一下在无监督数据上的数据增强：数据增强一直在监督学习中起着锦上添花的作用，因为到目前为止数据增强通常是用在数据集相对比较小的标记数据集上，以达到扩充数据集的多样性的作用，但是数据增强起到的作用依然是受限的。基于此，在一致性训练（即原始输入图片和添加噪声色图片，对模型的输出没有影响，输出是一致的）框架下，把这些监督学习中优秀的数据增强方法扩展到半监督学习任务当中。
2021-02-06 23:49:47
354
原创 论文阅读——mixup
主要解决的问题是让模型更加鲁棒性的区分很相似的类别；举例来说就是，比如我们一个batch一个batch去训练的时候, 猫对应的label就是猫, 狗就是狗, 完全只靠看猫和狗来区分他们. 那么在实际情况中, 如果出现一个样本, 它长得既像猫又像狗, 但实际上这是一条狗, 网络可能就不知所措了。Mixup采用的是配对的方式进行训练，通过混合两个甚至是多个样本的分布，同时加上对应的标签来训练。在混合两个标签之后得到的不就是两个类别的中间类别了？Label采用的是one-hot编码，可以理解为对k个种类的每
2021-02-06 23:46:20
426
原创 论文阅读——S4L：Self-Supervised Semi-Supervised Learning
论文链接：https://openaccess.thecvf.com/content_ICCV_2019/papers/Zhai_S4L_Self-Supervised_Semi-Supervised_Learning_ICCV_2019_paper.pdf从论文的模型图来看，将整个数据集分为了有标记数据和无标记数据。对于标记数据来说，模型会同时预测旋转角度和标签，对于无标签数据来说，只会预测其旋转角度，预测旋转角度”可以替换成任何其它无监督task，例如文章中提到的exemplar self-super
2021-01-28 21:58:09
1386
3
原创 对比学习、自监督学习的理解
自监督学习定义：自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息来提高学习表征的质量，通过这种构造监督信息对网络进行训练，从而可以学习到对下游任务具有价值的表征。辅助任务（pretext）：可以认为是一种为达到特定训练任务而设计的间接任务。pretext任务的好处是为了简化原任务的求解，在深度学习中就是避免人工标记样本，实现无监督的语义提取。Pretext任务可以进一步理解为：对目标任务有帮助的辅助任务。主要pretext task包括：图像旋转、图像着色、图像修复。下游任务：图
2021-01-25 00:01:47
4101
7
原创 论文阅读——MoCo：Momentum Contrast for Unsupervised Visual Representation Learning
不放翻译了，大家喜欢的可以搜索题目去谷歌学术下载~样本数量对于对比学习很重要，提出一种动量对比的方法来提高每个mini-batch中负样本的数量。左边的 是查询的样本，右侧的 是一个字典，存储的是一组数据样本，分别通过不同的编码器网络提取特征，通过最小化特征之间的对比损失函数进行编码网络的更新。x_q代表某一图片p_q的图像增强操作（包括旋转、平移、裁剪等）后的一个矩阵;x_k代表多张图片p_k（p_k中包含p_q）的图像增强操作之后的多个矩阵;Encoder、momentum encoder代
2021-01-25 00:00:22
940
原创 论文阅读——SimCLR：A Simple Framework for Contrastive Learning of Visual Representations
SimCLR论文总结：构建负样例的方式在对比学习中很重要。主要探究了图像变换、batchsize对于学习到的表示的影响。构造负样本的方法是通过两次数据增强，产生2N-2个负样本具体流程：假设每个batch中有两张图片（dog和chair），以dog为例对一张dog进行随机增强，产生两张图像这两张增强之后的图像送到网络f中，在这里产生一个特征向量hh经过MLP（一个全连接网络）也就是投影操作g，产生zz用于计算对比loss想要的表示是h，最终的特征提取器是f注意的是：在最终使用的时
2021-01-24 23:56:51
1401
原创 论文阅读：Decoupling Representation and Classifier for Long-Tailed Recognition
论文概述：将分类网络分解为representation learning 和 classification 两部分，然后探究了一下这两个部分对于long-tailed问题的影响。根据实验结果可以发现：数据不平衡问题不会影响高质量的representation的学习，因为Instance-balanced sampling（random sampling）策略往往会学到泛化性更好的representations使用简单的Instance-balanced sampling来学习representati
2021-01-16 23:33:29
1144
原创 论文阅读——Mean teachers: Weight-averaged consistency targets improve semi-supervised
主要思想：在输入或者网络参数存在微小扰动的情况下，鼓励教师和学生网络预测结果的一致性，具体来说：1、 通常给同一个无标签的样本构建两种不同的数据增强，需要通过约束使得学生和教师模型尽量产生相似的预测结果2、 学生网络首先使用有标签样本进行梯度下降训练，而在无监督训练的过程中使用的是每次迭代时学生网络权重和教师网络权重的加权和来更新教师网络权重3、 总的训练损失一般是由对有标签样本进行监督训练的交叉熵和无标签样本进行无监督训练的教师和学生预测结果的MSE损失共同组成相关理论概述：之前的tempora
2021-01-16 23:27:52
1444
原创 论文阅读：FixMatch：simplifying-semi-supervised-learning-with-consistency-and-confidence
重点总结：主要结合了伪标签和一致正则化（两种数据增强的方式实现）方法利用更少的带标签数据，实现了更高的准确度。下面具体说一下关于FixMatch具体实施细节：先来介绍一下本篇论文中数据增强。数据增强的主要思路：在未标记的图像上进行弱增强从而生成伪标签，同时也在未标记的图像上进行强增强进行预测。具体使用到的方法的解释如下：1.弱增强：包括对图像的翻转和平移两种策略。2.强增强：主要应用RandAugment或CTAugment，然后应用CutOut增强CutOut方法：这种增强的方式
2020-12-20 21:21:58
1409
7
原创 论文阅读：Pseudo Label The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks
论文简介：这是在半监督学习领域中比较靠前的一篇方法论文，发表在了2013年的ICML。在总结这篇论文之前，我先整理了一下关于熵和熵正则化（Entropy Regularization）的内容，因为这是基础的概念，自己之前也没了解，只是看了看名字。主要的核心思想：将预测概率最大的标记作为无标记数据的伪标签，然后给未标记数据设一个权重，在训练过程中慢慢增加未标记数据的权重来进行训练。在手写体数据集上有了较好的性能。优点：方法简单，直接；缺点：缺乏数学理论推导，就是从伪标签到体现熵正则化的这个过程，没有数学
2020-12-20 21:15:35
2508
3
原创 论文阅读：Temporal Ensembling for Semi-supervised Learning
论文阅读：Temporal Ensembling for Semi-supervised Learning论文的翻译就不放了，这里给出这篇论文的链接，大家感兴趣的可以去看原文。https://arxiv.org/abs/1610.02242论文简介：这是半监督领域比较早的一篇论文，主要提出来了两个模型，一个是π model，一个是Temporal Ensembling。体现的原则：一致性原则，就是模型对未标记数据的输出应该具有一致性的正则。是对伪标签那篇论文的拓展，与之前伪标签论文的区别是伪标签中第二
2020-12-20 20:57:30
1684
原创 关于attention机制的知识整理
主要的内容分为以下几个部分：1、 注意力机制的定义与原理2、 注意力中常见的对齐方式3、 基本的注意力体制结构4、 脱离Encoder-Decoder结构的attention（其中借鉴了多篇CSDN以及简书的文章，但是匆忙没有记录文章链接，希望原作者谅解）具体来说：学习到的attention的相关内容包括：1.注意力机制的定义与原理视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注
2020-11-17 13:57:03
1537
原创 bfs广度优先搜索（邻接矩阵+邻接表）
广度优先搜索算法：邻接矩阵：#include <iostream>#include <bits/stdc++.h>#define maxn 10000using namespace std;const int inf=99999;int e[maxn][maxn];bool visit[maxn];int m,n;void bfs(int u)//遍...
2019-08-19 23:57:12
385
3
原创 dfs深度优先遍历（邻接矩阵+邻接表）
今天看到了数据结构的图中的深度优先遍历，一共有两种形式，邻接矩阵和邻接表，下面给出两种方式的代码具体算法原理书上讲的很清楚，在此不赘述了。（小白的dfs笔记）邻接矩阵的代码：#include <iostream>#include <bits/stdc++.h>#define maxn 10000using namespace std;const int inf...
2019-08-19 23:52:06
729
原创 Android Stdio的运行按钮不能运行的解决方法
最近入门Android，在安装Android Stdio时，打开一个已经存在的文件，或者在创建新文件的时候，我的运行按钮是暗的，不能运行。我的解决方法是首先点击这个按钮，看看下面build状态栏会出现什么现象，一般来说会让你下载一些包；此时又可能会出现另外一个问题，就是一直下载，或者下载的很慢，我尝试的解决方法是：打开这个文件，然后添加以下代码：buildscript { r...
2019-08-18 21:46:52
2332
原创 Dijkstra算法
输入起点、终点和权值构造完全图，输出最短路径涉及到的顶点；思路：常规的迪杰斯特拉算法。代码如下：#include <iostream>#include <bits/stdc++.h>#define maxn 1000using namespace std;int n,m,start,finish;int e[maxn][maxn];int dis[maxn...
2019-08-18 21:24:38
146
原创 天梯赛L2-001紧急救援
作为一个城市的应急救援队伍的负责人，你有一张特殊的全国地图。在地图上显示有多个分散的城市和一些连接城市的快速道路。每个城市的救援队数量和每一条连接两个城市的快速道路长度都标在地图上。当其他城市有紧急求助电话给你的时候，你的任务是带领你的救援队尽快赶往事发地，同时，一路上召集尽可能多的救援队。输入格式:输入第一行给出4个正整数N、M、S、D，其中N（2≤N≤500）是城市的个数，顺便假设城市的编...
2019-08-18 17:00:14
422
2
原创 分子量
题目：给出一种物质的分子式（不带括号），求其分子量。本题分子式中只包含四种原子，分别为C、H、O、N，原子量分别为12.01,1.008,16.00,14.01。例如，C6H5OH的分子量为94.108g/mol。解题思路：读入字符串之后使用循环读取每个字符，若相邻字符的下一个字符为数字时，用该字符的分子量乘该数字，最后将所有的分子量求和。（小白上路，方法不当之处，请多指教）
2019-07-25 19:32:56
808
4
matlab常用程序.zip
2019-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人