- 博客(41)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 FailedPreconditionError: corpus.tfrecord； Bad file descriptor解决方法
最近在做BERT从零开始预训练的时候，在生成tfrecord文件时遇到了这个错误。~/anaconda3/envs/ML3.6/lib/python3.6/site-packages/tensorflow/python/lib/io/tf_record.py in close(self) 244 """Close the file.""" 245 with errors.raise_exception_on_not_ok_status() as status:-->
2020-08-26 11:08:49
440
原创 对抗标签噪音的深度学习方法总结
文章目录1 鲁棒性的损失函数2 鲁棒性的架构3 正则化4 调整损失函数5 样本选择6 元学习7 半监督学习深度学习模型往往需要大量的标记正确的数据，而现实世界的数据集中有8%~38.5%的数据是被污染的。现在的深度学习模型很容易对存在噪音的数据集过拟合，从而使得模型在测试集上的表现较差。现在比较流行的防止模型过拟合的方法：数据增强，权重衰减，dropout, batch normalization等方法并不能很好的解决这一问题。1 鲁棒性的损失函数这类方法通过改编损失函数，使得模型在噪音数据集上训
2020-07-31 11:17:27
2554
原创 对元学习的一些想法
我从去年年底开始被老板拉入元学习的坑以来（后来发现他是拍脑袋决定的），陆陆续续地也读过十来篇元学习领域的论文了，算是对这个领域有了一定的了解。我原本是打算在剩下的时间里在元学习领域深耕，以希望能有一些还过得去的成果。奈何元学习在解决实际问题时价值实在不大，而我们课题组的工作偏应用，希望算法可以解决实际的问题。元学习现在的应用多存在于计算机视觉领域，在人脸识别等任务上有一些应用。但是我们课题组的研究方向主要是自然语言处理，能应用上元学习的场景实在有限。这是我暂缓元学习研究的原因之一。元学习自MAML提出以
2020-06-21 21:28:09
721
4
原创 关系抽取入门级概览
因为课题组的需要，过去几个月一直在学习强化学习和鲁棒性算法。再加上忙于课题组中的一些工作，所以过去两个月基本没有什么时间来写博客。最近读了不少强化学习和鲁棒性算法方面的论文，也有一些小的收获，等有时间再通过博客分享出来。今天分享的是我近期记录的关系抽取的笔记，希望对想要入门关系抽取这个任务的朋友们有些帮助。1 关系抽取概述关系抽取从信息抽取（亦称为“文本结构化”）中演化而来。关系抽取一般指从非结构化文本中抽取实体以及实体间的关系。关系抽取的下游任务是：问答系统，聊天机器人等。1.1关系的获取方.
2020-06-21 20:39:49
529
原创 Few-Shot Learning with Global Class Representations笔记整理
Few-Shot Learning with Global Class Representations笔记整理1 Introduction在小样本学习（Few-Shot Learning, FSL）问题上，对于base classes中的每个类别，我们往往有充足的训练数据；对于那些novel classes中的每个类别，我们只有少量的带标签的数据。FSL旨在利用base calsses中大量的...
2020-04-21 12:26:03
998
5
原创 MAML复现实验结果汇总（取最好的情形）
下面是我进行的复现实验的实验结果。除了20-way-N-shot的部分，其他实验结果基本都能对应上。附：MAML模型无关的元学习代码完整复现（Pytorch版）MAML复现全部细节和经验教训（Pytorch）Omniglot数据集5-way-1-shotMAML：98.7±0.4%98.7 \pm 0.4\%98.7±0.4%我的：97.5%97.5\%97.5%20-way-1...
2020-04-17 18:23:59
2704
19
原创 miniImageNet数据集介绍
miniImageNet和omniglot数据集在元学习和小样本学习领域应用广泛，但是网络上鲜有对miniImageNet数据集的介绍，因此在这里我对这个数据集做了一个简要的介绍。ImageNet简介miniImageNet数据集节选自ImageNet数据集。ImageNet是一个非常有名的大型视觉数据集，它的建立旨在促进视觉识别研究。训练ImageNet数据集需要消耗大量的计算资源。Imag...
2020-04-15 12:00:37
38991
7
原创 Model-Agnostic Meta-Learning for Relation Classification with Limited Supervision论文解读（将元学习应用于自然语言处理）
元学习在图像分类任务上取得了长足的进展，但是在自然语言处理领域却鲜有研究。本文对MAML进行了改编，并将改编后的方法应用于自然语言处理领域的关系分类任务。贡献点提出了应用于自然语言领域中关系分类任务的元学习方法。1 引言关系分类是指判别出两个实体之间存在的关系，它的下游有许多人工智能应用，包括问答，知识库和网络搜索。长期以来进行关系分类任务上的方法都依赖于大量的标记数据，但是很多时候标...
2020-04-11 11:33:12
579
原创 Meta-Transfer Learning for Few-Shot Learning 元迁移学习论文解读
我之前写过一篇元迁移学习的论文笔记，一种迁移学习和元学习的集成模型。但是本文的元迁移学习方法完全不同于上一篇论文。Abstract由于深度神经网络容易对小样本过拟合，所以元学习倾向于使用浅层神经网络，但浅层神经网络限制了模型的性能。本文提出了meta-transfer learning(MTL)模型，MTL模型可以采用深层神经网络。其中，meta指的是训练多个任务，transfer指的是为深...
2020-04-05 14:06:41
4049
1
原创 Learning to Learn without Gradient Descent by Gradient Descent论文解析（黑箱优化问题）
本篇论文属于元学习和黑箱函数优化的交叉领域，其中将元学习的思想应用于黑箱函数优化。这篇论文发表于2017年。对于黑箱函数优化方法我了解的不太多，因此本文的不可避免的会有一些理解不到位的地方。想要了解贝叶斯优化和高斯过程的，可以看我翻译的两篇文章：高斯过程是什么?贝叶斯优化如何工作？1 Introduction发展心理学表明婴儿具有多个针对核心知识的分散的系统，通过这些系统，他们可以...
2020-03-28 21:50:35
1316
翻译 贝叶斯优化如何工作？
本文来自，Duane Rich。Answer: Duane Rich, Researcher Scientist at Lyft问题目标是为一些”昂贵的“函数找到近似最小值。这些函数接受一个实数向量xxx，然后计算很长时间后才返回一个标量。所以我们可以在这里想象一个一维的情形：点状线表示一个我们无法确定的函数，我们仅能通过函数上的一些点来评估这个函数。但是这个评估过程是很耗时的，不妨设...
2020-03-24 21:26:15
325
翻译 高斯过程是什么？
本文译自： Duane Rich 的文章Which is your favorite Machine Learning algorithm?几乎所有的有监督机器学习算法都专注于找到一个函数f()f()f()，这个函数是从特征xix_ixi到标签yiy_iyi的映射的一个近似。通常情况下一个函数的参数决定了一个函数。根据数据，我们通过确定这些参数的（后验）分布来确定可能的函数。高斯过程允...
2020-03-24 18:06:51
1543
1
原创 Matching Networks for One Shot Learning论文解读
这篇文章在元学习领域笔记重要，之前一直想读，这次正好有机会就把它给刷了。本篇论文属于小样本学习领域，但是本篇论文中的Matching Networks常被用于与Meta-learning任务中的方法进行比较。这篇论文出自Google DeepMind团队，发表于2016年。1 Motivation人类可以可以通过非常少量的样本学习到一个新的概念，比如一个小孩子看完一张长颈鹿的照片之后就认识了...
2020-03-07 16:12:41
2781
原创 MAML模型无关的元学习代码完整复现（Pytorch版）
1 引言元学习是今年来新起的一种深度学习任务，它主要是想训练出具有强学习能力的神经网络。元学习领域一开始是一个小众的领域，之前很多年都没有很好的进展，直到Finn, C.在就读博士期间发表了一篇元学习的论文，也就是大名鼎鼎的MAML，它在回归，分类，强化学习三个任务上都达到了当时最好的性能。我曾经在半年前发表过一篇MAML的学习笔记，博文地址点这里。MAML出现之后算是掀起来了一波研究元学习...
2020-03-01 19:42:29
23326
40
原创 Pytorch多GPU计算之torch.nn.DataParallel()
pytorch中的GPU操作默认是异步的，当调用一个使用GPU的函数时，这些操作会在特定设备上排队但不一定在稍后执行。这就使得pytorch可以进行并行计算。但是pytorch异步计算的效果对调用者是不可见的。但平时我们用的更多其实是多GPU的并行计算，例如使用多个GPU训练同一个模型。Pytorch中的多GPU并行计算是数据级并行，相当于开了多个进程，每个进程自己独立运行，然后再整合在一起。...
2020-02-20 15:38:06
8156
2
原创 one hot编码：`torch.Tensor.scatter_()`函数用法详解
torch.Tensor.scatter_()是torch.gather()函数的方向反向操作。两个函数可以看成一对兄弟函数。gather用来解码one hot，scatter_用来编码one hot。scatter_(dim, index, src) → Tensordim (python:int) – 用来寻址的坐标轴index (LongTensor) – 索引src(Tensor...
2020-02-17 12:55:21
3558
1
原创 解码one hot: `torch.gather()`函数的用法
torch.gather()的官方解释是: 通过dim沿着坐标轴聚集值。上面那句话太简短了，读完了也不知道这个函数到底怎么用。先看一下它的全部样子:torch.gather(input, dim, index, out=None, sparse_grad=False) → Tensorinput (Tensor) – 源张量(so...
2020-02-16 21:16:22
665
原创 Pytorch保存和加载模型完全指南: 关于使用Pytorch读写模型的一切方法
本文是一篇关于如何用Pytorch保存和加载模型的指南。文章目录1 读写tensor1.1 单个张量1.2 张量列表和张量词典2 保存和加载模型2.1 *state_dict*2.2 保存和加载2.2.1 保存和加载state_dict(推荐方式)2.2.2 保存和读写整个模型2.2.3 保存和加载checkpiont2.2.4 在一个文件中保存多个模型2.3 使用来自不同模型的参数进行模型热启...
2020-02-13 15:13:43
1536
原创 模型的学习率(learning rate)太高将使网络无法收敛!
博主在跑代码的时候，发现过大的Learning rate将导致模型无法收敛。主要原因是过大的learning rate将导致模型的参数迅速震荡到有效范围之外.(注： 由于pytorch中已封装好的代码对模型参数的大小设置了一个界限，因此模型参数不会无限大)这篇文章将要探讨一下不同learning rate的情况下，模型的收敛情况.lr = 0.1，模型收敛得很好。lr = 0.6，在第...
2020-02-11 15:40:53
6098
1
原创 Pytorch的Tensor.to(device)函数不会保存张量的requires_grad信息？
博主最近在跑代码的时候，发现即使我使用了backward()，也无法得到我想要的参数的梯度。博主当然知道pytorch默认只保存叶结点的grad，对于那些中间结点的grad则是一律丢弃。博主当然也知道使用register_hook来获取中间结点的grad。然而这些都不能解决我的问题。我的问题代码如下：import torch import numpy as npdevice = torc...
2020-02-11 15:07:03
4836
原创 Pytorch批量数据读取方法详解: DataLoader
在训练模型的过程中，我们需要不断的读取小批量的数据样本。Pytorch提供了data包来读取数据。接下来我将人工生成一些数据，然后使用data包来处理数据。import torchimport numpy as np'''The features number is 3, and the number of examples is 1000.''' true_w = [2, 3, 5....
2020-02-07 14:50:31
4411
原创 Java定义可变参数
当我们向类中传入不确定数量的参数时，这个时候就可以用类型...来定义可变参数。Class Hello { private String[] names; public void setNames(String... names) { this.names = names;}}这个时候就可以使用多种调用方法:Hello h = new Hello();h.setNames("x...
2020-01-28 17:02:30
519
原创 详解最大流问题中的反向边设计
在学习Ford-Fulkerson算法的时候，一直不理解他为什么在画一个剩余网络，在网络上也没有找到很好的解释。以下我将用一个实例来讲解为什么要引入最大流问题中的反向边。Ford-Fulkerson算法常用于解决图论中的最大流问题，但是我们在求解这一问题的时候时常无法找到流网络中的最优解。比如下面这种情形：图1此时用F-F方法计算出来的最大流为3+8=11，此时网络中已经无法再找到一个拓展...
2020-01-12 18:08:15
1380
原创 一种迁移学习和元学习的集成模型
导言本文提出了一种将迁移学习和元学习结合在一起的训练方法。本文是论文A Meta-Learning Approach for Custom Model Training的笔记介绍传统上我们需要很多的训练数据才能训练出一个好的模型。但是在很多任务上，如：自动驾驶，无人机等，我们就需要快速地应对一些未见过的情形。迁移学习通过在其他数据集上的大量训练，然后将其训练出的模型复制到目标任务上，最后在...
2020-01-01 00:06:17
2993
1
原创 Python的两种debug方法
print大法固然好，但是在print大法不work的时候还有其他更炫酷的方法。那就是在代码里内置assert。在代码中内置assert语句可以减少你的debug范围。另一种方法就是在debug时使用pysnooper这个包。pysnooper的好谁用谁知道。assert## assert的异常参数，其实就是在断言表达式后添加字符串信息，用来解释断言并更好的知道是哪里出了问题。格式如下：a...
2019-12-29 21:23:52
5841
原创 英文写作的基本原则（From The Elements of Style）
本文节选自英文写作经典风格的要素以下是我精选过的几条英文写作的基本原则，有时间再更新英文中单词的易错用法。1 将每个段落视为一个单位，每个段落有其中心主旨。对读者而言，美图阁段落的起始都是文章的一个新的发展。2 段落的开始使用主题句点题，段落的结尾与主题句相呼应，但有时候如果通篇使用这种结构，则不免有些枯燥。多注意一下别人是怎么写的。3 尽量使用主动语态主动语态比被动语态更加有力，它...
2019-12-29 20:52:58
483
原创 Latex ulem包设置下划线删除线强调文本等效果
引言今天在用IEEE的模板写latex的时候，发现了一个问题：由\begin{algorithm}方法生成的伪代码中原本默认应该是斜体的强调部分，发现最后显示时被自动加了下划线。我调了十几分钟也没有找到去除这些下滑线的办法。后来发现只要在\begin{algorithm}和end{algorithm}之间加入\normalem这个命令就可以去除掉下划线了。后来发现这都是\ulem这个语句惹得祸...
2019-12-13 20:56:08
5969
2
原创 Pyhton numpy保存和打开.npz文件方法详解
numpy中的.npz文件是对很多文件的压缩封装。这个文件包含的属性就是它里面封装的文件名。其实这个.npz文件的大小并没有被压缩，它仅仅只是封装了许多文件而已。numpy 使用savez()来将数组保存为.npz格式文件，使用load()来加载.npz格式的文件。numpy.savez(file, *args, **kwds)其中：file：是你将要保存的文件名，数...
2019-12-07 12:56:48
24483
原创 Python实现多进程：Pool类详解
文章目录1 引言2 Pool类2.1 Pool类中的方法列表2.1.1 五种分派任务的方法2.1.2 三种管理进程池的方法：2.2 apply(func[, args[, kwds]])方法2.3 apply_async(func[, args[, kwds[, callback[, error_callback]]]])方法2.4 `map(func, iterable[, chunksize]...
2019-12-06 22:11:29
3970
原创 LSTM用于元学习-"Learning to learn by gradient descent by gradient descent"-笔记详解
Andrychowicz, Marcin, et al. “Learning to learn by gradient descent by gradient descent.” Advances in neural information processing systems. 2016.文章目录1 简介2 如何对optimizee进行参数更新？3 如何对optimizer进行参数更新？4 实...
2019-12-03 21:11:18
3762
3
原创 MAML模型无关的元学习方法
Notes of MAMLFinn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. In 34th International Conference on Machine Learning, ICML 2017 (Vol. 3...
2019-11-17 17:12:31
4165
原创 NLP中数据集的切割方法研究
NLP中数据集的切割方法研究ACL 2019杰出论文奖: We need to talk about atandard splits获奖理由本文质疑了评估NLP模型性能时公认且广泛运用的方法。本文使用词性标注任务说明了问题。本文建议模型排名应当基于使用随机切割的重复评估方法。摘要自然语言处理领域的标准做法是对数据集按照训练集，验证集和测试集切割，依据在分离出的测试集上的性能来对系...
2019-08-28 20:37:15
885
原创 Leetcode_5最长回文字符子串问题的四种解法
1.暴力解法:从第一个字符开始依次遍历。从第i位置的字符开始，然后从长到短依次比对该字符串是否为回文字符串class Solution: def longestPalindrome(self, s: str) -> str: m = '' # Memory to remember a palindrome for i in range(le...
2019-04-16 18:40:21
553
原创 Opengl 绘制“仿太阳系”
代码如下：#include <GL/glut.h>#include <stdlib.h>#include <windows.h>static int year0 = 0 ,year1 = 0,year2=0, year3=0,day = 0;void init(void){// glClearColor (0.0, 0.0, 0.0, 0.0);...
2018-06-06 21:04:12
2841
1
原创 Python中的Counter类入门（列表计数，生成列表等等）
classcollections.Counter([iterable-or-mapping])Counter是用于计算可哈希对象的字典子类。它是一个无序的集合，其元素以字典key的形式存储，并将其计数存储为字典value。 计数允许为包括零或负计数的任何整数值。 Counter类与其他语言的bag或multisets类似。先导入并实例化Counter>>> from colle...
2018-06-06 18:20:46
13067
1
原创 用glut库实现旋转，平移，缩放
平移glTranslate<f,d>(tx,ty,tz),对于二维情形，tz=0.0示例如下：glTranslatef(3.0,2.0f,0.0f);旋转 glRotate<f,d>(theta,vx,vy,vz)： theta,vx,vy,vz指定这个旋转物体的矩阵，物体将绕着(0,0,0)到(x,y,z)的直线以逆时针旋转，参数 theta表示旋转的角度。取正时为...
2018-05-14 21:26:23
3216
原创 使用python3连接sql server
再写爬虫时有时候需要将数据存储到数据库中，以下是python与sql server 数据库进行连接以及操作的方法。 首先需要根据自己的python版本去下载pymssql库，然后打开自己的SQL
2017-11-29 20:58:10
2152
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人