- 博客(142)
- 收藏
- 关注
RSS订阅
原创 Compacting, Picking and Growing for Unforgetting Continual Learning 论文及代码流程解读
文章目录论文翻译Abstract1 Introduction方法设计的动机Method Overview2 Related Work3 The CPG approach for Continual Lifelong Learning实验1复现1.baseline：VGG162.CPG_cifar100_scratch_mul_1.5.shTask1finetune modegradually pruningChoose the checkpointTask2 (k>1)finetune mod
2020-12-25 12:29:11
1336
1
原创 关于Transformer你需要知道的都在这里------从论文到代码深入理解BERT类模型基石（包含极致详尽的代码解析！）
深入理解Transformer------从论文到代码Attention Is All You Need摘要介绍背景模型结构编码器解码器注意力Attention Is All You Need摘要提出了完全基于注意力机制，避免使用循环和卷积的新的网络结构。介绍RNN模型通常沿输入和输出序列的符号位置进行因子计算，将位置与计算时间中的步骤对齐。它们产生一系列的隐藏状态hth_{t}ht，...
2020-02-22 15:20:15
3522
4
原创 GPT-2生成式多轮对话入门-----深入理解“用于中文闲聊的GPT2模型”项目
深入理解“用于中文闲聊的GPT2模型”项目论文部分提炼DIALOGPT : Large-Scale Generative Pre-trainingfor Conversational Response Generation摘要介绍数据集方法模型结构本文为对于GPT2 for Chinese chitchat项目的理解与学习https://github.com/yangjianxin1/GPT...
2020-02-20 17:55:00
12343
22
原创 Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog 代码阅读
文章目录前置阅读参数设定数据处理DatasetTrainEncoder前置阅读GLMP：任务型对话中全局到局部的记忆指针网络 论文阅读及代码解析Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog参数设定{'dataset': 'kvr', 'epoch': 1000, 'fixed': False, 'random_seed': 1, 'embeddings_dim': 128, 'hidden': 128
2020-11-10 16:16:15
663
1
原创 分享两个神奇的 在pytorch中随意使用.cuda() 可能出现的BUG
RuntimeError: Only Tensors created explicitly by the user (graph leaves) support the deepcopy protocol at the moment这是在如下场景中可能出现的问题表面看上去没有任何问题，但却会出现标题中的BUG。Expected device cuda:0 and dtype Float but got device cpu and dtype Float这是在梯度反向传播时的报错，注意此时看上去所
2020-09-15 20:39:10
7103
6
翻译 在Bert上利用多域数据继续预训练+多域分类器：Multi-Task Deep Neural Networks for Natural Language Understanding
用于自然语言理解的多任务深度神经网络Abstract1 Introduction2 Tasks3 The Proposed MT-DNN Model3.1 The Training Procedure4 ExperimentsSNLISciTailAbstract在本文中，我们提出了一个多任务深度神经网络(MT-DNN)，用于跨多个自然语言理解(NLU)任务的学习反应。MT-DNN不仅利用了大量的跨任务数据，而且还得益于正则化的效果，这种效果导致更一般的表示，以帮助适应
2020-08-03 21:05:34
2066
翻译 Bert finetune和压缩的关系研究：Compressing BERT: Studying the Effects of Weight Pruning on Transfer Learning
压缩BERT:研究权值修剪对迁移学习的影响Abstract1 Introduction2 Pruning: Compression, Regularization,Architecture SearchCompressionRegularizationSparse Architecture Search2.1 Magnitude Weight Pruning3 Experimental Setup3.1 Implementing BERT Pruning3.3 Dis
2020-08-01 16:18:15
542
翻译 蒸馏式持续学习：Progress & Compress: A scalable framework for continual learning
Progress&Compress：一个可扩展的持续学习框架Abstract1. Introduction2. The Progress and Compress Framework2.1. Learning a new task2.2. Distillation and knowledge preservation3. Related Work4. Online EWC5. Experiments and ResultsAbstract我们介绍了一个概念上简单且可扩展的框架，用于连续学习领
2020-08-01 11:24:13
1687
翻译 模型蒸馏开山作：Distilling the Knowledge in a Neural Network
在神经网络中蒸馏知识Abstract1 Introduction2 Distillation2.1 Matching logits is a special case of distillation3 Preliminary experiments on MNIST5 Training ensembles of specialists on very big datasets5.1 The JFT dataset5.2 Specialist Models5.3
2020-07-31 18:19:16
432
翻译 克服神经网络中的灾难性遗忘(EWC):Overcoming catastrophic forgetting inneural networks
克服神经网络中的灾难性遗忘IntroductionResultsEWC Extends Memory Lifetime for Random PatternsEWC Allows Continual Learning in a Supervised Learning ContextEWC Allows Continual Learning in a Reinforcement Learning ContextDiscussionIntroduction实现人工通用智能要求智能体能够学习和记忆许多不同的
2020-07-30 19:27:19
6880
翻译 根据学习曲线斜率的绝对值自动课程学习：Teacher–Student Curriculum Learning
教师-学生课程学习AbstractI. INTRODUCTIONII. TEACHER–STUDENT SETUPA. Simple POMDP FormulationB. Batch POMDP FormulationC. Optimization CriteriaIII. ALGORITHMSA. Online AlgorithmB. Naive AlgorithmC. Window AlgorithmD. Sampling AlgorithmIV. EXPERIMENTSA. Keylock
2020-07-27 18:08:26
1013
翻译 权重掩码单网络多任务：Piggyback: Adapting a Single Network to Multiple Tasks by Learning to Mask Weights
Piggyback：通过学习权重掩码，使单个网络适应多个任务
2020-07-25 18:26:08
1184
翻译 迭代剪枝单网络多任务：PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning
通过迭代剪枝向单个网络添加多个任务Abstract1. Introduction3. Approach4. Experiments and ResultsAbstract本文提出了一种在单个深度神经网络中增加多个任务的方法，同时避免了灾难性遗忘。1. Introduction终身或持续学习[1,14,22]是一般人工智能助理的关键要求。在这种情况下，代理需要获得新任务的专业知识，同时保持其在以前学习的任务上的性能，理想情况下不需要为每个单独的任务存储大型的特殊模型。然而，由于与新任务相关的特征
2020-07-25 14:29:22
2708
翻译 自适应域半监督情感分类：Adaptive Semi-supervised Learning for Cross-domain Sentiment Classification
跨域情绪分类的自适应半监督学习Abstract1 Introduction2 Related WorkDomain AdaptationSemi-supervised Learning3 Model Description3.1 Notations and Model Overview3.2 Feature Adaptation3.3 Domain Adaptive Semi-supervisedLearning (DAS)Entropy MinimizationSelf-ensemble Bo
2020-07-08 23:01:46
1227
翻译 对抗性互学习域适应情绪分类：Improving Domain-Adapted Sentiment Classification by Deep Adversarial Mutual Learning
通过深度对抗性互学改进领域适应情绪分类AbstractIntroductionAbstract域适应情绪分类是指在已标记的源域上进行训练，以很好地推断未标记的目标域上的文档级情绪。大多数现有的相关模型包括一个特征提取器和一个情绪分类器，其中特征提取器致力于从两个领域学习领域不变特征，而情绪分类器只在源领域上进行训练，以指导情绪提取器。因此，他们缺乏一种机制来使用位于目标域的感应极性。因此，他们缺乏一种机制来使用位于目标域的感应极性。我们设计了一种新的深度对抗互学习方法，包括两组特征提取器、领域鉴别器、情
2020-07-07 22:46:20
1427
翻译 可扩展和可靠的胶囊网络多标签文本分类：Towards Scalable and Reliable Capsule Networksfor Challenging NLP Applications
面向具有挑战性的NLP应用的可扩展和可靠的胶囊网络Abstract1 Introduction2 NLP-Capsule Framework2.1 Convolutional Layer2.2 Primary Capsule LayerAbstract阻碍胶囊网络发展以挑战NLP应用的障碍包括对大输出空间的低可扩展性和不可靠的路由过程。在本文中，我们介绍用于评估实例级路由进程性能的协议分数一个自适应优化器，以提高路线的可靠性胶囊压缩和部分路由提高胶囊网络的可扩展性。
2020-07-07 10:40:10
920
翻译 基于语义规则的胶囊网络跨域情感分类：Cross-Domain Sentiment Classification by Capsule Network With Semantic Rules
基于语义规则的胶囊网络跨域情感分类论文ABSTRACTI. INTRODUCTION论文ABSTRACTCapsuleDAR利用胶囊网络编码内在的空间的部分-整体关系，构成领域不变知识(domain invariant knowledge)，弥补了源域和目标域之间的知识缺口。此外，我们还提出了一个规则网络，将这些规则纳入到胶囊网络中，以提高全面的句子表示学习。I. INTRODUCTION现有的情绪分类方法可以根据所使用的知识和信息分为两类:基于词典(exicon-based)的方法和基于语料库
2020-06-17 12:08:45
1054
原创 RuntimeError: cuda runtime error (59) : device-side assert triggered at C:/w...的一种可能
很多博客上给的解释是计算LOSS时超出了标签类别分类，如报错 RuntimeError: cuda runtime error (59) : device-side assert triggered at /py/conda-bld/pytorch_…经反复检查更改代码，发现Tensor经过某些计算步骤后会出现 nannannan ，锁定相关步骤后发现是因为在定义 nn.Parameternn.Parameternn.Parameter 后没有对其进行初始化，使得初始参数为0，导致后续一系列计算错误。
2020-05-18 14:20:03
3235
转载 pytorch tensorboard模型结构显示
转自：https://www.cnblogs.com/jfdwd/p/11445135.html重点关注最后两句，其中使用了python的上下文管理，with 语句，可以避免因w.close未写造成的问题。推荐使用此方式。使用 w.add_graph(model, (dummy_input,))，其中第一个参数为需要保存的模型，第二个参数为输入值，元祖类型。打开tensorboard控制台，可得到如下结果。...
2020-05-10 12:34:31
1417
转载 cuda报错, RuntimeError: CUDA error: unknown error
转自：Pytorch 常见问题苦恼了一下午，再次感谢作者！cuda报错, RuntimeError: CUDA error: unknown error File "D:\ProgramFiles\ProgramFiles\anaconda\lib\site-packages\torch\nn\modules\module.py", line 384, in convert return t.to(device, dtype if t.is_floating_point() else Non
2020-05-09 19:22:31
24417
11
转载 LeetCode刷题笔记 466. 统计重复个数【字符串】【哈希】
找循环做优化，0ms 2MB 跑双百class Solution {public: int getMaxRepetitions(string s1, int n1, string s2, int n2) { int len1 = s1.length(),len2 = s2.length(); int index1 = 0,index2 = 0; ...
2020-04-19 23:14:06
263
转载 LeetCode刷题笔记 5390. 数青蛙 【字符串】
class Solution {public: int minNumberOfFrogs(string croakOfFrogs) { int c = 0, r = 0, o = 0, a = 0, k = 0, ans = 0; for(char x : croakOfFrogs){ if(x == 'c') c += 1; ...
2020-04-19 13:28:51
223
转载 LeetCode刷题笔记 5388. 重新格式化字符串 【字符串】
class Solution {public: string reformat(string s) { string a, b; for (auto c : s) { if (isdigit(c)) a += c; if (isalpha(c)) b += c; } ...
2020-04-19 12:31:35
137
1
转载 LeetCode刷题笔记 LCP 09. 最小跳跃次数
BFSbfs 不超时 有例子易懂class Solution {public: int minJump(vector<int>& jump) { int N=jump.size(); vector<int> vis(N,0); queue<int> q; queue<i...
2020-04-18 22:25:25
329
转载 LeetCode刷题笔记 LCP 08. 剧情触发时间
我的二分class Solution {public: vector<int> getTriggerTime(vector<vector<int>>& increase, vector<vector<int>>& requirements) { vector<vector<int...
2020-04-18 21:30:48
177
转载 LeetCode刷题笔记 LCP 06. 拿硬币
有没有很快想到第二种方法呢？class Solution {public: int minCount(vector<int>& coins) { int ans=0; for(auto i:coins) ans+=i/2+i%2; return ans; }};class Solution {publ...
2020-04-18 21:12:40
180
转载 LeetCode刷题笔记 LCP 07 传递信息
菜鸡双栈解法class Solution {public: int numWays(int n, vector<vector<int>>& relation, int k) { stack<vector<int>> pre,cur; sort(relation.begin(),relation....
2020-04-18 21:08:03
317
转载 from _sqlite3 import * ，debug出错信息: ImportError: DLL load failed: 找不到指定的模块。
转自:from _sqlite3 import * ，debug出错信息: ImportError: DLL load failed: 找不到指定的模块。从官网下载：SQLite Download PageWin10 x64版本的下载:
2020-04-18 10:50:53
1732
转载 LeetCode刷题笔记 55. 跳跃游戏
【跳跃游戏】别想那么多，就挨着跳吧如果一个位置能够到达，那么这个位置左侧所有位置都能到达。bool canJump(vector<int>& nums) { int k = 0; for (int i = 0; i < nums.size(); i++) { if (i > k) return false; k = max(k, i + nu...
2020-04-17 11:23:17
121
转载 剑指offer 面试题38. 字符串的排列 【回溯】
https://leetcode-cn.com/problems/zi-fu-chuan-de-pai-lie-lcof/solution/c-dfs-mian-shi-ti-38-zi-fu-chuan-de-pai-lie-by-yue/交换法class Solution {public: vector<string> result; vector<...
2020-04-15 18:35:22
119
转载 剑指offer 面试题45. 把数组排成最小的数 【自定义排序】
面试题45. 把数组排成最小的数（自定义排序，清晰图解）https://leetcode-cn.com/problems/ba-shu-zu-pai-cheng-zui-xiao-de-shu-lcof/solution/ba-shu-zu-pai-cheng-zui-xiao-de-shu-jian-dan-yi-do/class Solution {public: strin...
2020-04-15 16:41:19
118
转载 程序员面试金典 面试题 16.03. 交点
这道题就先围观下看个热闹没问题吧。。。交点我觉得我已经很努力了，可以角逐最简解法了#define max(a,b) (a>b?a:b)#define min(a,b) (a<b?a:b)#define det(a, b, c, d) (a*d-b*c)class Solution{public: vector<double> intersection(...
2020-04-12 22:26:12
163
转载 LeetCode刷题笔记 22. 括号生成 【DFS】【动态规划】
回溯算法（深度优先遍历）+ 广度优先遍历 + 动态规划DFSclass Solution {public: void dfs(string cur,int left,int right,vector<string>& res){ / 勿忘& if(left==0&&right==0){ res....
2020-04-09 11:33:18
186
转载 LeetCode刷题笔记 289. 生命游戏
C++ 位运算原地操作，击败双百。class Solution {public: void gameOfLife(vector<vector<int>>& board) { int dx[] = {-1, 0, 1, -1, 1, -1, 0, 1}; int dy[] = {-1, -1, -1, 0, 0, 1...
2020-04-07 18:24:13
174
转载 程序员面试金典 面试题 01.07. 旋转矩阵
C++ 图解原地操作，击败双百！(●ˇ∀ˇ●)class Solution {public: void rotate(vector<vector<int>>& matrix) { int n = matrix.size(); if(n == 0) { return; } int r = (n-1)>...
2020-04-07 17:54:55
228
转载 LeetCode刷题笔记 1111. 有效括号的嵌套深度【栈】【规律】
栈有效括号的嵌套深度class Solution {public: vector<int> maxDepthAfterSplit(string seq) { int d = 0; vector<int> ans; for (char& c : seq) if (c == '(') ...
2020-04-01 23:14:46
120
转载 LeetCode刷题笔记 912. 排序数组 【排序整理】
排序计数排序基数排序快排归并排序堆排序选择排序计数排序当我谈排序时，我在谈些什么题目要求输入数据范围为[-50000,50000]，范围较小，故可考虑计数排序。class Solution {public: vector<int> sortArray(vector<int>& nums) { int Max=50000,Min=-5...
2020-03-31 22:03:00
204
转载 LeetCode刷题笔记 1162. 地图分析【多源BFS】
简单Java, 秒懂图的BFS～吃鲸????！广搜还能多源？看完秒懂!/ c++class Solution {public: int maxDistance(vector<vector<int>>& grid) { int dx[]={0,0,1,-1}; int dy[]={1,-1,0,0}; queu...
2020-03-29 12:51:44
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人