- 博客(110)
- 收藏
- 关注
RSS订阅原创 Python 直接赋值、浅拷贝和深度拷贝解析
1、b = a: 赋值引用，a 和 b 都指向同一个对象。2、b = a.copy(): 浅拷贝, a 和 b 是一个独立的对象，但他们的子对象还是指向统一对象（是引用）。b = copy.deepcopy(a): 深度拷贝, a 和 b 完全拷贝了父对象及其子对象，两者是完全独立的。#!/usr/bin/python# -*-coding:utf-8 -*- import copya = [1, 2, 3, 4, ['a', 'b']] #原始对象 b = a
2020-06-30 11:16:15
210
原创 scrapy爬虫学习
因毕设需要做数据集，学习爬虫。1.目前遇到问题，中文description无法返回。xpath用法，https://blog.csdn.net/qq_33472765/article/details/80672281xpath是从网页返回内容里边去提取的，网页返回的content和浏览器的element可能会有差异，当xpath无法正常提取内容时，我们首先可以将网页请求返回内容保存到本地在顺着xpath路径查看原因。print(response.body)...
2020-06-10 18:45:54
199
原创 fewshot代码实现
#参考阿里fewshot论文，用于金融场景对话意图判别https://github.com/zixufang/few_shot
2020-05-29 16:17:54
862
原创 pytorch tensor（.data,.clone(),.detach()）区别
clone()是不内存共享的。clone()得到的Tensor不仅拷贝了原始的value，而且会计算梯度传播信息，copy_()只拷贝数值。对b处理，grad会返回到a身上。但是b 不会有 grad 属性。b = a.clone()#a经过克隆得到b，c = (b ** 2).mean()#c.backward()print('a_grad:', a.grad)#但是梯度传播没有因此中断...
2020-03-09 12:39:20
1002
1
原创 pytorch损失函数总结
感谢博主https://blog.fanyangmeng.com/deep-learning/pytorch/pytorchnotes-lossfunc/
2020-03-02 22:38:03
266
原创 pytorch导入预训练模型部分参数
checkpoint = torch.load(checkpoint) start_epoch = checkpoint["epoch"] + 1 #best_score = checkpoint["best_score"] best_score = 0 print("\t* Training will conti...
2020-03-01 11:39:40
1670
1
原创 multi-teacher学习
多老师学习：1.Learning from Multiple Teacher Networks1)不同example 输入到网络会有不同的输出，（x1,x2,x3）得到（p1,p2,p3）,(q1,q2,q3)，怎么保证||q1-q2||和||q1-q3||的相对距离（q2和q3谁取胜）和||p1-p2||和||p1-p3||的相对距离相近（p2和p3谁取胜）。2)如果是多个老师的话，因为不...
2020-02-19 21:51:29
1648
原创 documentQA文章
1）参考：https://zhuanlan.zhihu.com/p/82073864SG-Net: Syntax-Guided Machine Reading Comprehensionhttps://arxiv.org/pdf/1908.05147.pdf主要的思路是这样的：之前的话很多工作是用attention机制把所有的word算一遍，他们会觉得这样做没有考虑依存文法，他们尝...
2020-01-01 19:50:52
403
原创 dialog如何利用context知识
对话里面，有些模型是用了完整的context，有些模型是只用了上一句（我没有做完整统计），1.到底哪一种更好呢？2.如果采用第一种，能不能用好呢？Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical StudySharp Nearby, Fuzzy Far Away How Neur...
2019-11-28 21:50:01
583
原创 latent4SLU
In this study, we aim to learn the meaningful distributed semantic representation, rather than focusing on building the NLU system itself. Once we obtained a reliable and reasonable semantic represen...
2019-11-25 20:23:36
109
原创 context建模学习(time-decay)
Because the framework can be trained in an end-to-end manner, all parameters (wi, a, b, e, f, D0, n) can be automatically learned to construct a flexible time-decay function.具体阐释universal->flexibl...
2019-11-23 20:24:29
697
原创 slot-carryover学习
算是NLU和DST的结合。因为NLU只注意ut的slot和intent，而DST关注value的追踪（一般paper中slot是已经给定）。1）Contextual Slot Carryover for Disparate Schemas2）Improving Long Distance Slot Carryover in Spoken Dialogue Systems要解决的问题：cont...
2019-11-23 11:26:39
531
原创 Memory4Dialog系列学习
记得上半年看GLMP，当时还跟别人讨论说memory都是骗人的，但是现在心态变正常了，能抓老鼠的都是好猫。下面对于这一系列的文章进行讲解。1）LEARNING END-TO-END GOAL-ORIENTED DIALOG2）Mem2Seq: Effectively Incorporating Knowledge Bases into End-to-End Task-Oriented Di...
2019-11-22 20:06:46
244
原创 domain-slot-value文章学习
主要针对mutlimoz2.0数据集进行学习tradesubmtcomerds-dstsom-dst流行方法：建模context成sequential形式，单个domain-slot同时作为输入----->生成或者检索，生成式：trade、comer、som-dst检索式：submt、生成检索结合：ds-dsttrade:slot-gate是指，是否需要b的gener...
2019-11-19 21:56:44
558
原创 SF&ID文章
CM-Net：过去的方法：1.slotfilling和intentdetect分开的，rnn或者cnn建模语句，之后用分类算法2.slotfilling和intentdetect是有关系的，Goo2018intent影响slotfilling（intent产生之后在slot生成的LSTM中加元素）zhang2018提出capsule，word->slot->intent，...
2019-11-19 16:08:05
640
原创 torch常用损失函数
https://www.cnblogs.com/marsggbo/p/10401215.html总是记不住.....也是绝了.....
2019-10-16 11:21:28
771
原创 qa论文精读目录——大佬推荐
1) Qingyu Zhou, Nan Yang, Furu Wei, Chuanqi Tan,Hangbo Bao, and Ming Zhou. 2017. Neural ques-tion generation from text: A preliminary study.InNational CCF Conference on Natural L...
2019-10-13 10:41:14
367
2
原创 问答系统概要
Question Answering：发现几位专家的看法，QA可以做的范围广，但是dialog的难度确实大，目前没什么大进展。对于VQA有很多方向可以发展。Inferential Machine Comprehension: Answering Questions by Recursively Deducing the Evidence Chain from TextTextbook Q...
2019-10-12 21:46:44
637
原创 content-preserving-text-generation-with-attribute-controls,文本生成
我想到和我现在做的task-oriented的有关系，输入是文本和关键词，输出是文本，相当于风格迁移。相当于个别词对应转换。而task-oriented里面，是输入文本(context编码还是个问题),生成多个关键词，输出文本。多出的是act space，但是输入的intent和输出的intent是一致的，space变化不大。他文章里用的模型是主要是使用了反向生成，插值法，还有GAN，...
2019-09-26 17:20:15
289
原创 文本纠错学习
主要针对：https://mp.weixin.qq.com/s/Pff9yYGch-noVq_cUcY5CA当前由于用户输入随意及手写输入法易出错等原因，错误串在输入文本中占比高达10%-15%，这也使得中文文本纠错模块必要性凸显。而在垂直领域中，比如平安的寿险领域，同样会因为用户输入随意、不清楚产品名称等原因，导致用户提问与回答存在大量的手写及同音错误。自然语言处理常见的任务包括词法分析、...
2019-09-19 17:28:19
415
原创 emnlp新paper
Counterfactual Story Reasoning and GenerationNeural Text Generation with Unlikelihood TrainingReal-Time Open-Domain QA with Dense-Sparse Phrase Index
2019-09-19 16:53:46
304
原创 context系列
Memory Consolidation for Contextual Spoken Language Understanding with Dialogue Logistic Inference主要是加上DLI，memory机制老早就有了而且效果也不咋地，DLI：给出前n句，判断第（n+1）句是user说的，（反例从哪里找），比较的模型大多和memory有关，具体看他怎...
2019-09-15 21:31:03
221
原创 DDQ升级版
Switch-based Active Deep Dyna-Q: Efficient Adaptive Planning for Task-Completion Dialogue Policy Learning？world model和policy model都是从human那里学习，为什么一个是imitation一个是supervised -> 只是起名不同？world model...
2019-09-15 21:06:50
301
原创 调研ESIM-以及FAQ匹配模型
ESIM模型：借鉴https://zhuanlan.zhihu.com/p/77898069之前看过这篇文章，当时没有很大的感觉，可能因为那边博文不够和我口味，而且看文章模型似乎非常复杂，也不灵巧，但是最近发现它在很多比赛上都取得很好的效果(和数据集有很大关系），模型主体：输入编码（input encoding），（17年还没有bert）bilstm->[batch，length，...
2019-09-11 19:03:53
448
原创 闲记
零散问题：1）编辑距离def minEditDist(sm,sn): m,n = len(sm)+1,len(sn)+1 # create a matrix (m*n) matrix = [[0]*n for i in range(m)] matrix[0][0]=0 for i in range(1,m): matrix[i][0]...
2019-09-08 18:07:10
116
原创 【转载】nn.BiLinear功能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...
2019-09-05 13:58:05
2375
1
原创 fewshot意图识别
Few-Shot Text Classification with Induction Network在test的时候怎么进行,meta learning：每一个training episode，在training set中选择C个classes，在每个class下选择training data（样本环境）和testing data（即为query），这C个classes的所有train...
2019-09-04 19:46:48
919
原创 attention代码
s计算score的方式有以下几种：import torchclass Attn(nn.module): def __init__(self, method ,hidden_size): super(Attn, self).__init__() self.method = method self.hidden_size = hidden...
2019-09-01 11:10:30
1144
原创 对话generation
对于paper不能掉以轻心的态度，还是要好好阅读。现在的文章各种方法都很多，一定要善于总结。A Modular Task-oriented Dialogue System Using a Neural Mixture-of-Expertsgating network：h是所有专家算出来的state和y概率分布的coXncat，经过全连接得到ulu_lul，βl\beta^lβl是...
2019-08-29 21:40:40
739
原创 DST文章学习
Towards Universal Dialogue State Tracking个人感觉不是很优秀的文章，（1）2-Norm Distance，这不是常规操作吗。。？（2）它用了n-gram machine act representation,r_a^n, DST不应该在ACT的前面吗？（3）它在结尾强调 the model does not need manually-tagged...
2019-08-24 21:19:32
684
原创 弱相关论文记载
Training Neural Response Selection for Task-Oriented Dialogue Systems亮点：transfer网络添加原有数据
2019-08-23 17:18:54
152
原创 语法树
看latent的文章有点累，看语法树换换脑子。看了两篇不够相关。一篇是多人对话判断当前语句与前面context哪一句最相关，（没细看）一篇是用于NLG,使得生成句子diverse，运用额外数据学习句子的逻辑关系，提出新数据，含标注。暂时找不太到语法树的方法，我是想语法树有hierchy的特征，可以用来表征一些东西，对话是有context和user，有belief state，哪一个可以...
2019-08-23 16:38:06
1589
原创 latent 最近
（1）Jointly Optimizing Diversity and Relevance in Neural Response Generation背景:bland and generic responses.->diversify, cost of decreased relevance以前使用CVAE实现diverse，VAE里面用高斯分布，高斯分布决定了diverse和re...
2019-08-22 21:55:01
421
原创 sequicity后续文章
（1）Domain Adaptive Dialog Generation via Meta Learning（2）Incorporating the Structure of the Belief State in End-to-End Task-Oriented Dialogue Systems（3）Flexibly-Structured Model for Task-Oriented Di...
2019-08-22 12:40:03
212
原创 end2end和pipeline结合，增加输入
Structured Fusion Networks for Dialog似乎跨领域确实是个问题overwhelming implicit language modelUsing reinforcement learning to fine-tune a decoder, will likely place a strong emphasis on improving the decoder...
2019-08-20 21:08:38
679
原创 zhaotianc文章
zhaotianc文章（1）Pretraining Methods for Dialog Context Representation Learning大致内容：bert是在句子层面提取信息，然后对话有discourse-level的特征，大致理解为前后句子的递进转折和句子平和起来表达的含义比较复杂，bert不行。 本文针对对话列举4种预训练方法，以fine-tune到下流任务。效果明显。...
2019-08-18 15:42:33
267
原创 cPickle.dump作用
Pickle.dump(train_examples,open("train_file_baseline.pkl",mode='wb'))指的是：example写入到pkl中原理：（1）pickle.dump(obj, file, [,protocol]) 函数的功能：将obj对象序列化存入已经打开的file中。2）pickle.load(file)...
2019-07-25 09:36:43
2169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人