5 yealxxy

尚未进行身份认证

一直学习计算机,了解互联网发展趋势。

等级
TA的排名 2w+

git从入门到放弃

git重要命令一、本地操作1,git commit --amend:修改作用:通过创建一个新的提交替换当前分支的提示重复提交时候可以当做一次提交2,git rebase:变基作用一:合并分支:这个合并与git merge不同。merge后git提交的历史会变成多条,rebase会使得提交历史比较干净;作用方向也不同,git merge other 是当前分支主动去合并其他分支,g...

2019-09-03 23:20:06

Subword Regularization

论文:Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates1,动机subword的问题:子词分割可能是模糊的,即使使用相同的词汇,也可能进行多次分割。BPE的缺点在于,它不能提供多种分割的概率。因此不能作为Regularization分割的方法。...

2019-08-21 21:10:52

BPE论文解读

论文:NeuralMachineTranslationofRareWordswithSubwordUnitshttps://github.com/rsennrich/subword-nmt1,一般的词库生成方式:提出问题词库生成方法:在做nlp的时候,对语料生成词库。为了不让字典太大,我们通常只会把出现频次大于某个阈值的词丢到字典里边,剩下所有的词都统一编码成#UNK。问...

2019-08-20 21:00:01

RAdam论文解读

中国博士生提出最先进AI训练优化器,收敛快精度高,网友亲测:Adam可以退休了论文解读:Radam:ONTHEVARIANCEOFTHEADAPTIVELEARNINGRATEANDBEYOND上面的了链接是对论文的解读,这里只是我个人的理解。1,目的想找到一个比较好的优化器,能够在收敛速度和收敛的效果上都比较号。目前sgd收敛较好,但是慢。adam收敛快,但是容易...

2019-08-17 17:48:24

如何深度理解回溯法,让它变得简单

这篇文章主要是想深入浅出的讲解回溯法,会从回溯法的原理上分析,也会从应用的角度的分析回溯法的使用。一、回溯法怎么理解回溯法的解释:深度优先搜索法,又称为试探法,实际上一个类似枚举的搜索尝试过程,主要是在搜索尝试过程中寻找问题的解,当发现已不满足求解条件时,就“回溯”返回,尝试别的路径,满足回溯条件的某个状态的点称为“回溯点”。(多读几遍,你会发现这涵盖了回溯法的全部类容,如果不能理解看完...

2019-07-12 23:24:07

tensorflow学习率控制及调试

在深度学习中,学习率变化对模型收敛的结果影响很大,因此很多时候都需要控制学习率的变化。本文以tensorflow实现learningratetest为例,讲述学习率变化控制的方法,以及怎么调试。一、learningratetest学习率测试(learningratetest)是一个找到学习率变化的范围的测试,详情可以查看自Adam出现以来,深度学习优化器发生了什么变化二、te...

2019-05-04 16:37:22

nlp中文本预处理技术

自然语言处理NLP(NaturalLanguageProcessing),就是使用计算机对语言文字进行处理的相关技术。本文主要是总结一下中、英文的常用的文本预处技术。文本分析的流程如下:一、中文文本分析流程1,中文文本处理的特点中文没有单词的分割符号,因此需要复杂的分词模型进行分析。中文的编码不是utf8,而是unicode。这样会导致在分词的时候,和英文相比,我们要处理编码的问题...

2019-01-20 15:40:07

提取内容摘要

本篇文章主要介绍文章摘要提取的方法,将从抽取式摘要提取和生成式摘要提取两种思路介绍。一,背景介绍利用计算机将大量的文本进行处理,产生简洁、精炼内容的过程就是文本摘要,人们可通过阅读摘要来把握文本主要内容,这不仅大大节省时间,更提高阅读效率。自动摘要(AutomaticSummarization)的方法主要有两种:Extraction是抽取式自动文摘方法,通过提取文档中已存在的关键词,...

2019-01-09 21:05:54

论文解读:Tips and Tricks for Visual Question Answering: Learnings from the 2017 Challenge

这是关于VQA问题的第十二篇系列文章。这篇论文具有很强的指导意义,本篇文章将介绍论文:主要思想;模型方法;试验细节。有兴趣可以查看原文:TipsandTricksforVisualQuestionAnswering:Learningsfromthe2017Challenge1,论文思想这篇论文主要是提出一些细节上的优化提升vqa的结果。主要的细节包括如下:sigmoi...

2019-01-08 21:59:26

论文解读:From Pixels to Objects: Cubic Visual Attention for Visual Question Answering

这是关于VQA问题的第十篇系列文章。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:FromPixelstoObjects:CubicVisualAttentionforVisualQuestionAnswering1,主要思想作者提出一般的Spatialvisualattention只是选出了最关注的视觉对象,在通道上采用的相同的权重,这不符合a...

2018-12-27 21:24:24

论文解读:Feature Enhancement in Attention for Visual Question Answering

这是关于VQA问题的第十篇系列文章。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:Feature Enhancement in Attention for Visual Question Answering1,主要思想:这是2018年顶会(International Joint Conference on Artificial Intelligence )的一篇关于vq...

2018-12-21 23:02:39

论文解读:Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

这是关于VQA问题的第九篇系列文章。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering1,主要思想论文使用了目标检测算法,先找出候选的区域;然后再采用注意力机制去找到重要的区域。文章提出一种自上而下与自下而上...

2018-12-19 23:21:28

论文解读:Dual Attention Networks for Multimodal Reasoning and Matching

这是关于VQA问题的第八篇系列文章。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:DualAttentionNetworksforMultimodalReasoningandMatching1,主要思想:这篇文章依然从多模态推理上介绍,不同的是文章引入两种类型的DANs进行多模态推理,匹配以及分类。推理模型允许可视化并在协作推理期间用文本注意机制互相关联...

2018-12-15 20:11:22

论文解读:Hierarchical Question-Image Co-Attention for Visual Question Answering

这是关于VQA问题的第七篇系列文章。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:Hierarchical Question-Image Co-Attention for Visual Question Answering1,主要思想:当前基于视觉注意的些VQA方法主要关注:”where to look”或者 visual attention。本文认为基于问题的atte...

2018-12-11 21:08:39

论文解读:Dynamic Memory Networks for Visual and Textual Question Answering

这是关于VQA问题的第六篇系列文章。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:Dynamic Memory Networks for Visual and Textual Question Answering1,主要思想:这篇文章是从动态记忆网络改进的:Ask Me Anything: Dynamic Memory Networks for Natural Lang...

2018-12-09 22:36:32

论文解读:记忆网络(Memory Network)

在了解vqa问题的论文时,发现有很多论文采用了记忆网络的思路,模拟推理过程,这篇文章主要总结关于记忆网络的三篇经典论文,目的是对记忆网络有个认识。分别是:MEMORYNETWORKS,End-To-EndMemoryNetworks,AskMeAnything:DynamicMemoryNetworksforNaturalLanguageProcessing一,MEMO...

2018-12-09 13:20:19

论文解读:Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for VQA

这是关于VQA问题的第五篇系列文章。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering。1,主要思想:论文采用基于空间(图像)的记忆网络(记忆网络是NLP领域中的模型,用于处理逻辑推...

2018-12-07 21:13:00

论文解读:A Focused Dynamic Attention Model for Visual Question Answering

这是关于VQA问题的第四篇系列文章。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:A Focused Dynamic Attention Model for Visual Question Answering。1,主要思想:Focused Dynamic Attention (FDA)模型: 通过问题的关键词,识别图像中重要的对象;并通过LSTM单元融合来自区域和全局特...

2018-12-05 21:36:26

论文解读:Stacked Attention Networks for Image Question Answering

这是关于VQA问题的第二篇系列文章,这篇文章在vqa领域是一篇比较有影响的文章。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:StackedAttentionNetworksforImageQuestionAnswering。原论文中附有作者源码。1,论文想法作者认为在vqa(图像问答中),带有一定的推理过程。比如:“whataresittingin...

2018-12-02 19:48:37

论文解读:Ask Your Neurons: A Neural-based Approach to Answering Questions about Images

这是关于VQA问题的第二篇系列文章,这篇文章是一篇比较经典的文章,所以跟大家分享。本篇文章将介绍论文:主要思想;模型方法;主要贡献。有兴趣可以查看原文:Ask Your Neurons: A Neural-based Approach to Answering Questions about Images。1,想法模型以CNN和LSTM为基础,以一种新的使用方式,设计了一个预测结果长度可变的模...

2018-11-25 15:55:29

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。