- 博客(26)
- 收藏
- 关注
RSS订阅原创 基于DNN-HMMs的语音识别原理
在上一篇博客基于GMMs-HMMs的语音识别原理中，介绍了第一代较为成熟的GMMs-HMMs语音识别模型。但随着神经网络技术的发展，后面又出现了基于DNN-HMMs的语音识别模型，一句话概括就是用DNN代替之前的GMMs，有更好的建模能力。这篇博客将详细介绍它的原理。
2019-06-02 20:05:59
4206
1
原创 基于GMMs-HMMs的语音识别原理
刚入门ASR的时候一直能听到HMM模型的相关字眼，这里就补一下用GMMs-HMMs进行语音识别的原理，虽然这个方法很古老，而且已经近乎被神经网络所取代，但它背后的思想仍然值得我们去了解和学习~笔者看了一些教程，包括课程讲义、博客还有一些工具书，总算大致理清了思路，相信至少在文章逻辑上比一些没有相关背景设定、无厘头、不知所云的教程要好，原理上至少也是能用到的都有介绍。而有些地方太深入的原理笔者也没有去细究，感兴趣的读者根据笔者的逻辑自己去深入探索即可。整体的行文思路按照“结果导向”，需要什么数学知
2019-05-29 11:16:45
1666
2
原创 ASR中常用的语音特征之FBank和MFCC（原理 + Python实现）
一步一步讲解和实现ASR中常用的语音特征——FBank和MFCC的提取，包括算法原理、代码和可视化等。完整Jupyter Notebook链接：https://github.com/Magic-Bubble/SpeechProcessForMachineLearning/blob/master/speech_process.ipynb
2019-05-17 16:30:50
23336
11
原创 NLP领域中的预训练模型杂谈
近期NLP领域发生了很多大事，基本都离不开**Pretrain**这个字眼，比如大名鼎鼎的BERT、GPT等，笔者也是在近期撸了 **7篇** 近一年内相关的论文及它们的源码，这里就是对这7篇论文进行一个大总结，用更有条理的方式理清这些模型的关系，以期能加深印象，真正掌握这些论文背后要强调的思路~
2019-04-25 20:01:53
2266
原创 XLM解读（论文 + PyTorch源码）
这篇论文是Facebook在BERT的基础上发展出来的Cross-Lingual版本，即多语的。1. 引入了一个新的无监督方法，用于训练多语的表征，并且提出两个单语的预训练LM目标2. 提出了一种新的有监督方法，使用平行语料，来增强多语预训练的表现3. 在跨语言分类、有/无监督机器翻译任务上，达到了新的SoTA4. 对于resource比较少的语言，用这种预训练方式很有帮助5. 重点来了！有源码和预训练模型
2019-04-25 17:38:08
7986
3
原创 MT-DNN解读（论文 + PyTorch源码）
前一段时间，看到了微软发布了用于学习通用语言嵌入的多任务深度神经网络模型MT-DNN，可谓是紧随BERT之后，结合他们之前的MTL工作以及BERT的优势，在10项NLU任务上的表现都超过了BERT。
2019-04-25 15:59:07
6722
3
原创 BERT解读（论文 + TensorFlow源码）
BERT，全称Bidirectional Encoder Representations from Transformers，是Google在18年11月份推出的一个NLP预训练的模型，它一出现，就横扫各大NLP任务的SoTA，并且Google还良心的放出了源码和预训练模型，可以说是像ImageNet那种里程碑式的突破。
2019-04-25 13:20:40
7963
1
原创 GPT-2解读（论文 + TensorFlow实现）
GPT-2是对GPT的一个升级，并且更着重于将思路放在为何pretrain是有用的上面，认为LM本身是一个Multi-task Learner，并且大力用ZSL实验来佐证这个思路。
2019-04-24 17:39:54
17846
6
原创 GPT解读（论文 + TensorFlow实现）
GPT这篇论文，我还是在GPT-2出来了之后，被它能续写红楼梦这一事件而震惊，所以才统一看了一下这两篇论文。这俩都是OpenAI出的，也是用pretrain+fintune的套路进行处理。
2019-04-24 16:38:31
8979
2
原创 ULMFiT解读（论文 + PyTorch源码）
可能是笔者孤陋寡闻，感觉这篇论文没有BERT、ELMo这么火，笔者也是在搜索相关话题的文章的时候，看到大家都会带着ULMFiT进行分析，因此也就去研究了一下。总体来说，这篇论文也是pretrain+finetune的思路，探索的比较浅，主要用来做文本分类，而且trick相对来说也比较多。但整体的思路比较值得借鉴。
2019-04-24 15:04:36
5439
6
原创 《NEURAL READING COMPREHENSION AND BEYOND》解读（陈丹琦博士论文）
之前在听standford的cs224n自然语言处理课程的时候，就有一段是请陈丹琦来这边讲她最近的一些工作，我记得还是在embedding上的进展。听的时候，就觉得像是一个中国小姐姐，后面在这篇爆款博士论文出来的时候，就特意去查了一下，果然是大神！陈丹琦的博士论文是关于机器阅读理解的，这是近期的一个研究热点，与笔者的专业也比较相关，因此就拜读了一下，并将其主要内容进行梳理。
2019-04-24 11:08:05
1196
2
原创 ELMo解读（论文 + PyTorch源码）
ELMo出自Allen研究所在NAACL会议上发表的一篇论文《Deep contextualized word representations》，从论文名称看，应该是提出了一个新的词表征的方法。据他们自己的介绍：ELMo是一个深度带上下文的词表征模型，能同时建模（1）单词使用的复杂特征（例如，语法和语义）；（2）这些特征在上下文中会有何变化（如歧义等）。这些词向量从深度双向语言模型（biLM）的隐层状态中衍生出来，biLM是在大规模的语料上面Pretrain的。它们可以灵活轻松地加入到现有的模型中...
2019-04-11 16:45:15
13200
19
原创 Transformer解读（论文 + PyTorch源码）
2017年6月，Google发布了一篇论文《Attention is All You Need》，提出了Transformer模型。正如论文的名称所说，其旨在全部利用Attention方式来替代掉RNN的循环机制，从而能并行化计算并实现提速。同时，在特定的任务上，这个模型也超过了当时Google神经机器翻译模型。笔者主要阅读了论文及两篇博客（链接见文末的传送门），这里主要是对这些内容做一个整合和提炼~
2019-04-08 20:22:17
28200
6
原创 Transformer-XL解读（论文 + PyTorch源码）
CMU联合Google Brain在2019年1月推出的一篇新论文《Transformer-XL：Attentive Language Models beyond a Fixed-Length Context》同时结合了RNN序列建模和Transformer自注意力机制的优点，在输入数据的每个段上使用Transformer的注意力模块，并使用循环机制来学习连续段之间的依赖关系。Transformer-XL在多种语言建模数据集上实现了SoTA的效果，并且还有完整的源码！
2019-04-07 23:22:03
29277
28
原创 《推荐系统实践》算法纯享（附代码链接）（一）—— 评价指标篇
最近看了项亮大大的《推荐系统实践》一书，想借此入门推荐系统。书中有很多关于推荐系统的基础性介绍，内容由浅入深，相当平易近人。这系列博客将主要针对书中的算法部分进行梳理，并附自己实现的代码链接，以备日后查阅。这个系列分为如下几个部分：!TODO 此处会陆续放上各个部分的链接完整代码链接：https://github.com/Magic-Bubble/RecommendSystemPracti...
2019-03-15 12:11:50
9702
4
原创 《推荐系统实践》算法纯享（附代码链接）（七）——评分预测篇
在上一篇博客里面分享的是《推荐系统实践》中社交网络推荐相关的推荐算法。这一篇将开始本系列的第七部分——评分预测篇。
2019-03-15 11:26:23
2949
1
原创 《推荐系统实践》算法纯享（附代码链接）（六）—— 借助社交网络推荐篇
在上一篇博客里面分享的是《推荐系统实践》中上下文推荐相关的推荐算法，下面将开始本系列的第五部分——借助社交网络推荐篇。
2019-03-14 20:24:43
2978
1
原创 《推荐系统实践》算法纯享（附代码链接）（五）—— 借助上下文信息推荐篇
在上一篇博客里面分享的是《推荐系统实践》中UGC相关的推荐算法，下面将开始本系列的第四部分——借助上下文信息推荐篇。
2019-03-14 19:49:25
3148
1
原创 《推荐系统实践》算法纯享（附代码链接）（四）—— UGC推荐篇
在上一篇博客里面分享的是《推荐系统实践》中冷启动相关的处理算法，下面将开始本系列的第四部分——UGC推荐篇。
2019-03-14 18:46:55
4700
1
原创 《推荐系统实践》算法纯享（附代码链接）（三）—— 冷启动篇
在上一篇博客里面分享的是《推荐系统实践》中协同过滤相关的算法，下面将开始本系列的第三部分——冷启动篇。
2019-03-12 19:42:56
2950
2
原创 《推荐系统实践》算法纯享（附代码链接）（二）—— 协同过滤篇
上一部分介绍了《推荐系统实践》中关于推荐系统常用的一些评测指标，那么从这一部分开始，将真正进入到推荐算法部分。首先开始的是协同过滤部分
2019-03-11 20:08:08
15045
12
原创 趣学Git分支——远程分支篇
这一系列共有两部分:趣学Git分支——本地分支篇!TODO 此处要加链接 趣学Git分支——远程分支篇这里仍然是继续学习learnGitBranching中的远程分支部分，为了保持博客的独立性，这里再简要介绍一下：learnGitBranching一个可视化+交互式学习Git分支的网站，并且是以关卡的形式呈现，一关一关打怪升级，最关键的是还有中文版，简直不要太友好！网址：https://...
2019-01-27 18:03:04
572
1
原创 趣学Git分支—本地分支篇
最近在项目开发的过程中经常需要使用Git，但我对Git的理解除了使用过常规的add,commit,push等之外，其他的都不太了解，完全不足以支撑我在日常项目开发中的需求，尤其是branch的使用可以说是非常菜了。恰好这两天看到一个非常有意思的Github项目，learnGitBranching，这是一个可视化+交互式学习Git分支的网站，并且是以关卡的形式呈现，一关一关打怪升级，最关键的是还有中...
2019-01-27 18:02:24
458
1
原创 hihoCoder#1141 : 二分·归并排序之逆序对 解题记录
时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述 在上一回、上上回以及上上上回里我们知道Nettle在玩《艦これ》。经过了一番苦战之后，Nettle又获得了的很多很多的船。 这一天Nettle在检查自己的舰队列表： 我们可以看到，船默认排序是以等级为参数。但实际上一个船的火力值和等级的关系并不大，所以会存在A船比B船等级高，但是A船火力却低于B船这样的情况
2018-01-01 11:07:57
318
原创 hihoCoder#1139 二分·二分答案 解题记录
时间限制:10000ms 单点时限:1000ms 内存限制:256MB描述 在上一回和上上回里我们知道Nettle在玩《艦これ》，Nettle在整理好舰队之后终于准备出海捞船和敌军交战了。在这个游戏里面，海域是N个战略点(编号1..N)组成，如下图所示 其中红色的点表示有敌人驻扎，猫头像的的点表示该地图敌军主力舰队(boss)的驻扎点，虚线表示各个战略点之间的航线(无向边)。在游戏中要从一个
2017-12-31 11:25:27
380
原创 论文笔记：Learning to Detect Violent Videos using Convolutional Long Short-Term Memory
Learning to Detect Violent Videos using Convolutional Long Short-Term Memory阅读笔记，主要是对视频做暴力/非暴力的二分类，使用了convLSTM的方法，取得了不错的效果
2017-12-06 21:39:25
1875
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人