why do not-CSDN博客

原创【吴恩达deeplearning.ai】Course 5 - 序列模型 - 第三周测验

1.想一想使用如下的编码-解码模型来进行机器翻译：这个模型是“条件语言模型”,编码器部分(绿色显示)的意义是建模中输入句子x的概率【】正确【★】错误2.在集束搜索中，如果增加集束宽度bbb，以下哪一项是正确的？【★】集束搜索将运行的更慢。【★】集束搜索将使用更多的内存。【★】集束搜索通常将找到更好地解决方案（比如：在最大化概率P(y∣x)P(y|x)P(y∣x)上做的更好）。【】集束搜索将在更少的步骤后收敛。3.在机器翻译中，如果我们在不使用句子归一化的情况下使用集束搜索，

2022-03-15 15:29:23 348

原创【吴恩达deeplearning.ai】Course 5 - 3.10 触发字检测

触发字检测 (Trigger Word Detection)现在你已经学习了很多关于深度学习和序列模型的内容，于是我们可以真正去简便地描绘出一个触发字系统（a trigger word system），就像上节视频中你看到的那样。随着语音识别的发展，越来越多的设备可以通过你的声音来唤醒，这有时被叫做触发字检测系统（rigger word detection systems）。我们来看一看如何建立一个触发字系统。触发字系统的例子包括Amazon echo，它通过单词Alexa唤醒；还有百度DuerOS设

2022-03-15 15:29:00 248

原创【吴恩达deeplearning.ai】Course 5 - 3.9 语音识别

语音识别 (Speech Recognition)现今，最令人振奋的发展之一，就是seq2seq模型（sequence-to-sequence models）在语音识别方面准确性有了很大的提升。这门课程已经接近尾声，现在我想通过剩下几节视频，来告诉你们，seq2seq模型是如何应用于音频数据的（audio data），比如语音（the speech）。什么是语音视频问题呢？现在你有一个音频片段xxx（an audio clip,x），你的任务是自动地生成文本yyy。现在有一个音频片段，画出来是这样，该

2022-03-15 15:27:40 354

原创【吴恩达deeplearning.ai】Course 5 - 3.8 注意力模型

注意力模型 (Attention Model)在上个视频中你已经见到了,注意力模型如何让一个神经网络只注意到一部分的输入句子。当它在生成句子的时候，更像人类翻译。让我们把这些想法转化成确切的式子，来实现注意力模型。跟上个视频一样，我们先假定有一个输入句子，并使用双向的RNN，或者双向的GRU或者双向的LSTM，去计算每个词的特征。实际上GRU和LSTM经常应用于这个，可能LSTM更经常一点。对于前向传播（the forward occurrence），你有第一个时间步的前向传播的激活值（a forwa

2022-03-14 15:11:56 170

原创【吴恩达deeplearning.ai】Course 5 - 3.7 注意力模型直观理解

注意力模型直观理解 (Attention Model Intuition)在本周大部分时间中，你都在使用这个编码解码的构架（a Encoder-Decoder architecture）来完成机器翻译。当你使用RNN读一个句子，于是另一个会输出一个句子。我们要对其做一些改变，称为注意力模型（the Attention Model），并且这会使它工作得更好。注意力模型或者说注意力这种思想（The attention algorithm, the attention idea）已经是深度学习中最重要的思想之一

2022-03-14 15:11:31 233

原创【吴恩达deeplearning.ai】Course 5 - 3.6 Bleu得分（选修）

Bleu得分 (Bleu Score)机器翻译（machine translation）的一大难题是一个法语句子可以有多种英文翻译而且都同样好，所以当有多个同样好的答案时，怎样评估一个机器翻译系统呢？不像图像识别（image recognition），只有一个正确答案，就只要测量准确性就可以了。如果有多个不错的答案，要怎样衡量准确性呢? 常见的解决办法是，通过一个叫做BLEU得分（the BLEU score）的东西来解决。所以，在这个选修视频中，我想与你分享，我想让你了解BLEU得分是怎样工作的。假如

2022-03-14 15:11:05 161

原创【吴恩达deeplearning.ai】Course 5 - 3.5 集束搜索的误差分析

集束搜索的误差分析 (Error analysis in beam search)在这五门课中的第三门课里，你了解了误差分析是如何能够帮助你集中时间做你的项目中最有用的工作，束搜索算法是一种近似搜索算法（an approximate search algorithm），也被称作启发式搜索算法（a heuristic search algorithm），它不总是输出可能性最大的句子，它仅记录着B为前3或者10或是100种可能。那么如果束搜索算法出现错误会怎样呢?本节视频中，你将会学习到误差分析和束搜索算法

2022-03-14 15:10:38 165

原创【吴恩达deeplearning.ai】Course 5 - 3.4 改进集束搜索

改进集束搜索 (Refinements to Beam Search)上个视频中, 你已经学到了基本的束搜索算法(the basic beam search algorithm)，这个视频里,我们会学到一些技巧, 能够使算法运行的更好。长度归一化（Length normalization）就是对束搜索算法稍作调整的一种方式，帮助你得到更好的结果，下面介绍一下它。前面讲到束搜索就是最大化这个概率，这个乘积就是P(y<1>…y<Ty∣X)P(y^{< 1 >}\ldots y

2022-03-14 15:10:12 121

原创【吴恩达deeplearning.ai】Course 5 - 3.3 集束搜索

集束搜索 (Beam Search)这节视频中你会学到集束搜索（beam search）算法，上节视频中我们讲了对于机器翻译来说，给定输入，比如法语句子，你不会想要输出一个随机的英语翻译结果，你想要一个最好的，最可能的英语翻译结果。对于语音识别也一样，给定一个输入的语音片段，你不会想要一个随机的文本翻译结果，你想要最好的，最接近原意的翻译结果，集束搜索就是解决这个最常用的算法。这节视频里，你会明白怎么把集束搜索算法应用到你自己的工作中，就用我们的法语句子的例子来试一下集束搜索吧。“Jane visite

2022-03-14 15:09:45 233

原创【吴恩达deeplearning.ai】Course 5 - 3.2 选择最可能的句子

选择最可能的句子 (Picking the most likely sentence)在seq2seq机器翻译模型和我们在第一周课程所用的语言模型之间有很多相似的地方，但是它们之间也有许多重要的区别，让我们来一探究竟。你可以把机器翻译想成是建立一个条件语言模型，在语言模型中上方是一个我们在第一周所建立的模型，这个模型可以让你能够估计句子的可能性，这就是语言模型所做的事情。你也可以将它用于生成一个新的句子，如果你在图上的该处（下图编号1所示），有x<1>x^{<1>}x<1&

2022-03-14 15:09:04 150

原创【吴恩达deeplearning.ai】Course 5 - 3.1 基础模型

基础模型 (Basic Model)在这一周，你将会学习seq2seq（sequence to sequence）模型，从机器翻译到语音识别，它们都能起到很大的作用，从最基本的模型开始。之后你还会学习集束搜索（Beam search）和注意力模型（Attention Model），一直到最后的音频模型，比如语音。现在就开始吧，比如你想通过输入一个法语句子，比如这句 “Jane visite I’Afrique en septembre.”，将它翻译成一个英语句子，“Jane is visiting Af

2022-03-14 15:08:25 81

原创【吴恩达deeplearning.ai】Course 5 - 序列模型 - 第二周测验

假设你为10000个单词学习词嵌入，为了捕获全部范围的单词的变化以及意义，那么词嵌入向量应该是10000维的。【】正确【★】错误什么是t-SNE？【★】一种非线性降维算法。【】一种能够解决词向量上的类比的线性变换。【】一种用于学习词嵌入的监督学习算法。【】一个开源序列模型库。假设你下载了一个已经在一个很大的文本语料库上训练过的词嵌入的数据，然后你要用这个词嵌入来训练RNN并用于识别一段文字中的情感，判断这段文字的内容是否表达了“快乐”。x(输入文本) y (是否快乐)

2022-03-14 15:07:53 1831

原创【吴恩达deeplearning.ai】Course 5 - 2.10 词嵌入除偏

词嵌入除偏 (Debiasing Word Embeddings)现在机器学习和人工智能算法正渐渐地被信任用以辅助或是制定极其重要的决策，因此我们想尽可能地确保它们不受非预期形式偏见影响，比如说性别歧视、种族歧视等等。本节视频中我会向你展示词嵌入中一些有关减少或是消除这些形式的偏见的办法。本节视频中当我使用术语bias时，我不是指bias本身这个词，或是偏见这种感觉，而是指性别、种族、性取向方面的偏见，那是不同的偏见，同时这也通常用于机器学习的学术讨论中。不过我们讨论的大部分内容是词嵌入是怎样学习类比

2022-03-14 14:59:11 113

原创【吴恩达deeplearning.ai】Course 5 - 2.9 情感分类

情感分类 (Sentiment Classification)情感分类任务就是看一段文本，然后分辨这个人是否喜欢他们在讨论的这个东西，这是NLP中最重要的模块之一，经常用在许多应用中。情感分类一个最大的挑战就是可能标记的训练集没有那么多，但是有了词嵌入，即使只有中等大小的标记的训练集，你也能构建一个不错的情感分类器，让我们看看是怎么做到的。这是一个情感分类问题的一个例子（上图所示），输入xxx是一段文本，而输出yyy是你要预测的相应情感。比如说是一个餐馆评价的星级，比如有人说，“The desser

2022-03-12 22:17:00 108

原创【吴恩达deeplearning.ai】Course 5 - 2.8 GloVe词向量

Glove 词向量 (GloVe Word Vectors)你已经了解了几个计算词嵌入的算法，另一个在NLP社区有着一定势头的算法是GloVe算法，这个算法并不如Word2Vec或是Skip-Gram模型用的多，但是也有人热衷于它，我认为可能是因为它简便吧，我们来看看这个算法。Glove算法是由Jeffrey Pennington，Richard Socher和Chris Manning发明的。(Pennington J, Socher R, Manning C. Glove: Global Vec

2022-03-12 22:08:56 143

原创【吴恩达deeplearning.ai】Course 5 - 2.7 负采样

负采样 (Negative Sampling)在上个视频中，你见到了Skip-Gram模型如何帮助你构造一个监督学习任务，把上下文映射到了目标词上，它如何让你学到一个实用的词嵌入。但是它的缺点就在于softmax计算起来很慢。在本视频中，你会看到一个改善过的学习问题叫做负采样，它能做到与你刚才看到的Skip-Gram模型相似的事情，但是用了一个更加有效的学习算法，让我们来看看这是怎么做到的。在本视频中大多数的想法源于Tomas Mikolov，Ilya Sutskever，Kai Chen，Greg C

2022-03-10 22:30:14 252

原创【吴恩达deeplearning.ai】Course 5 - 2.6 Word2Vec

Word2Vec在上个视频中你已经见到了如何学习一个神经语言模型来得到更好的词嵌入，在本视频中你会见到 Word2Vec算法，这是一种简单而且计算时更加高效的方式来学习这种类型的嵌入，让我们来看看。本视频中的大多数的想法来源于Tomas Mikolov，Kai Chen，Greg Corrado 和 Jeff Dean。（Mikolov T, Chen K, Corrado G, et al. Efficient Estimation of Word Representations in Vecto

2022-03-10 18:00:43 167

原创【吴恩达deeplearning.ai】Course 5 - 2.5 学习词嵌入

学习词嵌入 (Learning Word Embeddings)在本节视频中，你将要学习一些具体的算法来学习词嵌入。在深度学习应用于学习词嵌入的历史上，人们一开始使用的算法比较复杂，但随着时间推移，研究者们不断发现他们能用更加简单的算法来达到一样好的效果，特别是在数据集很大的情况下。但有一件事情就是，现在很多最流行的算法都十分简单，如果我一开始就介绍这些简单的算法，你可能会觉得这有点神奇，这么简单的算法究竟是怎么起作用的？稍微复杂一些的算法开始，因为我觉得这样更容易对算法的运作方式有一个更直观的了解，之后

2022-03-10 16:59:38 1114

原创【吴恩达deeplearning.ai】Course 5 - 2.4 嵌入矩阵

嵌入矩阵 (Embedding Matrix)接下来我们要将学习词嵌入这一问题具体化，当你应用算法来学习词嵌入时，实际上是学习一个嵌入矩阵，我们来看一下这是什么意思。和之前一样，假设我们的词汇表含有10,000个单词，词汇表里有a，aaron，orange，zulu，可能还有一个未知词标记。我们要做的就是学习一个嵌入矩阵EEE，它将是一个300×10,000的矩阵，如果你的词汇表里有10,000个，或者加上未知词就是10,001维。这个矩阵的各列代表的是词汇表中10,000个不同的单词所代表的不同向量。

2022-03-08 15:55:01 159

原创【吴恩达deeplearning.ai】Course 5 - 2.3 词嵌入的特性

词嵌入的特性 (Properties of Word Embeddings)到现在，你应该明白了词嵌入是如何帮助你构建自然语言处理应用的。词嵌入还有一个迷人的特性就是它还能帮助实现类比推理，尽管类比推理可能不是自然语言处理应用中最重要的，不过它能帮助人们理解词嵌入做了什么，以及词嵌入能够做什么，让我们来一探究竟。这是一系列你希望词嵌入可以捕捉的单词的特征表示，假如我提出一个问题，man如果对应woman，那么king应该对应什么？你们应该都能猜到king应该对应queen。能否有一种算法来自动推导出这种

2022-03-08 15:51:22 912

原创【吴恩达deeplearning.ai】Course 5 - 2.2 使用词嵌入

使用词嵌入 (Using Word Embeddings)上一个视频中，你已经了解不同单词的特征化表示了。这节你会看到我们如何把这种表示方法应用到NLP应用中。我们从一个例子开始，我们继续用命名实体识别的例子，如果你要找出人名，假如有一个句子：“Sally Johnson is an orange farmer.”（Sally Johnson是一个种橙子的农民），你会发现Sally Johnson就是一个人名，所以这里的输出为1。之所以能确定Sally Johnson是一个人名而不是一个公司名，是因为你

2022-03-08 15:38:20 91

原创【吴恩达deeplearning.ai】Course 5 - 2.1 词汇表征

词汇表征 (Word Representation)上周我们学习了RNN、GRU单元和LSTM单元。本周你会看到我们如何把这些知识用到NLP上，用于自然语言处理，深度学习已经给这一领域带来了革命性的变革。其中一个很关键的概念就是词嵌入（word embeddings），这是语言表示的一种方式，可以让算法自动的理解一些类似的词，比如男人对女人，比如国王对王后，还有其他很多的例子。通过词嵌入的概念你就可以构建NLP应用了，即使你的模型标记的训练集相对较小。这周的最后我们会消除词嵌入的偏差，就是去除不想要的特性

2022-03-06 17:45:23 94

原创【吴恩达deeplearning.ai】Course 5 - 序列模型 - 第一周测验

总结习题第 141 题假设你的训练样本是句子(单词序列)，下面哪个选项指的是第i个训练样本中的第j个词?A.x(i)<j>x^{(i)<j>}x(i)<j>B.x(j)x^{(j)}x(j)C.x(j)x^{(j)}x(j)D.x<j>(i)x^{<j>(i)}x<j>(i)第 142 题看一下下面的这个循环神经

2022-03-04 16:46:11 2370

原创【吴恩达deeplearning.ai】Course 5 - 1.12 深层循环神经网络

深层循环神经网络 (Deep RNNs)目前你学到的不同RNN的版本，每一个都可以独当一面。但是要学习非常复杂的函数，通常我们会把RNN的多个层堆叠在一起构建更深的模型。这节视频里我们会学到如何构建这些更深的RNN。一个标准的神经网络，首先是输入 xxx ，然后堆叠上隐含层，所以这里应该有激活值，比如说第一层是 a[1]a^{[1]}a[1]，接着堆叠上下一层，激活值 a[2]a^{[2]}a[2]，可以再加一层 a[3]a^{[3]}a[3]，然后得到预测值 y^\hat{y}y^。深层的RNN网络

2022-03-04 16:01:46 65

原创【吴恩达deeplearning.ai】Course 5 - 1.11 双向循环神经网络

双向循环神经网络 (Bidirectional RNN)现在，你已经了解了大部分RNN模型的关键的构件，还有两个方法可以让你构建更好的模型，其中之一就是双向RNN模型，这个模型可以让你在序列的某点处不仅可以获取之前的信息，还可以获取未来的信息，我们会在这个视频里讲解。第二个就是深层的RNN，我们会在下个视频里见到，现在先从双向RNN开始吧。为了了解双向RNN的动机，我们先看一下之前在命名实体识别中已经见过多次的神经网络。这个网络有一个问题，在判断第三个词Teddy（上图编号1所示）是不是人名的一部分时

2022-03-04 15:37:32 673

原创【吴恩达deeplearning.ai】Course 5 - 1.10 LSTM长短期记忆

长短期记忆 ((LSTM) Long Short Term Memory Unit)在上一个视频中你已经学了GRU（门控循环单元）。它能够让你可以在序列中学习非常深的连接。其他类型的单元也可以让你做到这个，比如LSTM即长短时记忆网络，甚至比GRU更加有效，让我们看看。这里是上个视频中的式子，对于GRU我们有 a<t>=c<t>a^{<t>}=c^{<t>}a<t>=c<t>。还有两个门:更新门 Γu\Gamma_uΓu（t

2022-03-04 15:15:57 153

原创【吴恩达deeplearning.ai】Course 5 - 1.9 GRU 单元（门控循环单元）

GRU 单元 (Gated Recurrent Unit (GRU))你已经了解了基础的RNN模型的运行机制，在本节视频中你将会学习门控循环单元，它改变了RNN的隐藏层，使其可以更好地捕捉深层连接，并改善了梯度消失问题，让我们看一看。你已经见过了这个公式， a<t>=g(Wa[a<t−1>,x<t>]+ba)a^{<t>}=g(W_a[a^{<t-1>},x^{<t>}]+b_a)a<t>=g(Wa[a<t−1

2022-03-04 14:45:35 508

原创【吴恩达deeplearning.ai】Course 5 - 1.8 循环神经网络的梯度消失

循环神经网络的梯度消失 (Vanishing Gradient with RNNs)你已经了解了RNN时如何工作的了，并且知道如何应用到具体问题上，比如命名实体识别，比如语言模型，你也看到了怎么把反向传播用于RNN。其实，基本的RNN算法还有一个很大的问题，就是梯度消失的问题。这节课我们会讨论，在下几节课我们会讨论一些方法用来解决这个问题。你已经知道了RNN的样子，现在我们举个语言模型的例子，假如看到这个句子（上图编号1所示），“The cat, which already ate ……, was f

2022-03-03 18:07:55 169

原创【吴恩达deeplearning.ai】Course 5 - 1.7 对新序列采样

对新序列采样 (Sampling novel sequences)在你训练一个序列模型之后，要想了解到这个模型学到了什么，一种非正式的方法就是进行一次新序列采样，来看看到底应该怎么做。记住一个序列模型模拟了任意特定单词序列的概率，我们要做的就是对这些概率分布进行采样来生成一个新的单词序列。下图编号1所示的网络已经被上方所展示的结构训练训练过了，而为了进行采样（下图编号2所示的网络），你要做一些截然不同的事情。第一步要做的就是对你想要模型生成的第一个词进行采样，于是你输入 x<1>=0，a

2022-03-03 16:56:44 348

原创【吴恩达deeplearning.ai】Course 5 - 1.6 语言模型和序列生成

语言模型和序列生成 (Language Model and Sequence Generation)在自然语言处理中，构建语言模型是最基础的也是最重要的工作之一，并且能用RNN很好地实现。在本视频中，你将学习用RNN构建一个语言模型，在本周结束的时候，还会有一个很有趣的编程练习，你能在练习中构建一个语言模型，并用它来生成莎士比亚文风的文本或其他类型文本。所以什么是语言模型呢？比如你在做一个语音识别系统，你听到一个句子，“the apple and pear（pair） salad was delici

2022-03-03 16:35:39 1592

原创【吴恩达deeplearning.ai】Course 5 - 1.5 不同类型的循环网络

不同类型的循环网络 (Different types of RNNs)现在你已经了解了一种RNN结构，它的输入量 TxT_xTx 等于输出数量 TyT_yTy。事实上，对于其他一些应用， TxT_xTx 和 TyT_yTy并不一定相等。在这个视频里，你会看到更多的RNN的结构。你应该还记得这周第一个视频中的那个幻灯片，那里有很多例子输入 xxx 和输出 yyy ，有各种类型，并不是所有的情况都满足 Tx=TyT_x=T_yTx=Ty。比如音乐生成这个例子， TxT_xTx 可以是长度为

2022-03-03 15:03:13 368

原创【吴恩达deeplearning.ai】Course 5 - 1.4 循环神经网络中通过时间的反向传播

通过时间的反向传播 (Backpropagation through time)之前我们已经学过了循环神经网络的基础结构，在本节视频中我们将来了解反向传播是怎样在循环神经网络中运行的。和之前一样，当你在编程框架中实现循环神经网络时，编程框架通常会自动处理反向传播。但我认为，在循环神经网络中，对反向传播的运行有一个粗略的认识还是非常有用的，让我们来一探究竟。在之前你已经见过对于前向传播（上图蓝色箭头所指方向）怎样在神经网络中从左到右地计算这些激活项，直到输出所有地预测结果。而对于反向传播，我想你已经猜到

2022-03-03 14:39:31 492

原创【吴恩达deeplearning.ai】Course 5 - 1.3 循环神经网络模型

循环神经网络模型 (Recurrent Neural Network Model)上节视频中，你了解了我们用来定义序列学习问题的符号。现在我们讨论一下怎样才能建立一个模型，建立一个神经网络来学习 XXX 到 YYY 的映射。可以尝试的方法之一是使用标准神经网络，在我们之前的例子中，我们有9个输入单词。想象一下，把这9个输入单词，可能是9个one-hot向量，然后将它们输入到一个标准神经网络中，经过一些隐藏层，最终会输出9个值为0或1的项，它表明每个输入单词是否是人名的一部分。但结果表明这个方法并不好

2022-03-01 17:01:56 138

原创【吴恩达deeplearning.ai】Course 5 - 1.2 数学符号-深度学习

数学符号（Notation）本节先从定义符号开始一步步构建序列模型。比如说你想要建立一个序列模型，它的输入语句是这样的：“Harry Potter and Herminoe Granger invented a new spell.”，(这些人名都是出自于J.K.Rowling笔下的系列小说Harry Potter)。假如你想要建立一个能够自动识别句中人名位置的序列模型，那么这就是一个命名实体识别问题，这常用于搜索引擎，比如说索引过去24小时内所有新闻报道提及的人名，用这种方式就能够恰当地进行索引。命名

2022-03-01 15:07:40 154

code_18_pipline.py

空空如也