- 博客(5)
- 收藏
- 关注
RSS订阅原创 Task05：卷积神经网络基础；leNet；卷积神经网络进阶知识点总结（非常肤浅后期补足）
卷积神经网络基础 二维互相关运算： 输入 * 核 = 输出，其中卷积核是一个过滤器，通常尺寸小于数组。由于卷积层核数组可学习，该运算和卷积运算五本质区别。 感受野： 影响元素x前向计算的所有可能输入区域（可能大于输入尺寸）叫做x的感受野。 填充：输入高和宽两侧填充元素（通常未0） 步幅：互相关运算中，卷积核在数组上每次滑动的行数和列数 全连接层把图像展平成一个向量，输入图像上相邻的元素因为展平可能...
2020-02-19 20:02:04
167
原创 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer知识点总结
机器翻译 把一种语言自动翻译为另一种，输出的是单词序列（其长度可能与原序列不同） 步骤为：数据预处理 —> Seq2Seq模型构建 —> 损失函数 —> 测试 数据预处理： 读取数据。 处理编码问题，删除无效字符串 分词。把字符串转化为单词列表。 建立字典。把单词组成的列表转化为单词索引的列表 在tf、pytorch这类框架中要做padding操作，使一个batch数据长度相...
2020-02-19 14:00:29
201
原创 Task3: 过拟合、欠拟合;梯度消失，梯度爆炸；循环神经网络进阶
过拟合、欠拟合及解决方案 区分两种误差 训练误差为训练数据集（training data）上的误差; 泛化误差为模型在任意一个测试数据样本上表现的误差的期望（常通过测试数据（test data）集上的误差来近似）。使用损失函数（loss function）来计算两种误差（e.g. 平方损失函数、交叉熵）。机器学习的要重视降低泛化误差。 选择模型 把训练数据集分为真正的训练集和预留的验证集（vali...
2020-02-18 00:06:13
123
原创 Task2:文本预处理；语言模型； 循环神经网络基础知识点总结
文本预处理 步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引 把文本从词的序列转化为索引的序列（把token转化为数，方便输入模型） 分词 把句子分成若干token，使之成为 a serie of token 建立字典 把每一个token映射到一个唯一的Index 语言模型 语言模型是一种通过概率大小判断一段给定的词的序列是否合理的模型，分为统计语言模型和神经网络语言模型两种。 ...
2020-02-14 19:40:59
185
原创 Task1: 线性回归；Softmax与分类模型、多层感知机知识点总结
线性回归 理解标签、特征两个重要概念 特征（feature）：是一种输入（Input）; 用于预测标签的因素(attribute)；e.g. 房屋大小，地理位置等用于预测房价 标签（label）：是一种输出（output）；最后的结果 损失函数和优化函数 损失函数：用于呈现预测值和真实值之间的差距（difference），数值越小误差越小（P.S.：通俗地说线性回归中，预测值是那条线上的点，真...
2020-02-14 19:12:40
236
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人