- 博客(25)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 NLP（十二）：Transformer-XL和XLNet
1.Transformer-XL1.1 Vanilla Transformer Language Models把长文本的输入切分成多个SegmentTransformer-XL: Attentive Language Models Beyond a Fixed-Length Context（Google）（ICLR 2019 被拒）基于一种相对位置编码方式建立循环的transformer建模机制，解决长文本的建模，捕获超长距离依赖。优点在几种不同的数据集（大/小，字符级别/单词级别等）均实现了最先
2020-08-29 12:09:45
1167
原创 NLP（十一）：PaddlePaddle
1.框架图2.部署方案3.PaddleHub和PaddleNLPPaddleHub：对现有模型进行fine-tuningPaddleNLP：已经构建完成，可直接使用（情感分类）1）PaddleHub2）PaddleNLPPaddleNLP是百度开源方便开发者灵活插拔尝试多种网络结构，并且让应用最快速达到工业级效果。的工业级NLP工具与预训练模型集，能够适应全面丰富的NLP任务，PaddleNLP完全基于PaddlePaddle Fluid开发，并提供依托于百度百亿级大数据的预训练模型，能
2020-08-22 11:47:12
849
原创 NLP（十）：ERNIE
1.ERNIEERNIE（Enhanced Representation through Knowledge Integration） 是百度基于BERT开发的NLP模型。ERNIE使用了更多的语料，除维基百科等数据集外，还使用了中文维基百科，百度百科，百度新闻，百度贴吧数据集。该模型的参数： L = 12，H = 768，A = 12 （BERT BASE）。ERNIE实现了实体级别的Mask，实体级别的连续Mask，改变了训练Task，而BERT是基于单字的Mask，其区别如下图所示：ERNIE
2020-08-22 11:21:25
1459
1
原创 Linux（一）：文件目录结构、ssh和scp远程访问
1.文件目录结构目录应放置文件内容/root系统管理员(root)的家目录。 之所以放在这里，是因为如果进入单人维护模式而仅挂载根目录时，该目录就能够拥有root的家目录，所以我们会希望root的家目录与根目录放置在同一个分区中。/home这是系统预设的使用者家目录(home directory)。 在你新增一个一般使用者帐号时，预设的使用者家目录都会规范到这里来。比较重要的是，家目录有两种代号：1） ~ 代表当前使用者的家目录；~guest则代表用户名为guest的家目录。
2020-08-11 23:22:05
641
原创 NLP基础（八）：ELMO和GPT模型
1.ELMOELMO（Embedding from Language Model）是一种基于LSTM的词向量的生成方式，采用两个单向LSTM。词向量的表示基于当前的句子上下文，高层LSTM捕捉上下文的词特征（语义），底层LSTM捕捉句法层次信息（语法）。网络架构如下图：其中，前向语言模型：后向语言模型：目标函数最大化：优点是解决了一词多义，在一些任务上有提升。缺点是LSTM串行，训练成本大，LSTM对长距离的提取特征不如Transformer。2.GPTGPT（Generative
2020-07-30 23:20:03
362
原创 NLP基础（七）：Transformer模型和Self Attention自注意力机制
1.51）Positional Encoding2）Multi-Head Attention多层自注意力层
2020-07-28 21:50:35
3344
原创 NLP基础（六）：GLOVE和FastText
1.GLOVEWord2vec只关注局部，没有考虑全文语言特征。因此引出使用全局统计信息的GLOVE（Global Vectors for Word Representation），融入全局的先验统计信息，可以加快模型的训练速度，又可以控制词的相对权重。现分别计算在ice和steam出现的情况下solid、gas、water、fashion出现的概率，如下表所示Probability and Ratiok=solidk=gask=waterk=fashionp(k|ice)
2020-07-21 20:02:29
256
原创 NLP基础（四）：Seq2Seq模型Beam search、Scheduled Sampling和ROUGE
1.Beam search参考资料[1]DIVERSE BEAM SEARCH[1]Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks[]ROUGE- A Package for Automatic Evaluation of Summaries
2020-06-13 17:36:26
579
原创 深度学习基础（二）：神经网络参数初始化、Batch size和Optimization
1.神经网络初始化初识化神经网络权重www1.1固定方差1）高斯分布E=0E=0E=0，参数分布符合N(0,σ2)N(0,\sigma^2)N(0,σ2)，σ\sigmaσ过小会导致输出神经元过小，经过多层后会慢慢消失，也可能会造成sigmoid函数丢失非线性的能力。2）均匀分布1.2基于方差缩放1）Xavier初始化（Glorot）glorot_uniform，根据每层神经元数量调整参数方差。self.gru = tf.keras.layers.GRU(self.dec_units,
2020-06-13 16:33:44
589
原创 深度学习基础（一）：图计算理论
1. 图计算理论计算图中节点为基本公式，权重为两节点间导数。对公式e=（a+b）∗(b+1)e=（a+b）*(b+1)e=（a+b）∗(b+1)，令c=a+b,d=b+1c=a+b,d=b+1c=a+b,d=b+1，则e=c∗de=c*de=c∗d因此，∂e∂b=∂e∂c∂c∂b+∂e∂d∂d∂b=2∗1+3∗1=5\frac{\partial e}{\partial b}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial b}+\frac
2020-06-10 23:40:25
1557
原创 NLP基础（三）：Seq2Seq模型Encoder-Decoder和Attention
1.Encoder-Decoder基础的seq2seq = Encoder + Decoder + 语义编码c （连接两者的中间状态向量）。Encoder–Decoder 结构，输入是一个序列，输出也是一个序列。Encoder 中将可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标信号序列Encoder，Decoder可以是CNN，RNN，Transformer三种结构，Encoder和Decoder可以是相同的结构，也可以是不同的结构。2.Attenti
2020-06-07 01:20:24
1820
原创 NLP基础（二）：递归神经网络
1.RNNRNN神经网络每一个状态的输出与上一个状态的输出有关，xtx_txt和ht−1h_{t-1}ht−1进行拼接作为神经网络的输入计算得到ttt时刻的输出hth_tht，h1=f(h0,x0)h_1=f(h_0, x_0)h1=f(h0,x0)。因此RNN模型无法进行GPU并行加速。1.1 parameter sharing神经网络的参数为whw_hwh，通过不断循环递归训练得到该参数。1.2Exploding and Vanishing根据链式法则，在导数值很小的情况
2020-05-31 19:57:20
484
原创 NLP基础（一）：初识自然语言处理和词向量
参考资料[1]GitHub README模板[2]GitHub Python gitignore文件[3]
2020-05-31 15:21:08
618
原创 机器学习实战（三）：Kaalge比赛Google QUEST Q&A Labeling
概览一、前言1.问题2.数据二、特征工程三、搭建模型一、前言1.问题Kaggle比赛Google QUEST Q&A Labeling是一个文本分类问题（多标签分类问题）2.数据数量：训练样本6079条，测试样本476条特征（10个维度）：文本部分question_title，question_body，answer；非文本部分question_user_name，qustio...
2020-05-07 23:28:24
613
原创 机器学习实战（二）：Fintech金融科技现金流预测
赛题基于用户90天内的收支数据和天级别的资产信息训练模型，然后根据用户最近60天的收支数据和资产信息，预测用户7天后的账户余额。训练数据集(train.txt) 提供了用于建模的数据。验证数据集(test_input.txt)有3000个用户在某个日期以前60天内的收支数据和天级别的资产信息，请对用户7天后的账户余额进行预测。这两个个文件都拥有2种数据：资产信息数据和收支数据。收支数据具有一级...
2020-04-11 23:01:51
1044
原创 机器学习实战（一）：2018华为精英软件挑战赛（时间序列）
概览一、前言二、时间序列基础1.AR2.MA3.ARMA4.ARIMA三、预测四、服务器部署一、前言2018年参加了华为的软件挑战赛，当初我所在的学院参加了这个比赛拿到名次的同学也基本都拿到了华为的offer，有的去了华为，有的因为各种原因去了其他的公司。最近在回顾时间序列算法模型，当时参加比赛使用了几种模型，于是在此进行回顾。时间序列模型通常分为传统机器学习模型和神经网络模型，其中传统机器...
2020-04-07 23:29:25
552
原创 算法（二）：汽车振动部件目标检测与跟踪（计算机视觉）
概览一、前言二、目标检测1.图像预处理2.帧间差分法三、目标跟踪一、前言在NVH性能开发过程中，需对整车进行振动试验，进行模态分析。在多个模态频率下，车门、天窗、轮胎或排气系统会产生共振， 形成最大的振幅。如图中排气系统在某个频率下产生了共振，在水平方向产生最大振幅。二、目标检测1.图像预处理由于振动部件的颜色比较明显，振动幅度越大，红色越明显，而静止部分为蓝色。可以尝试将彩色图像RG...
2020-03-23 23:35:18
1232
原创 算法（一）：智能小车速度控制（PID模糊控制）
概览一、前言二、基于PID 的速度控制1.PID控制器2.PID速度控制二、基于模糊控制的速度控制1.变量的模糊化2.模糊查询表的计算3.模糊控制设置速度三、总结一、前言在控制领域，PID算法是应用最广泛的算法之一。小到电机的转速，大到机器人稳定性的控制。在实现智能小车速度的闭环控制时首选简单有效的PID控制算法。二、基于PID 的速度控制1.PID控制器PID（Proportion I...
2020-03-22 10:42:36
41515
43
原创 机器学习基础（三）：线性回归
概览一、前言二、线性回归一、前言作为回归问题中最简单的线性回归应该是机器学习入门最应该掌握和熟悉的算法，现在我分别从频率派和贝叶斯派的角度对ω\omegaω进行估计。二、线性回归假设数据集D=(x1，y1),(x2,y2),...,(xn,yn)D={(x_1，y_1),(x_2,y_2),...,(x_n,y_n)}D=(x1，y1),(x2,y2),...,(xn,yn)，...
2020-02-11 11:16:05
249
原创 机器学习基础（二）：降维
概览一、前言二、主成分分析一、前言大量的特征有助于模型对训练样本的拟合，但随着特征空间维度的增加，导致数据稀疏且分布不均匀，出现维度灾难。较高的特征空间维度学习了训练样本中的噪声，即使训练误差较小，但由于产生过拟合，泛化误差有所增加。因此可考虑降维的方式去除噪声，提升模型的泛化能力。二、主成分分析主成分分析（Principle Component Analysis，PCA）是从参考资料...
2020-02-09 00:42:45
185
原创 机器学习基础（一）：支持向量机原理
概览一、前言二、SVM概念1.概念2.函数间隔与几何间隔总结一、前言支持向量机（Support Vectore Machine, SVM）学习问题可以表示为凸优化问题，能够在小样本训练量的情况下，使用有效地算法求解线性及非线性问题的全局最优解。支持向量机在求解非线性分类问题时，利用核技巧将非线性问题从低纬空间向高纬空间映射，然后采取线性分类问题的方式去解决。在非线性问题上的优异表现及较高的鲁棒...
2020-02-06 22:38:37
1397
转载 CSDN默认模板及使用技巧
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出总结欢迎使用Ma...
2020-02-06 17:14:59
387
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人