- 博客(60)
- 收藏
- 关注
RSS订阅原创 【Model Log】模型评估指标可视化，自动画Loss、Accuracy曲线图工具，无需人工参与!
文章目录1. Model Log 介绍2. Model Log 特性3. Model Log 演示地址4. Model Log 安装5. Model Log 使用5.1 启动 web 端5.2 Model Log API使用5.3 Model Log 使用示例1. Model Log 介绍Model Log 是一款基于 Python3 的轻量级机器学习(Machine Learning)、深度学习(Deep Learning)模型训练评估指标可视化工具，与 TensorFlow、Pytorch、Pad
2020-06-27 21:33:51
2217
1
原创 BERT实现QA中的问句语义相似度计算
有一个这样的场景，QA对话系统，希望能够在问答库中找到与用户问题相似的句子对，然后把答案返回给用户。这篇就是要解决这个问题的。
2020-03-14 21:47:25
4149
2
原创 13.深度学习(词嵌入)与自然语言处理--HanLP实现
**深度学习**(Deep Leaming, DL )属于表示学习( Representation Learning )的范畴，指的是利用具有一定“深度”的模型来自动学习事物的向量表示(vectorial rpresenation)的一种学习范式。目前，深度学习所采用的模型主要是层数在一层以上的神经网络。
2020-02-19 22:45:55
2902
原创 《自然语言处理入门》12.依存句法分析--提取用户评论
文章目录12. 依存句法分析12.1 短语结构树12.2 依存句法树12.3 依存句法分析12.4 基于转移的依存句法分析12.5 依存句法分析 API12.6 案例: 基于依存句法分析的意见抽取12.7 GitHub笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP12. 依存句法分析语法分析(syntactic parsi...
2020-02-18 20:07:13
3167
原创 11. HanLP实现朴素贝叶斯/SVM--文本分类
**文本分类**( text classification),又称**文档分类**( document classification),指的是将一个文档归类到一个或多个类别中的自然语言处理任务。文本分类的应用场景非常广泛，涵盖垃圾邮件过滤、垃圾评论过滤、自动标签、情感分析等任何需要自动归档文本的场合。
2020-02-13 18:38:28
2916
1
原创 10.HanLP实现k均值--文本聚类
**聚类**(cluster analysis )指的是将给定对象的集合划分为不同子集的过程，目标是使得每个子集内部的元素尽量相似，不同子集间的元素尽量不相似。这些子集又被称为**簇**(cluster),一般没有交集。
2020-02-13 18:36:03
2000
1
原创 HanLP《自然语言处理入门》笔记--9.关键词、关键句和短语提取
信息抽取是一个宽泛的概念，指的是从非结构化文本中提取结构化信息的一类技术。这类技术依然分为基于规则的正则匹配、有监督学习和无监督学习等各种实现方法。我们将使用一些简单实用的无监督学习方法。由于不需要标注语料库，所以可以利用海量的非结构化文本。
2020-02-12 18:40:46
2374
1
原创 8.HanLP实现--命名实体识别
识别出句子中命名实体的边界与类别的任务称为**命名实体识别**。由于上述难点，命名实体识别也是一个统计为主、规则为辅的任务。 对于规则性较强的命名实体，比如网址、E-mail、IBSN、商品编号等，完全可以通过正则表达式处理，未匹配上的片段交给统计模型处理。
2020-02-12 18:37:28
4015
1
原创 7.、隐马尔可夫(HMM)/感知机/条件随机场(CRF)----词性标注
在语言学上，**词性**(Par-Of-Speech, Pos )指的是单词的语法分类，也称为词类。同一个类别的词语具有相似的语法性质，所有词性的集合称为词性标注集。不同的语料库采用了不同的词性标注集，一般都含有形容词、动词、名词等常见词性。下图就是HanLP输出的一个含有词性的结构化句子。
2020-02-11 12:53:17
1388
1
原创 HanLP《自然语言处理入门》笔记--6.条件随机场与序列标注
本章介绍一种新的序列标注模型条件随机场。这种模型与感知机同属结构化学习大家族，但性能比感知机还要强大。为了厘清该模型的来龙去脉，我们先对机器学习模型做番柿理。然后结合代码介绍条件随机场理论，探究它与结构化感知机的异同。
2020-02-10 18:39:57
846
原创 HanLP《自然语言处理入门》笔记--5.感知机模型与序列标注
本章将深人讲解感知机算法的原理，以及在分类和序列标注上的应用。在序列标注应用部分，我们将实现基于感知机的中文分词器。由于感知机序列标注基于分类，并且分类问题更简单，所以我们先学习分类问题。
2020-02-09 12:49:03
1437
原创 详解隐马尔可夫模型(HMM)中的维特比算法
具体说来，只要将每个汉字组词时所处的位置(首尾等)作为标签，则中文分词就转化为给定汉字序列找出标签序列的问题。一般而言，由字构词是**序列标注模型**的一种应用。 在所有“序列标注”模型中，隐马尔可夫模型是最基础的一种。
2020-02-08 20:25:44
3384
1
原创 HanLP《自然语言处理入门》笔记--3.二元语法与中文分词
我们人类确知道第二种更加合理，只因为我们从小到大接触的都是第二种分词，出现的次数多，所以我们判定第二种是正确地选择。这就是利用了**统计自然语言处理**。统计自然语言处理的核心话题之一，就是如何利用统计手法对语言建模，这一章讲的就是二元语法的统计语言模型。
2020-02-05 19:57:24
1958
原创 HanLP《自然语言处理入门》笔记--2.词典分词
文章目录2. 词典分词2.1 什么是词2.2 词典2.3 切分算法2.4 字典树2.5 基于字典树的其它算法2.6 HanLP的词典分词实现2.7 GitHub项目2. 词典分词中文分词：指的是将一段文本拆分为一系列单词的过程，这些单词顺序拼接后等于原文本。中文分词算法大致分为基于词典规则与基于机器学习这两大派。2.1 什么是词在基于词典的中文分词中，词的定义要现实得多：词典中的...
2020-02-05 13:53:49
1508
原创 HanLP《自然语言处理入门》笔记--1.新手上路
**自然语言处理**(Natural Language Processing，NLP)是一门融合了计算机科学、人工智能及语言学的交叉学科，它们的关系如下图所示。这门学科研究的是如何通过机器学习等技术，让计算机学会处理人类语言，乃至实现终极目标--理解人类语言或人工智能。
2020-02-04 21:33:11
10498
2
原创 XLNet预训练模型，看这篇就够了！(代码实现)
文章目录1. 什么是XLNet2. 自回归语言模型（Autoregressive LM）3. 自编码语言模型（Autoencoder LM）4. XLNet模型4.1 排列语言建模（Permutation Language Modeling）4.2 Transformer XL4.2.1 vanilla Transformer4.2.2 Transformer XL5. XLNet与BERT比较6...
2019-09-30 10:56:05
3762
1
原创 BERT预训练模型的演进过程！(附代码)
1. 什么是BERTBERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两...
2019-09-28 21:55:08
2546
原创 Transformer各层网络结构详解！面试必备！(附代码实现)
1. 什么是Transformer《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等...
2019-09-26 15:03:52
14588
2
原创 推荐系统--完整的架构设计和算法(协同过滤、隐语义)
1. 什么是推荐系统推荐系统是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解...
2019-09-09 09:37:18
1314
原创 Attention机制的精要总结，附：中英文机器翻译的实现！
1. 什么是Attention机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。现在，让我们再次思考那⼀节提到的翻译例⼦：输⼊为英语序列“They”“are”“watching”“.”，输出为法语序列“Ils”“regardent”“.”。不难想到，解码器在⽣成输出序列中的每⼀...
2019-08-31 18:46:45
1022
原创 seq2seq通俗理解----编码器和解码器(TensorFlow实现)
文章目录1. 什么是seq2seq2. 编码器3. 解码器4. 训练模型5. seq2seq模型预测5.1 贪婪搜索5.2 穷举搜索5.3 束搜索6. Bleu得分7. 代码实现8. 参考文献1. 什么是seq2seq在⾃然语⾔处理的很多应⽤中，输⼊和输出都可以是不定⻓序列。以机器翻译为例，输⼊可以是⼀段不定⻓的英语⽂本序列，输出可以是⼀段不定⻓的法语⽂本序列，例如：英语输⼊：“They”、...
2019-08-30 10:59:03
5025
2
原创 textRNN & textCNN的网络结构与代码实现！
1. 什么是textRNNtextRNN指的是利用RNN循环神经网络解决文本分类问题，文本分类是自然语言处理的一个基本任务，试图推断出给定文本(句子、文档等)的标签或标签集合。文本分类的应用非常广泛，如：垃圾邮件分类：2分类问题，判断邮件是否为垃圾邮件情感分析：2分类问题：判断文本情感是积极还是消极；多分类问题：判断文本情感属于{非常消极，消极，中立，积极，非常积极}中的哪一类。新闻主...
2019-08-27 08:41:51
5943
原创 四步理解GloVe！(附代码实现)
文章目录1. 说说GloVe2. GloVe的实现步骤2.1 构建共现矩阵2.2 词向量和共现矩阵的近似关系2.3 构造损失函数2.4 训练GloVe模型3. GloVe与LSA、Word2Vec的比较4. 代码实现5. 参考文献1. 说说GloVe正如GloVe论文的标题而言，**GloVe的全称叫Global Vectors for Word Representation，它是一个基于全局...
2019-08-24 10:24:01
4412
原创 NLP系列文章：子词嵌入(fastText)的理解！(附代码)
文章目录1. 什么是fastText2. n-gram表示单词3. fastText模型架构4. fastText核心思想5. 输出分类的效果6. fastText与Word2Vec的不同7. 代码实现8. 参考文献1. 什么是fastText英语单词通常有其内部结构和形成⽅式。例如，我们可以从“dog”“dogs”和“dogcatcher”的字⾯上推测它们的关系。这些词都有同⼀个词根“dog...
2019-08-23 08:47:09
1352
原创 自然语言处理(NLP)的一般处理流程！
文章目录1. 什么是NLP2. NLP主要研究方向3. NLP的发展4. NLP任务的一般步骤5. 我的NLP启蒙读本6. NLP、CV，选哪个？1. 什么是NLP自然语言处理 (Natural Language Processing) 是人工智能（AI）的一个子领域。**自然语言处理是研究在人与人交互中以及在人与计算机交互中的语言问题的一门学科。**为了建设和完善语言模型，自然语言处理建立计...
2019-08-20 19:36:10
5819
3
原创 神经网络优化算法：Dropout、梯度消失/爆炸、Adam优化算法，一篇就够了！
1. 训练误差和泛化误差机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数，你也许发现了：当模型在训练数据集上更准确时，它在测试数据集上却不⼀定更准确。这是为什么呢？因为存在着训练误差和泛化误差：**训练误差：**模型在训练数据集上表现出的误差。**泛化误差：**模型在任意⼀个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。训练...
2019-08-19 19:57:50
3646
2
原创 强化学习(Reinforcement Learning)中的Q-Learning、DQN，面试看这篇就够了！
文章目录1. 什么是强化学习2. 强化学习模型2.1 打折的未来奖励2.2 Q-Learning算法2.3 Deep Q Learning(DQN)2.3.1 神经网络的作用2.3.2 神经网络计算Q值3. 强化学习和监督学习、无监督学习的区别4. 什么是多任务学习5. 参考文献1. 什么是强化学习其他许多机器学习算法中学习器都是学得怎样做，而强化学习（Reinforcement Learni...
2019-08-18 17:41:26
4517
原创 迁移学习(Transfer)，面试看这些就够了！(附代码)
文章目录1. 什么是迁移学习2. 为什么需要迁移学习？3. 迁移学习的基本问题有哪些？4. 迁移学习有哪些常用概念？5. 迁移学习与传统机器学习有什么区别？6. 迁移学习的核心及度量准则？7. 迁移学习与其他概念的区别？8. 什么情况下可以使用迁移学习？9. 什么是finetune？10. 什么是深度网络自适应？11. GAN在迁移学习中的应用12. 代码实现13. 参考文献1. 什么是迁移学习...
2019-08-18 10:48:13
12077
4
原创 白话--长短期记忆(LSTM)的几个步骤，附代码！
文章目录1. 什么是LSTM2. 输⼊⻔、遗忘⻔和输出⻔3. 候选记忆细胞4. 记忆细胞5. 隐藏状态6. LSTM与GRU的区别7. LSTM可以使用别的激活函数吗？8. 代码实现9. 参考文献1. 什么是LSTM在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。LSTM就是...
2019-08-17 18:33:53
1977
原创 三步理解--门控循环单元(GRU)，TensorFlow实现。
文章目录1. 什么是GRU2. ⻔控循环单元2.1 重置门和更新门2.2 候选隐藏状态2.3 隐藏状态3. 代码实现GRU4. 参考文献1. 什么是GRU在循环神经⽹络中的梯度计算⽅法中，我们发现，当时间步数较⼤或者时间步较小时，**循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但⽆法解决梯度衰减的问题。**通常由于这个原因，循环神经⽹络在实际中较难捕捉时间序列中时间步...
2019-08-16 15:41:29
7592
原创 通俗易懂--循环神经网络(RNN)的网络结构！(TensorFlow实现)
文章目录1. 什么是RNN1.1 RNN的应用1.2 为什么有了CNN，还要RNN?1.3 RNN的网络结构1.4 双向RNN1.5 BPTT算法2. 其它类型的RNN3. CNN与RNN的区别4. 为什么RNN 训练的时候Loss波动很大5. 实例代码1. 什么是RNN循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序...
2019-08-15 14:41:17
2229
1
原创 CNN--卷积神经网络从R-CNN到Faster R-CNN的理解(CIFAR10分类代码)
文章目录1. 什么是CNN1.1 输入层1.2 卷积计算层(conv)1.3 激励层1.4 池化层1.5 全连接层1.6 层次结构小结1.7 CNN优缺点2. 典型CNN发展历程3. 图像相关任务3.1 图像识别与定位3.1.1 思路1：识别+定位过程3.1.2 思路2：图窗+识别3.2 物体检测(object detection)3.2.1 过程3.2.2 R-CNN3.2.3 SPP-Net3...
2019-08-11 14:36:54
1600
转载 激活函数、正向传播、反向传播及softmax分类器，一篇就够了！
文章目录1. 深度学习有哪些应用2. 什么是神经网络2.1 什么是感知器2.2 神经网络的结构2.3 为什么神经网络具有非线性切分能力3. 神经网络的计算过程3.1 计算过程3.2 随机初始化模型参数3.3 激活函数3.3.1 激活函数有哪些3.3.2 优缺点3.3.3 为什么使用激活函数3.3.4 人工神经网络中为什么ReLu要好过于tanh和sigmoid function？3.3.5 激活函...
2019-08-04 15:06:28
1478
原创 一看就懂的K近邻算法(KNN)，K-D树，并实现手写数字识别！
文章目录1. 什么是KNN1.1 KNN的通俗解释1.2 近邻的距离度量1.3 K值选择1.4 KNN最近邻分类算法的过程2. KDD的实现：KD树2.1 构建KD树2.2 KD树的插入2.3 KD树的删除2.4 KD树的最近邻搜索算法2.5 kd树近邻搜索算法的改进：BBF算法2.6 KD树的应用3. 关于KNN的一些问题4. 参考文献5. 手写数字识别案例1. 什么是KNN1.1 KNN的...
2019-08-02 10:24:31
1361
1
原创 我是这样一步步理解--主题模型(Topic Model)、LDA(案例代码)
文章目录1. LDA模型是什么1.1 5个分布的理解1.2 3个基础模型的理解1.3 LDA模型2. 怎么确定LDA的topic个数？3. 如何用主题模型解决推荐系统中的冷启动问题？4. 参考文献5. 代码实现1. LDA模型是什么LDA可以分为以下5个步骤：一个函数：gamma函数。四个分布：二项分布、多项分布、beta分布、Dirichlet分布。一个概念和一个理念：共轭先验和贝叶...
2019-07-28 15:59:21
3189
2
原创 你想知道的特征工程，机器学习优化方法都在这了！收藏！
文章目录1. 特征工程有哪些？1.1 特征归一化1.2 类别型特征1.3 高维组合特征的处理1.4 文本表示模型1.5 其它特征工程1.6 特征工程脑图2. 机器学习优化方法2.1 机器学习常用损失函数2.2 什么是凸优化2.3 正则化项2.4 常见的几种最优化方法3. 机器学习评估方法3.1 准确率(Accuracy)3.2 精确率（Precision）3.3 召回率(Recall)3.4 F1...
2019-07-27 10:15:06
685
1
原创 K-Means(K均值)、GMM(高斯混合模型)，通俗易懂，先收藏了！
文章目录1. 聚类算法都是无监督学习吗?2. k-means(k均值)算法2.1 算法过程2.2 损失函数2.3 k值的选择2.4 KNN与K-means区别？2.5 K-Means优缺点及改进3. 高斯混合模型(GMM)3.1 GMM的思想3.2 GMM与K-Means相比4. 聚类算法如何评估5. 代码实现1. 聚类算法都是无监督学习吗?什么是聚类算法？聚类是一种机器学习技术，它涉及到数据...
2019-07-25 20:34:58
8489
1
原创 从似然函数到EM算法(附代码实现)
文章目录1. 什么是EM算法1.1 似然函数1.3 极大似然函数的求解步骤1.4 EM算法2. 采用 EM 算法求解的模型有哪些？3.代码实现4. 参考文献1. 什么是EM算法最大期望算法（Expectation-maximization algorithm，又译为期望最大化算法），是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。最大期望算法经...
2019-07-21 12:13:09
1258
1
原创 一次性弄懂马尔可夫模型、隐马尔可夫模型、马尔可夫网络和条件随机场！(词性标注代码实现)
文章目录1. 马尔可夫网络、马尔可夫模型、马尔可夫过程、贝叶斯网络的区别2. 马尔可夫模型2.1 马尔可夫过程3. 隐马尔可夫模型(HMM)3.1 隐马尔可夫三大问题3.1.1 第一个问题解法3.1.2 第二个问题解法3.1.3 第三个问题解法4. 马尔可夫网络4.1 因子图4.2 马尔可夫网络5. 条件随机场(CRF)6. EM算法、HMM、CRF的比较7. 参考文献8. 词性标注代码实现1....
2019-07-17 21:17:02
4750
原创 贝叶斯网络，看完这篇我终于理解了(附代码)！
文章目录1. 对概率图模型的理解2. 细数贝叶斯网络2.1 频率派观点2.2 贝叶斯学派2.3 贝叶斯定理2.4 贝叶斯网络2.4.1 贝叶斯网络的结构形式2.4.2 因子图2.5 朴素贝叶斯3. 基于贝叶斯的一些问题4. 生成式模型和判别式模型的区别5. 代码实现6. 参考文献1. 对概率图模型的理解概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关...
2019-07-13 11:31:11
24456
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人