- 博客(46)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Xl-net
XL-NETXl-net结合了AR（自回归模型）与AE（去噪自编码模型）的有特点AR擅长生成类任务，也就意味着只能利用前向或者后向的文本，不能同时兼顾上下文，这也就是AR的最大的劣势Xl-net与bert的关系AE旨在从损坏的输入中来重建数据，比如在预训练的时候使用MASK以一定的概率进行替换单词，从而实现可以兼顾上下文。但是人为添加MASK标记在真实情况下是不存在的，所以导...
2019-11-06 14:16:40
384
原创 从句法树中提取特征
句法树我们把一个句子构建成语法树(CKY算法构建)SNPNPNMicrosoftVVPisVPPlocatedPNinUSANP：名词短语P：介词PP：介词短语V：动词N：名词内部节点都是可以拆分的，叶子节点不可以拆分从句法树中提取特征除了一般的特征工程之外，还可以从里面提取一些特征。我们面对的是一棵树，所以我们可以提取最大路径再比如我们关注的点在Microsof...
2019-10-15 14:49:49
781
原创 任务型charbot
任务型chatbot的基本流程得到得到通知ASRNLUintentemtityDSTDPLNLGTTSNLU识别Intent和Entity，不同的intent可以设计不同的slot，讲 Entity填充到slot中DST(对话状态跟踪)负责监视对话的状态，同时进行多轮对话来填充完整slot，也起到了上下文对话的影响。DST包含不同的方法包括有限状态机， 也可以使用增强学习和强化学...
2019-10-15 13:29:52
356
1
原创 知识图谱
图数据库包含节点和关系节点：有属性（键值对形式存储），也可以有多个标签关系：有名字和方向，并总是有一个开始节点和结束节点neo4j图数据库在neo4j目录输入start启动，在浏览器输入localhost:7474进入界面APOC组件需要安装：apoc-3.4.0.3-all.jarmysql-connector-java-5.1.21.jarAPOC的...
2019-10-09 17:19:33
257
1
原创 Bert-实战
参考BERT fine-tune 终极实践教程Bert 实战bert在主要分为两个任务：一、训练语言模型和预训练部分（run_pretraining.py），二、训练具体任务的fine-turning部分(run_classifier.py适用于分类情况/run_squad.py适用于问答情况)一、 下载预训练模型， 预训练模型可以在google的开源界面找到，对于中文可以直接下载对应...
2019-09-18 18:22:23
2371
原创 Bert理论笔记
观b站bert理论视频笔记Transformer之前讲的很多了，再多说一点：对于位置编码，使用的是相对位置编码，这样可以保证比较好的相对的位置关系。对于decoder部分不经存在self-attention还有encoder-decoder-attention，并且decoder部分使用mask，防止看到后面的信息（为下三角） （作弊）。处理的并行计算的问题，因此可以计算很多的层数；en...
2019-08-28 20:20:49
751
原创 如何在jupyter里面使用virtualenv创建的虚拟环境
1. 安装virtualenvpip install virtualenv2. 新建虚拟环境 virtualenv [环境名称]3. 进入虚拟环境source [环境名]/bin/activate4. 退出虚拟环境deactivate5. 安装 jupyter kernelpip install ipykernel 6. 连接虚拟环境到jupyter kernel...
2019-07-07 21:45:15
1572
原创 【潜在语义分析】LSI/LSA
LSA 背景介绍文本挖掘中，主题模型。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离，曼哈顿距离的大小聚类等。而主题模型，顾名思义，就是对文字中隐含主题的一种建模方法。比如从“人民的名义”和“达康书记”这两个词我们很容易发现对应的文本有很大的主题相关度，但是如果通过词特征来聚类的话则很难找出，因为聚类方法不能考虑到到隐含的主题这一块。那么如何找到隐含...
2019-05-10 13:38:09
1386
原创 决策树
决策树一、 基本介绍1.1 树模型决策树：从根节点开始一步步走到叶子节点（决策）所有的数据最终都会落到叶子节点，既可以做分类也可以做回归1.2 树的组成根节点：第一个选择点非叶子节点与分支：中间过程叶子节点：最终的决策结果1.3 决策树的训练与测试训练阶段：从给定的训练集构造出来一棵树（从根节点开始选择特征，如何进行特征切分）测试阶段：根据构造出来的...
2019-05-01 12:02:15
192
原创 刁钻数据的处理（处理不平衡数据）
不平衡数据分类学习一、 不平衡数据的出现场景搜索引擎的点击预测点击的网页往往占据很小的比例电子商务领域的商品推荐推荐的商品被购买的比例很低信用卡欺诈检测网络攻击识别…二、 解决方案2.1 从数据的角度：抽样，从而使得数据相对均衡随机欠采样：从多数类中随机选择少量样本再合并原有少数类样本作为新的训练数据集有放回采样无放回采样会造成一些信息缺失，...
2019-04-23 11:23:55
235
原创 Transformer
Transformer先放一个jalammar博客transformer总体结构为什么有多个encoder呢？：从下往上可以提取表层的词法信息 -> 抽象的语义信息encoder到decoder的部分就是attention部分，进行信息传递和交互encoder和decoder的数量是一样的encoder结构什么是attention？：语言学角度：描述词与词的...
2019-04-05 21:49:36
311
原创 ELMO
ELMOJay Alammar大佬的博客迁移学习NLP：BERT、ELMo等直观图解嵌入（Embedding）的新时代词嵌入一直是影响NLP模型处理语言的主要力量。Word2Vec和Glove等方法已被广泛用于此类任务。Word2Vec让我们可以使用一个向量（一个数字列表）以一种捕获语义相关关系的方式正确表示单词（例如，判断单词是相似的，判断还是在它们之间具有的关系，如“开罗”和“埃及”...
2019-04-05 14:11:38
226
原创 HAN分层注意网络
HAN 结构*输入词向量序列后，通过词级别的Bi-GRU后，每个词都会有一个对应的Bi-GRU输出的隐向量h，再通过uwu_wuw向量与每个时间步的h向量点积得到attention权重，然后把h序列做一个根据attention权重的加权和，得到句子summary向量s2，每个句子再通过同样的Bi-GRU结构再加attention得到最终输出的文档特征向量v向量，然后v向量通过后级dens...
2019-02-08 10:57:27
1300
原创 吴恩达序列模型学习记录
GRU里面的c和a是相等的，这和LSTM不一样LSTM这里使用的时a和x一起来计算门值（遗忘门，更新门，输出门）,注意使用的tanh和sigmoid注意到上面的这条红线，只要确定的设置了遗忘门和更新门，LSTM就可以很容易把c0传递到右边，这就是为什么GRU和LSTM可以实现才能长时间的记忆的原因什么时候用GRU什么时候用LSTM没有统一的准则，而且在历史上，LSTM也是更...
2019-01-30 21:22:52
185
原创 TextRNN及与其他模型的组合
首先复习一下基础的RNN结构如下所示开始正题一、LSTM模型LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。就是所谓的该记得会一直传递，不该记得就被“忘记”。LSTM“记忆细胞”变得稍微复杂了一点1.1 细胞状态细胞状态类似于传送带。直接在整个链上运行，只有一些少量的...
2019-01-28 23:24:40
560
原创 TextCNN模型原理与实践
可参见:用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践1、模型原理Yoon Kim在论文Convolutional Neural Networks for Sentence Classification中提出TextCNN模型将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息（类似于多窗口大小的ngra...
2019-01-25 11:19:48
681
原创 使用LDA对文档主题进行建模
LDA 简介LDA认为一篇文档由一些主题按照一定概率组成，一个主题又由一些词语按照一定概率组成。早期人们用词袋模型对一篇文章进行建模，把一篇文档表示为若干单词的计数。无论是中文还是英文，都由大量单词组成，这就造成词袋向量的维数巨大，少则几千多则上万，在使用分类模型进行训练时，非常容易造成训练缓慢以及过拟合。LDA本质上把词袋模型进行了降维，把一篇文档以主题的形式进行了表示。主题的个数通常为几百...
2019-01-24 22:51:25
1609
原创 字符级别的文本分类器**
GitHub项目链接地址：text-classification-cnn-rnn分别使用采用CNN、RNN两种网络实现该项目中CNN表现的效果更加好一点，这种基本不是原意的字符级别的特征，也能从统计意义上表征文本从而作为特征...
2019-01-21 19:02:55
237
转载 Word2Vec和Doc2Vec模型
Word2VecWord2Vec是Google在2013年开源的一款将词表征为实数值向量的高效工具，采用的模型有CBOW(Continuous Bag-Of-Words，即连续的词袋模型)和Skip-Gram 两种。Word2Vec通过训练，可以把对文本内容的处理简化为K维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。因此，Word2Vec 输出的词向量可以被用来做...
2019-01-12 23:44:14
723
原创 强化学习
《强化学习》Dave Silver强化学习课程RL背景制造业库存管理物流管理电力系统金融贸易直升机机器人无人驾驶围棋游戏强化学习做什么的？强化学习是做决策的，即基于当前场景，学习如何做出一个可以最大化回报的动作...
2019-01-12 22:50:56
147
原创 实战1-DNN训练MNIST
实战1-DNN训练MNISTimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datadata_dir = 'mnist/input_data'mnist = input_data.read_data_sets(data_dir,one_hot=True)def save_m...
2018-11-23 21:17:02
348
原创 个人积累学习资源（仅供学习！）
计算机视觉机器学习相关论文整理机器学习深度学习算法面试笔记NLP、机器学习实战吴恩达相关视频笔记机器学习资源大全动手学习深度学习TensorFlow中文文档机器学习实战 相关代码...
2018-11-17 15:37:10
227
原创 ubuntu安装python3
1.安装python3apt-get install python32.安装pip3apt-get install python3-pip3.为python3添加包pip3 install packagename4.安装pillow首先安装支持包apt-get install libjpeg-dev libfreetype6-dev zlib1g-dev libpng12-d...
2018-11-17 15:23:19
127
原创 pip换源
pip国内的一些镜像阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/中国科学技术大学...
2018-11-17 15:22:43
108
原创 ubuntu下安装CRF++（CRFPP）
原贴：http://www.jkeabc.com/303251.html但是似乎有很多地方还是有坑，在下文都有标注看了很多教程，不是安装包搞不到，就是不能import，error/error/error的。踩了一堆坑，最后按照这个方法搞成了，方便快捷。配置：python2+ubuntu16.04 （实践表明python3也可行！）安装过程：（基本会包含所有会踩的坑）从github下载C...
2018-11-15 20:38:10
270
原创 HDFS随笔——MapReduce
MarReduce优点：海量数据离线处理&易开发&易运行缺点：不可能做到实时 流式计算（因为数据拆分是的流式计算不可能实现，多个程序实现以来关系，一个输出是另一个的输入）MapReduce编程模型之Map和Reduce阶段多个mapping之间是并行处理的，相互支架是没有依赖关系的；框架会对输出进行排序mapping的输出作为reducing的输入，作业的输出都...
2018-10-07 19:42:04
179
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人