9 Eason.wxd

尚未进行身份认证

我要认证

我是Eason,我喂自己袋盐...

等级
TA的排名 76

系统学习NLP(三十二)--BERT、XLNet、RoBERTa、ALBERT及知识蒸馏

参考:https://zhuanlan.zhihu.com/p/84559048一.BERTBERT是一种基于Transformer Encoder来构建的一种模型,它整个的架构其实是基于DAE(Denoising Autoencoder)的,这部分在BERT文章里叫作Masked Lanauge Model(MLM)。MLM并不是严格意义上的语言模型,因为整个训练过程并不是利用语言模型方式来训练的。BERT随机把一些单词通过MASK标签来代替,并接着去预测被MASK的这个单词,过程其实就是DAE的

2020-07-01 10:29:40

系统学习NLP(三十一)--基于CNN句子分类

这篇文章翻译自A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification近年来,卷积神经网络在句子分类任务上取得了显著的成绩(Kim, 2014;Kalchbrenner et al .,2014),然而,这些模型要求从业者指定...

2020-01-25 22:22:24

系统学习NLP(三十)--词向量对齐

这块,也可以参考facebook的https://www.jiqizhixin.com/articles/under-the-hood-multilingual-embeddings关于词向量对齐的历史方法,可以看这里:https://blog.csdn.net/xacecaSK2/article/details/1020962561. 前言在公司业务需求背景下,我需要解决来源不同语言...

2019-12-06 14:02:37

系统学习NLP(二十九)--BERT

补充一份细节的理解:https://zhuanlan.zhihu.com/p/74090249输入嵌入:https://www.cnblogs.com/d0main/p/10447853.html1. 前言在本文之前我们已经介绍了ELMo和GPT的两个成功的模型,今天给大家介绍google新发布的BERT模型。BERT来头可不小,其性能超越许多使用任务特定架构的系统,刷新了11项NLP...

2019-12-05 22:19:14

系统学习NLP(二十八)--GPT

论文:Improving Language Understandingby Generative Pre-Training1. 前言本文对2018年OpenAi提出的论文《Improving Language Understandingby Generative Pre-Training》做一个解析。一个对文本有效的抽象方法可以减轻NLP对监督学习的依赖。大多数深度学习方法大量的...

2019-12-02 23:50:51

系统学习NLP(二十七)--EMLo

论文:Deep contextualized word representations参考:https://www.cnblogs.com/huangyc/p/9860430.htmlhttps://blog.csdn.net/firesolider/article/details/88092831ELMo的语言理解是通过预测训练单词序列中的下一个单词来实现,这项任务被称为语言建模。这...

2019-12-02 23:14:17

系统学习NLP(二十六)--NBSVM

论文:Baselines and Bigrams: Simple, Good Sentiment and Topic Classification参考:https://blog.csdn.net/leayc/article/details/80037757跟原文有一定差异,理解不一致。朴素贝叶斯(Naive Bayes, NB)和支持向量机(Support Vector Machines...

2019-11-30 17:56:27

系统学习NLP(二十五)--语种识别landID

一.项目简介1.1  LangID & langidLangid是一个现成的语言识别工具。语言识别(LangID)可用于USENET信息,网络搜索词,多语言文本检索,语法分析等领域。从1990年起,LangID就被视为有监督的机器学习任务,并极大地受到文本分类(text categorization)研究的影响[3]。这里我们研究的是单语言(Monolingual...

2019-11-24 14:43:14

系统学习NLP(二十一)--关键词提取算法总结

先说一下自动文摘的方法。自动文摘(Automatic Summarization)的方法主要有两种:Extraction和Abstraction。其中Extraction是抽取式自动文摘方法,通过提取文档中已存在的关键词,句子形成摘要;Abstraction是生成式自动文摘方法,通过建立抽象的语意表示,使用自然语言生成技术,形成摘要。由于生成式自动摘要方法需要复杂的自然语言理解和生成技术支持,应用...

2019-05-04 18:09:48

系统学习机器学习之特征工程(四)--分箱总结

首先from wiki给出一个标准的连续特征离散化的定义:在统计和机器学习中,离散化是指将连续属性,特征或变量转换或划分为离散或标称属性/特征/变量/间隔的过程。这在创建概率质量函数时非常有用 - 正式地,在密度估计中。它是一种离散化的形式,也可以是分组,如制作直方图。每当连续数据离散化时,总会存在一定程度的离散化误差。目标是将数量减少到手头的建模目的可忽略不计的水平。在银行风控模型的建模...

2019-11-18 13:23:59

常用数据分析方法总结

最近优化一个画像产品,用到一些数据分析方法,这里总结一下。主要参考:https://www.jianshu.com/p/809fb2261b23,补充一些细节一、描述统计描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。1.集中趋势分析集中趋势分...

2019-11-02 14:06:23

我要图标~

我要图标~,文章以后补~

2019-10-24 19:37:54

系统学习机器学习之特征工程(三)--多重共线性

什么是多重共线性?回归中的多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生的条件。严重的多重共线性可能会产生问题,因为它可以增大回归系数的方差,使它们变得不稳定。以下是不稳定系数导致的一些后果:即使预测变量和响应之间存在显著关系,系数也可能看起来并不显著。 高度相关的预测变量的系数在样本之间差异很大。 从模型中去除任何高度相关的项都将大幅影响其他高度相关项的估计系数。高度相...

2019-10-18 09:51:59

图神经网络(一)--综述

图是一种数据结构,它对一组对象(节点)及其关系(边)进行建模。近年来,由于图结构的强大表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN 最近已成为一种广泛应用的图分析方法。GNN 的第一个动机源于卷积神经网络(CNN)。CNN 的广泛应用带来了机器学习领域的突破并开启了深度学习的新时代。然而 CNN...

2019-08-27 10:34:33

用户画像

这里不包含算法、技术、架构内容,因为相对来说,用户画像落地比较简单,难的是用户画像的价值落地。用户画像是一个挺新颖的词,最初它是大数据行业言必及之的时髦概念。现在我们谈及用户画像,它也是和精准营销、精细化运营直接钩挂的。这篇文章主要讲产品运营角度的用户画像。什么是用户画像用户画像一点也不神秘,它是根据用户在互联网留下的种种数据,主动或被动地收集,最后加工成一系列的标签。比如猜用户是男是...

2019-08-08 23:21:35

系统学习机器学习之总结(三)--多标签分类问题

补充:(1)、Guide To Multi-Class Multi-Label Classification With Neural Networks In Python(2)、多标签分类(multilabel classification )1、使用caffe训练一个多标签分类/回归模型2、keras解决多...

2019-08-04 15:17:07

系统学习NLP(二十六)--BERT详解

转自:https://zhuanlan.zhihu.com/p/48612853前言BERT(BidirectionalEncoderRepresentations fromTransformers)近期提出之后,作为一个Word2Vec的替代者,其在NLP领域的11个方向大幅刷新了精度,可以说是近年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点:使用了Transfo...

2019-07-24 10:39:50

系统学习NLP(二十四)--详解Transformer (Attention Is All You Need)

转自:https://zhuanlan.zhihu.com/p/48508221推荐:http://jalammar.github.io/illustrated-transformer/前言注意力(Attention)机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域,例如在计算机视觉方向用于捕捉图像上的感受野,或者NLP中用于定位关键token或者特...

2019-07-18 16:58:07

系统学习NLP(二十三)--浅谈Attention机制的理解

转自:https://zhuanlan.zhihu.com/p/35571412Attentin机制的发家史Attention机制最早是应用于图像领域的,九几年就被提出来的思想。随着谷歌大佬的一波研究鼓捣,2014年google mind团队发表的这篇论文《Recurrent Models of Visual Attention》让其开始火了起来,他们在RNN模型上使用了attention...

2019-07-18 16:48:17

系统学习深度学习(四十三)--GAN简单了解

转自:https://www.leiphone.com/news/201706/ty7H504cn7l6EVLd.html之前GAN网络是近两年深度学习领域的新秀,火的不行,本文旨在浅显理解传统GAN,分享学习心得。现有GAN网络大多数代码实现使用Python、torch等语言,这里,后面用matlab搭建一个简单的GAN网络,便于理解GAN原理。GAN的鼻祖之作是2014年NIPS...

2019-06-26 00:23:02

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。