12 xieyan0811

尚未进行身份认证

移动开发者

等级
TA的排名 1k+

论文检索

科学文献数据库:http://arxiv.org查找arxiv上论文的工具:http://www.arxiv-sanity.com/, 可查找关键字相关的论文,并按时间远近排序,列表中也显示了introduce。show similar可查找与之类似的论文(内部使用tf/idf方法实现)...

2020-03-23 10:13:13

实战文本分类对抗攻击

文章写得比较长,先列出大纲,以便读者直取重点。“文本分类对抗攻击”是清华大学和阿里安全2020年2月举办的一场AI比赛,从开榜到比赛结束20天左右,内容是主办方在线提供1000条辱骂样本,参赛者用算法逐条扰动,使线上模型将其判别为非辱骂样本,尽量让扰动较小同时又保留辱骂性质(辱骂性质前期由模型判定,最终由人工判定)。比赛规则线上模型和评测使用的1000条样本不公开,选手根据赛方指定...

2020-03-15 10:29:56

Fasttext快速文本分类

Fasttext源于2016年的论文《Bag of Tricks for Efficient Text Classification》,论文地址:https://arxiv.org/pdf/1607.01759.pdf。论文非常短,加上References不过五页,Model architecture只有一页。深度学习神经网络在自然语言处理中表现非常优秀,但动辄几十层,上亿参数的大型网络速度慢...

2020-03-15 09:54:33

强化学习(一)基本概念和工具

引入强化学习是与人类的学习最为相似的一种算法,它根据现有的经验和当前的环境做出预判,然后选择下一步的目标和行动。强化学习、有监督学习、无监督学习,有着不同的方法和不同的使用场景。有监督学习适合解决具体而确定的,已知答案的问题,比如分类问题;无监督学习用于从大量数据中发现内在结构;而强化学习既不像有监督学习定义了绝对的对错,也不像无监督学习那样毫无反馈,它通过与环境的互动,环境对行为的反馈来...

2020-03-13 20:08:50

轻量级BERT模型ALBERT

BERT有很多改进版本,ALBERT是一个轻量化版本。ALBERT源自2020年的发表论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》,论文地址:https://arxiv.org/pdf/1909.11942.pdf。从题目可以看出,论文重点是轻量化BERT模型,以及优化了半监督学习,...

2020-03-13 12:16:01

少儿Python编程_第十七讲:互联网和Web服务

现在人们每天都在使用网络,交通、住宿、购物、外出吃饭大多数都用手机操作,甚至很多人出门都不带钱包。如果家里断网,或者手机断网,那么用微信、看新闻、看视频、网购、手机支付都将无法使用。网络到底是什么?每一台手机、电脑、以及远程的服务又是如何连接?如何传输数据?如何开发自己的网站,需要哪些技术?本讲将一一为读者解答。17.1 互联网早期接入网络的只有计算机,所以称为计算机网络,后来又有手机...

2020-03-12 16:51:40

序列对抗网络SeqGAN

SeqGAN源自2016年的论文《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》,论文地址:https://arxiv.org/pdf/1609.05473.pdf。其核心是用生成对抗网络处理离散的序列数据。之前介绍了使用GAN生成图像的方法,由于图像是连续数据,可以使用调整梯度的方法逐步生成图像,而离散数据...

2020-03-12 15:50:09

梯度攻击

模型攻击主要指人为地制造干扰迷惑模型,使之产生错误的结果。随着深度学习模型的广泛使用,人们发现它很容易被数据的轻微扰动所欺骗,于是开始寻找更加有效的攻击方法,针对攻击又有对抗攻击的方法,二者相互推进,不仅加强了模型的健壮性,有时还能提升模型的准确度。原理想让攻击更加有效,导致模型分类错误,也就是使损失函数的值变大。正常训练模型时,输入x是固定的,标签y也是固定的,通过训练调整分类模型的参数...

2020-03-11 10:23:53

自然语言处理——使用词向量(腾讯词向量)

向量化是使用一套统一的标准打分,比如填写表格:年龄、性别、性格、学历、经验、资产列表,并逐项打分,分数范围[-1,1],用一套分值代表一个人,就叫作向量化,虽然不能代表全部,但至少是个量度。因此,可以说,万物皆可向量化。词向量同理,词也可以向量化word2vec(word to vector),可以从词性、感情色彩、程度等等方面量度,用一套分值代表一个词,从而词之间可以替换,比较。词与向量...

2020-03-08 17:49:14

少儿Python编程_第十六讲:图形界面开发

运行在计算机上的程序一般分为命令行程序和图形界面程序,例如:安装Python三方模块的pip命令,软件版本管理的git命令等都属于命令行程序;而大多数软件使用图形界面,例如Windows的Word,Excel,画图等等软件都是图形化用户界面,简称GUI。在图形化用户界面中,用户可以用鼠标操作菜单、按钮等图形化组件,并从对话框等图型化组件中获取信息。实现图形化界面的方法与制作游戏界面的流程相似:...

2020-02-18 14:38:15

生成对抗网络GAN

生成对抗网络GAN是一种深度学习模型,它源于2014年发表的论文:《Generative Adversarial Nets》,论文地址:https://arxiv.org/pdf/1406.2661.pdf。GAN的用途非常广泛,比如:有大量的卡通头像,想通过学习自动生成卡通图片,此问题只提供正例,可视为无监督学习问题。不可能通过人工判断大量数据。如何生成图片?如何评价生成的图片好坏?GAN为...

2020-02-13 16:26:10

NLP模型应用之三:GPT与GPT-2

GPT模型GPT全称Generative Pre-Training,出自2018年OpenAi发布的论文《Improving Language Understandingby Generative Pre-Training》,论文地址:https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf。在自然语言处...

2020-02-12 14:16:19

NLP模型应用之二:BERT

引入BERT是谷歌在2018年10月发布的自然语言处理模型,它在十一项自然语言任务中打破记录,在有些任务中有显著提高,并超越了人类水平,被誉为开启了NLP的新时代。虽然,在之后又出现了大量新算法,这两年BERT仍然是各大比赛以及产品中的主流算法。论文地址:https://arxiv.org/pdf/1810.04805.pdf。BERT全称为Bidirectional Encoder Re...

2020-02-06 18:01:47

NLP模型应用之一:基础知识

引入2018年底发布的BERT模型和2019年初发布的GPT-2模型,开始挑战人类的语言处理能力。二者都基于之前介绍过的Transformer基础模型。对模型的研究有几个层次:研究基础模型、扩展模型、应用模型 研究基础模型 我们熟知的卷积神经网络CNN,循环神经网络RNN,Transformer模型,残差网络ResNet等等,都是底层模型,它们是神经网络应用的基础。 扩展模...

2020-01-31 15:29:02

Transformer-XL框架

引入Transformer-XL超长上下文的注意力模型,出自CMU和Google Brain在2019年1月发表的论文:《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》。其中XL是extra long的缩写,意为额外长度。论文地址:https://arxiv.org/pdf/1901.02860....

2020-01-31 14:53:14

国产的自然语言处理框架ERNIE

看到题目是否引发一些刻板印象?国产的自然语言处理,主要是用于处理中文?有没有用到最前沿的技术?是不是只提供服务,里面是黑盒?是否全面开源并提供模型?平台是否通用?本文将为您一一解答。ERNIE是继BERT,ELMo之后又一个以芝麻街人物命名的自然语言模型。ERNIE全称 Enhanced Language Representation with Informative Entities。...

2020-01-07 14:21:27

定向写作模型CTRL

介绍CTRL全称为Conditional Transformer Language有条件的文本生成模型,它始于Salesforce在2019年发布的论文《A Conditional Transformer Language Model for Controllable Generation》,该模型用于定向写作。论文地址如下:https://arxiv.org/pdf/1909.05858.p...

2020-01-03 13:55:57

Pytorch_Transformer框架

Transformer是Google团队在 2017 年提出的自然语言处理(NLP)框架,也是截至目前,最主流的NLP框架。BERT、GPT-2都是基于该模型的变形和扩展。Transformer的具体算法在论文《Attention Is All You Need》中描述。论文中展示了该模型的训练准确性高于之前所有模型,训练时间明显低于之前的模型,在训练集内容较少时训练效果也很好。它使用8个P1...

2019-12-25 20:03:40

Pytorch_Seq2Seq与Attention

自然语言处理是典型的序列问题,其底层算法在最近几年迅速发展,比如去年年底发布的BERT在11项自然语言处理任务中表现卓越,今年GPT-2生成文本(写作)的水平也有了显著提高。目前这些最先进的技术都基于Transformer模型,该模型从RNN,LSTM,Seq2Seq,Attention,ConvS2S,Transformer一步步进化而来,还涉及自然语言处理的相关知识,包含的知识点太多,无法...

2019-12-18 11:16:38

Pytorch_LSTM与GRU

RNN循环网络在序列问题处理中得到了广泛的应用。但使用标准版本的RNN模型时,常遇到梯度消失gradient vanishing和梯度爆炸gradient explosion问题。RNN的缺点RNN的梯度消失和梯度爆炸不同于其它网络,全连接网络和卷积网络每一层有不同参数,而RNN 的每个处理单元Cell(处理单个序列元素的操作称为处理单元Cell)共用同一组权重矩阵W。在上一篇介绍RNN网...

2019-12-11 14:18:53

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。