8 mishidemudong

尚未进行身份认证

我要认证

菜鸟上路,一颗红心,两手准备。

等级
TA的排名 355

基于BERT的超长文本分类模型

基于BERT的超长文本分类模型0.Abstract 1.任务介绍 数据集 评估方法 测试集 2.数据初步处理 3.Baseline模型 4. 数据进一步处理 分割文本 4.最终模型 第一部分: BERT 第二部分: LSTM + FC 最终效果和一些小节 5. 进一步拓展: BERT + Transformer0.Abstract本文实.

2020-10-29 16:38:53

sentencepiece原理与实践

1 前言前段时间在看到XLNET,Transformer-XL等预训练模式时,看到源代码都用到sentencepiece模型,当时不清楚。经过这段时间实践和应用,觉得这个方法和工具值得NLP领域推广和应用。今天就分享下sentencepiece原理以及实践效果。2 原理sentencepiece由谷歌将一些词-语言模型相关的论文进行复现,开发了一个开源工具——训练自己领域的sentencepiece模型,该模型可以代替预训练模型(BERT,XLNET)中词表的作用。开源代码地址为:https:/

2020-10-28 10:05:43

关于batch normalization和layer normalization的理解

目录一、batch normalization和layer normalization的动机二、BN和LN的框架原理2.1BN和LN的具体操作原理2.2BN和LN的优点和不足2.3BN和LN的不同2.4BN和LN的实例代码展示三、Bert、Transformer中为何使用的是LN而很少使用BN3.1第一个解释3.2第二个解释 在深度学习中经常看到batch normalization的使用,在Bert模型里面经常看到layer normalization...

2020-10-28 09:43:04

Facebook 号称击败谷歌,推出最强聊天机器人

By 超神经场景描述:Facebook 近日开源了新的聊天机器人 Blender,表现优于现有对话机器人,更具个性化。关键词:Facebook 聊天机器人 Blender4 月 29 日,Facebook AI 和机器学习部门 FAIR 发布博客宣布,经过多年研究,他们已近构建并开源了一个新的聊天机器人 Blender。Blender 结合了多种对话技能,包括个性、知识和同理心,能够使 AI 更具人性化。击败谷歌 Meena,更像人类FAIR 声称Blender 是 Git...

2020-10-27 09:57:26

端到端问答新突破:百度提出RocketQA,登顶MSMARCO榜首

开放域问答(Open-domain QA)一直是自然语言处理领域的重要研究课题。百度从面向端到端问答的检索模型出发,提出了RocketQA训练方法,大幅提升了对偶式检索模型的效果,为实现端到端问答迈出了重要的一步。RocketQA已逐步应用在百度搜索、广告等核心业务中,并将在更多场景中发挥作用。近日,百度提出了面向端到端问答的检索模型训练方法 RocketQA,该方法针对模型训练中存在的问题,通过跨批次负采样(cross-batch negatives)、去噪的强负例采样(denoised hard n

2020-10-23 14:51:08

百度发布首个大规模隐变量对话模型PLATO

百度于去年10月公布的基于飞桨开源深度学习平台开发的通用领域对话生成预训练模型PLATO,相关论文最近已正式被ACL 2020接收。PLATO是业界首个基于隐空间(Latent Space)的端到端的预训练对话生成模型。据悉,该模型利用隐向量来表示对话的潜在方向,从而达到对话内容丰富度和流畅度的显著提升。针对具体的对话任务,基于PLATO可以用少量数据训练得到非常流畅的对话系统。论文名称:PLATO:Pre-trained Dialogue Generation Model with Discr

2020-10-22 14:07:34

对话智能新高度:百度发布超大规模开放域对话生成网络PLATO-2

机器之心发布机器之心编辑部近日,百度发布对话生成网络 PLATO-2,宣布在开放域对话生成模型上迎来重要进展。PLATO-2 承袭 PLATO 隐变量进行回复多样化生成特性,模型参数高达 16 亿,涵盖中英文版本,可就开放域话题深度畅聊。实验结果显示,PLATO-2 中英文对话效果已超越谷歌 Meena、微软小冰和 Facebook Blender 等先进模型。百度 NLP 于去年 10 月预公布了通用领域的对话生成预训练模型 PLATO,近期在 ACL 2020 上展示。最近,百度又新发布了超

2020-10-22 10:33:32

基于知识图谱推理的关系推演

对于知识图谱的关注可以分为两个方面:知识图谱的构建和基于知识图谱数据结构的应用。知识图谱的构建主要关注如何整合结构化、非结构化的数据,实现用统一的语义数据结构如三元组RDF形式的数据存储。基于知识图谱的应用主要关注如何从这种语义数据结构中挖掘、发现、推演出相关的隐藏知识或新知识或者实现更上层的应用如搜索、问答、决策、推荐等,具体可以参考《三个角度理解知识图谱》。本文主要讲一下基于知识图谱推理的关系推演(或者叫做关系预测),主要包括如下几个方面:1、知识图谱推理的主要作用;2、知识图谱推理的基本原理;

2020-10-15 11:07:15

【比赛分享】刷新CoQA榜单纪录:基于对抗训练和知识蒸馏的机器阅读理解方案解析

本文首发于机器之心微信公众号,专栏留存。近日,在由斯坦福大学发起的对话式问答挑战赛 CoQA (Conversational Question Answering Challenge)中,追一科技AI Lab团队超越微软团队成为榜单第一[1],刷新了之前微软等团队创造的CoQA纪录。值得注意的是,团队提交的技术方案中,单模型的各项指标表现首次全面超越人类。CoQA Leaderboard一直以来,机器阅读理解都是自然语言处理界最受关注、进步最快的技术方向之一,主要有两大比赛较受瞩目,分别

2020-09-30 09:33:12

###haohaohao####揭秘认知图谱!从多跳阅读理解问答开始

【ACL 2019】揭秘认知图谱!从多跳阅读理解问答开始Phoenix Cat劝退人工智能新天坑“机器的阅读理解与问答”一直以来被认为是“自然语言理解(NLU)”的核心问题之一,随着BERT等模型的兴起,单段落的简单阅读理解任务取得了重大突破;研究者将目光转向更能体现机器智能的“多跳”“复杂”情形。本篇论文介绍了基于认知中“双过程理论(dual process theory)”的CogQA模型,文章提出一种新颖的迭代框架:算法模拟认知学中人类的两个认知系统,并维护一张认知图谱(Cogni..

2020-09-27 15:18:55

论文笔记--Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification (V-Net)

First published on indexfziq.github.io at 2019-03-08 14:00:00Introduction本文出自Baidu NLP Research,在MS MARCO的V1版本上是第二;V2版本上QA任务是第三,well-formed任务是第二。代码没公开,基本的思想就是提出两个辅助任务,辅助抽取更好的答案片段。Motivation这篇文章的动机很直接,文章对数据进行分析,提出一种假设:正确的答案往往在10个摘要中出现频率高,且具有很大的相似性;然

2020-09-25 09:03:21

【图机器学习】4篇 Graph Embedding 重要论文

第一篇:Deep WalkDeepWalk: Online Learning of Social Representations(2014,Bryan Perozzi)算法做什么的?输入:一个 graph 输出:每个节点对应的向量算法优点信息缺失下表现良好 数据稀疏的情况下表现良好 可用于大规模计算(算法可以并行化)social representations我们想让 social representations 有这样的特点Adaptability:真实世..

2020-09-14 16:47:44

机器阅读理解(MRC)和问答(QA)在信息抽取中的应用

一 机器阅读理解(MRC)、问答系统(QA)与信息抽取最近实体关系抽取任务和命名实体识别任务的SOTA模型排行榜中,有很多模型使用到了机器阅读理解(MRC)和问答系统(QA)中思想和方法,如HBT、ETL-span、Multi-turn QA和BERT_MRC等,MRC和QA中的思想和方法的使用,让这些模型相比于传统方法有很大提升。在实体关系抽取任务中,最新的一些模型,如HBT和ETL-span,用到了MRC中经常使用的指针网络方法,通过多层标注序列解决实体重叠问题;Multi-turn QA则使用

2020-09-11 14:24:51

机器学习-社区发现算法介绍(一):Infomap

在诸多互联网金融风控的场景里,团伙识别是相当重要的一项工作。如果恶意攻击者以团伙的方式尝试获取利益,比如骗贷、骗保、薅羊毛,通常都会给对应的公司带来不小的经济损失。团伙识别有各种各样的方法,其中最主要的方法就是“社区发现”(community detection)类算法,常规的方法有 Louvain,Label Propagation,Infomap 等等。算法核心思想社区发现类算法似乎并不存在一个最好的算法,因为在现实数据中对于社区或者说团伙的定义千差万别,不一定都跟算法的假设匹配。有一些学术文章

2020-09-10 09:02:17

知识蒸馏与推荐系统

「写在前面:」 这是一篇介绍 「【知识蒸馏】」 在 「【推荐系统】」领域应用的文章,算是知识蒸馏简述系列文章的延续,希望能对推荐领域的同学有所帮助。以下是本文的主要框架: A brief review KD & 推荐 Conclusion 「1. A brief review」「1-1 知识蒸馏回顾」当我们训练一个深度学习模型时,常常面临模型效果与工程性能冲突的问题。在监督学习中: 训练模型时,通常采用 「复杂模型」 或者 「Ensemble」 方

2020-09-04 17:55:47

Multimodal Machine Learning: A Survey and Taxonomy/多模态机器学习综述

1.介绍(introduction)2.历史回顾(review)3.表示(representation)4.映射(Translation/Mapping)5.对齐(Alignment)6.融合(Fusion )7.联合学习(Co-learning)8.结论(conclusion)以下是本人每一章节整理的笔记:1.介绍(introduction)论文总体介绍了多模态的五个方向/挑战:表示(representation)、映射(Translation)、对齐(Alignm

2020-09-03 16:54:37

游戏服务器架构演进(完整版)

http://gad.qq.com/article/detail/32876​这是王者荣耀技术分析系列第三篇,有兴趣请持续关注我的blog和公众号。1、像《王者荣耀》一样红过2、从《王者荣耀》来聊聊游戏的帧同步3、游戏服务器的架构演进想了解更多有料的原创文章,请关注我的公众号,大码侯(ID:cool_wier)一、游戏服务器特征游戏服务器,是一个会长期运行程序,并且它还要服务于多个不定时,不定点的网络请求。所以这类服务的特点是要特别关注稳定性和性能。这类程序...

2020-09-02 19:46:24

基于知识图谱的问答在美团智能交互场景中的应用和演进

导读:目前为止 IT 产业经历了六次浪潮,分别为:大型机时代,小型机时代,个人电脑时代,桌面互联网时代,移动互联网时代和 AIOT 时代。在这些时代背后可以发现是人机交互方式的变化:从鼠键交互,到触控交互,再到语音智能交互,可以看到人机交互的方式在向更自然更直接化的方式演进。今天会和大家分享基于知识图谱的问答在美团智能交互场景中的应用和演进。今天的介绍会围绕下面三点展开: 智能交互背景介绍 受限场景问答应用和演进 复杂场景问答应用和演进 ——智能交互背景介绍——1...

2020-09-01 14:21:39

#####好好好####盘点大数据在游戏行业中的应用

伴随应用商店和社交网络的兴起,游戏市场规模空前扩大,大数据和人工智能对于游戏运营特别是延长产品寿命的积极作用越发明显。但什么样的数据有价值?如何更有效的利用数据的价值?以及人工智能具体可以将游戏行业颠覆到何种程度?都逐渐成为游戏行业共同关注的问题。那么,游戏企业可以利用大数据为自己带来些什么?大数据为游戏行业带来了哪些变革?基于玩家所产生的海量数据,我们怎样去获取玩家的具体画像、他们的特点以及预测他们未来的一些行为以服务我们的运营、发行以及研发过程中的一些系统改造?我们围绕画像展开。举个例子,.

2020-09-01 11:32:46

端游、手游服务端常用的架构是什么样的?

作者:韦易笑链接:https://www.zhihu.com/question/29779732/answer/45791817来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。谢邀,手游页游和端游的服务端本质上没区别,区别的是游戏类型。类型1:卡牌、跑酷等弱交互服务端卡牌跑酷类因为交互弱,玩家和玩家之间不需要实时面对面PK,打一下对方的离线数据,计算下排行榜,买卖下道具即可,所以实现往往使用简单的 HTTP服务器:登录时可以使用非对称加密(RSA,.

2020-09-01 10:34:55

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 1024超级勋章
    1024超级勋章
    授予原创文章总数达到1024篇的博主,感谢你对CSDN社区的贡献,CSDN与你一起成长。
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享达人
    分享达人
    成功上传6个资源即可获取