5 iofu728

尚未进行身份认证

我要认证

A lazy man

等级
TA的排名 14w+

利用预训练语言模型拓展实体集合

???? Reading Group 的 pdf 版本今天介绍一个小众的 Task, 实体集合拓展(Entity set expansion).Empower Entity Set Expansion via Language Model Probing. ACL 2020.Yunyi Zhang, Jiaming Shen, Jingbo Shang, Jiawei Han任务的目标是拓展原有的实体集合,向其中添加相同类别的实体,注意这里的实体类别一般不是传统的 7 大 NER 类别,更偏向 Fi

2020-06-15 01:03:10

试谈语言模型中无监督非结构化知识融入

???? Reading Group 的 pdf 版本 blog 版本结构化/纯文本之前的一系列将知识融入 BERT 的工作大多基于 entity 三元组这种结构化数据.这就要求有大量且高质量的人工标注(当然我们有 HowNet, WordNet, WikiData), 人工标注必然出现大量噪声, 结构化数据更新周期普遍更长.MLM 的无监督是否是无监督的极限(当然 ERNIE 2.0 ...

2020-04-07 00:12:18

预训练模型中的可插拔式知识融入-利用Adapter结构

这些天冲浪 ???? 了一下 Arxiv,粗翻了一下二月之后 public 的 NLP 文章(有很大一部分是准备投 ICML 的)。也拜读了 张驰原 dalao 的新作《Exploring the Memorization-Generalization Continuum in Deep Learning》. (实验真的做的很漂亮,但感觉有点 data-special 不知道能不能推广到 NLP)...

2020-03-09 01:45:58

Transformer结构中获得相对位置信息的探究

传送一下知乎“原来你还关注了这个专栏”“这个博主还能敲键盘呀”没错,时隔半年,终于终于要更新了 ????(主要是我太咸鱼了这次主要讨论一下如何增强 Transformer 结构对获取相对位置信息的能力(即 Relative Position Embedding in Transformer Architecture)。Background事实上,Transformer 是一种建立在 ...

2019-12-30 14:52:47

多核操作系统中的自旋锁-『以XV6 & Linux 为例』

多核操作系统中自旋锁机制分析

2019-06-03 14:32:58

Linux批量配置神器zsh.sh

Linux 批量配置zsh脚本zsh.sh

2019-05-02 03:19:52

DeeCamp 2019 Exam A 纪实

DeeCamp Exam A 2019-04-27Radio: 5blank: 5QA: 1Time: 90min总的来说,感觉比去年简单多了(害啪

2019-04-29 11:44:53

究竟是道德的沦丧,还是现实的骨感,让携程反爬工程师在代码里写下这句话-『爬虫进阶第二弹』

js逆向实战

2019-04-22 13:06:10

你已经是一个成熟的爬虫了,应该学会自己去对抗反爬码农了

爬虫skill

2019-04-06 18:41:41

数一数Linux中有多少种线程同步策略-『Linux 源码解析(二)』

点这里排版好本来这篇应该是上周发的,拖延症又犯了

2019-03-25 00:18:36

试谈Linux下的线程调度-『Linux 源码解析(一)』

点这里排版好一点开学之后,作息一直很局促,喘不过气来借着高操这门课,应该会把Linux源码好好读一读今天先借胆来谈一下Linux下的线程调度策略PS: 以下解析的Linux kernel版本号为4.19.25Thread scheduleMotivation首先,为什么要有线程调度这种东西主要是因为人民日益增长的CPU需求和同落后的I/O速度之间的矛盾为了不让没准备好的CPU...

2019-03-11 01:23:34

浅谈多轮检索式对话最近的两篇SOTA-『MRFN』&『IMN』

多轮检索式对话new SOTA review

2019-02-05 23:20:57

直男届的杀手-『小冰』架构解析

小冰架构综述

2019-01-02 17:52:56

如何给码农的Mac开光

mac配置教程

2018-12-26 23:13:21

如何用NLP技术和标题党说拜拜-文本摘要

文本摘要综述

2018-12-24 17:31:31

numpy 最后一卷

点这里排版更好This is a note for numpy-1001. np.add.reduce() > np.sum() * np.sum(Z) # 调用np.add.reduce()实现 * np.add.reduce(Z) # 在reshape的时候会产生一个数组 * np.logical_and.reduce(arr3[:, :-1]<a...

2018-12-19 13:43:56

从ECMo、Bert看Word Embedding

从ECMo, Bert 看Word EMbed 发展史

2018-12-08 22:56:53

底层码农眼中的芯片

底层码农眼中国内国际芯片行业的压子

2018-12-06 22:27:32

In-Memory DBMS 『Peloton』技术简述

本文为Relaxed Operator Fusion for In-Memory Databases: Making Compilation, Vectorization, and Prefetching Work Together At Last[Menon, P. et al. 2017]的简述

2018-12-05 00:40:37

检索式人工智障识记

多轮检索式对话模型综述

2018-11-17 00:22:59

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。