- 博客(485)
- 资源 (115)
- 收藏
- 关注
RSS订阅原创 [论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models
从效果来看，不论预训练模型的大小，LoRA采用更少的参数，可以达到全参模型的更好的效果。
2023-06-13 23:45:00
1682
1
原创 [论文阅读笔记76]GPT Understands, Too(P-tuning)
思想与之前的两篇的差不多，这篇也做了很多实验，效果大部分可与fine tuning进行比较了。挺好的。
2023-06-12 23:28:27
1043
1
原创 [论文阅读笔记75]P-Tuning v2
这个实验效果是可喜的，特别在NLU的任务上，一个优势时，预模型不用太大，另一个不用保存多一份模型的副本。还有一个，这里采用了CLS&linear head来代替经典的。
2023-06-08 23:45:00
1505
1
原创 [论文阅读笔记74]The Power of Scale for Parameter-Efficient Prompt Tuning
实验还是比较多，有新发现。跟prefix-tuning很相似的。只是用的语言不同。
2023-06-07 22:01:32
1088
原创 [论文阅读73]Prefix-Tuning：Optimizing Continuous Prompts for Generation
有种做数学题采用辅助线的感觉，保留了原来的东西不变，加入一些内容，让问题更好解决。虽然本质不同，可是真的有点像的。采用极少的参数去微调任务的适应性；采用一种连接的方法去挖掘其中的知识，NLP新一代的训练范式已来，软件的新一代的开发模式已来，以后大模型是一种不可或缺的内容。
2023-05-29 23:45:00
581
原创 [论文阅读72]Parameter-Efficient Transfer Learning for NLP
提出了与transformer相结合的adapter模型，可以在训练少参数的情况下达到全调的效果。想法很不错，效果也是比较好的。
2023-05-23 15:14:56
715
原创 [论文阅读71]SELF-INSTRUCT
定义指定集为It\{I_t\}It每个指令定义成一个NLP任务t。对于每个任务又有数据实例XtYt（X_t,Y_t）XtYtMItxyforxy∈XtYtM({Itxyforxy∈XtYt举例：instance output y: 采用模型M业计算为了让模型生成多样性，x可设置为空的。
2023-03-21 22:45:38
657
1
原创 [论文阅读笔记70]基于token-token grid模型的信息抽取（5篇）
忽略三元组依赖信息，会造成级联错误与信息冗余，提出了OneRel: 把实体关系联合抽取看成fine-grained triple分类任务来处理，由scoring-based classififier 与 relation-specifific horns tagging strategy组成。效果SOTA。1. 把联合抽取任务转制换成一个粒度三元组分类问题。2. 提出了基于分数分类器与Rel-Spec Horns标注策略的单步联合单模型。评分函数会影响模型效率；在其实信息抽取任务的深探。
2022-10-18 02:00:00
985
3
原创 [论文阅读笔记69]医学术语标准化-CODER
提出了KG的对比训练模型；对现有医疗嵌入进行评估。zero-shot术语标准化、医学概念相似性度量和概念关系分类任务中实现了最先进的结果（ state-of-the-art）；CODER是第一个跨语言的医学术语表示，支持英语、捷克语、法语、德语、意大利语，日语、葡萄牙语、俄语、西班牙语、荷兰语和汉语。...
2022-08-18 13:47:38
1034
原创 [论文阅读笔记67]Chinese NER by Span-Level Self-Attention
1. 基本信息题目论文作者与单位来源年份Chinese NER by Span-Level Self-AttentionXiaoyu Dong，Xin Xin，Ping Guo 北京理工大学201915th International Conference on Computational Intelligence and Security (CIS)1 Citations, 20 References论文链接：https://sci-hub.st/https://i
2022-03-29 23:30:00
1156
原创 [论文阅读笔记66]R-BERT
1. 基本信息题目论文作者与单位来源年份Enriching Pre-trained Language Model with Entity Information for Relation ClassificationShanchan Wu Yifan He Alibaba Group (U.S.) IncCIKM2019R-BERT128 Citations, 32 References论文链接：https://arxiv.org/pdf/1905.08284.p
2022-03-22 00:00:00
1252
1
原创 [论文阅读笔记65]Template-Based Named Entity Recognition Using BART
1. 基本信息题目论文作者与单位来源年份Template-Based Named Entity Recognition Using BARTLeyang Cui（Zhejiang University），Yu Wu（Microsoft Research Asia），Westlake UniversityACL2021 - Findings202118 Citations, 36 References论文链接： https://aclanthology.org
2022-03-05 00:00:00
4318
原创 [论文阅读笔记64]A Unified Generative Framework for Various NER Subtasks
1. 基本信息题目论文作者与单位来源年份A Unified Generative Framework for Various NER Subtasks复旦大学，邱锡鹏组ACL202113 Citations, 70 References论文链接： https://arxiv.org/pdf/2106.01223.pdf论文代码：https://github.com/yhcc/BARTNER2. 要点研究主题问题背景核心方法流程亮点数据集结论
2022-03-04 00:00:00
5390
11
原创 [论文阅读笔记63]Span-based Joint Entity and Relation Extraction with Transformer Pretraining
1. 基本信息题目论文作者与单位来源年份Span-based Joint Entity and Relation Extraction with Transformer Pre-trainingMarkus Eberts ,Adrian Ulges,莱茵曼应用技术大学ECAI201976 Citations, 50 References论文链接：https://arxiv.org/abs/1909.07755论文代码：https://github.com/marku
2022-03-03 13:49:01
661
2
原创 [论文阅读笔记62]KnowPrompt - Knowledge-aware Prompt-tuning with Synergistic Optimization for RE
1. 题目KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extractionthe paper has been accepted by WWW2022.Alibaba Group && Zhejiang University2. 模型2.1 摘要把关系标签之间的知识整合到关系提取的prompt-tuning中，并提出了一种使用协同优化的Knowledge-
2022-02-14 18:01:28
2310
1
原创 [论文阅读笔记61]ClusTi：Clustering Method for Table Structure Recognition
Zucker, A., Belkada, Y., Vu, H. et al. ClusTi: Clustering Method for Table Structure Recognition in Scanned Images. Mobile Netw Appl 26, 1765–1776 (2021). https://doi.org/10.1007/s11036-021-01759-9法国巴黎索邦大学KeywordsTable structure recognitionObject rec.
2021-11-24 17:53:29
898
原创 [论文阅读笔记60]Neuralizing Regular Expressions for Slot Filling
题目：Neuralizing Regular Expressions for Slot Filling（神经正则表达实体抽取） 上海科技大学，屠可伟团队摘要：解决Slot Filling任务，通过把符号规则转换神经网络相集成的方法进行研究。整体方案：预备知识：正则表达（略）FST（Fifinite State Transducer，有限状态转换器）查阅相关资料【6】：有限自动机（Finite Automata, FA） 是由一组有限的状态和状态转移的集合组成，其每一个转移
2021-11-11 12:59:30
603
原创 [论文阅读笔记59]TextBrewer(开源知识蒸馏NLP工具)
论文：TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing哈工大，讯飞1. 简介TextBrewer是一个基于PyTorch的、为实现NLP中的知识蒸馏任务而设计的工具包， 融合并改进了NLP和CV中的多种知识蒸馏技术，提供便捷快速的知识蒸馏框架， 用于以较低的性能损失压缩神经网络模型的大小，提升模型的推理速度，减少内存占用。TextBrewer结构:流程:Sta
2021-09-26 12:08:15
886
原创 [论文阅读笔记58]Learning from Noisy Labels with Deep Neural Networks：A Survey
1.题目Learning from Noisy Labels with Deep Neural Networks: A Survey作者团队：韩国科学技术院（KAIST）Song H , Kim M , Park D , et al. Learning from Noisy Labels with Deep Neural Networks: A Survey. 2020.2. 摘要重述问题：从监督学习的角度来描述使用标签噪声学习的问题；方法回顾：对57种最先进的鲁棒训练方法进行了全
2021-08-28 07:16:19
4816
原创 [论文阅读笔记57]NLP低资源的方法综述
1.题目A Survey on Recent Approaches for Natural Language Processing in Low-Resource Scenarios萨尔大学2.摘要（1）给出了当前致力于低资料NLP的广泛性与结构性概述；（2）分析低资源设置的不同方面；(3) 突出介绍必要的资源和数据假设，作为对从业者的指导；(4) 讨论开放问题与未来的展望。低资源的总体：3.相关综述生成额外标签数据Data Augmentation–使用有标注的样本信息，去扩
2021-08-28 07:14:09
1089
原创 [论文阅读笔记56]基于标注(NovelTagging方法)实体与关系联合抽取-ACL2017
论文：Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme1. 题目Zheng S,Wang F,Bao H,et al.Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme.ACL 2017获得了Outstanding paper2. 背景研究关系与实体加联合学习的问题；本文只考虑了一个实体属于一个三元组
2021-08-18 22:59:45
989
原创 [论文阅读笔记55]弱监督在电子病历的医学研究（之二）
论文都出自 Stanford University的 ，作者与[论文阅读笔记50]弱监督在电子病历的医学研究（之一）相同；论文2-（Nature）：Ontology-driven weak supervision for clinical entity classification in electronic health records题目参考：Fries, J.A., Steinberg, E., Khattar, S. et al. Ontology-driven weak supervisio
2021-08-13 19:06:16
209
1
原创 [论文阅读笔记54]面向实体对齐的多视图知识图谱嵌入方法
1. 题目Multi-view Knowledge Graph Embedding for Entity Alignment面向实体对齐的多视图知识图谱嵌入方法论文：https://arxiv.org/pdf/1906.02390.pdf代码：https://github.com/nju-websoft/MultiKE2. 研究背景研究的问题：知识图(KGs)之间基于嵌入的实体对齐问题；目前存在问题：以前的方法主要是在实体关系结构上，后面也有把属性加入作为特征，可是也有大量的实体特征未被去
2021-08-13 19:05:33
1357
原创 [论文阅读笔记53]2021深度神经方法的关系三元组抽取综述
1. 题目Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive SurveyTapas Nayak†, Navonil Majumder, Pawan Goyal†, Soujanya PoriaIIT Kharagpur, India 印度理工学院 – 被称为印度“科学皇冠上的瑰宝”Singapore University of Technology and Design, Singapore 新加坡科
2021-08-13 09:26:27
3634
1
原创 [论文阅读笔记52]深度学习实体关系抽取研究综述
来源：软件学报 20191.摘要：围绕有监督和远程监督两个领域,系统总结了近几年来中外学者基于深度学习的实体关系抽取研究进展,并对未来可能的研究方向进行了探讨和展望.2.经典的实体关系抽取方法有监督[基于特征和基于核函数的方法,研究词汇、句法和语义特征对实体语义关系抽取的影响]、半监督、弱监督和无监督3.定义实体关系抽取：是指在实体识别的基础上,从非结构化文本中抽取出预先定义的实体关系.—这里研究的时关系抽取，不讨论实体抽取.“实体关系抽取”这里不理解为“实体抽取与关系抽取”。基于深度学习
2021-08-10 21:46:22
1399
原创 [论文阅读笔记51]关系抽取【DNN】综述(监督与远程监督)
题目Deep Neural Network Based Relation Extraction: An Overview单位：University of Electronic Science and Technology of China内容1. 框架分为四个部分：数据集，句子表示，特征抽取，分类器这个框架是比加传统的关系抽取方法了。2. 相关概念Neural Networks：Convolutional Neural Networks (CNNs)，Recurrent Neural Ne
2021-08-04 18:41:10
1249
原创 [论文阅读笔记50]弱监督在电子病历的医学研究（之一）
两篇论文都出自 Stanford University的 ，作者相同；论文1-（Nature）：Medical device surveillance with electronic health records题目使用电子医疗记录去监控医疗设备https://www.nature.com/articles/s41746-019-0168-z.pdfhttps://github.com/som-shahlab/ehr-rweCallahan A , Fries J A , C Ré, et al
2021-08-03 17:45:20
176
原创 [论文阅读笔记49]UmlsBERT
题目UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus == 2020==滑铁卢大学使用UMLS的Metathesaurus进行上下文embedding的临床领域知识的增强研究的问题对于类似BioBert,Bio_ClinicalBERT这些预训练模型没有加入结构化专家数据；使用UMLS机
2021-07-20 22:41:03
374
1
原创 [论文阅读笔记48]BLURB
一，题目Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing作者：YU GU, ROBERT TINN, HAO CHENG, MICHAEL LUCAS, NAOTO USUYAMA, XIAODONG LIU, TRISTAN NAUMANN, JIANFENG GAO, HOIFUNG POON机构：Microsoft Research年份：2021二，研究背景三，主要内容
2021-07-20 09:44:53
578
原创 [论文阅读笔记47]ZEN-BERT-based Chinese (Z) text encoder Enhanced by N-gram representations
题目ZEN: Pre-training Chinese Text Encoder Enhanced by N-gram Representations作者：Shizhe Diao, Jiaxin Bai, Yan Song, Tong Zhang, Yonggang Wang机构：创新工厂，香港科技大学年份：2019研究的问题：关注预训练字符编码问题。对句子的细粒度例如词，子词，字符等相关的细片边界问题研究，中文的这个特点特别明显，中文的词或词组都是没边界标准的。文章通过引用N-gram来处理
2021-07-15 23:18:42
757
2
原创 [论文阅读笔记46]ACEMR语料及分词与医学概念识别
题目Exploring Word Segmentation and Medical Concept Recognition for Chinese Medical Texts中文医学文本分词与医学概念识别研究香港中文大学摘要问题：要处理电子病历，可是医学数据集缺乏。贡献：收集了电子病历 – ACEMR（有人工标注的），运行模型BiLSTM,BERT,ZEN; 还有系统：WMSeg，TwASP实验结果证明了建立一个专用医疗数据集的必要性，并表明利用额外资源的模型在这两个任务中达到最佳性能，为未来
2021-07-12 22:24:30
721
3
原创 [论文阅读笔记45]ChineseBLUE[MC-BERT]
一，题目Conceptualized Representation Learning for Chinese Biomedical Text Mining中文生物医学文本挖掘的概念化表示学习Ningyu Zhang, Qianghuai Jia, Kangping Yin, Liang Dong, Feng Gao, and Nengwei Hua. 2020. Conceptualized Representation Learning for Chinese Biomedical Text Min
2021-07-12 22:23:44
1997
5
原创 [论文阅读笔记44]Named Entity Recognition without Labelled Data：A Weak Supervision Approach
一，题目Named Entity Recognition without Labelled Data：A Weak Supervision Approach无标记数据的命名实体识别: 一种弱监督方法挪威奥斯陆大学 — 挪威二，摘要问题：在目标域没有手工标记的数据时，NER怎么进行问题？解决：提出弱监督方案；依赖于广泛的标签函数来自动注释目标域的文本，然后使用Markov模型把这些标签整合在一起，把整合后的标注送入到最终的NER模型进行识别。效果：经过两个英文数据集做实验在实体层次上有7个
2021-07-08 21:28:11
670
原创 [论文阅读笔记43]Hierarchical Multi-Label Classification Networks
一，题目Hierarchical Multi-Label Classification Networks层次多标签分类网络Wehrmann J , R Cerri, Barros R C . Hierarchical Multi-Label Classification Networks[C]// International Conference on Machine Learning. 2019.里奥格兰德天主大学 – 巴西圣卡洛斯联邦大学 – 巴西二，摘要主要解决层次多标
2021-07-07 22:20:26
3513
3
原创 [论文阅读笔记42]BioSyn
题目Biomedical Entity Representations with Synonym Marginalization具有同义词边缘化的生物医学实体表示Korea University （韩国）高丽大学代码：https://github.com/dmis-lab/BioSynSung M , Jeon H , Lee J , et al. Biomedical Entity Representations with Synonym Marginalization[J]. Proc
2021-06-20 13:53:21
1046
原创 [论文阅读笔记41]关于医学的bert专题
论文1：BioBert论文题目：BioBERT: a pre-trained biomedical language representation model for biomedical text mining论文地址:https://arxiv.org/abs/1901.08746项目地址:https://github.com/naver/biobert-pretrained论文概要：Korea University， 以通用领域预训练bert为初始权重，基于Pubmed上大量医疗领域英文..
2021-06-20 13:41:47
2625
原创 [论文阅读笔记40]recall与rank相结合的多视角中文过程术语标准化
题目2021 - A multi-perspective combined recall and rank framework for Chinese procedure terminology normalization解决中文术语标准化； 华东理工大学https://github.com/sxthunder/CMTNhttps://arxiv.org/pdf/2101.09101.pdf摘要提出一个关于召回和排名的组合框架.由多任务候选生成器(MTCG)，关键字关注力排名器(KAR)，融
2021-06-08 22:41:55
553
原创 [论文阅读笔记39]中文医学概念标准化(共病网络)
一，题目Chinese Medical Concept Normalization by Using Text and Comorbidity Network EmbeddingY. Zhang, X. Ma and G. Song, “Chinese Medical Concept Normalization by Using Text and Comorbidity Network Embedding,” 2018 IEEE International Conference on Data Mini
2021-06-08 22:38:10
631
2
原创 [论文阅读笔记38]基于多标准主动学习EMR实体识别方法
题目A method based on multi-standard active learning to recognize entitiesin electronic medical record一种基于多标准主动学习的电子病历实体的识别方法School of Computer Science and Technology, Donghua University, Shanghai 201620, China摘要解决人工标注数据问题；提出基于多标注主动学习来标注实体识别的方法；三个关键标准
2021-05-27 18:31:25
317
fasttext.zip[windows]
2017-11-19
presto-cli-0.184-executable.jar
2017-09-24
apache-flume-1.7.0-bin.tar.gz
2017-09-23
apache-maven-3.3.9-bin.tar.gz
2017-09-16
hbase-1.3.1-src.tar.gz
2017-09-16
zookeeper-3.4.9.tar.gz
2017-09-15
tensorflow-0.12.1-cp35-cp35m-win_amd64
2017-02-22
zh_msra_onto4_mrc4ner.zip
2021-03-02
SemEval2010_task8_all_data
2020-05-25
en_core_web_sm
2020-05-25
sighan-bakeoff
2018-08-16
crf++_0.58[linux and win]
2018-01-14
Twisted系列教程等
2017-12-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人