- 博客(56)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 《DocRED: A Large-Scale Document-Level Relation Extraction Dataset》阅读笔记
DocRED 这个数据集是清华大学NLP实验室，为了将关系抽取系统从句子级别推进到文档级开源的一个有影响力的数据集。该数据集具有数据规模大、需要在多个句子上进行阅读和推理的特点，并提供了远程监督数据来促进弱监督文档级关系抽取的开发。实验表明，人类表现明显优于关系抽取基准模型，这表明该领域还有充足的改进空间。
2023-07-24 22:38:35
293
原创 拥抱生成式大模型 --- 提示工程篇
提示参考：你的任务是 对于从商品网站中的评论生成一个简短的摘要，反馈给XX部门。对下面三个引号中的评论进行摘要，最多不超过30字。‘’’评论内容‘’’本文内容基于吴恩达老师课程的笔记。但是提示工程易学难精，尤其是实际使用，可能是私有部署的其他模型，提示工程虽然原则相同，但也有差异性需要摸索。
2023-05-21 02:08:09
845
原创 拥抱生成式大模型 -- langchain篇 （博客搬家至知乎，同步更新）
到目前为止，我们一直只是单独使用PromptTemplate和LLM原语进行操作。但是，实际的应用不仅仅是一个原语，而是由它们的组合构成的。在LangChain中，链由链接组成，链接可以是LLM等原语或其他链。最核心的链类型是LLMChain，它由一个PromptTemplate和一个LLM组成。延续前面的例子，我们可以构建一个LLMChain，它接受用户输入，使用PromptTemplate对其进行格式化，然后将格式化的响应传递给LLM。
2023-05-04 23:31:40
4625
原创 DDIA（《数据密集型应用系统设计》）的阅读随笔：第5章 数据复制
DDIA读书笔记，第5章数据复制部分的内容，涵盖单主、多主和无主，讨论话题设计复制的同步和异步以及复制滞后的解决方案
2022-06-04 17:35:26
425
原创 LeetCode 216. Combination Sum III
LeetCode 216. Combination Sum III题目描述约束样例Example 1:Example 2:Example 3:Example 4:Example 5:题解题目描述Find all valid combinations of k numbers that sum up to n such that the following conditions are true:Only numbers 1 through 9 are used.Each number is used
2021-02-09 22:15:47
103
原创 论文笔记: Quantifying Similarity between Relations with Fact Distribution
论文笔记: Quantifying Similarity between Relations with Fact DistributionAuthor: Weize Chen, Hao Zhu, Xu Han, Zhiyuan Liu, Maosong SunTsinghua, CMU来源：ACL2019链接:https://arxiv.org/pdf/1907.08937.pdf动机...
2020-05-03 13:36:15
489
1
原创 Matching the Blanks: Distributional Similarity for Relation Learning论文笔记
动机本文主要在于设计一个通用的关系抽取器，即学到一个合适的关系的表达，可以对任意关系建模。之前的工作，如利用Surface Form来表示关系，或者借助知识库中关系的定义，但这两类方案都需要事先定义好关系，泛化能力较弱。本文受到word2vec中的分布式假设（Harris’ distributional hypothesis）的启发，想利用上下文将关系编码成一个固定长度的向量。这就将关系抽取的...
2020-02-24 00:34:01
2976
7
原创 ALBERT论文笔记
1. 论文研读笔记1.1 研究动机Bert系列近期又一篇值得去看的论文，相比于RoBerta对于调参的偏向，Albert出发点其实是模型的压缩，即减少模型参数的同时，尽可能保证Bert模型对于下游任务的性能。减小模型参数的好处文章给出了明晰的归纳：1）降低显存压力 2）提高训练速度 3）增加模型泛化能力（类比正则） 。 其实，从文章的实验思路，还有一条非常很强烈的动机，即如何把bert模型做的...
2019-12-17 22:37:58
638
原创 Single Headed Attention RNN: Stop ThinkingWith Your Head 论文笔记
1 研究动机选择这篇论文来读，有一点奇文共欣赏的意思。 区别于现在主流的框架比拼算力，本文重新思考是不是可以通过lstm 和 单头的attention就可以在2 研究内容和方法3 创新点和个人点评...
2019-12-12 00:48:15
1028
原创 RoBERTa 论文研读笔记
写在前面这篇博客一是补课，之前DataWhale的论文阅读，我因为参与课题申报等原因，没有仔细的去研读Bert系最新的几篇论文；二来，也是为自己带的预研团队开一个头，让产学研结合能在开始是就写入这个组的骨髓。1 研究动机2 研究方法3 创新点分析4 个人点评...
2019-11-29 16:46:44
803
原创 深度学习框架 坑点集中贴 （持续更新）
坑点一： Tensorflow 卷积报错详细描述： RTX2070 + 驱动 410 + cuda 10.0 + cudnn 7.5.0 环境报错内容：UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking...
2019-11-21 00:08:02
160
原创 XLnet论文研读
1. 论文研读笔记写在前面最近事情实在太多，这真不是借口，而是确实挤占我几乎所有的工作外的时间，一度让我苦恼的想离职。。。 xlnet这篇文章看了很久，这个总结是我自己回忆了一下，自己写了一点，然后来不及贴了点我认为特别好的博客，拼凑而成，后面有空一定会重新再好好重写这个系列 Transformer - elmo- bert- transformerxl - xlnet-- bert的各...
2019-10-13 19:36:02
277
原创 leetcode 135. Candy
题目描述There are N children standing in a line. Each child is assigned a rating value.You are giving candies to these children subjected to the following requirements:Each child must have at least one...
2019-10-11 16:38:42
105
原创 leetcode 97. Interleaving String
写在前面自从毕业以后，好久没有去刷题了。但看久了论文，有时候发现刷题可以找回简单的快乐，所幸查遗补缺，争取尽量每天刷上一到medium以上的题，感觉有的意思的就做个笔记 。1. 题目描述Given s1, s2, s3, find whether s3 is formed by the interleaving of s1 and s2.Example 1:Input: s1 = “aa...
2019-09-17 14:16:16
118
原创 ACL 19 论文阅读---Cognitive Graph for Multi-Hop Reading Comprehension at Scale （待完善）
1. 论文研读笔记1.1 研究动机本文是唐杰老师组在ACL2019上的一篇长文。本文针对机器阅读现在的三个挑战：推理能力，可解释性和规模性，论文基于Dual process theory设计了Cognitive Graph QA架构，来实现多跳的阅读理解。下图可以简单展示本文的多跳阅读的概念：1.2 研究方法本文的核心架构如下，系统1在抽取与问题相关的实体并编码语义向量，系统2利用图神经...
2019-09-08 21:00:34
2486
原创 Fine-Grained Entity Typing in Hyperbolic Space
1. 论文研读笔记1.1 研究动机本文的一个重要的理论是论证双曲线嵌入能更好的编码层次信息，从而将其应用于细粒度的命名实体分类任务。1.2 研究方法本文的结构如下：1.3 实验结果1.4 个人点评（本周论文的理论性太强，且拓扑学方面是我的数学盲区，实在需要后面仔细去看。本周周六才出差回来，且飞机延误3个小时以上，实在身心俱疲。这篇博客只是表示我粗看了论文，但是后面我需要在抽时间...
2019-08-25 18:58:05
438
1
原创 命名实体识别论文笔记：Chinese NER Using Lattice LSTM
1. 论文研读笔记1.1 研究动机本周研读的论文是Chinese NER Using Lattice LSTM, 这篇文章发表于ACL 2018，应该是预训练模型大行其道之前，命名实体识别的STOA。本文的核心思想是在基于字的LSTM+crf的经典模型的基础上，将词的信息也编码进去，利用大量自动分词的语料来加强对于命名实体边界的认识。1.2 研究方法lattic的基本结构依然是基于字的LS...
2019-08-18 19:17:28
818
原创 （ACL2019专题)一 Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning
1. 论文研读笔记因为恰逢ACL2019召开，这段时间扫一下ACL比较有意思的文章。恰逢最近有一个命名实体识别的比赛，也就顺便看到这篇文章，感觉对于用少量标准数据进行学习的任务，会成为NLP的热点，之前看过面向关系抽取的，这次则是面向命名实体识别之类的序列标注任务。1.1 研究动机1.2 研究方法标注机制因为字典不能够保证包含句子中所有的实体单词，所以本文并没有使用传统的BIO或者BIO...
2019-08-11 19:43:26
1591
1
原创 对话系统（四）Denoising Distantly Supervised Open-Domain Question Answering
1. 论文研读笔记1.1 研究动机本文是刘知远老师组在ACL2018的一篇长文，同样是面向开放域的问答，其实从方法学的角度看，和上一篇陈丹琦的文章DrQA有类似的思路，基本基于两个阶段，即段落检索和段落阅读。本文的一个侧重点是，在DS-QA系统中无法存在有问题信息或实体但内容和问题关系不大的噪声段落情况下，引入一个基于和问题相关度的权重，从而实现去噪。1.2 研究方法本文的架构整体如下图所...
2019-07-28 21:10:42
331
原创 对话系统（三）Reading Wikipedia to Answer Open-Domain Questions
1. 论文研读笔记1.1 研究动机本周的论文让人兴奋，陈丹琦大神的大作早就想拜读一下。从NLP的角度来看，是从Manning的丹琦大神，算是少林武当嫡传弟子，我辈海沙派外门弟子正该全面研究拜读，说不定能学个正宗入门心法，哈哈。 话不多少，回归主题，这篇文章的工作来到了开放域问答，问答的基础是基于wiki。 这篇文章一个很大的亮点是，只基于wiki，而不考虑外部知识库的辅助 。从单变量的角度看，...
2019-07-21 21:21:46
740
原创 对话系统（二）LSTM-based Deep Learning Models for Non-factoid Answer Selection
1. 论文研读笔记1.1 研究动机本文可以算是问答系统的经典工作之一，文章是ICLR2016，来源于IBM的watson团队。文章着眼的任务可以算是对话系统最基本的任务，即给定一个问题，从回答候选池（answer condidate pool) 选择一个最佳答案。1.2 研究方法本文的思路现在看来，其实还是比较清晰简明的。 最基本的想法是将问题通过Bi-lstm 编码成一个向量，答案同样通...
2019-07-11 00:24:43
931
原创 对话系统（一） 综述篇 Review of spoken dialogue systems 和 A Survey on Dialogue Systems
1. 论文研读笔记这一期的论文研读开始涉入对话系统，这一自然语言处理目前学术界和工业界最为关注的话题。 在深入研究的开始，我们从综述开始学习，先浏览一下，这个方向比较主流的一些研究成果，从而展开更为深入的论文阅读。本期的综述，主要来源于两篇文章《Review of spoken dialogue systems》（López-Cózar et al., 2015）和 《A Survey on D...
2019-07-07 21:19:22
1164
原创 NLP论文精读系列（二） Style Transformer
1. 论文研读笔记1.1 研究动机这次分析的文章是复旦大学邱锡鹏老师组的最新的工作—Style Transformer: Unpaired Text Style Transfer withoutDisentangled Latent Representation。 工作是关于文本风格迁移的，十分有意思。关于风格迁移的工作，其实图像领域非常的多，从最早的油画转简笔画，到后来给照片或者图片转成名...
2019-06-19 21:33:25
2537
1
原创 NLP论文精读系列（一）BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
1. 论文研读笔记1.1 研究动机Bert 作为最近最为热门，甚至可以称为近期NLP 里程碑式的研究成果，是值得仔细品读的。1.2 研究方法1.3 实验结果1.4 创新点1.5 个人点评2. 模型调试心得2.1 模型地址2.2 模型运行环境2.3 数据集选择与下载2.4 模型运行步骤2.5 问题与解决方法汇总2.6 个人点评...
2019-06-12 21:55:48
612
原创 关系抽取专题（四）--Neural Relation Extraction with Selective Attention over Instances
1. 论文研读笔记1.1 研究动机1.2 研究方法1.3 实验结果1.4 创新点。1.5 个人点评2. 模型调试心得2.1 模型地址2.2 模型运行环境2.3 数据集选择与下载2.4 模型运行步骤2.5 问题与解决方法汇总2.6 个人点评...
2019-05-29 18:20:29
750
原创 关系抽取专题（三）Relation Classification via Multi-Level Attention CNNs
1. 论文研读笔记1.1 研究动机这是关系抽取经典论文的第三篇，这篇论文是叉院大神在16年ACL上的长文。这篇文章采用的基本方法是CNN, 个人揣测作者认为关系抽取这个任务，特征的选取优先级高于对于文本的语言模型的顺序。当然，作者主要的思路其实是把attention机制做得更为精致，毕竟关系抽取和普通文本分类本质的区别是，有明确的实体。其实，对于目标函数的优化，也是这个出发点。1.2 研究方...
2019-05-22 08:31:02
755
原创 关系抽取专题（二）Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification
1. 论文研读笔记1.1 研究动机本文是中科院自动化所在16年ACL上发表的一篇短文，是关系抽取非常经典的一个工作。本文的主要动机，是将当时在NLP的很多任务上成功应用的BiLSTM+attention架构应用到关系抽取，这个框架的好处是完全的端到端，不用做任何的特征工程。上一篇的CNN虽然减少了很多特征选择的工作，但还是精心设计了词汇特征和句子特征，精心选取了上为词和位置编码，而本文则是完全...
2019-05-15 23:45:29
1403
6
原创 关系抽取专题（一）Relation Classification via Convolutional Deep Neural Network
1. 论文研读笔记1.1 研究动机1.2 研究方法1.3 实验结果1.4 创新点1.5 个人点评2. 模型调试心得2.1 模型地址2.2 模型运行环境2.3 数据集选择与下载2.4 模型运行步骤2.5 问题与解决方法汇总2.6 个人点评...
2019-05-08 22:08:45
1434
原创 spark windows环境搭建和初探
基本环境配置java jdk 1.8 安装安装scalar 环境，可以直接安装绿色版本，配置 SCALA_HOME以及path 即可， 安装成功后，输入scala，可以进入scala命令行，按:q 退出。ide 安装，推荐 IntelliJ安装scala 插件， File - setting-plug inintellj 可能需要配置JDKscala lib 安装 项目右键-&g...
2019-05-08 10:13:36
84
原创 NLP基础学习9（本次结伴学习完结篇，撒花）--TextRNN
终于来到最后一期，也是目前NLP最常用的架构RNN，及其各种变种。具体来看，本次总结的主要内容：RNN的结构。循环神经网络的提出背景、优缺点。着重学习RNN的反向传播、RNN出现的问题（梯度问题、长期依赖问题）、BPTT算法。双向RNNLSTM、GRU的结构、提出背景、优缺点。针对梯度消失（LSTM等其他门控RNN）、梯度爆炸（梯度截断）的解决方案。Text-RNN的原理。利用Tex...
2019-04-27 18:26:21
511
原创 NLP基础学习8--TextCNN
终于到了卷积神经网络，这一次的任务是：卷积运算的定义、动机（稀疏权重、参数共享、等变表示）。一维卷积运算和二维卷积运算。反卷积(tf.nn.conv2d_transpose)池化运算的定义、种类（最大池化、平均池化等）、动机。Text-CNN的原理。利用Text-CNN模型来进行文本分类卷积卷积在信号处理中是一个基本的运算，它的基本定义为：(f∗g)(x)=∫−∞∞f(τ)g(...
2019-04-25 21:45:41
277
原创 NLP基础学习7-word2vec
感觉手指的伤好了不少，就继续争取做一个早鸟。这一次的任务是NLPer熟悉的不能再熟悉的word2vec, 具体来看：文本表示：从one-hot到word2vec。词袋模型：离散、高维、稀疏。分布式表示：连续、低维、稠密。word2vec词向量原理并实践，用来表示文本。从one-hot 到word2vec词袋模型：离散、高维、稀疏分布式表示参考文献...
2019-04-23 19:50:54
173
原创 NLP基础学习6--神经网络基础
左手肿了两个手指，写博客敲代码这酸爽。。。 言归正传，这一次的学习开始转入神经网络，主要任务是：前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。感知机相关；利用tensorflow等工具定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，去线性化）深度学习中...
2019-04-21 00:04:44
481
原创 NLP基础学习5--文本分类传统方法
周末各种事情，到了周日晚上，才想起来还要做作业，想起周一晚上还约了健身的课，没办法，只能硬着头皮写作业了。这一期的任务其实还是挺多的。朴素贝叶斯的原理利用朴素贝叶斯模型进行文本分类SVM的原理利用SVM模型进行文本分类决策树的理论利用决策树进行文本分类随机森林的理论随机森林进行文本分类pLSA、共轭先验分布；LDA主题模型原理使用LDA生成主题特征，在之前特征的基础上加入主题...
2019-04-15 20:05:34
1141
原创 NLP基础学习4--tfidf和互信息
继续做早鸟，首先这一期的任务提纲：TF-IDF原理。文本矩阵化，使用词袋模型，以TF-IDF特征值为权重。（可以使用Python中TfidfTransformer库）互信息的原理。使用第二步生成的特征矩阵，利用互信息进行特征筛选TF-IDF原理感觉在word2vec 特别是现在的contextual word embedding之后，利用tf-idf直接向量化文本几乎已经弃用了，但...
2019-04-13 12:41:08
952
原创 NLP基础学习3--分词和文本矩阵化
这次争取做一个早鸟，免得要赶作业。 这次的任务依然非常的基本，主要是分词和文本矩阵化。具体来看：基本文本处理技能尽管现在很多文本处理采用基于字/字符的方式，词作为能够独立语用的基本语言单位，依然是目前是主流的NLP任务的基本处理单位。对于没有间隔符的汉语，分词就成了文本预处理的第一个任务。汉语分词，现在其实已经有大量的开源工具，比如最常用的jieba, Stanford NLP，THULA...
2019-04-11 16:42:06
1130
原创 NLP基础学习2--常见数据集和评价指标
好久好久没有补交作业的感觉，今天收到群管理员的信息，才发现自己居然忘了提交作业，亏得自己还在群里瞎嘚瑟的回答别人关于精确率和准确率的问题，汗颜。补作业可能写的简略些，但我尽量记录下自己觉得比较重要的。子任务1：数据集下载本次作业，我看了一下，还是偏向于基础准备工作，首先是对于两个数据集的下载，包括IMDB和THUCNews。这两个数据集也算是比较常用，imdb因为之前做情感分析练手的时候已经下...
2019-04-10 01:22:43
850
原创 NLP基础学习1--环境搭建
心血来潮，觉得转行NLP以来，也确实需要梳理一下知识体系。想想当年自己博士阶段在园子里下的功夫，感觉自己从一个练习易筋经的变成了一个修炼辟邪剑谱的速成选手，遂决定沉下心来，借着这个机会磨炼一下自己的基本功。第一阶段的四个子任务：1）Anaconda 安装2）Conda 学习3）Python编辑器安装与学习： jupyter notebook 或者 pycharm4）Tensorflow...
2019-04-05 11:23:29
408
原创 【品读经典】 An Engineering Approach to Computer Networking （二）
System design 这一章可以说全书应用工程思维应用与传统网络设计的一个先导和全景描述。 我一直以来一直认为，研究未来网络的体系结构抑或是是SDN还是NFV能给现有的网络带来哪些收益的问题 ，一定有一个前提是我们对于传统网络有一个比较深刻的认识，这个认识不能简单停留在了解几个常见路由和传输层协议的流程，了解一下报文格式，会配置就好。或者学术一点，看着最新的论文关于TCP协议的各种改良在那闭...
2018-03-30 20:35:49
286
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人