尧景-CSDN博客

原创 Linux服务器上搭建JupyterNotebook教程

Linux服务器上搭建Jupyter notebook

2023-11-09 10:00:05 1231

原创 Huggingface--Quick tour

你可以修改模型的配置类(configuration class)来改变模型的构建方式。Configuration指定模型的属性，如隐藏层数或注意力头数。当你从自定义配置类初始化模型时，你可以从头开始。模型属性是随机初始化的，你需要训练模型，然后才能使用它得到有意义的结果。

2023-06-02 12:11:12 348

Latex中多行数学公式的排版方法:引入amsmath和amssymb宏包：\usepackage{amsmath}\usepackage{amssymb}gather环境实现多行数学公式排版其中用双反斜\\杠实现换行功能，此环境下不但实现了对公式的分行排版，同时对每一行公式进行了编号。带星号的gather环境，实现不带星号的多行公式排版，gather也可以使用notag命令阻止编号。align环境实现对公式对齐排版，使用&符号实现对齐，可以指定任意位置，比如按照等号对齐、

2021-12-04 11:12:14 11532

原创 Latex零基础教程

Latex零基础教程

2021-11-30 11:14:13 161

原创 Linux下子用户安装python的步骤

安装python由于我在linux上安装的是python3.6.8版本，这里就用安装python3.6.8版本的步骤讲解。首先，进入到自己用户的目录下：cd /home/username【说明】命令中username为自己的用户名，例如你的用户名是lisi，那么对应的命令为cd /home/lisi然后，下载python安装包在此目录下：wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tgz解压：tar -xzf Pyt

2021-10-01 19:30:18 464

原创 Python虚拟环境的创建及使用

目录创建虚拟环境虚拟环境的激活虚拟环境的退出以创建myenv环境为例创建虚拟环境先创建存放虚拟环境的目录，然后cd到目录下，然后执行创建虚拟环境的命令，具体操作如下：mkdir workspacecd workspacemkdir venvcd venvpython3 -m venv myenv创建成功后，"~/workspace/venv"目录下出现虚拟环境myenv文件夹。虚拟环境的激活source myenv/bin/activate使用pip install ***命令安

2021-09-23 18:35:34 233

原创 CRCNN &PCNN

目录论文阅读前期准备前期知识储备学习目标论文导读论文研究背景、成果及意义论文泛读论文结构摘要论文精读CRCNN模型PCNN模型论文总结论文阅读前期准备前期知识储备学习目标论文导读论文研究背景、成果及意义回顾Bootstrapping远程监督多示例学习分类损失函数加权softmax损失函数应用的场景是类别的不平衡，类别不平衡的解决方案：正采样和负采样的方式、在损失函数上，对于类别数比较少的权重进行提高。问题的提出研究成果历史意义论文泛读论文结构

2021-07-31 11:15:47 407

原创 Relation Classification via Convolutional Deep Neural Network

目录论文阅读前期准备前期知识储备学习目标论文导读论文研究背景、成果及意义研究成果研究意义论文泛读论文精读论文模型总览模型细节一：语法特征模型细节二：句法特征实验设置及结果分析数据集及指标介绍参数设置实验结果及分析论文总结论文阅读前期准备前期知识储备学习目标论文导读论文研究背景、成果及意义关系抽取任务的介绍关系抽取方法关系抽取的分类关系抽取数据集—TACRED关系抽取数据集—SemEval2010-Task8关系抽取数据集—NYT+Freebase关系抽取

2021-07-29 15:58:40 139

原创 BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding

目录论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义论文泛读论文精读论文算法模型总览模型细节一模型细节二实验设置及结果分析论文总结论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义attention的应用----transformer论文泛读摘要论文精读论文算法模型总览模型细节一注意力self-attentionself-attention可以用来代替RNN的结构Mul-ti head self-attentionT

2021-07-28 16:31:03 109

原创 Aspect Level Sentiment Classification with Deep Memory Network

目录论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义论文泛读论文精读论文算法模型总览论文算法模型细节细节一：细节二实验设置及分析实验数据比较实验结果及分析相关工作Aspect Level情感分类向量空间组合性注意和记忆网络实验总结论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义数据集关于memory network论文泛读摘要核心论文精读论文算法模型总览每一跳都将原始向量都输入进去论文算法模型细节细节一：向量转换向

2021-07-24 17:36:19 204

原创 TD-LSTM & AT-LSTM

目录论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义论文泛读论文结构摘要---AT-LSTM摘要---TD-LSTM论文精读论文算法模型总览LSTM论文算法模型细节论文一TD-LSTMTC-LSTM论文二AT-LSTMATAE-LSTM实验设置及结果分析实验数据实验结果及分析论文一论文二论文总结论文一论文二论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义粗粒度的情感分类问题，左边是一个个句子，右边是句子多对应的积极或消极。传统的情感分析(SA)主要是面

2021-07-21 18:37:07 1965

原创 Improved Semanic Representations From Tree-Structured Long Short-Term Memory Networks

目录论文阅读前期前期知识储备学习目标论文导读论文研究背景、成果及意义句法分析短语结构树依存句法树论文泛读论文结构摘要论文精读论文算法模型总览RNN结构LSTM结构BI-LSTM结构多层LSTM结构论文算法模型细节细节一Child-Sum Tree-LSTMs细节二N-ary Tree-LSTM实验设置及结果分析情感分类句子相似度计算超参与训练实验结果可视化分析论文总结论文阅读前期前期知识储备学习目标论文导读论文研究背景、成果及意义监督学习模型循环神经网络解决任意长度句子i问题真实

2021-07-17 21:58:18 191

原创 Recurrent Neural Network for Text Classification with Multi Task Learning

目录论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义研究背景研究意义论文泛读论文结构摘要论文精读论文算法模型总览论文算法模型的细节细节一训练过程训练损失数据的选择微调预训练实验设置及结果分析数据集超参数的分析实验结果SOTA对比可视化分析错误分析论文总结关键点创新点启发点论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义研究背景情感分类任务的应用场景：评论分析、数据挖掘上的分析、舆情舆论上的分析基于机器学习的情感分类基于深度学习的情感分类前馈

2021-07-16 08:01:59 942 1

原创 Matching Article Pairs with Graphical Decomposition and Convolutions

目录论文阅读准备课前基础知识学习目标论文导读论文研究背景、成果及意义研究背景研究成果论文泛读论文结构摘要论文精读CIG-GCN算法模型总览CIG-GCN结构CIG-GCN模型的理论基础和相关知识模型细节1.构造概念交互图(Concept Interaction Graph)2.Article Pair Matching through GCN训练技巧实验设置及结果分析DatasetsBaselines实验结果图论文总结关键点创新点启发点Textrank论文阅读准备课前基础知识学习目标知识树

2021-07-13 14:51:18 632 4

原创 MatchPyramid:Text Matching as Image Recognition

目录论文阅读准备课前基础知识学习目标知识树论文导读论文研究背景、成果及意义研究背景研究成果MatchPyramid论文泛读摘要研究成果论文精读MatchPyramid算法模型总览MatchPyramid结构MatchPyramid模型细节Matching MatrixHierarchical ConvolutionMatching Score模型构建细节/训练技巧实验设置及结果分析实验一实验二论文总结关键点创新点启发点论文阅读准备课前基础知识学习目标知识树论文导读论文研究背景、成果及意义

2021-07-10 15:46:57 592

原创 Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring

目录论文导读课前基础知识学习目标知识树研究背景初始BERT研究成果研究意义论文结构摘要论文精读模型总览BERT、Poly-encoderBERT的出现BERT结构BERT的实现小结Poly-Encoder结构Bi-EncoderCross-encoderPoly-encoder论文算法模型的细节BERT模型细节TransformerBERT模型Poly-Encoder模型细节Bi-encoder模型Cross-encoder模型Poly-encoder模型Poly-encoder简化模型实验设置及结果分析数

2021-07-09 05:46:52 310

原创 Simple and Effective Text Matching with Richer Alignment Features

目录论文阅读准备课前基础知识学习目标论文导读论文研究背景、成果及意义研究背景研究成果研究意义论文泛读论文阅读准备课前基础知识学习目标论文导读论文研究背景、成果及意义知识树：研究背景经典的数据集----文本相似度经典的数据集-----自然语言推理/文本蕴含识别经典的数据集-----问答/对话经典的数据集-----机器阅读理解两种思路：句子编码模型句子编码模型主要专注于学习每个句子的特征表示，然后通过在这个特征表示之上，去做一些聚合，做一些处理，做成一个向量，然后在

2021-07-06 17:18:03 454 1

原创 Bilateral Multi-Perspective Matching for Natural Language Sentences

目录论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义研究背景相关工作Siamese architectureMatching-aggregative研究成果研究意义论文泛读论文结构摘要论文精读BIMPM整体结构词嵌入层上下文表示层匹配层聚合层+预测层多视角匹配全匹配最大池化匹配注意力匹配最大注意力匹配模型整体结构实验设置及结果分析参数设置实验分析论文总结论文阅读准备前期知识储备简单讲，比较就是交互匹配，聚合就是特征压缩。学习目标论文导读论文研究背景、成果及意义研究背景

2021-07-05 17:41:23 224

原创 Enhanced LSTM for Natural Language Inference

目录学习目标论文导读论文研究背景、成果及意义研究背景研究成果论文泛读论文小标题摘要论文精读ESIM整体结构输入编码局部推理建模推理组合与输出预测ESIM整体结构实验设置与结果分析实验细节实验结果消融实验注意力可视化的实验论文总结学习目标论文导读论文研究背景、成果及意义研究背景无论是人，还是机器。推理的能力都是其具备智慧的一种体现，推理能力越强，越具备智慧。不断改进模型，提高模型效果，进而提高机器的智能。SNLI数据集为自然语言推理（NLI）提供了大规模训练的数据集和统一的评价标准，激发了研

2021-07-04 12:51:14 516

原创 A Compare-Aggregate Model For Machine Text Sequences

目录学习目标论文导读论文研究背景、成果及意义研究背景相关工作相关工作与研究成果论文泛读论文小标题摘要论文精读注意力机制Compare-Aggregate 整体结构预处理与注意力层预处理注意力层比较与聚合层比较函数聚合函数实验设置与结果分析实验数据集实验处理Compare-Aggregate整体结构实验结果论文总结关键点创新点学习目标论文导读论文研究背景、成果及意义研究背景许多自然语言处理问题都需要对两个或更多的句子进行匹配、交互，然后做出决定。例如：文本蕴含需要判断一句假设是否可以由前提推出

2021-07-02 11:56:03 137

原创 Learning Text Similarity with Siamese Recurrent Networks

论文简要概述前期储备知识学习目标论文导读孪生神经网络Siamese有“连体的”含义。例如Siamese twins以为暹(xian)罗双胞胎、连体双胞胎。孪生神经网络条件：输入是成对的（两张图片、两个句子）两部分网络结构和参数一模一样(即只有一个网络 )论文研究背景、成果及意义研究背景文本数字化表达显得越来越重要可以应用到多个领域，如情感分析、推荐系统、语义检测模型不能“死脑筋”尽管字面上长的不一样，实际意义也可能是相同的【举例】“Java Programmer”与.

2021-06-28 09:16:53 393

原创 Learning Deep Structured Semantic Models for Web Search using Clickthrough Data

目录文本匹配专题引言文本匹配意义及发展前期知识储备前置知识论文简介学习目标论文导读论文研究背景、成果及意义研究问题研究背景研究成果研究意义论文泛读论文小标题摘要论文精读词哈希DSSM整体结构目标函数实验设置及结果分析实验细节实验内容及分析实验结果论文总结关键点创新点文本匹配专题引言**文本蕴含：**判断P和H的关系(1、推出/推不出； 2、蕴含/冲突/中立)**文本匹配：**判断P和H是否匹配(匹配可以是不同形式的)匹配/不匹配**文本相似：**判断P和H是否相似(说的是同一件事情)相似/不相似

2021-06-27 09:50:11 661

原创 GraphSage:Inductive Representation Learning on Large Graphs

论文导读

2021-06-20 19:57:10 1162

原创 Pytorch优化器Optimizer

损失函数的作用是衡量模型的输出与真实标签之间的差异，有了这个差异(loss)后，如何使用这个loss去更新模型中的参数，使得loss逐渐降低呢？这就是优化器所要完成的工作。什么是优化器损失函数会得到一个loss值，即模型输出与真实标签之间的差异，然后采用pytorch中的自动梯度求导模块来求导模型中的参数的梯度，在模型中就可以得到对每一个可学习参数的梯度grad，有了梯度之后，优化器拿到梯度进行一系列的优化策略，更新模型中的参数，然后模型中的参数会使得loss值下降。因此优化器的作用是采用梯度来更新模

2021-06-16 21:02:42 291

原创 pytorch中GPU的使用

CPU与GPUCPU（Central Processing Unit, 中央处理器）：主要包括控制器和运算器GPU（Graphics Processing Unit, 图形处理器）：处理统一的、无依赖的大规模数据运算数据迁移至GPU其中图中的data通常有两种形式：Tensor(张量)Module(模型)**to函数：**转换数据类型/设备tensor.to(*args, **kwargs)module.to(*args, **kwargs)区别：张量不执行inplace操

2021-06-16 12:45:51 868

原创 pytorch模型微调(Finetune)

Transfer Learning & Model Finetune模型微调**Transfer Learning:**机器学习分支，研究源域(source domain)的知识如何应用到目标域(target domain)。迁移学习是一个很大的概念，它主要研究一系列源域的知识应用到目标域中，如何理解？上图左边是一个传统的机器学习任务的学习过程，传统的机器学习任务中对不同的任务分别进行训练和学习，得到称之为Learning System的模型，这里三个不同的任务就会得到三个不同的Learn

2021-06-16 09:22:17 1944 1

原创 Pytorch模型保存与加载

序列化与反序列化模型训练时，模型是在内存中的，而内存中的数据不具备长久性的存储功能，因此需要把模型从内存中搬到硬盘中进行长久的存储。序列化与反序列化主要指内存与硬盘之间的数据转换关系，模型在内存中是以一个对象形式存储的，但是在内存当中对象不能长久的保存，因此需要保存到硬盘中。而在硬盘中，是以二进制的形式进行保存的，即二进制序列。因此序列化是指将内存中的某一个对象保存到硬盘中，以二进制序列的形式存储。对应于Pytorch中的模型，可以理解为将模型转换成二进制的数存储到硬盘中进行长久的存储。反序列化是

2021-06-15 19:33:30 504

Ying_M