CCChenhao997-CSDN博客

原创训练集/验证集/测试集的区别

原文链接: http://chenhao.space/post/ef3b1e7d.html深度学习模型的参数分为普通参数和超参数：普通参数：在模型训练的过程中可以被梯度下降所更新的，也就是训练集所更新的参数。超参数：比如网络层数、网络节点数、迭代次数、学习率等等，这些参数不在梯度下降的更新范围内。超参数的设置一般是人工根据验证集来调。训练集的作用就是通过梯度下降来调整模型的内部普通参数。...

2019-12-04 20:41:02 373 1

原创 Multi-grained Attention Network for Aspect-LevelSentiment Classification 阅读笔记

原文链接：http://chenhao.space/post/eccc920c.htmlMulti-grained Attention Network for Aspect-Level Sentiment Classification面向方面级情感分类的多粒度注意力网络来源：2018 EMNLP https://www.aclweb.org/anthology/D18-1380/ 北京大学...

2019-11-30 20:03:49 1333 3

原创 DATN阅读笔记

原文链接: http://chenhao.space/post/c1174f04.htmlImproving Multi-label Emotion Classiﬁcation via Sentiment Classiﬁcation with Dual Attention Transfer Network基于双重注意力迁移网络的情感分类改进多标签情感分类来源: 2018 EMNLP htt...

2019-11-30 20:02:38 736

原创 MacOS-homebrew卸载重装并更换国内源

原文链接: http://chenhao.space/post/90d57007.html卸载：ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/uninstall)"重装：ruby -e "$(curl -fsSL https://raw.githubusercontent....

2019-11-30 19:59:49 2577

原创 SentiLR:Linguistic Knowledge Enhanced Language Representation for Sentiment Analysis 论文阅读笔记

SentiLR: Linguistic Knowledge Enhanced Language Representation for Sentiment AnalysisSentiLR：用于情感分析的语言知识增强的语言表示来源：https://arxiv.org/abs/1911.02493 清华团队Introduction虽然当前的预训练语言模型已经取得了很好的性能，但是它们的预训练任务...

2019-11-23 19:09:26 1196

原创 ELMO/GPT/BERT/ERNIE

原文链接: http://chenhao.space/post/af0f9530.htmlWord Embedding我们希望给不同意思的token也要给它们不同的embedding。比如说这里的“bank”，过去我们的做法是，作为“银行”的意思，就给它一个embedding，作为“河岸”的意思，也给它一个embedding。但是人类的语言是很奇妙的，如 The hostpital has...

2019-11-16 15:23:03 545

原创 Jinja2模版和过滤器

原文链接 http://chenhao.space/post/7e478f5a.html模版视图函数的主要作用是生成请求的响应，这是最简单的请求。实际上，视图函数有两个作用：处理业务逻辑和返回响应内容。在大型应用中，把业务逻辑和表现内容放在一起，会增加代码的复杂度和维护成本。模板的作用即是承担视图函数的另一个作用，即返回响应内容。模板其实是一个包含响应文本的文件，其中用占位符(变量)表示动...

2019-11-12 12:04:23 275

原创 Flask基础

原文链接: http://chenhao.space/post/efcec196.html将当前环境下的依赖包全导出到一个txt文件：pip freeze > requirements.txt在另一个环境下安装这个requirement.txt: pip install -r requirement一个基础的Flask程序# 1.导入Flask扩展from flask import...

2019-11-11 14:44:08 83

原创 ELMO/BERT/ERNIE/GPT简单概述

原文链接: http://chenhao.space/post/3b65b065.htmlEmbedding我们希望给不同意思的token也要给它们不同的embedding。比如说这里的“bank”，过去我们的做法是，作为“银行”的意思，就给它一个embedding，作为“河岸”的意思，也给它一个embedding。但是人类的语言是很奇妙的，如 The hostpital has its ...

2019-11-11 10:18:35 769 5

原创 MacOS/Ubuntu/Windows安装libsvm库

原文链接 http://chenhao.space/post/af61a7f7.htmllibsvm下载地址: http://www.csie.ntu.edu.tw/cjlin/cgi-bin/libsvm.cgi?+http://www.csie.ntu.edu.tw/cjlin/libsvm+zip下载完成后，解压。用命令行进入到其中的python文件夹目录下，执行: make lib命...

2019-11-10 14:51:26 246

原创 Aspect Based Sentiment Analysis with Gated Convolutional Networks 阅读笔记

原文链接 http://chenhao.space/post/b215757d.html论文题目：Aspect Based Sentiment Analysis with Gated Convolutional Networks来源：ACL 2018 https://www.aclweb.org/anthology/P18-1234/作者：Wei Xue and Tao Li, School...

2019-11-09 20:56:28 554

原创 Recurrent Attention Network on Memory for Aspect Sentiment 阅读笔记

原文链接 http://chenhao.space/post/10f4e02b.html论文题目：Recurrent Attention Network on Memory for Aspect Sentiment Analysis来源：ACL 2017 https://www.aclweb.org/anthology/D17-1047/作者：Peng Chen, Zhongqian Su...

2019-11-09 20:55:20 590

原创 Pandas-csv格式转tsv格式

原文链接 http://chenhao.space/post/b7b37f12.html.csv to .tsv这是一个CSV格式的文件：我想要提取出表头为rating和comment的数据，并且转为tsv格式。首先，提取rating和comment数据：import pandaspath = './MovieRatings.csv'pd_all = pd.read_csv(pa...

2019-11-07 19:29:17 3541 1

原创 Pytorch-DataLoader的使用

原文连接: http://chenhao.space/post/d313d236.htmlpytorch-DataLoader的使用import torchimport torch.utils.data as Data# [1, 1, 1]相当于一句话的word embedding，这个tensor中含有三句话x = torch.tensor([[1, 1, 1], [2, 2, 2...

2019-11-04 22:23:53 884

原创 Word2Vec-VS-fastText

原文链接: http://chenhao.space/post/89252767.htmlword2vecSkip-Gram跳字模型其实就是利用中心词预测上下文词这种方法来训练词向量。我们会得到跳字模型其实就是利用中心词预测上下文词这种方法来训练词向量。我们会得到两个向量，第一个是中心词向量，另一个是上下文词的向量。而我们是用跳字模型得到的中心词向量作为词的表征向量。其中矩阵 WWW ...

2019-10-28 18:09:00 428

原创 L1正则项-稀疏性-特征选择

原文链接: http://chenhao.space/post/b190d0eb.htmlL1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择。所谓稀疏模型就是模型中很多的参数是0，这就相当于进行了一次特征选择，只留下了一些比较重要的特征，提高模型的泛化能力，降低过拟合的可能。那么问题来了，为什么L1正则化会产生稀疏解？L1/L2正则化损失函数线性回归L1正则化损失函数：...

2019-10-27 22:25:03 2049

原创 Recurrent Convolutional Neural Networks for Text Classification 阅读笔记

原文链接: http://chenhao.space/post/93d3104e.htmlIntroduction题目：Recurrent Convolutional Neural Networks for Text Classification来源：AAAI2015本文提出了一种将RNN结构和CNN结构结合起来的一种模型，能够更好的获取语义信息。利用RNN循环结构捕获上下文信息，利用C...

2019-10-25 23:58:42 411

原创 Convolutional Neural Networks for Sentence Classification 阅读笔记

原文链接: http://chenhao.space/post/b62604a1.htmlIntroduction题目：Convolutional Neural Networks for Sentence Classification来源：EMNLP 2014本论文提出将CNN用在NLP的句子分类任务上，进行了一系列的对比实验。Model假设一个句子的长度为n，可以表示为(词向量x...

2019-10-25 23:57:37 281

原创 Ubuntu18.04搜狗输入法汉字候选栏乱码

原文链接: http://chenhao.space/post/b9e096e0.html我的情况是刚装完搜狗输入法，然后打字发现候选词栏全都是乱码。解决办法：输入命令 sudo apt-get install -f 进行依赖性检查。然后就解决了。参考资料:[https://blog.csdn.net/qq_36556893/article/details/92607479](...

2019-10-23 10:13:13 5020 2

原创 Ubuntu18.04配置国内源

原文链接: http://chenhao.space/post/fca0df77.html编辑源列表文件输入命令 sudo vim /etc/apt/sources.list如果报错: sudo:vim:command not found ，说明没有装vim。安装vim命令：sudo apt-get install vim注释原有的源键入i，然后用#号注释掉原有的所有源。更换阿里源...

2019-10-23 10:12:09 229

原创 MacOS-pip更换阿里云镜像源

原文链接: http://chenhao.space/post/7857229e.html创建.pip文件夹，命令： mkdir ~/.pip在.pip中新建一个文件并编辑：vi pip.config添加以下内容[global]index-url=http://mirrors.aliyun.com/pypi/simple/[install]trusted-host=mir...

2019-10-23 10:10:55 1170

原创 Python-合并字典

原文链接: http://chenhao.space/post/89e5ecdb.html方法一d1 = {'user': 'root', 'pwd': '12345'}d2 = {'ip': '127.0.0.1', 'port':'8088'}d3 = {'name': 'ch', 'sex': 'man'}d4 = {**d1, **d2, **d3}d4输出{'user'...

2019-10-20 11:15:57 82

原创 Attention-Is-All-You-Need论文笔记

原文链接: http://chenhao.space/post/2a42add6.htmlTransformer以机器翻译为例：其中 Add & Norm 层的意思是：将input到Multi-Head Attention中的aaa，与Multi-Head Attention output的bbb进行Add操作，得到b′b'b′，再将b′b'b′进行Layer Normali...

2019-10-19 10:14:18 204

原创深度学习之CNN笔记

原文链接: http://chenhao.space/post/f4e09fe1.html卷积神经网络整体结构在MLP中，相邻层的所有神经元之间都有连接，这称为全连接（fully-connected）。另外，我们用Affine层实现了全连接层。如果使用这个Affine层，一个5层的全连接的神经网络就可以通过图1所示的网络结构来实现。如图1所示，全连接的神经网络中， Affine层后面跟着...

2019-10-19 10:12:05 600 2

原创 A Structured Self-attentive Sentence Embedding 论文笔记

笔记原文地址:http://chenhao.space/post/e76a9f9c.html摘要论文地址：https://arxiv.org/abs/1703.03130本篇论文提出了一种基于自注意力机制（自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性）的sentence embedding。sentence embedding模型用 2-D m...

2019-10-10 10:51:33 374

原创 Pytorch-IMDB电影评论情感分析

原文链接: http://chenhao.space/post/a5b86241.htmlPytorch-情感分析第一步：导入IMDB电影数据集，只有训练集和测试集import torchfrom torchtext import dataSEED = 1234torch.manual_seed(SEED) # 为CPU设置随机种子torch.cuda.manual_seed(...

2019-10-05 21:10:59 7920 6

原创 Pytorch-Linear_Regression

原文链接：http://chenhao.space/post/7f30013.html线性回归import torchfrom time import timeprint(torch.__version__)1.1.0a = torch.ones(1000)b = torch.ones(1000)将这两个向量按元素逐一做标量加法：start = time()c = to...

2019-10-02 10:14:43 2205 1

原创 Pytorch-Autograd

原文链接: http://chenhao.space/post/294ead72.htmlimport torchprint(torch.__version__)1.1.0自动求梯度概念上一节介绍的Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作。完成计算后，可以调用**.backward()来完成所...

2019-10-02 10:13:31 639

原创 Pytorch-Tensor

原文链接: http://chenhao.space/post/26a9448.html数据操作import torchtorch.manual_seed(0)torch.cuda.manual_seed(0)print(torch.__version__)1.1.0创建Tensor创建一个 5x3 的未初始化的 Tensor:x = torch.empty(5, 3)p...

2019-10-02 10:12:31 183

原创 Python-笔记1

原文链接：http://chenhao.space/post/29dd046f.html笔记目标Python基础函数面向对象文件操作和异常处理模块的使用装饰器、迭代器、生成器函数函数概述例如：现在有这样一段代码print（“天王盖地虎”）print(“小鸡炖蘑菇”)再来一段代码：在不同的地方相同的代码，那么这样的程序改如何设计if 条件1：print（"天王盖地虎...

2019-10-02 10:11:07 227

原创 NLP基础介绍

原文链接：http://chenhao.space/post/c939a57a.html定义自然语言处理是一门融语言学、计算机科学、人工智能于一体的科学，解决的是”让机器可以理解自然语言“。发展阶段：1950年代，基于规则的方式；1970年代，统计语言学；2003年，神经网络。主要研究方向：词法短语：分词，词性标注，命名实体识别，组块分析，Term权...

2019-10-02 10:08:39 363

原创 Hexo部署到Github失败问题

原文链接:http://chenhao.space/post/72ac9e7e.html失败提示如下图：$ ssh -T [email protected]: connect to host github.com port 22: Connection refused然后发现ping www.github.com 也ping不通，但是可以ping通 www.baidu.com解决办...

2019-10-02 10:06:58 1288

原创 Github上删除文件后与本地同步

当在github上删除了一些文件后，本地仓库数据和远程仓库数据不一致。下面两个操作可以同步仓库和本地的全部内容：先抓取并合并远程仓库全部内容git pull origin master再推送本地仓库数据git push origin master这样就同步两端的数据了。...

2019-10-02 10:04:47 649

原创语言模型笔记2-Word2Vec词向量

原文链接: http://chenhao.space/post/2c0d6d8e.html语言模型语言模型：预测每个句子在语言中出现的概率。引出举例：机器翻译价格高P(high price)>P(large price)P(high \, price) > P(large \, price)P(highprice)>P(largeprice)举例：我今天 ...

2019-09-23 18:58:22 264

原创单词拼写纠错

原文链接: http://chenhao.space/post/409250ae.html所需数据集:spell-errors.txttestdata.txtvocab.txt词典库# 词典库vocab = set([line.rstrip() for line in open('vocab.txt')]) # 用set效率高一些(时间复杂度)需要生成所有候选集合# 需要生成...

2019-09-18 21:18:36 588

原创 Python装饰器

原文链接: http://chenhao.space/post/2d63a785.html同时使用 *args 和 **kwargsdef runtime(func):def get_time(*args, **kwargs):print(time.time())func(*args, **kwargs)return get_time@runtimedef student_run(...

2019-09-18 17:37:03 489

原创 Python闭包

原文链接: http://chenhao.space/post/403bb1d5.html闭包: 一个返回值是函数的函数# 调用后打印当前的时间import time def runtime(): def now_time(): print(time.time()) return now_timef = runtime() # f即为一个函数(no...

2019-09-18 16:53:43 69

原创 Python三大推导式

原文链接: http://chenhao.space/post/66eaf381.html列表推导式根据已有的列表推导出新的列表。list1 = [1,2,3,4,5,6]f = map(lambda x: x+x, list1)print(list(f)) # 需要list强转# output[2, 4, 6, 8, 10, 12]list2 = [i + i for i i...

2019-09-18 16:20:31 107

原创 Python高阶函数的使用

原文链接: http://chenhao.space/post/a6f24307.htmllambda表达式又被称之为匿名函数格式 lambda 参数列表:函数体def add(x, y): return x + yprint(add(3, 4))# output7add_lambda = lambda x,y: x + yadd_lambda(3, 4)# ou...

2019-09-18 15:56:14 124

原创语言模型笔记1-简单介绍

原文链接：http://chenhao.space/post/3423f471.html语言模型是用来计算一个句子的概率的模型，通俗的说，语言模型是用来判断一句话从语法上是否通顺。如下：通过概率计算得出正确的句子顺序： N-gram(n元语言模型)Unigram(一元语言模型)当n=1时，称为Unigram，一元语言模型假设词语之间是相互独立的。缺点：不...

2019-09-14 23:43:57 925

numpy‑1.12.1+mkl‑cp36‑cp36m‑win_amd64.whl下载

王道计算机考研机试指南

空空如也