4 sinat_33761963

尚未进行身份认证

人工智能、机器学习、深度学习、自然语言处理、程序媛

等级
TA的排名 8k+

【好书提炼】聊天机器人技术原理与应用

本文作者:王小草 资深算法工程师本文是对2019年3月出版的《自然语言处理实践-聊天机器人技术原理与应用》的全书内容提炼,若有不当之处,请联系本文作者。在此感谢本书作者王昊奋、邵浩、李方圆、张凯、宋亚楠。阅读方法:对聊天机器人、NLP有基础的同学,可以通过本文迅速了解当前聊天机器人或智能对话的系统知识、框架,对感兴趣的点可以自己去深入研究;对聊天机器人、NLP没有基础但又想了解的同学,可以对...

2019-12-10 10:00:02

【论文解读】融入预训练机制的自然语言生成-MASS

【文本生成】融入预训练机制的自然语言生成-MASS笔者:王小草日期:2019年12月10日1.前言文本要介绍一篇来自南科大和微软同学的论文,提出了用遮盖词的预训练序列模型来进行文本生成,即使用当前惯用的套路:(1)先用大语料无监督地预训练模型;(2)再在文本生成的任务上进行fine tuning。并在常用的文本生成任务(机器翻译、摘要生成、对话生成)上进行评测,具有优秀的表现。在大语料上...

2019-12-10 09:47:00

ImportError: libcudnn.so.7: cannot open shared object file: No such file or directory解决

在跑GPU的时候,出现错误:ImportError: libcudnn.so.7: cannot open shared object file: No such file or directory原因:默认软链的cudnn中没有相应的 libcudnn.so文件。一探究竟:(1)执行命令ll /usr/local,查看该路径下的cuda:,显示有2个版本,cuda-10.0和cuda-...

2019-08-02 17:45:17

中文分词发展进程回顾提纲

一、基于词典的方法1 正向最大匹配算法1.从左向右取待切分汉语句的m个字符作为匹配字段,m为大机器词典中最长词条个数。2.查找大机器词典并进行匹配。若匹配成功,则将这个匹配字段作为一个词切分出来。若匹配不成功,则将这个匹配字段的最后一个字去掉,剩下的字符串作为新的匹配字段,进行再次匹配,重复以上过程,直到切分出所有词为止。流程如下:2 逆向最大匹配算法该算法是正向最大匹配的逆向思维...

2019-03-10 23:03:47

【文本表征】2018年自然语言理解最火的三种方法

众所皆知的分布式词向量方法CBOM, skip-gram, Glove等已经成为NLP任务的标配,但致命的缺点是无法区别同一个词在不同语境下的含义,如“bank"无论是银行还是河岸的意思,词向量都是同一个,让人脑壳疼。本文要介绍的是2018年很火的三个方法:Elmo, GPT, BERT。它们能够处理多义词、反应不同的语境,从而更好地理解自然语言,并且在下游NLP任务中有突出表现。1 ELMO...

2019-03-03 13:57:56

【强化学习】第三篇--蒙特卡洛方法

作者:王小草笔记时间:2019年1月22日1 蒙特卡罗法的起源蒙特卡罗法的名字来源于世界著名的赌城蒙特卡罗。是用随机数来解决计算问题,即以概率为基础的方法。套路是:生成随机样本–>试验多次–>总结经验利用蒙特卡罗法计算圆周率π:![image_1d1pjdu1i1vka17h8apn1hp41eu89.png-61.7kB][1]利用蒙特卡罗法测量不规则图形的面积:!...

2019-01-22 19:41:23

【强化学习】第二篇--基于模型的动态规划法

作者:王小草笔记时间:2019年1月21日1 价值函数的计算困难1.1 最优值函数的递归定义先来回忆一下最优状态值函数和最优状态-行为值函数。最优状态价值函数:考虑这个状态下,可能发生的所有后续动作,并且挑最好的动作来执行的情况下,这个状态的价值。最优状态-动作值函数:在这个状态下执行了一个特定的动作,并且该动作的后续状态总能选取最好的动作来执行,所得到的长期价值以...

2019-01-22 19:40:44

【强化学习】第一篇--马尔科夫决策过程

作者:王小草笔记时间:2019年1月20日1 马尔科夫性质与过程1.1 马尔科夫性质马尔科夫性质即:系统的下一状态只与当前状态有关,与以前的历史状态无关。公式表达:特点:当前状态蕴含所有相关历史信息一旦当前状态已知,历史信息将会被抛弃1.2 马尔科夫过程马尔科夫过程即:该过程中所有状态都满足马尔科夫性。表示:马尔科夫过程可以用一个二元组表示...

2019-01-22 19:39:41

GAN生成对抗网络入门篇

笔记整理:王小草时间:2019年1月一、GAN简介1 背景全称:generative adversarial network 生成式对抗网络(不一定是深度学习)论文:https://arxiv.org/abs/1406.2661提出者:Ian Goodfellow(也是深度学习花园书的作者)2 Gan能做什么?2.1 生成图片下图,第一张图是真实图片,第二张是使用MSE为损失的监...

2019-01-19 16:16:34

Pycharm远程连接GPU服务器

工欲善其事,必先利其器。很多童鞋都是在本地编写和调试代码,然后再将代码通过某种方式传到服务器上,用vim修修改改然后运行。先不说本地和服务器手工维护和同步两份代码劳心劳肺,若不是对vim编辑文件得心应手也自然会费时费力。因此,强烈推荐写python的同学用pycharm远程链接远程服务器,下面具体讲讲如何连接。首先,说明,想要pycharm链接远程服务器,必须是professional版本的p...

2019-01-17 13:01:54

文献分享 |【文本表征系列】句子分布式嵌入向量的动态总结PPT

2019-01-07 16:46:56

文献分享 |【文本表征系列】句子分布式嵌入向量的动态总结

作者:王小草背景介绍最近对句子的分布式嵌入向量做了些许调研,前程往事自不必多提,未来之事也无需多虑,本文只聚焦于2015年-2018年最近4年最为典型的文献予以介绍和推荐,若读者在工作中有接触和应用更好的方法,跪求您给我留言建议哦,不胜感激。词嵌入或词表征,是用具有语义相似性的向量来表征自然语言中的词语。以此类推,句子嵌入或句子表征,就是用向量来表征自然语言中的句子,使得向量中携带着句子的语...

2019-01-07 16:41:18

跨语言词嵌入模型调研报告

作者:王小草 1. 跨语言词嵌入介绍__ 31.0前言__ 31.1 what? 31.2 why? 31.3 how? 31.3.1 how to achieve? 31.3.1 how to evaluate? 32. 跨语言词嵌入实现方法的分类方式说明__ 43. 跨语言词嵌入实现方法详细介绍__ 43.1 词对齐+并行数据__ 43.1....

2019-01-07 16:37:44

Pytorch第六课:package-torch.nn详解(2)之 网络结构组建

本节要点:1 卷积层2 池化层3 非线性激活层4 正则层5 循环层6 线性层7 Dropout层8 Sparse层9 Veision层10 Multi-GPU层1 卷积层1.1 一维卷积层类名:class torch.nn.Conv1d(in_channels, out_channels, kernel_size, str...

2018-12-02 11:53:34

Pytorch第五课:package-torch.nn详解(1)之Containers(容器)

1 class torch.nn.Moduletorch.nn.Module是所有网络的基类。我们创建的任何模型都应该继承这个类。Modules也可以包含其它Modules,允许使用树结构嵌入他们。你可以将子模块赋值给模型属性。1.1 构建模型现在,让我们来继承Module来建立一个超简单的模型吧。import torch.nn as nnimport torch.nn.functio...

2018-11-29 22:52:11

Pytorch第四课:package-torch.Storage类详解

一个torch.Storage是一个单一数据类型的连续一维数组。每个torch.Tensor都有一个对应的、相同数据类型的存储:class torch.FloatStorage1 torch.Storage类型import torchtorch.FloatStorage([1,2,3,4,5])torch.ByteStorage([1,2,3,4,5])torch.ShortStor...

2018-11-29 09:49:53

Pytorch第三课:package-torch.Tensor包详解

微博:https://weibo.com/wangxiaocaoai/profile?rightmod=1&wvr=6&mod=personinfo微信公众号:搜索"AI躁动街"本节要点:1 张量的类型2 张量的创建3 张量的索引与切块4 张量的操作4.1 操作名有无下划线的区别4.2 torch.Tensor所有操作列表4.3 torch.Tensor操作举例...

2018-11-28 23:07:33

Pytorch第二课:package-torch(2) 之数学操作

微博:https://weibo.com/wangxiaocaoai/profile?rightmod=1&wvr=6&mod=personinfo微信公众号:搜索"AI躁动街"本节要点:1 逐点计算操作2 缩减操作3 比较操作4 其他操作5 线性代数操作1 逐点计算操作# 导入包import torch# 1

2018-11-25 21:30:46

Pytorch第一课:package-torch(1)之张量初识

微博:https://weibo.com/wangxiaocaoai/profile?rightmod=1&wvr=6&mod=personinfo微信公众号:搜索"AI躁动街"本节要点:1 张量2 创建张量的方式3 张量的索引,切片,连接,换位等操作4 随机抽样的操作5 序列化(保存与加载)6 并行化1 张量Tensor1.1 判断是否为张量t

2018-11-20 22:35:15

Pytorch模型的保存与读取方法

方法一(推荐)只保存和加载模型的参数# 保存模型参数def save_model(the_model, PATH): torch.save(the_model.state_dict(), PATH)# 加载模型参数def load_model(PATH): the_model = TheModelClass(*args, **kwargs) the_model....

2018-11-19 22:01:25

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。