10 MemRay

尚未进行身份认证

PhD在读,intereted in NLP、Deep Learning及其他AI问题。这里基本是个收藏夹 :D

等级
TA的排名 1k+

交叉熵代价函数

本文是《Neuralnetworksanddeeplearning》概览 中第三章的一部分,讲machinelearning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:其中y是我们期望的输出,a为神经元的实际输出【a=σ

2016-06-06 12:00:45

从随机过程到马尔科夫链蒙特卡洛方法

转载自:http://f.dataguru.cn/article-9274-1.html1.Introduction第一次接触到MarkovChainMonteCarlo(MCMC)是在theano的deeplearningtutorial里面讲解到的RBM用到了Gibbssampling,当时因为要赶着做项目,虽然一头雾水,但是也

2016-05-30 09:56:40

自编码器与堆叠自编码器简述

作者:科研君链接:https://www.zhihu.com/question/41490383/answer/103006793来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。本文是对知乎问题为什么稀疏自编码器很少见到多层的?的回答,同时借此介绍下自编码器及其相关的一些知识。目录自编码器自编码器简介自编码器与神经网络堆叠自编码

2016-05-30 04:46:57

Batch Normalization导读

写的清晰有力,必须转。原文链接:http://blog.csdn.net/malefactor/article/details/51476961/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                               author: 张俊林

2016-05-29 14:35:23

图像锐化和边缘检测

转载自:http://dsqiu.iteye.com/blog/1638589本文内容构成:    1、图像锐化和边缘检测的基本概念,微分梯度已经差分的定义    2、锐化和边缘检测的像素处理方式(3种)    3、单方向一阶微分锐化,包括:       水平方向       垂直方向   

2016-05-29 14:33:01

在NLP上,CNN、RNN(认为LSTM等变体也是RNN)、最简单全连结MLP,三者相比,各有何优劣?

Reprintedfrom: https://www.zhihu.com/question/41625896例如,我要做某个具体的任务,比如做关系抽取、实体识别、情感分类,总要先从一个入手。不考虑实现的难度的话,如何从理论、经验、直觉上去选择最优希望的那个?那么这些关于CNN、RNN、MLP取舍的理论、经验和直觉都是什么呢,提前感谢。知乎用户 ,深度算命入门中

2016-05-23 03:37:37

深度强化学习初探

转载自:http://lamda.nju.edu.cn/yangjw/project/drlintro.html因为不让转载,所以就节选了一部分,就当帮宣传了:D杨敬文2016年年初备受瞩目的围棋“人机大战”,以人类围棋冠军被血虐落下帷幕。这只谷歌DeepMind团队开发的围棋机器人阿法狗不仅赚足了眼球,更是掀起了一波关于人工智能的讨论狂潮。现在好像作报告还是写

2016-05-22 15:13:49

再谈深度学习文本的表示

转载自:http://www.52cs.org/?p=557之前在百度开放研究社区写了篇``深度学习文本的表示'',现在这篇姑且作为其升级篇吧。因此本文再谈deeplearning在文本表示学习方面的体会。深度模型如何学习和表示词、短语、句子和篇章呢?词:以前表示词是所谓的distributionalvector,现在将词表示成embedding这种形式我觉得根

2016-05-22 14:22:35

深度学习读书笔记之RBM(限制波尔兹曼机)

转载自:http://blog.csdn.net/mytestmy/article/details/9150213前言本文较长,请注意要耐心读。如果实在不愿意耐心读,起码看完红色标志的句子,不然还得很多问题不清楚。本文组织的结构比较散,下面是大体过程:RBM使用方法-->一般用途-->用能量模型的原因-->为什么要概率以及概率的定义-->求解目标和极大似然的关系-->怎

2016-05-21 15:05:14

请问人工神经网络中的activation function的作用具体是什么?为什么ReLu要好过于tanh和sigmoid function?

143赞同反对,不会显示你的姓名FromZhihu: https://www.zhihu.com/question/29021768BeginAgain ,谨言慎行!知乎用户、lgc、张小璐 等人赞同根据评论区 @山丹丹@啸王 的提醒,更正了一些错误(用斜体显示),在此谢谢各位。并根据自己最近的理解,增添了一些东西(用斜体显示)。如果还有错误,欢迎大

2016-05-21 09:14:15

On the Personalities of Dead Authors

Averyinterestingandthought-provokingworkfromGoogle!Wednesday,February24,2016PostedbyMarcPickett,SoftwareEngineer,ChrisTar,EngineeringManagerandBrianStrope,ResearchSci

2016-05-21 05:45:52

深度学习之Google Deepmind的alphago人工智能算法技术演变历程

摘要  强化学习的典型应用。     一、简介  有些人会有如下质疑“alphago都用了蒙特卡洛搜索树了,这变成了一部分搜索问题了并不是人工智能算法了或者说不够智能了”,但我的拙见是人在思考问题的时候除了直觉、经验判断、逻辑推理之外也会去枚举、搜索,所以我觉得算法包含一部分搜索并不能直接说该算法这不够智能或者这不是智能算法了,我觉得更多的是要考虑该

2016-05-20 05:37:30

卷积神经网络(CNN)在句子建模上的应用

转载自:http://www.jeyzhang.com/cnn-apply-on-modelling-sentence.html之前的博文已经介绍了CNN的基本原理,本文将大概总结一下最近CNN在NLP中的句子建模(或者句子表示)方面的应用情况,主要阅读了以下的文献:KimY.Convolutionalneuralnetworksforsentenceclassifi

2016-05-19 15:29:36

神经网络数据预处理,正则化与损失函数

版权声明:本文为博主原创文章,未经博主允许不得转载。作者:寒小阳 时间:2016年1月。 出处:http://blog.csdn.net/han_xiaoyang/article/details/50451460 声明:版权所有,转载请联系作者并注明出处1.引言上一节我们讲完了各种激励函数的优缺点和选择,以及网络的大小以及正则化对神经网络的影响。这一节

2016-05-19 11:54:47

使用RNN解决NLP中序列标注问题的通用优化思路

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                               author: 张俊林 序列标注问题应该说是自然语言处理中最常见的问题,而且很可能是最而没有之一。在深度学习没有广泛渗透到各个应用领域之前,传统的最常用的解决序列标注问题的方案是最大

2016-05-19 10:54:00

多级神经网络结构表达文档语义性能更好吗

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                               author: 张俊林推导和表示一篇文章的语义对于自然语言处理来说是个很基础也很重要的工作。推导文档语义可以用无监督的方法,也可以用有监督的方法。所谓“无监督的方法”,就比如可以直接

2016-05-19 10:41:15

以Attention Model为例谈谈两种研究创新模式

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                               author: 张俊林     各位观众朋友好,也许此刻您刚打开电梯…….读这一篇之前,请您最好先拜读一下本篇的前传:文本处理中的AttentionModel:是什么及

2016-05-19 10:33:44

神经网络之激活函数(Activation Function)

本博客仅为作者记录笔记之用,不免有很多细节不对之处。还望各位看官能够见谅,欢迎批评指正。更多相关博客请猛戳:http://blog.csdn.net/cyh_24如需转载,请附上本文链接:http://blog.csdn.net/cyh_24/article/details/50593400日常coding中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等

2016-05-18 10:49:21

深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数

作者:寒小阳 时间:2016年1月。 出处:http://blog.csdn.net/han_xiaoyang/article/details/50447834 声明:版权所有,转载请联系作者并注明出处1.神经元与含义大家都知道最开始深度学习与神经网络,是受人脑的神经元启发设计出来的。所以我们按照惯例也交代一下背景,从生物学的角度开始介绍,当然也是对神经网络研究的先驱们

2016-05-18 10:36:28

【Church - 钟摆摆得太远(5):现状与结论】

我的话:感觉作者是站在偏理性主义的中间点上写下了这篇文章。不得不说我本人是个典型实用主义驱动的人,但是又倾向于从理性逻辑的角度思考问题。虽说Chomsky和Minsky当年的理论在一定程度上capturereality,但是我并不是十分欣赏他们的理性结论,只是对现实一定程度上的规则抽象和建模,并不是真理。虽说联结主义并没有向人类智能可知论的方向推进多少(大脑机制依然是未知的),但起码是比

2016-01-29 11:06:27

查看更多

勋章 我的勋章
    暂无奖章