MemRay-CSDN博客

转载交叉熵代价函数

本文是《Neural networks and deep learning》概览中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ

2016-06-06 12:00:45 2287 1

转载从随机过程到马尔科夫链蒙特卡洛方法

转载自：http://f.dataguru.cn/article-9274-1.html1. Introduction第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 里面讲解到的 RBM 用到了 Gibbs sampling，当时因为要赶着做项目，虽然一头雾水，但是也

2016-05-30 09:56:40 4832

转载自编码器与堆叠自编码器简述

作者：科研君链接：https://www.zhihu.com/question/41490383/answer/103006793来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。本文是对知乎问题为什么稀疏自编码器很少见到多层的？的回答，同时借此介绍下自编码器及其相关的一些知识。目录自编码器自编码器简介自编码器与神经网络堆叠自编码

2016-05-30 04:46:57 34890

转载 Batch Normalization导读

2016-05-29 14:35:23 902

转载图像锐化和边缘检测

转载自：http://dsqiu.iteye.com/blog/1638589本文内容构成： 1、图像锐化和边缘检测的基本概念，微分梯度已经差分的定义 2、锐化和边缘检测的像素处理方式（3种） 3、单方向一阶微分锐化，包括：水平方向垂直方向

2016-05-29 14:33:01 3121

转载在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?

Reprinted from: https://www.zhihu.com/question/41625896例如，我要做某个具体的任务，比如做关系抽取、实体识别、情感分类，总要先从一个入手。不考虑实现的难度的话，如何从理论、经验、直觉上去选择最优希望的那个？那么这些关于CNN、RNN、MLP取舍的理论、经验和直觉都是什么呢，提前感谢。知乎用户，深度算命入门中

2016-05-23 03:37:37 3112

转载深度强化学习初探

转载自：http://lamda.nju.edu.cn/yangjw/project/drlintro.html因为不让转载，所以就节选了一部分，就当帮宣传了 :D杨敬文2016年年初备受瞩目的围棋 “人机大战”，以人类围棋冠军被血虐落下帷幕。这只谷歌DeepMind团队开发的围棋机器人阿法狗不仅赚足了眼球，更是掀起了一波关于人工智能的讨论狂潮。现在好像作报告还是写

2016-05-22 15:13:49 6571 1

转载再谈深度学习文本的表示

转载自：http://www.52cs.org/?p=557之前在百度开放研究社区写了篇``深度学习文本的表示''，现在这篇姑且作为其升级篇吧。因此本文再谈deep learning在文本表示学习方面的体会。深度模型如何学习和表示词、短语、句子和篇章呢？词: 以前表示词是所谓的distributional vector，现在将词表示成embedding这种形式我觉得根

2016-05-22 14:22:35 2081

转载请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?

143赞同反对，不会显示你的姓名From Zhihu: https://www.zhihu.com/question/29021768Begin Again ，谨言慎行！知乎用户、lgc、张小璐等人赞同根据评论区 @山丹丹@啸王的提醒，更正了一些错误（用斜体显示），在此谢谢各位。并根据自己最近的理解，增添了一些东西（用斜体显示）。如果还有错误，欢迎大

2016-05-21 09:14:15 2144

转载 On the Personalities of Dead Authors

A very interesting and thought-provoking work from Google!Wednesday, February 24, 2016Posted by Marc Pickett, Software Engineer, Chris Tar, Engineering Manager and Brian Strope, Research Sci

2016-05-21 05:45:52 700

转载深度学习之Google Deepmind的alphago人工智能算法技术演变历程

摘要　　强化学习的典型应用。　　　　一、简介　　有些人会有如下质疑“alphago都用了蒙特卡洛搜索树了，这变成了一部分搜索问题了并不是人工智能算法了或者说不够智能了”，但我的拙见是人在思考问题的时候除了直觉、经验判断、逻辑推理之外也会去枚举、搜索，所以我觉得算法包含一部分搜索并不能直接说该算法这不够智能或者这不是智能算法了，我觉得更多的是要考虑该

2016-05-20 05:37:30 3624

转载卷积神经网络(CNN)在句子建模上的应用

转载自：http://www.jeyzhang.com/cnn-apply-on-modelling-sentence.html之前的博文已经介绍了CNN的基本原理，本文将大概总结一下最近CNN在NLP中的句子建模（或者句子表示）方面的应用情况，主要阅读了以下的文献：Kim Y. Convolutional neural networks for sentence classifi

2016-05-19 15:29:36 36457 6

转载神经网络数据预处理，正则化与损失函数

2016-05-19 11:54:47 12337 1

转载使用RNN解决NLP中序列标注问题的通用优化思路

2016-05-19 10:54:00 1608

转载多级神经网络结构表达文档语义性能更好吗

2016-05-19 10:41:15 963

转载以Attention Model为例谈谈两种研究创新模式

2016-05-19 10:33:44 1138

转载神经网络之激活函数(Activation Function)

本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。更多相关博客请猛戳：http://blog.csdn.net/cyh_24如需转载，请附上本文链接：http://blog.csdn.net/cyh_24/article/details/50593400日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等

2016-05-18 10:49:21 25426 4

转载深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数

2016-05-18 10:36:28 868

转载【Church - 钟摆摆得太远（5）：现状与结论】

我的话：感觉作者是站在偏理性主义的中间点上写下了这篇文章。不得不说我本人是个典型实用主义驱动的人，但是又倾向于从理性逻辑的角度思考问题。虽说Chomsky和Minsky当年的理论在一定程度上capture reality，但是我并不是十分欣赏他们的理性结论，只是对现实一定程度上的规则抽象和建模，并不是真理。虽说联结主义并没有向人类智能可知论的方向推进多少（大脑机制依然是未知的），但起码是比

2016-01-29 11:06:27 1541

转载 Allowing MySQL on Amazon’s EC2 to accept remote connections

转载自：https://kylegoslin.wordpress.com/2012/05/18/109/Amazon’s EC2 is a really great platform for well, everything!I recently got a LAMP server setup some development, instead of having a LAMP s

2016-01-25 14:06:11 561

转载用计算来连接神经回路与行为

观察->理解->复制->创造/改进，每一步之间都相距甚远。拿飞机当例子就足以说明了。原文地址：http://www.neurotim.es/page/2016-01-12/305/Credits: nature.com神经回路（neural circuits）与行为之间的联系一直是研究人员想要探索清楚的问题。非专业的人可能会认为这不是个问题，因为媒体报道时总

2016-01-18 07:33:20 859

转载站在2064年回顾神经科学100年

脑洞真的好大：http://www.neurotim.es/page/2016-01-07/290/Christof Koch和Gary Marcus以2064年人的口吻，对过去100年（1964-2064）的神经科学进展进行了回顾。其实是对过去50年（1964-2014）神经科学的回顾，加上对未来50年神经科学（2014-2064）的展望。文章分3部分：1964,2014和2064。

2016-01-18 07:10:36 679

转载 What is meant by back propagation in an ANN compared to a biological neural network?

转载自Quora:https://www.quora.com/What-is-meant-by-back-propagation-in-an-ANN-compared-to-a-biological-neural-networkWhat is back propagation in an artificial neural network?Back propagation in a

2016-01-16 12:12:01 773

转载深度学习：推动NLP领域发展的新引擎

转载自：http://geek.csdn.net/news/detail/49440#0-tsina-1-14716-397232819ff9a47a7b7e80a40613cfe1文 / 雷欣，李理从2015年ACL会议的论文可以看出，目前NLP最流行的方法还是机器学习尤其是深度学习，所以本文会从深度神经网络的角度分析目前NLP研究的热点和未来的发展方向。我们主要关注Wo

2016-01-16 12:10:07 1286

转载认知、流形与虚实世界

作者：@孙明明_SmarterChina从第一代单层神经网络被称为“感知机“开始，人工智能学者不断地追求强有力的方法来感知、认知这个复杂的世界。（由于语义在各种语境下的混淆，这里我们不讨论认知（Congnition）与感知(Perception)的差异）。统计机器学习方法从线性方法，到浅层非线性学习，再发展到当前的深度学习的历程中，数据吞吐处理能力，函数逼近能力，以及方差控制方

2016-01-04 15:03:20 1283

转载人工智能史

嗯，来自维基~主要是今年的一些反思比较有意思。毕竟智能的出现是为了生存，所以自底向下的思路是可以理解的。原始连接：http://zh.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%8F%B2人工智能的历史源远流长。在古代的神话传说中，技艺高超的工匠可以制作人造人，并为其赋予智能或意识。[1]现代意义上的

2016-01-04 14:42:13 4568

转载再谈深度学习文本的表示

转载自：http://www.52cs.org/?p=557之前在百度开放研究社区写了篇``深度学习文本的表示''，现在这篇姑且作为其升级篇吧。因此本文再谈deep learning在文本表示学习方面的体会。深度模型如何学习和表示词、短语、句子和篇章呢？词: 以前表示词是所谓的distributional vector，现在将词表示成embedding这种形式我觉得根

2016-01-04 12:58:08 993 1

转载 Deep Learning and Shallow Learning

转载自：http://freemind.pluskid.org/machine-learning/deep-learning-and-shallow-learning/#d099df3178ce12309f0ed2df2b7ab6484fe64c84由于 Deep Learning 现在如火如荼的势头，在各种领域逐渐占据 state-of-the-art 的地位，上个学期在一门课的 pro

2016-01-04 11:36:07 776

转载 Making sense of word2vec

转自：http://rare-technologies.com/making-sense-of-word2vec/来自Gensim作者的blog，主要对word2vec和Glove进行了比较。不同于Licstar的这篇，这里没介绍太多模型。比较让我感兴趣的就是最后关于Levy & Goldberg对于使用简单的矩阵分解策略（SVD等）达到不亚于word2vec效果的探索，Ronan C

2016-01-04 05:55:48 1496

转载 How to trick a neural network into thinking a panda is a vulture

This is really cool and not that inscrutable！From: https://codewords.recurse.com/issues/five/why-do-neural-networks-think-a-panda-is-a-vultureNeural networks are magicalWhen I go to Google

2016-01-04 05:26:34 1214

翻译 KAGGLE ENSEMBLING GUIDE

转载自：http://mlwave.com/kaggle-ensembling-guide/一、Creating ensembles from submission files 简单方案，直接通过其他人提交的结果进行整合1. Voting ensemble2. Averaging3. Rank averaging二、Stacked

2016-01-03 12:49:28 1369

转载提高效率的 Android Studio 技巧汇总

转载自：http://www.codeceo.com/article/android-studio-skills.html这是从Philippe Breault的系列文章《Android Studio Tips Of the Day》中提取出来的自认为精华的部分。这些技巧在实际应用中能够非常大的提高工作效率。关于快捷键The File Structure P

2015-12-30 11:48:35 453

原创关于ensemble的一点点记录（RF和GBT的区别）

error=bias+variance有监督分类器的error是由bias和variance两个部分构成，前者高意味着underfitting，模型对于训练数据的描述能力不够，后者高意味着over-fitting，纵然model对于training data能够准确描述，但是换到新的数据上就跪了。Ensemble是现在十分popular的方法，在我印象中一直觉得ense

2015-12-11 11:51:53 1876

转载 Installing R packages on to your EC2 RStudio instance

转载自：http://slices.svbtle.com/installing-packages-on-to-an-ec2-rstudio-instanceOnce you’ve got your EC2 instance running with RStudio, you will probably want to install some of your favourite package

2015-12-11 06:04:40 503

原创出来三个月了，随便写点什么

真是好快，转眼出国三个月了。csdn的blog出国之后就不太好用了，本想自己建一个new blog，结果域名突然就被抢了 = =有些进步，可又感觉什么都没有。研究的方向还是没有定下。看了很多关于embedding的东西，回头看读研的时候要是早些选择关注这个方向就好了，但毕竟人生不能后退，现在开始也不晚。Ng的ml课也快看完了，虽说不难，但是感觉收获很大，能在这么基础的课里讲授这

2015-11-16 12:01:50 611

转载 Deep learning：用NN实现数据的降维

转载自：http://www.cnblogs.com/tornadomeet/archive/2013/04/29/3051393.html 　　数据降维的重要性就不必说了，而用NN（神经网络）来对数据进行大量的降维是从2006开始的，这起源于2006年science上的一篇文章：reducing the dimensionality of data with neural netwo

2015-11-02 12:45:30 737

转载情感分析的新方法

转载自：http://datartisan.com/article/detail/48.html 情感分析是一种常见的自然语言处理（NLP）方法的应用，特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式，情感分析可以被视为利用一些情感得分指标来量化定性数据的方法。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或

2015-10-19 04:09:22 15478

转载词嵌套（词向量）简史

转载自：http://datartisan.com/article/detail/50.html当前自然语言处理最大的趋势是对词嵌套的使用，词嵌套是指由语义相关性所度量的相似性向量。这些向量不仅可以表示计算词语之间的相关性，同时它还是其他自然语言处理项目的基础，比如文本分类、文档聚类、词性标注、命名实体识别、情感分析，等等。从 ACL 和 EMNLP 等大型 NLP 会议的会议记录中我们可

2015-10-19 03:51:40 2933

转载在windows7(64位)下安装python(3.4)的theano库

2个多小时，同样热泪盈眶~我是win10+Anaconda的python2.7，问题基本一致转载自：http://yiisama.lofter.com/post/1cc07f63_5804e67楼主折腾这件事情长达10个小时，其中走了不少弯路，现记下方法以备不时之需，或帮助其他和我一样蛋疼到在windows下工作的人。如果你百度一下windows安装theano，里面多

2015-10-13 00:11:12 5416 4

转载在Windows的CMD中如何设置支持UTF8编码?

转载自：http://blog.useasp.net/archive/2012/04/24/how_to_use_UTF8_encoding_in_Windows_CMD.aspx　　这个问题很多人开始都会不知道，当然包括曾经的我，当用到的时候，只好求助于伟大的股沟和度娘了。网上有设置的方法，但说明确不够详细系统，说设置字体为：Lucida Console。问题是，在默认方

2015-10-12 13:26:54 785

空空如也

空空如也