9 大饼博士X

尚未进行身份认证

关注机器学习/深度学习算法与硬件加速

等级
TA的排名 2k+

Word2vec算法原理(一):跳字模型(skip-gram) 和连续词袋模型(CBOW)

wordembedding算法中最为经典的算法就是今天要介绍的word2vec,最早来源于Google的Mikolov的:1、DistributedRepresentationsofSentencesandDocuments2、Efficientestimationofwordrepresentationsinvectorspace也是开创了无监督词嵌入的新局面,让...

2019-05-26 20:37:55

深度学习方法(十六):Batch Normalization及其变种——Layer Norm, Group Norm,Weight Norm等

很久没写博文了,这几天是元旦假期,抽一点时间写一些简单的内容,大家2018年一起加油,天天向上哈!本文的内容包括:BatchNormalizationWeightNormalizationLayerNormalizationBatchRenormalizationBatchNormalization加粗Ctrl+B列表内容斜体

2019-03-29 22:03:21

深度学习方法(十五):知识蒸馏(Distilling the Knowledge in a Neural Network),在线蒸馏

DistillingtheKnowledgeinaNeuralNetwork这篇介绍一下Hinton大神在15年做的一个黑科技技术,Hinton在一些报告中称之为DarkKnowledge,技术上一般叫做知识蒸馏(KnowledgeDistillation)。核心思想是通过迁移知识,从而通过训练好的大模型得到更加适合推理的小模型。这个概念最早在06年的Paper:ModelC...

2018-10-15 22:44:35

深度学习/机器学习入门基础数学知识整理(六):Hoeffding不等式,

开写之前先推荐一个林轩田先生的书,《LearningFromData》,我从网上得到电子版资源放在这里获取,仅用于学习交流之用,不可用与商用,谢谢。网上还有配套的Slides,我虽然还未看过这本书,但是浏览了一下非常不错,mark一下,希望后面有时间可以静下心来学习一下。直观理解本章记录一下霍夫丁不等式HoeffdingInequality,以及占个位,以后其他类似的不等式...

2018-08-26 22:36:02

深度学习/机器学习入门基础数学知识整理(五):Jensen不等式简单理解,共轭函数

Jensen不等式及其延伸[1]凸函数最基本的不等式性质,又称Jensen不等式f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(\thetax+(1-\theta)y)\leq\theta\f(x)+(1-\theta)\f(y)许多著名的不等式都是由Je...

2018-07-30 00:33:41

深度学习/机器学习入门基础数学知识整理(四):拟牛顿法、BFGS、L_BFDS、DFP、共轭梯度法

参考资料https://blog.csdn.net/batuwuhanpei/article/details/51979831https://blog.csdn.net/u011722133/article/details/53518134无约束优化方法(梯度法-牛顿法-BFGS-L-BFGS)优化算法——拟牛顿法之DFP算法牛顿法与拟牛顿法牛顿法,拟牛顿法,共轭梯度法...

2018-07-15 01:39:23

算法转载收藏

零散算法专题收录,自己mark用

2018-06-11 16:54:14

强化学习方法(一):探索-利用困境exploration exploitation,Multi-armed bandit

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群:433250724,欢迎对算法、技术感兴趣的同学加入。18年新开一个强化学习方法系列,督促自己能够再不断扩充知识并分享给更多的同学。其实前面写的机器学习方法系列和深度学习方法系列,也都还没有写够,平时工作比较忙,更新很慢,但是我还是会努力更新的。今天开始记录一些强化学习的知识,这些内容以...

2018-03-04 01:00:28

我的Blog文章索引::机器学习方法系列,深度学习方法系列,三十分钟理解系列等

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群:433250724,欢迎对算法、机器学习技术感兴趣的同学加入。以下是我利用业余时间在自己博客中写的文章,主要是一些基础、经典算法的整理,目的一方面是为了科普机器学习技术,让更多同学可以知道什么是机器学习;另外一方面也是督促自己在工作之余还可以抽时间学习知识,温故知新,以备查用。本文会

2018-01-21 21:59:38

深度学习/机器学习入门基础数学知识整理(三):凸优化,Hessian,牛顿法

凸优化理论本身非常博大,事实上我也只是了解了一个皮毛中的皮毛,但是对于广大仅仅想要了解一下机器学习或者深度学习的同学来说,稍微了解一点凸优化也就够了。在实际工程问题中,比如现在我们用的最多的深度神经网络的求解优化问题,都是非凸的,因此很多凸优化理论中非常有价值的定理和方法,在非凸优化问题中不适用,或者说并没有收敛保证等。但是,作为知识的基础,依然有必要来理解和学习一下凸优化,本篇整理了非常基础的一...

2018-01-20 21:05:27

深度学习/机器学习入门基础数学知识整理(二):梯度与导数,矩阵求导,泰勒展开等

导数与梯度导数:一个一元函数函数在某一点的导数描述了这个函数在这一点附近的变化率。f′(a)=limh→0f(a+h)−f(a)hf'(a)=\lim_{h\rightarrow0}\frac{f(a+h)-f(a)}{h}梯度:多元函数的导数就是梯度。一阶导数,即梯度(gradient):∇f(X)=∂f(X)∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂f(X)∂

2018-01-19 23:17:48

深度学习/机器学习入门基础数学知识整理(一):线性代数基础,矩阵,范数等

前面大概有2年时间,利用业余时间断断续续写了一个机器学习方法系列,和深度学习方法系列,还有一个三十分钟理解系列(一些趣味知识);新的一年开始了,今年给自己定的学习目标——以补齐基础理论为重点,研究一些基础课题;同时逐步继续写上述三个系列的文章。最近越来越多的研究工作聚焦研究多层神经网络的原理,本质,我相信深度学习并不是无法掌控的“炼金术”,而是真真实实有理论保证的理论体系;本篇打算摘录整理

2018-01-14 14:08:39

[完美解决]如何在windows安装docker toolbox,使用tensorflow,Jupyter Notebook,各种问题的解决方案

上两周心血来潮想在自己的Surface(Win10Home系统)上用TensorFlow和Python,但是安装实在是太麻烦了…就想到能不能在Windows上用docker直接运行linux环境的TensorFlow?网上一查还真有,然后很开心的下载安装…谁知进入了一个超级大坑T_T,经过断断续续几次的研究(折腾)终于在今天搭建完成环境,在本文中给一个详细的教程,帮助大家少走弯路~!

2018-01-01 15:53:28

深度学习方法(十四):轻量级CNN网络设计——MobileNet,ShuffleNet,文末有思考

本系列前面介绍了非常多卷积网络结构设计,事实上,在inception和resnet网络提出并相对完善以后,网络结构的设计就不再爆发式出现了,这两大类网路涵盖了大部分应用的卷积网络结构。在本文中,我们来一起看一些最近一年研究较多的轻量级卷积网络结构,这些网络主要的设计目标是——在保证一定的识别精度情况下,尽可能减少网络规模(参数量、计算量)。最直接的设计目标就是用于手机等移动终端中(CPU),让

2017-08-25 22:16:54

三十分钟理解:双调排序Bitonic Sort,适合并行计算的排序算法

双调排序是data-independent的排序,即比较顺序与数据无关的排序方法,特别适合做并行计算,例如用GPU、fpga来计算。

2017-07-30 23:29:10

分布式机器学习系统笔记(一)——模型并行,数据并行,参数平均,ASGD

模型并行(**modelparallelism**):分布式系统中的不同机器(GPU/CPU等)负责网络模型的不同部分——例如,神经网络模型的不同网络层被分配到不同的机器,或者同一层内部的不同参数被分配到不同机器;[14]-数据并行(**dataparallelism**):不同的机器有同一个模型的多个副本,每个机器分配到不同的数据,然后将所有机器的计算结果按照某种方式合并。

2017-07-29 21:45:48

FPGA 17最佳论文导读 ESE: Efficient Speech Recognition Engine with Compressed LSTM on FPGA

国内知名的深鉴科技的几位初创写的一篇,拿了**今年FPGA会议的bestpaper**,今天来看一看到底有些什么内容。文章围绕在FPGA下设计LSTM执行引擎,主要考虑的点是稀疏的计算架构。说实话,稀疏计算已经说的快熟(lan)了,关键还是这样的架构要在牺牲通用性下,得到足够强劲的收益;在一些专用的计算场景下,确实可以做到很好的效果,但也并不是一个免费的午餐。

2017-07-02 20:45:16

ASPLOS'17论文导读——SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing

今年去参加了ASPLOS2017大会,这个会议总体来说我感觉偏系统和偏软一点,涉及硬件的相对少一些,对我这个喜欢算法以及硬件架构的菜鸟来说并不算非常契合。中间记录了几篇相对比较有趣的paper,今天简单写一篇。SC-DCNN:Highly-ScalableDeepConvolutionalNeuralNetworkusingStochasticComputing单位作者:我

2017-05-30 22:35:16

深度学习方法(十三):卷积神经网络结构变化——可变形卷积网络deformable convolutional networks

上一篇我们介绍了:深度学习方法(十二):卷积神经网络结构变化——SpatialTransformerNetworks,STN创造性地在CNN结构中装入了一个可学习的仿射变换,目的是增加CNN的旋转、平移、缩放、剪裁性。为什么要做这个很奇怪的结构呢?原因还是因为CNN不够鲁棒,比如把一张图片颠倒一下,可能就不认识了(这里mark一下,提高CNN的泛化能力,值得继续花很大力气,STN是一个思路,读者

2017-04-19 22:44:10

深度学习方法(十二):卷积神经网络结构变化——Spatial Transformer Networks

今天具体介绍一个GoogleDeepMind在15年提出的SpatialTransformerNetworks,相当于在传统的一层Convolution中间,装了一个“插件”,可以使得传统的卷积带有了[裁剪]、[平移]、[缩放]、[旋转]等特性;理论上,作者希望可以减少CNN的训练数据量,以及减少做dataargument,让CNN自己学会数据的形状变换。这篇论文我相信会启发很多新的改进,也就是对卷积结构作出

2017-04-03 23:45:44

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!