- 博客(115)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 我的Blog文章索引：：机器学习方法系列，深度学习方法系列，三十分钟理解系列等
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、机器学习技术感兴趣的同学加入。以下是我利用业余时间在自己博客中写的文章，主要是一些基础、经典算法的整理，目的一方面是为了科普机器学习技术，让更多同学可以知道什么是机器学习；另外一方面也是督促自己在工作之余还可以抽时间学习知识，温故知新，以备查用。本文会
2018-01-21 21:59:38
7361
3
原创 深度学习方法（二十一）：常用权重初始化方法Xavier，He initialization的推导
文章目录交叉熵目标函数更陡峭Xavier initialization [1][4]He initialization [2][3]He init 考虑ReLU函数He init 考虑Leaky ReLU函数结束语参考资料交叉熵目标函数更陡峭在论文[1]中给了一个图示，一定程度上说明了为什么Cross Entropy用的很多，效果很好。图中上面的曲面表示的是交叉熵代价函数，下面的曲面表示的是二次代价函数，W1和W2分别表示层与层之间的连接权值。)在1986年 Rumelhart 已经发现：logi
2020-08-09 18:01:02
4602
2
原创 Python基础（二）：Numpy函数介绍：Meshgrid，mgrid，append等
文章目录meshgrid函数mgrid函数参考资料meshgrid函数meshgrid函数通常使用在数据的矢量化上。它适用于生成网格型数据，可以接受两个一维数组生成两个二维矩阵，对应两个数组中所有的(x,y)对。meshgrid的作用是：根据传入的两个一维数组参数生成两个数组元素的列表。如果第一个参数是xarray，维度是xdimesion，第二个参数是yarray，维度是ydimesion。那么生成的第一个二维数组是以xarray为行，共ydimesion行的向量；而第二个二维数组是以yarray的
2020-07-19 22:10:51
8132
原创 今天开始学Convex Optimization：第3章(part2) Optimization basics
文章目录重写约束条件部分优化：消除等式约束：引入Slack变量：例子： SVM的hinge loss form凸函数的一阶最优条件（First-order optimality conditions)例子：二次优化参考资料本章来自Ryan Tibshirani的Convex Optimization: Fall 2019课程的Convexity II: Optimization basics小节。先看一个比较容易理解的概念：最优解组成的集合是一个convex set如果强凸的函数f，最优解是唯一的：
2020-05-31 21:36:18
1352
原创 今天开始学Convex Optimization：第3章 Convex Sets and Convex functions
第3章 Convex Sets and Convex functions
2020-04-05 22:58:11
2183
原创 入门神经网络优化算法（六）：二阶优化算法K-FAC
上一篇介绍了二阶优化算法Natural Gradient Descent（自然梯度算法），虽然可以避免计算Hessian，但是依然在计算代价上极高，对于大型的神经网络参数规模依然不可能直接计算。本篇继续介绍自然梯度算法后续的一个近似计算方法K-FAC
2020-03-29 22:27:55
5487
原创 深度学习方法（二十）：Hinton组最新无监督学习方法SimCLR介绍，以及Momentum Contrastive(MoCo)
本篇文章记录一下最近发表的两个比较类似的无监督representation learning工作： - SimCLR——Hinton组的工作，第一作者Ting Chen - MoCo v2——He Kaiming组的工作，第一作者Xinlei Chen
2020-03-21 21:13:41
11798
原创 深度学习方法（十九）：一文理解Contrastive Loss，Triplet Loss，Focal Loss
我们平时ML任务的时候，用的最多的是cross entropy loss或者MSE loss。需要有一个明确的目标，比如一个具体的数值或者是一个具体的分类类别。但是ranking loss实际上是一种metric learning,他们学习的相对距离，相关关系，而对具体数值不是很关心。ranking loss 有非常多的叫法，但是他们的公式实际上非常一致的。大概有两类，一类是输入pair 对，另外一种是输入三元组结构。
2020-03-08 21:21:53
23606
4
原创 三十分钟理解：矩阵Cholesky分解，及其在求解线性方程组、矩阵逆的应用
写一篇关于Cholesky分解的文章，作为学习笔记，尽量一文看懂矩阵Cholesky分解，以及用Cholesky分解来求解对称正定线性方程组，以及求“对称正定矩阵”的逆的应用。
2020-03-04 23:59:38
29055
2
原创 入门神经网络优化算法（五）：一文看懂二阶优化算法Natural Gradient Descent（Fisher Information）
二阶优化算法Natural Gradient Descent，是从分布空间推导最速梯度下降方向的方法，和牛顿方法有非常紧密的联系。Fisher Information Matrix往往可以用来代替牛顿法的Hessian矩阵计算。下面详细道来。
2020-03-03 00:51:11
6521
2
原创 今天开始学Convex Optimization：第2章 背景数学知识简述
主要参考是[1]和[2]的内容。特别是[2]，比较简明又全面的介绍了需要的数学背景知识。主要需要数学分析（主要是实分析，Real analysis）, 微积分（calculus）, 以及线性代数（linear algebra）的最基础数学背景知识。
2020-02-22 23:45:53
2562
原创 Adobe PDF Reader XI 闪退解决办法，用了N年的PDF软件又可以继续用了！
最近很烦人的一个情况是用了好多年的Adobe Reader一直闪退，打开一分钟就闪退。我是Windows10系统，都是在360软甲管家上下载的，然后看了一下评论，发现大家都是这样。我的解决方案分享给大家。
2020-02-22 17:22:54
139556
42
原创 Python基础（一）：Python切片，浅拷贝、深拷贝和赋值，排序，Reduce函数
整理一下Python常用操作，包括Python切片操作、拷贝、排序、Numpy基础等，会持续更新，主要是自己mark用。
2020-02-20 21:40:38
4922
2
原创 深度学习/机器学习入门基础数学知识整理（八）：中心极限定理，一元和多元高斯分布
高斯分布Gaussian distribution，也叫正太分布Normal distribution，是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。
2020-02-13 22:59:45
3664
原创 深度学习/机器学习入门基础数学知识整理（七）：数学上sup、inf含义，和max、min的区别
经常在文献中看到inf和sup，很多人不知道是什么意思。其实这两个概念是来自于“数学分析”中的上确界和下确界：inf： infimum 或 infima，中文叫下确界或最大下界。 inf(S)， S表示一个集合， inf(S)是指集合S的下确界， 即小于或等于S中所有元素的最大值， 这个数不一定在集合S中。sup：supremum，中文叫上确界。sup(S)是指集合S的上确界，即大于或等于S的所有元素的最小值， 这个数不一定在集合S中。
2020-02-11 23:27:51
45544
原创 今天开始学Convex Optimization：引言、第1章基本概念介绍
Convex Optimization 凸优化书第一节，introduction。凸优化问题：本书主要介绍凸优化问题，定义是：对于目标函数以及约束函数都是convex的优化问题，称为convex optimization问题
2020-02-09 23:33:12
4513
2
原创 Python Matplotlib画图基础介绍
Matplotlib 是 Python 中最常用的一个绘图库，主要用于绘制各种图形，包括散点图、柱状图、3D图、等高线图等等。在做研究过程中肯定会经常用，本文做一个简单的入门介绍，也给出极佳的参考手册，以备查用。内容主要参考了[1]的内容，我自己用jupyter notebook实现了一遍，我会给出所有源码的文件。
2020-02-08 16:46:19
7853
原创 大饼博士的神经网络/机器学习算法收录合集：2020年整理，持续更新ing
本文用于随手记录一些Neural Network论文，主要是关注一些我觉得有趣的AI算法、网络结构。比较杂，随时看到随时记录，自己mark用。
2020-02-07 23:05:39
2814
原创 三十分钟在Windows10安装Anaconda+Pytorch+Cuda，老式Nvidia GTX游戏显卡实测可用
这几天捣鼓了一下在自己老式的台式机上安装Pytorch，打算稍微有空的时候玩（学习）一下。我的机器是Windows10系统+Nvidia GTX960显卡，采用Anaconda安装，解决几个小问题后基本上可以说是一键安装使用，非常方便。记录一下，方便同学们查用。我安装的版本没有选择最新版本，最后安装下来的是CUDA9.0+Pytorch1.1，我想也基本够用了。
2020-02-01 22:59:11
5705
2
原创 入门神经网络优化算法（一）：Gradient Descent，Momentum，Nesterov accelerated gradient
梯度下降基于梯度的优化算法，Gradient based optimization，也往往被称为一阶优化算法。所以很容易猜到，还有二阶优化算法等的高阶优化算法，但是在实际应用中，基于梯度的一阶优化算法是目前的绝对主流方法，本文就重点罗列一下基于梯度的优化算法。最典型以及简单的是：梯度下降算法。梯度下降法是神经网络求解优化中最常用的一类算法（实际上是在数值优化方法里的一种常用方法，常常用以求解连...
2019-12-19 20:49:05
5285
1
原创 计算机视觉算法整理（一）：Faster RCNN，bounding box regression，IOU，GIOU
专门收录一下一些有趣的，计算机视觉中我想记录一下的算法，重点关注的是loss function，顺便说下相关算法。因为是收录，只为日后查看之需，有一些会借用一些资料，我会给出引用。1、Faster RCNN两阶段目标检测的代表作，可以说是开创了目标检测的一番局面。现在很多公司实际在商用的目标检测算法，依然很多是基于Faster RCNN的。虽然后来各种论文都号称吊打Faster RCNN，但是...
2019-12-07 00:09:30
5002
原创 论文导读、会议精选：SysML2018，SysML2019
先简单介绍一下SysML会议，2018年新成立的一个聚焦在机器学习系统、软件、硬件等综合领域研究的一个学术会议。由一堆学术界和工业界大佬抱团组建。从18年发布的一篇Machine Learning System（机器学习系统）白皮书可以看到。在白皮书中，机器学习系统的研究方向定义为在现实世界中设计和实现一类系统，这类系统用于支持和部署机器学习模型。随着机器学习模型的快速迭代，旧的系统已经不能为...
2019-11-03 22:51:46
3110
原创 人工智能新闻/资料/文章收录【2018年及之前】
本文仅用于个人网络资料收录：）深度学习（科普）2014-11-17：解密最接近人脑的智能学习机器 ——深度学习及并行化实现（腾讯大数据）2018-2-16：深度 | Pedro Domingos总结机器学习研究的12个宝贵经验 高维的一般问题是，来自三维世界的人类直觉通常不适用于高维空间。在高维度当中，多元高斯分布的大部分数据并不接近平均值，而是在其周围越来越远的「壳」中；此外，...
2019-10-27 21:24:40
4832
原创 深度学习方法（十七）：word2vec算法原理（1）：跳字模型（skip-gram） 和连续词袋模型（CBOW）
word embedding算法中最为经典的算法就是今天要介绍的word2vec，最早来源于Google的Mikolov的：1、Distributed Representations of Sentences and Documents2、Efficient estimation of word representations in vector space也是开创了无监督词嵌入的新局面，让...
2019-05-26 20:37:55
18122
1
原创 深度学习方法（十六）：Batch Normalization及其变种——Layer Norm, Group Norm，Weight Norm等
很久没写博文了，这几天是元旦假期，抽一点时间写一些简单的内容，大家2018年一起加油，天天向上哈！本文的内容包括：Batch NormalizationWeight NormalizationLayer NormalizationBatch RenormalizationBatch Normalization加粗 Ctrl + B 列表内容斜体
2019-03-29 22:03:21
6433
1
原创 深度学习方法（十五）：知识蒸馏（Distilling the Knowledge in a Neural Network），在线蒸馏
Distilling the Knowledge in a Neural Network这篇介绍一下Hinton大神在15年做的一个黑科技技术，Hinton在一些报告中称之为Dark Knowledge，技术上一般叫做知识蒸馏（Knowledge Distillation）。核心思想是通过迁移知识，从而通过训练好的大模型得到更加适合推理的小模型。这个概念最早在06年的Paper： Model C...
2018-10-15 22:44:35
73560
4
原创 深度学习/机器学习入门基础数学知识整理（六）：Hoeffding不等式，
开写之前先推荐一个林轩田先生的书，《Learning From Data》，我从网上得到电子版资源放在这里获取，仅用于学习交流之用，不可用与商用，谢谢。网上还有配套的Slides，我虽然还未看过这本书，但是浏览了一下非常不错，mark一下，希望后面有时间可以静下心来学习一下。直观理解本章记录一下霍夫丁不等式 Hoeffding Inequality，以及占个位，以后其他类似的不等式...
2018-08-26 22:36:02
5176
原创 深度学习/机器学习入门基础数学知识整理（五）：Jensen不等式简单理解，共轭函数
Jensen不等式及其延伸 [1]凸函数最基本的不等式性质，又称Jensen不等式 f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(\theta x+(1-\theta)y)\leq \theta\ f(x)+ (1-\theta)\ f(y) 许多著名的不等式都是由Je...
2018-07-30 00:33:41
3510
原创 深度学习/机器学习入门基础数学知识整理（四）：拟牛顿法、BFGS、L-BFGS、DFP、共轭梯度法
参考资料https://blog.csdn.net/batuwuhanpei/article/details/51979831 https://blog.csdn.net/u011722133/article/details/53518134 无约束优化方法(梯度法-牛顿法-BFGS- L-BFGS） 优化算法——拟牛顿法之DFP算法 牛顿法与拟牛顿法 牛顿法，拟牛顿法， 共轭梯度法...
2018-07-15 01:39:23
4307
原创 强化学习方法（一）：探索-利用困境exploration exploitation，Multi-armed bandit
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。18年新开一个强化学习方法系列，督促自己能够再不断扩充知识并分享给更多的同学。其实前面写的机器学习方法系列和深度学习方法系列，也都还没有写够，平时工作比较忙，更新很慢，但是我还是会努力更新的。今天开始记录一些强化学习的知识，这些内容以...
2018-03-04 01:00:28
25647
2
原创 深度学习/机器学习入门基础数学知识整理（三）：凸优化，Hessian，牛顿法
凸优化理论本身非常博大，事实上我也只是了解了一个皮毛中的皮毛，但是对于广大仅仅想要了解一下机器学习或者深度学习的同学来说，稍微了解一点凸优化也就够了。在实际工程问题中，比如现在我们用的最多的深度神经网络的求解优化问题，都是非凸的，因此很多凸优化理论中非常有价值的定理和方法，在非凸优化问题中不适用，或者说并没有收敛保证等。但是，作为知识的基础，依然有必要来理解和学习一下凸优化，本篇整理了非常基础的一...
2018-01-20 21:05:27
18932
3
原创 深度学习/机器学习入门基础数学知识整理（二）：梯度与导数，矩阵求导，泰勒展开等
导数与梯度导数：一个一元函数函数在某一点的导数描述了这个函数在这一点附近的变化率。 f′(a)=limh→0f(a+h)−f(a)hf'(a) = \lim_{h \rightarrow 0} \frac{f(a+h)-f(a)}{h}梯度:多元函数的导数就是梯度。一阶导数，即梯度（gradient）：∇f(X)=∂f(X)∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂f(X)∂
2018-01-19 23:17:48
7859
2
原创 深度学习/机器学习入门基础数学知识整理（一）：线性代数基础，矩阵，范数等
前面大概有2年时间，利用业余时间断断续续写了一个机器学习方法系列，和深度学习方法系列，还有一个三十分钟理解系列（一些趣味知识）；新的一年开始了，今年给自己定的学习目标——以补齐基础理论为重点，研究一些基础课题；同时逐步继续写上述三个系列的文章。最近越来越多的研究工作聚焦研究多层神经网络的原理，本质，我相信深度学习并不是无法掌控的“炼金术”，而是真真实实有理论保证的理论体系；本篇打算摘录整理
2018-01-14 14:08:39
27518
17
原创 [完美解决]如何在windows安装docker toolbox，使用tensorflow，Jupyter Notebook，各种问题的解决方案
上两周心血来潮想在自己的Surface（Win10 Home系统）上用TensorFlow和Python，但是安装实在是太麻烦了…就想到能不能在Windows上用docker直接运行linux环境的TensorFlow？网上一查还真有，然后很开心的下载安装…谁知进入了一个超级大坑T_T，经过断断续续几次的研究（折腾）终于在今天搭建完成环境，在本文中给一个详细的教程，帮助大家少走弯路~！
2018-01-01 15:53:28
22165
6
原创 深度学习方法（十四）：轻量级CNN网络设计——MobileNet，ShuffleNet，文末有思考
本系列前面介绍了非常多卷积网络结构设计，事实上，在inception和resnet网络提出并相对完善以后，网络结构的设计就不再爆发式出现了，这两大类网路涵盖了大部分应用的卷积网络结构。在本文中，我们来一起看一些最近一年研究较多的轻量级卷积网络结构，这些网络主要的设计目标是——在保证一定的识别精度情况下，尽可能减少网络规模（参数量、计算量）。最直接的设计目标就是用于手机等移动终端中（CPU），让
2017-08-25 22:16:54
24861
1
原创 三十分钟理解：双调排序Bitonic Sort，适合并行计算的排序算法
双调排序是data-independent的排序， 即比较顺序与数据无关的排序方法， 特别适合做并行计算，例如用GPU、fpga来计算。
2017-07-30 23:29:10
33961
6
原创 分布式机器学习系统笔记（一）——模型并行，数据并行，参数平均，ASGD
模型并行（ **model parallelism** ）:分布式系统中的不同机器（GPU/CPU等）负责网络模型的不同部分 —— 例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部的不同参数被分配到不同机器；[14] - 数据并行（ **data parallelism** ）：不同的机器有同一个模型的多个副本，每个机器分配到不同的数据，然后将所有机器的计算结果按照某种方式合并。
2017-07-29 21:45:48
39048
12
原创 FPGA 17最佳论文导读 ESE: Efficient Speech Recognition Engine with Compressed LSTM on FPGA
国内知名的深鉴科技的几位初创写的一篇，拿了**今年FPGA会议的best paper**，今天来看一看到底有些什么内容。文章围绕在FPGA下设计LSTM执行引擎，主要考虑的点是稀疏的计算架构。说实话，稀疏计算已经说的快熟（lan）了，关键还是这样的架构要在牺牲通用性下，得到足够强劲的收益；在一些专用的计算场景下，确实可以做到很好的效果，但也并不是一个免费的午餐。
2017-07-02 20:45:16
5526
原创 ASPLOS'17论文导读——SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing
今年去参加了ASPLOS 2017大会，这个会议总体来说我感觉偏系统和偏软一点，涉及硬件的相对少一些，对我这个喜欢算法以及硬件架构的菜鸟来说并不算非常契合。中间记录了几篇相对比较有趣的paper，今天简单写一篇。SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing 单位作者： 我
2017-05-30 22:35:16
4653
1
2018 - Optimization Methods for Large-Scale Machine Learning.pdf
2020-02-09
A disciplined approach to neural network hyper-parameters Part I
2020-02-09
Matplotlib.ipynb
2020-02-08
Reinforcement Learning an Introduction，2018最新版（第二版）
2018-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人