- 博客(87)
- 收藏
- 关注
RSS订阅
原创 [整理] 图像算法
sift特征提取https://blog.csdn.net/abcjennifer/article/details/7639681 （讲的很详细）
2018-10-08 11:27:46
315
原创 [paper] Dropout
DropoutAbstract过拟合是指在训练集上表现很好，但是在测试集上表现不好Overfitting can be reduced by using “dropout” to prevent complex co-adaptations on the training data.可以通过使用dropout来避免在训练集上co-adaptations以减少过拟合On each pres...
2018-09-17 23:39:48
252
原创 [paper] Inception v2/v3
Inception v2/v3论文题目 Rethinking the Inception Architecture for Computer Vision
2018-09-14 17:22:16
529
原创 [paper] Layer Normalization
Layer NormalizationAbstract目前效果最好的深度学习网络计算代价昂贵。减少训练时间的方法之一是规范化神经元的激活。Batch Normalization 使用了这一思路，用mini-batch的均值和方差来规范化，这极大的减少了训练时间但是，BN的效果在很大程度上依赖于mini-batch size的大小，并且不能应用到RNN上面在这篇文章，我们用Layer...
2018-09-12 23:40:44
3259
原创 [paper] Batch Normalization
Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift论文地址：https://arxiv.org/abs/1502.03167
2018-09-05 10:22:59
346
原创 [paper] InsightFace
InsightFace论文地址：https://arxiv.org/abs/1801.07698 项目地址：https://github.com/deepinsight/insightface创新点提出了一个新的损失函数(ArcFace)，有更好的几何解释性 对于一些公开数据集的二次处理，并将处理后的数据公开评测了不同网络结构的效果和性能损失函数基于欧式距离的损...
2018-08-31 16:36:51
4759
1
原创 [paper] MTCNN
MTCNN (Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks)
2018-08-30 19:03:05
1729
原创 [paper] InceptionV1
Going deeper with convolutions2014年，GoogLeNet和VGG获得了当年(ILSVRC14)的前两名。VGG主要是在AlexNet的基础上对网络进行改进，而GoogLeNet则是尝试了新的网络结构，深度只有22层，参数也少了很多。相比与之前看过的论文不同的是Going deeper with convolutions不仅考虑了准确率之类的数据评估尺度，更...
2018-08-27 00:26:42
414
转载 [机器学习]支持向量机3——引入松弛因子
很多情况下，一个分离超平面并不能完全将训练数据分成两部分。那么我们这是可以允许出现一些误差。故引入松弛因子。 参考资料1.https://blog.csdn.net/luoshixian099/article/details/51073885#comments...
2018-06-14 20:56:13
2089
1
原创 [机器学习] 凸优化的总结
在机器学习中，很多情况下我们想要优化一个函数。举个例子：给定一个函数 f：Rn−>Rf：Rn−>Rf：R^n ->R，我们要找到一个x∈Rnx∈Rnx\in R^n使得f(x)f(x)f(x)取得最大值/最小值。通常来说，找到一个全局最优解是困难的。但是，对于凸优化问题，局部最优解便是全局最优解。凸集在进行凸优化之前，首先我们要知道什么是凸集。定义：如果集合C是一个凸集...
2018-06-06 12:43:11
1901
原创 [机器学习] 支持向量机2——对偶问题
上一篇请戳支持向量机2在上一篇中，我们由于要最大化间隔故推导出最终要处理的公式为 minω,b12||ω||2yi(ωTxi+b)>=1,i=1,2,3...m.(2.1)(2.1)minω,b12||ω||2yi(ωTxi+b)>=1,i=1,2,3...m.
2018-06-06 10:17:40
1594
原创 [机器学习] 支持向量机1——间隔和支持向量
间隔和支持向量给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}{(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}\left\{(x_1, y_1),(x_2,y_2),...,(x_m, y_m)\right\},y_i∈\left\{-1, +1\right\}。分类学习最基本的思想就是基于训练集D在样本空间中找...
2018-06-02 11:13:59
1322
原创 [深度学习] 损失函数
深度学习中损失函数是整个网络模型的“指挥棒”， 通过对预测样本和真实样本标记产生的误差反向传播指导网络参数学习。分类任务的损失函数假设某分类任务共有N个训练样本，针对网络最后分层第 i 个样本的输入特征为 XiXiX_i ，其对应的标记为YiYiY_i是最终的分类结果（C个分类结果中的一个），h=（h1,h2,...,hch1,h2,...,hch_1, h_2,...,h_c）为网络的最...
2018-05-29 10:19:04
13686
原创 [深度学习] 激活函数
激活函数激活函数又称“非线性映射函数”，是深度卷积神经网络中不可或缺的模块。可以说，深度网络模型强大的表示能力大部分便是由激活函数的非线性单元带来的。这部分共介绍7个激活函数：Sigmoid函数，tanh函数，Relu函数，Leaky Relu函数，参数化Relu，随机化Relu和指数化线性单元（ELU）。Sigmoid型函数sigmoid函数也称Logistic函数：σ(x)...
2018-05-28 11:53:25
2598
原创 [机器学习] 贝叶斯分类器2
贝叶斯的先导知识，请戳贝叶斯分类器2贝叶斯决策论贝叶斯决策论是根据我们已知的一些概率信息和误判的损失来选择最优的类别。什么是已知的概率信息？ 举一个贝叶斯先导知识里的例子：设有外形完全相同的两个箱子，甲箱中有99个白球和一个黑球，乙箱有99黑球和一个白球。今随机抽取一箱，并从中随机抽取一球，结果取得白球，问这球是从哪个箱子中取出的？ 那么甲箱中抽取白球的概率99%，乙箱中...
2018-05-27 17:02:58
306
原创 [机器学习] 贝叶斯分类器1
基于概率论的分类方法：朴素贝叶斯条件概率所谓条件概率，它是指某事件B发生的条件下，求另一事件A的概率，记为P(A|B)P(A|B)P(A|B)，它与P(A)P(A)P(A)是不同的两类概率。举例： 考察有两个小孩的家庭， 其样本空间为Ω=[bb,bg,gb,gg]Ω=[bb,bg,gb,gg]\Omega = {[bb, bg, gb, gg]}, 其中b 代表男孩，g代表女孩，b...
2018-05-23 11:20:01
481
原创 [机器学习] 决策树2
决策树接着上篇文章决策树1基尼指数CART（classification and regression tree）决策树使用“基尼指数”来选择划分属性，数据集的纯度此时用基尼值来度量：Gini(D)=∑γk=1∑k′!=kpkp′kGini(D)=∑k=1γ∑k′!=kpkpk′Gini(D) = \sum_{k=1}^{\gamma}{\sum_{k' != k }}{p_kp_...
2018-05-21 14:02:27
294
原创 [深度学习] 网络参数初始化
网络参数初始化神经网络模型一般依靠随机梯度下降进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛结果实际上又很大程度取决于网络参数的最开始的初始化。理想的网络参数初始化使模型训练事半功倍，相反，糟糕的初始化方案不仅会影响网络收敛，甚至会导致梯度弥散或爆炸。网络初始化的方案全零初始化当网络达到稳定状态时， 参数（权值）在理想情况下应该保持正负各半（此时期望为0）...
2018-05-20 19:46:48
5230
原创 [深度学习] 数据预处理
输入归一化在图像处理中，图像的每一个像素信息同样可以看作一种特征。在实践中，对每个特征减去平均值来中心化数据是非常重要的。这种归一化处理的方式被称为“中心式归一化。卷积神经网络中的数据预处理通常是计算训练集图像像素均值，之后再处理训练集，验证集和测试图像使需要分别减去该均值。我们默认自然图像是一类平稳的数据分布（即数据的每一个维度的统计都服从相同分布），此时，在每个样本上减去数据的统计平均值可...
2018-05-20 19:18:37
1538
原创 [机器学习] 决策树1
决策树（decision tree）决策树就是用树状结构来进行分类的一种机器学习算法，是有监督学习的一种。决策树的构造优点：计算法复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能产生过度匹配问题适用数据类型： 数值型（数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)） 标称型（...
2018-05-19 19:15:16
325
原创 [机器学习] K近邻算法
K近邻算法 (KNN)KNN 的原理存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签， 即我们知道样本集中每一数据与所属分类的对应关系。 输入没有标签的新数据之后 （测试集）， 将新数据的每个特征与样本集中数据对应的特征进行比较， 然后算法提取样本集中特征最相近（最近邻）的分类标签。 一般来说， 我们只选择样本数据集中前k个最相近的数据， 这就是k-近邻算法中k的出处...
2018-05-17 10:31:12
346
1
原创 [深度学习] 模型集成方法
模型集成方法集成学习（ensemble learning）是机器学习中一类学习算法，值训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中会取得比单个学习器更好的预测结果。数据层面的集成方法在训练阶段的数据扩充在测试阶段仍然使用。 诸如图像多尺度， 随机扣取等。以随机扣取为例， 对某张测试图片可得到n 张随机扣取图像，测试阶段只需要用训练好的深度网络模型对n张图分别做预测...
2018-05-16 11:47:57
8340
4
原创 [深度学习] 不平衡样本的处理
不平衡样本的处理机器学习中经典假设中往往假定训练样本各类别是同等数量即各类样本数目是均衡的，但是真实场景中遇到的实际问题却常常不符合这个假设。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别，这样模型在测试数据上的泛化能力就会受到影响。一个例子，训练集中有99个正例样本，1个负例样本。在不考虑样本不平衡的很多情况下，学习算法会使分类器放弃负例预测，因为把所有...
2018-05-15 10:55:59
27915
4
原创 [深度学习] 超参数设定和网络训练
超参数设定和网络训练介绍一些重要的网络设计过程中的超参数设定技巧和训练技巧，如学习率，批规范化操作和网络优化化策略的选择。网络超参数的设定网络超参数设定在搭建整个网络架构之前，需首先指定与网络结构相关的各项超参数：输入图像像素，卷积层个数，卷积核相关参数。输入数据像素大小使用卷积神经网络处理图像问题时，对不同输入图像为得到同规格输出，同时便于GPU运行，会将图像压缩到22222...
2018-05-12 17:59:43
20061
原创 [深度学习] 网络正则化
机器学习的核心问题是如何使学习算法不仅在训练样本上表现良好，而且在新数据上或测试集上同时奏效，学习算法在新数据上的这样一种表现我们称之为模型的泛化能力。如果一个学习算法在训练集表现优异，同时在测试集依然工作良好，可以说该学习算法有较强的泛化能力。若某算法在训练集表现优异，但是测试集却非常糟糕，我们说这样的学习并没有泛化能力，这种现象也叫做过拟合（overfitting）。 如何避免过拟合？我们可...
2018-05-11 11:16:25
3416
原创 [深度学习] 深度学习基本网络结构
当初写这篇博客时候是写在石墨上作为个人的笔记所用，所以很多摘抄，参考别人博客并没有记录下原本的地址，如有侵权，请联系，我们立即删除AlexNet这幅图片是AlexNet的模型。文章发表的时候是2012年，当时的GPU是 GTX580，所以使用了两块GPU，但是目前的硬件水平使用一块GPU就足够了。 图片: AlexNet 共有8层。其中前五层为卷积层，后三层为全连接层。最后一个全连...
2018-04-26 13:17:18
8162
原创 [paper] Hourglass
Stacked Hourglass Networks for Human Pose EstimationAbstractHourglass Net是一个进行人体位姿估计的卷积神经网络。对多种尺寸上得到特征并且捕获身体上各种空间关系。作者展示了如何将重复的自下而上，自上而下的处理并且与中间监督结合使用，这些对于提高网络性能至关重要。“stacked hourglass” 使用一系列池化和上采样来...
2019-06-18 23:57:40
1370
原创 [图像处理]双线性插值法及python实现
双线性插值法及python实现插值法是一种根据原图（source）图片信息构造目标图像（destination）的方法。而其中的双线性插值法是一种目前使用较多的插值方法，他在效果和计算量之间有较好的权衡，所以使用较为广泛。最近邻插值法给定一个矩阵（图片本身就是一种矩阵），将1个3∗33*33∗3尺寸的矩阵使用最近邻插值法到4∗44*44∗4[2343822674412896563]⟹[？？...
2019-06-17 17:32:05
8619
3
原创 [算法] 深搜整理
深搜之前在leetcode上刷题一直都对这个知识点比较模糊，最近，集中写了几道深搜的题目，将自己的思路和题目做了整理写下此篇博客。博客很多题目是网上提供的一些深搜题目，另外一些是leetcode上关于深搜的题目。六角填数如下图所示六角形中，填入1~12的数字。使得每条直线上的数字之和都相同。 图中，已经替你填好了3个数字，请你计算星号位置所代表的数字是多少？针对下面代码，将整个六角形的每...
2019-06-14 09:30:50
811
原创 [paper] CE2P
Devil in the Details: Towards Accurate Single and Multiple Human ParsingCE2P是一个端到端的人体解析的框架，现已开源，代码连接 。Abstract人体解析方面的研究由于其广泛的应用吸引了广大学者的兴趣。这篇文章的作者提出了一个端到端的人体解析框架（CE2P）来达到state of art的效果。并在一些列比赛中拔得头筹...
2019-06-05 19:49:37
1822
原创 [paper] Bags of Tricks for Image Classification with Convolutional Neural Networks
介绍论文地址：https://arxiv.org/abs/1812.01187这篇文章主要介绍了一些在训练神经网络中可以提高准确率的tricks。随着深度学习的发展，不断有新的网络结构被提出，例如VGG, NiN, Inception, Resnet, DenseNet, NASNet等。伴随着新的网络结构的诞生，分类准确率也在不断上升。但是，损失函数的改变，数据预处理和优化方法对于准确率...
2018-12-14 18:44:09
1429
原创 [深度学习] 牛顿法
牛顿法牛顿法是一种二阶梯度方法。与一阶梯度算法相比，二阶梯度方法使用了二阶导数进行了优化。具体解释如下：在函数上随便找个点，做这个点的切线，求出切线的跟（切线和x轴交点）从这个切线的跟出发，做一条垂线与函数相交，继续方才的工作，此时我们发现B比A点更接近跟继续进行上述操作，直到迭代收敛...
2018-11-26 14:44:41
1518
原创 [paper] SENet
SENet论文链接：https://arxiv.org/abs/1709.01507代码地址：https://github.com/hujie-frank/SENetSENet赢得了ILSVRC比赛的第一名，将top-5的错误率减少到2.251%，比一年前下降了25%。SE block是一种组成网络的一种结构，SE block的堆叠就可以构成SENet。这点可以类比于GooLeNet和In...
2018-10-23 22:02:23
1127
原创 [paper] ResNet
ResNetResNet论文地址：Deep Residual Learning for Image RecognitionResNet于15年提出，并斩获当年多项比赛奖项。在这篇文章我会从以下几个方面记录我对ResNet的理解ResNet结构是否网络越深结果表现的越好为什么ResNet可以奏效ResNet结构 上图表示ResNet的residual block结构，其中弧线是x...
2018-10-17 11:54:07
1550
原创 [深度学习] 迁移学习
迁移学习情况1:数据很少在数据量很少的情况下，可以先使用公开的大数据集进行训练，然后改变全连接的最后一层，变成适合我们应用场景的全连接。冻结全连接最后一层之前全部参数，只用我们自己的数据集对全连接最后一层训练。例如：我们可以用数据集ImageNet，网络结构VGG-16进行分类任务。原网络的结果可能是分成一千类，而我们需要的是区分十个小动物，那么我们可以先用ImageNet训练，训练好了之后...
2018-10-08 21:41:06
310
原创 [paper]Group Normalization
Group NormalizationGroup Normalization 在18年由Kaiming He和 Yuxin Wu提出，其目的是为了解决BN存在的缺陷，在某些情况下用GN替代BN。BN存在的问题BN全名Batch Normalization，在15年提出后，广泛应用于深度学习领域，其作用主要在于提升训练速度和收敛速度。BN以batch为维度进行归一化。看了BN之后的理解详见...
2018-09-30 14:22:54
298
原创 [paper] Inception V4
Inception V4论文名称：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文地址：https://arxiv.org/abs/1602.07261
2018-09-27 14:28:24
484
原创 [深度学习] 优化算法
优化算法优化算法的功能就是改善训练方式，来最小化（最大化）损失函数模型内部有些参数，是用来计算测试集中目标值 Y 的真实值和预测值的偏差，基于这些参数，就形成了损失函数E(x)。比如说，权重(ωωω)和偏差(b)就是这样的内部参数，一般用于计算输出值，在训练神经网络模型时起到主要作用。在有效地训练模型并产生准确结果时，模型的内部参数起到了非常重要的作用。这也是为什么我们应该用各种优化策略和...
2018-09-17 21:52:57
1739
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人