4 mrcoderrev

尚未进行身份认证

有朝一日我要踏上美利坚的大陆

等级
TA的排名 4k+

AlexNet

这个神经网络有6000万参数,和650000个神经元,包含5个卷积层(某些卷积层后面带有池化层)和3个全连接层,最后一个是1000维的softmax。为了防止过拟合,使用了dropout的正则化方法。使用了120万高分辨率图像分到1000个不同的类别中。使用了非饱和的神经元并对卷积操作进行了非常有效的GPU实现。cnn的前面部分,卷积-激活函数-降采样-标准化。AlexNet论文翻译—...

2019-12-01 10:14:16

cs231n softmax作业

def softmax_loss_naive(W, X, y, reg): """ Softmax loss function, naive implementation (with loops) Inputs have dimension D, there are C classes, and we operate on minibatches of N exa...

2019-11-28 14:54:21

python中的浅拷贝和深拷贝

浅拷贝:(1)切片操作 [:](2)工厂函数,list(),dict()(3)使用copy模块中的copy函数构造方法或切片[:]做的是浅拷贝,即拷贝了最外层的容器(内存地址不一样),副本中的元素都是原容器中的引用(内存地址一样)。深拷贝:不仅拷贝最外层的容器,还会拷贝容器中的元素。相当于完全没有关系不可变对象:int,float,complex,long,str,unicode,...

2019-11-26 10:43:28

softmax/sigmoid tanh/ReLU/Leaky ReLU

softmaxσ(xi)=exi∑j=1j=nexj\sigma(x_i) = {\frac{e^{xi}}{\sum_{j=1}^{j=n}e^{xj}}}σ(xi​)=∑j=1j=n​exjexi​概率之和为1,元素之间相互关联抑制,取值被压缩到(0,1)可用于多分类问题。只有一个标签。sigmoid(logistic function)σ(xi)=11+exi\sigma(x_i)...

2019-11-24 22:12:28

leetcoder 48. Rotate Image(思维)

题意:将一个矩阵进行顺时针旋转自己的做法:直接推公式,x,y = y, n-1-x,弊端需要开一个标记数组class Solution: def rotate(self, matrix): """ Do not return anything, modify matrix in-place instead. """ dt ...

2019-11-24 20:59:54

目标检测骨干网发展

111

2019-11-24 11:52:44

LeNet-5 手写字体识别模型

手写字体识别模型LeNet5诞生于1994,是最早的神经网络之一。现在常用的LeNet-5(卷积池化当作一层的话,共5层)结构和Yann LeCun教授在1988年提出的结构在某些地方有区别,比如激活函数的使用,现在一般采用ReLU作为激活函数,输出层一般选择softmax。(论文RBF)性质:随着网络越来越深,图像的高度和宽度在缩小,但channel数量一直在增加。局限性:CNN能够从...

2019-11-23 17:05:56

svm作业

def svm_loss_naive(W, X, y, reg): """ Structured SVM loss function, naive implementation (with loops). Inputs have dimension D, there are C classes, and we operate on minibatches of N...

2019-11-21 22:38:36

线性分类(svm/softmax)/损失函数/优化

f(x,W)=Wx + bW:所有训练中的经验都存在W中bias:他不与训练数据交互,而只会给我们一些数据独立的偏好值。(例如,数据集的不平衡带来的差异 )优点:易于使用和理解缺点:难于解决多分类问题,在多模态数据中,比如一个类别出现在不同的领域空间中...

2019-11-19 22:32:42

归一化/标准化/正则化

为什么要进行归一化和标准化?因为特征间的单位尺度可能不同,可能会导致计算结果也不同,尺度大的会起决定性作用,为了消除特征间的单位和尺度差异和影响,以对每维特征同等看待,需要对特征进行归一化操作。因尺度差异,其损失函数的等高线可能是椭圆形,梯度方向垂直于等高线,下降会走zigzag路线,而不是指向local minimum,通过对特征进行平均值为0方差为1的变换后,其损失函数的等高线更接近圆形,...

2019-11-18 21:14:55

梯度下降法(全局gGD和随机gSGD)

梯度下降法分为全局梯度下降和随机梯度下降全局梯度法训练的时候用的是所有的训练样本gGD=1n∑i=1nΔθL(xi,yi,θt)g_{GD} = {{1} \over {n}}\sum_{i=1}^{n}\Delta_{\theta}L(x^{i},y^{i},\theta_{t})gGD​=n1​∑i=1n​Δθ​L(xi,yi,θt​)θt+1=θt−ηgGD\theta_{t+1} =...

2019-11-17 12:12:37

YOLOv3: An Incremental Improvement

摘要(1)比V2体积更大,精度更高,但是速度仍有保障(2)输入320/*320的图片后,v3能在22ms内处理完成,并取得28.2mAP,精度和SSD相当,但速度快上3倍。介绍更新2.1边框预测V3用逻辑回归预测每个边界框的objective score。如果当前预测的边界框比之前的更好的与ground truth对象重合,那他的分数就是1,如果当前的预测不是最好的但是和ground ...

2019-10-31 16:56:20

softmax和交叉熵

softmax用于多分类过程中,往往加在神经网络的他将多个神经元的输出,映射到(0,1)区间内,看成概率来解,这些值的累和为1,在选取输出节点的时候选取概率最大的节点作为我们的预测目标,从而进行多分类。Si=ei(∑jej)S_{i} = { \frac{e_{i}} {\choose\sum_{j}e^{j}} }Si​=(∑j​ej​)ei​​softmax 相关求导当对分类的Loss进...

2019-11-01 15:42:05

人脸识别基本常识

人脸识别算法主要包含三个模块(1)人脸检测(Face Detection):确定人脸在图像中的大小和位置,也就是在图像中yu代码中的main函数就相当于是test文件,用于输入数据,输出结果代码返回的是图像中人脸的特征向量(多少个人脸就返回多少个向量)实现识别功能的话,先把数据库中的人脸图像跑一遍,得到特征向量再将待测试的图片跑一遍,得到待测试的特征向量,把这两组特征向量计算余弦距离,距...

2019-10-31 20:33:26

环境配置

找cuda:ls /usr/bin/cuda查看GPU型号:nvidia-sml下载与cpu对应的pytorch,例如:pip install https://download.pytorch.org/whl/cu90/torch-1.1.0-cp37-cp37m-linux_x86_64.whlpytorch下载网站:https://download.pytorch.org/whl/cu...

2019-10-29 00:16:00

KNN

note:曼哈顿距离依赖于坐标系统的选择(向量中的元素可能都有实际的意义)d1(I1,I2)=∑p∣I1p−I2p∣d_{1}(I_{1}, I_{2}) = \sum_{p}|I_{1}^{p}-I_{2}^{p}|d1​(I1​,I2​)=∑p​∣I1p​−I2p​∣欧式距离对距离的排序不会受到坐标系统的影响d2(I1,I2)=∑p(I1p−I2p)2d_{2}(I_{1}, I_{2...

2019-10-28 10:36:37

YOLO9000: Better, Faster, Stronger

1.介绍(1)大多数检测方法受限于小目标(2)YOLOv2可以检测9000多种不同的物体更好(1)由于YOLO的缺点,我们的目标是提高召回和定位,同时保持分类的准确性。(2)我们不是扩展我们的网络,而是简化我们的网络,然后使表示更容易学习。...

2019-10-17 18:51:36

xunfei 算法提前批

作者:justonetime链接:https://www.nowcoder.com/discuss/289720来源:牛客网一面挂,第二天就给我发感谢信了1.哪里人;2.工作地点;3.讲一下SSIM公式;4.看过多少论文;5.知不知道分割,检测,识别,这块的论文说一下;6.知道哪些噪声,分别用什么滤波器处理;7.加入一个图像有一条很明显的直线划痕,怎么用传统图像处理去掉划痕;就...

2019-10-21 11:07:10

降(上)采样

降采样(subsampled)目标:使得图像符合显示区域的大小,生成对应图像的缩率图。本质就是池化操作(pooling),降低特征的维度保留有效的信息。保持平移,旋转,伸缩不变性。图像的质量可能受到影响,但是也有一些缩放方法能够增加图像的质量。上采样(upsampled)目标:放大原图像,从而可以显示在更高分辨率的图像上。操作:几乎都是采用内插值方法,即在原有图像像素的基础上,在像素点...

2019-10-18 15:42:51

学长的收割历程

秋招6月份开始,大部分8,9,10月份蚂蚁金服,kaggle的比赛,传统的机器学习比赛文章:就算没有顶会,能发出文章就能往简历上写(idea足够好)ACM:代码能力很重要,你不能指望别人去实现你的ideakaggle:实验室很难接触工业级的数据,更能接触工业界的场景,实验室的方法可能在工业界根本行不通。腾讯,阿里,头条,讯飞的广告大赛,如果参加可能有面试机会,如果拿了很好的名次可以有很...

2019-10-15 10:53:50

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。