ZhikangFu的专栏

转载 机器学习中正则化项L1和L2的直观理解

正则化（Regularization）今天看了一篇文章，感觉还不错。原文：https://blog.csdn.net/jinping_shi/article/details/52433975机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和...

转载 详解 ROI Align 的基本原理和实现细节

转自 http://blog.leanote.com/post/[email protected]/b5f4f526490bROI Align 是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式, 很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。实验显示，在检测测任务中将 ROI Pooling 替换为 ROI Align 可以...

原创 cblas_sgemm 源码讲解

1:函数原型：cblas_sgemm(order, transA, transB, M,N,K, ALPHA,A, LDA, B, LDB, BETA, C,LDC);函数作用：C=alpha*A*B+beta*C alpha =1,beta =0 的情况下，等于两个矩阵相成。第一参数 oreder 候选值 有ClasRowMajow 和ClasColMaj

转载 class_active_maps

This demo shows the method proposed in "Zhou, Bolei, et al. "Learning Deep Features for Discriminative Localization." arXiv preprint arXiv:1512.04150 (2015)".The proposed method can automatically

原创 Mac 上pycharm 添加opencv

1. 找到run-->Edit configurations2. 右边，configuration选项卡，展开environment选项3. 点击environment variables后面的省略号，添加环境变量name:PYTHONPATH value:/usr/local/lib/python2.7/site-packages/:$PYTHONPATH

转载 Python中的axis=0,axis=1

转自http://blog.csdn.net/rango_lhl/article/details/50542887axis=0表述列 axis=1表述行如下面例子：In [52]: arr=np.arange(12).reshape((3,4))In [53]:arrOut[53]:array([[ 0, 1, 2, 3], [ 4, 5

转载 caffe中的normalization_layer

caffe-ssd里面有normalization的实现，包括.hpp，.cpp，.cu。其实现的是L2-normalization L2正则化的公式是：  现在来看caffe的代码实现。 首先是caffe.proto，这里面定义了normalization_parameter message NormalizeParameter { optional bool acros

转载 梳理caffe代码math_functions(一)

转载 http://blog.csdn.net/langb2014/article/details/50986678先从caffe中使用的函数入手看看：[cpp] view plain copy #include   #include     #include     #include "caffe/common.

转载 深度学习你不可不知的技巧（上）

We assume you already know the basic knowledge of deep learning, and here we will present the implementation details (tricks or tips) in Deep Neural Networks, especially CNN for image-related tasks, m

原创 caffe 画出train与loss曲线

在caffe的训练过程中，大家难免想图形化自己的训练数据，以便更好的展示结果。如果自己写代码记录训练过程的数据，那就太麻烦了，caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh  caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/extra/plot_tra

转载 在iTerm2中使用Zmodem传输文件

安装Zmodem的实现brew install lrzsz创建脚本将下面两个脚本创建到/usr/local/bin目录iterm2-send-zmodem.sh#!/bin/bash# Author: Matt Mastracci ([email protected])# AppleScript from http://stackoverflow.c

转载 理解 LSTM 网络

转自：http://www.jianshu.com/p/9dc9f41f0b29Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也

转载 Batch Normalization 的原理解读

1:motivation作者认为：网络训练过程中参数不断改变导致后续每一层输入的分布也发生变化，而学习的过程又要使每一层适应输入的分布，因此我们不得不降低学习率、小心地初始化。作者将分布发生变化称之为 internal covariate shift。对于深度学习这种包含很多隐层的网络结构，在训练过程中，因为各层参数老在变，所以每个隐层都会面临covariate shift的问题，也就

转载 Caffe 命令解析

$ ./build/tools/caffe.bin test -model=examples/mnist/lenet_train_test.prototxt -weights=examples/mnist/lenet_iter_10000.caffemodel -gpu=0

转载 Caffe学习数据层及参数设置

caffe的各种数据层在caffe.proto文件中有定义。通过对定义的caffe.proto文件进行编译，产生支持各种层操作的c++代码。后面将会详细解读caffe.proto文件（在caffe里就是当做一个自动代码生成工具来用）。本文主要介绍caffe可以读入数据的各种格式，方便后面采用caffe训练自己的数据数据的来源主要有以下几种：（1）高效的数据库（Level

转载 caffe测试已经训练好的模型的迭代次数修改

今天调用训练好的模型进行测试，发现测试的Batch都只有50，并且似乎找不到在prototxt里面修改，所以怀疑是默认值，如果你要测试大量的数据，一方面是在输入的测试模型prototxt中的TEST中修改batch_size，这样比如原来的batch_size是20，那么测试50个Batch就是测试了1000张images.但是我有20000张images可以测试．所以要到caffe源码里面修改这

转载 caffe binaryproto 与 npy相互转换

在caffe中，如果使用的是c++接口，均值文件默认为.binaryproto格式，而如果使用的是Python接口，均值文件默认的是numpy的.npy格式，在工作中有时需要将两者进行互相转换，具体方式如下:binaryproto -> npyimport numpy as npimport caffeimport sysblob = caffe.proto.caffe_p

转载 重磅论文：解析深度卷积神经网络的14种设计模式

http://www.jiqizhixin.com/article/1772这篇论文的作者是来自美国海军研究实验室的 Leslie N. Smith 和来自美国马里兰大学的 Nicholay Topin，他们在本论文中总结了深度卷积神经网络的 14 种设计模式；其中包括：1. 架构结构遵循应用；2. 扩增路径；3. 努力实现简洁；4. 增加对称性；5. 金字塔形状；6. 用

转载 循环神经网络(RNN, Recurrent Neural Networks)介绍

转载于：http://blog.csdn.net/heyongluoyao8/article/details/48636251循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-

转载 caffe代码layer_factory梳理分析

因为前一篇描述的是layer层，其实应该先学习工厂模式，最早我也学习过了23中模式设计，不熟悉这个模式的可以看一下下面这段代码。 ?1234567891011121314151617181920

原创 code

转载 cs231n学习笔记-CNN-目标检测、定位、分割

原文：http://blog.csdn.net/myarrow/article/details/518780041. 基本概念    1）CNN：Convolutional Neural Networks     2）FC：Fully Connected    3）IoU：Intersection over Union （IoU的值定义：Region Proposa

转载 Faster-RCNN+ZF用自己的数据集训练模型(Python版本)

原文：http://blog.csdn.net/sinat_30071459/article/details/51332084说明：本博文假设你已经做好了自己的数据集，该数据集格式和VOC2007相同。下面是训练前的一些修改。（做数据集的过程可以看http://blog.csdn.net/sinat_30071459/article/details/50723212）

转载 CUDA学习笔记

本为内容来源于《CUDA by Example.An Introduction to General-Purpose GPU Programming》学习整理，网上中英文版都有，其源码以及本文测试源码在github。部分内容来源于CUDA官方文档http://docs.nvidia.com/cuda以及其他网上相关资料，官方文档右上角的搜索不是非常好用，如果没有搜索到你所需要的关键字可以定位到所需

转载 CUDA从入门到精通（二）：第一个CUDA程序

借鉴赵永科大神的博客：http://blog.csdn.net/kkk584520/article/details/9415199打开VS2008，选择File->New->Project，弹出下面对话框，设置如下：之后点OK，直接进入工程界面。工程中，我们看到只有一个.cu文件，内容如下：[cpp] view plain copy

原创 Microsoft caffe

https://github.com/Microsoft/caffe

原创 最小二乘法推到过程

转载 卷积神经网络后传原理

在上篇中介绍的输入层与隐含层的连接称为全连接，如果输入数据是小块图像，比如8×8，那这种方法是可行的，但是如果输入图像是96×96，假设隐含层神经元100个，那么就有一百万个（96×96×100）参数需要学习，向前或向后传播计算时计算时间也会慢很多。　　解决这类问题的一种简单方法是对隐含单元和输入单元间的连接加以限制：每个隐含单元仅仅只能连接输入单元的一部分。例如，每个隐含单元仅仅连接输入

转载 1×1的卷积的作用

1×1的卷积大概有两个方面的作用吧：1. 实现跨通道的交互和信息整合2. 进行卷积核通道数的降维和升维 下面详细解释一下：1. 这一点孙琳钧童鞋讲的很清楚。1×1的卷积层（可能）引起人们的重视是在NIN的结构中，论文中林敏师兄的想法是利用MLP代替传统的线性卷积核，从而提高网络的表达能力。文中同时利用了跨通道pooling的角度解释，认为文中提出的MLP其实等价于在传统卷积核后

转载 Opencv246+vs2012生成不依赖编译环境的exe文件

我们都知道，vs2012编译项目有两个版本：Debug和Release，这里我们在Release下生成exe文件，为什么要在Release下面生成呢，原因是你在Debug模式下生成的exe需要vs2012的一些Debug库文件支持，就是说你在没有vs2012的机子上是无法正常运行的，所以要在Release模式下面编译项目。步骤：1、把工程调成Release模式。2、右键项目

原创 利用VS编写并调用动态链接库

写一下基于opencv库的C++代码怎么建立dll动态库，并将动态库进行调用。一：建立生成动态链接库的工程。1：打开vs2：新建工程3：选择确定4：下一步，具体对话框的选择如下图所示。我的头文件有两个#ifndef _HEADFILES_H_#define _HEADFILES_H_#include #include #inc

转载 RCNN, Fast-RCNN, Faster-RCNN的一些事

原文：http://closure11.com/rcnn-fast-rcnn-faster-rcnn%E7%9A%84%E4%B8%80%E4%BA%9B%E4%BA%8B/rbg大神的深度神经网络检测算法系列RCNN、Fast-RCNN、Faster-RCNN可谓是理论与实践的经典范例，论文创新点足够，在github上开源的代码更是造福广大码农，本文以当前最新Fast

转载 一文弄懂神经网络中的反向传播法——BackPropagation

转载于：http://www.cnblogs.com/charlotte77/p/5629865.html最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是

转载 C++/C宏定义中## 连接符与# 符的含义

## 连接符号由两个井号组成，其功能是在带参数的宏定义中将两个子串(token)联接起来，从而形成一个新的子串。但它不可以是第一个或者最后一个子串。所谓的子串(token)就是指编译器能够识别的最小语法单元。具体的定义在编译原理里有详尽的解释，但不知道也无所谓。同时值得注意的是#连接符是把传递过来的参数当成字符串进行替代。下面来看看它们是怎样工作的。这是MSDN上的一个例子

原创 函数指针及其的运用（上）——何为函数指针

=========================引子=========================      我们都知道，数组名就是指向数组第一个元素的常量指针（详见《数组拾遗》）。同理，对于一个函数而言，函数名也是指向函数第一条指令的常量指针。而编译器要做的就是在程序编译之后，为每个函数分配一个首地址，即该函数第一条指令的地址。一般情况下，我们可以用一个指针来保存这个地址，而这个指

转载 c++父类指针指向子类对象

父类子类指针函数调用注意事项1，如果以一个基础类指针指向一个衍生类对象(派生类对象)，那么经由该指针只能访问基础类定义的函数（静态联翩）2，如果以一个衍生类指针指向一个基础类对象，必须先做强制转型动作（explicit cast），这种做法很危险，也不符合生活习惯，在程序设计上也会给程序员带来困扰。（一般不会这么去定义）3，如果基础类和衍生类定义了相同名称的成员函数，那么通过对象指针调

原创 C++函数的返回值——返回引用类型&非引用类型

函数的返回主要分为以下几种情况：1、主函数main的返回值：允许主函数main没有返回值就可结束；可将主函数main返回的值视为状态指示器，返回0表示程序运行成功，其他大部分返回值则表示失败。2、返回非引用类型：函数的返回值用于初始化在调用函数时创建的临时对象(temporary object)，如果返回类型不是引用，在调用函数的地方会将函数返回值复制给临时对象。在

转载 C++中的explicit关键字

在C++程序中很少有人去使用explicit关键字，不可否认，在平时的实践中确实很少能用的上。再说C++的功能强大，往往一个问题可以利用好几种C++特性去解决。但稍微留心一下就会发现现有的MFC库或者C++标准库中的相关类声明中explicit出现的频率是很高的。了解explicit关键字的功能及其使用对于我们阅读使用库是很有帮助的，而且在编写自己的代码时也可以尝试使用。既然C++语言提供这种特性

转载 编程思想之多线程与多进程(1)——以操作系统的角度述说线程与进程

原文：http://blog.csdn.net/luoweifu/article/details/46595285 作者:luoweifu 什么是线程什么是线程？线程与进程与有什么关系？这是一个非常抽象的问题，也是一个特别广的话题，涉及到非常多的知识。我不能确保能把它讲的话，也不能确保讲的内容全部都正确。即使这样，我也希望尽可能地把他讲通俗一点，

转载 typedef函数指针用法

转自http://blog.csdn.net/qll125596718/article/details/6891881/1.简单的函数指针的应用形式1：返回类型(*函数名)(参数表) [cpp] view plain copychar (*pFun)(int);   char glFun(int a){ return;