- 博客(84)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 快捷键
chrome浏览器com + t 打开新的标签页 com + w 关闭当前标签页shellctrl + u 删除当前命令 ctrl + a （ahead）移动到行首 ctrl + e系统com + space 打开搜索 com + opt + esc 打开强制退出应用程序
2017-12-10 08:22:06
304
原创 python中软件包安装
Python搜索路径python -c 'import os;print os.sys.path'输出['', '/usr/lib/python2.7', '/usr/lib/python2.7/plat-x86_64-linux-gnu', '/usr/lib/python2.7/lib-tk', '/usr/lib/python2.7/lib-old', '/usr/lib/python2.7/
2017-02-18 10:23:41
1676
原创 编程实现
memoryout-of-memory之类的错误需要看看是否有一些被ctrl+z的任务仍然活着，这时候要kill -9实现算法需要考虑的问题1逻辑上封装 2对库的功能准确地把握，然后调用库
2016-12-22 17:15:33
505
原创 SciPy
SciPy在NumPy基础上构建的用于科学计算的Python库。稀疏矩阵导入包from scipy.sparse import csr_matrixcsr存储开销 2*num_nuz+num_col+1 ，csc存储开销 2*num_nuz+num_row+1 所以对于shape(big_row,1)稀疏矩阵应该采用csr的存储方式。
2016-12-22 15:51:55
481
原创 caffe之 Blob、Layer、Net
Blobshare_ptr<Blob<float> > b;Blob<float> bf=*b;//Error,'='操作是Blob私有的LayerNet首先从初始化一个netparameter对象说起，对应caffe.proto中的message为NetParameter。
2016-11-24 22:12:28
544
原创 Matlab入门
转自：http://blog.csdn.net/predict_wise/article/details/49077939 下载matlab安装包 下载安装包以及Crack Crack中包含license和破解文件 解压得到iso镜像,并挂载到linux$sudo mkdir /download/temp_matlab (此文件夹用于临时存放挂载后的iso文件)$sudo mount -o
2016-11-02 20:50:01
3410
原创 window<->linux移植
itoa原型：char *itoa(int value,char *string,int radix) 用法：#include 功能:将整数value转换成字符串存入string, radix为转换时所用基数(保存到字符串中的数据的进制基数 2 8 10 16)说明：返回指向转换后的字符串的指针 如：int number = 12345; char str
2016-09-13 20:33:55
333
原创 opencv
First exampleC++#include<opencv2/highgui/highgui.hpp>using namespace cv;int main(){ Mat img = imread("/home/USER/Pictures/python.jpg",CV_LOAD_IMAGE_COLOR); imshow("opencvtest",img); waitK
2016-09-11 14:35:14
791
原创 caffe 预测
使用caffemodel做预测C++ APIsudo ../../build/examples/cpp_classification/classification.bin VGG_FACE_deploy.prototxt VGG_FACE.caffemodel ../../data/ilsvrc12/imagenet_mean.binaryproto names.txt ak.png详细见官网
2016-09-10 12:55:51
500
原创 算法题
1.贪心算法只考虑当前最优解，即每次求解局部最优解。可以用深度优先搜索来类比贪心算法的过程，只是深搜，所以可能得到的不是全局最优解。而要想得到全局优，求解的问题必须具有无后效性，也就是说，以后的过程不会影响之前的状态，用局部最优解来合成全局最优。该类算法的复杂度与子问题的个数，即树深，有关。 比如, 两个最小生成树算法：prim、kruskal,Dijkstra（最短路径算法）2.动态规划将原问
2016-09-07 21:25:56
363
原创 特征选择
从特征选择和随后的模型训练的关系上，主要分为三大类方法:过滤式、包裹式、嵌入式[1].1. 过滤式特征子集搜索与评价与模型训练过程不重合，将过滤得到的特征用于训练。其中搜索特征子集合的方法主要有：前向、后向、双向；模型评价一般基于信息熵理论。2. 包裹式通过机器学习算法本身对模型进行评价。比如，LVW(Las Vegas Wrapper)拉斯维加斯特征选择方法。3. 嵌入式基于L1、L2正则化的机器
2016-09-04 11:46:35
1274
原创 java容器类小结
java容器类可以持有对象、并且容量大小可以在运行时才决定，而数组的大小是在编译时就要固定下来的。所以java容器类在容量大小上具有较高的灵活性。包含两类Collection、Map.1.Collection1.1QueuePriorityQueue实际是一个小根堆。对于n个结点的无序序列建堆的时间复杂度为O(n),之后输出正确顺序时需要(n-1)次向下调整，每次调整的时间复杂度是O(logn),故
2016-08-21 16:53:47
398
原创 神经网络激活函数与损失函数
sigmoid输出层使用的损失函数为cross-entropysoftmax 输出层使用的损失函数为log-likelihood
2016-08-11 11:42:23
2986
原创 机器学习与统计学
术语对比 Machine Learning Statistics network, graphs model weights parameters learning fitting supervised learning regression/classification unsupervised learning density estimation,
2016-07-29 11:04:41
380
原创 分类
广义线性模型一般线性回归logistic回归对p(Y|X)p(Y|X)和XX之间的关系建模。朴素贝叶斯分类朴素贝叶斯分类的主要思想是：对于待分类数据X=(x1,x2,...,xm)X=(x_1,x_2,...,x_m)，计算使后验概率p(Y=cj|X)p(Y=c_j|X)最大的YY的取值，即为数据XX所属的类别标签cjc_j. 后验概率p(Y=cj|X)p(Y=c_j|X)是通过贝叶斯公式计算的，
2016-07-28 10:14:00
437
原创 参数估计方法
极大似然估计（Maximum likelihood estimation,ML）最大后验概率(Maximum A Posteriori Probability Estimation,MAP)估计贝叶斯估计(Bayesian Estimation)
2016-07-21 16:24:15
2863
原创 VC理论
VC 理论是Vladimir Vapnik（俄）和Alexey Chervonenkis在1960-1990逐步发展起来的，属于计算学习理论的一种，从概率统计的角度解释学习过程。 关于该理论最早的发表是Vapnik 和Chervonenkis, 1968，最早的证明是 Vapnik and Chervonenkis, 1971. 被Sauer，于1972年进一步证明。参考文献Vapnik，Che
2016-07-14 14:14:37
1287
原创 Ridge regression
参考文献1.Hoerl A E, Kennard R W. Ridge regression: Biased estimation for nonorthogonal problems[J]. Technometrics, 1970, 12(1): 55-67.
2016-07-11 22:59:49
944
原创 Boosting
提升算法(Boosting)是迭代算法，它每次使用一个弱学习器弥补前一个弱学习器的“不足”，通过这样的串行增加N个弱学习器来构造一个使损失函数最小的强学习器，通过这样的迭代过程来逐步收敛到相对完善的强学习器。从优化的角度分析，与一般的在参数空间搜索最优解的学习算法（如神经网络）不同，Boosting是在学习器空间，或说函数空间（Function space），不断完善学习器，使误差函数最小。与Bag
2016-06-27 18:04:34
10973
原创 Bagging
Bootstrap Sample有放回的随机采样，如下图所示：之所以采用这样的方式是因为在应用中，获取N个服从同一分布的原始数据集是不现实的，而使用这种有放回的Bootstrap 采样方式不会影响到模型的准确性（以方差来衡量），可参考文献3中Bootstrap Sample部分。 有放回的随机采样，其实对模型的性能来说不是至关重要的，可以用无放回的随机采样来取代。Bagging (Bootstr
2016-06-21 11:25:41
13113
原创 神经网络优化中的病态问题
与神经网络能够非常好地学习训练数据（如过拟合）相反的是网络根本无法学习训练数据，这通常是由于网络的病态问题(ill-conditioning)导致的。在BP网络的训练过程中ill-conditioning是很常见的。定义神经网络模型学习的目标为最小化模型输出和正确值之间的误差E(W)={ek}E(W)=\{e_k\}.EE的一阶导为：∇E=2JTe\nabla E=2J^Te,其中JJ为雅可比矩阵。
2016-06-08 18:08:43
11518
2
原创 优化
问题定义目标函数为minf(x)min f(x)梯度下降一阶方法 f(x)f(x)在xkx_k的一阶泰勒级数展开：f(xk+1)=f(xk+Δxk)≈f(xk)+f(xk)′Δxkf(x_{k+1})=f(x_k+\Delta x_k) \approx f(x_k)+f(x_k)'\Delta x_kmomentum通过积累下降速度，来加速梯度下降方法。这时学习率（学习速度）变复杂。牛顿法二阶方法
2016-06-06 16:44:47
1103
原创 正则化
理解结构风险最小化方法（基于VC维）模型选择方法（通过加入先验知识，即偏置，来达到增大模型泛化能力）可以从贝叶斯角度解释其常用方法常用方法参数惩罚如：L1,L2（实现参考）参数限制如：SVM中使用到的拉格朗日函数参数共享如：CNN中的权值共享，基于的事实是多个输入集和结果集之间服从的分布相似，所以可以用相同的权值。数据集中加入噪声其实增加了有效的数据量Early Stopping当验证集上的
2016-06-02 16:12:25
807
原创 caffe 中的超参
weight_decayweight_decay是权重（weight,bias）惩罚的系数,是caffe进行模型正则化的方法。caffe的惩罚项可以在 ‘L1’和 ‘L2’ 中选择，默认的惩罚项为 ‘L2’,可以在相应的solver.prototxt文件中更改为L1：regularization_type: "L1"因为L1比L2取值要大，所以更改为L1时weight_decay要相应减小。Xavi
2016-05-18 23:50:28
1144
原创 caffe loss layer
classification SoftmaxWithLoss HingeLossLinear Regression EuclideanLoss：多用在线性回归中，利用的损失函数是均方误差：l=(y−f(wx→))l=(y-f(w\overrightarrow x))Attributes / Multiclassification SigmoidCrossEntropyLoss:多用于逻辑回归
2016-05-16 11:13:52
391
原创 Logistic 回归
应用场景：根据学生的两门课程的分数和是否被录取的历史数据，对新的学生两门课程的分数推断其是否被录取。R实现的logistic 分类程序如下。 (注：Logistic的理论部分可参见本博客的HMM->MEMM->CRF中的相关介绍。)#Load datadata <- read.csv("data.csv")#Create plotplot(data$score.1,data$score.2,
2016-05-13 23:12:38
739
原创 caffe MNISTAutoencoder
MNISTAutoencoder LogisticRegressionNet LogisticRegressionNet2 R-CNN-ilsvrc13
2016-05-13 09:01:28
2148
1
原创 数据归一化
数据归一化normalization 目的： - 统一量纲 - 达到更好的模型训练效果（如BP算法中加速收敛）方法线性函数归一化如使用原始数据的最小、最大值将原始数据变换到[0,1]范围内 0均值标准化（Z-scorestandardization）将原始数据转化为均值为0，方差为1的数据集，公式为 其中，μ、σ分别为原始数据集的均值、方差。该方法要求原始数据的分布近似为高斯分布，
2016-05-11 17:21:22
2188
原创 caffe dataset
lmdb操作lmdb数据库import numpy as npimport lmdbN=10map_size = 10485760#map_size:max size (bytes) the database may grow to.#If database grows lager than map_size,an exception will be raised#On 64-bit th
2016-05-11 10:49:47
881
原创 caffe cifar10 net笔记
cifar10 CIFAR10_full CIFAR10_full_deploy CIFAR10_quick CIFAR10_quick_test 其中CIFAR10的full、quick版本的区别在于前者有局部区域正则化层（Local Response Normalization），将每一个输入值做正则化。caffe tutorial的解释如下：
2016-05-11 10:30:50
942
原创 析因分析
完全析因分析（full factorial analysis） 分式析因分析（fractional factorial analysis） 一个262^6的完全析因分析需要64次试验，在此设计中，63个自由度仅有6个与主效应对应，仅有15个自由度与二因子交互作用对应，其余42个自由度与三因子交互作用以及更高阶的交互作用有关。 所以在可以忽略高阶交互作用的情景中，主效应和低阶交互作用的信息可以通
2016-05-10 16:28:04
3905
convolutional architecture for fast feature embedding
2016-01-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人