修行之路

原创 linux下wget下载速度慢的解决方法wget =＞ aria2

linux下wget下载速度慢的解决方法wget => aria2

转载 AndroidStudio NDK开发【dlopen failed: library “libc++_shared.so“ not found】报错解决

如果是 cmake文件（看下图）：在app下的build.gradle中的cmake里面添加 arguments “-DANDROID_STL=c++_shared”

原创 More than one file was found with OS independent path ‘lib/arm64-v8a/libopencv_java4.so‘

解决方案：在app下的build.gradle中加入以下代码： packagingOptions { pickFirst 'lib/arm64-v8a/libopencv_java4.so' }

转载 MNN框架下的特征图格式问题

这两个星期在将一个手势关键点检测的Pytorch模型转化成MNN模型，转化完了之后进行测试，用的是MNN的Python接口。最开始的测试代码如下import MNNinterpreter = MNN.Interpreter("test.mnn")session = interpreter.createSession()input_tensor = interpreter.getSessionInput(session)tmp_input = MNN.Tensor((1,3,256,256),

原创 AttributeError: module ‘tensorflow_core._api.v2.config’ has no attribute ‘experimental_list_devices’

找到 tensorflow_backend.py 源文件的第506行_LOCAL_DEVICES = tf.config.experimental_list_devices()改成devices = tf.config.list_logical_devices()_LOCAL_DEVICES = [x.name for x in devices]

原创 Ubuntu系统：Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend)

简单粗暴的方法：重启系统即可也可以通过命令行重启：sudo systemctl --force --force reboot

转载 pytorch实现straight-through estimator（STE）

现在深度学习中一般我们学习的参数都是连续的，因为这样在反向传播的时候才可以对梯度进行更新。但是有的时候我们也会遇到参数是离>散的情况，这样就没有办法进行反向传播了，比如二值神经网络。本文中讲解了如何用pytorch对二值化的参数进行梯度更新的straight-through estimator算法。Question：STE核心的思想就是我们的参数初始化的时候就是float这样的连续值，当我们forward的时候就将原来的连续的参数映射到{-1, 1}带入到网络进行计算，这样就可以计算网络的输出。然后

转载 TensorFlow程序分析（profile）实战

在利用tensorflow写程序是，我们常常会碰到GPU利用率始终不高的情况，这时我们需要详细了解程序结点的消耗时间，tensorboard提供了一个窗口，但仍不详细，这里介绍timeline的使用，他可以更详细的给出各部分op的时间消耗，让你了解程序的瓶颈简单的例子：import tensorflow as tffrom tensorflow.python.client import timelinea = tf.random_normal([2000, 5000])b = tf.ran

转载 Tensorflow 中train和test的batchsize不同时, 如何设置: tf.nn.conv2d_transpose

大家可能都知道, 在tensorflow中, 如果想实现测试时的batchsize大小随意设置, 那么在训练时, 输入的placeholder的shape应该设置为[None, H, W, C]. 具体代码如下所示:# Placeholders for input data and the targetsx_input = tf.placeholder(dtype=tf.float32, shape=[None, input_dim[0],input_dim[1],input_dim[2]], na

转载 一文讲解DNG、TIFF、PSD等区别和用法

在我们的电脑中，图片可以储存为很多格式，摄影师常见的包括nef、tiff、dng、psd、jpg等等。这些文件格式有什么区别，又应该在哪些情况下使用呢？本文托马斯会做一个总结。1. 原厂Raw格式原厂Raw文件，直接记录了相机芯片上的数字信号，因此也被称为"数字底片"。Raw文件保留了相机拍摄的所有信息，使用了芯片上原始的色彩空间，因此画质极高，后期空间极大，摄影师在拍摄时，基本都会选用Raw格式来保存。但是Raw文件也有不好的地方，就是兼容性差。大部分Raw文件，都不能被主流电脑软

原创 ubuntu cmake 报找不到CMAKE_CXX_COMPILER 的错误

在linux下，通过cmake编译代码，出现下面错误CMake Error in CMakeLists.txt: No CMAKE_CXX_COMPILER could be found. Tell CMake where to find the compiler by setting either the environment variable "CXX" or the CMake cache entry CMAKE_CXX_COMPILER to the full path

原创 FLOPs与FLOPS的区别

FLOPS 的全称是floating point of per second，它的意思是指每秒浮点运算次数。用来衡量硬件的性能。FLOPs 的全称是floating point of operations，它的意思是指浮点运算次数，可以用来衡量算法/模型复杂度。...

转载 torch.nn.Parameter理解

Pytorch官网对torch.nn.Parameter()的解释：torch.nn.Parameter是继承自torch.Tensor的子类，其主要作用是作为nn.Module中的可训练参数使用。它与torch.Tensor的区别就是nn.Parameter会自动被认为是module的可训练参数，即加入到parameter()这个迭代器中去；而module中非nn.Parameter()的普通tensor是不在parameter中的。注意到，nn.Parameter的对象的requires_grad属

原创 error：from torch.jit.annotations import Optional ImportError: cannot import name ‘Optional’

解决方案：安装pytorch1.0 要对应安装torchvision0.2.0

转载 pytorch中的worker如何工作的

Question一直很迷，在给Dataloader设置worker数量（num_worker）时，到底设置多少合适？这个worker到底怎么工作的？如果将num_worker设为0（也是默认值），就没有worker了吗？worker的使用场景：rom torch.utils.data import DataLoadertrain_loader = DataLoader(dataset=train_data, batch_size=train_bs, shuffle=True, num_wo

原创 L1标准化与L2标准化

L1标准化：每个元素/L1范数L2标准化：每个元素/L2范数

转载 深度学习两种图像数据预处理具体方法

vgg 预处理输入图片 height, widthRESIZE_SIDE_MIN = 256RESIZE_SIDE_MAX = 512R_MEAN = 123.68G_MEAN = 116.78B_MEAN = 103.94训练预处理scale = width < height ? small_size / width : small_size / height 其中 small_size 为 RESIZE_SIDE_MIN 到 RESIZE_SIDE_MAX 的随机数 ne

原创 分割与抠图的区别

今天我们的猪脚是辨别分割与抠图，这两个功能，我觉得是差不多，都是把目标物体提取出来，但它们的区别主要在哪里？ 1.什么是分割？ 分割就是做分类，但分类出的像素点，如果不去融合处理，再进行融合就不自然了。 2.什么是抠图？ 在抠图中有一个上帝公式，“C = αF + (1-α)B”。我们需要是把α（不透明度）、F（前景色）和B（背景色）三个变量给解出来，具体怎么解，不是本文章的重点。F（前景色）可以借助分割得到+其他的一些操作，当然也可以通过其它...

原创 在家也能办公之上网和远程控制服务器

武汉现在病情很严重，不少企业为了保障工人的安全，施行起了在家办公的工作机制，对于要在家办公的小伙伴们，主要会遇到两个问题，一个是上网问题，另外一个则是怎么远程控制服务器的问题。一.上网 如果家里没牵有线网络，我们可以手机打开热点，如下图一样，每个手机的操作流程大概都是一样的 1.点连接与共享： 2.点便携式WLAN热点： 如果我们的流...

转载 Python性能优化之二十五条建议

优化算法时间复杂度 算法的时间复杂度对程序的执行效率影响最大，在Python中可以通过选择合适的数据结构来优化时间复杂度，如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式，总得来说，一般有分治，分支界限，贪心，动态规划等思想。 减少冗余数据 如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩...

转载 优化C/C++代码的小技巧

无意看到一篇小短文，猜测作者应该是一个图形学领域的程序员或专家，介绍了在光线（射线）追踪程序中是如何优化C/C++代码的。倒也有一些参考意义，当然有的地方我并不赞同或者说我也不完全理解，原文在此，我的粗糙翻译如下：1. 牢记Ahmdal定律　　　　　　　　　　　　　　　　　　funccost表示是函数func的运行时间百分比，funcspeedup是你优化后函数的运行系数； 所...

转载 开源图像处理软件代码

要写好一个图像处理软件，仅靠自己看书是完全不够的，要多方面学习，借鉴前人的经验，要集思广益、多面出击。如今网络发达，图像学的资料其实也到处都是。只是往往个人能力或精力有限，在短时间内无法找到那些也许藏于角落里的金子。本人研究图像至今也历时7年，在慢慢的摸索和累积中也找到了一些相关资料，共享给大家学习。1、 最著名的开源图像软件：GIMP。 开发语言：C GI...

原创 边界处理——哨兵思想

1.基本原理 哨兵顾名思义是处于边界的兵，它的作用是简化边界条件的处理，降低时间复杂度里面的常数因子，用下面的两个程序来说明，应该更通俗易懂，在“search_value2”中，由于设置了哨兵，整个程序会少很多边界判断，“search_value2”的平均计算量是比“search_value1”少。#include<iostream>#include<vecto...

原创 机器学习中的特征选择

特征选择是一个重要的数据预处理过程，获得数据之后要先进行特征选择然后再训练模型。主要作用：1、降维 2、去除不相关特征。特征选择方法包含：子集搜索和子集评价两个问题子集搜索包含前向搜索、后向搜索、双向搜索等。子集评价方法包含：信息增益，交叉熵，相关性，余弦相似度等评级准则。常见的特征选择方法：过滤式、包裹式、嵌入式。 一、过滤式    变量排序就是一种典型的过滤式方

转载 GBDT（MART） 迭代决策树入门教程 | 简介

GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。第

原创 Effective C++总结

条款01：视C++为一个语言联邦在《Effective C++》里提到对内置(C-like)类型在函数传参时pass by value比pass by reference更高效，当用OO的c++自定义类型(存在构造/析构等)pass by reference to const 更好，STL里的迭代器和函数对象是用C指针实现的，因此pass by value更好。条款02：尽量const

原创 c++知识总结(6)

基类通过在其成员函数的声明语句之前加上关键字virtual是的该函数执行动态绑定。任何构造函数之外的非静态函数都可以是虚函数。关键字virtual只能出现在类内部的声明语句而不能用于类外部的函数定义。如果基类把一个函数声明成虚函数，则该函数在派生类中隐式地也是虚函数。静态类型与动态类型表达式的静态类型在编译时总是已知的。它是变量声明时的类型或表达式生成的类型；动态类型则是变量或表达式表示的

原创 c++知识总结(5)

拷贝构造函数：如果一个构造函数的第一个参数是自身类类型的引用，且任何额外参数都有默认值，则此构造函数时拷贝构造函数。拷贝构造函数的第一个参数必须是引用类型。如果其参数不是引用类型，则调用永远不会成功——为了调用拷贝构造函数，我们必须拷贝它的实参，但为了拷贝实参，我们又需要调用拷贝构造函数，如此无限循环。拷贝初始化不仅在我们用=定义变量时会发生，在下列情况下也会发生：1.将一个对象作为实

原创 c++知识总结(4)

静态内存用来保存局部static对象、类static数据成员以及定义在任何函数之外的变量。栈内存用来保存定义在函数内的非static对象。分配在静态或栈内存中的对象由编译器自动创建和销毁。对于栈对象，仅在其定义的程序块运行时才存在；static对象在使用之前分配，在程序结束时销毁。除了静态内存和栈内存，每个程序还拥有一个内存池。这部分内存被称作自由空间或堆。程序用堆来存储动态分配的对象——即，

原创 c++知识总结(3)

关联容器支持高校的关键字查找和访问。两个主要的关联容器类型是map和set。map中的元素时一些关键字-值对：关键字起到索引的作用，值则表示与索引相关联的数据。set中每个元素只包含一个关键字；set支持高校的关键字查询操作——检查一个给定关键字是否在set中。按关键字有序保存元素：map 关联数组；保存关键字-值对set 关键字即值，即只保存关键字的容器multimap 关键

原创 c++知识总结(2)

1.顺序容器类型vector 可变大小数组。支持快速随机访问。在尾部之外的位置插入或删除元素可能很慢deque 双端队列。支持快速随机访问。在头尾位置插入/删除速度很快list 双向链表。只支持双向顺序访问。在list中任何位置进行插入/删除操作速度都很快forward_list 单向链表。只支持单向顺序访问。在链表任何位置进行插入/删除操作速度很快。array 固定大小数组。

原创 c++知识总结(1)

不同于其它成员函数，构造函数不能被声明称const的：const是可以修饰类的成员函数，但是该函数不能修改数据成员。构造函数也属于类的成员函数，但是构造函数是要修改类的成员变量，所以类的构造函数不能申明成const类型的。某些类不能依赖合成的默认构造函数：第一个原因，编译器只有在发现类不包含任何构造函数的情况下才会替我们生成 生成一个默认的构造函数。一旦我们定义了一些其他的

原创 Softmax 和Softmax-Loss在深度学习里面的求导

转载 矩阵的特征值和特征向量的雅克比算法C/C++实现

矩阵的特征值和特征向量是线性代数以及矩阵论中非常重要的一个概念。在遥感领域也是经常用到，比如多光谱以及高光谱图像的主成分分析要求解波段间协方差矩阵或者相关系数矩阵的特征值和特征向量。根据普通线性代数中的概念，特征值和特征向量可以用传统的方法求得，但是实际项目中一般都是用数值分析的方法来计算，这里介绍一下雅可比迭代法求解特征值和特征向量。雅克比方法用于求实对称阵的全部特征值、特征向量。对...

转载 方向梯度直方图（HOG,Histogram of Gradient）

目录特征描述子(Feature Descriptor)方向梯度直方图总体流程怎么计算方向梯度直方图呢？第一步：预处理第二步：计算梯度图像第三步：在8*8的网格中计算梯度直方图第四步：16*16块归一化第五步：计算HOG特征向量第六步：分类器第七步：Multi-Scale Object LocalisationHOG的应用HOG与SIFT区别HO...

转载 ORB算法原理解读

http://blog.csdn.net/yang843061497/article/details/38553765绪论假如我有2张美女图片，我想确认这2张图片中美女是否是同一个人。这太简单了，以我专研岛国动作片锤炼出来的火眼金睛只需轻轻扫过2张图片就可以得出结论。但是，如果我想让计算机来完成这个功能就困难重重了：再性感的美女在计算机眼中也只是0-1组成的数据而已。一种可行的方法

转载 SIFT特征提取分析

转自：http://blog.csdn.net/abcjennifer/article/details/7639681/SIFT（Scale-invariant feature transform）是一种检测局部特征的算法，该算法通过求一幅图中的特征点（interest points,or corner points）及其有关scale 和 orientation 的描述子得到特征

转载 SIFT/SURF算法的深入剖析——谈SIFT的精妙与不足

转自：http://blog.csdn.net/cy513/article/details/4414352SURF算法是SIFT算法的加速版，OpenCV的SURF算法在适中的条件下完成两幅图像中物体的匹配基本实现了实时处理，其快速的基础实际上只有一个——积分图像haar求导，对于它们其他方面的不同可以参考本blog的另外一篇关于SIFT的文章。    不论科研还是应用上都希望

转载 SIFT算法详解

转自：http://blog.csdn.net/zddblog/article/details/75214241、SIFT综述尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe在1999年所

转载 高斯模糊实现小结

转自：http://blog.csdn.net/zddblog/article/details/7450033高斯模糊是一种图像滤波器，它使用正态分布(高斯函数)计算模糊模板，并使用该模板与原图像做卷积运算，达到模糊图像的目的。N维空间正态分布方程为：其中，σ是正态分布的标准差，σ值越大，图像越模糊(平滑)。r为模糊半径，模糊半径是指模板元素到模板中心的距离。如