weixin_41910772的博客

原创 神经网络量化----为了部署而特别设计

如果是第1个目的，则使用常规的量化手段就可以满足，将浮点数运算变成整形运算+较少的浮点运算但是如果是第2个目的，那就需要对量化手段做一下改变。如果是初学者，大家可以先看我的另一篇博客，这里有详细介绍【精选】神经网络量化----吐血总结-CSDN博客量化技术是连接学院派和工程派之间的桥梁，效果再好的网络速度不快，那么也不会在工业上普及，因此量化技术还是很有发展潜力的。_神经网络量化。

原创 机器学习----PCA的理解

原创 机器学习----深刻理解高斯过程回归

有关高斯过程回归

原创 机器学习----深刻理解极大似然估计

1.什么叫极大似然估计首先介绍一下似然函数和概率函数：对于, 当确定时，是变量，该公式描述的是不同的对应的概率是多少；若确定，是变量时，该公式描述的是对于不同的模型参数，出现的概率是多少。极大似然就是在不同的模型参数中，找到出现x的概率最大的参数，举例说明一下：对于一个黑箱子，里面只有黑球和白球，想知道黑球和白球的比例，可以做100次有放回的取球实验，其中70次拿到了白球，30次拿到了黑球，那么我们认为白球和黑球的比例为7/3（类似于抛硬币实验，频率流派）。其实我们无形中已经使用了最.

原创 python----多个进程跑相同的程序

问题来源：在进行模型参数自动回归时，通过机器学习的方法找到输入输出对应的参数，那就需要大量的数据集，且生成数据的速度较慢，因此我就想着使用了多个进程同时跑同一个程序，且在程序中使用时间来命名文件夹和数据，这样就达到了并行生成数据的功能。直接看代码：from subprocess import callimport timeimport osfrom multiprocessing import Processdef run(name): print('%s run'% nam..

原创 机器学习----高斯过程回归

高斯过程回归 (Gaussian Process Regression) 学习路线 - 知乎“高斯过程回归”这个名字看起来很复杂，但其实还是一个回归模型，目的和最常见的线性回归一模一样：对训练数据进行学习、对新数据机型预测、并希望预测的值能够尽可能地接近真实的值。 学习高斯过程回归的一个关…https://zhuanlan.zhihu.com/p/131677136这个链接由浅入深的讲解了高斯过程回归的思路、方法、推导，很有帮助...

原创 特征工程----特征的重要性分析

1. 问题来源在很多生活工作中，我们都要接触很多的系统：包括输入、响应、输出，输入和输出是可以直观看到的，但响应有时是很难用数学表达的。如果已知一系列的输入和输出，输出出现问题时，怎么去分析哪一个输入出了问题呢？这时引入我们的话题-特征的重要性分析。2. 算法...

原创 python教程 ---- 如何遍历文件夹

一、问题来源遍历文件夹是python最常用的操作，比如训练神经网络需要的图片输入、对文件的处理等。近期想编写一个对图像加密所用的exe程序，需要用到加密选中的文件夹中所有的图片，这时我就开始思考：怎么可以使得遍历的速度较快？怎么使得占用的资源较少？二、遍历方法1. 递归递归是我想到的最直接的遍历方法，类似深度搜索。使用python来写函数的递归肯定是比较慢的（当遍历的文件夹深度较深、数量较大时），如果是文件夹较少时可以使用该方法，因为确实很直接。缺点也很明显，就是需要专门去区分文件.

原创 智能驾驶----什么是智能驾驶？

前言：一直对智能驾驶感兴趣，所以想借助平时的空闲来对智能驾驶由浅入深的进行了解。一. 智能驾驶简介智能驾驶是在驾驶的基础上添加了人工智能算法，该智能算法需要包括感知-规划-控制的能力。1. 感知算法1. 1 SLAM算法该算法主要分为两种：视觉SLAM和激光SLAM。顾名思义，主要的区别在于感知世界的介质不同，一种是带有测距功能的摄像头，另一种是激光，其目的就是通过感知对外界进行建模。主要的语言为：C++/C（速度优势）需要了解的知识为：滤波算法等1.2 机器学习算...

原创 spyder如何快速查看tensor

问题：用过spyder的都知道，spyder可以在训练的过程中查看变量的值，但如果该变量是tensor的话，就看不到具体的值。举例，查看train_accuracy_list, 可以看出是一个列表，列表中的值为tensor点击train_accuracy_list:点击任意一个tensor：发现找不到任何和tensor值相关的。教你一个方法：选中train_accuracy_list，右键复制，然后重新开一个console，右键粘贴，然后就能看到值了。...

原创 神经网络量化----NeuroSim量化

1. 对于输入：对于第一层的输入，将图片归一化到（-1，1），将weight归一化到（-1，1），然后将weight乘以缩放因子128，变成整形。输出再除以128

原创 python小技巧

1. 画图 import matplotlib.pyplot as plt plt.plot(self.activate_distubution_edges.cpu().numpy()[:-1], self.activate_distubution.cpu().numpy()) if optimal_th is not None: plt.plot(optimal_th, 0, 'om') plt.annota...

原创 python import相关

import的关键用法：https://zhuanlan.zhihu.com/p/63143493

原创 神经网络量化----TensorRT深刻解读

神经网络量化----TensorRT深刻解读文章目录系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言本文将聚焦于英伟达TensorRT训练后量化的算法。论文地址为：https://on-demand.gputechconf.com/gtc/2017/presentation/s7310-8-bit-inference-with-tensorrt.pdf代码地址为：官方好像没有公布代码，可以参考的有https://g.

原创 CentOS+MKL+Mxnet+opencv编译成C++库

CentOS+MKL+Mxnet+opencv编译成C++库目录CentOS+MKL+Mxnet+opencv编译成C++库前言一、下载1. mxnet1.3.0，在github下下载即可，注意查看3rdparty中的第三方库是否下载完全2. opencv3.4.1，这个也直接在github上下载即可3. MKL：由于intel官网更新成onednn，所以之前版本的MKL不太好找，这里附上链接，需要注册登录下载：MKL下载地址4. MKLML：由于在mxnet1..

原创 Mxnet + MKL + GPU 编译为C++可调用的库

Mxnet + MKL + GPU编译为C++可调用的库主要参考：https://zhuanlan.zhihu.com/p/58918998vs：2019，cuda：11.0，mxnet：1.3.1，opencv：3.4.11. 下载mxnet源代码后，将第三方库也一并下载，这里有个大坑，如果使用源代码中网址去下载的话，很难出结果。2. 安装cuda，https://www.jianshu.com/p/816caa5010c6，里面提供了cuda和cudnn，如果使用官网下载cudnn的话，

原创 神经网络量化------深刻解读Google 8bits量化

神经网络量化------深刻解读Google 8bits量本文参考论文为：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 有助于理解的代码可参考：google_quantization (代码中包含conv，relu、BN的量化，但可能缺少对全连接的量化)1. 量化框架2. 训练后量化3. 伪训练量化...

原创 VS生成exe遇到的一些问题

1. 在我自己的笔记本上运行完全没有问题，可是放到别人的电脑上会提示缺少某dll。原因：我自己电脑上装了python，在环境变量中有相关的库，所以在编译时没有注意。后来按照提示都加上之后发现不能加载dll，这时候意识到可能有别的依赖，就把名字类似的dll全都加载进去，发现可以了。...

转载 C++封装DLL

实际测试，C++类的封装 挺好用的。

原创 神经网络压缩相关论文

神经网络相关的论文：神经网络压缩还没阅读相关的论文，先记录下来，以后阅读后再去写一些相关的博客，省得以后学习的朋友走弯路。

原创 神经网络量化----吐血总结

量化技术是连接学院派和工程派之间的桥梁，效果再好的网络速度不快，那么也不会在工业上普及，因此量化技术还是很有发展潜力的。

原创 keras学习记录——pooling层解析

keras学习记录——pooling层解析一. pooling的总类二. keras中的API（函数调用接口）三. 分析其输入输出1. 1D2. Global1D3. 2D4. Global2D5. 3D4. Global3D一. pooling的总类根据维度可将其分为：1D，2D，3D根据取值运算可将其分为：max，average根据步长可将其分为：正常，global二. keras中的API（函数调用接口）from .pooling i.

原创 keras学习记录——神经网络训练踩坑记

1. 在训练神经网络时后期出现震荡，不能收敛到一个较好的值，查找原因发现学习率中的步长一直为0.001，可是设置了自动调节学习率的函数呀，具体见下述代码：model.compile(loss='sparse_categorical_crossentropy',optimizer=Adam(),metrics=['accuracy'])lr_reducer = ReduceLROnPlateau(monitor='val_accuracy', factor=0.2, patience=2,

原创 keras学习记录——resnet为什么用averagepooling？

keras学习记录——resnet为什么用averagepooling？目录keras学习记录——resnet为什么用averagepooling？前言一、池化层二、为什么在resnet后加均值池化而不是最大池化？三、实际测试总结前言本篇主要讨论resnet最后的pooling层为什么用averagepooling,而不是maxpooling?主要用实验来回答这个问题，另外讲解了averagepooling和maxpooling的优缺点，并做了一些猜测（科研需要猜测，

原创 keras学习记录——训练resnet模型对cifar10分类

keras学习记录——训练resnet模型对cifer10分类目录keras学习记录——训练resnet模型对cifer10分类前言一、数据准备二、构建网络三、网络训练四、训练结果总结前言最近在对resnet中的add操作做量化处理，所以先将resnet对cifer10分类训练记录下来。提示：以下是本篇文章正文内容，下面案例可供参考一、数据准备直接调用keras中的数据库： from keras.datasets import cifar1..