老潘的博客-CSDN博客

原创大大大大大模型部署方案抛砖引玉

借着热点，简单聊聊，作为一个只搞过CV部署的算法工程师，在最近LLM逐渐改变生活的大背景下，猛然意识到LLM部署也是很重要的。大模型很火，而且确实有用（很多垂类场景可以针对去训练），并且和Vision结合的大模型也逐渐多了起来。所以怎么部署大模型是一个，很多公司也在紧锣密鼓的搞着。目前效果最好讨论最多的开源实现就是LLAMA，所以我这里讨论的也是基于。基于LLAMA的finetune模型有很多，比如效果开源最好的和较早开始基于llama做实验的。

2023-06-04 21:30:08 1107

原创老潘的部署之路2.0.1

部署应该学什么，这里都总结了

2023-03-25 20:28:44 1065 3

原创深度学习部署神器——triton inference server入门教程指北

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定**，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。> 本系列讲解的版本也是基于22.06。

2022-10-19 09:07:16 3077 3

原创实践torch.fx第二篇-fx量化实操

torch.fx量化第二篇

2022-09-21 22:41:09 2303 2

原创算法工程师老潘总结的一些经验

算法工程师老潘总结的一些经验前一段时间一直在优化部署模型。这几天终于来了需求，又要开始重操训练一些新模型了。趁着这次机会总结了下之前的一些训练模型的笔记，可能比较杂，抛砖引玉！当然这是不完全统计的经验，除了训练部分，还有很多部署的坑没有写。算法工程师50%的时间是和数据打交道，有时候拷贝数据（分别从多个文件夹拷贝到某一文件夹）；有时候筛选数据（过滤掉一些质量不好的数据）；有时候把数据换个名字、加个前缀（为了后续训练的时候区分数据的特性，比如多尺度、多种图像增强策略）等等，这些工作可能一个月要重复n多次

2022-05-30 22:32:22 472

原创 AI工程师的笔记本环境配置

还是爱折腾...前一阵子买了个新的笔记本电脑，幻13-3050TI-1T版本，全能本，CPU是8核心16线程的标压版AMD锐龙9-5900HS，显卡是NVIDIA-3050TI，重量和macbook差不多，都是1.4kg，便携、可以改变形态。大概长这样：可以变换3种形态（莫名有种兴奋感），可能也有人问我为啥不买macbook，没买的原因有两点：macbook不支持nvidia显卡，这个无解，没办法本地跑AI代码，只能远程服务器macbook用腻了，有一点审美疲劳，新版的macbook pro也

2022-05-21 21:35:33 1743 1

原创实践torch.fx第一篇——基于Pytorch的模型优化量化神器

第一篇——什么是torch.fx今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：什么是torch.fx基于torch.fx做量化基于torch.fx量化部署到TensorRT 本文对应第一篇，主要介绍torch.fx和基本使用方法。废话不多说，直接开始吧！什么是Torch.FXtorch.fx是Pytorch 1.8出来的一套工具或者说一个库，是做python-to-python code transformation

2022-05-21 21:11:23 2269 1

原创一起实践量化番外篇——TensorRT-8的量化细节

好久不见各位~这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些基本知识、为啥要量化以及基本的对称量化这些概念知识点。按理说应该继续讲下非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节，就趁这次机会讲一下。算是量化番外篇。这是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量

2022-04-19 22:11:32 1796

原创 PyTorch and torchvision versions are incompatible问题

Couldn’t load custom C++ ops. This can happen if your PyTorch and torchvision versions are incompatible一般来说，在pip install torvhvision会自动找到相应的pytorch版本进行安装，这个时候没啥问题。但是假如我们强行使两个版本不一致，比如pip install xxx --no-deps这样，肯定就会报错。解决方法就是使pytorch和torchvision版本一致：如.

2022-03-01 16:31:25 2126

原创一起实践神经网络INT8量化系列教程（一）

开篇老潘刚开始接触神经网络量化是2年前那会，用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式，使用交叉熵的方式对模型进行量化，最终在树莓派3B+上部署一个简单的分类模型（识别剪刀石头布静态手势）。这是那会的一篇文章，略显稚嫩哈哈：一步一步解读神经网络编译器TVM(二)——利用TVM完成C++端的部署转眼间过了这么久啦，神经网络量化应用已经完全实现大面积落地了、相比之前成熟多了！我工作的时候虽然也简单接

2021-11-23 23:31:17 4509 3

原创聊聊阅读源码那些事儿

大家好我是老潘，我们又见面了~如果下文中有格式方面的错误，可以点击这里查看原文。老潘的AI宝藏内容也总结在这里！看源码本身就是一种学习，就像小时候写作文一样，看别人的好作文也就会模仿一些好的句子，一些好的段落。看源码也一样，不同大厂的源码写的风格也不一样，惯用的技巧也不一样，强调的规范也不一样，使用的C++标注也不一样（C++11、C++14等等）。但是如果想要深入学习一个框架的底层，看源码是必须的。我看过不少源码，也模仿过一些大厂源码的例子。最常见的例子就是抽象类、工厂、单例、注册等等机制

2021-10-04 12:15:19 640

原创 AI算法工程师的含泪经验（二）

大家好我是老潘，我们又见面了~如果下文中有格式方面的错误，可以点击这里查看原文。老潘的AI宝藏内容也总结在这里！算法工程师50%的时间是和数据打交道，有时候拷贝数据（分别从多个文件夹拷贝到某一文件夹）；有时候筛选数据（过滤掉一些质量不好的数据）；有时候把数据换个名字、加个前缀（为了后续训练的时候区分数据的特性，比如多尺度、多种图像增强策略）等等，这些工作可能一个月要重复n多次，因此最好总结起来；可以用Python或者shell脚本来处理，或者用jupyter notebook存自己常用的文件处理.

2021-10-04 12:12:17 413

原创关于 XX error 1 querying major version的错误

Error Code 1: Myelin (cuBLASLt error 1 querying major version.)这种错误是因为没有找到合适的版本信息，在某些库寻找动态链接库的时候，会根据so后面的版本信息去寻找，如果没有找到则会报错。解决方法：将寻找路径的.so所有的版本后缀都设置一遍就OK~比如这样，使用ln -s libcublasLt.so.11 libcublasLt.so.11.5.2.43 命令设置好对应的so就可以： libcublasLt.so -> lib

2021-09-23 10:59:54 1472

原创分享下AI算法工程师的一些宝贵经验（一）

大家好我是老潘，持续分享深度学习质量文，也会闲谈程序员的美好生活~宝藏内容以及如何找到老潘：老潘的AI宝藏内容也欢迎来我的博客做访：老潘的博客如果你对AI、深度学习、目标检测、图像分割、AI模型部署、模型优化等话题感兴趣，不妨尝试下关注老潘~前一段时间一直在优化部署模型。这几天终于来了需求，又要开始重操训练一些新模型了。趁着这次机会总结了下之前的一些训练模型的笔记，可能比较杂，抛砖引玉！当然这是不完全统计的经验，除了训练部分，还有很多部署的坑没有写。算法工程师50%的时间是和数据打交道，有.

2021-09-18 19:46:38 435

原创 C++中namespace的作用

C++作用域的主要用法就是减少名称互相冲突性的可能性。这个名称可以是变量、可以是函数、可以是类名称也可以是等等等等，总之是有名字的东西。因此标准C++引入关键字namespace（命名空间/名字空间/名称空间），可以更好地让我们控制标识符的作用域。来看下使用规则。一般的用法//定义一个名字为A的命名空间（变量、函数）namespace A { int a = 100;}namespace B { int a = 200;}void test(){ //A::a

2021-08-30 11:04:38 545 1

原创 APPLE-M1使用VSCODE调试lldb无法正常使用

最近使用Mac-mini-m1芯片的电脑在debug代码。使用的VSCODE进行调试，launch.json也设置好了，但是启动调试的时候总会出现：ERROR: Unable to start debugging. Unexpected LLDB output from command "-exec-run". process exited with status -1 (attach failed）这样的问题。不过在VSCODE外头通过lldb ./demo是可以的。不过还是找到了解决方案…在M1芯

2021-08-29 12:07:27 3360 3

原创 OpenCV中minAreaRect的使用说明

class CV_EXPORTS RotatedRect{public: //! various constructors RotatedRect(); RotatedRect(const Point2f& center, const Size2f& size, float angle); RotatedRect(const CvBox2D& box); //! returns 4 vertices of the rectangle

2021-08-19 20:52:25 9607

原创遇到torchvision-op无法调用的问题

在使用torchvision的op的时候，比如from torchvision.ops.nms如果遇到以下的问题：Couldn’t load custom C++ ops. This can happen if your PyTorch andtorchvision versions are incompatible, or if you had errors while compilingtorchvision from source. For further information on the

2021-08-18 18:02:09 2444 5

原创想要的AI部署前沿技术都在这里了！

不得不相信英伟达总能给我们惊喜，老潘作为一名深度学习从业者以及游戏爱好者，对于这种与AI、GPU、并行计算相关的话题一直都是比较感兴趣。作为深度学习第一大硬件平台的英伟达，我们自然熟悉的不能再熟悉了。英伟达的硬件足够优秀，但也需要足够的软件开发者去支撑才能真正的令其发展起来，对此英伟达是“上心的”。因为毕竟只有大家都用、大家都觉着好用、你也觉着好用，你才会用英伟达的产品，才会用它的GPU去做一些你感兴趣的事情(当然英伟达就可以卖钱啦)。这也就是生态。其实用了比较长时间英伟达的产品(显卡、嵌入式版本系

2021-08-15 21:56:22 1231 1

原创老潘的AI部署以及工业落地学习之路

Hello我是老潘，好久不见各位。最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。虽然有了一点点成果，但仍觉着缺点什么。作为深度学习算法工程师，训练模型和部署模型是最基本的要求，每天都在重复着这个工作，但偶尔静下心来想一想，还是有很多事情需要做的：模型的结构，因为上线业务需要，更趋向于稳定有经验的，未探索一些新的结构模型的加速仍然不够，还没有压榨完GPU的全部潜力深感还有很多很多需要学习的地方啊。既然要学习，那么学习路线就显得比

2021-08-08 10:22:54 1540 3

原创 TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧

首发于TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！，最新回复以及交流请看这里~前言大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。作为在英伟达自家GPU上的推理库，这些年来一直被大力推广，更新也非常频繁，issue反馈也挺及时，社区的负责人员也很积极，简直不要太NICE。只是TensorRT的入门门槛略微高一点点，劝退了一部分玩家。一部分原因是官方文档也不够详细(其实也挺细了，只不过看起来有些杂乱)、资料不够；另一部分可能是因为TensorRT比较底层，需

2021-06-14 17:03:21 10271 5

原创想提速但TensorRT的FP16不得劲？怎么办？在线支招！

问题的开始前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。这个debug.onnx使用tf2onnx导出，导出后tf2onnx会自动对这个onnx做一些优化，例如常量折叠、算子融合等等一些常规操作，一般来说这些操作不会影响网络结构(也会出现影响的情况！之后老潘会说)，而且有助于模型的优化。然后导出来之后使用onnxruntime简单测试一下导出模型是否正确，是

2021-04-11 22:39:24 3301 1

原创主机回来以及，简单的环境配置(RTX3070+CUDA11.1+CUDNN+TensorRT)

紧接着前几天的事：特殊的日子，想起了当年的双(1080TI)显卡装机实录和炼丹炉买不起了:聊一聊这段日子的显卡行情之后，决定买一台整机玩玩。而现在，主机终于回！来！了！主机回来干什么，当然是——配置环境。老潘之前也有一些配置环境的文章，可以参考：ubuntu16.04下安装NVIDIA（cuda）-gtx965m相关步骤以及问题pytorch-0.2成功调用GPU：ubuntu16.04，Nvidia驱动安装以及最新cuda9.0与cudnnV7.0配置win10下安装使用pytor

2021-03-07 22:09:36 2101 5

原创 CVer最想知道的，简单分析下《2020年度中国计算机视觉人才调研报告》

最近闲来无事，老潘以一名普通算法工程师的角度，结合自身以及周围人的情况，理性也感性地分析一下极市平台前些天发布的2020年度中国计算机视觉人才调研报告。以下的“计算机视觉人才”简称“人才”，感觉说人才有点怪怪的感觉？自己也算人才么？老潘只不过是一个普普通通的算法工程师罢了(逃)。这个报告一共分为几个方面，用大白话讲一下就是：计算机人才哪个城市最多，哪个专业最多、都喜欢发些什么论文、喜欢什么编程语言、深度学习框架、工作地点等等作为计算机人才，我们应该学习什么才能不被社会所淘汰，如何提升自己计算

2021-02-23 23:21:19 1173

原创 2021年，我们还需要入门深度学习吗？

前言过年时闲来无事，瞎翻自己的博客，偶然看到之前写的一篇文章：一篇文章解决机器学习，深度学习入门疑惑这篇文章原先发布于2018年中旬，那会正是深度学习、神经网络无脑火热的时候。火热到什么程度？火热到显卡一度卖脱销(不是因为挖矿)，研究生导师集体推荐学生转深度学习方向、毕业论文不带“深度学习”四个字都毕不了业、大街上随便拉个学生问都认识吴恩达。就这个火的程度，我那会也毅然决然地踏入了深度学习的大军，开始追星(吴恩达、李宏毅)，开始上课(CS231n、CS229)，开始学习框架(Pytorch、Te

2021-02-15 23:25:35 1667 3

原创结束研究生第一年之际，前来谈谈自己的感受(2018)

前言在即将结束研究生第一年之际，前来谈谈自己的感受。你可以把这篇文章当做深度学习者、程序员、研究生的简短自白。可能会有点啰嗦，会有点无趣。但如果有时间、感兴趣，不妨阅读阅读，或许你能从其中挑出点有用的东西来呢。谈到的话题：编程语言选择该怎么准备去找工作上不上博杂谈不知不觉入行深度学习即将快一年，虽然说入行之前所做的项目，所编写的代码和现在做的并没有什么直接关系。但是从自己的上手程度和过来的经验来说，好的基础还是很重要的。对于深度学习的基础，大体分为三个部分：理论知识基础(数学知识

2021-02-13 10:53:45 540 1

原创老潘的私藏宝藏资料分享！！！

yahaha~你终于找到这里了。这里收集了老潘总结的深度原创文和珍藏的资料，相信可以帮助到你。列一下博客的关键词：深度学习、神经网络、模型部署落地、服务器推理、Pytorch、TensorRT、Caffe、Python、C++、算法等。如果这里刚好有你需要的，能够帮助到你，我会非常开心(PS:内心无比激动~)。这里的每一篇文章都值得你精读，每周都会更新，有关算法工程师和模型部署工程师的学习路线在文末。老潘本潘老潘不是严格的算法工程师，虽然也训练一些模型，但是对模型部署和产品落地更为感兴趣，也做过

2021-02-10 12:25:58 811

原创简易的合成大西瓜魔改教程

简易大西瓜魔改教程。github地址 : https://github.com/Oldpan/bigWatermelon/tree/master本地游玩从github下载下来之后，首先安装nodejs。我是mac平台，直接使用brew命令安装nodejs。安装好nodejs之后，执行附带的npm包管理工具安装serve：npm i -g serve然后我们进入仓库目录。执行serve:到此证明服务运行成功，端口号是5000。打开浏览器(推荐谷歌)然后输入上述地址http://loc

2021-02-03 23:46:37 4989 1

原创去除编写python脚本时jupyter-notebook的错误警告

在使用jupyter-notebook或者python脚本的时候，有时候会经常遇到类似的错误：总之就是些deprecated的错误，大概意思是这个api不建议使用，因为可能在下个版本中就不支持了，但其实这段对目前的程序代码运行完全没有影响。这个时候可以通过以下代码去掉这个“占地面积”很大的警告。import warningswarnings.filterwarnings("ignore")但是注意有些库内部的警告是无法取消的。...

2021-02-03 22:25:32 1035

原创只需半小时，搭建paddlepaddle-OCR识别服务(识别身份证、资格证等)

前言简单尝试了下paddleOCR的最新版(2021)，只需要几行命令就可以很快地在本地部署一个OCR识别系统。如果不想看下文，依次执行以下命令即可搭建(注意：仅在linux系统中测试，其他系统也可参照)：# 有anaconda系统可以跳过sh Anaconda3-2020.03-Linux-x86_64.shconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda con

2021-02-02 22:32:18 6269 2

原创利用VScode和cmake编译构建C++工程代码

前言可能我们有时候已经习惯了使用大型IDE去编写一些C++工程，经常使用大型IDE例如VS、Clion、VC++6.0，这些大型的软件都已经为我们提供好了编译链接工具，我们不需要自己去手动设置编译器，也不需要了解相关知识就可以写代码进行编译运行。但有时候我们还需要去了解这些知识，虽然可能与编写代码关系不大，但是当我们实际拿大型工程落地时，这些技能就是必要的。当然本文并不是要详细讲解make、cmake等工具的使用，这篇文章主要是借助VSCODE这个非常灵活的平台，利用cmake工具完整地过一边代码，并

2021-01-31 17:32:07 6000 2

原创如何对Pytorch进行“深入”的DEBUG

前言我们对Pytorch的debug一般都是在python端进行，这对于一般搭建模型的任务来说足够了。但如果我们需要对Pytorch进行一些修改或者研究一下机器或深度学习系统是如何搭建的，想要深入探索就必须涉及到C++的源码层面。举个栗子，例如torch.rand(3, 4)这个函数，在Python我们无法通过python端debug进入其内部实现，也无法找到其定义，自然也无法探索其具体的实现细节，所以，为了更好地对Pytorch进行探索和调试，有必要对Pytorch的C++部分进行debug。准备工

2021-01-30 21:08:36 3024

原创一个Tensor的生命历程(Pytorch版)

文中涉及到大量的Pytorch的C++源码，版本为1.4.0，适合有一定Pytorch源码基础的童鞋观看，同时也涉及到一些python中的C/C++拓展的一些基础知识，其中每一段代码的第一行表明了该代码的文件位置。需要注意有些代码是自动生成的，原始工程中并没有，需要对pytorch源码编译后才会生成出来。还要注意一点，因为Pytorch仍在积极开发中，可能代码接口变化还是比较频繁。当你看到本文的时候，有可能展示的源码与master版的略有不同，但是大部分的代码逻辑变动不大，我们只需要知道核心工作原理即可

2021-01-30 18:10:47 1167

原创关于numpy.array和列表list的区别

某一天写代码的时候突然遇到一个场景，需要批量对标注信息box进行操作(box包括[x1,y1,x2,y2])。最简单的操作就是，for循环遍历将box一个一个存到list中最终转化为numpy的二维数组进行操作:bboxes = []for k in range(num_objs): ann = anns[k] bbox = self._coco_box_to_bbox(ann['bbox']) # 构造array的时候需要 [[]] 二维方式构造 sbbox = np

2021-01-17 20:00:22 2962

原创 TensorRT-7.x自定义插件详细指南

小博主拍了拍你的脑袋发了一个神秘链接：oldpan.me本系列为新TensorRT的第一篇，为什么叫新，因为之前已经写了两篇关于TensorRT的文章，是关于TensorRT-5.0版本的。好久没写关于TensorRT的文章了，所幸就以新来开头吧~接下来将要讲解的TensorRT，将会是基于7.0版本。7版本开头的TensorRT变化还是挺大的，增加了很多新特性，但是TensorRT的核心运作方式还是没有什么变化的，关于TensorRT的介绍可以看之前写的这两篇：利用TensorRT对深度学习进行

2021-01-12 22:26:17 2647 8

原创 Mac mini M1使用简单体验(编程、游戏、深度学习)

小博主拍了拍你的脑袋发了一个神秘链接：oldpan.me爽啊。前一阵子忍不住剁手买了M1芯片的mac mini，为了弥补自己的内疚感就卖了自己的旧的mbp2017款。数据也完全迁移到了新机器上，之前的工作也就由mbp2017彻底换成mac mini了，要换就换彻底点，不要给自己了留后路，哼。为什么买mini而不是macbook系列，当然是为了减少一下尝鲜的成本，mini对于有显示器有键盘的童鞋来说，应该是尝鲜m1芯片最有性价比的一款了(某宝只需4700)。另外需要说明一点，M1这个Apple Si

2021-01-12 22:22:56 11390 9

原创父类指针、类多态以及dynamic_cast需要注意的地方

拉拉拉，大家晚上好。老规矩，欢迎大家来访：oldpan.me ，这里回复更及时。好了正文开始吧~什么是父类指针父类指针也可以称为基类指针，当父类(基类)指针指向派生类(子类)指针的时候，可以触发“多态的效果”。不过本文的重点不在“多态”，而是聊聊当父类指针和子类指针互相赋值时需要注意的问题。废话不多说，直接看代码~假设我们有两个类，一个是Base父类，另一个是Derived子类。class Base //父类{public: virtual int fun() ; // 虚函数}

2021-01-12 22:16:11 627 1

原创机器学习系统或者SysML&DL笔记(一)

关于本文章的最新更新请查看:oldpan博客前言在使用过TVM、TensorRT等优秀的机器学习编译优化系统以及Pytorch、Keras等深度学习框架后，总觉得有必要从理论上对这些系统进行一些分析，虽然说在实践中学习是最快最直接的(指哪儿打哪儿、不会哪儿查哪儿)，但恶补一些关于系统设计的一些知识还是非常有用了，权当是巩固一些基础了。因此，有必要学习了解一下机器学习系统的设计和思想。如果不是很了解机器学习系统的设计，可以看下知乎上关于这个问题的回答：相比AI算法研究，计算机系统研究没落了吗？以下是本

2020-07-14 22:55:58 519

原创 Openvino初探(附实际体验)

关于本文章的最新更新请查看:oldpan博客趁着临近毕业之前再贡献一波热度吧！本篇文章主要内容为在使用OpenVino时的一些注意点，方便带大家快速入门。OpenVino相比TVM和libtorch在intelx86的CPU端还是有很大优势的，可以说在X86上推断速度没有什么框架可以媲美OpenVino。实际测试中OpenVino确实出乎了我的意料，值得尝试。另外，Intel也在大力发展OpenVino(从跟新频率可以看出来)，也有一些相关的活动和比赛可以参与试试。看到右下角的计算棒了么(感谢提供此图

2020-07-14 22:50:21 3080 4

原创想啥时候用的GPU服务器：Kaggle中kernels的快速入门指南

关于本文章的最新更新请查看:oldpan博客前言对于很多入门深度学习领域的小伙伴来说啊，拥有一款合适的显卡是必要的，只有拥有好的装备才能更好更快地进行神经网络的训练、调试网络结构、改善我们的代码，进而更快地产出结果。也就是说，显卡可以代表生产力，显卡越好，生产力越强。程序训练的速度越快，我们也就可以更方便地看到结果从而进行下一步。大家可以回顾一下我在之前发布的几篇关于显卡的文章：更...

2019-03-27 18:22:52 5773

Ray Wenderlich_iOS_11_by_Tutorials_v1.0-完整源码code

Ray Wenderlich_iOS_11_by_Tutorials_v1.0_PDF+EPUB

空空如也