A-Little-Boy-CSDN博客

原创书生·浦语大模型实战营笔记&作业汇总

作业：https://github.com/woxinyonghen/InternLMCamp/tree/main/homework01。作业：https://github.com/woxinyonghen/InternLMCamp/tree/main/homework02。【书生·浦语大模型实战营第2课】轻松玩转书生·浦语大模型趣味Demo。【书生·浦语大模型实战营第4课】XTuner单卡低成本微调你的大模型。【书生·浦语大模型实战营第1课】书生·浦语大模型全链路开源体系。

2024-01-29 10:28:40 191

原创【书生·浦语大模型实战营第6课】OpenCompass大模型评测

OpenCompass提供设计一套全面、高效、可拓展的大模型评测方案，对模型能力、性能、安全性等进行全方位的评估。OpenCompass提供分布式自动化的评测系统，支持对(语言/多模态)大模型开展全面系统的能力评估。

2024-01-20 18:51:06 933

原创【书生·浦语大模型实战营第5课】LMDeploy大模型量化部署实践

量化是一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略。对模型进行量化。主要包括KV Cache 量化和模型参数量化。

2024-01-13 14:44:47 438

原创【书生·浦语大模型实战营第4课】XTuner单卡低成本微调你的大模型

XTuner 是由上海人工智能实验室开发的低成本大模型训练、微调工具箱，通过 XTuner，仅需 24GB 显存，就可以微调 InternLM-20B 系列模型。

2024-01-11 16:12:36 375

原创【书生·浦语大模型实战营第3课】基于 InternLM 和 LangChain 搭建你的知识库

LangChain框架是一个开源工具，通过为各种LLM提供通用接口来简化应用程序的开发流程，帮助开发者自由构建LLM应用。

2024-01-09 16:53:10 380

原创【书生·浦语大模型实战营第2课】轻松玩转书生·浦语大模型趣味Demo

通常得到一个大模型我们需要收集海量的数据进行训练，得到拥有数十亿甚至数千亿参数的网络模型，大模型在迈向通用人工智能中具有不错的表现。2）设计了更加啊高效的训练策略，为模型注入了海量的多模态概念和知识数据，赋予了其强大的图文理解和对话能力。的基于大语言模型的智能体框架，用户可以快速地将一个大语言模型转变为多种类型的智能体，并提供了一些。基于InternLM训练框架，上海人工智能实验室目前已经开源了两个预训练模型，分别是。1）可以为用户打造图文并茂的专属文章。进行训练，建立了一个强大的知识库。

2024-01-06 11:41:22 404

原创【书生·浦语大模型实战营第1课】书生·浦语大模型全链路开源体系

书生·浦语提供了从数据处理到预训练、模型微调、模型部署、模型评测以及应用服务的全链条开源开发体系，覆盖大模型开发者开发大模型的整个流程，极大提高了用户的开发效率和使用体验。

2024-01-04 16:23:34 362

原创【2023 · CANN训练营第一季】昇腾AI入门课（TensorFlow）之AscendCL快速入门

Device是指安装了芯片的硬件设备，利用PCIe接口与Host侧连接，为Host提供NN计算能力。 c.构建模型：模型推理场景下，必须要有适配异腾A处理器的离线模型(*.om文件)； b.创建代码目录：创建目录，存放代码文件、编译脚本、测试图片数据、模型文件等； e.编译及运行应用：编译代码生成可执行文件，运行可执行文件验证应用的功能；编译及运行应用：编译代码生成可执行文件，运行可执行文件验证应用的功能； a.准备环境：提前部署昇腾A软件栈，以便后续编译、运行时使用； b.创建管理对象容器。

2023-05-30 11:34:16 201

原创【2023 · CANN训练营第一季】昇腾AI入门课（TensorFlow）之模型迁移

b.要求原始脚本仅使用TensorFlow1.15官方API和Horovod官方API，若用户脚本使用了其他第三方API，当前工具暂不支持迁移。昇腾TF Adapter支持TensorFlow的三种API开发的训川练脚本的手工迁移：分别是Estimator，Sess.run，Keras。d.执行训练，在Estimator上调用训练方法Estimator.train0，利用指定输入对模型进行固定步数的训练。c.运行配置，实例化Estimator，并传入Runconfig类对象作为运行参数。

2023-05-30 11:32:36 187

原创【2023 · CANN训练营第一季】昇腾AI入门课（PyTorch）之AI应用开发入门

图片googlenet分类样例。获取样例需要的测试图片。

2023-05-30 11:30:13 131

原创【2023 · CANN训练营第一季】昇腾AI入门课（PyTorch）之模型迁移

工具迁移：训练前，通过脚本迁移工具，自动将训练脚本中的CUDA接口替换为昇腾AI处理器支持的NPU接口，并生成迁移报告（脚本转换日志、不支持算子的列表、脚本修改记录）。自动迁移：训练时，在训练脚本中导入脚本转换库，导入后执行训练。将基于PyTorch的训练脚本迁移到昇腾AI处理器上进行训练，目前有以下3种方式：自动迁移（推荐）、工具迁移、手工迁移，且迁移前要保证该脚本能在GPU、CPU上运行。功能介绍脚本转换工具根据适配规则，对用户脚本给出修改意见并提供转换功能，提高了脚本迁移速度，降低了开发者的工作量。

2023-05-30 11:27:24 657

原创【2023 · CANN训练营第一季】初识新一代开发者套件Atlas 200I DK A2之模型适配工具

为一体的开发者工具套件。通过此工具，可以降低开发者在模型开发过程中对AI专业知识、深度学习框架的学习成本，极大降低开发的难度、复杂度。e.上传模型迁移压缩包到DK上，进行模型ATC转换om模型和推理主程序。初识新一代开发者套件Atlas 200I DK A2之模型适配工具。a. 安装Anaconda3并在安装模型适配工具前准备好虚拟环境。c.模型适配工具标注工具制作数据集。b.获取并安装模型适配工具。模型适配工具是一款集成。d.本机模型训练与迁移。

2023-05-30 11:25:39 103

原创初识新一代开发者套件Atlas 200I DK A2之基础介绍

Atlas 200I DK A2 开发者套件是一款高性能的AI开发者套件，可提供8TOPS INT8的计算能力。该款开发者套件集成了昇腾310B AI处理器，可以实现图像、视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机等场景。初识新一代开发者套件Atlas 200I DK A2之基础介绍。

2023-05-30 11:22:51 1237

原创【2023 · CANN训练营第一季】应用开发深入讲解之DVPP

昇腾Al处理器内置图像处理单元DVPP(Digital Video Pre-Processor)，提供强大的媒体处理硬加速能力。应用开发深入讲解之DVPP。c.图片描述信息创建与销毁。3.JPEGD图片解码。d.图片描述参数设置。4.VPC视觉预处理。

2023-05-29 15:44:28 125

原创【2023 · CANN训练营第一季】应用开发深入讲解之模型离线推理

当模型的输入内存获取到有效数据后，便可以调用AscendCL接口执行模型推理，推理完成后结果生成到输出内存中；在样例的模型推理模块中进行。代码中加载输入数据时，需要申请Host内存进行存储，当输入数据处理完毕后，需要将处理完成的数据从Host内存拷贝。到Device的模型输入内存中，以便于Device进行模型推理的专用计算。根据离线om的输入输出，在Deⅵce上申请好模型的输入输出内存。Host&Device上的内存申请与释放，内存间的相互拷贝。模型加载支持多种加载方式，由用户根据需求选择。

2023-05-29 15:40:27 135

原创【2023 · CANN训练营第一季】应用开发深入讲解之模型转换工具

昇腾张量编译器（Ascend Tensor Compiler，简称ATC）是异构计算架构CANN体系下的模型转换工具，它可以将开源框架的网络模型或Ascend IR定义的单算子描述文件（json格式）转换为昇腾AI处理器支持的.om格式离线模型。如果摸型转换时开启AIPP，在进行推理业务时，输入图片数据要求为NHWC排布，该场景下最终与APP连接的输入节点的格式被强制改成NHWC，可能与atc模型转换命令中–input format参数指定的格式不一致。,h,w,c,该参数必填。

2023-05-29 15:37:36 109

原创【2023 · CANN训练营第一季】应用开发深入讲解之AIPP

AIPP支持的归一化设置，通过减均值和乘系数的操作完成，其中，mean_chn表示每个通道的均值，min_chn表示每个通道的最小值，var_reci_chn表示每个通道方差的倒数，各通路的这三个值都是需要进行配置的参数。在执行RGB->YUV或者RGB->BGR等色域转换时，就可以直接使用AIPP，通过硬件能力快速完成色域转换。AIPP改变图片尺寸需要遵守如下图中的顺序，即先Crop再Padding,每个操作仅能执行一次。归一化就是要把需要处理的数据经过处理后限制在一定范围内，符合模型要求。

2023-05-29 15:35:43 114

原创【2023 · CANN训练营第一季】基于Atlas 200I DK A2的智能小车功能实现

小车的行驶依赖于模型的训练，因此需要设计一张地图，用于小车行驶的模型训练过程和推理结果验证。(Robot Operating System)可以作为一个通信桥梁，规整各个传感器与话题、服务，内置多种插件，可以适用到多种场景，包含了不同的。图优化相对于滤波，不用实时的进行计算，效率更高，消耗的资源更少，所以在实际场景中使用的更多。图优化相对于滤波，不用实时的进行计算，效率更高，消耗的资源更少，所以在实际场景中使用的更多。，先通过传感器进行构图，然后对图进行优化。目前比较主流的是图优化的方法，

2023-05-29 13:29:38 276

原创【2023 · CANN训练营第一季】基于Atlas 200I DK A2的智能小车结构设计和控制原理

为了防止小车前端的外壳遮挡广角摄像头的视线，也为了提高摄像头位置的自由度，广角摄像头载板设置了多挡位调节，开发者可以选择合适的摄像头前后位置。为了便于插拔ESP32和开发者套件上的各类接口，最上层的外壳未设计为完全固定的形式，可随时取下，所以移动小车时建议手托到底盘。，否则可能会影响小车的平移和原地旋转效果，左右麦克纳姆轮上的扁状滚轮上的摩擦力方向需要均指向小车的中轴线方向，如所示。注意螺钉和螺栓的固定顺序，第一次固定不要完全固定，以防有顺序错误需要拆卸的情况。，根据推理结果发出指令控制小车的运动状态。

2023-05-29 13:25:53 282

原创【2023 · CANN训练营第一季】TIK C++矢量算子动态shape输入的实现

当算子shape固定时，开发者使用不同shape时需要重新对算子进行编译，带来大量的算子二进制文件。而动态shape的算子可以将形状通过核函数的入参传入核函数内，参与内部逻辑计算，从而符合不同shape下的使用场景。基于现有的固定shape算子，将其改装为动态shape的算子。，它将指向控制核函数逻辑处理的至关重要的这几个变量。TIK C++矢量算子动态shape输入的实现。依靠外界输入得到，在核函数中额外传入一个。

2023-05-28 20:24:46 174

原创【2023 · CANN训练营第一季】TIK C++算子开发流程

a. 算子分析：分析算子的数学表达式、输入、输出以及计算逻辑的实现，明确需要调用的TIK C++接口。b. 核函数定义：定义TIK C++算子入口函数。根据矢量编程范式实现。c. 算子类：完成核函数的内部实现。TIK C+算子开发流程。

2023-05-28 20:22:14 163

原创【2023 · CANN训练营第一季】TIK C++算子编程范式

不同的流水任务之间存在数据依赖，需要进行数据传递。Queue队列内存初始化完成后，需要使用内存时，通过调用AllocTensor来为LocalTensor分配内存给Tensor，当创建的LocalTensor完成相关计算无需再使用时，再调用FreeTensor来回收LocalTensor的内存。TIK C++编程范式把算子内部的处理程序，分成多个流水任务（Stage），以张量（Tensor）为数据载体，以队列（Queue）进行任务之间的通信与同步，以内存管理模块（Pipe）管理任务间的通信内存。

2023-05-28 20:21:16 152

原创【2023 · CANN训练营第一季】Ascend C算子开发入门

Ascend C允许用户使用核函数这种C/C++函数的语法扩展来管理设备侧的运行代码，用户在核函数中实现算子逻辑的编写，例如自定义算子类及其成员函数以实现该算子的所有功能。 d. 0级接口，是最底层的开发接口，可以完整发挥硬件优势的计算API，可以进行非连续的计算该功能可以充分发挥CANN系列芯片的强大功能指令，支持对每个操作数的。，规定了核函数将会在几个核上执行，每个执行该核函数的核会被分配一个逻辑。，编号从0开始，可为不同的逻辑核定义不同的行为，可以在算子实现中使用。核函数是直接在设备侧执行的代码。

2023-05-23 13:14:55 1415

ALittleBoy的博客

原创书生·浦语大模型实战营笔记&作业汇总

原创【书生·浦语大模型实战营第6课】OpenCompass大模型评测

原创【书生·浦语大模型实战营第5课】LMDeploy大模型量化部署实践

原创【书生·浦语大模型实战营第4课】XTuner单卡低成本微调你的大模型

原创【书生·浦语大模型实战营第3课】基于 InternLM 和 LangChain 搭建你的知识库

原创【书生·浦语大模型实战营第2课】轻松玩转书生·浦语大模型趣味Demo

原创【书生·浦语大模型实战营第1课】书生·浦语大模型全链路开源体系

原创【2023 · CANN训练营第一季】昇腾AI入门课（TensorFlow）之AscendCL快速入门

原创【2023 · CANN训练营第一季】昇腾AI入门课（TensorFlow）之模型迁移

原创【2023 · CANN训练营第一季】昇腾AI入门课（PyTorch）之AI应用开发入门

原创【2023 · CANN训练营第一季】昇腾AI入门课（PyTorch）之模型迁移

原创【2023 · CANN训练营第一季】初识新一代开发者套件Atlas 200I DK A2之模型适配工具

原创初识新一代开发者套件Atlas 200I DK A2之基础介绍

原创【2023 · CANN训练营第一季】应用开发深入讲解之DVPP

原创【2023 · CANN训练营第一季】应用开发深入讲解之模型离线推理

原创【2023 · CANN训练营第一季】应用开发深入讲解之模型转换工具

原创【2023 · CANN训练营第一季】应用开发深入讲解之AIPP

原创【2023 · CANN训练营第一季】基于Atlas 200I DK A2的智能小车功能实现

原创【2023 · CANN训练营第一季】基于Atlas 200I DK A2的智能小车结构设计和控制原理

原创【2023 · CANN训练营第一季】TIK C++矢量算子动态shape输入的实现

原创【2023 · CANN训练营第一季】TIK C++算子开发流程

原创【2023 · CANN训练营第一季】TIK C++算子编程范式

原创【2023 · CANN训练营第一季】Ascend C算子开发入门

原创【OpenMMLab 实战营打卡-第7课】MMSegmentation代码教学

原创【OpenMMLab 实战营打卡-第6课】机器视觉之图像分割算法基础

原创【OpenMMLab 实战营打卡-第5课】MMDetection代码教学

原创【OpenMMLab 实战营打卡-第4课】计算机视觉之目标检测算法基础

原创【OpenMMLab 实战营打卡-第3课】计算机视觉之图像分类代码教学

原创【OpenMMLab 实战营打卡-第2课】计算机视觉之图像分类算法基础

原创【OpenMMLab 实战营打卡-第1课】计算机视觉之算法基础与OpenMMLab入门

原创【CANN训练营第三季】基于Caffe ResNet-101网络实现图片分类在昇腾310服务器的推理过程

原创【CANN训练营第三季】申请云环境

原创【CANN训练营第三季】基于Caffe ResNet-50网络实现图片分类在昇腾310服务器的推理过程

原创【PAT B1048】数字加密

原创 Ubuntu16.04下Spyder首次启动时主界面黑屏

空空如也

空空如也