- 博客(152)
- 收藏
- 关注
RSS订阅原创 【InternLM 实战营第二期笔记】OpenCompass ：是骡子是马，拉出来溜溜
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-04-23 08:41:26
529
原创 【InternLM 实战营第二期笔记】Lagent & AgentLego 智能体应用搭建
创建工具文件import os@tool_api"""一个天气查询API。可以根据城市名查询天气信息。Args:"""else:Args:Returns:"""data = [f'数据观测时间: {now["obsTime"]}',f'温度: {now["temp"]}°C',f'体感温度: {now["feelsLike"]}°C',f'天气: {now["text"]}',f'风向: {now["windDir"]}，角度为 {now["wind360"]}°',
2024-04-23 08:40:48
576
原创 【InternLM 实战营第二期笔记】XTuner 微调个人小助手认知
Haotian Liu等使用GPT-4V对图像数据生成描述，以此构建出大量的数据对。利用这些数据对，配合文本单模态LLM，训练出一个Image Projector。所使用的文本单模型LLM和训练出来的，统称为LLaVA模型。
2024-04-17 08:05:21
1056
原创 【InternLM 实战营第二期笔记】LMDeploy 量化部署 LLM&VLM实战
是一个高速发展的社区，包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。可以认为是一个针对深度学习模型和数据集的在线托管社区，如果你有数据集或者模型想对外分享，网盘又不太方便，就不妨托管在HuggingFace。托管在HuggingFace社区的模型通常采用HuggingFace格式存储，简写为HF格式。但是HuggingFace社区的服务器在国外，国内访问不太方便。国内可以使用阿里巴巴的MindScope。
2024-04-17 08:04:26
593
原创 【CANN训练营】目标检测（YoloV5s）实践(Python实现）
使用多路离线视频流（* .mp4）作为应用程序的输入，基于YoloV5s模型对输入视频中的物体做实时检测，将推理结果信息使用imshow方式显示。
2024-04-16 14:41:02
616
原创 【InternLM 实战营第二期笔记】使用茴香豆搭建你的RAG智能助理
茴香豆是一个基于 LLM 的群聊设计拒答、响应两阶段 pipeline 应对群聊场景，解答问题同时不会消息泛滥。精髓见技术报告成本低至 1.5G 显存，无需训练适用各行业提供一整套前后端 web、android、算法源码，工业级开源可商用。
2024-04-07 06:51:49
928
原创 【CANN训练营笔记】AscendCL图片分类应用（C++实现）
基于PyTorch框架的ResNet50模型，对*.jpg图片分类，输出各图片所属分类的编号、名称。华为云AI1s内存：8G。
2024-04-02 15:13:19
444
原创 【InternLM 实战营第二期笔记】InternLM1.8B浦语大模型趣味 Demo
自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
2024-04-01 05:44:24
1066
原创 【CANN训练营笔记】Atlas 200I DK A2体验手写数字识别模型训练&推理
开发板：Huawei Atals 200I DK A2内存：4G。
2024-03-30 10:41:29
556
原创 【InternLM 实战营第二期笔记】书生·浦语大模型全链路开源体系及InternLM2技术报告笔记
自从ChatGPT和GPT-4的出现以来 (OpenAI, 2023)，大型语言模型（LLMs）在学术界和工业界迅速走红。训练在数十亿令牌上的模型展现了深刻的情感理解和问题解决能力，引发了人们普遍认为AGI时代即将到来的猜测。尽管如此，开发出与ChatGPT或GPT-4相当能力的模型的道路仍然模糊不清。开源社区正在努力缩小专有LLM与开源模型之间的差距。在过去的一年里，如LLaMA (Touvron et al., 2023a;
2024-03-28 15:30:27
943
原创 使用启智OpenI平台体验Open-Sora笔记
如果不使用我公开的模型文件，想自己体验下载模型的话，可以使用下面的文件脚本(download_model.py)放到Open-Sora代码仓文件夹的上一层执行。修改文件（Open-Sora/configs/opensora/inference/16x256x256.py）如果不想体验整个安装配置过程的话，我准备了一个Open-Sora的环境镜像应该可以直接开箱即用。不重新安装在openi平台有概率会被重新安装成torch==2.1.1，这样就造成了版本不匹配。参数设置部分基本如下图所示。
2024-03-26 09:50:52
357
原创 OpenI启智平台创建天数智芯训练任务（以AlexNet为例）
下半部分的参数设置主要如下图所示，这边因为是AlexNet的训练任务，所以数据集我选择了一个ImageNet_Tiny，如果是其他的数据集对应选择就好。为了偷懒直接用OpenI进行在线编辑，主要修改的代码为train.py，建议直接新建一个新的py文件然后复制原来train.py的内容进行修改。Fork好代码仓后我们到我们Fork后的代码仓中找到AlexNet Pytorch的训练代码所在位置。首先我们进到天数智芯DeepSpark代码仓，点击【派生】将代码仓Fork到我们自己的目录下。
2024-03-23 04:08:34
446
原创 【DataWhale学习笔记-蝴蝶书共读】文本生成
文本摘要任务指的是用精炼的文本来概括整篇文章的大意，使得用户能够通过阅读摘要来大致了解文章的主要内容。抽取式摘要：从原文档中提取现成的句子作为摘要句。压缩式摘要：对原文档的冗余信息进行过滤，压缩文本作为摘要。生成式摘要：基于NLG技术，根据源文档内容，由算法模型自己生成自然语言描述。以下是一个基于mT5模型（T5模型的多语言版）的文本摘要样例。import re# 载入模型。
2024-03-21 19:06:34
871
原创 【DataWhale学习笔记-蝴蝶书共读】大语言模型背后
从图灵测试到ChatGPT1950年，艾伦•图灵(Alan Turing)发表论文《计算机器与智能》（ Computing Machinery and Intelligence），提出并尝试回答“机器能否思考”这一关键问题。在论文中，图灵提出了“模仿游戏”（即图灵测试）的概念，用来检测机器智能水平。图灵测试的核心思想是，如果一个人（代号C）使用测试对象皆理解的语言去询问两个他不能看见的对象任意一串问题，其中一个是正常思维的人（代号B），另一个是机器（代号A）。如果经过若干询问以后，C不能得出实质的区别来
2024-03-18 11:51:19
1075
原创 【InternLM 笔记】OpenXLAB浦源的基本操作
然后app.py的话就是我们的主代码文件了，如果不是app.py的话，或者说是stramlit应用的话，可以写一个start.py。另外硬件资源的话默认可能只有2vCPU 8GB，根据使用经验可能只能运行一些简单的应用，所以有好的应用创意需要跑的话，点【申请硬件资源】可以尝试申请更好的资源。感觉页面中的提示信息填写相应的内容，全部填完后点页面下方的【立即创建】完成模型的创建。点击右上角的头像然后选择密钥管理，里面选择【Git访问令牌】下面就有你的访问令牌了。创建应用也是点【创建】然后选择【创建应用】
2024-03-18 10:56:08
817
原创 【InternLM 实战营笔记】基于 InternLM 和 LangChain 搭建MindSpore知识库
同时，我们需要使用到开源词向量模型 Sentence Transformer:（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型）可以在 /root/data 下新建一个 demo目录，将该脚本和后续脚本均放在该目录下运行。运行上述脚本，即可在本地构建已持久化的向量数据库，后续直接导入该数据库即可，无需重复构建。将上述代码封装为 LLM.py，后续将直接从该文件中引入自定义的 LLM 类。
2024-03-15 18:52:09
518
原创 【InternLM 笔记】使用InternLM2-chat-1.8b制作时事问答知识库
通过将上述代码封装为 run_gradio.py 脚本，直接通过 python 命令运行，即可在本地启动知识库助手的 Web Demo，默认会在 7860 端口运行，接下来将服务器端口映射到本地端口即可访问。将得到的 PTH 模型转换为 HuggingFace 模型，即：生成 Adapter 文件夹。数据集csv转json脚本（csv2jsonl.py）模型版本： InternLM2-chat-1.8b。将得到的jsonl文件拷贝到工作目录下准备微调。LangChain 依赖包。下载 NLTK 相关资源。
2024-03-15 18:51:16
473
原创 【DataWhale学习笔记】使用AgentScope调用qwen大模型
AgentScope是一款全新的Multi-Agent框架，专为应用开发者打造，旨在提供高易用、高可靠的编程体验！高易用：AgentScope支持纯Python编程，提供多种语法工具实现灵活的应用流程编排，内置丰富的API服务（Service）以及应用样例，供开发者直接使用。同时，AgentScope提供了详尽的教程API文档和应用样例。高鲁棒。
2024-03-15 13:18:06
1334
原创 【Datawhale组队学习：Sora原理与技术实战】训练一个 sora 模型的准备工作，video caption 和算力评估
从模型参数量来看，零一万物，CogVLM 的模型是百亿参数，但是仅支持英文，通义，灵笔等模型可以较好的支持中文，Video-LLaVA 可以支持直接对视频的理解，可以根据需求来选择具体的多模态大语言模型。
2024-03-14 11:44:52
537
原创 【Datawhale组队学习：Sora原理与技术实战】语音AI
拼接法和参数法是两种Text-To-Speech(TTS)技术路线。近年来参数TTS系统获得了广泛的应用，故此处仅涉及参数法。参数TTS系统可分为两大模块：前端和后端。前端包含文本正则、分词、多音字预测、文本转音素和韵律预测等模块，它的功能是把输入文本进行解析，获得音素、音调、停顿和位置等语言学特征。后端包含时长模型、声学模型和声码器，它的功能是将语言学特征转换为语音。其中，时长模型的功能是给定语言学特征，获得每一个建模单元（例如:音素）的时长信息；声学模型则基于语言学特征和时长信息预测声学特征；
2024-03-14 09:34:50
542
原创 【Datawhale组队学习：Sora原理与技术实战】使用LaVie创建一段小视频
安装依赖下载代码仓设置hf-mirror下载模型到代码仓models目录下编辑ckpt_path: "../pretrained_models/lavie_base.pt" #模型地址output_folder: "../res/base/" #输出目录pretrained_path: "../pretrained_models" #训练模型目录prompt相关运行Video Interpolation运行Video Super-Resolution运行cd .. /vsr。
2024-03-12 12:23:43
462
原创 【Datawhale学习笔记】从大模型到AgentScope
进一步借助多个Agent之间的协作，完成复杂任务Single-agent开发 -> Multi-agent如何完成更复杂任务 -> 根据任务，让多个agent根据SOP或自定义流程配合如何针对大模型幻觉容错 -> 多个agent讨论、复盘逻辑如何拓展能处理的任务范围？-> 自由组合有不同擅长领域的agents如何提高解决问题的效率？-> 优化、并行多个子任务agent执行。
2024-03-11 10:34:54
644
原创 【Datawhale组队学习：Sora原理与技术实战】Transformers+diffusion
近期大火的OpenAI推出的Sora模型，其核心技术点之一，是将视觉数据转化为Patch的统一表示形式，并通过Transformers技术和扩散模型结合，展现了卓越的scale特性。被Twitter上广泛传播的论文《Scalable diffusion models with transformers》也被认为是Sora技术背后的重要基础。而这项研究的发布遇到了一些坎坷，曾经被CVPR2023拒稿过。
2024-03-06 10:11:33
1138
原创 【InternLM 实战营笔记】使用SDK接口上传模型到OpenXLab
浦源内容平台-模型中心的Python SDK旨在为开发人员提供编程方式来管理和操作模型中心平台的功能，以便他们可以轻松地与模型中心进行交互和模型管理。通过Python SDK提供的推理接口，开发人员能够高效地调用不同的模型，实现模型应用的开发。模型库的管理：创建模型库、上传更新、删除、查询模型列表和列出模型的信息元数据管理：SDK应该提供一组API，用于管理模型的元数据，包括模型名称、评测结果、标签、作者等信息。
2024-03-03 21:28:57
500
原创 【Datawhale组队学习：Sora原理与技术实战】Attention和LLM
Attention = 注意力，从两个不同的主体开始。计算方法：va⊤tanhW1htW2hsscorehths⎩⎨⎧ht⊤hsht⊤Wahsva⊤tanhWaht;
2024-03-03 13:44:18
1045
原创 【Datawhale组队学习：Sora原理与技术实战】AIGC技术基础知识
AIGC全称叫做AI generated content，AlGC (Al-Generated Content，人工智能生产内容)，是利用AlI自动生产内容的生产方式。在传统的内容创作领域中，PGC（Professionally-generated Content，专业生成内容）和UGC（User-generated Content，用户内容生产）作为两大主流模式，共同构成了内容生产的核心来源。
2024-03-03 08:27:29
929
原创 【InternLM 实战营笔记】使用 OpenCompass 评测 InternLM2-Chat-7B 模型使用 LMDeploy 0.2.0 部署后在 C-Eval 数据集上的性能
拉取环境激活环境下载模型安装转换internLM2-Chat-7B为将模型转为 lmdeploy TurboMind 的格式启动 TurboMind推理+API服务。
2024-03-01 21:35:45
517
原创 【InternLM 实战营笔记】基于 InternLM 和 LangChain 搭建MindSpore知识库
同时，我们需要使用到开源词向量模型 Sentence Transformer:（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型）可以在 /root/data 下新建一个 demo目录，将该脚本和后续脚本均放在该目录下运行。运行上述脚本，即可在本地构建已持久化的向量数据库，后续直接导入该数据库即可，无需重复构建。将上述代码封装为 LLM.py，后续将直接从该文件中引入自定义的 LLM 类。
2024-02-29 18:01:12
452
原创 【InternLM 实战营笔记】浦语·灵笔的图文理解及创作部署、 Lagent 工具调用 Demo
浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型，提供出色的图文理解和创作能力，结合了视觉和语言的先进技术，能够实现图像到文本、文本到图像的双向转换。使用浦语·灵笔大模型可以轻松的创作一篇图文推文，也能够轻松识别一张图片中的物体，并生成对应的文本描述。由于代码修改的地方比较多，大家直接将 /root/code/lagent/examples/react_web_demo.py 内容替换为以下代码。
2024-02-29 10:47:16
470
原创 【InternLM 实战营笔记】OpenCompass大模型评测
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
2024-02-28 20:09:52
1010
原创 【InternLM 实战营笔记】LMDeploy 的量化和部署
值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。比如可以把“模型推理”和“API Server”合并，有的甚至是三个流程打包在一起提供服务。新开一个终端执行下面的命令实时观察 GPU 资源的使用情况。v1/chat/completions 接口为例，简单试一下。接下来，我们看一下lmdeploy提供的部署功能。这一部分主要涉及本地推理和部署。我们把从架构上把整个服务流程分成下面几个模块。复制环境到我们自己的 conda 环境。TurboMind 服务作为后端。
2024-02-28 19:27:14
421
原创 【InternLM 实战营笔记】XTuner 大模型单卡低成本微调实战
一个大语言模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。
2024-02-28 14:08:49
562
原创 【InternLM 实战营笔记】基于 InternLM 和 LangChain 搭建你的知识库
llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。我们可以基于 LangChain 的 Template 基类来实例化这样一个 Template 对象：# 我们所构造的 Prompt 模板template = """使用以下上下文来回答用户的问题。
2024-02-28 12:18:29
889
原创 【InternLM 实战营笔记】浦语大模型趣味 Demo
大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
2024-02-28 11:22:52
949
原创 【InternLM 实战营笔记】书生·浦语大模型全链路开源体系
大模型成为发展通用人工智能的重要途径专用模型：针对特定任务，一个模型解决一个问题通用大模型：一个模型应对多种任务、多种模态。
2024-02-28 09:36:01
392
原创 【Datawhale组队学习：Sora原理与技术实战】Sora技术原理
Text-to-video: 文生视频Image-to-video: 图生视频Video-to-video: 改变源视频风格or场景Extending video in time: 视频拓展(前后双向)Image generation: 图片生成 (size最高达到 2048 x 2048)Generate video in any format: From 1920 x 1080 to 1080 x 1920 视频输出比例自定义。
2024-02-27 10:21:28
961
原创 【昇思技术公开课笔记-大模型】Bert理论知识
2018年Google发布了BERT（来自Transformer的双向自编码器）预训练模型，旨在通过联合左侧和右侧的上下文，从未标记文本中预训练出一个深度双向表示模型。因此，BERT可以通过增加一个额外的输出层来进行微调，就可以达到为广泛的任务创建State-of-the-arts 模型的效果，比如QA、语言推理任务。当时将预训练模应用于下游任务的策略通常有两种：基于特征的（feature-based）和基于微调（fine-tuning）；前者比如ELMo，后者比如OpenAI GPT;
2024-01-19 13:09:22
445
原创 【昇思技术公开课笔记-大模型】Transformer理论知识
Transformer是一种神经网络结构，由Vaswani等人在2017年的论文“Attention Is All You Need”中提出，用于处理机器翻译、语言建模和文本生成等自然语言处理任务。Transformer是一个纯基于注意力机制的结构，并将自注意力机制和多头注意力机制的概念运用到模型中；*由于缺少RNN模型的时序性，Transformer引入了位置编码，在数据上而非模型中添加位置信息；更容易并行化，训练更加高效；在处理长序列的任务中表现优秀，可以快速捕捉长距离中的关联信息。
2024-01-19 12:34:54
1037
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人