- 博客(106)
- 收藏
- 关注
原创 6行代码,1行命令!轻松实现多模态(视觉)模型离线推理 & 在线服务
经过一段时间的迭代,LMDeploy 在 VLM 推理和服务方面,发生了翻天覆地的变化,于 v0.2.6 版本中正式发布。和去年相比,已有云泥之别,可以接受大家的检阅啦。
2024-03-28 17:23:38 383
原创 LLM问答助手茴香豆发布web版,零开发集成飞书&微信群
LLM问答助手茴香豆发布web版,支持自定义知识库、更新正反例、开关搜索,零开发集成微信&飞书群“茴香豆”是一个基于 LLM 的领域知识助手。特点:- 应对群聊这类复杂场景,解答用户问题的同时,不会消息泛滥- 提出一套解答技术问题的算法 pipeline- 部署成本低,只需要 LLM 模型满足 4 个 trait 即可解答大部分用户问题
2024-03-27 15:43:12 505
原创 书生·浦语大模型实战营第二期正式启动,带你从零搭建 RAG、多模态和智能体应用
书生·浦语大模型实战营,助力开发者熟悉大模型研发及应用全链路,迈向人工智能领域的新高峰!快来加入我们,一起探索大模型技术的无限可能吧!期待和你一起组建最强大模型战队!
2024-03-15 14:13:25 740
原创 “百模大战”大模型哪家强?开源的全面评测来了!
最近,一则推送在网上火了:《世界人工智能大会上的大模型都在这了,让你一次看个够》 小编兴奋地点开文章,好家伙,整篇文章没有字,只有满眼的 “大模型”。小编顶着昏花的老眼,手动数了一下,在 WAIC 大会上发布的大模型,至少有 58 个之多。🤦而根据今年的《中国人工智能大模型地图研究报告》,国内现在已经发布了多达 79 个参数 10 亿规模以上的大模型。可谓是百花齐放,各有千秋。在各家对各自模型的宣传中,也都展示了自己模型强悍的一面,让不少围观者不禁为之振奋,直呼牛哇。
2023-09-08 10:54:50 836
转载 上海AI实验室与商汤科技等发布“书生·浦语”大语言模型
方面,“书生·浦语”在HumanEval和MBPP这两项最具代表性的考评中,分别取得28.1和41.4的得分(其中经过在代码领域的微调后,在HumanEval上的得分可以提升至45.7),明显领先于PaLM-540B(得分为 26.2和36.8)与LLaMA-65B(得分为23.7和37.7)。细分科目结果如下表所示。此外,研究人员还对“书生·浦语”的安全性进行评测,在TruthfulQA(主要评价回答的事实准确性)以及CrowS-Pairs(主要评价回答是否含有偏见)上,“书生·浦语”均达到领先水平。
2023-06-07 19:31:12 503
原创 深度学习刷 SOTA 有哪些 trick?
因此这一方法一般只能放在残差结构中,将网络输出中的一部分样本直接抛弃,再与 shortcut 相加,从而实现部分样本 “跳过” 这一残差结构的效果。Cosine 学习率衰减,在近期的图像分类任务中是最主流的学习率衰减方法。虽然现在的优化器,如 Adam 拥有参数自适应学习率的能力,但通过衰减学习率限制优化器的优化步幅往往仍然是必要的。这是一种组合数据增强手段,相比传统数据增强的随机裁剪、随机翻转,这种方法设置了一个包含各种数据增强变换的集合,并对每个样本随机应用其中若干个增强,大大扩展了增强后的图像空间。
2023-02-13 11:17:34 1160 1
原创 目标检测、实例分割、旋转框样样精通!详解高性能检测算法 RTMDet
通过在模型结构的基本单元引入大 kernel 深度可分离卷积增大感受野,并平衡不同分辨率层级间以及 backbone 和 neck 间的计算量、参数量平衡,改进标签分配以及数据增强策略,RTMDet 不论是在目标检测任务上,还是在实例分割以及旋转目标检测任务上,均取得了优异的性能。我们希望我们探索出的这些改进方案能够对设计实时的目标检测模型有所启发,也希望我们在工程及算法上的优化能够在实际的工业场景中有所应用。
2023-01-13 19:35:39 2920 1
原创 YOLOv8 深度详解!一文看懂,快速上手
本文详细分析和总结了最新的 YOLOv8 算法,从整体设计到模型结构、Loss 计算、训练数据增强、训练策略和推理过程进行了详细的说明,并提供了大量的示意图供大家方便理解。
2023-01-12 19:38:55 25522 11
原创 满足你一切需求的 MMYOLO/MMDet 可视化 (一)
可视化在深度学习时代算是核心需求,借助可视化功能,研究者可以快速定位分析模型以及排查问题。在 OpenMMLab 2.0 时代,MMEngine 对常用的可视化需求进行了设计和实现,其具备如下功能:
2023-01-09 13:40:25 3402 5
原创 MMYOLO 自定义数据集从标注到部署保姆级教程
本文从零开始教你如何基于 MMYOLO 训练一个可部署的检测模型,提供了 11 个完整步骤。用户在面对自定义数据集时候也可以按照这个步骤来逐条确认检查。如果你对本文有任何好的建议,或者对 MMYOLO 有不同看法,欢迎留言反馈,或者直接联系微信小助手。
2023-01-04 19:27:01 2607
原创 PyTorch 2.0 之 Dynamo: 窥探加速背后的真相
PyTorch eager 模式极佳的编程体验让他在深度学习学术圈内几乎有了“一统天下”之势。但是相比于 trace 模式,eager 模式的缺点同样明显,即没有办法简单地通过代码获取模型的图结构,导致模型导出、算子融合优化、模型量化等工作变得异常困难。
2022-12-19 15:02:25 3362 1
原创 大比分领先!ACCV 2022 国际细粒度图像分析挑战赛冠军方案
在刚刚结束的 ACCV 2022 国际细粒度图像分析挑战赛中,我们团队在 **133** 支参赛队伍中脱颖而出,在 **Leadboard-B** 上以 2.5 的绝对优势取得冠军。
2022-12-13 22:05:38 1157
原创 自监督学习系列(四):基于蒸馏的图片掩码学习
(对比学习,图片掩码学习其实也可以归属于基于辅助任务的自监督学习,由于这两类是目前最流行的研究方向,所以我们在此进行这样的区分)。
2022-12-12 19:27:43 1148
原创 Python 基于参数类型提示的多分派
在日常代码的编写中使用多分派技术,可以**避免大量重复的类型判断语句,让代码更加简单易懂,不仅如此,还可以让代码拥有更加灵活的扩展能力。** 本文将给大家主要介绍在 Python 中基于参数类型提示的多分派机制,快一起来学习下吧~
2022-12-09 14:20:32 781
原创 PyTorch 2.0 重磅发布:一行代码提速 30%
在今天的 PyTorch 2022 开发者大会上,PyTorch 团队发布了一个新特性`torch.compile`,这个新特性将 PyTorch 的性能推向了新高度,并开始将 PyTorch 的部分实现从 C++ 中迁移到 Python 中。他们相信这是 PyTorch 一个实质性的新方向--因此称之为 **PyTorch 2.0**。`torch.compile` 是一个完全附加的(和可选的)功能,因此 **PyTorch 2.0 100% 向后兼容,** 因此基于 PyTorch 1.x 开发的项目
2022-12-03 14:19:19 3507 2
原创 知识蒸馏系列(一):三类基础蒸馏算法
知识蒸馏(Knowledge Distillation,简记为 KD)是一种经典的模型压缩方法,核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型(或多模型的 ensemble),在不改变学生模型结构的情况下提高其性能。
2022-11-30 10:52:25 2052 1
原创 DN-DETR: 把去噪训练引入到 DETR 中打辅助,从而加速收敛
本文介绍将为大家介绍一个目标检测模型 —— DN-DETR,其最大亮点是在训练过程中引入了去噪(DeNoising)任务,这也是 DN-DETR 取名之由来。该任务与原始 DETR 的匈牙利匹配过程是相互独立的,相当于是个 shortcut,“绕”过了后者。最终,DN-DETR 在 DAB-DETR 的基础上进一步加速了收敛,对于 COCO 数据集,仅用 12 个 epochs 就可以玩得很漂亮。
2022-11-27 21:53:04 694 1
原创 MMRotate 全面升级,新增 BoxType 设计
MMRotate 是一个基于 PyTorch 和 MMDetection 的开源旋转框目标检测工具箱。它将目标检测从水平框扩展到旋转框,为场景文字、遥感影像、自动驾驶等领域的应用打下了基础,为学术界和产业界提供了高效强大的基准模型。
2022-11-21 23:26:56 1067 1
原创 模型压缩算法库 MMRazor 全面升级,更灵活、更自动
MMRazor 是 OpenMMLab 开源项目里模型压缩领域的算法工具箱,目前支持了知识蒸馏、模型通道剪枝和模型结构搜索,模型量化部分正在开发中。
2022-11-18 22:40:20 1724 1
原创 MMPose 1.0:迈向更优雅、更强大的姿态估计研发和应用框架
MMPose 作为 OpenMMLab 系列中的姿态估计算法库,自 2020 年发布以来,经过 2 年的不断迭代打磨,已经成为姿态估计领域覆盖算法最多,功能最全的开源算法库之一。MMPose 的成长离不开来自社区同学的宝贵意见和热情帮助,每个 star 和 PR 都为 MMPose 注入了活力。同时,我们也欣喜地看到 MMPose 正成为越来越多顶会论文、项目产品背后的有力工具。
2022-11-14 16:55:56 992 1
原创 PyTorch1.13 亮点一览,TorchEval、MultiPy 、TorchSnapshot 新库大解读
近日,PyTorch 发布了 PyTorch 1.13 版本,本次新版发布主要包含以下亮点:
2022-11-07 14:44:09 1366
原创 MMEval:统一开放的跨框架算法评测库
OpenMMLab 是深度学习时代最完整的计算机视觉开源算法体系,目前已涵盖 30+ 研究领域,这些研究领域都有各自任务的评测指标。我们希望能够将这些评测指标统一起来,以更加易用和开放的方式服务于更多用户。因此,我们在 MMEngine 中的评测指标模块基础上,将原 OpenMMLab 各算法库的评测指标集成进来,开发了一个**统一开放的跨框架算法评测库:MMEval**
2022-11-02 23:49:27 287
原创 统一、灵活、全面,语义分割开源库 MMSegmentation 全面升级
MMSegmentation 是 OpenMMLab 开源项目里的语义分割领域的算法工具箱,它实现了许多高质量语义分割算法模型和数据集,也为语义分割任务提供了统一的框架和基准测试。
2022-10-31 21:13:01 1757
原创 简洁易用,更多算法,快来开箱新一代视频目标感知开源工具箱
MMTracking 是 OpenMMLab 生态面向视频物体感知的开源算法库,主要涵盖了计算机视觉领域丰富的视频物体感知任务,比如视频目标检测、多目标跟踪、视频实例分割、单目标跟踪。
2022-10-27 19:24:00 664
原创 MMDetection3D 1.1:统一易用的 3D 感知平台
自从两年前 MMDetection3D 发布以来,我们收到了很多用户的反馈,其中有不少有价值的建议,同时也有很多吐槽(当然我们非常欢迎大家来吐槽),也有很多社区用户参与到我们代码库的完善中,我们也非常高兴地看到越来越多的自动驾驶团队将 MMDetection3D 用在实际业务中,越来越多的研究人员用 MMDetection3D 做研究发 paper ,而这次发布的 MMDetection3D 1.1 则是我们尝试探索下一代 3D 通用感知的第一步。
2022-10-26 11:57:49 1429
原创 社区协作,简洁易用,快来开箱新一代 YOLO 系列开源库
MMYOLO 致力于在复现诸多 YOLO 算法的基础上,提供公平统一的算法评测流程,支持多任务易扩展的高效训练推理引擎,提供丰富的从入门到进阶的教程文档,我们希望将其打造成 YOLO 系列核心热门开源库以及工业应用核心库。
2022-10-24 09:37:45 1932 1
原创 MMDet 3.0:目标检测新基准与前沿
** 基于全新的训练引擎 MMEngine,MMDetection 3.0 和其它 OpenMMLab 2.0 的算法库彻底拉通了底层设计,并采用了统一的细粒度抽象与接口,使得训练流程更加灵活,架构更具扩展性。在此基础上,MMDetection 3.0 对模型的各个组件接口也进行了重构和简化,以支撑更加丰富的检测算法和下游应用。MMDetection 3.0 的运行速度和基准精度也得到了进一步优化,达到了现有框架的最优水平。另外,我们还研发了高精度模型 RTMDet,并和热情的社区开发者一起合作,开发了 M
2022-10-21 10:04:06 2681 1
原创 可扩展易配置,快来揭秘新一代自监督学习开源框架
2022 年 9 月,我们发布了MMSelfSup v1.0.0rc,全面升级了架构设计,适配全新的 OpenMMLab 2.0 体系。我们接下来将从**升级架构设计,算法库新特性**两个方面,对全新升级的 MMSelfSup 1.0 进行介绍。
2022-10-19 18:08:48 979
原创 更多模型,更强功能,快来开箱新一代图像分类开源框架
我们接下来将从 全新架构设计,更完善的功能,更丰富的算法库,更易用的模型部署四个方面,对全新升级的 MMClassification 1.0 进行介绍。
2022-10-17 09:41:21 1428 6
原创 MMCV 全新升级,新增超全数据变换功能,还有两大变化
我们知道,MMCV 包含两个版本,一个是 mmcv,一个是 mmcv-lite,前者包含所有的特性以及丰富的开箱即用的 CUDA 算子,后者不包含 CUDA 算子但包含其余所有特性和功能。我们曾做过一份问卷调查,其中的一个问题是“你使用 OpenMMLab 项目遇到的最大困难是什么”,绝大多数的社区用户给出的回答都是安装问题。除了常用的数据变换类和数据流水线,数据变换模块还提供了四个特殊的数据变换类,它们本身并不操作数据字典中的图像、标签等信息,而是对其中定义的数据变换的行为进行增强。
2022-10-12 09:51:05 3236 2
原创 从 MMCV 到 MMEngine,架构升级,体验升级!
MMCV 作为深度学习基础框架的先驱,一经开源就受到了社区同学的广泛关注。然而随着深度学习任务的需求变得越来越多样化,MMCV 早期的架构设计也开始难以满足日益复杂的需求。因此 OpenMMLab 2.0 发布了新一代训练架构 MMEngine,以统一的执行引擎,灵活支持了 20 个以上的计算机视觉任务。
2022-10-10 18:37:53 1948
原创 与社区共建,MMYOLO 全新开源!直播亮点抢先看
我们基于 MMDetection V3.0 开源了全新算法库 —— MMYOLO,回应社区广泛的呼声。
2022-09-21 22:43:22 1130
原创 OpenMMLab 2.0:新架构、新算法、新生态
OpenMMLab 2.0 浦视视觉算法体系正式亮相,展示了新架构、新算法、新生态,迎来开源后最大版本升级
2022-09-17 15:57:39 333
转载 “OpenXLab浦源”人工智能开源开放体系发布,九大项目共建生态 | WAIC 2022
上海人工智能实验室在WAIC 2022科学前沿全体会议发布“OpenXLab浦源”人工智能开源开放体系。
2022-09-02 23:39:59 485
原创 数据增强神器 SimpleCopyPaste 支持全流程
SimpleCopyPaste 数据增强是谷歌在 2021 年 1 月提出的一种实例分割的数据增强方法,它通过在训练过程中直接将一张图片中的实例简单地复制粘贴到另外一张图片中得到新的训练样本,创造出了场景更加复杂的新数据以显著提升全监督和半监督方式训练的实例分割模型的性能。 ............
2022-08-31 19:18:13 3265
原创 图像超分经典网络 SRGAN 解析 ~ 如何把 GAN 运用在其他视觉任务上
GAN 不仅能生成图片,还能运用在其他视觉任务上图像超分 SRGAN 解析,教你把 GAN 运用在其他视觉任务上
2022-08-24 19:11:55 1561
原创 模型部署入门教程(八):如何添加 TensorRT 自定义算子
本篇教程我们主要讲述如何在 MMDeploy 代码库中添加一个自定义的 TensorRT 插件,整个过程不涉及太多更复杂的 CUDA 编程,相信小伙伴们学完可以自己实现想要的插件
2022-08-19 18:06:26 3356
原创 重点已划好!OpenMMLab 7 月动态一览
OpenMMLab 7 月月刊新鲜出炉!我们有 7个算法库更新了版本。详细功能支持细节可以继续翻阅以下内容查看哦~!
2022-08-12 18:16:52 853
原创 Depth from Motion:探索突破纯视觉 3D 检测瓶颈
当我们说单张图像估计深度本身是一件“不靠谱”的事情时,什么是“靠谱”的呢?为什么单张图像估计“不靠谱”,多张图像就“靠谱”了呢?而什么样的多张图像又会更“靠谱”一点呢?这篇文章将在纯视觉 3D 检测的任务语境下,针对自运动估计深度这一问题展开介绍,阐释利用多视角几何估计深度的合理性和有效性,讨论这一支持性原理为之后纯视觉 3D 感知提供的全新可能性。...
2022-08-11 18:20:32 1430
原创 写给 MMSegmentation 工具箱新手的避坑指南
社区小伙伴在 Windows 环境使用 MMClassification 和 MMDetection 都轻轻松松的,但在走完 MMSegmentation 全流程之后,却感叹“踩了不少坑”?这是怎么回事呢?他把自己的遇坑经验凝练总结出来,写下了这篇专门给新手无伤通关的避坑教程。感谢他的分享,我们快来一起学习下吧~......
2022-08-11 15:17:35 2112 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人