- 博客(743)
- 收藏
- 关注
RSS订阅原创 MindSpore AI科学计算系列 | 昇思MindSpore复数分布式并行实现探究
背景分布式训练是一种在人工智能领域中常用的方法，是将大型模型的训练过程分散到多个计算设备（如CPU、GPU 或华为 NPU）上，用于训练大规模的深度学习模型。随着数据量的增加，单个计算节点可能难以处理庞大的数据量，并且需要更快的训练速度，这导致分布式成为了训练大模型中至关重要的一环。昇思MindSpore中的AI科学计算子模块MindScience ，正在众多科学领域中发挥着重要的应用。从API角度来看，在AI科学计算中，涉及到一些独特的Numpy或Scipy库中的算子，如线性代数、快速傅里叶变换、插值等相
2024-04-12 11:40:30
569
原创 课程回顾 | 昇思MindSpore AI框架师资培训杭州站
其中，来自北京理工大学、同济大学、武汉大学、湖南大学、西安交通大学、中国科学技术大学、山东大学等，40所知名高校的61位教师参与了《MindSpore深度学习》课程，共同讨论昇思MindSpore在计算机视觉、自然语言处理、大模型领域课程的融合，课程反响热烈，老师们对昇思MindSpore的易用性提升和课程质量高度评价。并且，汤斯亮教授分享他自身的实践心得，强调了人工智能为高校的教学提供算力、框架支持的重要性，实现产教研的相互促进与深度融合的目标。昇思MindSpore技术专家邢译壬。
2024-04-12 11:39:38
279
原创 华为ICT大赛2023-2024中国总决赛圆满落幕，昇思MindSpore开发者参赛成绩斐然
来自西北工业大学的学生苏萌是本次创新赛中国总决赛特等奖获奖团队智慧医心的成员，他告诉记者，通过参加本次大赛，他看到了许多优秀项目，同时也增进了对前沿技术及行业的了解，有助于自己后续课题研究的开展与毕业论文的设计。在完成项目的过程中，我们的实践能力也在不断增强。3月31日，华为ICT大赛2023-2024中国总决赛颁奖典礼在厦门大学召开，历时半年，从省赛到国家赛，来自1700多个院校的队伍同台竞技，各显风采，经过激烈角逐，最终实践赛和创新赛共有70支队伍摘得本届大赛桂冠，从而晋级全球总决赛。
2024-04-12 11:38:28
311
原创 业界SOTA！基于昇思MindSpore的大地电磁智能反演模型首开源，助力地球物理勘探加速智能化
大地电磁智能反演模型基于高效易用的昇思MindSpore融合框架，实现了SOTA的结果。昇思大地电磁智能反演模型开源路径https://gitee.com/mindspore/mindscience/tree/master/MindElec/examples/hybrid_driven/feature_based_MT_inversion。下图3中目标电阻率分布（第一列）与传统大地电磁反演（第二列）、大地电磁智能反演（第三列），可以看出大地电磁智能反演相比传统反演精度。此外，大地电磁智能反演模型还在。
2024-04-12 11:37:42
382
原创 “智能基座昇腾高校行”中南大学站 | 昇思MindSpore带最新AI领域前沿趋势入校园
中南大学计算机学院副院长夏佳志，昇腾AI开发者生态总监李基盛，MindStudio软件开发工程师龚思维，昇思MindSpore Quantum布道师、武汉大学博士谢晴兴，华为计算产品线HR李春梅与同学们齐聚一堂，就众多热门技术议题展开交流探讨。今后，华为将与更多高校携手，以“智能基座”项目为依托，继续推动昇腾高校行走入更多校园，以产业和技术发展的最新需求推动高校教育改革，帮助高校学生高质量就业，培养能够适应、引领新一轮科技革命和产业变革的卓越工程人才。生动精彩的演讲激发了同学们投身行业的信心。
2024-04-12 11:37:02
342
原创 第六届·2024 MindSpore 量子计算黑客松正式开启报名，以赛促学，勇攀量子世界的高峰！
近年来，量子科技发展突飞猛进，成为新一轮科技革命和产业变革的前沿领域。加快发展量子科技，对促进高质量发展、提升国家科研实力具有重要作用。因此，加快培养一批量子科技领域的高精尖人才，是推进量子计算发展的重要因素。本次大赛由量子信息网络产业联盟主办，昇思MindSpore Quantum SIG承办，多所高校和单位联合协办。选手可自行组队，每支团队最多3人报名，指导老师1人（可选）。大赛重要节点通知会在群内第一时间告知，请所有报名选手务必加群。对量子计算感兴趣，具备基本Python编程能力的。
2024-04-12 11:36:07
404
原创 【昇思MindSpore技术公开课】第十二讲 Prompt engineering 课程回顾
定人设：我们可以给大模型预设定一个人设，假设它是某个相对应场景非常专业的人士，这样子可以使得输出的结果更加的精确。做强调：我们可以突出我们重点所需要的地方，对一些我们希望固定输出的内容进行强调，或者将一些细节进行输入。给出字数限制，要点列举，文章结构，如标题分级，还有押韵比喻等手法，让输出的内容更符合预期。追问细节：目前大多数模型都有长记忆的回答功能，我们可以根据它的回答去在细节上进行询问。涉及传递给语言模型，以实现所需任务的指令和上下文，驱动大模型进行图文表达的文本描述。语言对话和文生图两种常见类别。
2024-04-12 11:34:52
400
原创 快来获取你的“知音”——MusicGen in MindSpore NLP
与传统方法不同，MusicGen采用单个stage的Transformer LM结合高效的token交织模式，取消了多层级的多个模型结构，例如分层或上采样，这使得MusicGen能够生成单声道和立体声的高质量音乐样本，同时提供更好的生成输出控制。MusicGen提供了small、medium和big三种规格的预训练权重文件，本次指南默认使用small规格的权重，生成的音频质量较低，但是生成的速度是最快的。文本提示生成：通过文本指定生成音乐的风格，如：生成一段80s的朋克风音乐，需要有很密集的鼓点。
2024-04-12 11:34:21
829
原创 火热报名中|全国高等学校计算机类课程能力提升高级研修班（2024年第三期 武汉站）
全国高校计算机类课程能力提升高级研修班第三期“MindSpore大模型训推微调实践”课程，将于4月20日-4月21日在华为武汉研究所开课。两位资深教授参与课程教研工作严把教学质量关，国家级教学名师、国家“万人计划”领军人才，教育部高等学校计算机类专业教学指导委员会副主任委员，北京工业大学蒋宗礼教授；
2024-04-12 11:33:48
185
原创 昇思MindSpore 2.3全新发布 | 昇思人工智能框架峰会2024圆满举办
华为于2020年3月开源昇思MindSpore AI框架，开源后获得国内外开发者的积极响应，访问量数千万，超过687万下载安装使用，在码云千万开源项目中综合排名第一，服务企业数量超过5500家，合作高校360所。中国工程院院士、中国人工智能学会副理事长何友在致辞中表示：“中国人工智能学会与昇思MindSpore紧密合作携手鹏城实验室、昇思MindSpore开展学术基金2.0项目，加速推动基于昇思的原生学术创新及论文成果发表发挥学术的人才的原生力，结合昇思的技术原创力，以学术创新支撑人工智能产业繁荣。
2024-03-28 16:50:24
431
原创 “津”彩无限，昇腾AI开发者创享日·天津站圆满举办
活动现场，天津市河北区区委副书记杨君毅，华为昇腾计算业务总裁张迪煊为活动致辞；为加速科研成果落地、孵化行业创新解决方案，天津市人工智能计算中心联合海河·岐伯大模型、海河·优医大模型、菲凡工业垂类大模型、海河·天眼大模型、医疗影像质控大模型、DATGS社科大模型、南开保险精算大模型、影易大模型、分子智芯大模型，现场举办了发布仪式，天津科研力量雄厚，具备完善的工业体系，人工智能应用场景丰富，能够助推构建开放创新的昇腾人工智能产业生态，服务天津各行各业智能化升级，为天津开拓新产业、新方向，实现产业跨越式发展。
2024-03-28 16:49:50
923
原创 免费算力限时送，昇思MindSpore开源社区助力书生·浦语大模型实战营明日开课！
在首期书生·浦语实战营的学习、实训过程中，同学们不仅积极学习，同时针对时下热点、大模型落地应用等方面进行了积极且热烈的讨论。”，鼓励大家将实战营活动分享给你身边有需要的小伙伴，让每一位热爱技术的朋友都能在这个复杂的信息环境中找到自己的航向，帮助他们在大模型的学习之路上少走弯路。，旨在为开发者们提供全面而系统的大模型技术学习课程，并建立一个友好的交流平台，便于大家在大模型实践开发中分享经验、交流思想。（仅限前 10 名！各具特色的大模型应用，从实践中体验学习、创新和成长，真正地吃透了大模型的全链路。
2024-03-28 16:48:15
311
原创 昇腾AI开发者故事—— AI的探索之旅，永不停歇
他使用双阶段多分支网络架构，基于YOLO、CRNN模型来分别解析车牌边界信息、识别车牌内容信息，这样一来，能够将图像中的车辆进行准确检测和识别，并使用无锚框的YOLO算法来进行准确的车牌区域划定，根据之前开发学习的案例，编写推理脚本，完成了他AI探索道路上第一个完整的项目。在昇腾AI与实验室的会议讨论上，陈铎晟说道，“这项应用能让系统更准确地识别和跟踪车辆信息，在车牌检测识别的速度、推理的准确率上有了极大的提高，提高车辆管理的效率，为智能化港口贡献了一份自己的力量”。AI的探索之旅，永不停歇。
2024-03-28 16:47:27
383
原创 【昇思MindSpore技术公开课】第十二讲 Prompt Engineering课程预告
Prompt Engineering（提示工程）可帮助用户将LLM（大语言模型）用于各研究领域和特定场景，从而更有助于我们了解和运用大模型，本期我们将学习这一新课题。技术公开课十二讲·Prompt Engineering时间变更到本周日（3月31日）进行，请各位同学周日下午14点前往昇思MindSpore官方直播间听讲啦！未报名的小伙伴抓紧时间扫描下方二维码参与课程，并同步加入课程群，有免费丰富的课程资源在等着你。本周日下午14点，【MindSpore官方】B站直播间不见不散!
2024-03-28 16:46:10
219
原创 华为诺亚方舟实验室提出GhostNetV2，端侧小模型性能新SOTA
为了处理具有不同分辨率的输入图像，卷积核的大小也可以与特征图的大小解耦，即使用大小为1×K_H 和 K_W×1 的两个depthwise卷积作用到于输入特征上。为了减小DFC attention模块所消耗的计算量，本文对DFC这条支路上的特征进行下采样，在更小的特征图上执行一系列变换。尽管目前主流的局部注意力模块（将图像切分为多个区域，在每个区域内分别部署注意力模块）降低了理论复杂度，但图像切分需要大量变换张量形状的操作（比如reshape、transpose等），在端侧设备上会产生很高的时延。
2024-03-22 17:03:10
883
原创 卷积结构的反击，纯卷积Query-Based检测器DECO超越DETR
我们这个工作探究的就是如何利用纯卷积的架构，来得到一个性能能打的类DETR框架的检测器。文章中DECO的结构进行了很多的消融实验及可视化，包括在Decoder中选用的具体融合策略（相加、点乘、Concat），以及Query的维度怎么设置才有最优的效果等，也有一些比较有趣的发现，更详细的结果和讨论请参看原文。我们也把搭配了多尺度特征后的DECO跟更多目标检测方法进行了对比，其中包括了很多DETR的变体，从下图中可以看到，DECO取得了很不错的效果，比很多以前的检测器都取得了更好的性能。
2024-03-22 17:01:43
787
原创 不一样的视听体验，一切尽在昇思开发者嘉年华
，将于2024年3月22日(星期五)在北京国家会议中心举办。本次峰会不仅有干货满满的主题演讲和6场专题论坛，更有昇思MindSpore开源四周年生日会，携手开发者畅聊互动！由昇思MindSpore开源社区等开源组织联合主办的【接下来跟着小编一起抢先观看“
2024-03-22 16:59:48
177
原创 6大专题论坛同步官网直播，就在「昇思人工智能框架峰会2024」
昇思人工智能框架峰会2024」将于2024年3月22日在北京国家会议中心召开。本次峰会不仅有干货满满的主题演讲，还有6场精彩纷呈的专题论坛。距大会召开倒计时1天，敬请关注！关注MindSpore公众号，点击“阅读原文”立即报名！
2024-03-22 16:58:59
144
原创 书生·浦语大模型实战营第二期正式启动，内容全面升级！
在首期书生·浦语实战营的学习、实训过程中，同学们不仅积极学习，同时针对时下热点、大模型落地应用等方面进行了积极且热烈的讨论。”，鼓励大家将实战营活动分享给你身边有需要的小伙伴，让每一位热爱技术的朋友都能在这个复杂的信息环境中找到自己的航向，帮助他们在大模型的学习之路上少走弯路。，旨在为开发者们提供全面而系统的大模型技术学习课程，并建立一个友好的交流平台，便于大家在大模型实践开发中分享经验、交流思想。（仅限前 10 名！各具特色的大模型应用，从实践中体验学习、创新和成长，真正地吃透了大模型的全链路。
2024-03-22 16:58:03
777
原创 论文精讲 | 基于昇思MindSpore评测的FLAG3D——自然语言引导的三维健身动作数据集
博士现为清华大学深圳国际研究生院助理教授、特别研究员、博士生导师，主要从事人工智能与计算机视觉等领域的相关工作，在国际权威期刊和会议上发表论文30余篇，其中以第一/通讯作者发表TPAMI等IEEE汇刊论文和CVPR等CCF A会议论文20余篇，谷歌学术引用1800余次，获2022年国际权威会议ECCV长视频实例分割赛道冠军，主持国家重点研发计划课题、国家自然科学基金青年科学基金等国家级项目，以及中国人工智能学会-昇思MindSpore学术奖励基金、中国计算机学会-腾讯犀牛鸟等校企联合项目。
2024-03-15 16:58:47
902
原创 MindSpore AI科学计算系列 | 三维形状表征
一个很朴素的想法，就是参考二维的图像中像素点的概念，将三维外形表示为一个个三维像素，这样在三维空间中，就可以像二维图像一样，采用卷积来处理，但是缺点也很明显，这种表达的效率非常低，我们主要关注的是物体表面，但是我们需要同时处理物体的内部和外部的信息，这些信息是大量冗余的，尤其是我们需要对物体进行非常精细化描述的时候，网格会打得很细，导致占据的存储空间大大增加。那就是点云了，点云是物体表面无序点的集合，可以同时表示物体局部和整体的形状信息，另外，点云的数据非常容易获取，可以通过扫描、采样等方式直接得到。
2024-03-15 16:57:18
812
原创 华为诺亚方舟实验室提出LocalMIM，局部重构自监督预训练3倍加速MAE
我们发现，即便没有全局的反向传播梯度只使用局部的监督梯度也能很好的指导主干网络每层的表征学习，这一方面展现了我们引入的局部监督任务的优越性，另一方面也展现了神经网络解耦训练的可能性。为此，我们不妨从原始输入中构造多尺度的监督信号（选择不同的p）来分别用于多个局部层的重构，令较低层重构细尺度的监督信号而较高层重构粗尺度的监督信号。除此之外，我们还做了一个有趣的实验，在训练过程中对选择的层进行梯度截断，即每阶段的参数只能接收来自该阶段重构任务的反传梯度，接收不到来自更高层的梯度，其结果如表4所示。
2024-03-15 16:56:45
746
原创 玩转大模型之学习笔记 | Transformer，一个神奇的算法模型
我的研究方向是显著性目标检测，毕业论文方向是基于Transformer的显著性目标检测研究，随着Transformer机制在自然语言方向逐渐取得巨大突破，有很多学者都把目光投向了计算机视觉方向，显然Transformer在计算机视觉方向也有巨大进展，带着这样的学习目的，我参加了昇思MindSpore技术公开课，希望对Transformer有一个更加深刻而全面的认识，可以更好地开展我的毕业设计。注意力机制的基本思想是在处理输入序列时，不同位置的信息被赋予不同的权重，以便网络更集中地关注对当前任务有用的部分。
2024-03-15 16:56:00
946
原创 一天适配Gemma，MindNLP凭什么紧追开源SOTA？
从框架用户的角度出发，易用性和性能一直都是不能两全的trade-off，但是仔细分析可以发现，大家要的灵活性，全部都集中在蓝色部分，也就是正向执行，而反向传播由于不可见，可以选择不同的方案。熟悉AI领域的同学都知道，现在主要的AI研发还是依托GPU+友商框架路线，国产框架和国产硬件对SOTA模型的快速适配，是大家是否会选择使用的核心痛点，能够紧追SOTA，才有机会弯道超车。动态图的适应是真的舒适，但是只有动态图可能永远只能做小弟，这时候，自上而下的设计，还是要全面为真正的用户着想。
2024-03-15 16:55:02
829
原创 华为诺亚方舟实验室提出GhostNetV2，端侧小模型性能新SOTA
为了处理具有不同分辨率的输入图像，卷积核的大小也可以与特征图的大小解耦，即使用大小为1×K_H 和 K_W×1 的两个depthwise卷积作用到于输入特征上。为了减小DFC attention模块所消耗的计算量，本文对DFC这条支路上的特征进行下采样，在更小的特征图上执行一系列变换。尽管目前主流的局部注意力模块（将图像切分为多个区域，在每个区域内分别部署注意力模块）降低了理论复杂度，但图像切分需要大量变换张量形状的操作（比如reshape、transpose等），在端侧设备上会产生很高的时延。
2024-03-15 16:54:20
844
原创 【昇思MindSpore技术公开课】第十一讲 PEFT课程预告
我们在深度学习研究中遇到了各种大型预训练模型，如GPT、BERT等，不可否认这些模型在自然语言处理任务中取得了优异表现，但是高昂的训练成本和巨大的数据量一直是它的通病，因此有一项新的技术Parameter-Efficient Fine-Tuning (PEFT)诞生了。本期课程将带大家一起学习PEFT的方法介绍和具体用法，重点讲解常用的PEFT方法，并用示例进行演示说明，昇思MindSpore技术公开课与你一同探究前沿技术。昇思MindSpore公开课大模型专题第二季课程火爆来袭！
2024-03-15 16:53:40
318
原创 论文精讲 | 基于昇思的联合矫正与细化平衡低光照图像增强
针对实际应用场景中存在的极端环境（如夜间等低光照场景）情况下的低光照图像增强问题，本文提出了一种联合矫正与细化的网络的平衡低光照图像增强网络JCRNet，以更有效地解决亮度、色彩和照明之间的平衡问题，对图像进行增强并提供更全面的细节。此外，如果不关注图像的颜色，增强后的图像将表现出暗淡的颜色和光晕等失真效果。在其他指标中可以观察到类似的收益。因此，虽然现有的低光照图像增强技术已经取得了一定的效果，但在实际应用中仍然需要考虑增强时亮度、颜色和曝光的平衡问题，否则会严重影响人类的视觉感知和高级视觉模型的性能。
2024-03-06 11:22:46
354
原创 MindSpore Quantum 系列教程16 | 含噪声量子线路的使用和模拟
accepter()：返回一个由函数构成的列表，称为接受规则集，其中每个接受规则函数的输入都是一个量子门，当函数返回值为 True 时表示我们可以在该量子门后添加信道。_excluder()：返回一个由函数构成的列表，称为拒绝规则集，其中每个拒绝规则函数的输入都是一个量子门，当函数返回值为 True 时表示我们拒绝在该量子门后添加信道。_handler(BasicGate)：输入一个量子门，返回一段量子线路，表示在输入量子门后添加一段自定义的信道。
2024-03-06 11:21:18
398
原创 从0开始大模型学习—— GPT2: Zero Shot的崛起
截断的方案有很多，不同的截断方案训练出来的效果可能有差异，要更好地权衡需要保留的信息，例如本课程里做的是一个summarize的任务，所以采取的方案是保留所有的summary数据，而去截断原文的数据。感觉课程理论部分和代码部分有一点割裂，可以尝试把GPT2的一些新用的技术实现到代码里，使用稍简单点的方式也可以，比如理论讲到的GPT2的两个关键技术，是怎么把prompt的信息融入到训练中的，感觉现在的代码内容没有特别体现出来GPT2的特性，当然也有可能这节课的代码重点是怎么对模型做预训练。
2024-03-06 11:20:16
391
原创 MindSpore AI科学计算系列 | MeshGPT显著提升三维几何表示的质量
残差量化应用了残差的思想，将原先的一层码本映射变成很多层映射，可以理解是用一个共享的码本去将原先的下采样的一个数值矩阵变成一个深度为D的向量矩阵，那么每个矩阵（i，j）位置对应的内容就成为了一个D维的向量，其中每个维度代表了一个残差层的结果。具体地，GraphSAGE的SAGE Conv Layer将节点自身的属性特征与采样的邻居节点特征分别做一次线性变换（也就是乘一个W参数矩阵，一般还会加个relu激活增强表示），然后将两者连接起来，再进行一次线性变换得到目标节点的特征表示，如图2所示。
2024-03-06 11:19:33
339
原创 华为诺亚方舟实验室提出Gold-YOLO，聚集-分发机制打造新SOTA，已在昇思社区开源
当前YOLO系列模型通常采用类FPN方法进行信息融合，而这一结构在融合跨层信息时存在信息损失的问题。该机制通过在全局上融合不同层次的特征得到全局信息，并将全局信息注入到不同层级的特征中，实现了高效的信息交互和融合。在检测模型中，通常先经过Backbone提取得到一系列不同层级的特征，FPN利用了Backbone的这一特点，构建了相应的融合结构：不同层级的特征包含着不同大小物体的位置信息，虽然这些特征包含的信息不同，但这些特征在相互融合后能够互相弥补彼此缺失的信息，增强每一层级信息的丰富程度，提升网络性能。
2024-03-06 11:17:46
369
原创 论文精讲 | 基于昇思MindSpore的加速对抗训练算法，可显著减少训练时间
昇思MindSpore已支持上千篇AI顶会论文，走入290+所高校进行教学，通过HMS在5000+App上商用，拥有数量众多的开发者，在AI计算中心、智能制造、金融、云、无线、数通、能源、消费者1+8+N、智能汽车等端边云车全场景广泛应用，是Gitee指数最高的开源软件。本算法在生成对抗样本的过程中，利用损失函数作为引导，自动地控制每一个训练实例在不同训练阶段的梯度传播次数，在保证模型性能的前提下，有效地减少了计算量。然而，现有对抗训练算法在生成对抗样本的过程中需要大量的计算资源，导致模型训练效率较差。
2024-03-06 11:12:56
356
原创 MindSpore AI科学计算系列 | 生成扩散模型DiffDock显著提升分子对接准确率
所得结果和最佳的基于搜索的分子对接方法SMINA，QuickVina-W，GLIDE，GNINA以及更老的Autodock Vina进行了对比，也和最近的一些基于深度学习的分子对接方法如EquiBind和TANKBind等对比。为获得信心模型d(x, y)的训练数据，作者先运行训练好的扩散模型，为每个训练的样例获得一系列的候选位姿，并生成检测候选位姿的均方根偏差（RMSD）是否小于2Å的T/F标签。另外，作者定义了从一个流形到另一个“更好的”流形的一对一映射（变换），其中的扩散kernel可以被直接采样。
2024-03-06 11:11:49
416
原创 MindSpore Quantum量子计算深圳聚会 诚邀您参加，名额有限，在校学生优先，速来报名！
等内容，诚邀各位老师和学生莅临现场，一起深入交流和探讨最前沿的量子技术，感受课堂以外的量子编程体验和乐趣！o 如果你是一位对开源社区充满热情的开发者，我们会帮你完成第一个社区PR的提交。o 如果你是一位想要接触量子计算的极客，我们给你提供软硬结合的必备知识。o 如果你是一位关注最新技术的量子爱好者，我们带你了解前沿的技术成果。在南方科技大学举行。
2024-03-06 11:11:09
367
原创 基于昇腾AI | 阿凡达机器人携手各高校，推进人工智能教育方式变革
作为AI教育的领航者，阿凡达机器人专注于教育行业，并持续优化人工智能教育教学产品，以先进的智能技术面向新一代信息技术专业群，与学校开展深度合作，为学校提供对接产业发展的实践教学专业解决方案，为教育赋能。近日，南京阿凡达机器人科技有限公司的“学科教育大模型综合实验平台”完成昇腾技术认证。工欲善其事必先利其器。研讨班采用“兴趣-体验-实践-协作”相结合的形式，以大模型实验平台为锚点，激发学生对生成式人工智能产品的兴趣，加深学生对大模型，尤其是以昇腾AI为基础的自主创新的大模型技术的理解。百年大计，教育为本。
2024-03-06 11:10:13
417
原创 论文精讲 | 基于昇思MindSpore评测的FLAG3D——自然语言引导的三维健身动作数据集
博士现为清华大学深圳国际研究生院助理教授、特别研究员、博士生导师，主要从事人工智能与计算机视觉等领域的相关工作，在国际权威期刊和会议上发表论文30余篇，其中以第一/通讯作者发表TPAMI等IEEE汇刊论文和CVPR等CCF A会议论文20余篇，谷歌学术引用1800余次，获2022年国际权威会议ECCV长视频实例分割赛道冠军，主持国家重点研发计划课题、国家自然科学基金青年科学基金等国家级项目，以及中国人工智能学会-昇思MindSpore学术奖励基金、中国计算机学会-腾讯犀牛鸟等校企联合项目。
2024-03-06 11:08:51
363
原创 【昇思MindSpore技术公开课】第十讲 MoE 课程回顾
1）MoE并行：将不同的专家切分到不同的卡上，由于MoE的路由机制，需要使用AllToAll通信，将token发送到正确的卡上。MoE结构和普通的Dense模型的差异在于，其需要额外的AllToAll通信，来实现数据的路由(Gating)和结果的回收。2）优化器异构：大模型训练常使用的adam系列优化器，其占用的内存往往是模型参数本身的2倍或以上，可以将优化器状态存储在Host内存上。Experts的输出是稀疏的，只有部分的Experts的权重> 0，其余=0的Expert直接不参与计算。
2024-03-06 11:06:13
339
原创 任意模型都能蒸馏，异构模型的知识蒸馏方法OFAKD已在昇思MindSpore开源
本文研究了异构模型之间的知识蒸馏方法，通过将学生模型中间层特征映射到logits空间来拟合教师模型最终输出，并使用在原始知识蒸馏损失函数基础上改进而来的自适应目标信息增强损失，提出的OFAKD方法在多种数据集和教师学生模型组合上实现了对现有方法的超越，扩展了知识蒸馏的应用范围。然而在异构模型的情况下，由于不同架构模型对特征的不同学习偏好，它们的中间层特征往往具有较大的差异，直接将针对同架构模型涉及的蒸馏方法迁移到异构模型会导致性能下降。最后，本文比较了文首提到的MLP作为学生模型时的蒸馏结果。
2024-02-07 15:58:17
916
原创 论文精讲 | 基于昇思MindSpore片段级异常注意力的弱监督视频异常检测
昇思MindSpore已支持上千篇AI顶会论文，走入290+高校进行教学，通过HMS在5000+App上商用，拥有数量众多的开发者，在AI计算中心、智能制造、金融、云、无线、数通、能源、消费者1+8+N、智能汽车等端边云车全场景广泛应用，是Gitee指数最高的开源软件。时间嵌入单元对特征进行编码，聚合上下文信息，异常注意力单元专注于生成片段级别的异常注意力，最后多分支监督模块借助异常注意力，挖掘视频中的弱异常信息，并结合本文提出的优化训练策略，最终实现了异常完整性的建模和行为的有效检测。
2024-02-07 15:57:39
956
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人