- 博客(4524)
- 收藏
- 关注
RSS订阅转载 CVPR 2024 | 多模态合作学习的新视角：样本级模态的评估与协同
©作者 |卫雅珂单位 |人大高瓴GeWu-Lab论文题目：Enhancing Multimodal Cooperation via Sample-level Modality Valuation论文链接：https://arxiv.org/pdf/2309.06255代码链接：https://github.com/GeWu-Lab/Valuate-and-Enhance-Multimodal-...
2024-05-10 20:17:28
3
原创 以蒸馏的名义：“从去噪自编码器到生成模型”重出江湖
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络今天我们分享一下论文《Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation》[1]，顾名思义，这是一篇探讨如何更快更好地蒸...
2024-05-10 20:17:28
488
转载 深圳内推 | 腾讯AI Lab招聘3D人体动作感知和生成方向实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！腾讯AI Lab腾讯 AI Lab是腾讯的企业级 AI 实验室，于 2016 年 4 月在深圳成立，团队由 100 余位来自世界知名院校的科学家，以及 300 多位经验丰富的应用工程师组成，并与世界顶级院校与机构合作，共同打造产学研用一体的 AI 生态。借助腾讯丰富应用场景、...
2024-05-10 20:17:28
7
转载 RAG还是微调？万字长文总结大模型微调技能图谱
随着大模型的飞速发展，在短短一年间就有了大幅度的技术迭代更新，从LoRA、QLoRA、AdaLoRa、ZeroQuant、Flash Attention、KTO、PPO、DPO、蒸馏技术到模型增量学习、数据处理、开源模型的理解等，几乎每天都有新的发展。我们总结了算法工程师需要掌握的大模型微调技能，并制作了大模型微调技能图谱，希望可以帮助大家将知识体系梳理清楚，为未来在大模型的工作与科研道路上节省时...
2024-05-09 13:10:29
7
转载 博后招募 | 浙江大学智能生物医用大分子实验室招收AI4Science方向博后/RA
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！浙江大学浙江大学生物医用大分子研究所计剑教授课题组主要从事生物医用界面材料和植介入医用材料的医工信交叉前沿研究。先后承担国家重点研发计划项目2项、自然科学基金重点项目3项以及国家自然科学基金杰出青年基金。从宏观和微观两个层次，建立了复杂生命体系中实现高选择性生物医用界面的新方法...
2024-05-09 13:10:29
35
转载 ICLR 2024 | 冻结住的CLIP仍可作为教师模型！港大提出全新开集动作识别模型
©作者 |虎子哥单位 |香港大学论文标题：FROSTER: Frozen CLIP is A Strong Teacher for Open-Vocabulary Action Recognition论文链接：https://arxiv.org/pdf/2402.03241代码链接：https://github.com/Visual-AI/FROSTER背景介绍本文的研究课题是开集动作识别（o...
2024-05-09 13:10:29
6
转载 爆火后反转！「一夜干掉MLP」的KAN只是一个普通的MLP？
©作者 |蛋酱、张倩来源 |机器之心KAN 作者：我想传达的信息不是「KAN 很棒」，而是「尝试批判性地思考当前的架构，并寻求从根本上不同的替代方案，这些方案可以完成有趣、有用的事情。」多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLP 的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非线性函数的默认方法。但是最近，来自 MIT 等机构的研究者提...
2024-05-09 13:10:29
8
转载 LLM综述出书了！人大高瓴赵鑫老师组发布全新大语言模型中文书
在2023年3月，我们发表了大语言模型综述文章《A Survey of Large Language Models》。这篇综述文章已经更新到第13个版本，包含了83页的正文内容，并收录了900余篇参考文献。该综述文章旨在系统地梳理大语言模型的研究进展与核心技术，讨论了大量的相关工作。自大语言模型综述的预印本上线以来，受到了不少读者的关注。自英文综述文章上线后，陆续有读者询问是否有对应的中文版本。为...
2024-05-08 13:34:43
26
转载 大模型中文微调最佳神器！「弱智吧」吊打小红书、知乎、豆瓣...
大型语言模型（LLM）在近些年取得了重大进展，特别是在英语方面，然而，LLM 在中文指令调优方面仍然存在明显差距。不久前，一篇人工智能论文将弱智吧推上AI圈的风口浪尖，该贴吧竟然成为了最好的中文训练数据！具体来说，使用弱智吧数据训练的大模型，跑分超过百科、知乎、豆瓣、小红书等平台，甚至是研究团队精心挑选的数据集。在问答、头脑风暴、分类、生成、总结、提取等8项测试中取得最高分。5月8日-5月9日，我...
2024-05-08 13:34:43
14
转载 ICLR 2024 | 量化和增强模态偏好影响下的多模态鲁棒性
©作者 |杨泽群单位 |人大高瓴GeWu-Lab论文题目：Quantifying and Enhancing Multi-modal Robustness with Modality Preference论文链接：https://arxiv.org/abs/2402.06244代码链接：https://github.com/GeWu-Lab/Certifiable-Robust-Multi-m...
2024-05-08 13:34:43
9
转载 上海内推 | 亚马逊上海人工智能研究院招聘机器学习应用科学家/实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！亚马逊上海人工智能研究院亚马逊云科技上海人工智能研究院正在招募机器学习领域的（资深）应用科学家和全年实习生。我们欢迎有激情、才华和创新力的人才加入！自2018年成立以来，我们成为深度学习研究领域的领先机构之一，已发表了75篇论文。我们的研究领域包括深度学习的基础理论、自然语言...
2024-05-08 13:34:43
56
转载 博士申请 | 南方科技大学张建国教授团队招收2024级计算机视觉方向博士生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！南方科技大学-鹏城实验室南方科技大学（简称：南科大）是深圳在中国高等教育改革发展的时代背景下创建的一所高起点、高定位的公办新型研究型大学。2022年学校入选“双一流”建设高校及建设学科名单。学校借鉴世界一流理工科大学的学科设置和办学模式，以理、工、医为主，兼具商科和特色人文社科...
2024-05-07 18:37:10
31
转载 LeCun哈佛演讲PPT放出：唱衰自回归LLM，指明下一代AI方向
©作者 |机器之心编辑部来源 |机器之心LeCun 一如既往地不看好自回归 LLM。机器如何能像人类和动物一样高效地学习？机器如何学习世界运作方式并获得常识？机器如何学习推理和规划……当一系列问题被提出时，有人回答自回归 LLM 足以胜任。然而，知名 AI 学者、图灵奖得主 Yann LeCun 并不这么认为，他一直唱衰自回归 LLM。近日 LeCun 在哈佛大学的演讲内容深入探讨了这些问题，...
2024-05-07 18:37:10
15
转载 大模型训练之序列并行双雄：DeepSpeed Ulysses和Ring-Attention
©作者 |方佳瑞单位 |腾讯研究方向 |机器学习系统随着 Gemini 1M context length 和 Sora 出世，如何训练超长上下文的大模型引起了大家广泛关注。本文对比两种目前炙手可热长文本训练方法 DeepSpeed Ulysess [1] 和 Ring-Attention [2]。2023 年末，二者几乎同时出现，但是设计方法大相径庭，可谓一时瑜亮。DeepSpeed Ul...
2024-05-07 18:37:10
15
转载 面壁低调开源新模型：早于Llama 3、比肩Llama 3、推理超越Llama 3！
三周前，面壁发布领先的开源大模型「Eurux-8x22B 」。相比口碑之作 Llama3-70B，发布时间更早，综合性能相当，尤其是拥有更强的推理性能——刷新开源大模型推理性能 SOTA，堪称开源大模型中「理科状元」。激活参数仅 39B，支持 64k 上下文，相比 Llama3 速度更快、可处理更长文本。图注：面壁Eurux-8x22B 模型在 LeetCode 和 TheoremQA这两个具有挑...
2024-05-07 18:37:10
3
转载 博士申请 | 香港城市大学马佳葳老师课题组招收人工智能方向全奖博士/博后
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！香港城市大学香港城市大学（City University of Hong Kong）是一所位于中国香港的世界级公立研究型综合大学，坐落于香港中心地带。作为香港地区的顶尖高校之一，香港城市大学位居QS 世界大学排名第70位、泰晤士高等教育世界大学排名第82位；其计算机科学专业在世...
2024-05-06 13:30:56
26
转载 探索视频理解新境界！在12项任务中，Mamba先打败了Transformer
©作者 |机器之心探索视频理解的新境界，Mamba 模型引领计算机视觉研究新潮流！传统架构的局限已被打破，状态空间模型 Mamba 以其在长序列处理上的独特优势，为视频理解领域带来了革命性的变革。来自南京大学、上海人工智能实验室、复旦大学、浙江大学的研究团队发布了一项开创性工作。他们全面审视了 Mamba 在视频建模中的多重角色，提出了针对 14 种模型 / 模块的 Video Mamba Su...
2024-05-06 13:30:56
15
原创 SIGIR 2024 | 共现关系还是细粒度偏好？ID和模态信息解耦的会话推荐
©PaperWeekly 原创 ·作者 |张晓堃单位 |大连理工大学·信息检索研究室研究方向 |推荐系统论文题目：Disentangling ID and Modality Effects for Session-based Recommendation论文链接：https://arxiv.org/abs/2404.12969代码链接：https://github.com/Zhang-xi...
2024-05-06 13:30:56
758
转载 审稿人角度：一篇顶会论文有哪些选题技巧？
万物皆卷的时代，升学、就业的竞争越来越激烈，想要保研、申博、进大厂，没有高质量论文在手就相当于“裸奔”！尤其是这个人人惶恐又内卷的时代，想要抓住点什么来增强安全感。有一份拿得出手的成绩——发论文的数量和质量无疑是最好的背书。手握一篇甚至多篇高质量的论文，就是学术成果最好的展现，当然它也意味着未来更优质的工作和薪酬。但是论文很多人来说，是一种挑战。大部分同学的困难不是不想发，而是……1、不知该如何对...
2024-05-06 13:30:56
14
转载 再次封神！国内AI大模型渗透太快了。。。
2024，国内首位AI程序员上岗，垂类大模型应用已经到了井喷期如果你不懂AI，下岗可能性只会越来越大！如今，百度、京东、华为等科技互联网巨头纷纷加快布局人工智能技术和市场，AI大模型人才招聘年薪有80W-96W招聘需求：精通业务：兼具产品/数据思维技术过硬：懂AI大模型新技术能带团队：技术过关且带团队未来懂AI程序员不仅不会被裁，收入还能更高！！作为普通程序员，如何学会运用AI大模型，成为大厂争抢...
2024-05-05 13:30:34
76
转载 Meta联合纽约大学和华盛顿大学提出MetaCLIP，带你揭开CLIP的高质量数据之谜
自 2021 年诞生，CLIP 已在计算机视觉识别系统和生成模型上得到了广泛的应用和巨大的成功。我们相信 CLIP 的创新和成功来自其高质量数据（WIT400M），而非模型或者损失函数本身。虽然 3 年来 CLIP 有大量的后续研究，但并未有研究通过对 CLIP 进行严格的消融实验来了解数据、模型和训练的关系。CLIP 原文仅有简短的数据处理描述，而后续工作依靠已经训练好的 CLIP 来重新过滤数...
2024-05-05 13:30:34
14
原创 ICLR 2024 | 理解图神经网络在规则学习中的表达能力
©PaperWeekly 原创 · 作者 |卡梅单位 |清华大学引言规则有着逻辑清晰和高度可解释的推理过程，在确保模型决策的可靠性和可信度方面发挥着至关重要的作用。尽管在过去两年内，大语言模型在许多任务上表现出了强大的推理能力，但它们在处理图数据时的理解深度和决策可靠性仍然有待提升。因此，深入研究并理解图神经网络的规则学习能力对于确保图数据处理的可信性和可靠性具有重要意义。本文旨在填补当前对于...
2024-05-05 13:30:34
903
转载 北京师范大学人工智能学院学术学位博士研究生（第二批）报名通知
欢迎报考北京师范大学人工智能学院学术学位博士研究生为深化博士生招生制度改革，进一步完善高层次优秀人才的选拔机制，选拔有志于从事学术研究、具有良好学术基础和学术创新潜质的人员攻读博士学位，不断提高博士生培养质量，北京师范大学人工智能学院2024年继续实行“申请-考核”制招收学术学位博士研究生（第二批）。01报名时间和报名网址报名系统开放时间2024年4月30日10:30至5月10日16:30报名网址...
2024-05-05 13:30:34
14
转载 无人机卫星匹配大赛来袭！恶劣天气下的定位挑战，天空之助力精准导航
ACM MM24无人机卫星匹配大赛天空之眼，助力精准导航摘要Abstract无人驾驶飞行器（UAV），也称为无人机，由于能够从空中捕获高质量的多媒体数据，近年来变得越来越流行。随着航空摄影、电影摄影和测绘等多媒体应用的兴起，无人机已成为收集丰富多样的多媒体内容的强大工具。本次研讨会旨在汇集对无人机多媒体感兴趣的研究人员、从业者和爱好者，共同探索这一令人兴奋的领域的最新进展、挑战和机遇。研讨会将涵...
2024-05-04 22:16:00
22
转载 北京内推 | 商汤研究院基础多模态大模型组招聘多模态方向算法实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！商汤科技作为人工智能软件公司，商汤科技以“坚持原创，让AI引领人类进步”为使命，旨在持续引领人工智能前沿研究，持续打造更具拓展性更普惠的人工智能软件平台，推动经济、社会和人类的发展，并持续吸引及培养顶尖人才，共同塑造未来。商汤科技拥有深厚的学术积累，并长期投入于原创技术研究，不...
2024-05-04 22:16:00
252
原创 万字长文总结大模型知识编辑领域最新研究进展
随着深度学习与预训练技术的快速发展，大模型如 ChatGPT、Mistral、LLaMA、ChatGLM、文心一言、通义等在自然语言处理领域已经取得了显著的突破。大模型通过将海量的、以文本序列为主的世界知识预先学习进神经网络中，并通过参数化空间实现对知识的处理和操作，其揭示了大规模参数化神经网络在习得和刻画世界知识上的巨大潜力。不同于传统的符号知识工程，大模型的隐式参数知识具有表达能力强、任务泛化...
2024-05-04 22:16:00
881
原创 基于互补学习系统的时空预测模型，实现时空预测模型自适应进化
中国科大数据智能实验室联合港科大广州提出基于互补学习系统的时空预测模型，实现时空预测模型自适应进化，预印版及代码已开源。论文标题：ComS2T: A complementary spatiotemporal learning system for data-adaptive model evolution论文链接：https://arxiv.org/pdf/2403.01738.pdf代码链接：h...
2024-05-04 22:16:00
307
转载 博士申请 | 香港中文大学（深圳）林天麟老师招收智能机器人方向全奖博士/硕士...
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！香港中文大学（深圳）香港中文大学（深圳）是一所经国家教育部批准，按中外合作办学条例设立，传承香港中文大学的办学理念和学术体系的大学。以创建一所立足中国、面向世界的一流研究型大学为己任，致力于培养具有国际视野、中华传统和社会担当的创新型高层次人才。香港中文大学（深圳）已经面向全球...
2024-04-30 13:42:07
140
转载 Meta最新进展！大模型“超级外挂”：LLM RAG
LLM RAG（Retrieval-Augmented Generation）是一种自然语言处理领域的模型架构，特别适用于生成式任务。它结合了检索和生成两种方法，旨在提高生成式任务的性能。RAG模型在2023年成为了基于LLM的系统中最流行的体系结构之一，并在多个应用领域中得到了广泛应用。我们邀请到了NLP & 多模态 & 语音处理人工智能博士.人工智能顶级会议AAAI、CVPR发...
2024-04-30 13:42:07
45
原创 IEEE RAL 2024 | Safe-VLN：针对连续环境中视觉语言导航任务的避障框架
©PaperWeekly 原创 · 作者 |岳露单位 |北京大学研究方向 |视觉语言导航论文题目：Safe-VLN: Collision Avoidance for Vision-and-Language Navigation of Autonomous Robots Operating in Continuous Environments论文链接：https://ieeexplore.ie...
2024-04-30 13:42:07
346
转载 ICLR 2024 | 跨领域准确进行零样本异常检测，浙大等提出AnomalyCLIP
©作者 |机器之心编辑部来源 |机器之心零样本异常检测（ZSAD）允许检测模型仅利用辅助数据进行训练，从而在没有任何目标数据集训练样本的情况下检测异常。这在因各种原因（如数据隐私问题）无法获取训练数据时非常关键。然而，这项任务面临的挑战在于，模型需要能够跨不同领域泛化异常检测能力，尤其是前景对象、异常区域及背景特征（比如不同产品或器官上的缺陷或肿瘤）在不同应用中可能大相径庭。为了改进 CLIP...
2024-04-30 13:42:07
36
转载 246篇文献！参数高效微调最新综述发布，让大模型不再「巨无霸」
©作者 |机器之心编辑部来源 |机器之心近期，大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下，如何适应瞬息万变的需求，快速适配大模型至各类下游任务，成为了一个重要的挑战。受限于计算资源，传统的全参数微调方法可能会显得力不从心，因此需要探索更高效的微调策略。上述挑战催生了参数高效微调（PEFT）技术在近期的快速发展。为了全面总结 PEFT 技术的发展历程并及时跟进最新的研究进展...
2024-04-29 13:57:43
99
转载 全网首发！Llama 3技术剖析、微调、部署以及多模态训练
Meta公司推出了开源大语言模型Llama系列的最新产品—Llama 3，包含了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本。Meta称其为“迄今为止最强的开源大模型”。Meta官方数据显示，Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过同参数量级模型Gemma 7B和Mistral 7B Instruct，而70B模型则超越了...
2024-04-29 13:57:43
167
转载 北京内推 | AMD北京AI算法团队招聘AIGC方向研究型实习生（可远程）
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！AMDAMD 是高性能与自适应计算领域的领先企业，致力于提供优质的产品和服务，助力客户解决各种重大的挑战。我们的技术推动着数据中心、嵌入式系统、游戏和 PC 市场迈向未来。AMD 于 1969 年在硅谷创立，最初只有几十名员工，从那时起 AMD 便踏上创新之路，致力于引领半导体...
2024-04-29 13:57:43
67
原创 首个全开源时序预测基础模型：Zero-shot预测能力比肩从零训练最优模型
©PaperWeekly 原创 ·作者 |石宇新单位 |浙江大学硕士生研究方向 |时序预测首个全开源时间序列预测基础模型 Moirai 来了（“Moirai” 在古希腊神话中是命运女神的名字具有预知未来的能力）！来自 Salesforce AI research 的研究者提出了一种通用的预测范式，使得预训练模型有能力处理任意的时序预测任务。与当下最优的从零训练模型相比，Moirai 的 z...
2024-04-29 13:57:43
808
转载 CVPR 2024 | 无参数无训练也能大幅涨点！港城大等提出全新小样本3D分割模型
本文在非参数化网络 Point-NN 的基础上，提出了用于小样本 3D 场景分割的模型 Seg-NN，而进一步提出的一种参数化的变体 Seg-PN 在 S3DIS 和 ScanNet 数据集上的小样本分割任务取得了 SOTA 性能，分别超过第二名 4.19% 和 7.71%，同时将训练时间减少了 90%。论文地址：https://arxiv.org/pdf/2404.04050.pdf代码地址：h...
2024-04-28 13:41:54
27
原创 国科大联合旷视提出OneChart，一个能为自己负责的图表解析模型
《论语》中说：“知之为知之，不知为不知，是知也”。从神经网络兴起以来，人们就没有停止过对这种黑盒模型应用在生产环境的担心。在 AI 1.0 中大部分模型还至少会输出一个置信度得分可供参考；然而对于 AI 2.0 时代的 VLMs 来说，所有的结果以文本的形式吐出，这加重了人们对模型安全性的焦虑。让模型知道自己的能力边界，不要产生致命错误，这点十分必要，也是目前的难点。图表（柱状图，折线图，饼图）的...
2024-04-28 13:41:54
317
转载 AI越来越卷，如何走出一片天？快来阿里巴巴-南洋理工联合实验室
在这个 AI 蓬勃发展的年代，有很多投身AI的同学却觉得很迷茫。有同学说：AI 发展速度太快，paper 太多，要跟上潮流太难了。有同学说：发 paper 太难。会议投稿数量上升，可是接受率却在下降。每次投稿都被 reviewer 各种理由刁难。要不就说性能不够高，要不就是没有创新。性能和创新都有了，还要说我英文差，解释得不够清楚。还有同学说：paper 这么多，就算是发了顶会，也不一定能被人注意...
2024-04-28 13:41:54
38
转载 博士申请 | 上海交通大学张倬胜老师招收AI/NLP/LLM方向推免硕士/博士
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！上海交通大学上海交通大学电子信息与电气工程学院的前身可溯源至1908年的电机专科，享有中国电气工程师“摇篮”的美称，是交通大学创建最早的学院之一。110余年以来，学院始终以谋国家强盛、求科学真知、育时代栋梁为己任。坚持以“立德树人”为根本，以“院为实体”综合改革为基本路径，以高...
2024-04-28 13:41:54
67
原创 生成扩散模型漫谈：信噪比与大图生成（下）
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络上一篇文章《生成扩散模型漫谈：信噪比与大图生成（上）》中，我们介绍了通过对齐低分辨率的信噪比来改进 noise schedule，从而改善直接在像素空间训练的高分辨率图像生成（大图生成）的扩散模型效果。而这篇文章的主角同样是信噪比和大图生成，但做到了更加让人惊叹的事情——直接将训练好低分辨率图像的扩...
2024-04-26 22:31:30
978
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人