- 博客(3880)
- 收藏
- 关注
RSS订阅转载 《跨语言大模型》最新综述
大模型智能｜原创作者 | 小夏跨语言大模型（MLLMs）能够利用强大的大型语言模型处理和回应多种语言的查询，在多语言自然语言处理任务中取得了显著的成功。尽管取得了这些突破，但仍然缺乏一份全面的调查总结该领域现有方法和最新发展。因此，在本文中，我们进行了深入的综述，并提供了一个统一的视角，总结了多语言大型语言模型领域的最新进展和新兴趋势。本文的贡献可以总结如下：（1）首次综述：据我们所知，我们首次按...
2024-04-18 22:03:45
12
转载 最强MOE开源：Mixtral 8x22B 发布！
来自：包包的算法笔记权重地址：https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1根据上传时间发现是一周之前，在Llama3正式放出来之前抢一个热度。根据网站开放的信息，我们有如下信息：Mixtral 8x22B 是我们Mixtral 的开放模型。它为人工智能社区设定了性能和效率的新标准。这是一个稀疏的专家混合（SMoE）模型，仅使...
2024-04-18 22:03:45
16
转载 Meta无限长文本大模型来了：参数仅7B，已开源
来自：机器之心谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练效率和下游任务准确性方面表现不佳。长文本是大语言模型一直在努力的方向。近日，谷歌提出的 Infini-Transformer 引入有效方法，可以将基于 Transformer 的大型语...
2024-04-18 22:03:45
13
转载 前紧后松：清华读博前两年的焦虑与成长
来自：丁司图从清华毕业入职腾讯没多久，我上个月作为今年新晋打工人的代表参加VALSE学生论坛，跟同学们分享了一些故事。司徒笔记这个专栏本来是用来聊学术的，不够轻松，似乎缺一些用来当作下饭伴侣或者如厕读物的文章。所以我想写几篇文章记录自己上学过程中的一些经历和感想，作为番外篇。如果甚至于能得到一些共鸣，我将不胜荣幸。2017年2月，我从南大提前来清华开始做本科毕设。2019年2月底，我中了第一篇CV...
2024-04-18 22:03:45
9
原创 对谷歌最新提出的Infini-transformer模型进行代码复现
知乎：Lil2J（已获授权）链接：https://zhuanlan.zhihu.com/p/692848185简介这篇文章主要内容为我个人对谷歌最新提出的Infini-transformer模型的个人见解，复现代码以及训练细节。项目已开源：https://github.com/jiahe7ay/infini-mini-transformer大家如果顺手的话能否给小弟的项目点个⭐️基座模型代码使用的...
2024-04-17 16:04:44
468
转载 Adaptive-RAG:根据难度自适应检索方案
来自：CS的陋室RAG的论文可谓是百花齐放，今天讲一篇有关自适应的RAG，这篇论文认为是不同难度的问题，RAG系统应该有不同的应对策略，因此搭建了这个自适应的RAG系统来适配不同难度的问题。论文：Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity。...
2024-04-17 16:04:44
19
转载 最新大模型论文研究论文合集，包含谷歌/苹果/亚马逊/港大、阿里最新研究报告！...
清华团队推出 MiniCPM：利用可扩展的训练策略挖掘小模型潜力；苹果MM1大模型：30B参数，多模态，在预训练指标上达到SOTA；亚马逊提出大规模视频语言对齐方法VidLA；英伟达参与，高效视频扩散模型CMD发布；谷歌、Stability AI新研究：由文本引导生成纹理3D服装；港大、阿里新研究：只需一张图，轻松即时定制个性化照片；上海 AI Lab 新研究：将 LVLM 分辨率提升到 4K H...
2024-04-17 16:04:44
20
转载 多篇顶会一作却申博失败？斯坦福博士生亲述：AI领域太卷
来自：机器之心「尽管我在顶级 ML 会议上发表了多篇一作论文，为开源项目做出了贡献，也在业界产生了影响，但我仍在为进入博士课程而苦苦挣扎。我被顶尖大学拒之门外，感到迷茫和疲惫。」「我开始怀疑自己，怀疑如果没有合适的人脉或家庭背景，光有强大的研究背景是否还不够。我正在考虑放弃攻读博士学位以及从事有价值研究的梦想。」在刚刚过去的周末，关于「AI 博士申请条件卷上天」的帖子成为了 Reddit 社区讨论...
2024-04-17 16:04:44
19
转载 清华开源RepoAgent：大模型驱动的项目级代码文档生成框架
来源：TsinghuaNLP@公众号声明：本文只做分享，版权归原作者，侵权私信删除！编辑：青稞AI在软件工程领域，代码文档的质量直接关系到开发效率和软件质量。然而，文档的生成和维护往往耗费大量的时间和资源，成为项目团队的一大负担。针对这一问题，我组联合中国人民大学和西门子公司的研究人员，共同提出开源框架RepoAgent。RepoAgent 底层由大型语言模型（LLM）驱动，旨在自动化生成、自动维...
2024-04-16 17:07:13
24
转载 1个月快速迈入AI大模型黄金赛道！
听说你想快速转行人工智能？企业想要快速落地大模型应用到现有业务？身边缺少真正懂AI技术的大佬带你学习？由清华大学顶尖人工智能博士专家组成的Llama中文社区授课团队将会助你一臂之力！！不仅有靠谱的课程，更有超值的服务！我们能够帮助你????1.快速掌握大模型全面理论知识 手把手耐心指导，助想转行的同学快速上手，顺利通过转行/求职面试。此外我们提供模拟面试和职业咨询等就业服务，帮助你更好规划职业生涯。我们...
2024-04-16 17:07:13
13
转载 大模型综述出书了
来自：RUC AI Box在2023年3月，我们发表了大语言模型综述文章《A Survey of Large Language Models》。这篇综述文章已经更新到第13个版本，包含了83页的正文内容，并收录了900余篇参考文献。该综述文章旨在系统地梳理大语言模型的研究进展与核心技术，讨论了大量的相关工作。自大语言模型综述的预印本上线以来，受到了不少读者的关注。自英文综述文章上线后，陆续有读者询...
2024-04-16 17:07:13
28
转载 大模型训练加速之FlashAttention系列：爆款工作背后的产品观
知乎：方佳瑞原文：https://zhuanlan.zhihu.com/p/664061672纯学术分享，侵删FlashAttention（FA）是一系列针对Transformer模型训练和推理加速方案。自从发布以来，历经了多次迭代，并借着其节省显存、加速计算、使用简单的特性，目前已经是大模型训练必备之良药。FA的论文，一年多就有242个引用，作为一个做底层优化的论文，也是前无古人了。不过仔细研究...
2024-04-16 17:07:13
23
转载 魔改RNN挑战Transformer，RWKV上新：推出2种新架构模型
RWKV 投稿量子位 | 公众号 QbitAI不走Transformer寻常路，魔改RNN的国产新架构RWKV，有了新进展：提出了两种新的RWKV架构，即Eagle(RWKV-5)和Finch（RWKV-6)。这两种序列模型以RWKV-4架构为基础，然后作了改进。新架构的设计进步包括多头矩阵值状态（multi-headed matrix-valued states）和动态递归机制（dynami...
2024-04-15 18:09:33
19
转载 一文全面盘点算法工程师大模型微调技能图谱
随着大模型的飞速发展，在短短一年间就有了大幅度的技术迭代更新，从LoRA、QLoRA、AdaLoRa、ZeroQuant、Flash Attention、KTO、PPO、DPO、蒸馏技术到模型增量学习、数据处理、开源模型的理解等，几乎每天都有新的发展。我们总结了算法工程师需要掌握的大模型微调技能，并制作了大模型微调技能图谱，希望可以帮助大家将知识体系梳理清楚，为未来在大模型的工作与科研道路上节省时...
2024-04-15 18:09:33
37
转载 多模态大模型的最优预训练范式
作者：AI小飞侠，CV算法工程师/多模态声明：本文只做分享，版权归原作者，侵权私信删除！原文：https://zhuanlan.zhihu.com/p/685586296编辑：青稞AI目前主流的多模态大模型的训练基本都是分为预训练和微调两阶段来进行的。预训练阶段是为了让大语言模型（LLM）具有理解视觉信息的能力，也可以认为是将视觉特征空间对齐到文本空间。微调阶段就是使用特定领域的数据，通过全量参数...
2024-04-15 18:09:33
21
转载 HADES: 利用视觉弱点越狱多模态大语言模型
©作者｜李依凡机构｜中国人民大学研究方向｜多模态大语言模型来自 | RUC AI Box本文提出了一种针对多模态大语言模型的越狱方法HADES，使用精心设计的图片隐藏和放大原有有害意图，利用图像侧是多模态大模型无害性对齐弱侧这一特点对模型进行攻击。实验结果显示HADES在基于对齐LLM构建的开源模型和强大的闭源模型上都能取得明显的攻击效果。注：本文使用的示例可能包含令人不适的内容。论文题目：Im...
2024-04-15 18:09:33
15
转载 RAG系统中答案无关的片段对LLMs生成结果有何影响？
写在前面来自：NLP工作站RAG（检索增强生成）通过检索系统找到用户问题相关的信息片段，利用大模型综合生成一个答案，极大解决了大模型幻觉、信息更新不及时等问题，已经成为了大模型落地的重要手段。但在检索过程中，往往会检索到与问题极度相似、但又不包含答案或包含干扰答案的片段，这些答案无关片段对大模型生成答案有何影响呢？今天正好刷到一篇相关文章，带给大家《How Easily do Irrelevant...
2024-04-14 23:04:25
24
转载 MOE vs MOT 让LLM更加有效
知乎：北方的郎链接：https://zhuanlan.zhihu.com/p/691070810翻译自：https://www.superannotate.com/blog/mixture-of-experts-vs-mixture-of-tokens事实证明，LLM的表现与模型大小和可扩展性呈正相关。这种扩展伴随着计算资源的扩展，也就是说，模型越大，成本就越高。基于参数计数的 LLM 性能这是该...
2024-04-14 23:04:25
32
转载 国内20家公司大模型岗位面试经验汇总
作者：林夕，阿里巴巴集团高级算法工程师，专注多模态大模型研究。声明：本文只做分享，版权归原作者，侵权私信删除！原文：https://zhuanlan.zhihu.com/p/690801254编辑：青稞AI面试情况投过的公司：淘天，字节，蚂蚁，商汤，美团，夸克，腾讯，minimax，零一万物，阿里控股，潞晨科技，阿里巴巴国际，网易实验室，Momenta。Offer：淘天，字节AML，商汤，蚂蚁，美...
2024-04-14 23:04:25
32
转载 每日论文速递 | 邱锡鹏团队新作：探索LLM预训练的Data Mixing Laws
深度学习自然语言处理 分享整理：pp摘要：大语言模型的预训练数据由多个领域（如网络文本、学术论文、代码）组成，其混合比例对结果模型的能力有着至关重要的影响。现有的研究依靠启发式方法或定性策略来调整比例，而我们发现了模型性能的定量可预测性，即函数形式的混合比例，我们称之为数据混合定律。在实际运行之前，在样本混合物上拟合这些函数可以揭示模型在未见混合上的性能，从而指导选择理想的数据混合。此外，我们还提...
2024-04-10 17:07:24
45
转载 每日论文速递 | sDPO-不要一次就把对齐数据用完
深度学习自然语言处理 分享整理：pp摘要：https://arxiv.org/abs/2403.13269Q1: 这篇论文试图解决什么问题？A：这篇论文试图解决的问题是如何在大型语言模型（LLMs）的训练过程中，更有效地与人类偏好对齐。具体来说，它提出了一种名为逐步直接偏好优化（stepwise Direct Preference Optimization，简称sDPO）的方法，用于改进现有的直接...
2024-04-10 17:07:24
38
转载 教你从0开始发一篇SCI，科研小白必看！
今天向所有在2024以及未来几年内发论文的同学分享一些资料：23年各大顶会论文合集、80个代码中的即插即用模块、论文写作方法论、以及完成初稿后的论文润色。发论文，首先大家需要解决idea的问题。最有效，也是最简单的方法：多看文献多总结。只有多读文献，才能了解领域发展、找到现有的问题、思考总结出idea。今天分享过去的一年内CV、NLP、ML方向的各大顶会论文合集。涵盖CVPR2022-2023、I...
2024-04-10 17:07:24
23
转载 每日论文速递 | DeepMind提出SAFE，用LLM Agent作为事实评估器
深度学习自然语言处理 分享整理：pp摘要：大语言模型（LLM）在回答开放式话题的事实搜索提示时，经常会生成包含事实错误的内容。为了对模型在开放域中的长式事实性进行基准测试，我们首先使用 GPT-4 生成了 LongFact，这是一个由跨越 38 个主题的数千个问题组成的提示集。然后，我们提出可以通过一种我们称之为 "搜索增强事实性评估器"（Search-Augmented Factuality E...
2024-04-10 17:07:24
41
转载 长文本之罪：Claude团队新越狱技术，Llama 2到GPT-4无一幸免
机器之心报道作者：杜伟、陈萍Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案，可以将攻击成功率从 61% 降至 2%。刚刚，人工智能初创公司 Anthropic 宣布了一种「越狱」技术（Many-shot Jailbreaking）—— 这种技术可以用来逃避大型语言模型（LLM）开发人员设置的安全护栏。研究者表示，其对 Anthropic 自家模型以及 OpenAI、Google D...
2024-04-07 10:34:29
18
转载 RAG实践中的关键模块解析
作者：孙鹏飞，南京大学 · 计算机科学与技术，互联网行业从业人员声明：本文只做分享，版权归原作者，侵权私信删除！原文：https://zhuanlan.zhihu.com/p/682253496编辑：青稞AI1. 背景介绍RAG（Retrieval Augmented Generation，检索增强生成 ）方法是指结合了基于检索的模型和生成模型的能力，以提高生成文本的质量和相关性。该方法是Meta...
2024-04-07 10:34:29
51
转载 复旦MOSS团队：数据配比的scalinglaw
来自：包包算法笔记在前文我们提到过，大模型训练中数据的多样性和质量是最重要的两个维度，并且在结尾挖了一个大坑，希望有大佬愿意研究多样性的scaling laws。这次，复旦MOSS团队带着数据配比scaling laws就来了。题目：Data Mixing Laws: Optimizing Data Mixture by Predicting Language Modeling Performan...
2024-04-07 10:34:29
82
转载 全面解析LoRA、QLoRA、RLHF，PPO，DPO，Flash Attention、增量学习等大模型算法
随着大模型的飞速发展，在短短一年间就有了大幅度的技术迭代更新，从LoRA、QLoRA、AdaLoRa、ZeroQuant、Flash Attention、KTO、蒸馏技术到模型增量学习、数据处理、开源模型的理解等，几乎每天都有新的发展。作为算法工程师，面对如此飞快的技术迭代，是否感觉到自己的学习步伐有点跟不上技术的发展？而且对这些新兴技术的理解仅仅停留在应用层面上，实际上对背后的原理没有具体剖析过...
2024-04-07 10:34:29
176
转载 每日论文速递 | 一次编码平行解码：高效Transformer解码
深度学习自然语言处理 分享整理：pp摘要：基于Transformer的 NLP 模型功能强大，但计算成本较高，限制了应用场景。经过微调的编码器-解码器模型在专业领域很受欢迎，其性能优于 GPT-4 等大型通用解码器模型。我们为编码器-解码器模型引入了一种新的配置，它能提高结构化输出和问题解答任务的效率，在这些任务中，一个输入需要多个输出。我们的方法，即提示中解码器（PiD），对输入进行一次编码，对...
2024-04-04 18:01:52
37
转载 每日论文速递 | RLRF: 从反思反馈中不断迭代进行强化学习对齐
深度学习自然语言处理 分享整理：pp摘要：尽管 RLHF 在使 LLM 与人类偏好相一致方面大有可为，但它往往会导致表面上的一致，优先考虑风格上的变化，而不是改善 LLM 的下游性能。不明确的偏好可能会模糊调整模型的方向。缺乏探索会限制识别理想输出以改进模型。为了克服这些挑战，我们提出了一个新颖的框架：从反思反馈中强化学习Reinforcement Learning from Reflective...
2024-04-04 18:01:52
49
转载 从 大模型接受弱智吧再教育 谈指令微调对齐
知乎：hzwer原文链接：https://zhuanlan.zhihu.com/p/690667537仅学术分享，侵删这两天一篇论文以离谱方式火了：CQIA：“用弱智吧数据训练的 AI 爆杀了所有中文平台”，原文链接在：https://arxiv.org/abs/2403.18058正好我们借着这篇论文来聊聊大模型对齐，接上一篇文章[LLM转行笔记02] GPT 大模型的能力突现本文主要观点：首...
2024-04-04 18:01:52
70
转载 每日论文速递 | NAACL'24：自生成翻译记忆缓解翻译持续学习遗忘问题
深度学习自然语言处理 分享整理：pp摘要：现代神经机器翻译系统在几种不同的语言中表现出强劲的性能，并在不断改进。然而，它们的持续学习能力仍然受到灾难性遗忘问题的严重限制。在这项工作中，我们利用encoder-decoder transformer的一个关键特性，即它们的生成能力，提出了一种持续学习神经机器翻译系统的新方法。我们展示了如何利用重放记忆，将模型本身作为并行句子的生成器，从而有效地学习由...
2024-04-04 18:01:52
39
转载 整理了2000篇2024年顶会论文合集【附下载】
众所周知，论文是人工智能学习的基石，因为论文展示了不同方向最新的研究成果，了解并且掌握这些学习成果，会对自己写论文助力不少。这次我整理了AAAI 2024 /CVPR 2024 / ICLR 2024 / WACV 2024 论文合集，总共2000多篇，论文内容涵盖了3D高斯、时序、大语言模型、多模态等方向，希望对大家的学习有所帮助。扫码回复“论文”领最新2024年2000篇顶会论文合集为了让大...
2024-04-03 15:44:13
76
转载 近期RAG技术总结和串讲（4w字RAG文章纪念）
来自：CS的陋室最近写的RAG内容已经挺多了，然而内容逐渐变得零散，我今天给大家总结一下RAG的有关内容，同时给大家把有关内容串起来。当然，串起来的更多是概述和摘记，让大家对RAG的基础有更整体的了解，详情大家可以根据需要再展开了解，我也会在合适的位置加上原文链接。之前的文章算下来是三万多字，加上这篇应该能超过4万了，也特此记录一下自己在RAG这块的学习和实践经验。内容目录：概念。从baselin...
2024-04-03 15:44:13
39
转载 首个符号大模型！Symbol- LLM：探索自然语言与符号之间的能力平衡
深度学习自然语言处理 分享导读当前，大型语言模型 (Large Language Model, LLM) 大多强调以自然语言 (Natural Language, NL)为媒介进行交互、推理以及反馈修正。然而，LLM对符号语言的处理能力如何？如何增强LLM的符号交互能力？ Symbol-LLM这项目工作给出了答案，并开源了涵盖超20种符号类型的训练数据集，以及统一符号的开源基座大模型 (7B/13...
2024-04-03 15:44:13
37
转载 每日论文速递 | AFLoRA: 自适应冻结权重进行PEFT
深度学习自然语言处理 分享整理：pp摘要：我们提出了一种新颖的参数高效微调（PEFT）方法，被称为自适应冻结低阶自适应Adaptive Freezing of Low Rank Adaptation (AFLoRA)。具体来说，对于每个预训练的冻结权重张量，我们都会添加一条可训练低秩矩阵的并行路径，即下投影矩阵和上投影矩阵，每个矩阵后都有一个特征变换向量。基于新颖的冻结评分，我们在微调过程中逐步冻...
2024-04-02 23:33:49
44
转载 基于LLM的多Agent框架在金融市场数据的应用
基于LLM的多Agent框架在金融市场数据的应用来着：大语言模型论文跟踪Agent 金融市场 异常检测Enhancing Anomaly Detection in Financial Markets with an LLM-based Multi-Agent Framework摘要本文提出了一种新型的多智能体框架，它基于大型语言模型（LLM），致力于提升金融市场数据异常检测的能力，应对人工核实系统...
2024-04-02 23:33:49
66
转载 LA-Light：大语言模型开始接管城市交通了
LA-Light：大语言模型开始接管城市交通了来着：大语言模型论文跟踪LLM应用 交通管理 信号控制摘要面对大都市交通拥堵这一牵涉广泛且棘手的问题，解决之道在于有效管理，而交通信号控制系统在此举足轻重。传统基于规则或强化学习设计的控制系统受限于对新场景适应力不足，在处理复杂多变的城市交通流量时常显得捉襟见肘。针对此局限性，本研究另辟蹊径，巧妙地将大型语言模型（LLMs）融入交通信号控制（TSC），...
2024-04-02 23:33:49
37
转载 聊聊 MOE + LoRA 微调新方式
作者：无恶不作，华为2012实验室 · 软件开发声明：本文只做分享，版权归原作者，侵权私信删除！原文：https://zhuanlan.zhihu.com/p/686851113编辑：青稞AI1.背景介绍随着大语言模型（LLMs）的火爆发展，相应的微调技术也随之不断迭代。业界最近接连推出以 MOE（Mixture-of-Experts） + LoRA（Low-Rank Adaptation）组成的...
2024-04-02 23:33:49
86
转载 每日论文速递 | InsCL: Data-efficient 持续指令学习
深度学习自然语言处理 分享整理：pp摘要：Instruction tuning 可有效优化大型语言模型（LLM），使其适用于下游任务。由于实际应用中的环境不断变化，LLMs 需要在不发生灾难性遗忘的情况下，针对特定任务进行持续适应。考虑到沉重的计算成本，基于重放的持续学习（CL）方法是解决遗忘问题的最简单、最广泛的 LLM 方法。然而，传统的基于重放的方法不能充分利用指令来定制重放策略。在这项工作...
2024-04-02 23:33:49
50
转载 每日论文速递 | [COLING'24] 探索数据多样性对LLM对齐的影响
深度学习自然语言处理 分享整理：pp摘要：与人类偏好对齐可以防止大型语言模型（LLMs）产生误导性或有毒内容，但同时需要高成本的人类反馈。假设人工标注的资源有限，可以考虑两种不同的分配方式：标注更多样化的 "指令"（PROMPTS）或更多样化的 "回应"（RESPONSES）。然而，这两种方式的影响还没有直接的比较。在这项工作中，我们首先根据样本数量控制双方的多样性，以便进行微调，这可以直接反映出...
2024-04-01 18:11:15
49
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人