技术人生黄勇-CSDN博客

转载多agent思想显著提升小模型工具调用能力

大家好，我是HxShine今天分享一篇阿里的利用Agent思想做工具调用的文章，标题为《Small LLMs Are Weak Tool Learners: A Multi-LLM Agent》。其提出的多LLM代理微调框架，将工具调用拆解为三个agent（Planner、Caller、Summarizer），并结合一个二阶段的微调策略。对比单个LLM表现更为出色，性能也更为稳定，并且能够超过像C...

2024-04-18 12:17:58 5

转载中文RAG检索增强生成榜单出炉！仅有一家刚刚及格

随着人工智能技术的快速发展，大型语言模型在处理复杂、开放领域的问题时，常常面临知识获取和更新的挑战。它们所依赖的训练数据可能有限且过时，无法覆盖所有领域的知识，导致生成的内容缺乏准确性和时效性。同时，在现实世界的应用场景中，用户期望获得最新、最准确的信息。正是在这样的背景下，RAG（检索增强生成）技术结合了检索和生成两种方法的优势应运而生。RAG通过利用外部知识库中的信息，为语言模型提供了更全面、...

2024-04-15 19:34:24 40

转载重回第一！OpenAI升级GPT-4-Turbo到2024-04-09版本，推理和数学能力大幅提高，基准测试最高提升近20%！...

本文原文来自DataLearnerAI官方网站：https://www.datalearner.com/blog/1051712888127681OpenAI的GPT-4一直是全球最强的大语言模型。但是在最近的一系列新模型对比中，已经有一些模型在某些领域被认为已经接近或者超过GPT-4了。而在前几天，OpenAI更新了一个新版本的GPT-4，是GPT-4-Turbo-2024-04-09，官方说该...

2024-04-12 18:44:45 77

转载 RAG系统中答案无关的片段对LLMs生成结果有何影响？

写在前面大家好，我是刘聪NLP。RAG（检索增强生成）通过检索系统找到用户问题相关的信息片段，利用大模型综合生成一个答案，极大解决了大模型幻觉、信息更新不及时等问题，已经成为了大模型落地的重要手段。但在检索过程中，往往会检索到与问题极度相似、但又不包含答案或包含干扰答案的片段，这些答案无关片段对大模型生成答案有何影响呢？今天正好刷到一篇相关文章，带给大家《How Easily do Irrelev...

2024-04-10 23:13:55 16

转载 RAG（检索增强生成）技术全貌，4W字干货：从原理论文到开源项目实战

心法利器本栏目主要和大家一起讨论近期自己学习的心得和体会。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。2023年新的文章合集已经发布，获取方式看这里：又添十万字-CS的陋室2023年文章合集来袭，更有历史文章合集，欢迎下载。往期回顾心法利器[106] 基础RAG-调优方案心法利器[107] onnx和tensorRT的bert加速方案记录心法利器[108] | 微调与RAG的优缺点分析心...

2024-03-26 23:22:19 90

转载大模型未来发展：RAG vs 长文本，谁更胜一筹？｜Z 沙龙第 8 期

「Z计划」是智谱 AI面向未上市初创企业与优秀独立开发者/团队，提供 Tokens赞助、投资支持和技术支持等资源的创新加速计划。面向全球，持续招募中！（点击报名）「Z沙龙」是支持该计划的面向大模型领域的线下活动品牌。为鼓励自由发言，人人发言，我们暂时不披露参与者个人信息。本文不代表智谱公司认同文中任何观点。编者按：当前，AIGC的迭代速度正以指数级的速度增长。2024年2月，谷歌发布的...

2024-03-25 12:25:22 257

转载开源版“Devin”AI程序员炸场：自己分析股票、做报表、建模型

GitHub三万Star项目MetaGPT上新，号称是“开源Devin”——推出数据解释器（Data Interpreter），能够应对数据实时变化、任务之间复杂的依赖关系、流程优化需求以及执行结果反馈的逻辑一致性等挑战。话不多说，直接看演示。可以从英伟达股价数据中分析收盘价格趋势：分析数据预测葡萄酒质量：自动抠图删除图片背景：还能针对糖尿病、心脏病等疾病，通过数据分析预测病情进展：针对水泵传感器...

2024-03-15 21:16:30 43

转载全球首个AI程序员诞生，码农饭碗一夜被砸！10块IOI金牌华人团队震撼打造，996写代码训练模型...

新智元报道编辑：编辑部【新智元导读】全球首位AI软件工程师Devin诞生了，它掌握全栈技能，云端部署、底层代码、改bug、训练和微调AI模型都不在话下。最可怕的是，它完全不怕996，老黄的预言是彻底成真了！就在刚刚，世界上第一位AI程序员Devin诞生。一家叫Cognition的10人初创公司，才成立不到2个月，就给了全世界亿点点震撼。刚一放出，Devin就刷爆了全网。它掌握了全栈技能，能...

2024-03-13 12:15:15 56

转载 Sora物理悖谬的几何解释

龙年伊始，Sora横空出世，举世震惊。Sora声称“作为世界模拟的视频生成模型”，豪气干云。有人悲观预言很多传统领域可能被颠覆，其中最为岌岌可危的可能是计算机图形学，短视频和影视娱乐行业。依随OpenAI透露出更多技术细节，很多Sora生成的物理悖谬的视频流传于网络。这里笔者依据现代数学特别是整体微分几何领域的一些观点来解释目前Sora技术路线中的缺陷，希望能够抛砖引玉，为广大AI研究和工程人员拓...

2024-02-26 11:50:02 49

转载龙年暴富｜与众不同的微信红包

小年那天，给朋友们送了一个用AI工具设计的可爱龙年微信红包，朋友们很喜欢。今天继续给朋友们送上两款红包封面，其中一款来自花仙子朋友手绘版的潦草龙。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍祝愿大家：龙年行大运，财运暴富，身材暴瘦，运势暴发，阖家幸福安康！‍‍‍‍点击下方卡片，即可领取白金龙‍‍‍潦草龙可爱龙看了心动，想自己亲手做一个红包封面的，可以看这篇贴心教程：《保姆级教程｜如何制作自己的微...

2024-02-05 21:26:20 90

原创保姆级教程｜如何制作自己的微信红包封面

“一只蠢萌的龙宝宝”01—昨天给朋友们送了一张用AI制作的可爱型的龙年红包封面，有朋友问，怎么能制作自己的红包封面。‍‍‍‍‍‍‍‍‍‍‍一开始我习惯思维：“你有公众号吗？没有就不能做”。后来一想，公众号只是可以送给朋友红包封面，如果没有公众号的朋友想做作一个自己独有的红包封面，用在自己发红包的场景，需要满足微信的最低标准，文章第4部分有需要满足的条件。‍‍‍‍‍‍‍‍‍‍‍自己做红包封面大体有...

2024-02-03 12:06:18 1201

转载小年好！送你龙年限定红包封面

甲辰龙年小年快乐—朋友们，新年已至，送上我亲手用AI设计的可爱龙年限定红包封面！这只拟人化的小龙，眼神充满喜庆。愿新的一年，我们共同腾飞，事业蒸蒸日上，幸福滚滚而来。新年好运，与你同享！????✨点击下方卡片，即可领取‍‍没领到的朋友也不要遗憾，后续还有一波红包封面，正在设计制作中。...

2024-02-02 22:27:24 60

转载四大巨头的AI绘图模型综合评测 - 写在Meta Imagine上线后

都知道AI卷，卷大语言模型，卷多模态，卷视频，反正啥玩意都都卷。AI绘图作为跟大语言模型并驾齐驱的最成熟的模态之一。那更是卷到飞起。前几天，Meta这个搅屎棍，正式公开上线了他们的AI绘图模型，叫Meta Imagine，就是这个玩意。网址：https://imagine.meta.com/ （对魔法要求比较高，找个美国的干净的节点）最关键的是吧，他免费。你说他是不是搅屎棍。。。但是Meta确实也...

2024-01-12 12:26:49 69

转载深入探讨GPTs和AI Assistant

作者：donxGPTs全景解析GPTs 是什么GPTs 是 OpenAI 在2023年11月发布的新版本，具有可定制性和完成特定任务的强大功能。它提供了一种新的方式来使用ChatGPT，可以让用户根据自己的需求定制化，并与其他用户共享。以下是OpenAI 对它的能力介绍。You can now create custom versions of ChatGPT that combine instr...

2024-01-02 19:30:34 271

转载大模型微调技巧 | 高质量指令数据筛选方法-MoDS

写在前面大家好，我是刘聪NLP。大模型时代，指令微调已经成了算法工程师们必不可少的技能。而在指令微调过程中，我们往往会从数据数量和数据质量两个维度来对模型进行调优。之前写过一篇《从大量可用数据集中自动识别高质量数据》的文章，今天给大家带来一个新的方法-MoDS，一种面向模型的指令数据选择方法-《MoDS: Model-oriented Data Selection for Instruction ...

2023-12-15 19:15:23 416

转载开源的大模型预训练语料汇总

写在前面大家好，我是刘聪NLP。本文汇总了当前包括中英文开源的大规模预训练数据集，来自知乎@nghuyong。目前的核心观点是: 「大规模高质量的网络数据 is All you Need」，无需手工精心调配各种数据源，例如百科，书籍，代码等。知乎：https://zhuanlan.zhihu.com/p/668021844PilePile是EleutherAI发布的一个英文的预训练语料。涵盖了22...

2023-12-01 20:12:49 503

转载导致Sam离职风波背后的OpenAI最近的技术突破——Q*项目信息汇总

上周五，OpenAI董事会突然把Sam开除的事件已经结束，闹了好几天之后Sam回归，董事会改组。而这件事的背后导火索有许多传闻，其中最重要的一个是OpenAI可能在最近有一项重大的技术突破，被认为是Sam和董事会分歧的重要原因。而今天，国外的路透社独家消息提到OpenAI内部一个称为Q*（Q Star）项目取得了非常重大的突破，使得部分人认为AGI很接近，进而引发了一系列事件。本文将根据目前的信息...

2023-11-24 19:03:29 105

转载 Altman王者归来！强势要求解散董事会，OpenAI终极宫斗一触即发

新智元报道编辑：编辑部【新智元导读】董事会打脸了！Altman众望所归上演王者归来，戴着访客证出现在OpenAI总部，并且强势要求董事会解散。CEO的复仇之路反转再反转，双方目前仍在对峙。从被扫地出门到王者回归，乔布斯用了12年，而Sam Altman，仅仅用了两天。现在，Altman已经以胜利者的姿态重返OpenAI探讨自己的去留问题，并且对董事会提出了新的要求——「更换现有的董事会成员...

2023-11-20 12:48:59 68

转载怎样让 PPO 训练更稳定？早期人类征服 RLHF 的驯化经验

写在前面大家好，我叫刘聪NLP。今天给大家带来一篇“如何稳定且有效地训练 PPO”的论文解读，来自知乎@何枝（已授权）。在这篇文章中我们将学习：哪些技巧能够稳定训练过程、哪些指标能够代表着训练的顺利进行等内容。作为 Reinforcement Learning 中的顶流算法，PPO 已经统领这个领域多年。直到InstructGPT的爆火，PPO 开始进军 LLM 领域，凭借其 label-free...

2023-11-14 19:47:01 331

转载 OpenAI首届开发者日：ChatGPT多模态进化、Assistant API和GPT商店引发瞩目

“在OpenAI首届开发者日活动上，ChatGPT迎来了重大进化。从GPT-3.5到全新的GPT-4 Turbo，这款大语言模型在短短一年内实现了质的飞跃，支持更多多模态处理和函数调用，更可靠、更强大。尤其引人瞩目的是Assistant API和GPT商店的推出，为开发者提供了新的创作和定制空间。这标志着OpenAI向着更广阔的生态发展，使模型应用更简便、更普及。”01—6日凌晨OpenAI举办...

2023-11-08 23:59:59 205

转载解读大模型（LLM）的token

当人们谈论大型语言模型的大小时，参数会让我们了解神经网络的结构有多复杂，而token的大小会让我们知道有多少数据用于训练参数。正像陆奇博士所说的那样，大型语言模型为从文本生成到问题回答的各种任务提供了令人印象深刻的能力，不仅彻底改变了自然语言处理(NLP)领域，而且作为基础模型会改变整个软件生态。这些模型的一个经常被忽视的关键点是“token”的作用，即模型处理的各个信息单元。大型语言模型(LLM...

2023-11-06 22:18:18 372

转载多语言SFT可以显著提高LLM数学推理能力

写在前面大家好，我是刘聪NLP。今天给大家带来一篇《多语言SFT可以显著提高LLM数学推理能力》，来自知乎@promise（已授权）Paper:https://arxiv.org/abs/2310.20246Github:https://github.com/microsoft/MathOctopus/tree/main知乎：https://zhuanlan.zhihu.com/p/664...

2023-11-05 23:06:34 73

转载 RunwayGen2史诗级更新 - AI视频迎来iPhone时刻

今天晚上9点，Runway，这个生成式AI的领头羊，正式在X上发布了他们史诗级的更新，可以说，称为Gen2.5都不为过。仅有寥寥数语，但是看到他们这个演示视频后，看的我头皮发麻。这个一致性，这个清晰度，这个流畅度。谁还敢说AI视频是玩具？AI视频工作流，必将嵌入广告、电影、短剧、宣传片等等的方方面面。有趣的是，前几天PIKA也在X上预告了自己的PIKA2.0。可以明显看到，整体质量和一致性跟Run...

2023-11-03 12:30:16 82