- 博客(766)
- 资源 (23)
- 收藏
- 关注
原创 表格数据的对话式交互【Pandas AI】
在我之前关于构建生成文本应用程序的文章中,我提到我将分享一篇关于如何在数据分析场景中使用 LLM 的新文章。因此,在这篇文章中,我将与令人兴奋的 Pandas AI 库分享我的实验,它可以让你进行对话式数据科学。因此,正如我们所看到的,这确实是一个游戏规则改变者,因为你可以通过对话方式查询和可视化结构化数据。此外,你还可以扩充数据、添加更多列、识别有用的机器学习功能、估算缺失值,甚至利用 Pandas AI 的LLM的强大功能来清理数据。第一个查询是一个简单的查询,用于查看跨类别的最高支出者详细信息。
2024-02-06 10:20:59 469
原创 基于LLM的业务流程自动化
在当今竞争激烈的商业环境中,业务流程(尤其是文档处理工作流程)的自动化对于寻求提高效率和减少人工错误的公司来说变得至关重要。传统方法往往难以跟上任务的数量和复杂性,而人工主导的流程速度缓慢、容易出错,并且可能并不总是能提供一致的结果。OpenAI GPT-4 等大型语言模型 (LLM) 在处理涉及类人文本生成的复杂任务方面取得了重大进展。然而,他们经常面临特定领域数据的挑战。LLM通常接受广泛(公开)数据的培训,虽然他们可以提供一般性答案,但在涉及专业知识时,他们的回答可能不准确。
2024-02-06 10:15:53 1630
原创 探索LLM的意图识别能力
不可否认的是,LLM(例如 OpenAI 的 GPT 系列)将在不断发展的对话式 AI 领域发挥重要作用。关于使用 ChatGPT 执行各种任务的帖子和文章不计其数。GPT 有几个关键功能值得进一步探索,例如其摘要、分类和生成文本的能力。其中,出现了一个问题——“我们能否使用LLM来有效取代为大多数基于意图的聊天机器人提供支持的传统机器学习模型”?当我们想到LLM时,我们可能会想到一个没有明确定义的真正“意图”的未来。它也许能够处理严格的、预先计划的结构之外的任何要求。
2024-02-06 10:12:21 1084
原创 部分意图分类【LLM+RAG】
在生成人工智能领域工作最有价值的事情之一就是发现新兴技术如何融入新的解决方案。举个例子:在为北美顶级金融服务公司之一设计对话式人工智能助手时,WillowTree 的数据和人工智能研究团队 (DART) 发现,将意图分类与大型语言模型 (LLM) 结合使用可以提高性能, 安全性和成本。我们将意图分类和LLM与检索增强生成(RAG)系统的这种交织视为“部分意图分类”。这种实践及其背后的故事表明,对于人工智能专业人士来说,创造性地思考并不断尝试新的解决方案是多么重要。
2024-02-06 10:10:19 1583
原创 提示工程实战案例
如果你在 2023 年听说过生成式人工智能(Generative AI),你一定也听说过提示工程(Prompt Engineering)。通过快速的互联网搜索或质疑 GenAI 本身,人们可以轻松找到相关的定义、提示技术,例如 零样本、少样本、思维链、后退等。最简单的提示工程也可以是对 GenAI 进行深思熟虑的相关语言输入,以获得更好的结果。然而,当我们谈论为企业注入 GenAI 并考虑收入、效率、生产力和声誉因素的生产应用场景时,它很快就会变得复杂。
2024-02-06 10:07:22 751
原创 LLM是一个向量程序库,提示是查询语言
2013 年,Mikolov 等人在 Google。注意到一些值得注意的事情。他们正在构建一个模型,将单词嵌入到向量空间中——这个问题从 20 世纪 80 年代开始就已经有很长的学术历史了。他们的模型使用了一个优化目标,旨在将单词之间的相关关系转化为嵌入空间中的距离关系:一个向量与词汇表中的每个单词相关联,并且对向量进行优化,以便表示向量之间的点积(余弦接近度) 频繁共现的单词将更接近 1,而表示很少共现的向量之间的点积将更接近 0。他们发现由此产生的嵌入空间不仅仅能够捕获语义相似性。
2024-02-06 10:03:43 932
原创 大模型ReAct提示工程详解【2023】
普林斯顿大学的教授和谷歌的研究人员最近发表了,描述了一种新颖的提示工程方法,该方法使大型语言模型(例如 ChatGPT)能够在模拟环境中智能地推理和行动。这种 ReAct 方法模仿了人类在现实世界中的运作方式,即我们通过口头推理并采取行动来获取信息。人们发现,与各个领域的其他提示工程(和模仿学习)方法相比,ReAct 表现良好。这标志着朝着通用人工智能(AGI)和具体语言模型(像人类一样思考的机器人)迈出了重要一步。
2024-02-02 11:05:52 1488
原创 LLM App SDK:LangChain vs. LlamaIndex
在中,我表示支持检索增强生成(RAG)作为私有、离线、去中心化 LLM 应用程序的关键技术。当你建造一些东西供自己使用时,你就是在孤军奋战。你可以从头开始构建,但在现有框架上构建会更有效。选择一个框架是一项巨大的投资。你想要一个拥有强大维护者和充满活力的社区的产品。幸运的是,这两种选择在去年都已合并,因此规模是相当可量化的。以下是这些数字的比较:从财务数据来看,LlamaIndex 表现强劲,融资金额接近LangChain,但其目标市场要小得多(以 GitHub 星数作为社区兴趣的近似值)。
2024-02-02 11:02:52 642
原创 大模型ReAct智能体开发实战
为了让事情变得简单、无忧,我们将使用 OpenAI GPT-3.5 Turbo 模型。我将通过 Azure OpenAI 来利用它。你还可以直接使用 OpenAI 甚至开源 LLM 的 API 服务。import os。
2024-02-02 11:00:03 1199
原创 LLM大模型应用开发权威指南【2024】
将 llm 对象的温度设置为 0.1,因为我们需要提高其余练习的可预测性。在另一个单元格中,复制新闻文章的正文,并让LLM对其进行总结。
2024-02-02 10:53:17 996
原创 基于SQL数据库的大模型RAG实现
检索增强生成 (RAG) 涉及从外部数据库获取当前或上下文相关信息,并在请求大型语言模型 (LLM) 生成响应时将其呈现给大型语言模型 (LLM) 的过程。这种方法有效地解决了生成不正确或误导性信息的问题。你能够存储专有业务数据或全局知识,并使你的应用程序能够在响应生成阶段为 LLM 检索此数据。
2024-02-02 10:45:51 949
原创 大模型ReAct提示框架
Yao 等人于 2022 年引入了一个名为 ReAct 的框架,其中 LLM 用于以交错的方式生成推理轨迹(reasoning traces)和特定于任务的操作。生成推理轨迹允许模型诱导、跟踪和更新行动计划,甚至处理异常。操作步骤允许与外部源(例如知识库或环境)交互并收集信息。ReAct 框架可以允许LLM与外部工具交互,以检索更多信息,从而获得更可靠和更真实的响应。结果表明,ReAct 在语言和决策任务方面的表现可以优于多种最先进的基线。ReAct 还可以提高LLM的人类可解释性和可信度。
2024-02-02 10:42:31 1246
原创 RAG Fusion简明教程
RAG Fusion (Raudaschl, 2023) 提供了解决 RAG 模型局限性的最佳解决方案。不同的限制,例如人工搜索效率低下和搜索过于简单化,会导致相关性较低的结果;然而,借助 RAG Fusion,人们可以轻松克服这些限制。它通过生成多个用户查询并使用倒数排名融合等策略对结果进行排名来克服挑战。这种临时技术弥合了用户查询与其预期含义之间的差距。RAG Fusion 技术使用编程语言、向量搜索数据库、具有查询生成功能的LLM以及结果重新排名步骤。
2024-02-01 10:14:03 1139
原创 为什么RAG是件大事【检索增强生成】
LLM的未来是边缘计算、无处不在的部署和深度个性化。这就需要 LLM 技术的民主化,而它离不开 ReAct 范式。成本必须下降。一项关键技术是检索增强生成(RAG),它可以使LLM个性化,而无需昂贵的训练过程(“微调”)。
2024-02-01 10:10:56 845
原创 大模型运行成本对比:GPT-3.5/4 vs. 开源托管
在过去的几个月里,生成式人工智能领域出现了许多令人兴奋的新进展。ChatGPT 于 2022 年底发布,席卷了人工智能世界。作为回应,各行业开始研究大型语言模型以及如何将其纳入其业务中。然而,在医疗保健、金融和法律行业等敏感应用中,ChatGPT 等公共 API 的隐私一直是一个问题。然而,最近 Falcon 和 LLaMA 等开源模型的创新使得从开源模型中获得类似 ChatGPT 的质量成为可能。这些模型的好处是,与 ChatGPT 或 GPT-4 不同,模型权重适用于大多数商业用例。
2024-02-01 10:07:34 1495
原创 大模型创业的3条军规
上周,一家初创公司未能围绕LLM和 RAG 开展业务,尽管他们获得了第一份 B2B 大型合同。以下是原因以及如何避免这种情况:创始人写了一篇博客解释了为什么他不得不关闭他的业务,我在这里总结了他的要点。产品非常好。那部分没问题。产品只是一个使用 GPT-4 回答用户查询的聊天应用程序。但在回答之前,它会搜索数据库(文档、常见问题解答、产品等)并根据这些数据进行回答(是的,这只是 RAG)!该初创公司的潜在客户旨在每月处理数十万次用户查询。因此,这家初创公司评估了选择哪些模型。
2024-02-01 10:03:23 861
原创 基于LLM的对话式搜索简明教程
生成式 AI 和大型语言模型 (LLM) 实现的最令人兴奋的模式之一是对话式搜索。在这篇文章中,我将介绍你为什么需要对话式搜索、它是如何工作的以及这种搜索模式有哪些限制和变体。
2024-01-31 10:16:20 998
原创 从搜索引擎到答案引擎:LLM驱动的变革
在过去的几周里,我一直在思考和起草这篇文章,认为谷歌搜索正处于被颠覆的边缘,它实际上可能会影响 SEO 作为业务牵引渠道的可行性。考虑到谷歌二十多年来的完全统治地位,以及任何竞争对手都完全无力削弱它,坦率地说,这似乎是一个荒谬的说法,我一直很紧张。但巧合的是,莱比锡大学本周发布并在其他地方报道的一项新研究实际上支持了我论文的至少一半,所以我想我应该完成并发布在这里。
2024-01-31 10:11:39 1513
原创 生成式AI应用开发参考架构
生成式人工智能是人工智能的一个子集,专注于创造新内容。无论是艺术品、音乐还是类人文本,GAI 模型都旨在生成训练数据中未明确存在的输出。GAI 的潜力是巨大的。它可以被视为一块画布,其边界与我们的想象力一样广阔。为什么生成式AI会改变游戏规则?与根据输入做出决策或预测(例如将电子邮件是否分类为垃圾邮件)的传统模型不同,生成模型会生成新内容。这种区别具有深远的意义。从即时制作逼真的视频游戏环境到协助艺术家和音乐家,更具体地说,改变用户与应用程序的交互,这些应用程序是多种多样的。
2024-01-31 10:06:44 1404
原创 企业级大模型的护城河:RAG + 微调
围绕LLM的炒作是前所未有的,但这是有道理的,生成式 AI 有潜力改变我们所知道的社会。在很多方面,LLM将使数据工程师变得更有价值——这令人兴奋!不过,向老板展示数据发现工具或文本到 SQL 生成器的炫酷演示是一回事,而将其与公司的专有数据(甚至更重要的客户数据)一起使用则是另一回事。很多时候,公司急于构建人工智能应用程序,却对其实验的财务和组织影响缺乏远见。这不是他们的错——高管和董事会应该为围绕这项(以及大多数)新技术的“快点走”心态承担责任。(还记得 NFT 吗?
2024-01-31 10:02:53 825
原创 基于LLM的文档搜索引擎开发【Ray+LangChain】
Ray 是一个非常强大的 ML 编排框架,但强大的功能伴随着大量的文档。事实上120兆字节。我们如何才能使该文档更易于访问?答案:使其可搜索!过去,创建自己的高质量搜索结果很困难。但通过使用 LangChain,我们可以用大约 100 行代码来构建它。这就是 LangChain 的用武之地。LangChain 为LLM相关的一切提供了一套令人惊叹的工具。它有点像 HuggingFace,但专门针对LLM。有用于提示、索引、生成和总结文本的工具(链)。
2024-01-31 09:59:38 1478
原创 THREE.JS动态场景开发实战【赛博朋克】
正如您所看到的,使用 Three.js 创建美丽的动态效果可能是一个有趣的旅程。尽管由于需要解释每个步骤,这个过程可能会感觉很漫长,但令人印象深刻的是,您只需 100 行代码就可以创建如此漂亮的东西。Three.js动态场景实战 - BimAnt。
2024-01-31 09:54:13 732
原创 52个值得收藏的无代码AI平台【2024】
无代码”不仅仅是炒作。这是一场革命。在无代码之前,如果你想制作一个网站,你需要一名技术网络开发人员。现在,你可以使用 Bubble、Webflow、Carrd 或无数其他可视化工具。人工智能领域也发生了同样的情况。在无代码之前,你需要数据科学家、数据工程师和机器学习工程师来构建和部署人工智能模型。现在,你可以使用无代码人工智能。虽然无代码 Web 开发已经存在了几十年(想想 90 年代末的 blogger.com),但无代码 AI 却是最近才出现的。
2024-01-31 09:47:59 934
原创 利基AI模型权威指南【2024】
在线教程和开发者社区可以帮助你解决更复杂的问题。定制现有的 AI 模型,以节省从头开始训练自己的模型的时间和金钱。使用无代码工具来节省时间、金钱和精力来构建你自己的 AI 模型。通过博客文章、研讨会和短片向人们传授你的 AI 模型如何工作。构建专有人工智能模型的开源替代方案,以获得认可并获得社区贡献。SaaS公司将建立自己的利基人工智能模型来改进其核心功能。利基AI模型经过微调,可以在特定领域的任务上表现良好。拥有独特的用户生成数据的公司将寻找将其货币化的方法。这取决于你要构建的内容。
2024-01-31 09:44:55 985
原创 数据标注市场趋势【2024】
2023 年是“生成式AI年”,震撼了全球科技行业。最初我们对这项技术并不熟悉,但现在我们在工作和日常生活中都依赖生成式AI解决方案。进入 2024 年,我们热切期待人工智能的进一步进步。尽管今年新兴技术趋势各不相同,但每种趋势的基础都是一个:数据。如今,许多商业活动都依赖于数据,包括每个人都在谈论的 GenAI。数据适用于从商业交易、消费者购买到观看 Netflix 电影的方方面面。此外,公司可以利用这一最重要的资产优化其工作流程并为未来制定更好的战略。
2024-01-31 09:38:32 1055
原创 Mistral-7B本地运行【Ollama】
Mistral 7B是 Mistral AI 发布的 70 亿参数语言模型。Mistral 7B 是一种精心设计的语言模型,可提供高效和高性能以支持实际应用程序。由于效率的提高,该模型适用于需要快速响应的实时应用。发布时,Mistral 7B 在所有评估基准中均优于最佳开源 13B 模型 (Llama 2)。能力:Mistral 7B 在各种基准测试中都表现出了卓越的性能,甚至优于参数数量较多的模型。它在数学、代码生成和推理等领域表现出色。以下是数学推理、世界知识和常识推理等多项任务的结果。
2024-01-31 09:33:45 1270
原创 39种值得关注的利基AI应用【2024】
人工智能非常令人兴奋。潜在的应用数量如此巨大,而且这个空间正在以光速发展。由于步伐轻快,听到该技术正在堵塞所有不同的漏洞就像开车穿过乡村小镇向窗外看一样。你捕捉到了大部分重要的东西,但许多独特的魅力和隐藏的宝石却被忽视了。本文讨论了13类共39个跨行业实施的利基人工智能应用程序,重点介绍了一些在宏伟计划中可能被忽视的迷人进步。让我们将我们的进步分解为子类别,并扩展适合每个子类别的个人参与者和公司。请记住,这些实体中的每一个都是完全独特的,并且很可能适合多个子类别。
2024-01-30 10:05:35 683
原创 AI智能体综合指南【2024】
代理”、“人工智能代理”、“自主代理”或“LLM代理”等术语仍然存在一些含糊之处。我们定义一个代理(与其他变体互换使用),类似于 Shawn Wang,又名“Swyx”(smol ai 的创始人)、Matt Schlicht(Octane AI 的首席执行官),以及主要来自 OpenAI 的 Lilian Weng。人工智能代理(AI Agent)拥有三个主要功能。
2024-01-30 09:57:22 840
原创 OpenAI Assistants API
Assistants API 是一个强大的框架,由几个关键组件组成,这些组件协同工作以促进用户与 AI 之间的交互。Assistant:助手。这是 API 的核心,是一个连接 OpenAI 模型的专用 AI。它处理用户输入并根据启用的工具和配置的指令生成响应。Thread:线程。将线程视为会话或对话。它存储用户和助手之间交换的一系列消息。这允许在正在进行的交互中保留上下文。Message:消息。这些是添加到线程中的各个通信片段。每条消息可以来自用户或助手。
2024-01-30 09:54:02 894
原创 9个值得关注的数据科学趋势【2024】
尽管这听起来像是陈词滥调,但到 2024 年,数据将无处不在,而且还在不断扩大。为了管理它,数据科学是一个前沿领域,它结合了统计学、计算机科学和领域专业知识来提取有意义的见解。这对于各行业的公司预测当前的数据科学趋势并做出更明智的业务决策非常有用。在本文中,Binariks 将研究跨行业以及医疗保健、保险和银行等特定领域的数据科学技术的最新增长以及 2024 年的顶级数据科学趋势。
2024-01-30 09:51:43 665
原创 2024年AI全景:趋势、预测和可能性
欢迎来到 2024 年人工智能和技术的可能性之旅。在这里,每一个预测都是一个潜在的窗口,通向充满创新、变革、更重要的是类似于 1950 年代工业革命的未来。20 世纪 50 年代见证了数字计算的兴起,重塑了行业和社会规范。如今,人工智能发挥着类似的作用,正在推动下一次工业革命。就像战后的技术繁荣一样,2024 年我们将迎来行业转型、新技能需求以及重大道德考虑的提出。这里表达的观点都是我自己的,是基于我的个人、商业和学术经验的结合。
2024-01-30 09:42:42 825
原创 AI未来10年展望【2024-2034】
人工智能(AI)在过去十年中迅速发展,其未来有望取得更加引人注目的发展。在本文中,我们将探讨人工智能的未来 10 年以及我们对未来十年的期望。我们将解决一些关键问题,以全面概述人工智能的未来。
2024-01-30 09:34:19 581
原创 深入理解3D扩散生成式模型
现在,如果你想回顾一下扩散模型,请查看此处,但主要回顾如下:扩散过程具有向图像添加噪声的正向过程和从图像中去除噪声的反向过程。你可以将这个前向过程视为只是将先前的输入乘以某个数量,并向正态分布添加一些常数倍。就这样吧!噪声图像 = a ⋅ 噪声较小的图像 + b ⋅ 噪声这些 a 和 b 在去噪过程的某个阶段发生变化,但几乎所有扩散模型都完全遵循上述想法!每执行一次上述操作,我们就前进一步。所以,原始图像是 z₀,但如果我们进行上述噪声处理 2 次,我们就会得到 z2。然后,似乎很明显。
2024-01-25 11:28:54 1188
原创 视频动作识别终极指南【2024】
让我们从尝试构建问题开始。但是,我会马上说,在一般情况下,这是不可能的。什么是动作(action)?如果我们看一下研究任务动作识别(action recognition),这里也没有达成共识。但这只是其中的一小部分。有任务“动作分类”、“视频分类”和“自监督动作识别”(这些是一些部分重叠的任务)。有带有骨架的数据集;有关于烹饪过程的数据集。在某些数据集中,它是短视频,而另一些则很长。什么是动作?动作(action)是一个事件(event),可以在视频上标记,先验地知道它可能在那里发生。
2024-01-22 11:19:49 918
原创 基于SAM的视频标注
在本文中,我们将演示基础模型的应用,例如 Meta 的 Segment Anything 和 YOLOv8,以自动检测、分类和绘制视频中感兴趣对象的蒙版。。在本指南中,我们将自动检测和分割视频中的对象。视频有很多帧,标记起来很乏味。分割蒙版的标记更加耗时,因为它们在逐帧之间变化很小,每次都需要手动微调。借助基础模型,可以自动执行并显著加快标记过程,从而在更短的时间内标记更多视频数据。这使你可以将宝贵的时间集中在审查上,只需更正 AI 模型的输出即可。
2024-01-22 10:46:36 1148
原创 基于时空模型的视频异常检测
假设存在一个运动区域,规则要求只能进行特定的运动项目。出于安全原因或因为业主不喜欢而禁止进行任何其他活动:)。我们要解决的问题是:如果我们知道正确行为的列表,我们是否可以创建一个视频监控系统,在出现不常见的行为发出通知?这无非是一个异常检测(anomaly detection)问题,即在我们生活或工作的环境中发现异常事件发生的地方,而正常情况下事情进展顺利。解决异常检测任务的流行方法是通过无监督或半监督方法。
2024-01-22 09:58:15 1187
原创 基于LSTM和CNN的动作识别
在本博客中,我们将使用 UCF101 数据集深入探索动作识别的迷人世界。动作识别是计算机视觉中的一项关键任务,其应用范围从监视到人机交互。UCF101 数据集是我们进行此探索的游乐场。我们的目标是建立一个结合卷积神经网络 (CNN) 和长短期记忆 (LSTM) 网络的动作识别模型,以取得令人印象深刻的结果。
2024-01-17 15:44:13 954
原创 LangChain输出解析器
大型语言模型(或 LLM)生成文本,当你构建应用程序时,有时需要使用结构化数据而不是字符串。LangChain 提供了输出解析器,可以帮助我们做到这一点。我们将回顾 LangChain 提供的 Pydantic (JSON) 解析器。
2024-01-16 09:49:30 974
原创 3个控制LLM生成随机性的语言模型参数
你可能已经使用 ChatGPT 或任何其他主要的LLM来构建系统、执行分类任务、回答问题或将其用作各种创造性和信息性任务的辅助。然而,控制这些模型的输出以满足特定要求或匹配所需的风格至关重要。在本文中,我们将重点关注影响语言模型输出的三个基本参数:top-k、top-p 和温度。在我们深入了解这些参数之前,我们需要了解贪婪采样(greedy sampling)和随机采样(random sampling)之间的区别。
2024-01-16 09:47:19 1164
区块链论文精选合集-2.pdf
2020-04-15
金融分布式账本技术安全规范 - JR/T 0184-2020
2020-03-01
区块链论文精选合集-1.pdf
2020-02-19
Fabric Java SDK 1.4 快速入门
2019-04-23
EOS RPC中文手册
2018-12-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人