- 博客(90883)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 AI人工智能大模型中——数据集就是一切 The dataset is everything
我认为对计算乘数的搜索比任何不严格遵守缩放定律的人想象的要普遍得多：实际上，机器学习领域的每一位不研究现有技术的新应用的科学家都应该执行计算效率扫描以确保他们的发现确实相关。不过，随着训练的进行，这些机制会“上线”：当您需要提高学习更复杂的数据分布层的能力时，它们就会提供有意义的价值。更重要的是，认识到像 GPT-4 或 DALL-E 3 这样的巨大模型仍然存在根本性缺陷，这表明试图从 Llama 2 或 Stable Diffusion 等相对较小的模型中获得真正智能的行为是没有希望的。
2024-04-25 03:17:14
15
原创 【AI大模型应用开发实战】大型语言模型评估指南白皮书（LLM Eval）
近年来，大型语言模型（LLM）在自然语言处理领域取得了重大进展，例如 GPT-3 和 Chat-GPT。这些模型经过大型数据集的训练，在文本相关任务中表现出卓越的能力，甚至超越了人类。本文将简要介绍如何验证 LLMs 性能的评估指标。自然语言处理（NLP）是人工智能的一个领域，涉及计算机和人类语言之间的交互。NLP 的基本任务之一是语言建模 (LM)，它涉及构建统计模型来分析和生成自然语言。LM 已成为推进机器语言智能的关键方法，使机器能够执行机器翻译、情感分析和对话系统等任务。
2024-04-24 23:14:44
135
3
原创 Transformer模型的预训练与微调技术
介绍了自然语言处理技术的发展历程，特别是Transformer模型的崛起，并详细介绍了Transformer模型的核心概念、算法原理和应用场景。自然语言处理技术是人工智能领域的重要研究方向，其目标是使计算机能够理解和处理人类语言。近年来，随着深度学习技术的兴起，NLP领域取得了显著的进展。Transformer模型是一种基于自注意力机制的深度学习模型，它采用编码器-解码器架构，并通过多头注意力机制来捕捉输入序列中不同位置之间的依赖关系。
2024-04-24 12:03:24
477
8
原创 强化学习在自动驾驶中的应用
随着科技的发展，自动驾驶已成为汽车行业的热门话题。它旨在通过智能系统实现车辆的自主导航，减少人为错误造成的交通事故，并提高交通效率。强化学习作为机器学习的一种，凭借其模仿人类学习方式，即通过反复试错和奖励机制优化行为的能力，正逐步成为推动自动驾驶技术的重要驱动力。未来，强化学习将在自动驾驶领域发挥更大作用，实现更高级别的自动化。然而，挑战依然存在，如数据隐私保护、安全性验证、法律法规的适应性以及应对未知环境的能力。随着技术的进步，这些挑战有望得到解决，从而推动自动驾驶技术迈向更高的成熟度。
2024-04-11 14:35:48
1046
1
原创 基于transformer的端到端语音识别模型解析
语音识别作为人机交互的重要技术之一,在近年来得到了飞速的发展。传统的语音识别系统通常由声学模型、语言模型和解码器三个主要部分组成,需要进行复杂的管道式处理。随着深度学习技术的不断发展,出现了基于端到端(end-to-end)的语音识别模型,能够直接从原始语音信号中输出文本序列,大大简化了系统结构。其中,基于Transformer的端到端语音识别模型在近年来取得了突破性的进展,在多个公开数据集上取得了领先的识别性能。
2024-04-08 11:59:05
513
1
原创 RAG 提示词工程最佳实践
虽然目前网络上关于提示工程的相关资料已经多如牛毛，然而 RAG (检索增强生成) 任务中提示工程如何进行的资料相对而言却较少。不少朋友之前也热烈的讨论过 RAG 场景下提示词的运用，因此 Zen 禅与计算机程序设计艺术 特别推出 RAG 任务下的提示词实践经验系列分享。RAG 是检索增强生成（Retrieval Augmented Generation）的简称，是当前最火热的企业级LLM应用方案。
2024-04-06 11:17:08
95
2
原创 Ilya Sutskever: 元学习和自我对弈 OpenAI Meta-Learning & Self-Play | MIT Artificial General Intelligence AGI
欢迎来到 通用人工智能，今天我们有伊利亚 sutskever 联合创始人和研究开放人工智能总监，他在多伦多的 amel 小组开始工作，杰弗里·辛顿 (Geoffrey Hinton) 随后与安嘉莹一起在斯坦福大学工作，作为 Google Brain 的研究科学家，共同创立了 DNN 研究三年，并最终共同创立了开放 AI。
2024-04-02 00:01:29
60
2
原创 神经网络基础：从生物神经元到人工神经元
人工智能领域中,神经网络作为一种重要的机器学习模型,已经广泛应用于计算机视觉、自然语言处理、语音识别等众多领域,取得了令人瞩目的成就。神经网络的核心思想源于人类大脑中神经元之间的信息传递与处理机制。通过模拟生物神经元的结构和功能,人工神经网络得以实现对复杂问题的高效学习和处理。本文将从生物神经元的基本构造和工作原理出发,系统地介绍人工神经元的核心概念,并深入探讨神经网络的基本算法原理、最佳实践、应用场景以及未来发展趋势。希望能够帮助读者全面理解神经网络技术的来龙去脉,为进一步学习和应用打下坚实的基础。
2024-04-01 00:55:11
786
原创 词嵌入：基础知识教程 Word Embedding: Basics
GloVe 基于强大的直觉，即单词的真正含义源自两个单词相邻出现的预期概率的差异。上表显示，在我们的语料库中，“a”后面跟着“penny”两次，而单词“earned”、“saved”和“wise”各跟随“penny”一次。在一个美妙的数学推导中，新矩阵的单元格是原始矩阵的行和列之间的点积的结果。这些方法是基于预测的，因为它们提供了单词的概率，并被证明是单词类比和单词相似度等任务的最先进技术。Google 科学家发表的一篇论文 Word2Vec 的前提是，如果经过训练来预测单词的出现，单词嵌入会更加准确。
2024-03-27 13:13:49
60
原创 霍普菲尔德神经网络和大脑神经网络系统 Hopfield nets and the brain
目录Why are Hopfield nets so interesting and intriguing?为什么霍普菲尔德网如此有趣且令人着迷？What is a hopfield net and how do they work?什么是霍普菲尔德网以及它们如何工作？How do they learn? 他们如何学习？How feedforward works in hopfield nets?hopfield 网络中前馈如何工作？The “energy” function of a Hopfield n
2024-03-21 00:55:36
712
1
原创 循环神经网络背后的直觉 The intuition behind recurrent neural networks
目录Why a new post about RNN?为什么要写一篇关于 RNN 的新文章？Before you start 在你开始之前Neural networks and deep learning神经网络和深度学习Neural Networks and Deep Learning is a free online book. The book will teach you about: Neural networks, a beautiful…神经网络和深度学习是一本免费的在线书籍。这本书将教您：神
2024-03-21 00:46:27
730
原创 【AI大模型应用开发实战】逐步推导反向传播计算原理 Backpropagation step by step
不过，输出层的大小将为 10，因为我们有从 0 到 9 的 10 个可能的标签。当训练网络时，我们输入一个数字为零的图像，我们希望第一个神经元值接近于尽可能接近 1，其余尽可能接近 0。在我们的玩具网络中，我们只有一组权重。由于权重均为正，并且输入本身为正，因此神经元的结果也为正，在这种情况下，RELU 是恒等函数。简而言之，反向传播计算梯度下降以最小化成本函数，但由于神经网络中层的排列方式使它们成为复合函数，反向传播只不过是计算链式法则后的链式法则以获得导数的值成本函数相对于网络各层深处的权重。
2024-03-21 00:19:34
1124
原创 【AI大模型应用开发实战】神经网络核心算法原理与学习过程
随着计算机技术的飞速发展，人工智能逐渐成为了当今科技领域的热门话题。人工智能旨在让计算机能够模拟人类的思维方式，从而实现智能化的决策和行为。在这个过程中，神经网络作为一种模拟人脑神经元连接的计算模型，成为了实现人工智能的关键技术之一。yfw⋅xbyfw⋅xbE12∑i1nyi−ti2E21∑i1nyi−ti2反向传播：δiLyi−tif′ziLδiLyi−ti。
2024-03-19 18:01:05
992
6
原创 【模型精调LoRA】LoRA 低秩适应微调的工作原理和代码实现示例 What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED
LoRA 是一种有效的大模型微调技术，可以提高推理效率并保持良好的性能。LoRA 在许多下游任务中都取得了良好的效果，包括文本分类、机器翻译和问答。
2024-03-11 12:59:38
852
原创 【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
2024-03-09 11:39:09
376
1
原创 第二章：AI大模型的基础知识2.1 机器学习与深度学习基础2.1.3 神经网络的基本结构
自从人工智能（AI）成为可能的研究领域以来，研究人员一直在尝试模拟生物神经网络中的行为，从而产生可编程的计算机系统。人类大脑中的神经元被认为是执行计算的基本单位，这些单位以非常高效的方式组合在一起，形成复杂的网络来处理信息。自然界中的生物神经网络已经存在数百万年，并且已经演变成了一种非常强大和高效的信息处理系统。因此，模仿生物神经网络并将其应用到计算机系统中可能是一个重大飞跃。人工神经网络（ANN）是一种由简单的处理单元（neurons）组成的网络，它们是通过可训练的连接相互连接的。
2024-02-01 15:00:57
134
原创 AI大模型应用入门实战与进阶：构建你的第一个大模型：实战指南
AI大模型是指具有大量参数和复杂结构的人工智能模型。这些模型通常需要大量的计算资源和数据来进行训练，以实现高性能的预测和生成能力。近年来，随着计算能力的提高和数据量的增加，AI大模型在各种任务中取得了显著的成果，如自然语言处理、计算机视觉和强化学习等。模型压缩与加速：随着模型规模的增加，计算资源和存储需求也在不断增加。未来的研究需要关注如何压缩和加速大模型，以适应更多的应用场景。数据效率与迁移学习：当前的大模型通常需要大量的数据和计算资源进行训练。
2024-01-28 03:18:50
1037
1
原创 【ChatGPT核心原理实战】《提示工程指南》 | Prompt Engineering Guide
提示工程是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提高大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计和研发出强大的技术，实现和大语言模型或其他生态工具的高效接轨。本指南介绍了提示词相关的基础知识，帮助用户了解如何通过提示词和大语言模型进行交互并提供指导建议。
2024-01-05 01:17:04
1027
1
原创 【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
2023-12-22 02:23:09
2570
6
原创 RAG模型的偏差与公平性
RAG模型的偏差与公平性1. 背景介绍1.1 人工智能的发展与挑战人工智能(AI)技术在过去几十年里取得了长足的进步,深度学习算法在计算机视觉、自然语言处理等领域展现出了令人惊叹的能力
2024-04-25 16:39:18
423
原创 Qlearning的未来：持续探索与创新
1. 背景介绍1.1 强化学习的崛起近年来，随着人工智能的飞速发展，强化学习（Reinforcement Learning，RL）作为机器学习的一个重要分支，受到了越来越多的关注。它能够让智能体在与环境的交互中学习，通过试错的方式不断优化自身的策略，最终实现特定目标。Q-learning 作为强化
2024-04-25 16:38:46
457
原创 NumPy：科学计算库
NumPy：科学计算库1.背景介绍1.1 科学计算的重要性在当今的数据时代,科学计算在各个领域扮演着越来越重要的角色。无论是物理学、化学、生物学、金融、气象学还是人工智能等领域,都需要对大量数据进行高效的数值计算和分析。传统的编程语言如C、Ja
2024-04-25 16:38:14
369
原创 KMeans聚类：简单高效的聚类算法
K-Means聚类：简单高效的聚类算法1.背景介绍1.1 什么是聚类聚类(Clustering)是一种无监督学习技术,其目标是将数据集中的对象划分为若干个通常是不相交的子集(簇),使得同一个簇中的对象相似度较高,而不同簇之间的对象相似
2024-04-25 16:37:43
536
原创 CNN在金融行业中的应用：欺诈检测和风险管理
1. 背景介绍1.1 金融行业面临的挑战金融行业一直是欺诈和风险活动的主要目标。随着金融交易和服务日益数字化,欺诈分子也在不断改进手段,利用新技术实施更加复杂和隐蔽的欺诈行为。同时,金融机构也面临着各种风险,如信用风险、市场风险和操作风险等,这些风险如果管理不当,可能会导致巨大的经济损失。
2024-04-25 16:37:11
585
原创 CartPole：平衡的艺术
1. 背景介绍1.1 强化学习的崛起近年来，人工智能领域最令人兴奋的发展之一就是强化学习（Reinforcement Learning）的崛起。强化学习是一种机器学习范式，专注于训练智能体（Agent）通过与环境交互来学习如何在复杂环境中做出决策。不同于监督学习需要大量标记数据，强化学习允许智能体
2024-04-25 16:36:39
418
原创 AI在电子商务中的用例
1. 背景介绍随着电子商务的蓬勃发展，消费者行为和市场趋势的复杂性日益增加。为了在竞争激烈的市场中保持领先地位，电子商务企业需要利用先进技术来优化运营、提升客户体验并推动增长。人工智能 (AI) 作为一种变革性技术，正在改变电子商务的各个方面，为企业提供了前所未有的机遇。1.1 电子商务的挑战
2024-04-25 16:36:08
429
原创 AI与AR_VR结合：打造沉浸式购物体验
1. 背景介绍随着科技的不断发展，人工智能（AI）、增强现实（AR）和虚拟现实（VR）技术正逐渐改变着我们的生活方式。其中，电子商务领域也正经历着深刻的变革。传统的线上购物模式已经无法满足消费者日益增长的个性化和体验式需求。而AI、AR/VR技术的融合，为打造沉浸式购物体验提供了无限可能。1.
2024-04-25 16:35:37
244
原创 AI驱动的电子商务：简化流程
1. 背景介绍电子商务的蓬勃发展，带来了前所未有的机遇和挑战。庞大的数据量、复杂的客户需求和激烈的市场竞争，使得传统的人工管理方式捉襟见肘。人工智能（AI）的出现，为电子商务带来了新的解决方案，它能够自动化流程、提升效率、优化决策，从而简化电子商务的各个环节，帮助企业在竞争中脱颖而出。1.1 电
2024-04-25 16:35:05
182
原创 AI巨头的行业垂直大模型实践：概述
AI巨头的行业垂直大模型实践：概述1.背景介绍1.1 人工智能的发展历程人工智能(Artificial Intelligence, AI)是当代科技发展的重要领域,自20世纪50年代诞生以来,已经经历了几个重要的发展阶段。早期的人
2024-04-25 16:34:33
279
原创 AI导购系统架构设计：模块划分与协同
1. 背景介绍1.1 电商发展与用户痛点近年来，电子商务的蓬勃发展为消费者带来了极大的便利。然而，海量的商品信息也让用户在选择商品时感到无所适从。传统电商平台的搜索和推荐功能往往无法满足用户个性化的需求，导致用户体验下降，购买效率低下。1
2024-04-25 16:34:02
365
原创 AI导购系统架构设计：打造智能购物体验
1. 背景介绍随着电子商务的蓬勃发展和人工智能技术的日新月异，AI 导购系统应运而生。它利用人工智能技术，为用户提供个性化的购物推荐和导购服务，旨在提升用户购物体验，提高用户满意度和忠诚度，并为商家带来更高的转化率和销售额。1.1 电子商务的现状与挑战电子商务在过去几十年中经
2024-04-25 16:33:30
381
原创 AI导购系统架构设计：打造智能导购引擎
1. 背景介绍随着电子商务的蓬勃发展，消费者在海量商品中寻找心仪之物的难度也日益增加。传统的搜索和推荐方式往往无法满足个性化、精准化的购物需求。AI导购系统应运而生，旨在利用人工智能技术，为用户提供智能化的购物指导和推荐服务。1.1 电商行业的痛点信息过
2024-04-25 16:32:59
352
原创 AI大语言模型和知识图谱融合在医药领域应用详细技术方案设计
AI大语言模型和知识图谱融合在医药领域应用详细技术方案设计1.背景介绍1.1 医药领域的重要性和挑战医药领域关乎人类健康和生命安全,是一个极其重要且高度专业化的领域。随着人口老龄化和新兴疾病的不断增加,
2024-04-25 16:32:27
524
原创 AGI在教育领域的变革性作用
1. 背景介绍1.1 人工智能与教育的交汇点人工智能（AI）近年来取得了飞速发展，其影响力已渗透到各个领域，教育也不例外。从智能辅导系统到个性化学习平台，AI正在改变我们学习和教学的方式。然而，现有的AI系统大多基于狭义人工智能（ANI），其能力局限于特定任务，缺乏通用性和适应性。通用人工
2024-04-25 16:31:56
194
原创 自然语言处理技术：解读用户评论与反馈
1. 背景介绍1.1 用户评论与反馈的重要性在信息爆炸的时代，用户评论与反馈已经成为企业了解用户需求、改进产品和服务的重要途径。通过分析用户评论，企业可以：发现产品和服务的优点和缺点了解用户的
2024-04-25 16:31:24
336
原创 自动驾驶：未来交通的革新
1. 背景介绍1.1 交通现状与挑战随着经济的发展和城市化进程的加快，交通拥堵、交通事故、环境污染等问题日益严重。传统交通方式已无法满足人们对安全、高效、便捷、环保的出行需求。1.2 自动驾驶技术的发展近年来，随着人工智能、传
2024-04-25 16:30:53
476
原创 自编码器应用案例：工业质检的智能化解决方案
自编码器应用案例：工业质检的智能化解决方案1.背景介绍1.1 工业质检的重要性在现代工业生产中,产品质量是关键因素之一。高质量的产品不仅能够满足客户需求,还能提高企业的竞争力和声誉。然而,传统的人工质检存在着效率低下、疲劳造
2024-04-25 16:30:21
284
原创 智能客服：7x24小时在线服务
1. 背景介绍随着互联网和移动互联网的普及，企业与用户的沟通方式发生了巨大的变化。传统的电话客服和人工在线客服已经无法满足用户随时随地获取信息和服务的需要。智能客服应运而生，它利用人工智能技术，能够模拟人类的对话方式，为用户提供7x24小时在线服务，极大地提升了用户体验和企业效率。1.1. 客服行
2024-04-25 16:29:49
348
原创 知识图谱与深度学习的结合
1. 背景介绍1.1 人工智能的蓬勃发展近年来，人工智能技术突飞猛进，尤其是在深度学习领域，取得了令人瞩目的成就。深度学习模型在图像识别、自然语言处理、语音识别等方面展现出强大的能力，推动了人工智能应用的快速落地。然而，深度学习模型也存在一些局限性，例如缺乏推理能力、可解释性差等。
2024-04-25 16:29:18
376
原创 知识图谱推理在RAG模型中的应用
1. 背景介绍随着信息爆炸时代的到来，如何从海量数据中获取精准、有价值的信息成为一项巨大的挑战。传统的搜索引擎和推荐系统往往只能基于关键词匹配或协同过滤等方法进行信息检索，难以理解用户查询的语义和意图，导致结果的相关性和准确性较低。近年来，随着人工智能技术的快速发展，知识图谱和检索增强生成（Retrieval Augmented Generatio
2024-04-25 16:28:46
338
ClickHouse 高性能、可扩展和低成本的OLAP数据库 陈光剑 20230912
2023-09-14
Will AI Fix Work? 工作节奏超过了我们的跟上能力 人工智能有望创造一种全新的工作方式
2023-05-17
THE AI INDEX REPORT 人工智能指数报告 Measuring trends in Artificial Inte
2023-04-06
Kotlin Coroutines by Tutorials (1st Edition)
2021-04-28
Principles of programming languages by Gilles Dowek (auth.) (z-lib.org).pdf
2021-04-28
A Brief History of Artificial Intelligence
2021-04-28
An introduction to functional programming through lambda calculus.PDF.zip
2019-09-22
《Kotlin项目实战开发》第3章+类型系统与可空类型
2017-09-30
2024 年可以实现 AGI 吗？
2024-01-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人