- 博客(92383)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 Python深度学习实践：自适应学习率调整技术
这篇文章介绍了深度学习中自适应学习率调整技术，包括 AdaGrad、RMSprop、Adam 等算法的原理、数学模型和公式，并提供了使用 TensorFlow 和 PyTorch 实现 Adam 优化器的代码示例，最后讨论了自适应学习率调整技术的未来发展趋势和挑战。自适应学习率调整技术是深度学习领域的重要研究方向，其目标是根据模型训练过程中的反馈信息，自动调整学习率的大小，提高模型训练效率和效果。
2024-05-06 02:25:58
744
2
原创 AI人工智能大模型中——数据集就是一切 The dataset is everything
我认为对计算乘数的搜索比任何不严格遵守缩放定律的人想象的要普遍得多：实际上，机器学习领域的每一位不研究现有技术的新应用的科学家都应该执行计算效率扫描以确保他们的发现确实相关。不过，随着训练的进行，这些机制会“上线”：当您需要提高学习更复杂的数据分布层的能力时，它们就会提供有意义的价值。更重要的是，认识到像 GPT-4 或 DALL-E 3 这样的巨大模型仍然存在根本性缺陷，这表明试图从 Llama 2 或 Stable Diffusion 等相对较小的模型中获得真正智能的行为是没有希望的。
2024-04-25 03:17:14
89
原创 【AI大模型应用开发实战】大型语言模型评估指南白皮书（LLM Eval）
近年来，大型语言模型（LLM）在自然语言处理领域取得了重大进展，例如 GPT-3 和 Chat-GPT。这些模型经过大型数据集的训练，在文本相关任务中表现出卓越的能力，甚至超越了人类。本文将简要介绍如何验证 LLMs 性能的评估指标。自然语言处理（NLP）是人工智能的一个领域，涉及计算机和人类语言之间的交互。NLP 的基本任务之一是语言建模 (LM)，它涉及构建统计模型来分析和生成自然语言。LM 已成为推进机器语言智能的关键方法，使机器能够执行机器翻译、情感分析和对话系统等任务。
2024-04-24 23:14:44
196
3
原创 Transformer模型的预训练与微调技术
介绍了自然语言处理技术的发展历程，特别是Transformer模型的崛起，并详细介绍了Transformer模型的核心概念、算法原理和应用场景。自然语言处理技术是人工智能领域的重要研究方向，其目标是使计算机能够理解和处理人类语言。近年来，随着深度学习技术的兴起，NLP领域取得了显著的进展。Transformer模型是一种基于自注意力机制的深度学习模型，它采用编码器-解码器架构，并通过多头注意力机制来捕捉输入序列中不同位置之间的依赖关系。
2024-04-24 12:03:24
538
8
原创 强化学习在自动驾驶中的应用
随着科技的发展，自动驾驶已成为汽车行业的热门话题。它旨在通过智能系统实现车辆的自主导航，减少人为错误造成的交通事故，并提高交通效率。强化学习作为机器学习的一种，凭借其模仿人类学习方式，即通过反复试错和奖励机制优化行为的能力，正逐步成为推动自动驾驶技术的重要驱动力。未来，强化学习将在自动驾驶领域发挥更大作用，实现更高级别的自动化。然而，挑战依然存在，如数据隐私保护、安全性验证、法律法规的适应性以及应对未知环境的能力。随着技术的进步，这些挑战有望得到解决，从而推动自动驾驶技术迈向更高的成熟度。
2024-04-11 14:35:48
1085
1
原创 基于transformer的端到端语音识别模型解析
语音识别作为人机交互的重要技术之一,在近年来得到了飞速的发展。传统的语音识别系统通常由声学模型、语言模型和解码器三个主要部分组成,需要进行复杂的管道式处理。随着深度学习技术的不断发展,出现了基于端到端(end-to-end)的语音识别模型,能够直接从原始语音信号中输出文本序列,大大简化了系统结构。其中,基于Transformer的端到端语音识别模型在近年来取得了突破性的进展,在多个公开数据集上取得了领先的识别性能。
2024-04-08 11:59:05
555
原创 RAG 提示词工程最佳实践
虽然目前网络上关于提示工程的相关资料已经多如牛毛，然而 RAG (检索增强生成) 任务中提示工程如何进行的资料相对而言却较少。不少朋友之前也热烈的讨论过 RAG 场景下提示词的运用，因此 Zen 禅与计算机程序设计艺术 特别推出 RAG 任务下的提示词实践经验系列分享。RAG 是检索增强生成（Retrieval Augmented Generation）的简称，是当前最火热的企业级LLM应用方案。
2024-04-06 11:17:08
167
2
原创 Ilya Sutskever: 元学习和自我对弈 OpenAI Meta-Learning & Self-Play | MIT Artificial General Intelligence AGI
欢迎来到 通用人工智能，今天我们有伊利亚 sutskever 联合创始人和研究开放人工智能总监，他在多伦多的 amel 小组开始工作，杰弗里·辛顿 (Geoffrey Hinton) 随后与安嘉莹一起在斯坦福大学工作，作为 Google Brain 的研究科学家，共同创立了 DNN 研究三年，并最终共同创立了开放 AI。
2024-04-02 00:01:29
94
2
原创 神经网络基础：从生物神经元到人工神经元
人工智能领域中,神经网络作为一种重要的机器学习模型,已经广泛应用于计算机视觉、自然语言处理、语音识别等众多领域,取得了令人瞩目的成就。神经网络的核心思想源于人类大脑中神经元之间的信息传递与处理机制。通过模拟生物神经元的结构和功能,人工神经网络得以实现对复杂问题的高效学习和处理。本文将从生物神经元的基本构造和工作原理出发,系统地介绍人工神经元的核心概念,并深入探讨神经网络的基本算法原理、最佳实践、应用场景以及未来发展趋势。希望能够帮助读者全面理解神经网络技术的来龙去脉,为进一步学习和应用打下坚实的基础。
2024-04-01 00:55:11
843
原创 词嵌入：基础知识教程 Word Embedding: Basics
GloVe 基于强大的直觉，即单词的真正含义源自两个单词相邻出现的预期概率的差异。上表显示，在我们的语料库中，“a”后面跟着“penny”两次，而单词“earned”、“saved”和“wise”各跟随“penny”一次。在一个美妙的数学推导中，新矩阵的单元格是原始矩阵的行和列之间的点积的结果。这些方法是基于预测的，因为它们提供了单词的概率，并被证明是单词类比和单词相似度等任务的最先进技术。Google 科学家发表的一篇论文 Word2Vec 的前提是，如果经过训练来预测单词的出现，单词嵌入会更加准确。
2024-03-27 13:13:49
92
原创 霍普菲尔德神经网络和大脑神经网络系统 Hopfield nets and the brain
目录Why are Hopfield nets so interesting and intriguing?为什么霍普菲尔德网如此有趣且令人着迷？What is a hopfield net and how do they work?什么是霍普菲尔德网以及它们如何工作？How do they learn? 他们如何学习？How feedforward works in hopfield nets?hopfield 网络中前馈如何工作？The “energy” function of a Hopfield n
2024-03-21 00:55:36
759
1
原创 循环神经网络背后的直觉 The intuition behind recurrent neural networks
目录Why a new post about RNN?为什么要写一篇关于 RNN 的新文章？Before you start 在你开始之前Neural networks and deep learning神经网络和深度学习Neural Networks and Deep Learning is a free online book. The book will teach you about: Neural networks, a beautiful…神经网络和深度学习是一本免费的在线书籍。这本书将教您：神
2024-03-21 00:46:27
776
原创 【AI大模型应用开发实战】逐步推导反向传播计算原理 Backpropagation step by step
不过，输出层的大小将为 10，因为我们有从 0 到 9 的 10 个可能的标签。当训练网络时，我们输入一个数字为零的图像，我们希望第一个神经元值接近于尽可能接近 1，其余尽可能接近 0。在我们的玩具网络中，我们只有一组权重。由于权重均为正，并且输入本身为正，因此神经元的结果也为正，在这种情况下，RELU 是恒等函数。简而言之，反向传播计算梯度下降以最小化成本函数，但由于神经网络中层的排列方式使它们成为复合函数，反向传播只不过是计算链式法则后的链式法则以获得导数的值成本函数相对于网络各层深处的权重。
2024-03-21 00:19:34
1161
原创 【AI大模型应用开发实战】神经网络核心算法原理与学习过程
随着计算机技术的飞速发展，人工智能逐渐成为了当今科技领域的热门话题。人工智能旨在让计算机能够模拟人类的思维方式，从而实现智能化的决策和行为。在这个过程中，神经网络作为一种模拟人脑神经元连接的计算模型，成为了实现人工智能的关键技术之一。yfw⋅xbyfw⋅xbE12∑i1nyi−ti2E21∑i1nyi−ti2反向传播：δiLyi−tif′ziLδiLyi−ti。
2024-03-19 18:01:05
1030
6
原创 【模型精调LoRA】LoRA 低秩适应微调的工作原理和代码实现示例 What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED
LoRA 是一种有效的大模型微调技术，可以提高推理效率并保持良好的性能。LoRA 在许多下游任务中都取得了良好的效果，包括文本分类、机器翻译和问答。
2024-03-11 12:59:38
914
原创 【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
2024-03-09 11:39:09
427
1
原创 第二章：AI大模型的基础知识2.1 机器学习与深度学习基础2.1.3 神经网络的基本结构
自从人工智能（AI）成为可能的研究领域以来，研究人员一直在尝试模拟生物神经网络中的行为，从而产生可编程的计算机系统。人类大脑中的神经元被认为是执行计算的基本单位，这些单位以非常高效的方式组合在一起，形成复杂的网络来处理信息。自然界中的生物神经网络已经存在数百万年，并且已经演变成了一种非常强大和高效的信息处理系统。因此，模仿生物神经网络并将其应用到计算机系统中可能是一个重大飞跃。人工神经网络（ANN）是一种由简单的处理单元（neurons）组成的网络，它们是通过可训练的连接相互连接的。
2024-02-01 15:00:57
166
原创 AI大模型应用入门实战与进阶：构建你的第一个大模型：实战指南
AI大模型是指具有大量参数和复杂结构的人工智能模型。这些模型通常需要大量的计算资源和数据来进行训练，以实现高性能的预测和生成能力。近年来，随着计算能力的提高和数据量的增加，AI大模型在各种任务中取得了显著的成果，如自然语言处理、计算机视觉和强化学习等。模型压缩与加速：随着模型规模的增加，计算资源和存储需求也在不断增加。未来的研究需要关注如何压缩和加速大模型，以适应更多的应用场景。数据效率与迁移学习：当前的大模型通常需要大量的数据和计算资源进行训练。
2024-01-28 03:18:50
1080
1
原创 【ChatGPT核心原理实战】《提示工程指南》 | Prompt Engineering Guide
提示工程是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提高大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计和研发出强大的技术，实现和大语言模型或其他生态工具的高效接轨。本指南介绍了提示词相关的基础知识，帮助用户了解如何通过提示词和大语言模型进行交互并提供指导建议。
2024-01-05 01:17:04
1055
1
原创 【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
2023-12-22 02:23:09
2719
6
原创 案例分析：LLM单智能体系统应用实例
1. 背景介绍1.1 人工智能与LLM近些年来，人工智能（AI）领域取得了突飞猛进的发展，其中，大语言模型（Large Language Models，LLMs）成为了备受瞩目的技术之一。LLMs 拥有强大的自然语言处理能力，能够理解和生成人类语言，在文本生成、机器翻译、问答系统等领域展现出巨大
2024-05-10 15:46:59
318
原创 毕业生信息管理系统详细设计与具体代码实现
1. 背景介绍1.1 高校毕业生信息管理的必要性随着高等教育的普及和发展，高校毕业生人数逐年攀升。高效、便捷地管理毕业生信息，对于学校、学生以及用人单位都至关重要。传统的纸质档案管理方式存在着信息存储量有限、查询不便、易丢失损坏等诸多弊端。而毕业生信息管理系统则能够有效解决这些问题，实
2024-05-10 15:46:28
339
原创 车辆故障管理系统详细设计与具体代码实现
1. 背景介绍1.1 车辆故障管理的重要性现代社会，车辆已成为人们生活中不可或缺的交通工具。然而，随着车辆数量的不断增加，车辆故障问题也日益突出。车辆故障不仅会影响车辆的正常使用，还会带来安全隐患，甚至造成严重的交通事故。因此，建立一套完善的车辆故障管理系统，对于保障车辆安全、提高车辆使用效
2024-05-10 15:45:56
278
原创 创造性思维:LLM单智能体的创新能力培养
创造性思维:LLM单智能体的创新能力培养作者：禅与计算机程序设计艺术1.背景介绍1.1 人工智能发展历程回顾1.1.1 第一次人工智能浪潮
2024-05-10 15:45:25
463
原创 垂直领域应用:Agent在各行业的实践案例
1. 背景介绍1.1 人工智能与Agent技术发展人工智能 (AI) 经历了漫长的发展历程，从早期的专家系统到如今的深度学习，技术不断演进。Agent 技术作为 AI 的一个重要分支，强调智能体的自主性、交互性和目标导向性，在各个领域展现出巨大的应用潜力。
2024-05-10 15:44:54
502
原创 从零开始大模型开发与微调：更多的预训练模型
1. 背景介绍1.1 大模型的兴起与发展近年来，随着深度学习技术的迅猛发展，大规模预训练模型（Large Language Models，LLMs）逐渐成为人工智能领域的研究热点。这些模型在海量文本数据上进行预训练，具备强大的语言理解和生成能力，并在自然语言处理任务中取得了显著成果。从早期的W
2024-05-10 15:44:23
352
原创 从零开始大模型开发与微调：基本卷积运算示例
1. 背景介绍深度学习和大模型技术在近年来取得了惊人的进展，并在计算机视觉、自然语言处理、语音识别等领域取得了显著的成果。然而，对于许多开发者来说，大模型的开发和微调仍然是一个充满挑战的任务。本篇文章旨在为读者提供一个从零开始构建和微调大模型的入门指南，并以基本卷积运算为例，演示如何在实践中应用这些技术。
2024-05-10 15:43:51
361
原创 从零开始大模型开发与微调：新时代的曙光—人工智能与大模型
1. 背景介绍1.1 人工智能的蓬勃发展人工智能（AI）近年来经历了爆炸式的增长，从图像识别到自然语言处理，其应用范围不断扩大。这主要归功于深度学习的突破，特别是大规模预训练模型（Large Language Models，LLMs）的出现，例如BERT、GPT-3等。这些模型在海量数据上进行
2024-05-10 15:43:20
396
原创 从零开始大模型开发与微调：站在巨人肩膀上的预训练模型BERT
从零开始大模型开发与微调：站在巨人肩膀上的预训练模型BERT作者：禅与计算机程序设计艺术1. 背景介绍1.1 大模型和预训练模型的发展历程
2024-05-10 15:42:49
322
原创 从零开始大模型开发与微调：ResNet基础原理与程序设计基础
从零开始大模型开发与微调：ResNet基础原理与程序设计基础作者：禅与计算机程序设计艺术1. 背景介绍1.1 深度学习与计算机视觉的发展历程
2024-05-10 15:42:17
406
原创 大规模语言模型从理论到实践 大语言模型应用
1. 背景介绍1.1 人工智能与自然语言处理人工智能 (AI) 的发展历程中，自然语言处理 (NLP) 一直是其重要的研究方向之一。NLP 旨在让计算机理解和处理人类语言，从而实现人机之间的自然交互。近年来，随着深度学习技术的突破，NLP 领域取得了显著进展，其中最具代表性的成果之一就是大
2024-05-10 15:41:46
237
原创 大规模语言模型从理论到实践 PPO微调
1. 背景介绍1.1 大规模语言模型的崛起近年来，随着深度学习技术的飞速发展，大规模语言模型 (LLMs) 已经成为人工智能领域的研究热点。这些模型拥有数千亿的参数，能够处理和生成复杂的文本内容，并在自然语言处理 (NLP) 任务中取得了显著的成果。例如，GPT-3、Jurassic-1 J
2024-05-10 15:41:15
414
原创 大语言模型应用指南：达特茅斯会议
1. 背景介绍1.1 人工智能的黎明：达特茅斯会议1956年的夏天，在美国新罕布什尔州的达特茅斯学院，一场为期两个月的研讨会悄然召开，却在日后被誉为人工智能（AI）的起点。这场会议汇聚了当时计算机科学、数学、心理学等领域的顶尖学者，包括约翰·麦卡锡、马文·明斯基、克劳德·香农等，他们
2024-05-10 15:40:43
674
原创 大语言模型原理与工程实践：案例运行
大语言模型原理与工程实践：案例运行作者：禅与计算机程序设计艺术1. 背景介绍1.1 大语言模型的兴起1.1.1 自然语言处理的发展历程
2024-05-10 15:40:12
274
原创 大语言模型原理与工程实践：局限和发展
1. 背景介绍1.1 自然语言处理的演进自然语言处理 (NLP) 领域一直致力于让计算机理解和生成人类语言。从早期的基于规则的方法到统计机器学习，再到如今的深度学习，NLP 经历了漫长的发展历程。大语言模型 (LLM) 作为深度学习的产物，在近年来取得了显著的突破，推动了 NLP 领域的快速发
2024-05-10 15:39:41
342
原创 大语言模型原理与工程实践：其他数据
1. 背景介绍1.1 大语言模型的兴起近年来，随着深度学习技术的快速发展，大语言模型（Large Language Models，LLMs）成为了人工智能领域的研究热点。LLMs 拥有强大的语言理解和生成能力，在自然语言处理的各个任务中取得了显著的成果，例如机器翻译、文本摘要、对话生成等。
2024-05-10 15:39:09
302
原创 反馈与持续学习:LLMbasedChatbot的自我进化
1. 背景介绍近年来，大型语言模型 (LLM) 的快速发展为聊天机器人领域带来了革命性的进步。LLM-based Chatbot 凭借其强大的语言理解和生成能力，能够进行更加自然、流畅的人机对话，并在各个领域展现出广阔的应用前景。然而，现有的 LLM-based Chatbot 仍然存在一些局限性，例如缺乏个性化、难以处理复杂场景、容易产生错误或不
2024-05-10 15:38:38
477
原创 房地产销售(售楼)管理系统详细设计与具体代码实现
房地产销售(售楼)管理系统详细设计与具体代码实现1. 背景介绍1.1 房地产行业概况1.2 房地产销售管理的痛点1.3
2024-05-10 15:38:07
417
原创 基于公共自行车数据的城市居民职住地分析
1. 背景介绍1.1 公共自行车数据：城市脉搏的记录者随着城市化的不断推进，交通拥堵和环境污染问题日益凸显。公共自行车作为一种绿色、便捷的出行方式，在许多城市得到了广泛推广。公共自行车系统不仅为市民提供了便利的出行选择，其产生的海量骑行数据也成为了解城市居民出行模式和城市空间结构
2024-05-10 15:37:35
358
原创 基于规则的工作流设计与AI代理的集成应用
基于规则的工作流设计与AI代理的集成应用作者：禅与计算机程序设计艺术1.背景介绍1.1 工作流自动化的发展历程1.1.1 早期的工作流管理系统
2024-05-10 15:37:04
334
ClickHouse 高性能、可扩展和低成本的OLAP数据库 陈光剑 20230912
2023-09-14
Will AI Fix Work? 工作节奏超过了我们的跟上能力 人工智能有望创造一种全新的工作方式
2023-05-17
THE AI INDEX REPORT 人工智能指数报告 Measuring trends in Artificial Inte
2023-04-06
Kotlin Coroutines by Tutorials (1st Edition)
2021-04-28
Principles of programming languages by Gilles Dowek (auth.) (z-lib.org).pdf
2021-04-28
A Brief History of Artificial Intelligence
2021-04-28
An introduction to functional programming through lambda calculus.PDF.zip
2019-09-22
《Kotlin项目实战开发》第3章+类型系统与可空类型
2017-09-30
2024 年可以实现 AGI 吗？
2024-01-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人