- 博客(90684)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 强化学习在自动驾驶中的应用
随着科技的发展，自动驾驶已成为汽车行业的热门话题。它旨在通过智能系统实现车辆的自主导航，减少人为错误造成的交通事故，并提高交通效率。强化学习作为机器学习的一种，凭借其模仿人类学习方式，即通过反复试错和奖励机制优化行为的能力，正逐步成为推动自动驾驶技术的重要驱动力。未来，强化学习将在自动驾驶领域发挥更大作用，实现更高级别的自动化。然而，挑战依然存在，如数据隐私保护、安全性验证、法律法规的适应性以及应对未知环境的能力。随着技术的进步，这些挑战有望得到解决，从而推动自动驾驶技术迈向更高的成熟度。
2024-04-11 14:35:48
1040
1
原创 基于transformer的端到端语音识别模型解析
语音识别作为人机交互的重要技术之一,在近年来得到了飞速的发展。传统的语音识别系统通常由声学模型、语言模型和解码器三个主要部分组成,需要进行复杂的管道式处理。随着深度学习技术的不断发展,出现了基于端到端(end-to-end)的语音识别模型,能够直接从原始语音信号中输出文本序列,大大简化了系统结构。其中,基于Transformer的端到端语音识别模型在近年来取得了突破性的进展,在多个公开数据集上取得了领先的识别性能。
2024-04-08 11:59:05
507
1
原创 RAG 提示词工程最佳实践
虽然目前网络上关于提示工程的相关资料已经多如牛毛，然而 RAG (检索增强生成) 任务中提示工程如何进行的资料相对而言却较少。不少朋友之前也热烈的讨论过 RAG 场景下提示词的运用，因此 Zen 禅与计算机程序设计艺术 特别推出 RAG 任务下的提示词实践经验系列分享。RAG 是检索增强生成（Retrieval Augmented Generation）的简称，是当前最火热的企业级LLM应用方案。
2024-04-06 11:17:08
78
原创 Ilya Sutskever: 元学习和自我对弈 OpenAI Meta-Learning & Self-Play | MIT Artificial General Intelligence AGI
欢迎来到 通用人工智能，今天我们有伊利亚 sutskever 联合创始人和研究开放人工智能总监，他在多伦多的 amel 小组开始工作，杰弗里·辛顿 (Geoffrey Hinton) 随后与安嘉莹一起在斯坦福大学工作，作为 Google Brain 的研究科学家，共同创立了 DNN 研究三年，并最终共同创立了开放 AI。
2024-04-02 00:01:29
48
原创 神经网络基础：从生物神经元到人工神经元
人工智能领域中,神经网络作为一种重要的机器学习模型,已经广泛应用于计算机视觉、自然语言处理、语音识别等众多领域,取得了令人瞩目的成就。神经网络的核心思想源于人类大脑中神经元之间的信息传递与处理机制。通过模拟生物神经元的结构和功能,人工神经网络得以实现对复杂问题的高效学习和处理。本文将从生物神经元的基本构造和工作原理出发,系统地介绍人工神经元的核心概念,并深入探讨神经网络的基本算法原理、最佳实践、应用场景以及未来发展趋势。希望能够帮助读者全面理解神经网络技术的来龙去脉,为进一步学习和应用打下坚实的基础。
2024-04-01 00:55:11
784
原创 词嵌入：基础知识教程 Word Embedding: Basics
GloVe 基于强大的直觉，即单词的真正含义源自两个单词相邻出现的预期概率的差异。上表显示，在我们的语料库中，“a”后面跟着“penny”两次，而单词“earned”、“saved”和“wise”各跟随“penny”一次。在一个美妙的数学推导中，新矩阵的单元格是原始矩阵的行和列之间的点积的结果。这些方法是基于预测的，因为它们提供了单词的概率，并被证明是单词类比和单词相似度等任务的最先进技术。Google 科学家发表的一篇论文 Word2Vec 的前提是，如果经过训练来预测单词的出现，单词嵌入会更加准确。
2024-03-27 13:13:49
59
原创 霍普菲尔德神经网络和大脑神经网络系统 Hopfield nets and the brain
目录Why are Hopfield nets so interesting and intriguing?为什么霍普菲尔德网如此有趣且令人着迷？What is a hopfield net and how do they work?什么是霍普菲尔德网以及它们如何工作？How do they learn? 他们如何学习？How feedforward works in hopfield nets?hopfield 网络中前馈如何工作？The “energy” function of a Hopfield n
2024-03-21 00:55:36
711
1
原创 循环神经网络背后的直觉 The intuition behind recurrent neural networks
目录Why a new post about RNN?为什么要写一篇关于 RNN 的新文章？Before you start 在你开始之前Neural networks and deep learning神经网络和深度学习Neural Networks and Deep Learning is a free online book. The book will teach you about: Neural networks, a beautiful…神经网络和深度学习是一本免费的在线书籍。这本书将教您：神
2024-03-21 00:46:27
728
原创 【AI大模型应用开发实战】逐步推导反向传播计算原理 Backpropagation step by step
不过，输出层的大小将为 10，因为我们有从 0 到 9 的 10 个可能的标签。当训练网络时，我们输入一个数字为零的图像，我们希望第一个神经元值接近于尽可能接近 1，其余尽可能接近 0。在我们的玩具网络中，我们只有一组权重。由于权重均为正，并且输入本身为正，因此神经元的结果也为正，在这种情况下，RELU 是恒等函数。简而言之，反向传播计算梯度下降以最小化成本函数，但由于神经网络中层的排列方式使它们成为复合函数，反向传播只不过是计算链式法则后的链式法则以获得导数的值成本函数相对于网络各层深处的权重。
2024-03-21 00:19:34
1116
原创 【AI大模型应用开发实战】神经网络核心算法原理与学习过程
随着计算机技术的飞速发展，人工智能逐渐成为了当今科技领域的热门话题。人工智能旨在让计算机能够模拟人类的思维方式，从而实现智能化的决策和行为。在这个过程中，神经网络作为一种模拟人脑神经元连接的计算模型，成为了实现人工智能的关键技术之一。yfw⋅xbyfw⋅xbE12∑i1nyi−ti2E21∑i1nyi−ti2反向传播：δiLyi−tif′ziLδiLyi−ti。
2024-03-19 18:01:05
990
6
原创 【模型精调LoRA】LoRA 低秩适应微调的工作原理和代码实现示例 What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED
LoRA 是一种有效的大模型微调技术，可以提高推理效率并保持良好的性能。LoRA 在许多下游任务中都取得了良好的效果，包括文本分类、机器翻译和问答。
2024-03-11 12:59:38
846
原创 【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
2024-03-09 11:39:09
367
1
原创 第二章：AI大模型的基础知识2.1 机器学习与深度学习基础2.1.3 神经网络的基本结构
自从人工智能（AI）成为可能的研究领域以来，研究人员一直在尝试模拟生物神经网络中的行为，从而产生可编程的计算机系统。人类大脑中的神经元被认为是执行计算的基本单位，这些单位以非常高效的方式组合在一起，形成复杂的网络来处理信息。自然界中的生物神经网络已经存在数百万年，并且已经演变成了一种非常强大和高效的信息处理系统。因此，模仿生物神经网络并将其应用到计算机系统中可能是一个重大飞跃。人工神经网络（ANN）是一种由简单的处理单元（neurons）组成的网络，它们是通过可训练的连接相互连接的。
2024-02-01 15:00:57
132
原创 AI大模型应用入门实战与进阶：构建你的第一个大模型：实战指南
AI大模型是指具有大量参数和复杂结构的人工智能模型。这些模型通常需要大量的计算资源和数据来进行训练，以实现高性能的预测和生成能力。近年来，随着计算能力的提高和数据量的增加，AI大模型在各种任务中取得了显著的成果，如自然语言处理、计算机视觉和强化学习等。模型压缩与加速：随着模型规模的增加，计算资源和存储需求也在不断增加。未来的研究需要关注如何压缩和加速大模型，以适应更多的应用场景。数据效率与迁移学习：当前的大模型通常需要大量的数据和计算资源进行训练。
2024-01-28 03:18:50
1034
1
原创 【ChatGPT核心原理实战】《提示工程指南》 | Prompt Engineering Guide
提示工程是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提高大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计和研发出强大的技术，实现和大语言模型或其他生态工具的高效接轨。本指南介绍了提示词相关的基础知识，帮助用户了解如何通过提示词和大语言模型进行交互并提供指导建议。
2024-01-05 01:17:04
1024
1
原创 【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
2023-12-22 02:23:09
2545
6
原创 矩阵论在工程中的应用
矩阵论是线性代数的一个重要分支，研究矩阵的性质、运算以及应用。矩阵作为一种简洁而强大的数学工具，能够有效地表示和处理线性关系，在科学、工程和经济等领域有着广泛的应用。
2024-04-24 02:48:43
1
原创 一切皆是映射：基于深度学习的对象检测技术
在深度学习领域中的一个关键应用就是对象检测，这是一项技术，可以帮助机器理解和识别图像中的对象。此技术已广泛应用于自动驾驶、安全监控、医疗影像识别等领域。今天我们将深入探索基于深度学习的对象检测技术，主要研究如何将对象检测问题转化为映射问题，并通过学习这种映射来实现对象检测。首先，我们需要定义YOLO模型。YOLO模型由一个特征提取网络和一个预测网络组成。特征提取网络通常是一个预训练的卷积网络，如VGG或ResNet。预测网络用于在特征映射上进行预测。
2024-04-23 13:53:59
168
原创 一切皆是映射：决策树和随机森林在AI中的应用
在当今的人工智能时代，机器学习无疑是最为关键的技术之一。作为机器学习中的一种重要算法，决策树因其简单直观的特性而备受青睐。决策树算法通过构建一种树状结构模型,根据特征对实例进行分类,可以有效地解决分类和回归问题。
2024-04-23 13:53:28
183
原创 一切皆是映射：利用Reptile算法快速优化神经网络
Reptile算法的核心思想是在一系列相关的优化任务上训练一个初始模型,使其能够快速适应新的优化任务。具体来说,Reptile算法会在每个优化任务上进行几步梯度下降,然后将所有任务的模型参数进行平均,作为下一轮优化的初始点。通过不断迭代这个过程,Reptile算法可以找到一个能够快速适应新任务的通用初始模型。
2024-04-23 13:52:56
178
原创 一切皆是映射：模型无关的元学习与模型依赖的元学习
在人工智能领域，元学习（Meta-Learning）是一个充满挑战和希望的研究领域。其核心理念是使机器学习模型能够像人类一样，通过对已经学习过的任务和经验进行思考，以更快更好地解决新的、未知的问题。在过去的几年里，元学习在许多应用领域取得了显著的成果，如自然语言处理、计算机视觉等。然而，目前的元学习方法主要基于两种主要的理论框架：模型无关的元学习（Model-Agnostic Meta-Learning, MAML）和模型依赖的元学习（Model-Based Meta-Learning）。
2024-04-23 13:52:25
395
原创 一切皆是映射：逆向工程：深入理解DQN决策过程
自从人工智能（AI）的概念提出以来，它已经从理论研究领域逐渐渗透到我们日常生活的各个方面。其中，强化学习（Reinforcement Learning）作为AI的一个重要分支，其目标是通过交互来学习如何在环境中进行最优决策。QsaERt∣stsataQsaERt∣stsata这个函数表示在状态sss下执行动作aaa所能得到的预期奖励。随着深度学习和强化学习的发展，DQN等强化学习算法将在未来的人工智能领域起到越来越重要的作用。
2024-04-23 13:51:54
429
原创 一切皆是映射：迁移学习在神经网络的应用
迁移学习是机器学习中的一种paradigm,其核心思想是:利用在一个领域(source domain)学习到的知识,来帮助另一个领域(target domain)的学习。例如,在图像识别任务中,我们可以利用在ImageNet上训练好的模型参数,并在此基础上对新的数据(如医疗影像)进行训练,这比从头训练一个新模型更高效。多源迁移:同时利用多个源域的知识,提高迁移效果在线迁移:能够在线持续地从新领域获取知识,实现终身学习元迁移学习:自动学习如何高效地进行迁移,无需人工设计策略解释性迁移。
2024-04-23 13:51:23
629
原创 一切皆是映射：强化学习在工业自动化中的应用：挑战与机遇
在当今快节奏的工业环境中，自动化已经成为提高生产效率、降低成本和确保一致性的关键因素。工业自动化系统通过将重复性任务交给机器人和自动化设备来减轻人工劳动强度,从而提高生产率和产品质量。然而,传统的自动化系统通常是基于预定义的规则和程序,缺乏灵活性和适应性,难以应对复杂和动态的环境。
2024-04-23 13:50:51
246
原创 一切皆是映射：如何评估DQN的学习效果？性能指标与分析方法
return x我们定义了一个简单的全连接Q网络,包含两个隐藏层,每层有24个神经元。输入是环境状态,输出是每个可能行动的Q值。我们定义了一个经验回放池,用于存储智能体与环境的交互经验。push方法用于将新的经验添加到池中,sample方法用于从池中随机采样一个批次的经验。scores = [] # 记录每个episode的分数losses = [] # 记录每个episode的损失score = 0loss = 0...
2024-04-23 13:50:20
398
原创 一切皆是映射：深度迁移学习：AI在不同域间的知识转移
迁移学习是机器学习中的一种重要范式,其核心思想是利用在一个领域(源域)学习到的知识,以帮助另一个领域(目标域)的学习任务。具体来说,就是首先在源域训练一个基础模型,然后将这个模型的一部分迁移到目标域,并在目标域的数据上进行微调(fine-tune),从而获得一个适用于目标任务的模型。
2024-04-23 13:49:48
466
原创 一切皆是映射：深度学习在视频监控分析中的应用
在当今社会,视频监控系统无处不在,从公共场所到私人住宅,从交通监控到安防监视,视频监控已经成为确保公共安全和个人隐私的重要手段。然而,传统的视频监控系统存在一些固有的缺陷,例如需要大量的人力资源来持续监视和分析视频数据,效率低下且容易出现疏漏。
2024-04-23 13:49:17
426
原创 一切皆是映射：深度学习在手势识别中的应用
在人机交互领域,手势识别技术扮演着越来越重要的角色。它为用户提供了一种自然、直观的交互方式,使得人机界面变得更加友好和高效。手势识别技术的应用范围广泛,包括虚拟现实、增强现实、游戏控制、机器人操控等诸多领域。
2024-04-23 13:48:46
498
原创 一切皆是映射：深度学习在智能家居系统中的应用
深度学习是机器学习的一个新的研究热点,它模仿人脑的机制来解释数据,例如图像、声音和文本。深度学习模型能够捕获数据的高层次抽象特征,从而更好地分析和处理数据。边缘设备(门铃):安装在家门口,负责采集来访者的图像数据,并将数据传输到云端进行处理。云端服务器:部署有训练好的CNN模型,用于对接收到的图像数据进行人脸识别,并将识别结果发送给用户。
2024-04-23 13:48:15
575
原创 一切皆是映射：深度学习中的反向传播和梯度下降
深度学习，作为人工智能的一种表现形式，近年来已经在各个领域取得了显著的进步。从视觉识别、语音识别，到自然语言处理、无人驾驶，深度学习的应用已经深入到我们生活的各个角落。尽管反向传播和梯度下降已经在深度学习中取得了巨大的成功，但是它们也面临着一些挑战。例如，梯度消失和梯度爆炸问题，这使得深度网络的训练变得非常困难；另外，梯度下降的收敛速度通常比较慢，尤其是在遇到非凸优化问题时。为了解决这些问题，人们提出了很多改进的方法，例如ReLU激活函数、批量归一化、残差网络、自适应学习率优化器等。
2024-04-23 13:47:43
244
原创 一切皆是映射：神经网络在图像识别中的应用案例
在过去的十年里，深度学习已经在图像识别领域取得了显著的进展。自然图像识别是一种基于视觉的任务，目标是识别图像中的物体和场景。其中，神经网络技术是深度学习中的重要组成部分，它模拟了人脑神经元的工作机制，通过大量的训练数据进行学习，然后对新的数据进行预测和识别。神经网络是一种模拟人脑神经元的工作机制的计算模型，它由大量的神经元（节点）和连接神经元的突触（边）组成。每个神经元都具有一个激活函数，当神经元的输入超过一定阈值时，激活函数就会被触发，神经元就会“激活”，并且向其他神经元传递信息。
2024-04-23 13:47:12
458
原创 一切皆是映射：生成对抗网络(GAN)及其应用探索
nn.Tanh()return img这个生成器网络包含几个全连接层,最终输出一个28×2828×28的图像。输入是一个 100 维的随机噪声向量zzz。这个判别器网络包含几个全连接层,接受一个28×2828×28的图像作为输入,最终输出一个标量值,表示该图像属于真实数据分布的概率。
2024-04-23 13:46:41
414
原创 一切皆是映射：实现机器人快速适应性的元学习框架
在当今快节奏的技术发展时代，机器人系统需要具备快速适应新环境和任务的能力。传统的机器学习方法通常需要大量的训练数据和计算资源来针对每个新任务进行重新训练,这种方式效率低下且成本高昂。因此,开发一种通用的学习框架,使机器人能够快速获取新技能并适应新环境,成为了当前人工智能领域的一个重要挑战。
2024-04-23 13:46:10
662
原创 一切皆是映射：使用深度学习进行情感分析
在当今时代,数据无处不在。无论是社交媒体上的用户评论、客户反馈调查,还是产品评论,都蕴含着宝贵的情感信息。能够有效地从这些数据中提取情感信号,对于企业了解客户需求、改进产品和服务至关重要。情感分析作为一种自然语言处理(NLP)技术,可以自动识别、提取、量化和研究主观信息,如观点、情绪、态度等,为企业带来巨大的商业价值。
2024-04-23 13:45:38
464
原创 一切皆是映射：无人驾驶车辆中的神经网络系统
无人驾驶技术的发展，已经成为科技前沿领域的热点。从Google的Waymo，到特斯拉的Autopilot，再到国内的百度Apollo，各大科技公司都在积极布局，希望在这场科技变革中抢占先机。无人驾驶的实现，离不开各种先进技术的支持，其中，神经网络作为一种模仿人脑工作机制的计算模型，起着至关重要的作用。神经网络在无人驾驶中的应用，是机器学习和自动驾驶技术的完美结合，也是未来无人驾驶发展的趋势。然而，神经网络在无人驾驶中的应用还面临许多挑战，如数据难以获取、训练时间长、难以解释等。
2024-04-23 13:45:07
286
原创 一切皆是映射：循环神经网络(RNNs)在时间序列分析中的作用
接下来,我们定义一个简单的RNNs模型,包含一个循环层和一个全连接输出层。return out在这个模型中,我们使用了PyTorch的nn.RNN模块作为循环层,并添加了一个全连接输出层nn.Linear。在前向传播过程中,我们首先初始化隐藏状态h0,然后通过self.rnn计算输出序列out。最后,我们只取最后一个时间步的输出,并通过全连接层得到最终的预测结果。
2024-04-23 13:44:36
610
原创 一切皆是映射：元学习在快速适应新任务中的作用
元学习(Meta-Learning)是机器学习中的一个子领域,旨在设计模型以便在新的学习任务上快速适应。与传统的"从零开始学习"不同,元学习算法利用从以前的任务中获得的经验,以加快在新任务上的学习速度。内循环(Inner Loop):在每个训练任务上,模型根据任务特定的数据进行快速适应和微调。外循环(Outer Loop):跨越多个训练任务,模型从每个任务中学习一些可推广的元知识,以提高在新任务上的学习效率。通过这种方式,模型不仅学习解决特定任务,而且还学习如何高效地获取新技能。
2024-04-23 13:44:05
358
原创 一切皆是映射：长短时记忆网络(LSTM)与文本生成
在当今信息时代,文本生成已经成为一项非常重要的技术。无论是自动新闻撰写、对话系统、机器翻译,还是创作小说等,都需要依赖文本生成技术。高质量的文本生成能力不仅可以提高工作效率,还能为人类创造出富有创意的作品。
2024-04-23 13:43:33
388
原创 一切皆是映射：自动驾驶技术中的AI算法
随着人工智能技术的不断发展,自动驾驶汽车已经从科幻电影中的场景逐渐走进现实生活。自动驾驶技术被视为未来交通运输领域的一场革命,它有望极大提高交通效率、减少交通事故、节省能源并为行动不便者提供更好的出行方式。自动驾驶汽车的核心是感知系统、决策系统和控制系统。其中,感知系统负责获取车辆周围环境的信息;决策系统根据感知信息做出适当决策;控制系统则执行相应的控制指令。而在这三大系统中,感知系统扮演着最为关键的角色,因为它直接决定了自动驾驶汽车对环境的理解能力。
2024-04-23 13:43:02
414
原创 一切皆是映射：自然语言处理(NLP)中的神经网络
对于人类来说, 语言的理解和表达是如此的自然和直观。然而，对于计算机而言，理解自然语言却是一项极具挑战性的任务。自然语言处理（NLP）是一个致力于让计算机理解和生成人类语言的领域。在过去的几十年中，我们已经看到了NLP在许多应用中的广泛使用，包括机器翻译，文本摘要，情感分析，语音识别等等。随着深度学习的兴起，尤其是神经网络在NLP中的应用，我们已经能够创建出在处理语言任务时表现出人类级别的模型。神经网络在自然语言处理中的应用已经取得了显著的成功。然而，我们仍然面临许多挑战和未来的发展趋势。
2024-04-23 13:42:31
543
ClickHouse 高性能、可扩展和低成本的OLAP数据库 陈光剑 20230912
2023-09-14
Will AI Fix Work? 工作节奏超过了我们的跟上能力 人工智能有望创造一种全新的工作方式
2023-05-17
THE AI INDEX REPORT 人工智能指数报告 Measuring trends in Artificial Inte
2023-04-06
Kotlin Coroutines by Tutorials (1st Edition)
2021-04-28
Principles of programming languages by Gilles Dowek (auth.) (z-lib.org).pdf
2021-04-28
A Brief History of Artificial Intelligence
2021-04-28
An introduction to functional programming through lambda calculus.PDF.zip
2019-09-22
《Kotlin项目实战开发》第3章+类型系统与可空类型
2017-09-30
2024 年可以实现 AGI 吗？
2024-01-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人