自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

万有文的博客

视觉SLAM 深度学习 目标检测 行为识别 三维视觉 移动机器人 单片机 python自动化

  • 博客(139)
  • 资源 (7)
  • 收藏
  • 关注

原创 GPU 工作原理 图形处理单元 核心、内存和控制单元 内存架构 指令集 带宽(Bandwidth)、延时(Lantency)和吞吐(Throughput)

前面的章节对 AI 计算体系和 AI 芯片基础进行讲解,在 AI 芯片基础中关于通用图形处理器 GPU 只是简单地讲解了主要概念,本章将从 GPU 硬件基础和英伟达 GPU 架构两个方面讲解 GPU 的工作原理。英伟达 GPU 有着很长的发展历史,整体架构从 Fermi 到 Blankwell 架构演变了非常多代,其中和 AI 特别相关的就有 Tensor Core 和 NVLink。本节首先讲解 CPU 和 GPU 架构的区别,之后以AXY。

2024-04-25 14:15:00 364

原创 C++11:感觉像是门新语言 内存模型 auto 和 decltype constexpr lambda unique_ptr 并发支持 泛型编程 静态类型 标准库组件 多核、缓存、推测执行、指令乱

用户定义字面量”是一个非常小的功能。但是,它合乎我们的总体目标,即让用户定义类型得到和内建类型同等的支持。内建类型有字面量,例如,10是整数,10.9是浮点数。我试图说服人们,对于用户定义类型,显式地使用构造函数是等价的方式;举例来说,就是complex的字面量等价形式。然而,许多人认为这还不够好:写法并不传统,而且不能保证构造函数在编译期被求值(尽管这还是早年间的事)。对于complex,人们想要1.2+3.4i。与其他问题相比,这似乎并不重要,所以几十年来什么都没有发生。

2024-04-25 12:30:00 371

原创 C++ 标准委员会 国际C++标准委员会 C++作为一种开源且广泛应用的编程语言 标准的作用 委员会的组织 委员会的结构对 C++ 设计的影响

国际C++标准委员会,正式名称为ISO/IEC JTC1/SC22/WG21,确实是C++语言发展的重要推手。这个组织自1991年成立以来,一直在推动C++标准的制定和演进。在此之前,C++的开发工作主要由美国国家标准学会(ANSI)的C++标准委员会负责。C++作为一种开源且广泛应用的编程语言,没有特定的资金提供来源或所有者,因此其发展在很大程度上依赖于企业开发、开源项目以及社区的努力。对于来自不同组织和公司的开发者来说,WG21和各国的标准委员会成为了他们共同讨论、解决问题和推动C++发展的平台。

2024-04-24 14:30:00 620

原创 劫持linux系统函数 malloc free linux打桩hooking

在Linux中,“打桩”(stubbing)或"钩子"(hooking)是一种修改程序行为的技术,通常用于测试、调试或功能增强。对于malloc和free这样的函数,打桩通常用于追踪内存分配和释放情况,或用于在内存管理中加入额外的逻辑。

2024-04-24 12:15:00 1054

原创 C++ 历史 1979–2006的C++ 现代C++的文艺复兴 走进编程:C++的发展历程 C++的演化历史

C++编程语言走到今天已经有将近40年的历史了,那么我们今天就来看看这个发展历程,看我们从一代又一代的C++标准之中能发现什么秘密吧!我们走进C++的世界······C++ 从 1979 年到 2006 年的历史记录在我的 HOPL 论文中 [Stroustrup 1993, 2007]。在那段时间里,C++ 从一个单人的研究项目成长为大约有 300 万程序员的社区。从1979年到2006年,C++的历史是一段令人瞩目的成长和演变过程。

2024-04-23 14:00:00 896

原创 2020 年的 C++ 用来做什么 爱立信、华为和西门子 Space X TensorFlow LLVM ADAS 嵌入式系统 元编程 编码指南 静态分析

C++ 的使用领域绝大部分与 2006 年相同(虽然有一些新的领域,但在大多数情况下,我们看到的 C++ 还是在相同或类似的领域中被更加广泛和深入地使用。C++ 没有突然成为一种面向 Web 应用开发的语言,虽然即使在那种场景下仍有人用 C++ [Obiltschnig et al. 2005]。对于大多数程序员来说,C++ 依然是某种隐没在后台的东西,稳定、可靠、可移植、高性能。最终用户是看不见 C++ 的。编程风格则有更加巨大的变化。比起 C++98,C++11 是门好得多的语言。

2024-04-23 11:45:00 751

原创 无人驾驶 自动驾驶汽车 环境感知 精准定位 决策与规划 控制与执行 高精地图与车联网V2X 深度神经网络学习 深度强化学习 Apollo

Apollo开源自动驾驶平台.

2024-04-22 19:23:23 1154

原创 CPU 指令集架构 复杂指令集架构(CISC)和精简指令集架构(RISC) ARM、MIPS、RISC-V和Alpha 指令集架构(Instruction Set Architecture,ISA)

我们深入了解了CPU的核心功能和其在各种应用场景中的重要性。CPU作为计算机系统的核心组件,通过执行指令集来驱动和控制整个计算过程。它不仅能够处理各种复杂的运算任务,还能够管理内存、控制硬件设备,并与其他处理器协同工作以实现更高效的计算性能。我们详细探讨了指令集在计算机中的作用,以及不同指令集架构(如CISC和RISC)的特点和优劣。指令集作为硬件和软件之间的接口,使得我们可以使用更高层次的抽象语言来编写程序,而不必直接操作硬件。CISC架构提供了丰富的指令集,但可能导致硬件设计复杂和功耗较高;

2024-04-22 19:13:11 929

原创 CPU 基础 冯诺依曼架构 Intel AMD 80586 奔腾 算术逻辑单元ALU、存储单元Memory Unit和Control Unit控制单元 Cache缓存 SIMD

CPU是Central Processing Unit(中央处理器)的简称,它负责执行指令和计算,控制着计算机的所有组件。CPU从无到有,从弱小到强大,经历了漫长发展过程,其间发生了无数的故事。在本节将着重介绍CPU基础内容,从CPU的发展历史入手,看看世界上第一块CPU是怎么诞生的,再到当代CPU的组成,为什么CPU能为我们的电脑处理那么多的事情?带着这些疑问我们开始今天的内容。

2024-04-21 13:45:00 565

原创 # AI计算模式 神经网络模型 深度神经网络 多层感知机 卷积神经网络 循环神经网络 长短期记忆网络 图像识别、语音识别、自然语言 轻量化模型和模型压缩 大模型分布式并行

AI技术发展至今,主流的模型是深度神经网络模型。近20年来,神经网络模型经过多样化的发展,模型总体变得越来越复杂和庞大,对硬件设备的计算速度、存储能力、通信速度的要求越来越高。尽管学者已经提出了许多方法优化模型结构,降低模型的参数量,但是伴随着人们对AI能力的要求越来越高,模型变得更大是不可避免的。原先单CPU可进行模型的训练与推理,如今需要使用GPU、TPU等设备,并通过分布式并行的方式完成计算。因此,如何高效地训练和部署深度神经网络模型已经成为研究热点。

2024-04-21 11:45:00 560

原创 AI 系统与程序代码关系 Python PyTorch 计算图的构建与优化 自动微分 内存管理与优化 分布式训练 AI 训练流程原理 前向传播 算子实现的系统问题 AI 系统遇到的问题

本章主要通过 PyTorch 的实例启发大家建立 AI 系统各个章节之间的联系,由于系统的多层抽象造成 AI 实践和算法创新的过程中已经无法感知底层系统的运行机制。希望能够结合后面章节的学习后,看到 AI System 底层的作用和复杂性,从而指导上层 AI 作业、算法、代码更加高效的执行和编写。在PyTorch等AI框架的抽象之上,底层的系统实际上在进行着大量的操作和计算,这些操作对于上层开发者通常是透明的,但它们的存在和高效运行对于整体系统的性能至关重要。

2024-04-20 14:30:00 988

原创 AI 系统全栈架构 什么是 AI 系统 CPU、GPU、FPGA、ASIC PyTorch、MindSpore 系统设计目标 高效编程语言、开发框架和工具链 系统设计、实现和演化

AI系统是一个集成了硬件、软件和数据,用于执行人工智能任务的复杂系统。它涵盖了从数据收集、预处理、模型训练、推理到最终应用部署的整个过程。AI系统的核心在于通过机器学习算法和深度学习模型,使计算机能够模拟人类的智能行为,从而实现自主决策、推理和识别等任务。硬件层包括高性能计算设备(如CPU、GPU、FPGA、ASIC等)、存储设备(如硬盘、内存)和网络设备等。这些硬件为AI系统的运行提供了必要的计算能力和数据存储能力。数据层涉及数据的收集、清洗、标注和存储。

2024-04-20 11:45:00 895

原创 chatchat加载ptuning指南 训练语言模型(PLM) 高效微调(PEFT) langchain fastchat chatchat peft文件夹修改 代码修改

P-tuning虽然是一种peft方法,但并不能于huggingface的peft python包兼容,而fastchat在多处以字符串匹配的方式进行硬编码加载模型,因此导致fastchat和chatchat不能兼容p-tuning,经langchain-chatchat开发组多次尝试,给出如下指南进行p-tuning加载。P-tuning 是一种针对预训练语言模型(PLM)的参数高效微调(PEFT)方法,它允许我们仅调整少量的参数来实现高效的模型调整。

2024-04-19 15:30:00 727

原创 行动决策与环境感知的任务协同分析 Agent ReAct chain-of-thought CoT 推理(Reason)和行动(Act) 监督学习 强化学习 Act-only 低维嵌入

在讨论“chain-of-thought”推理方法及其与ReAct模块的关系时,我们首先需要明确每种方法的核心特点和局限性。Chain-of-thought(CoT)方法通过引入一种中间推理步骤来增强模型的解释性和性能,特别是在解决复杂数学问题时。然而,正如你提到的,CoT仍然是一个静态的过程,它主要依赖于模型内部的表征来生成推理,而不是基于外部世界的实时信息。这使得它在适应新的推理场景或更新知识方面存在一定的局限性。

2024-04-19 12:45:00 521

原创 AI 发展驱动力 人工智能、机器学习、深度学习和神经网络 技术进步与算法创新 AI 算法的进步 精度超越机器学习 Scale Up算力与体系结构进步 Cube NPU TPU SIMT GPGPU

AI 起源于上世纪五十年代,经历了几次繁荣与低谷,直到 2016 年谷歌旗下的 DeepMind 发布 AlphaGo 程序赢得与世界围棋冠军的比赛,大众对 AI 的关注与热情被重新点燃。其实 AI 技术早在这个标志事件之前已经在工业界很多互联网公司中得到了广泛应用与部署。例如,搜索引擎服务中的排序、图片的检索、广告推荐等功能,背后都有 AI 模型的支撑。在媒体中经常看到词汇:人工智能、机器学习、深度学习和神经网络。那么他们之间的关系是什么?

2024-04-18 15:30:00 1002

原创 大模型LLM 分布式训练技术原理 数据并行 FSDP DDP ZeRO 模型并行 MLP切分 流水线并行 层间并行 序列并行sequence parallelism MoE 混合专家模型

分布式训练技术的核心原理之一是利用多个计算节点或机器来协同完成模型的训练任务,从而加速训练过程。其中,数据并行是分布式训练中的一种重要策略。

2024-04-18 13:30:00 729

原创 大模型技术栈-算法与原理 tokenizer方法 position encoding 位置编码 注意力机制 分布式训练 Prompt Engineering 微调 压缩 剪枝 量化 embeddin

大模型技术栈中的算法与原理涉及多个方面,其中Tokenizer方法是大模型处理文本数据的关键步骤之一。Tokenizer负责将原始文本转化为模型能够理解的数值表示形式,其方法的选择直接影响到模型的性能和效率。以下是对word-level、char-level以及subword-level中的多种Tokenizer方法的介绍:Word-level Tokenizer是最直观的方法,它将每个单词作为独立的标记。这种方法简单易懂,但存在一些问题。

2024-04-17 15:30:00 969 3

原创 大模型推理优化策略 Qunatized KV Cache MQA/GQA FlashAttention PagedAttention 算子融合 延迟优化 No Padding优化 动态批次处理

首先,大模型推理优化策略的目标是提高模型的推理速度,同时尽量保持模型的性能。以下是一些常见的优化策略:使用低精度数据类型:如float16或bfloat16,可以降低计算成本,提高推理速度,同时减少内存消耗。这种方法能在保证模型性能的前提下,显著提高推理速度并减少内存消耗。模型量化:通过降低模型权重和激活的精度来减小模型大小并加速推理。但需要注意的是,量化可能会降低模型的预测质量,因此需要在性能和精度之间找到平衡。

2024-04-17 13:15:00 1304

原创 大模型应用技术原理 RAG(Retrieve-And-Generate) 基于检索和生成的方法 向量数据库 cloud-native 云原生

大模型应用技术原理中的RAG(Retrieve-And-Generate)是一种基于检索和生成的方法,它结合了搜索算法和大型语言模型(LLM)来回答查询并提供相关信息。RAG通过在大规模数据上进行预训练,然后在特定任务上进行微调,从而提高了模型的性能和应用范围。在RAG中,向量数据库扮演着关键角色。向量数据库是一种专门用于存储多维向量数据的数据库,这些向量可以表示特定特征或质量信息。

2024-04-16 15:30:00 702

原创 大模型技术栈-实战与应用 训练框架 deepspeed Megatron Megatron-LM Megatron-DeepSpeed colossal-ai 推理框架 triton 向量数据库

大模型技术栈的实战与应用是一个涉及多个层面和领域的复杂任务。以下是一些关键方面的概述:一、技术栈概述大模型技术栈主要包括一系列用于构建和训练大型人工智能模型的技术和工具。这些模型通常涉及深度学习、自然语言处理、计算机视觉等领域。随着数据规模的增加和计算能力的提高,大模型的性能和应用范围也在不断扩大。二、实战开发在实战开发过程中,开发人员需要深入理解模型架构,合理选择技术栈,并关注应用的实际需求。这包括数据收集与预处理、模型选择与训练、模型优化与部署等多个环节。

2024-04-16 12:15:00 1263

原创 AI计算模式 神经网络模型 全连接网络 卷积神经网络 循环神经网络 注意力机制 LeNet-5 门控循环单元网络GRU AI计算模式思考 轻量化网络模型设计 模型轻量化与模型压缩

AI技术发展至今,主流的模型是深度神经网络模型。近20年来,神经网络模型经过多样化的发展,模型总体变得越来越复杂和庞大,对硬件设备的计算速度、存储能力、通信速度的要求越来越高。尽管学者已经提出了许多方法优化模型结构,降低模型的参数量,但是伴随着人们对AI能力的要求越来越高,模型变得更大是不可避免的。原先单CPU可进行模型的训练与推理,如今需要使用GPU、TPU等设备,并通过分布式并行的方式完成计算。因此,如何高效地训练和部署深度神经网络模型已经成为研究热点。

2024-04-15 16:04:05 999

原创 FastMoE 系统 易用且高效的基于 PyTorch 的 MoE 模型训练系统 Megatron-LM

FastMoE 是一个易用且高效的基于 PyTorch 的 MoE 模型训练系统.

2024-04-15 15:48:36 1200

原创 数字人生成 Wav2Lip面部动画 神经辐射场 NeRF场景结构 3DMM人脸模型 深度学习 生成对抗网 GAN 语音交互、虚拟现实(VR)和增强现实(AR)

喝奶茶的甄嬛数字人,从广义上来说,是数字技术在人体解剖、物理、生理及智能各个层次、各个阶段的渗透。它是信息科学与生命科学融合的产物,利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。数字人可以是虚拟人物,也可以是真实人物的数字再现,它们既可以由真人扮演,也可以完全由人工智能生成。数字人的生成涉及多个技术环节,具体如下:数据采集:这是数字人生成的基础环节,它确保了数字人的真实性和细节表现。通过三维扫描仪等设备,可以获取人的外观、五官、身体姿态等数据,这些数据为后续的建模提供了依据。

2024-04-14 13:45:00 562

原创 深度学习 ISP 算法 黑光相机 颜色调整 去噪与滤波 色彩增强 无人机、自动驾驶、公安、石油石化 Pseudo-ISP LW-ISP GenISP DEl-Net DeepISP

AI-ISP 是一项颠覆性技术,通过结合AI和ISP,实现了全彩夜间成像。文章详细介绍了AI-ISP的背景,包括对NPU算力的需求、落地难点以及未来趋势。AI-ISP在夜间高分辨率成像、全天候应用和性价比方面展现出巨大优势。- 传统ISP在大摄像头领域应用复杂,调试过程耗时,而AI-ISP通过智能调优和深度学习,能够快速适应不同摄像头,并在降噪、HDR和场景提亮等方面超越传统ISP。然而,AI-ISP与传统ISP的合作模式被认为是未来的发展趋势,两者将长期共…- AI-ISP在行业应用场景中的广泛应用,

2024-04-14 12:30:00 920

原创 ISP 图像信号处理 图像视频 颜色调整算法 去噪 滤波 黑夜到白天 白平衡、色彩校正和色彩增强 去噪与滤波 Black Level Correction 黑电平校正 坏像素校正 通道增益白平衡

ISP(Image Signal Processor,图像信号处理器)是相机成像流程中的关键组成部分。它负责处理从相机传感器读取的原始图像数据,并生成最终的RGB图像输出。这个处理流程通常包括一系列算法步骤,用于改善图像质量、校正传感器缺陷以及增强视觉效果。根据您提供的包结构,该ISP包包含了一系列用于处理图像信号的算法,分别对应不同的处理阶段。Black Level Correction(黑电平校正) 渐晕/镜头阴影校正 坏像素校正 通道增益白平衡 Bayer去噪 去马赛克 色彩校正 伽马校正 降噪

2024-04-13 17:30:00 580

原创 用 PyTorch Lightning 监控和串流 PyTorch 的训练进度 TensorBoard MNISTDataModule 训练 查看训练进度

PyTorch Lightning 的 Trainer 还提供了一个自定义进度条的功能,你可以通过 progress_bar_refresh_rate 参数来设置进度条的更新频率。PyTorch Lightning 的 Trainer 类有许多内置的回调函数(callbacks),可以在训练的不同阶段触发。PyTorch Lightning 是一个非常有用的库,它提供了一种更简洁、更模块化的方式来构建和训练 PyTorch 模型。你也可以创建自定义的回调函数,以在训练过程中执行特定的操作。

2024-04-13 13:00:00 1100

原创 深度学习模型训练优化算法 神经网络模型训练 数据集 样本少 如何判断和解决共线性问题 权值初始化方法 防止梯度下降陷入局部最优解 如何考虑特征选择 梯度消失、爆炸的解决方案

神经网络模型是一种模拟人类实际神经网络的数学方法,通过大量的简单处理单元(神经元)广泛互连来形成复杂的网络系统。它反映了人脑功能的许多基本特征,是一个高度复杂的非线性动力学习系统。神经网络模型的基础在于神经元,其工作原理是通过学习和适应数据的模式和特征,从而进行预测、分类、识别等任务。

2024-04-12 17:15:00 807

原创 LLM 是如何工作的? 大型语言模型 Large Language Model GPT4 什么是生成式人工智能 那 Transformer 模型 Attention注意力机制 掩码学习

GPT 和 LLM 玩「单字接龙」游戏和这一切的能力又有什么关系呢我们不妨想象一下,我们作为人类,是如何理解一句话的。接下来,我现在希望大家先和我一起做一个思想实验。我想请问各位,当我们在写考试这样紧张的环境下书写自由答题类题目的答案的时候和别人打电话的时候在进行临时的即兴演讲的时候都是如何组织语言和造句的?向前思考:有一部分思维在思考接下来要说的内容的结构。

2024-04-12 12:45:00 761

原创 神经网络模型训练生产框架TensorFlow 网络搭建及训练 caffe Pytorch 网络搭建有什么原则 经典的网络模型 网络训练有哪些技巧

Caffe的全称应该是Convolutional Architecture for Fast Feature Embedding,它是一个清晰、高效的深度学习框架,它是开源的,核心语言是C++,它支持命令行、Python和Matlab接口,它既可以在CPU上运行也可以在GPU上运行。它的license是BSD 2-Clause。

2024-04-11 17:30:00 665

原创 图数据库 Graph DB NebulaGraph Docker 安装 启动容器 连接到 NebulaGraph 新建标签 物种关系 通过 Operator 创建集群

NebulaGraph是一款开源的、分布式的、易扩展的原生图数据库,能够承载包含数千亿个点和数万亿条边的超大规模数据集,并且提供毫秒级查询。它支持多种图数据库的核心特性,如顶点和边的存储、查询、索引、图算法等,并具备数据持久性、数据一致性、多版本控制、数据安全性等特点,使其适用于各种企业级应用场景。NebulaGraph在实时推荐、知识图谱、大数据风控、网络安全、医疗数据分析、证券投资、金融风控等领域都有广泛的应用。

2024-04-11 12:30:00 840

原创 关系型数据库 Relational DB PostgreSQL 国际化查询 Object 数组 重新映射 键的 Object 时区转换 可视化 SEQUENCE 相关操作 创建数据库 创建用户

PostgreSQL,常被称为“🐘大象SQL”,是一个开源的关系型数据库管理系统。它遵循SQL标准,并提供了丰富的特性集,使得它成为了一个功能强大的数据库解决方案。PostgreSQL不仅支持标准SQL数据类型,如整数、浮点数、日期时间等,还提供了诸如数组、JSON、GIS等复杂数据类型,为用户提供了更大的灵活性和便利性。此外,PostgreSQL还具备高度的可定制性,可以根据应用程序的需求进行调整和优化。

2024-04-10 17:30:00 656

原创 关系型数据库 Relational DB MySQL 规范 字段命名 字段类型 字段顺序 强制设定为 UNIQUE 索引

关系型数据库(Relational Database)是一种基于关系模型的数据库,它使用表格来组织和存储数据,表格之间通过主键和外键建立关联。这种数据库以行和列的形式存储数据,以便于用户理解,其中一组表组成了数据库。用户通过查询来检索数据库中的数据,而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型,而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。MySQL是一种开源的关系型数据库管理系统,它采用了客户端-服务器架构,通过SQL语言来管理和操作数据。

2024-04-10 14:15:00 942

原创 为 Nginx 配置 TCP 反向代理 Kubernetes 集群 日志输出 API Server TCP 反向代理配置模块

打开 Nginx 的主配置文件 nginx.conf,通常位于 /etc/nginx/nginx.conf。Nginx 通常用于 HTTP 和 HTTPS 的反向代理,但它也可以配置为 TCP 反向代理。替换 YOUR_LOCAL_PORT 为你想要 Nginx 在本地监听的端口,YOUR_UPSTREAM_SERVER 为你的上游服务器的地址,YOUR_UPSTREAM_PORT 为上游服务器的端口。现在,你应该能够从你的 Nginx 服务器的 YOUR_LOCAL_PORT 端口访问你的上游服务了。

2024-04-10 12:45:00 691

原创 前端开发 Web CSS Vue3 JavaScript 实现支持跟随系统自动变化与手动设置的明暗模式切换 超出文本显示省略号 独立窗口中打开页面 onMedia 注册媒体查询 自动移除

tags:Web 的多端适配需求日益增长,依靠 CSS 的媒体查询有时已经不能满足需求。为了应对复杂的需求,这时就需要 JavaScript 的介入。但是 在 中注册媒体查询事件十分的繁琐。为了将重复的代码简化,特制了下面这个封装好的方法,直接调用即可注册媒体查询,并在适当的时候进行移除。:使用方法调用该方法的组件在 时会触发一次回调函数,之后每当查询结果变更时会触发一次。如果因为浏览器不支持或者参数错误导致媒体查询失败,会在 中打印一条错误,并且不会触发任何的 响应式 DIV 盒子,根据输入

2024-04-09 14:30:00 670

原创 Vue3 配合 TypeScript 接入腾讯云滑块验证 引入 SDK 封装 TypeScript 调用方法 Options 提供以下配置参数

Vue3 配合 TypeScript 接入腾讯云滑块验证

2024-04-09 12:15:00 237

原创 MXnet安装 与入门 符号式运算 Symbol 数据同步 KVStore 自动并行计算 数据的导出与载入 NDArray基本运算 分布式训练 单变量线性回归

MXNet是一个开源的深度学习框架,由亚马逊公司发起并维护。它支持多种编程语言,包括Python、C++、R、Scala等,可以在CPU、GPU和分布式环境下运行。MXNet提供了丰富的神经网络层和优化算法,可以用于各种深度学习任务,如图像分类、目标检测、语音识别等。MXNet的基本概念包括Symbol和NDArray。Symbol表示数学运算,是MXNet的基本构建块,可以用来表示变量、运算、函数等。NDArray则是MXNet中的多维数组,类似于NumPy数组。

2024-04-08 19:58:13 1106

原创 通过后端预签署的 Policy 在前端直接与 Amazon S3 交互并上传文件 AWS SDK for JavaScript v3 阿里云 OSS

因为与阿里云 OSS 的文档不同的是,Amazon S3(或者说 AWS S3)的直传文档并没有给出一个可以参考的代码案例,也没有提供链接到 SDK 下属 API 的文档链接,只是简单的甩出来几个文档来说明和介绍整个签名和计算 hash 的流程和步骤。简单来说,这样的流程允许我们在允许用户上传多个文件的时候,让服务端通过「复制」和「删除」,也就是「剪切」的操作,留下那些用户不要的文件到临时文件夹中,设定定时任务来清理和删除临时文件夹中的资源,最终实现对临时文件的管理和销毁的流程。

2024-04-08 15:43:58 1000

原创 让 GitHub 仓库的代码占比统计中包含 Markdown 文件 开发 Git 命令行 个人知识管理 知识库 知识领域 文档工程

在GitHub的发展历程中,它不断推出新的功能和工具,以满足用户的不同需求。GitHub拥有庞大的用户群体,包括1亿以上的开发人员,400万以上组织机构和超过3.3亿的资料库。可以观察到对于充斥着一定程度的 HTML 模板的仓库而言,即便实际仓库内包含的主要是 Markdown 文件,GitHub 也依然会把大量的 HTML 统计为占比最多的文件。总之,Markdown 是一种简单、易读、易写的标记语言,它让人们能够轻松地创建格式丰富的文档,提高了写作和分享的效率。

2024-04-08 15:26:46 1219

原创 大模型 多模态大模型 语言大模型 视觉大模型 GPT4-V新兴应用 人工智能实体 GUI 导航 未来 LMM 的发展方向 紫东太初

现有的掩码语言模型的随机遮蔽方式容易对图像中重要的前景目标遮蔽,让模型产生误解,不利于快速收敛。然而,在无监督的情况下,如何自适应的调整遮蔽区域是一个非常关键的难点问题。为此,我们巧妙的利用Transformer中的自注意力机制,并且设计了一种动态掩码机制来对图像进行预训练。具体来说,我们的视觉动态掩码机制采用teacher网络中最后的自注意力图作为指导,以一定的概率选择响应较低的区域对student网络的输入进行动态遮蔽相比BERT中MLM的随机遮蔽方式,动态遮蔽方式避免了破坏图像/目标的关键结构。

2024-04-07 18:34:33 866

原创 高级驾驶辅助 ADAS无人驾驶 自动驾驶汽车 Automated Vehicle Self-drivingCar 感知定位 规划控制 PID控制器 车联网V2X Apollo 激光 毫米波雷达

当今,自动驾驶技术已经成为整个汽车产业的最新发展方向。应用自动驾驶技术可以全面提升汽车驾驶的安全性、舒适性,满足更高层次的市场需求等。自动驾驶技术得益于人工智能技术的应用及推广,在环境感知、精准定位、决策与规划、控制与执行、高精地图与车联网V2X 等方面实现了全面提升。科研院校、汽车制造厂商、科技公司、自动驾驶汽车创业公司以及汽车零部件供应商在自动驾驶技术领域进行不断地探索,寻求通过人工智能技术来获得技术上的新突破。

2024-04-06 12:30:00 731

DeMat差分进化算法,matlab遗传算法,数学建模大赛,遗传优化算法 DEMO文件夹为示例 差异进化算法的 示例解决方案

DeMat差分进化算法,matlab遗传算法,数学建模大赛,遗传优化算法 DEMO文件夹为示例 差异进化算法的 示例解决方案 作业在 /demo/PID 以及 /demo/PID_simulink下 包含三个文件 目标函数 objfun.m 画图函数 PlotIt.m 主程序 Rundeopt.m 运行前需要导入 主文件目录 addpat

2024-04-06

tvm节点属性更新方案

tvm节点属性更新方案 暴露c++的节点属性更新方法 python 导入 介绍如何在 TVM(TVM 是 Apache 的开源机器学习编译器堆栈)中更新节点属性,以及如何在 Python 中导入和使用 C++ 暴露的节点属性更新方法时,我们通常遵循几个步骤: 了解 TVM 的架构和节点属性: TVM 的计算图由节点(通常是计算操作)和边(表示数据流)组成。每个节点可能有多个属性,这些属性在编译和运行时用于优化和配置。 C++ 端暴露节点属性更新方法: 在 TVM 的 C++ 实现中,你可能需要定义一个接口来更新节点的属性。这通常涉及到修改 TVM 的 C++ 代码,以暴露一个函数或方法,该函数或方法允许你修改特定节点的属性。创建 Python 绑定: 一旦在 C++ 端实现了更新节点属性的方法,你需要创建 Python 绑定,以便在 Python 中调用这个方法。这通常涉及到使用 Pybind11 或其他类似的库来创建 C++ 和 Python 之间的接口。 在创建绑定时,你需要确保 Python 代码能够正确地调用 C++ 函数,并处理任何必要的类型转换。

2024-02-23

onnx计算图优化 计算图匹配 计算图融合 layerNorm融合 groupNorm融合

onnx计算图优化 计算图匹配 计算图融合 layerNorm融合 groupNorm融合 计算图匹配: 计算图匹配是图优化的一种技术,它通过搜索和匹配计算图中的特定模式或子图,然后应用预定义的优化规则来替换这些模式。这种方法通常用于识别并优化常见的、可以简化的图结构。 计算图融合: 计算图融合是一种高级的图优化技术,它可以将多个独立的操作融合成一个更复杂的操作。这种融合可以减少计算图中的节点数量,降低内存访问开销,以及减少计算过程中的数据拷贝次数,从而提高模型的执行效率。 LayerNorm 融合: Layer Normalization(层归一化)是一种常用的归一化技术,用于加速模型训练和提高模型性能。LayerNorm 融合是将 LayerNorm 操作与其相邻的操作(如卷积、全连接层等)融合到一起,从而减少计算图中的节点数量,提高计算效率。 GroupNorm 融合: Group Normalization(分组归一化)是另一种归一化技术,用于当通道数较少时避免批量归一化(Batch Normalization)的性能下降。GroupNorm 融合与 LayerNorm

2024-02-23

python tensorflow 深度学习 学习示例程序

变量 线性回归 手写字体 逻辑回归 多层感知机 多层网络 卷积神经网络 tensorboard 显示优化记录 自编码 原理与PCA相似 长短时记忆 lstm 单词转词向量 中英文 保存和载入网络模型

2018-05-22

python 机器学习

# PyML # python 机器学习实战 # 包含目录: # 1 KNN 最近邻 # 2 DT 决策数 # 3 NB 朴素贝叶斯 # 4 LoR 逻辑回归 # 5 SVM 支持向量机 # 6 AB 集成学习 adaboost元算法 # 7 LiR 线性回归 # 8 RT 数回归 # 9 KM 聚类 # A AP 关联算法 # B FP FP树频繁项挖掘 # C PCA 主成分分析 数据压缩降维 # D SVD 奇异值矩阵分解 数据降维 # E MR 多机器协调处理 # F SKL 集成学习库实战

2018-05-22

libconfig 配置文件使用示例程序

配置文件很重要,INI 太弱,XML 太繁复,Linux *.conf 很酷。 找了好几种相关的类库,发觉还是 hyperrealm libconfig 最强大最好用,相关细节可参考 官方手册。 源中的版本是 1.3.2-1,也可以去官方文章下载最新版本。 $ sudo apt-get install libconfig8 libconfig8-dev 源码安装 : 去 https://hyperrealm.github.io/libconfig/ 下载  ./config make sudo make install 使用说明 c程序  头文件libconfig.h c++程序 所需头文件libconfig.h++,编译时需要链接动态库libconfig++

2018-05-22

ros 工业机器人培训 程序

ROS机器人操作系统 工业机器人 UR5示例程序 moveit运动规划 Descartes笛卡尔稠密运动规划器 抓取规划 放置规划 检测物体 抓起箱子 放置箱子 ros下点云发布接收格式转换 点云滤波下采样 平面提取 欧式聚类分割

2018-05-22

点云pcl库学习 官方demo示例教程 原理解析代码注释

PCL(Point Cloud Library)是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源C++编程库, 它实现了大量点云相关的通用算法和高效数据结构, 涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。 支持多种操作系统平台,可在Windows、Linux、Android、Mac OS X、部分嵌入式实时系统上运行。 如果说OpenCV是2D信息获取与处理的结晶, 那么PCL就在3D信息获取与处理上具有同等地位,PCL是BSD授权方式, 可以免费进行商业和学术应用。

2018-05-08

opencv 3.1 官方demo示例教程 原理加注释

用OpenCV创建视频 使用OpenCV中的 VideoWriter 类就可以简单的完成创建视频的工作。 如何用OpenCV创建一个视频文件 用OpenCV能创建什么样的视频文件 如何释放视频文件当中的某个颜色通道 Camera calibration and 3D reconstruction (calib3d module) 2D Features framework (feature2d module) Video analysis (video module) Object Detection (objdetect module) Machine Learning (ml module)

2018-05-08

ORB_SLAM2代码注释原理解析

ORB_SLAM2 特征法SLAM 单目 双目 RGBD * ORB主要借鉴了PTAM的思想,借鉴的工作主要有 * Rubble的ORB特征点; * DBow2的place recognition用于闭环检测; * Strasdat的闭环矫正和covisibility graph思想; * 以及Kuemmerle和Grisetti的g2o用于优化。

2018-05-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除