roxxo的博客

原创 数据集制作工具和数据处理工具有哪些

这些工具可以单独使用，也可以组合使用，以适应数据预处理、清洗、转换和增强的不同需求。制作数据集时，需要标注工具、数据整合和增强工具，以及一些用于数据清洗和验证的工具。: 提供对多维数组的支持，并且有大量的数学函数库，适合进行高性能的科学计算。: 一个快速标注工具，支持多种数据类型，注重于机器学习模型的迭代和改进。: 一个数据标注平台，支持图像和视频数据，提供协作和项目管理功能。: 一个简单、独立的手动注释软件，用于图像、音频和视频。: 强大的计算机视觉库，提供了大量的图像和视频处理功能。

原创 从chatgpt3进化到chatgpt4有哪些工作量较大

这些硬件的发展使得GPT-4能够处理更大规模的数据和更复杂的模型结构，随着模型规模的增长，GPT-4的能效和可扩展性问题变得更加突出。相比GPT-3，GPT-4需要更多的数据和更高的数据质量，因此数据处理工作量也明显增加，GPT-4使用了更大的数据集进行训练，这意味着模型可以处理更多的知识和信息，从而提高了准确性和效果。：GPT-4采用了一些新的训练技巧，如自适应学习率、梯度裁剪等，以提高模型的训练效果和稳定性，此外，为了提高模型的性能，可能需要进行多次迭代和优化。

原创 Twitter开源后哪些技术和算法可以借鉴

Twitter 的内容推荐算法和用户画像算法都基于自然语言处理技术，如果 Twitter 将其开源，那么其他公司和组织可以使用该算法来改进他们的自然语言处理技术，并为他们的应用提供更好的用户体验。：推荐算法是 Twitter 为用户提供个性化体验的重要手段，如果 Twitter 将其开源，那么其他公司和组织可以使用该算法来为他们的用户提供更好的个性化服务。：广告定位算法是 Twitter 的核心算法之一，如果 Twitter 将其开源，那么其他公司和组织可以使用该算法来优化他们的广告投放和营销效果。

原创 Chatgpt在训练过程中过拟合的表现和解决办法

这样可以让模型在更多的数据上进行训练，从而提高模型的泛化能力和鲁棒性。数据集分割可以将数据集划分为训练集、验证集和测试集等，以便在训练过程中评估模型的性能，并检验模型在新数据上的表现能力。ChatGPT是一个基于GPT-2模型的聊天机器人，它需要在大量的对话语料库上进行训练以获得有用的表现，在训练大模型（例如ChatGPT）时，随着训练集的增加，过拟合问题就可能出现。通常，过拟合会导致模型在训练数据上表现非常出色，但在测试数据（或未见过的数据）上表现不佳，这是因为训练数据太多而导致了模型过于复杂。

原创 Chatgpt训练使用的模拟人脑神经元网络

Multi-Head Attention中实际上还是由线性变换（线性神经元）和softmax函数组成，而在Multi-Head Attention的实现中，线性变换部分包含了全连接层与残差连接（Residual Connection）和层归一化（Layer Normalization）的操作，这些参数化的函数单元可以被视为模拟人脑中的神经元。计算Query、Key和Value向量：对于输入序列X中的每个位置，构建三个向量Q、K、V，其中Q、K是同样的输入序列X的不同线性变换结果，V是与X对应的值向量；

原创 OpenAI Chatgpt发展历史和Chatgpt-3的研发过程工作原理

在这个阶段，OpenAI投资了大量的时间和资源，进行了广泛的研究和实验，构建了一个丰富的前置技术库。：ChatGPT-3 的训练涉及大量的数据，它使用了超过160GB的人类生成的文本数据进行训练。OpenAI 使用了大型的GPU集群，加快数据训练的速度，并且使用了一系列的训练技巧，如数据增强、预训练、微调等。模型的构建不仅包括模型的架构、参数设置等，还包括模型的训练、评估和测试等环节。总的来说，ChatGPT-3的研发是一个漫长且复杂的过程，需要大量的技术积累、大量的数据积累、大量的人力物力。

原创 Nvidia核心技术和用于AI训练的高端工业级显卡

这是 Nvidia 的最新数据中心 GPU，具有高达 80 GB 的显存、6912 个 CUDA 核心和 432 个 Tensor 核心，适用于最大规模的 AI 模型训练和推断。: 这是一款最强大的消费级 GPU，具有高达 72 GB 的显存、4608 个 CUDA 核心和 576 个 Tensor 核心，适用于大型模型的训练和推断。: 这是一款用于数据中心和高性能计算的 GPU，适用于大规模的 AI 模型训练和推断。这些显卡都是非常强大的，不同的应用场景和预算可以选择不同型号的显卡。

原创 Chatgpt-3在回答问题前调用模型流程和整体流程

为此，模型会将两者的向量表示按照特定方式结合起来，以构建一个综合的表示形式。文本清理：输入的问题和上下文信息需要进行清洗和标准化，去除重音、标点符号以及其他不必要的信息，以确保让模型能够理解并专注于关键信息，从而提高回答问题的准确率。分词和标记化：ChatGPT-3将用户输入的文本输入到一个分词器中，将文本分成单个的单词或标点符号，并将每个单词或标点符号标记为名词、动词、形容词等。语言推理：ChatGPT-3在理解用户输入后，会进行推理处理，尝试将输入转换成一些方法和技巧，用于回答用户的问题。

原创 Chatgpt-3 训练使用的分布式技术和框架

模型平行：这种方法与模型并行很相似，但是不同的是，模型平行将模型分解成多个层，并将这些层分配到不同的GPU芯片上进行处理。这种方法可以大大提高模型的训练速度和处理效率，并且可以帮助模型处理更大规模的输入数据。除了这些框架之外，OpenAI团队还开发了自己的框架，如OpenAI Gym、OpenAI Baselines等，并积极参与开源社区的工作，为开源社区作出了贡献。模型并行：模型并行是指将模型分解成多个子模型，并将这些子模型分配到不同的GPU芯片上进行处理。

原创 ChatGPT-3使用的代码管理、审核工具以及自动化测试

原创 Chatgpt-3数据集处理代码和训练代码使用的主要编程语言和框架

OpenAI选择使用PyTorch，一部分是因为PyTorch更适合用于快速开发原型，而且相对来说更易用一些，另外也因为PyTorch的动态计算图设计有助于灵活地处理不同形状的输入数据。另外，GPT-3使用Python编写的程序对数据集进行处理和准备，而TensorFlow需要使用TensorFlow数据集和其他工具进行数据管道的处理和准备。此外，OpenAI还使用了其他Python的包来处理和准备数据集，例如NLTK和spaCy等。GPT-3的数据集处理和训练代码主要使用Python编程语言。

原创 Chatgpt-3 使用的提取数据集技术、数据集自动化处理和保证数据质量

自然语言处理（NLP）：使用自然语言处理技术， ChatGPT-3可以有效的理解和处理所有不同的文本形式。综上所述，在ChatGPT-3的数据集处理过程中，需要进行各种预处理和清洗等步骤，以生成一组结构良好的数据，然后再针对这些数据来训练和微调模型，以实现更高的准确性和适应性。训练模型：ChatGPT-3使用大规模的神经网络模型来模拟语言模型，以训练模型处理文本。综上所述，ChatGPT-3使用了一系列技术来提取和处理不同格式的文本，以构建更加准确并且丰富的数据集。

原创 Github上得分最高的20个项目

Jupyter Notebook：一个开源的 Web 应用程序，可创建和共享文档，其中包含代码、方程式、可交互的可视化效果和叙述性文本。Flutter：一个流行的移动应用程序开发框架，由 Google 开发，可用于开发 iOS 和 Android 应用程序。Vscode：一个流行的跨平台文本编辑器，支持各种语言和框架，可通过扩展进行自定义。Oh My Zsh：一个流行的终端框架，用于管理 Zsh shell 的扩展和配置。Webpack：一个流行的模块打包器，可将 Web 应用程序的所有依赖项打包在一起。

原创 ChatGPT3.5训练使用的主要云计算平台、配置和消耗

"ChatGPT3.5" 不是一个官方的、标准的模型版本。可能它是某个团队或个人开发的模型，如果您能提供更多的上下文和信息，我会很高兴为您提供更准确的答案。通常来说，GPT-3是目前最为先进的通用自然语言处理模型之一，它训练的过程需要大量的计算资源和时间。因此，一般会选择使用云计算平台来进行训练任务。总之，不同的平台和配置都有其优缺点，在选择训练平台和硬件配置时需要根据具体的需求来进行选择。

原创 Chatgpt训练过程使用的是什么平台和技术

在ChatGPT的训练过程中，由于需要多个GPU并行训练、数据的预处理以及训练环境的配置等复杂的任务，因此使用K8s等容器编排平台可以大大提高训练效率和管理效果。使用Docker技术，可以先将训练任务需要的环境和软件组件打包到容器镜像中，然后在不同的系统和环境中使用该容器镜像，使系统间的组件隔离，降低不同组件之间产生干扰和冲突的概率，保证训练任务的正确性和编译的通用性。因此，K8s等容器编排平台是现代大规模机器学习训练的一个必要工具，在ChatGPT的训练过程中也得到了广泛的应用。

原创 Chatgpt使用的是哪种自我监督学习算法

与传统的语言模型相比，掩码语言模型更难以预测被掩码的单词，这意味着模型需要更多的背景信息来确定缺失的词汇。该算法的主要思路是在示例中将一些单词token替换为特殊的掩码符，然后让模型预测被掩码的单词。掩码的位置可以是一个单词，也可以是一个短语。这样的掩码语言模型训练有助于模型学习到语言的局部和全局结构，改善了模型对上下文的理解，从而提高了模型的生成能力。具体来说，在训练ChatGPT模型时，使用的是一种被称为「掩码语言模型」（Masked Language Model，MLM）的自监督学习算法。

原创 目前最好的自我监督学习算法

Contrastive Learning的主要思路是将原始数据分为两个样本集，然后通过最小化同一集合内的样本距离，最大化不同集合内的样本距离从而学习模型。自我监督学习是通过利用数据本身的内在结构和关系从而学习有用的表征方式。在计算机视觉领域，contrastive learning使用了学习两个视图，并且尝试最小化两个视图之间的距离、最大化同一视图之间的距离。当前最好的自我监督学习算法是「自监督对抗性训练」（Contrastive Learning），它已经在计算机视觉和自然语言处理领域获得了很好的效果。

原创 GitHub提供的一些入门AI资源和工具

3、GitHub Machine Learning Showcase:这个资源提供了一个开源机器学习项目和工具的列表，你可以用来学习和探索人工智能的新领域。2、用于机器学习的GitHub Actions: GitHub Actions提供了用于构建、测试和部署机器学习工作流的自动化工作流解决方案。这些只是GitHub上可用的许多资源和工具中的一小部分，可以开始使用AI。4、GitHub学习实验室:这个交互式平台提供了实践教程和实验室，用于学习各种人工智能主题，如神经网络、机器学习和数据科学。

原创 目前各类型准确率最高的图像识别算法

3、语义分割:截至2021年，最准确的语义分割算法是u - net++，它在CamVid和cityscape数据集上的IoU(交集超过联合)分数分别为92.8%和97.5%。2、图像分类:截至2021年，最准确的图像分类算法是EfficientNet-L2，它在ImageNet数据集上的top-1精度最高，达到90.4%。1、目标检测:截至2021年，最准确的目标检测算法是YOLOv4，它在COCO数据集上的mAP(平均平均精度)得分为43.5%。

原创 配置一台训练imagenet数据集的计算机

1.硬件要求:首先，确定你要训练的数据集有多大，以及需要什么样的硬件。要训练完整的ImageNet数据集，建议至少有一个或多个高端Nvidia gpu(如GTX 1080 Ti或RTX 2080 Ti)和一个至少16核和64GB RAM的CPU。2.选择用于训练的AI框架:选择Tensorflow、PyTorch或Caffe等框架，并安装必要的库和依赖项。3.下载ImageNet数据集:完整的ImageNet数据集包含数百万张图像，因此可以从可靠的来源(如官方ImageNet网站)下载它。

原创 配置一套个人学习AI技术的计算机

3、安装人工智能开发常用的软件开发工具(如Python)和集成开发环境(如Jupyter Notebook或PyCharm)。4、安装人工智能开发框架，如TensorFlow或PyTorch，这取决于个人学习者计划在其项目中使用的人工智能算法。5、为每个学习者提供自己的电脑，并让他们访问必要的软件，框架和数据，为他们的项目。6、建立定期检查或会议，以监测和帮助学习者在个人学习过程中可能遇到的任何困难。2、根据AI算法的选择，安装合适的操作系统，如Windows或Linux。

原创 搭建Tensorrt环境

按照tar包的方式配置了后，https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-tar进入samples目录，make 报如下错/usr/bin/ld: cannot find -lnvrtc/usr/bin/ld: cannot find -lcublas/usr/bin/ld: cannot find -lcudnncollect2: error: ld returned...

原创 解决相关训练报 OpKernel was found, but attributes didn‘t match) Requested Attributes: T=DT_BFLOAT16

解决相关训练报OpKernel was found, but attributes didn't match) Requested Attributes: T=DT_BFLOAT16I1102 08:59:56.310849 139771096057664 basic_session_run_hooks.py:606] Saving checkpoints for 0 into /notebooks/efficientnet/model300/model.ckpt.2020-11-02 09:00.

原创 读取tfrecord文件时报错

解决在读取tfrecord文件时报Invalid argument: Input to reshape is a tensor with 6123 values, but the requested shape has 602112 [[{{node Reshape}}]] [[truediv/_11]]tfrecord文件封装的格式和解析函数中格式不一致引起 ，检查文件解析函数是否正确...

原创 制作tfrecord 数据集报错

制作tfrecord 数据集 报如下错，tensorflow.python.framework.errors_impl.InvalidArgumentError: Expected image (JPEG, PNG, or GIF), got unknown format starting with 'All images in th'检查 数据集路径下 是否存在 类似 .ipython 的其他格式文件...

原创 解决tfrecored制作报错

谷歌近期开源了 TensorFlow Recorder尝试使用 报错最末一行 AttributeError: DataFrame does not contain column split listed in schema参看https://github.com/google/tensorflow-recorderDefault SchemaThis format looks like a Pandas DataFrame or CSV formatted as:...

原创 解决  报错 TypeError: interleave() got an unexpected keyword argument ‘deterministic‘

运行相关tensorflow 训练调用 imagenet_input.py 代码， num_parallel_calls=self.num_parallel_calls, deterministic=False)TypeError: interleave() got an unexpected keyword argument 'deterministic'查看相关代码 提示ImageNet input pipeline using tf.data.Dataset."""调用了in..

原创 解决 AttributeError: ‘numpy.ufunc‘ object has no attribute ‘LOGGER_ROOT_NAME‘

使用 onnxruntime==1.4.0 启动相关脚本报如下问题 logger = logging.getLogger(log.LOGGER_ROOT_NAME + '.' +__name__)AttributeError: 'numpy.ufunc' object has no attribute 'LOGGER_ROOT_NAME'查了相关问题 安装numpy 版本1.15.4 ，但安装时与onnx版本冲突最后安装 pip install numpy== 1.18.2 ...

原创 解决视频提取照片报 No such file or directory: ‘ffprobe‘

解决视频提取照片报No such file or directory: 'ffprobe'File "/usr/local/lib/python3.5/dist-packages/ffmpy.py", line 95, in run stderr=stderr File "/usr/lib/python3.5/subprocess.py", line 947, in __init__ restore_signals, start_new_session) File "/us...

原创 解决 训练时 报TypeError: ‘NoneType‘ object is not callable

训练时 报TypeError: 'NoneType' object is not callableException ignored in: <bound method BaseSession.__del__ of <tensorflow.python.client.session.Session object at 0x7f85b597cac8>>Traceback (most recent call last): File "/usr/local/lib/python..

原创 linux上体积超过3G文件报错

linux上体积超过3G大小文件报错 如下End-of-central-directory signature not found. Either this file is nota zipfile, or it constitutes one disk of a multi-part archive. In thelatter case the central directory and zipfile comment will be found onthe last disk(s) of ..

转载 切换torch 版本运行 报  ImportError: libtorch_cpu.so

切换torch 版本，torch运行 报ImportError:libtorch_cpu.so:cannot open shared object file:No such file or directory解决 删除之前的build 重新建rm -r buildpython setup.py develop

原创 解决升级tensorflow到2.0的 报错

今天在升级tensorflow 后，运行相关脚本 ，一行代码报如下报AttributeError: module 'tensorflow' has no attribute 'decode_raw'网上度娘没查到， 用tf的升级工具试了下tf_upgrade_v2 --infile Train.py --outfile Train-new.py可以看到 tf.decode_raw 改为tf.io.decode_raw...

原创 tensorflow ckpt和pb格式模型加载

加载 ckpt格式 checkpoint_file = tf.train.latest_checkpoint(ckpt_modelpath) #load ckpt模型 tf.saver.restore(sess, self.checkpoint_file)导出pb格式模型参看 如下链接 导出最佳验证模型https://tensorflow.google.cn/versions/r1.15/api_docs/pyt...

原创 解决TF训练提示 Not using XLA:CPU for cluster

训练时一直未太关注该搞错，启动训练后报警提示如下，了解了下XLA的设置，对性能有一定提升， 于是尝试解决 W tensorflow/compiler/jit/mark_for_compilation_pass.cc:1412] (One-time warning): Not using XLA:CPU for cluster because envvar TF_XLA_FLAGS=--tf_xla_cpu_global_jit was not set. If you want XLA:CPU, ei..

原创 解决docker 无法启动

容器一启动后 就宕机，这个问题第一次遇到查看日志主要报 ，ExecStart=/usr/bin/dockerd (code=exited, status=0/SUCCESS)试了很多办法仍然报，重装了docker，居然还是起不来最后想起来，把开机进入系统后自动挂载nfs的 链接去掉后，再重启机器，终于起来了之前的一容器环境挂载多个nfs 网盘，可能没释放导致 ，这一天天的各种坑...

原创 解决dockers无法启动

记录一下 折腾了一天 一台服务器跑代码崩了 重启后，dockers无法使用， 启动docker 报Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for de...

原创 解决容器外操作copy 报no such file or directory

容器外操作copy 命令如下nvidia-docker exec -i contain-name cp -r xxxx1/* xxx2/cp: cannot stat 'xxx/*': No such file or directory进入容器内 按此命令 操作拷贝正常将* 替换为.命令更改为如下nvidia-docker exec -i ...

原创 解决 ImportError: Extension horovod.tensorflow has not been built

在使用horovod autotune 功能 ，提示 horovodrun: error: unrecognized arguments: --autotune --autotune-log-filehorovod -h 查看 确实没有autotunehorovod -v查看 版本 0.16.1于是 按照相关命令HOROVOD_GPU_ALLREDUCE=...

原创 使用分布式框架horovod 未能提升加速训练

使用分布式框架horovod ，初步使用了单机多卡 ，跑测的estimator， 数据集大概十几个分类，1万张照照片，调用4个gpu从图里看出训练时长17个小时左右 ，与之前单机单卡训练时长和准确率没有太大区别，浪费资源啊！看了horvord的训练模式，分别起了4个进程，而不是一个进程该操作 与TF 的experimental.MultiWorkerMirroredStrateg...