- 博客(877)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 from_pretrained 做了啥
transformers的三个核心抽象类是Config, Tokenizer和Model，这些类根据模型种类的不同，派生出一系列的子类。构造这些派生类的对象也很简单，transformers为这三个类都提供了自动类型，即AutoConfig, AutoTokenizer和AutoModel。三个AutoClass都提供了from_pretrained方法，这个方法则一气完成了模型类别推理、模型文件列表映射、模型文件下载及缓存、类对象构建等一系列操作。
2024-03-22 15:56:16
1042
原创 float32 float16 bfloat16 推理训练GPU速度和内存调研
概念：3种数量类型表示的数据范围不一样，以float32为例其中有1个符号位，8位表示指数，23位表示尾数标准训练推理是用的float32，但是占用GPU显存太大，所以优化的方向就是一般就是，时间换空间或者是减少float32位精度。
2024-03-11 16:49:04
468
原创 llm llama GPU 内存/显存计算
Calculating GPU memory for serving LLMs | Substratus.AI
2024-03-04 11:10:01
455
原创 国产大模型 翻译方面应用
智谱华章GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型参考：https://github.com/wgwang/awesome-LLMs-In-China?tab=readme-ov-file
2024-02-29 13:53:28
354
原创 MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu
【代码】MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu。
2024-02-28 17:55:22
365
原创 ubuntu 安装python3.10
方法一：How to Install Python 3.10 on Ubuntu 22.04 or 20.04 - LinuxCapable方法二：Ubuntu python3.10 安装教程，并更新python，pip默认指向为python3.10, pip3（超详细教程）_apt-get install python-CSDN博客
2024-01-29 14:17:51
622
原创 FileNotFoundError supervisor/xmlrpc
【代码】FileNotFoundError supervisor/xmlrpc。
2024-01-23 14:24:38
336
原创 huggingface 连不上 from_pretrained from_single_file
huggingface的缓存目录 ~/.cach。
2024-01-12 17:12:00
494
原创 PYTORCH 依赖 cuda 11.8 , cuda 12.1 cpu 里 torch torchvision torchaudio对应关系
1、强大的GPU加速的张量计算（NumPy)。2、自动求导系统的深度神经网络。
2024-01-11 17:25:37
957
原创 node `GLIBC_2.28‘ not found (required by node)
是linux底层的API库。通常情况下，有些环境需要glibc更高的版本才支持，比如GLIBC_2.28。glibc库对linux系统非常重要，轻易不要更换。如果需要更换，需提前备份好原本的相关库以防万一。
2024-01-11 14:53:06
689
原创 AI 训练框架：Pytorch TensorFLow MXNet Caffe ONNX PaddlePaddle
https://medium.com/jit-team/bridge-tools-for-machine-learning-frameworks-3eb68d6c6558
2023-12-08 15:49:13
655
原创 onnx nvidia cuda cudnn driver 各种版本对应
onnx 和 nvidia cuda， nvidia cudnn 之间对应关系。
2023-12-01 19:46:11
533
原创 crontab 无法激活、启动 pyenv failed to activate virtualenv
后来根据 vscode 里启动调试的代码，把python换成pyenv里的对应的python路径就行。报错 failed to activate virtualenv。root crontab 无法激活、启动 pyenv。根据搜索结果，把pyenv换成绝对路径。
2023-11-17 12:32:32
267
原创 uniapp 离线打包 google 登录
clientid 是 xxxx.apps.googleusercontent.com。反向url 是 com.googleusercontent.apps.xxx。其中有 clientid 和反向url。
2023-11-02 18:54:30
531
原创 uniapp apple 苹果登录 离线本地打包
签名里带 sign in with apple。测试代码，获取app里所有的provider。文档写的不全，没有写离线打包流程。hbuilder开关。
2023-10-09 12:27:19
337
原创 漫画工厂ai-comic-factory 文字2漫画
最终展示大概流程： is used to generate the captions of 4 comic panels ()- I run SDXL 1.0 (no fine-tuning, no LoRA) 4 times, one for each panel ()参考：
2023-09-22 17:30:04
1150
symbian 论坛大大hoolee的QA CHM版
2010-01-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人