- 博客(875)
- 资源 (8)
- 收藏
- 关注
原创 from_pretrained 做了啥
transformers的三个核心抽象类是Config, Tokenizer和Model,这些类根据模型种类的不同,派生出一系列的子类。构造这些派生类的对象也很简单,transformers为这三个类都提供了自动类型,即AutoConfig, AutoTokenizer和AutoModel。三个AutoClass都提供了from_pretrained方法,这个方法则一气完成了模型类别推理、模型文件列表映射、模型文件下载及缓存、类对象构建等一系列操作。
2024-03-22 15:56:16 986
原创 float32 float16 bfloat16 推理训练GPU速度和内存调研
概念:3种数量类型表示的数据范围不一样,以float32为例其中有1个符号位,8位表示指数,23位表示尾数标准训练推理是用的float32,但是占用GPU显存太大,所以优化的方向就是一般就是,时间换空间或者是减少float32位精度。
2024-03-11 16:49:04 411
原创 llm llama GPU 内存/显存计算
Calculating GPU memory for serving LLMs | Substratus.AI
2024-03-04 11:10:01 443
原创 国产大模型 翻译方面应用
智谱华章GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型参考:https://github.com/wgwang/awesome-LLMs-In-China?tab=readme-ov-file
2024-02-29 13:53:28 349
原创 MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu
【代码】MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu。
2024-02-28 17:55:22 345
原创 ubuntu 安装python3.10
方法一:How to Install Python 3.10 on Ubuntu 22.04 or 20.04 - LinuxCapable方法二:Ubuntu python3.10 安装教程,并更新python,pip默认指向为python3.10, pip3(超详细教程)_apt-get install python-CSDN博客
2024-01-29 14:17:51 538
原创 FileNotFoundError supervisor/xmlrpc
【代码】FileNotFoundError supervisor/xmlrpc。
2024-01-23 14:24:38 330
原创 huggingface 连不上 from_pretrained from_single_file
huggingface的缓存目录 ~/.cach。
2024-01-12 17:12:00 455
原创 PYTORCH 依赖 cuda 11.8 , cuda 12.1 cpu 里 torch torchvision torchaudio对应关系
1、强大的GPU加速的张量计算(NumPy)。2、自动求导系统的深度神经网络。
2024-01-11 17:25:37 795
原创 node `GLIBC_2.28‘ not found (required by node)
是linux底层的API库。通常情况下,有些环境需要glibc更高的版本才支持,比如GLIBC_2.28。glibc库对linux系统非常重要,轻易不要更换。如果需要更换,需提前备份好原本的相关库以防万一。
2024-01-11 14:53:06 607
原创 AI 训练框架:Pytorch TensorFLow MXNet Caffe ONNX PaddlePaddle
https://medium.com/jit-team/bridge-tools-for-machine-learning-frameworks-3eb68d6c6558
2023-12-08 15:49:13 640
原创 onnx nvidia cuda cudnn driver 各种版本对应
onnx 和 nvidia cuda, nvidia cudnn 之间对应关系。
2023-12-01 19:46:11 493
原创 crontab 无法激活、启动 pyenv failed to activate virtualenv
后来根据 vscode 里启动调试的代码,把python换成pyenv里的对应的python路径就行。报错 failed to activate virtualenv。root crontab 无法激活、启动 pyenv。根据搜索结果,把pyenv换成绝对路径。
2023-11-17 12:32:32 259
原创 uniapp 离线打包 google 登录
clientid 是 xxxx.apps.googleusercontent.com。反向url 是 com.googleusercontent.apps.xxx。其中有 clientid 和反向url。
2023-11-02 18:54:30 520
原创 uniapp apple 苹果登录 离线本地打包
签名里带 sign in with apple。测试代码,获取app里所有的provider。文档写的不全,没有写离线打包流程。hbuilder开关。
2023-10-09 12:27:19 320
原创 漫画工厂ai-comic-factory 文字2漫画
最终展示大概流程: is used to generate the captions of 4 comic panels ()- I run SDXL 1.0 (no fine-tuning, no LoRA) 4 times, one for each panel ()参考:
2023-09-22 17:30:04 1085
原创 Could not find cuda drivers on your machine
参考:python - Cuda 12 + tf-nightly 2.12: Could not find cuda drivers on your machine, GPU will not be used, while every checking is fine and in torch it works - Stack Overflow
2023-09-20 19:48:16 1836
symbian 论坛大大hoolee的QA CHM版
2010-01-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人