- 博客(761)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 Llama中文大模型-部署加速
由上海人工智能实验室开发，推理使用 C++/CUDA，对外提供 python/gRPC/http 接口和 WebUI 界面，支持 tensor parallel 分布式推理、支持 fp16/weight int4/kv cache int8 量化。由非十科技领衔，与清华大学可视媒体研究中心合作研发，通过动态swap机制大幅降低硬件配置要求（减少80%）,并且Jittor框架通过零拷贝技术，大模型加载相比Pytorch开销降低40%，同时，通过元算子自动编译优化，计算性能提升20%以上。
2024-02-24 18:17:01
546
原创 Llama中文大模型-模型+工具（外延能力）
除了持续增强大模型内在的知识储备、通用理解、逻辑推理和想象能力等，未来，我们也会不断丰富大模型的外延能力，例如知识库检索、计算工具、WolframAlpha、操作软件等。我们首先集成了LangChain框架，可以更方便地基于Llama2开发文档检索、问答机器人和智能体应用等，关于LangChain的更多介绍参见。针对LangChain框架封装的Llama2 LLM类见。
2024-02-24 18:14:25
596
原创 Llama中文大模型-模型微调
加载预训练模型参数和微调模型参数，以下示例代码中，base_model_name_or_path为预训练模型参数保存路径，finetune_model_path为微调模型参数保存路径。基于LoRA微调的模型参数见：基于Llama2的中文微调模型，LoRA参数需要和基础模型参数结合使用。对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。，单机多卡的微调可以通过修改脚本中的。，关于LoRA微调的具体实现代码见。，关于全量参数微调的具体实现代码见。安装对应的环境依赖。
2024-02-24 18:12:01
709
原创 Llama中文大模型-模型预训练
原子大模型Atom在Llama2的基础上，采用大规模的中文数据进行持续预训练，包含百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等，详见📝 数据来源。互联网上公开的网络数据，挑选出去重后的高质量中文数据，涉及到百科、书籍、博客、新闻、公告、小说等高质量长文本数据。同时对庞大的数据进行了过滤、打分、去重，筛选出超过1T token的高质量中文数据，持续不断加入训练迭代中。Clue开放的中文预训练数据，进行清洗后的高质量中文长文本数据。
2024-02-24 18:10:23
686
原创 Llama中文大模型-模型部署
基于gradio搭建的问答界面，实现了流式的输出，将下面代码复制到控制台运行，以下代码以Atom-7B-Chat模型为例，不同模型只需修改一下面的model_name_or_path对应的模型名称就好了😊。为了方便通过API方式调用模型，我们提供了脚本用来快速搭建FastAPI接口，相关测试代码与API参数设置见API 调用。创建一个名为 quick_start.py 的文件，并将以下内容复制到该文件中。如需设置环境，安装所需要的软件包，运行下面的命令。你可以从以下来源下载Atom-7B-Chat模型。
2024-02-24 18:09:10
1090
原创 Llama中文大模型
Meta官方在2023年8月24日发布了Code Llama，基于代码数据对Llama2进行了微调，提供三个不同功能的版本：基础模型（Code Llama）、Python专用模型（Code Llama - Python）和指令跟随模型（Code Llama - Instruct），包含7B、13B、34B三种不同参数规模。LoRA参数以及与基础模型合并的参数均已上传至Hugging Face，目前包含7B和13B的模型。
2024-02-24 18:04:18
1708
原创 repository-is-not-signed-in-docker-build
repository-is-not-signed-in-docker-build
2023-07-16 09:57:30
1429
原创 AtomGPT
【转发】为了能够在中文上训练出一个能够和ChatGPT能力接近的中文大模型，我们开放了AtomGPT项目AtomGPT基于LLaMA的模型架构，从0开始训练，希望能在训练的过程中，将模型能力得到提升的进化过程展示出来，感受到模型学习的过程。(ps:各位大佬，如果本项目能给您带来一点点帮助，麻烦点个⭐️吧)
2023-07-02 08:25:11
352
原创 Hadoop集群动态增加节点
配置ntp服务时钟，与主节点同步: server 90.0.25.1。执行该操作后，会看到其他节点上的block转移到新加入的节点上。磁盘总利用率与各个节点的利用率之差的绝对值不超过1%。配置hosts文件：vim /etc/hosts。数据传输带宽默认为1M，这里设置为64M。
2023-06-04 12:29:56
236
原创 Hive on Spark环境搭建
Hive 引擎包括：默认 MR、tez、spark最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带Hive on Spark：Hive 既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive : Hive 只作为存储元数据，Spark 负责 SQL 解析优化，语法是 Spark SQL语法，Spark 负责采用 RDD 执行。
2023-06-03 20:55:52
2997
原创 手动编译hive
使用hive3.1.2和spark3.4.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.4.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.4.0对应的hadoop版本是hadoop2.6或hadoop2.7。除了兼容spark3.4.0外，还将hive3.1.2的guava的版本进行了提升，和hadoop3.x保持一致，以便兼容hadoop3.1.3。1、下载hive3.1.2源码包。2、本地解压并修改源码。
2023-06-03 20:29:18
1251
1
原创 多个硬盘挂载到同一个目录
LV(Logical Volume)- 逻辑卷逻辑卷建立在卷组之上，卷组中的未分配空间可以用于建立新的逻辑卷，逻辑卷建立后可以动态地扩展和缩小空间。系统中的多个逻辑卷可以属于同一个卷组，也可以属于不同的多个卷组。VG(Volumne Group)- 卷组卷组建立在物理卷之上，一个卷组中至少要包括一个物理卷，在卷组建立之后可动态添加物理卷到卷组中。基本概念PV(Physical Volume)- 物理卷物理卷在逻辑卷管理中处于最底层，它可以是实际物理硬盘上的分区，也可以是整个物理硬盘，也可以是raid设备。
2023-04-02 18:01:22
2980
原创 parse error on line 1, column 4: bare “ in non-quoted-field
parse error on line 1, column 4: bare " in non-quoted-field
2022-12-08 09:44:32
1646
原创 kubelet Container runtime network not ready“ networkReady=“NetworkReady=false reason:NetworkPluginNo
Container runtime network not ready" networkReady="NetworkReady=false reason:NetworkPluginNotReady message:Network plugin
2022-10-06 17:49:49
9016
1
原创 ERRO[0000] unable to determine runtime API version: rpc error: code = Unavailable desc = connection
[0000] unable to determine runtime API version: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial unix /var/run/dockershim.sock: connect: no such file or directory"
2022-10-06 16:12:02
2547
原创 使用 supervisor 管理进程
supervisord是一个用 Python 写的进程管理工具，可以很方便的用来启动、重启、关闭进程（不仅仅是 Python 进程）。除了对单个进程的控制，还可以同时启动、关闭多个进程，比如很不幸的服务器出问题导致所有应用程序都被杀死，此时可以用 supervisor 同时启动所有应用程序而不是一个一个地敲命令启动。
2022-10-05 14:34:44
677
McGrawHill_-_Machine_Learning_-Tom_Mitchell课后答案
2016-04-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人