- 博客(11)
- 收藏
- 关注
RSS订阅原创 本地端口与云端服务器端口映射
由于服务器通常只暴露了用于安全远程登录的 SSH（Secure Shell）端口，如果需要访问服务器上运行的其他服务（如 web 应用）的特定端口，需要一种特殊的设置。~ 是用户主目录的简写，.ssh 是SSH配置文件的默认存储目录，id_rsa.pub 是 SSH 公钥文件的默认名称。所以，cat ~.ssh\id_rsa.pub 的意思是查看用户主目录下的 .ssh 目录中的 id_rsa.pub 文件的内容。步骤②： 您将被提示选择密钥文件的保存位置，默认情况下是在 ~/.ssh/ 目录中。
2024-01-21 14:26:26
456
1
原创 第五课-OpenCompass 大模型评测教程
大语言模型（LLM）在理解和生成自然语言文本方面已经取得了显著的进步。随着应用场景的逐渐多样化，利用模型快速写出高质量代码，修复代码 Bug，提升开发效率等需求对大语言模型编程代码的能力提出了新的挑战。学术社区在代码大模型上发展迅速，如 Code LLaMa，WizardCoder 等在社区获得了广泛关注。那我们该如何进行代码大模型的选型？相信通过全面透明的代码能力评测，你一定可以找到最适合自己需求的代码大模型方案。
2024-01-20 21:59:20
1728
原创 书生·浦语大模型实战营作业合集
1.使用 InternLM2-Chat-7B 模型生成 300 字的小故事2.熟悉 hugging face 下载功能，使用 huggingface_hub python 包，下载 InternLM2-20B 的 config.json 文件到本地进阶:1.完成 Lagent 工具调用 Demo 创作部署使用了pythonInterpreter工具2.完成浦语·灵笔的图文理解及创作部署。
2024-01-20 21:40:51
854
原创 第五课-LMDeploy 大模型量化部署实践
LMDeploy 由MMDeploy和MMRazor团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。高效推理引擎 TurboMind：基于 FasterTransformer，我们实现了高效推理引擎 TurboMind，支持 InternLM、LLaMA、vicuna等模型在 NVIDIA GPU 上的推理。**交互推理方式：**通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。多 GPU 部署和量化。
2024-01-13 20:58:53
879
1
原创 第四课-XTuner 大模型低成本微调实战
大模型(FFT的原理，就是用特定的数据，对大模型进行训练，将W变成W，W相比W ，最大的优点就是上述特定数据领域的表现会好很多。不同的分类角度，只是侧重点不一样，对同一个大模型的微调，也不局限于某一个方案，可以多个方案一起。微调的最终目的，是能够在可控成本的前提下，尽可能地提升大模型在特定领域的能力。
2024-01-13 20:21:12
816
1
原创 第三课-基于 InternLM 和 LangChain 搭建你的知识库
LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM应用。LangChain 的核心组成模块:链（Chains）：将组件组合实现端到端应用，通过一个对象封装实现一系列 LLM 操作Eg. 检索问答链，覆盖实现了 RAG（检索增强生成）的全部流程1. 数据收集本次选用由上海人工智能实验室开源的一系列大模型工具开源仓库作为语料库来源，选用上述仓库中所有的 markdown、txt 文件作为示例语料库。2. 加载数据。
2024-01-09 20:34:09
1354
原创 第二课-轻松玩转书生·浦语大模型趣味 Demo
InternLM 是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个 GPU 的大型集群上进行预训练，并在单个 GPU 上进行微调，同时实现了卓越的性能优化。在 1024 个 GPU 上训练时，InternLM 可以实现近 90% 的加速效率。基于 InternLM 训练框架，上海人工智能实验室已经发布了两个开源的预训练模型：InternLM-7B 和 InternLM-20B。
2024-01-06 21:49:54
1774
原创 第一课-书生·浦语大模型全链路开源体系
6.应用：Lagent AgentLego。2.预训练：InternLM-Train。5.评测：OpenCompass。4.部署：LMDeploy。3.微调：XTuner。1.数据：书生·万卷。
2024-01-04 21:29:07
417
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人