- 博客(189)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 AIGC：【LLM（八）】——Baichuan2技术报告
大型语言模型（LLMs）已经在各种自然语言任务上展示了惊人的性能，只需少量自然语言指令的示例，就能减少对大量特征工程的需求。然而，大多数强大的LLM都是闭源的，或者在其能力上受到英语以外的其他语言的限制。在本文技术报告中，我们介绍了百川2号（Baichuan 2），这是一系列大规模的多语言模型，包含70亿和130亿个参数，从0开始训练，共使用2.6万亿个标记。在公共基准测试如MMLU、CMMLU、GSM8K和人为评估中，百川2号与类似大小的其他开源模型相匹配或超过它们。此外，百川2号在医学和法律等垂直领域表
2023-09-13 17:36:38
863
原创 AIGC：【LLM（七）】——Baichuan2：真开源可商用的中文大模型
Baichuan 2 是百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练。其在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。
2023-09-11 16:08:41
1153
原创 AIGC：【LLM（六）】——Dify：一个易用的 LLMOps 平台
Dify 是一个易用的 LLMOps 平台，旨在让更多人可以创建可持续运营的原生 AI 应用。Dify 提供多种类型应用的可视化编排，应用可开箱即用，也能以后端即服务的 API 提供服务。
2023-08-18 18:13:45
2226
3
原创 AIGC：【LLM（五）】——Faiss：高效的大规模相似度检索库
Faiss的全称是Facebook AI Similarity Search，是Facebook的AI团队针对大规模相似度检索问题开发的一个工具，使用C++编写，有python接口，对10亿量级的索引可以做到毫秒级检索的性能。
2023-08-07 17:20:02
1424
1
原创 AIGC：【LLM（四）】——LangChain+ChatGLM:本地知识库问答方案
这种通过组合langchain+LLM的方式，特别适合一些垂直领域或大型集团企业搭建通过LLM的智能对话能力搭建企业内部的私有问答系统。
2023-08-07 15:41:55
2940
2
原创 AIGC：【LLM（三）】——JARVIS:连接ChatGPT和HuggingFace解决AI问题
解决具有不同领域和模态的复杂人工智能任务是通往人工通用智能的关键骤。尽管存在丰富的适用于不同领域和模态的人工智能模型，但它们无法处理复杂的人工智能任务。考虑到大型语言模型（LLMs）在语言理解、生成、交互和推理方面表现出色，我们主张LLMs可以作为一个控制器来管理现有的人工智能模型，以解决复杂的人工智能任务，并认为语言可以成为一种通用接口来增强这一过程。
2023-07-05 16:43:00
1359
1
原创 【日常笔记】20230615——使用 Node Version Manager (NVM) 来管理和切换不同版本的 Node.js
NVM 允许您轻松地在多个 Node.js 版本之间切换，并确保每个项目都使用正确的 Node.js 版本。
2023-06-15 14:08:57
105
原创 Docker技术随记（十）：langchain Docker容器构建
【代码】Docker技术随记（十）：langchain Docker容器构建。
2023-06-15 10:54:09
609
原创 AIGC：【LLM（一）】——LoRA微调加速技术
LoRA的实现原理在于，冻结预训练模型权重，并将可训练的秩分解矩阵注入到Transformer层的每个权重中，大大减少了下游任务的可训练参数数量。对大规模的PLM进行微调往往成本过高，在这方面，PEFT方法只对少数（额外的）模型参数进行微调，基本思想在于仅微调少量 (额外) 模型参数，同时冻结预训练 LLM 的大部分参数，从而大大降低了计算和存储成本，这也克服了灾难性遗忘的问题，这是在 LLM 的全参数微调期间观察到的一种现象PEFT 方法也显示出在低数据状态下比微调更好，可以更好地泛化到域外场景。
2023-05-04 16:10:37
6114
1
原创 基于知识图谱的推荐系统（一）：综述
推荐系统的基本任务是联系用户和物品，解决信息过载的问题，帮助用户找到其感兴趣的内容。个性化的推荐系统更是可以为用户推荐专属的物品目录，尽可能满足用户的个性化需求。但是推荐系统也面临一些挑战，如数据稀疏和冷启动等问题。另一方面，用知识图谱构建用户与物品，或者物品与物品之间的信息可以作为一个外部知识来缓解上述问题，并提高推荐系统的可解释性。
2023-02-06 17:25:13
1827
1
原创 实体对齐（三）：RNM
实体对齐旨在将来自不同知识图（KG）的具有相同含义的实体联系起来，这是知识融合的重要步骤。 现有研究侧重于通过利用知识图谱的结构信息学习实体嵌入来进行实体对齐。这些方法可以聚合来自相邻节点的信息，但也可能带来来自邻居的噪声。 最近，一些研究人员试图成对比较相邻节点以增强实体对齐。
2023-01-31 10:57:22
2305
原创 动手学深度学习PyTorch（一）：数据操作
在深度学习中，我们通常会频繁地对数据进行操作。作为动手学深度学习的基础，本节将介绍如何对内存中的数据进行操作。
2022-06-14 15:43:23
1127
原创 通用信息抽取UIE论文笔记
一.研究背景与动机信息抽取目的信息抽取旨在从非结构化的自然语言文本中抽取出结构化的信息。主要任务命名实体识别关系抽取事件抽取观点抽取主要设置全监督低资源少样本零样本作用场景医疗金融法律美业农业教育信息抽取现有的问题任务难度大，落地成本居高不下。1）不同的信息抽取任务拥有差异较大的输出结构，难以统一化建模：实体识别任务一般是采用span及其实体类别表示关系抽取任务一般采用三元组（triplet） 结构表示事件抽取任务一般采用记录（record）
2022-05-26 16:54:01
1969
原创 深度学习框架拾遗：【Pytorch（十）】——Pytorch高阶API
1)线性回归模型import numpy as np import pandas as pdfrom matplotlib import pyplot as plt import torchfrom torch import nnimport torch.nn.functional as Ffrom torch.utils.data import Dataset,DataLoader,TensorDataset#样本数量n = 400# 生成测试用数据集X = 10*torch.r
2022-03-11 16:44:14
531
原创 深度学习框架拾遗：【Pytorch（九）】——Pytorch中阶API
Pytorch的中阶API主要包括:模型层损失函数优化器数据管道1）线性回归模型import numpy as npimport pandas as pdfrom matplotlib import pyplot as pltimport torchfrom torch import nnimport torch.nn.functional as Ffrom torch.utils.data import Dataset,DataLoader,TensorDataset%ma
2022-03-11 15:34:11
121
原创 深度学习框架拾遗：【Pytorch（八）】——Pytorch低阶API
Pytorch低阶API主要包括：张量操作计算图自动微分1）线性回归模型import numpy as npimport pandas as pdfrom matplotlib import pyplot as pltimport torchfrom torch import nn# 样本数n= 400# 生成测试用数据X = 10*torch.rand([n,2])-5.0 #torch.rand是均匀分布w0 = torch.tensor([[2.0],[-3.0]]
2022-03-11 14:00:22
136
原创 深度学习框架拾遗：【Pytorch（七）】——Pytorch动态计算图
1）动态计算图简介Pytorch的计算图由节点和边组成，节点表示张量或者Function，边表示张量和Function之间的依赖关系。Pytorch中的计算图是动态图。这里的动态主要有两重含义：第一层含义是：计算图的正向传播是立即执行的。无需等待完整的计算图创建完毕，每条语句都会在计算图中动态添加节点和边，并立即执行正向传播得到计算结果。第二层含义是：计算图在反向传播后立即销毁。下次调用需要重新构建计算图。如果在程序中使用了backward方法执行了反向传播，或者利用torch.autograd.g
2022-03-09 18:39:38
4680
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人