- 博客(16)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 借助知识图谱和Llama-Index实现基于大模型的RAG
对于语言模型（LLM）幻觉，知识图谱被证明优于向量数据库。知识图谱提供更准确、多样化、有趣、逻辑和一致的信息，减少了LLM中出现幻觉的可能性。这种优越性源于它们能够提供关于实体之间关系的精确细节，而不仅仅是表示相似性，支持更复杂的查询和逻辑推理。向量数据库以其数字数组在相似性搜索和最佳匹配场景中表现出色。最终，两者之间的选择取决于项目的需求，包括数据的性质、关系探索的需要以及预期的查询类型。
2024-03-12 18:51:59
1263
原创 关于图在推荐系统中的研究
为了提高知识图谱的完整性，使解释路径多样化，论文从图像中提取的特征信息合并到知识图谱中，在五个最先进的 SR 模型（即 GRU4REC、NARM、GCSAN、SR-GNN、SASRec）中实例化了 PR4SR，并将其与其他可解释的 SR 框架进行比较，通过在四个数据集上使用这些方法进行大量实验来证明 PR4SR 对推荐和解释任务的有效性。事实证明，这两种方法都可用于对行为数据中的复杂关系进行建模，从而在个性化排名和物品推荐任务中取得不错的结果，同时保持良好的可扩展性。推荐系统中的偏见也可能为数据引入噪声。
2024-03-12 18:48:53
882
原创 Claude是何方圣神，多项评分超GPT4
当 AI 能力达到的时候，不用强行推广，自然而然就契合市场了，就像 ChatGPT，从来没打广告，却让全世界的人口口相传。当 AI 能力达不到的时候，老板、产品、销售就算把 AI 工程师逼死，也搞不出成果来。（忘了在哪里看到的了）Claude 3 系列模型在推理、数学、编码、多语言理解和视觉方面，都树立了新的行业基准。
2024-03-10 21:41:27
773
原创 再度拆解Transformer(图解)，深挖自注意力、编码器-解码器注意力、注意力分数以及内部结构
Transformer的大脑多头注意力是Transformer的大脑，请先记住这句话并耐心看完本篇文章，希望看完后你会理解这句话。Transformer 中如何使用 Attention注意力机制在 Transformer 中的三个地方发挥作用：编码器中的自注意力——输入序列关注自身 解码器中的自注意力——目标序列关注自身 Decoder中的Encoder-Decoder-attention——目标序列关注输入序列注意力输入参数查询、键和值注意力层以三个参数的形式获取输入
2024-03-10 21:02:22
931
原创 大模型也有风险
事实证明，大模型完全有能力生成明显侵犯版权和商标的内容，这一点该如何解决，一定是需要在各个场景考虑的，是简单地删除侵犯版权的内容，还是拿到许可的版权，还是其他的解决办法，是任何一家企业都需要考虑的。其实，上面的问题早在大模型出现之前就存在了，只是大模型的出现充分将这些问题暴露出来，既然存在问题，就应该相对应的解决办法，不论是技术手段还是非技术手段，这既是充满挑战的，也是充满机遇的。这种近乎原样照搬的输出称为“抄袭输出”，这是因为如果同样的情况发生在人类身上，那其行为就属于典型的抄袭行为。
2024-02-27 23:21:48
341
原创 谷歌开源Gemma，AI大模型时代强势来临
2024年，2月21日，谷歌正式对外发布开源大模型Gemma。谷歌发布的Gemma包含Gemma 2B 和 Gemma 7B，参数规模分别为20亿和70亿，参数规模并不大，谷歌将这两个模型归为轻量级开放模型系列，2B版本甚至可直接在笔记本电脑上运行。在此之前，谷歌在2023年12月首次对外发布Gemini大模型时，对外公布了Ultra、Pro、Nano三个版本，并称“这些是进入Gemini时代第一个模型，也是Google DeepMind成立时的愿景。
2024-02-27 20:56:35
1000
原创 大模型之可解释理论框架InContextLearning
大模型的ICL过程，也被称为情景学习和上下文学习，该过程的一个显著特性是其可以从少量的示例集合中学习新规则，并且泛化到新的查询样本中。例如，我们给定一些输入示例：“Apple->Red、Lime->Green”，提示模型对新的查询“Corn->”产生输出为“Yellow”，如下图所示，模型可以仅基于两个示例就学习到了用户的目标映射关系。此外，作者也提到本文的方法与软提示（soft-prompt）方法类似，
2024-02-21 13:59:23
869
原创 大模型LLM之混合专家模型MoE（上-基础篇）
大模型的发展已经到了一个瓶颈期，包括被业内所诟病的罔顾事实而产生的“幻觉”问题、深层次的逻辑理解能力、数学推理能力等，想要解决这些问题就不得不继续增加模型的复杂度。
2024-02-21 10:07:16
932
原创 从数学角度分析L1为什么容易产生稀疏解
引入L2正则时，代价函数在0处的导数仍是d0，无变化。而引入L1正则后，代价函数在0处的导数有一个突变。从d0+λ到d0−λ，若d0+λ和d0−λ异号，则在0处会是一个极小值点。因此，优化时，很可能优化到该极小值点上，即w=0处。L2正则化相当于为参数定义了一个圆形的解空间，而L1正则化相当于为参数定义了一个菱形的解空间。L1、L2都是对损失函数的优化，L范式都是为了防止模型过拟合，所谓范式就是加入参数的约束。假设L(w)在0处的倒数为d0，即 { ∂L(w)/∂w∣(w=0) } = d0。
2024-02-18 12:15:08
361
原创 借助知识图谱和Llama-Index实现基于大模型的RAG
编写一个查询，指定要探索的模式或关系。下面是一个简单的示例，展示了如何查询图数据库：假设你有一个代表社交网络的图数据库，其中用户是节点，而它们的关系（例如友谊）由连接节点的边表示。例如，知识图谱可以告诉你“埃菲尔铁塔”是“巴黎”的地标，而向量数据库只能表示这两个概念的相似程度。以下是查询向量数据库的简单示例：假设你有一个包含客户配置文件的向量数据库，这些配置文件表示为高维向量，你想找到与给定参考客户相似的客户。最终，两者之间的选择取决于项目的需求，包括数据的性质、关系探索的需要以及预期的查询类型。
2024-02-18 12:06:54
992
原创 Sora 最全面的技术报告
许多先前的工作已经研究了使用各种方法对视频数据进行生成建模，包括循环网络、1 ,2 ,3生成对抗网络，4 ,5 ,6 ,7自回归变压器，8 ,9和扩散模型。Sora 是视觉数据的通用模型，它可以生成不同时长、长宽比和分辨率的视频和图像，最多可达一分钟的高清视频。本文主要对OpenAI官网提供的技术报告进行介绍，报告主要提供了训练Sora的方法，以及对其能力和局限性的定性评估。过去的图像和视频生成方法通常会将视频调整大小、裁剪或修剪为标准尺寸，例如，分辨率为 256x256 的 4 秒视频。
2024-02-17 21:26:08
785
原创 意图识别那些事儿
一、意图是什么意图是一个抽象的概念，意图指用户说话的目的，即用户想要表达什么、想做什么。用户的对话中可能含有多个意图，这些意图按照概率的大小进行排序。二、意图检测用户意图检测是QA以及对话系统的一个重要环节。传统的用户意图检测利用标注数据在预定义好的用户意图上进行分类。对于新出现的用户意图，传统方法需要重新收集标注数据并重新训练模型，非常的耗时耗力。三、意图组成一个意图通常由以...
2019-08-12 20:26:46
1276
1
原创 python 代码静态检查工具及使用
一、静态检查工具pylint常见错误类型如下：二、pycharm中安装配置pylint工具进入PyCharm，从菜单栏，依次进入： File -> Settings -> Tools -> External Tools。“+”，进行添加。需要填写的部分分别是：“Name”，“Tool Settings -> Programs”、“Tool Set...
2019-06-10 17:08:31
967
原创 说说 sigmod、softmax 那些事儿
一、共同点1、取值范围都是0~1区间，表示概率，概率自然是这个取值范围2、都可以用来作为分类任务的输出层函数二、不同点1、sigmod作为输出层函数时解决的二分类任务，输出值是一个小数；除此之外可以用作隐层的激活函数， 另提一点，激活函数是解释神经网络非线性的核心原因。2、softmax是二分类任务的推广，用于解决多分类问题，输出值是一组小数，有几类就有几个小数，相加为1。...
2018-05-17 14:52:16
3803
原创 朴素贝叶斯文本分类
目的：屡清楚各个概率，一篇文本，如何确定是体育还是娱乐还是其他新闻每个文档由特征矢量表示，1或0。1表示词汇表中第t个词在文档i中出现,0表示不出现。V是词汇表（所有训练数据）某一文档d,贝叶斯分类器按下式选择最可能的类C：C=maxP(cj|w1,w2,…,wn)其中w1,w2,…,wn是词汇表V中的词,根据贝叶斯定理和链规则,上式可写为:因此,要对一个新文档分类,就是要从训
2017-05-08 20:57:32
302
原创 机器学习的一些笔记
从sklearn开始机器学习，一定会有分类、聚类算法。分类我是从朴素贝叶斯开始学习的，核心思想很简单，要记住它是一个概率图模型，是生成模型，大家可以在网上查看到一些写的非常好的博客，这里我就不多说了。除了贝叶斯分类，还可以采用线性回归、逻辑回归、决策树、SVM分类。这几个分类的原理大家可以自行查找，通过sklearn包中提供的方法来学习，可以迅速上手，这里我提供一下我学习的源码地址：https
2017-04-28 14:16:42
403
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人