- 博客(167)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 大语言模型对于“长序列”的处理方法
处理非常长的序列（如超过20万个元素的序列）对于当前的大型语言模型来说仍然是一个挑战，尤其是那些基于Transformer架构的模型，因为这些模型的自注意力机制在计算上是非常昂贵的，计算复杂度和内存需求与序列长度的平方成正比增长。然而，近年来有几种方法被提出来解决这一问题，这些方法主要通过优化注意力机制、使用不同的架构或引入额外的技术来减少计算负担。
2024-04-16 01:45:34
338
原创 大模型用到的位置编码汇总（面试）
大模型的外推性问题是指大模型在训练时和预测时的输入长度不一致，导致模型的泛化能力下降的问题。在目前的大模型中，一般指的是超出预训练设置的上下文长度时，依旧保持良好推理效果的能力。
2024-04-16 01:34:27
739
原创 大模型推理过程
在人工智能领域，尤其是在机器学习和深度学习中，“推理”（Inference）是指使用训练好的模型来进行预测或决策的过程。在模型被训练以学习数据的特征和模式之后，推理就是将实际的数据输入模型，以获得输出结果的步骤。例如，在一个图像识别任务中，推理就是将新的图像输入到训练好的模型中，模型会识别图像中的对象并给出答案。
2024-04-14 21:08:01
263
原创 LLM大语言模型微调方法和技术汇总
微调（Fine-tuning）是一种迁移学习的方法，用于在一个预训练模型的基础上，通过在特定任务的数据上进行有监督训练，来适应该任务的要求并提高模型性能。微调利用了预训练模型在大规模通用数据上学习到的语言知识和表示能力，将其迁移到特定任务上。共有四类微调方法增加额外参数，如：Prefix Tuning、Prompt Tuning、Adapter Tuning及其变体。选取一部分参数更新，如：BitFit。引入重参数化，如：LoRA、AdaLoRA、QLoRA。
2024-04-13 21:33:00
1486
原创 脑认知科学基础知识汇总（常见脑区、常见测试方法）
V1 和 V4：V1（Primary Visual Cortex）和 V4（一个位于腹侧视觉通路中的区域）是视觉系统中的两个关键区域。V4：A region in the ventral visual pathway（腹侧视觉通路中的一个区域），位于颞叶和枕叶之间，是视觉系统中的一个重要区域。V1：Primary Visual Cortex（主视觉皮层）是大脑皮层的一个区域，位于枕叶后上方，是视觉信息最早到达和最基本处理的区域。这种传播可以是兴奋性的（激活下一个神经元）或抑制性的（抑制下一个神经元）。
2024-01-25 01:15:27
1236
原创 在Python中，*f和**f是用于解包参数的语法
f用于解包可迭代对象，将其元素作为独立的参数传递给函数。**f用于解包字典，将其键值对作为关键字参数传递给函数。
2023-12-07 22:13:38
513
原创 《功能磁共振多变量模式分析中空间分辨率对解码精度的影响》论文阅读
fMRI中的多变量模式分析(MVPA)已被用于从分布的皮层激活模式中提取信息，这在传统的单变量分析中可能无法检测到。然而，对于fMRI中MVPA的物理和生理基础以及空间平滑对其性能的影响知之甚少。一些研究已经解决了这些问题，但他们的调查仅限于3岁时的视觉皮层，结果相互矛盾。在这里，我们使用超高场(7 T)功能磁共振成像来研究空间分辨率和平滑对语音内容(元音)解码和说话者身份的影响。
2023-12-01 13:21:54
1275
原创 RLHF：强化学习结合大预言模型的训练方式
强化学习从人类反馈中学习（RLHF，Reinforcement Learning from Human Feedback）是一种将强化学习应用于优化语言模型的方法。传统的强化学习方法通常使用奖励函数作为反馈信号来指导模型学习，但在某些任务中，设计合适的奖励函数可能非常困难或耗时。RLHF的目标是通过人类提供的反馈来改进模型，从而缓解奖励函数设计的挑战。chatgpt等语言模型均用了这一方法。
2023-11-29 16:50:55
1130
原创 神经网络：脑科学中功能MRI成像的应用及其一些相关概念
MRI（核磁共振成像）是一种医学成像技术，用于获取人体内部结构的详细图像。MRI利用核磁共振现象来生成图像，核磁共振是一种基于原子核的物理现象。MRI成像的原理涉及到原子核的自旋和磁共振的概念。原子核具有自旋，类似于地球围绕自转的自旋。在没有外部磁场的情况下，原子核的自旋方向是随机的。然而，当一个物体被放置在强大的磁场中，如MRI机器中的大型磁体，原子核的自旋会趋向于与磁场方向平行或反平行排列。在MRI过程中，医生会将患者放置在强磁场中，使得患者体内的原子核自旋与该磁场对齐。然后，医生会通过向患者体内施加辅
2023-11-28 20:52:32
1177
原创 梯度下降与损失函数的基础知识
预测误差敏感性（Sensitivity to Prediction Errors）：损失函数应该对预测误差敏感，即当预测结果与真实值之间的差异较大时，损失函数的值应该相应增加。损失函数（Loss Function）是在机器学习和优化问题中使用的一个函数，用于衡量模型预测结果与真实值之间的差异或误差。损失函数的选择是根据具体问题和任务的特点而定，不同的问题可能需要不同的损失函数。学习率决定了每次参数更新的步长，过大的学习率可能导致参数在损失函数的最小值附近来回震荡，过小的学习率则可能导致收敛速度过慢。
2023-11-27 16:26:27
1275
原创 扩散模型，快速入门和基于python实现的一个简单例子（复制可直接运行）
当结合扩散模型和深度学习时，一种常见的方法是使用卷积神经网络（Convolutional Neural Network，简称CNN）来学习扩散过程中的模式和规律。以下是一个简单的例子，使用Python和PyTorch来实现扩散模型与深度学习的结合。这个代码实现了一个使用卷积神经网络（CNN）结合扩散模型的预测模型。具体来说，它使用CNN学习了扩散模型中的温度分布变化规律，并通过训练来预测给定初始温度分布下的最终温度分布。
2023-11-27 16:24:21
1370
原创 强化学习，快速入门与基于python实现一个简单例子（可直接运行）
强化学习是一种机器学习方法，旨在让智能体通过与环境的交互学习如何做出最优决策以最大化累积奖励。在强化学习中，智能体通过尝试不同的行动并观察环境的反馈（奖励或惩罚）来学习。它不依赖于预先标记的训练数据，而是通过与环境的实时交互进行学习。强化学习的核心概念包括以下几个要素：智能体（Agent）：执行动作并与环境进行交互的学习主体。环境（Environment）：智能体所处的外部环境，它对智能体的动作做出反应，并提供奖励或惩罚信号。
2023-11-25 21:01:27
1396
原创 基于pytorch使用特征图输出进行特征图可视化
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了基于pytorch使用特征图输出进行特征图可视化的方法特征图输出就是某个图像（序列）经过该层时的输出以下是本篇文章正文内容以上就是今天要讲的内容。
2023-11-09 22:36:51
1161
原创 获取深度学习模型权重或者某一层特征图输出的方法：基于pytorch
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了获取深度学习模型权重或者某一层特征输出的方法，包括使用hook机制。特征图输出就是某个图像（序列）经过该层时的输出以下是本篇文章正文内容以上就是今天要讲的内容。
2023-11-09 22:30:54
1121
原创 利用梯度上升可视化卷积核：基于torch实现
基于梯度上升的可视化是一种常用的技术，用于理解卷积神经网络（CNN）中的卷积核是如何对输入图像进行特征提取的。该方法可以通过最大化卷积层输出的激活值来生成图像，从而使得卷积核对特定特征更加敏感。以上代码均经过本人亲测可用。
2023-11-09 10:59:37
229
原创 深度学习理论知识入门【EM算法、VAE算法、GAN算法】和【RBM算法、MCMC算法、HMC算法】
它通过交替的E步骤（Expectation，期望）和M步骤（Maximization，最大化）来最大化似然函数。它通过交替的E步骤（Expectation，期望）和M步骤（Maximization，最大化）来最大化似然函数。其基本思想是，在每次迭代中，通过已知的参数值计算出潜在变量的期望值（E步骤），然后用这些期望值来最大化完全数据的似然函数（M步骤）。这个步骤使用E步骤中计算得到的潜在变量的期望值。M步骤（Maximization）：使用E步骤中计算得到的数据点的分配概率，更新高斯分布的均值和方差。
2023-11-08 17:58:16
549
原创 深度学习中的“钩子“（Hook）：基于pytorch实现了简单例子
在深度学习中，“钩子”（Hook）是一种机制，可以在神经网络的不同层或模块中插入自定义的代码，以便在网络的前向传播或反向传播过程中执行额外的操作或捕获中间结果。总的来说，钩子是一种强大的工具，使得在深度学习中能够更加灵活地探索和操作网络的中间状态和梯度信息，从而帮助我们理解和改进模型的性能。模型修改：通过在钩子中修改网络的参数或梯度，可以实现一些定制化的操作，如参数冻结、权重剪枝或自适应调整等。梯度信息：钩子可以获取网络在反向传播过程中的梯度信息，用于梯度可视化、梯度裁剪或梯度调整等操作。
2023-11-08 17:55:33
621
原创 神经网络可视化：卷积核可视化
卷积核可视化是一种用于理解卷积神经网络 (CNN) 中卷积层的工作原理和特征提取能力的方法。通过可视化卷积核，我们可以观察卷积层学习到的特征模式，帮助我们理解网络如何对输入进行处理。本文给出了一个具体的pytorch实现的例子。本文还给了一个用权重核和直接卷积图像的例子。以上就是今天要讲的内容，本文仅仅简单介绍了卷积核可视化的计算。
2023-11-08 17:30:26
508
原创 csdn初始模板【自用】
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + S
2023-11-08 17:11:03
89
原创 神经网络可视化：Grad cam可视化
导入必要的库和模型：首先，你需要导入相关的库，如 PyTorch、NumPy 和 OpenCV，并加载已经训练好的 CNN 模型。我们使用Grad-CAM生成类激活图（CAM），并将其应用于原始图像上，以可视化定位到的对象区域。准备输入图像：选择一张输入图像作为输入，并将其进行预处理，使其符合模型的输入要求。加权求和：将每个特征图通道与其对应的权重相乘，并将它们加权求和，得到最终的热力图。前向传播：将预处理后的图像输入到 CNN 模型中，进行前向传播，获取模型的输出。
2023-11-07 11:52:54
1045
2
原创 累计概率分布、概率分布函数（概率质量函数、概率密度函数）、度量空间、负采样（Negative Sampling）
但是，负采样也引入了一定的偏差，因为负例是随机选择的，并不能保证完全涵盖语料库中的所有负例。在传统的词嵌入模型中，目标是学习每个单词的词向量表示，使得具有相似上下文的单词在向量空间中的距离更近。常用的选择方法是使用单词的概率分布的幂次进行采样，即根据频次的幂次对单词进行采样，出现频次较高的单词被选择为负例的概率较低，频次较低的单词被选择为负例的概率较高。它可以是实数值的距离，也可以是其他形式的度量，如欧氏距离、曼哈顿距离等。正例的标签为1，负例的标签为0，模型的目标是最大化正例的概率、最小化负例的概率。
2023-11-06 09:54:21
1584
原创 conda报错：No report sent. To permanently opt-out, use $ conda config --set report_errors false
以上报错原因，主要是因为用一个用户切换到另一个用户了。
2023-09-23 22:46:38
2542
9
原创 用python画一个柱状图可能用到的代码【完整版】
绘制一个柱状图； 函数的第一个参数指定要绘制的水平线的位置，这里设为 0 表示绘制 y 轴上的 0 刻度线。color 参数指定线的颜色，这里设为 ‘black’ 表示黑色，linewidth 参数指定线的宽度，这里设为 2。在这个例子中，我们使用xlabel()和ylabel()函数来设置X轴和Y轴的标签。然后，使用 plt.gca() 获取当前轴对象。通过 spines 字典对象，我们设置了 x 轴和 y 轴的线宽，其中 ‘bottom’ 对应 x 轴下边框，‘left’ 对应 y 轴左边框。
2023-09-01 21:19:29
706
原创 基于pytorch的神经网络与对比学习CL的训练示例实战和代码解析
反之，如果 label 表示这两个样本是不同类别的，我们希望 euclidean_distance 较大，因为不相似的样本应该相隔较远。对比学习的核心思想是通过最大化相似样本之间的相似性，并最小化不相似样本之间的相似性来训练模型。因此，margin 控制了相似性的门槛，较小的 margin 值会鼓励更严格的相似性定义，而较大的 margin 值会放宽相似性的限制。通过这种方式，我们可以指定哪些样本是相似的（label=0），哪些样本是不相似的（label=1）。用于指定相似性的门槛。
2023-07-08 22:21:00
2428
2
原创 使用 PyTorch Geometric 和 GCTConv实现异构图、二部图上的节点分类或者链路预测
定义异构图的元数据字典 meta_dict，其中 ‘n1’ 和 ‘n2’ 分别表示两种节点类型，而 (‘n1’, ‘e1’, ‘n2’) 表示从类型 ‘n1’ 的节点到类型 ‘n2’ 的节点有一条边，这条边的索引和权重分别为 edge_index_e1 和 edge_weight_e1。edge_index_e2=torch.flip(edge_index_e1, (0,)) 创建逆向的边，由于是二部图无向图所以需要。定义异构元数据列表 meta_list，其中包含所有节点类型和边类型的名称信息。
2023-04-15 14:50:17
1223
1
原创 基于图卷积神经网络GCN的二部图链路预测方法实现思路和完整代码【可用于疾病-靶点、miRNA-疾病等相关预测】
在前向传播函数中，首先对节点特征进行两层 GCN 卷积操作，然后将边索引按照顺序重新排列，接着通过 pro_data 函数筛选出源节点和目标节点的特征向量，并将其拼接在一起，最后通过全连接层得到输出。edge_index_pos 表示有边相连的节点对的索引，edge_index_neg 则表示没有边相连的节点对的索引。这里使用 numpy 库的 random.shuffle 函数将数据索引随机打乱，并按照 8:2 的比例划分为训练集和测试集。从正负样本中随机选取相同数量的边，形成平衡的训练集。
2023-04-15 01:21:46
2071
9
原创 图神经网络-针对异构图的预测问题，以及每种网络可以用于的任务类型
异构图介绍异构图神经网络简介异构图神经网络任务介绍Heterogeneous Graph Neural Network (HetGNN)Relation-aware Graph Convolutional Networks (R-GCN)Heterogeneous Information Network Embedding (HINE)Heterogeneous Graph Attention Network (HAN)Graph Transformer Networks for Hetero
2023-03-16 12:04:30
3961
原创 从零开始一文理解Graph Embedding
从图的基础知识开始介绍，本文包括 DeepWalk LINE SDNE Node2vec Struc2vec等几个重要的Graph Embedding 方法，对随机游走、skipgram都做了一定的解释。只要给定d维度，而由神经网络自动图中节点的embedding这一过程，就叫做Graph Embedding。
2023-02-23 17:52:03
643
3
原创 理解随机游走
在任意一个顶点，遍历者将以概率1-a游走到这个顶点的邻居顶点，以概率a随机跳跃到图中的任何一个顶点，称a为跳转发生概率，每次游走后得出一个概率分布，该概率分布刻画了图中每一个顶点被访问到的概率。（1）赌徒在赌场赌博，赢的概率是p，输的概率1-p，每次的赌注为1元，假设赌徒最开始时有赌金1元，赢了赌金加1元，输了赌金减1元。假设在我们的文本序列中有5个词，[“the”，“man”，“loves”，“his”，“son”]。进一步，假设给定中心词的情况下，背景词之间是相互独立的，公式可以进一步得到。
2023-02-23 17:04:16
826
原创 图神经网络基础 Graph 图以及python实现
本文将介绍图的基本知识、无向图、有向图、邻接矩阵 python实现：度、连通分量、强连通图、弱连通图、图直径、度中心性、特征向量中心性、中介中心性、连接中心性等基本概念。
2023-02-22 10:14:18
2357
原创 超越ChatGPT——SelfCommNet：一种拥有自我意识的神经网络设计
摘要： 本文设想一种可以拥有自我意识的网络结构，其基本思想是，人类的自我意识来自于自我思考可以总结为自我提问-自我检索-自我汇总-自我回答，基于此本文在一般神经网络的基础上提出一种可以模拟自我思考的网络结构，模型整体架构包含外界输出层-自我思考层-外界输出层。自我思考层设计的主要思路是通过提前训练好记忆网络(Memory network system)，将记忆网络及其多个副本通过交流网络(Communication network system)进行合并交流，以模拟实现基础的自我思考，而合并交流的结果超过某
2023-02-21 17:57:40
2470
原创 基于pytorch使用实现CNN 如何使用pytorch构建CNN卷积神经网络
基于pytorch使用实现CNN 如何使用pytorch构建CNN卷积神经网络本文是一个基于pytorch使用CNN在生物信息学上进行位点预测的例子基于pytorch实现CNN，基于CNN进行位点预测，将CNN代码进行封装，可以非常简单的使用代码，基于最简单的特征提取方法。
2022-10-26 04:54:59
3659
4
原创 python 生成器yield 和 迭代器iter next 示例
python 生成器yield 和 迭代器iter next 示例. 通过一个非常简单的例子解释清楚什么是生成器和迭代器。 numpy作为迭代器，pandas作为迭代器。使用生成器和迭代器的好处是可以节省内存等。
2022-10-26 02:20:20
239
原创 conda jupyter 报错 ImportError: DLL load failed: 找不到指定的模块。ernelRestarter: restart failed。
使用jupyter切换子环境，以及导致的`找不到指定模块DLL`和`找不到指定的程序`问题,使用多核心conda jupyter时 某一个python环境总是加载不出来，并有如下报错：
2022-10-23 10:37:13
1339
原创 linux 配置 pip 换源
按ESC推出插入模式，按shift+: 进入命令模式，然后输入### linux 配置 pip 换源， Linux如何换pip源进入用户目录下，并建立.pip文件夹：wq 回车。
2022-10-18 16:24:48
2178
EndNote X9免费版，安装即可使用
2022-05-12
科研工具EndNote 可以直接使用
2022-04-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人