Karen_Yu_-CSDN博客

原创【补充】图神经网络前传——PageRank

对于任何一个网页，都可以给出网页的重要度，给每个网页重要度打分，高分的靠前。（这个参考资料考虑之后去自己看看）把互联网用图来表示，每一个网页就是一个节点，网页之间的引用（放一个超链接，比如）就是边。不过现在可能这样就不太方便了，因为现在的网页是可以随时生成的（比如支付成功页面），同时还有无法触达的部分（比如朋友圈、聊天记录），都不是爬虫可以爬到的。PageRank把互联网当作一个整体，认为网页间存在关联。

2024-05-10 09:18:02 448

原创【intro】Graph Isomorphism Network（GIN）

图神经网络(gnn)是一种有效的图表示学习框架。gnn采用邻域聚合方案，通过递归聚合和变换相邻节点的表示向量来计算节点的表示向量。已经提出了许多GNN变体，并在节点和图分类任务上取得了最先进的结果。然而，尽管gnn彻底改变了图表示学习，但人们对其表示特性和局限性的理解有限。->一个理论框架，用来分析GNN捕获不同图结构的能力。

2024-05-09 11:44:42 474

原创【intro】GraphSAGE

大图中节点的低维embedding已经被证明在各种预测任务中非常有用，然而，大多数现有的方法要求在embedding训练期间图中的所有节点都存在;这些先前的方法属于直推式（transductive），不能自然地推广到看不见的节点。这里我们介绍GraphSAGE，一个通用的归纳式（inductive）框架，它利用节点特征信息(例如，文本属性)来有效地为以前未见过的数据生成节点embedding。

2024-05-08 14:13:45 790

原创【intro】图注意力网络（GAT）

GAT，作用于图结构数据，采用masked self-attention layers来弥补之前图卷积或类似图卷积方法的缺点。通过堆叠layers，让节点可以添加其邻居的特征，我们就可以给不同的邻居节点不同的权重，而这一步操作不需要使用任何昂贵的矩阵计算（比如求逆矩阵），也不需要依赖对图结构的了解。可以很容易地应用于inductive，transductive 问题（归纳、直推）。

2024-05-08 05:45:00 1547

原创【intro】图卷积神经网络（GCN）-续

卷积神经网络也可以被看作是一个图神经网络。每个像素都有自己的邻居，比如上图最中间的1有8个邻居，CNN其实就是对这个8-邻域的信息进行汇总区别在于CNN中，卷积核是需要学习的，但是在GCN中，是由normalized adjacency matrix预定义好的（不用学）并且CNN不能调换像素位置。

2024-05-06 15:59:30 756

原创【intro】图卷积神经网络（GCN）

id- 每个sample对应的随机标识符seq_scored- (68 in Train and Public Test, 91 in Private Test)int，表示使用预测值进行评分时所使用的位置数。这应该与reactivity、deg_*和*_error_*列的长度相匹配。用于Private Test的分子将比Train和Public Test数据中的分子长，因此此向量的大小将不同。seq_length。

2024-05-05 19:54:51 735

原创【补充】图神经网络前传——图论

如上图，简单图G的顶点集合为V(G)，{u, v, w, z}，边的集合为E(G)，包含：uv, uw, vw, wz在任何简单图中，最多有一条边连接给定的一对顶点。简单图的很多结论可以推广到更general的图中（即使加上环和多重边）图：其中V表示顶点的集合，E是未排序的顶点对的集合，E中的元素即为边。相邻（adjacent）：假设u v是图的两个顶点，若有，则称u v是相邻的，即是图G中的一条边，称u为v的邻居（neighbour）。关联（incident）：若顶点v和边e的关系为。

2024-04-30 18:11:33 1331

原创 Graph Neural Networks(GNN)学习笔记

edgesnodes).图是表现实体（顶点）之间的一些关系（边）顶点可以用embedding（就是一条向量）来表示其中的一些属性边也可以用embedding来表示，边的长度（指向量的长度）可以和顶点的长度不一样全局的信息也可以用embedding来表示（长度也可以不一样）核心->如何把我们想要的信息，表示成这些向量，以及这些向量是否能通过数据来学到有向图&无向图。

2024-04-28 15:48:49 794

原创 Transformer 代码补充

本文是对以及的补充，是对相关代码的理解。先说个题外话，在之前李宏毅老师的课程中提到multi-head attention是把得到的qkv分别乘上不同的矩阵，得到更多的qkv。实际上，这里采用的方法是直接截取，比如这里有两个头，那么q^i就被分成两部分q^{i,1}和q^{i,2}。在中有解释，也推荐。

2024-01-30 21:56:36 976

原创【李宏毅机器学习】Transformer 内容补充

发现一个奇怪的地方，如果直接看ML/DL的课程的话，有很多都是不完整的。开始思考是不是要科学上网。本文用作的补充内容，因为发现如果实操还是有不能理解的地方，所以准备看看宝可梦老师怎么说×。

2024-01-28 12:26:16 1126 1

原创【百面机器学习】读书笔记（一）

感觉这里书给的不怎么样orz。

2024-01-22 18:44:45 504

原创 KAGGLE · GETTING STARTED CODE COMPETITION 图像风格迁移示例代码阅读

将真实图像比作1的矩阵，将假图像比作0的矩阵。完美的discriminator将为真实图像输出所有的1，为假图像输出所有的0。discriminator损耗输出实际损耗和生成损耗的平均值。计算真实标签和预测标签之间的交叉熵损失。将这种交叉熵损失用于二值(0或1)分类应用程序。TF2.0—tf.keras.losses.BinaryCrossentropy-CSDN博客tf.keras.losses.BinaryCrossentropy函数-CSDN博客这里延伸一下：为什么分类要用交叉熵而不用MSE。

2024-01-21 17:57:56 813

原创李宏毅 Generative Adversarial Network（GAN）生成对抗网络

machine learning就是去找一个函数，input一个东西，output另一个东西。如果是regression task，就output一个数值，如果是classification task，就是output一个class。如果我们遇到的问题是一个更复杂的问题，不是output一个数值/class，可能是一个sequence、matrix、graph、tree。这个task就是structured learning。

2024-01-21 10:53:58 1150

原创 PyTorch Tutorial 2.0

这里是对于的补充，但是与其相关的NLP内容无关，只是一些基础的PyTorch用法的记录，主要目的是能够自己生成一些模拟的数据集。先介绍随机数的目的是因为based on随机数方法。当然在看随机数的方法的时候，觉得也有必要对统计学方法进行一个总结，也许在不久的将来吧:))

2024-01-16 18:12:54 1108 1

原创 Intro project based on BERT

BERT，其实就是Transformer中的encoder。是语言模型的变形。一起入门语言模型(Language Models) - 知乎 (zhihu.com)（在之前NLP的部分其实就提到的语言模型，让我盲答的话我会举例描述这就像已知我说了某个词A，那么我下一个说词B的概率，这种感觉就很类似我们手机上的输入法，输入一个词之后会给出联想词，点击之后又会给出新的联想）---以下为引用---什么是语言模型呢？对于任意的词序列，它能够计算出这个序列是一句话的概率。

2024-01-10 17:43:16 1051

原创 BERT Intro

BERTBEncoderRTransformers（transformer这个模型的双向的编码器表示，注意到这里和标题内容是不一样的，很可能这个名字是凑出来的（李宏毅在NLP课程中提过这个，表示就是凑出来的，吐槽说论文也喜欢蹭热点，比如有些用三个动词，比如xxx is all you need这样，还举例说后面的其他模型也凑热闹，硬用芝麻街里的人名凑），这篇论文的想法基于一个重要的工作ELMo（这是一个基于RNN的架构），来自于芝麻街的人物）。

2024-01-09 19:13:09 1100

原创 Transformer - Attention is all you need 论文阅读

在主流的序列转录模型中，主要是依赖循环或者卷积神经网络，一般是使用encoder和decoder的架构，在一些性能最好的模型中，通常也会在encoder和ecoder之间使用一个称为attention mechanism（注意力机制）这篇文章主要是要做序列到序列的生成，采用一个新的简单的网络结构，仅仅依赖注意力机制，而完全没有采用之前的循环或者卷积。作者做了两个翻译的任务，显示模型的性可以并行，并且所需要训练的时间更短。2 个机器翻译任务的实验结果英 - 德：比当时最好的结果提高了2个BLEU。

2024-01-07 19:03:39 1242

原创 PyTorch Tutorial

kernelreturn xprint(net)简单解释一下，这是一个简单的卷积神经网络，首先x是一个二维的Tensor（比如图像），这个图像的channel是1（可能是黑白的，当然也可能是彩色图像但是只使用其中的某个通道），对这个Tensor使用6个kernel大小为5*5，步长为1，padding为0的卷积（使用6个就代表输出会有6个channel），然后接入ReLU（激活函数，提供非线性），接着是max pooling（2*2，stride=kernel size=2）

2024-01-06 21:32:45 1154

原创 ResNet论文阅读和简单实现

让我们先把H(x)看做是由几个堆叠的层拟合的潜在映射（这里的几个不一定指的是整个网络），那么此时x表示的就是这些层中第一层的输入。F(x, {W_i})：学到的residual mapping（我们最后想得到的是H(x)，但是这里学到的是F(x, {W_i})，也就是H(x) - x，但是没有关系，我们最后输出的是F(x, {W_i}) + x，也就是H(x) - x + x，这种思路很像小时候做那种数列找规律求和，虽然直接算很难算，但是可以加上一项之后先算出来结果，最后再把加上来的项去掉）

2024-01-03 23:21:43 1060

原创李宏毅自然语言处理（Voice Conversion）笔记

patcher也是一个model，吃的input和decoder一样（content encoder的输出+speaker encoder的输出），decoder得到一段声音信号，patcher也产生一段声音信号，这一段声音信号会加到decoder产生的声音信号上，所以这个patcher的作用是打补丁。同一句话，不同人说的效果是不一样的；这里vocoder可以采用传统的信号处理的方法（不见得能得到好的结果，我们在听合成的时候听到的那种假假的声音往往就是这里的问题），也可以用DL。->加一些额外的东西。

2023-12-31 16:56:11 1290

原创李宏毅自然语言处理（Speech Recognition）笔记

从Ng那里跑路来学NLP了，之前其实ML入门听的就是宝可梦捕获大师（×）的课，目前计划是，本博文作为上面链接所示课程的笔记记录。听完之后会找个项目练一练，然后去听一些更新的技术的介绍，再找个项目练一练。

2023-12-31 10:43:27 1263

原创吴恩达深度学习intuition

常见的方法就L1和L2，具体可以参考LASSO regression，Ridge regression。前者会将权重中的部分打压的很厉害，接近0。Ng提出，很多人认为采用L1 regularization可以减少权重矩阵中需要储存的数据，这样可以节约存储空间，但实际上并没有明显区别。here是一种初始化方法。，采用高斯分布去分配weights。对于每一层，我们希望方差保持不变。这有助于我们防止explode/vanish。换句话说，我们需要初始化权重，使x和y的方差保持不变。

2023-12-20 21:51:13 748

原创 Linear Discriminant Analysis (LDA)

LDA主要用来降维和分类，其逻辑是以已有的类别标签为依据，寻找特征的线性组合，这一线性组合刚好可以区分两个或多个类，从而达到将数据投射到低维空间，并保留尽可能多的信息的目的，本质上就是线性变换。LDA和FDA是一个东西，因为是Fisher这个人搞出来的，因此会看到两个名字混用。这里记录一下sklearn给的示例代码，以及一些相关的笔记。去年上课的时候老师简要提到过，但是当时笔记太简略了orz。LDA和PCA都可以用来降维，但是两者本质不同。

2023-04-05 08:29:02 582

原创 24. Swap Nodes in Pairs (Python)

MediumGiven alinked list, swap every two adjacent nodes and return its head. You must solve the problem withoutmodifying the values in the list's nodes (i.e., only nodes themselves may be changed.)Example 1:Input: head = [1,2,3,4]Output: [2...

2022-01-05 04:48:18 194

原创 807. Max Increase to Keep City Skyline （Python）

MediumThere is a city composed ofn x nblocks, where each block contains a single building shaped like a vertical square prism. You are given a0-indexedn x ninteger matrixgridwheregrid[r][c]represents theheightof the building located in the b...

2021-12-30 02:56:45 555

原创 Google Colab的使用

参考：https://www.jianshu.com/p/2cf00bb9db34?utm_source=oschina-app需要提前准备：1.科学上网工具2.一个谷歌账号（Google Colab和Google drive都是需要账号的）Google Colab网址：https://colab.research.google.com/notebooks/intro.ipynb#scrollTo=gJr_9dXGpJ05在注册账号的时候遇到了问题：Google账号注册中国大陆手机号

2021-04-14 20:52:05 6997 3

原创 win10系统安装Tensorflow2.1-CPU版本

参考：https://blog.csdn.net/loft_/article/details/105550596换回自己的笔记本得重新配置环境了，研究了一个星期，决定先看一下CPU的情况（毕竟GPU云服务器太贵了，先用CPU学一下，反正效果差不多……吧）----------------插一句题外话听说谷歌云服务器可以薅羊毛，薅羊毛爱好者正在思考好像需要visa卡？不知道MasterCard能不能用？----------------没有显卡，上淘宝溜了一圈，告辞！Anacond

2021-04-08 22:24:15 706

原创 WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None))

没想到换个地方配置环境还能解锁新的报错！不愧是你Anaconda！WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1074: The handshake operation timed out'))': /py

2021-04-08 21:11:39 33188

空空如也

空空如也