- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【基于Numpy】实现基本卷积运算
注释：输入为x: (10, 3, 36, 36), self.weight: (36, 3, 5, 5) 输出为卷积结果 (10, 36, 32, 32) for b in range(0, x.shape[0]): for c in range(self.weight.shape[0]): output = [] for i in range(0, x.shape[2], self.stride):
2022-02-17 18:19:20
2293
原创 【基于Numpy】实现一个简单的Softmax_Regression神经网络实现手写数字（一）
这里写自定义目录标题欢迎使用Markdown编辑器模型代码骨干网络欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。模型代码import numpy as npfrom ._base_network import _baseNetworkclass SoftmaxRegression(_baseNetwork): def __in
2022-01-28 17:16:09
2053
原创 浅谈Transformer模型细节
参考台大李宏毅：机器学习2021Transformer的直观理解Transformer本质上是一个seq2seq的模型，最早由《attention is all you need》提出，实际上是由编码和解码结构共同组成。广义上来说所有应用了self-attention的模型均可以称之为transformer，狭义上来说，Transformer是指该论文中提出的模型，如下图所示。如图所示，左边部分可以看出编码器组（Encoders），右边部分可以看成解码器组（Decoders）多个编码和解码器的叠
2021-08-04 12:21:00
463
原创 浅谈Self-attention自注意力机制
先从Intuition说起如何让序列自己“注意”到更有价值的信息？我们可以通过self-attention计算序列内部的关联性来实现。对数字信号，语音信号，图形等输入，我们都可以用特定的编码形式生成对应的向量组，对每个向量通过乘以特定的矩阵可以生成其对应的q, k, v，假设q是该向量想要获取的特征，k是该向量自身特征，v则是该向量的价值。那么self-attention的第一步则是，利用该向量的q查询向量组中所有向量（包括它自身的k），查询过程即为点乘。标注点乘结果为w，则记w11=q1k1，w12=
2021-08-04 01:42:29
942
原创 Python杂记
Python不需要预先定义变量类型A.sort()对列表A永久排序；sorted(A)对列表A临时排序返回值为排序后的列表；A.reverse()对A永久倒序
2020-01-12 23:04:17
80
原创 浅谈LTI系统与卷积
参考信号与系统（第二版）奥本海姆系统在开始正文之前，可以回顾一下，信号与系统的思想。实际上，系统的思想广泛存在并应用于现实世界中。比如，大学可以是一个系统，每一个学生可以视作输入，而每一位毕业生都可以看成输出。而大学对于学生的改造可以看成是系统的传递函数。当然现实情况往往千变万化更加复杂。一般来说，我们习惯于使用数学模型来描述一个系统，这样方便对系统进行有数理逻辑分析。此外，系统存在的域也...
2020-01-10 19:10:25
6519
原创 浅谈信号处理三大变换
欧拉公式先从欧拉公式说起：这一公式可以由幂级数推导而出，由三角函数的基础知识，sin(x+π/2)=cosx。因此sinx与cosx本质上来说是一组正交基。而只有正交基可以在不产生任何冗余的情况下完整地表示任何信号（可以用正交分解来想象）。因此，使用这一组正交基来表示复杂信号就是傅里叶级数的根本思想。三大变换对于连续时间下的傅里叶变换，我们可以发现其表达式就是时域信号f(x)乘以eiwt...
2019-12-17 21:10:56
11884
1
原创 神经网络算法与Python（八）：一些改变
参考Python神经网络编程（Tariq Rashid著）CSDN博客做一些改变在第七节中，我们终于在Python上编写并且实现了一个3层的人工神经网络（使用层次模型，输入层有784个节点（28X28）用于采样所有的像素，隐层有100个节点用于计算，输出层有10个节点用于判断输出结果）。编写完成以后，我们使用了MNIST数据集进行训练与测试。最后我们在MNIST测试数据集上取得了94%的正...
2019-11-09 22:51:16
180
原创 哈希表的Python实现
参考中国大学MOOC慕课（数据结构与算法Python版）CSDN博客哈希表（散列表）散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。实际上，哈希表与Python内置的数据结构字典十分相似，都是以键值对的...
2019-11-03 20:11:24
1880
原创 排序算法笔记—基于Python
参考中国大学MOOC慕课—数据结构与算法Python版力扣leetcodeCSDN博客简书插入排序插入排序可以分为直接插入排序与分组插入排序（希尔排序）。直接插入排序的思想类似于整理扑克牌。当我们拿到一副牌的时候，我们希望由小到大进行排序，一般我们会选择小的牌插入到大的牌后面完成排序。当然这个过程十分感性，况且有我们强大的视觉功能，第一眼往往就能够识别出最大的牌和最小的牌。而要让计算...
2019-11-02 17:58:49
153
原创 神经网络算法与Python（七）：训练神经网络
参考Python神经网络编程（Tariq Rashid著）GithubMNIST 数据集MNIST数据集https://pjreddie.com/projects/mnist-in-csv/对于一个在上一章节刚刚制作完成的神经网络来说，最需要的就是大量的数据用于对网络进行训练找到合适的权重。上面的网站里搜集了很多手写数字的图像（28乘以28的矩阵一共784个值）。每个值的大小标注了其所...
2019-10-26 12:31:18
485
原创 神经网络算法与Python（六）：从Python开始
参考Python神经网络编程（Tariq Rashid著）Python编程Python是一种解释型脚本语言，是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发等对于一...
2019-10-20 16:06:33
234
原创 神经网络算法与Python（五）：准备一个神经网络
参考一、Python神经网络编程（Tariq Rashid著）梯度下降法实现在上一节，我们已经简单初步地介绍了梯度下降法在神经网络中的基本思想（即通过误差的变化率指导权重更新的步长，当然实际情况里，我们还需要考虑学习率，即再乘以一个参数）。那么在算法中如何利用这一原理呢，显然在算法实现上的核心问题在于如何求取误差变化率。一提到变化率，导数自然是当仁不让的选择。问题到这里变得已经非常地细节了...
2019-10-17 00:07:58
188
原创 神经网络算法与Python（四）：梯度下降法
参考一、Python神经网络编程二、CSDN博客与简书梯度下降法如何训练神经网络（即找到合适的权重）一直是神经网络的核心问题，从第一节可知，我们通常是通过误差来指导我们如何一步步改进神经网络。但是一个复杂的神经网络包含很多层，每一层包含很多参与中间运算的神经元，每一个神经元都可能会产生误差。然后，我们只有神经网络最终输出的误差，即输出层每个神经元的误差。在上一节—误差与学习中，我们指出了...
2019-10-14 22:29:43
1004
1
原创 神经网络算法与Python（三）：误差与学习
参考一、Python神经网络编程二、CSDN博客与简书误差在第二节中，我们简述了神经网络的运算方式，由此可知，输出结果的误差主要是来源于各个传递通道之间的权重。因此，我需要使用训练数据集来辅助我们“训练”神经网络，即不断地更新权重减小误差。但是，由于在一个完整的神经网络中，误差是有所有神经元之间的权重决定的，我们并不知道具体哪个神经元的输出结果是多少亦或哪一层的输出结果是多少。我们只知道...
2019-10-13 20:17:34
1080
原创 神经网络算法与Python（二）：矩阵的应用
参考一、Python神经网络编程（Tariq Rashid著）二、CSDN博客以及简书矩阵与神经网络在上一节，我们已经讨论了一个简单的神经网络的由来和构造。我们选择了S函数作为每一个神经元的行为函数（即该神经元的输入*S函数=输出）。那么神经网络到底是如何工作的呢？我们可以从最简单的一个神经网络出发，如下图下图所示：注意，该图中的神经元并未对输入输出进行S函数处理。由图可知，即便是一...
2019-10-13 19:52:08
684
原创 神经网络算法与Python（一）：从分类器与预测器到神经网络
参考一、Python神经网络编程（Tariq Rashid）二、算法简介“神经网络是一种模拟人脑的神经网络，以期望能够实现类人工智能的机器学习技术”。计算机的优势一般被认为是能够很好地对琐碎繁复的任务的处理，其缺点是无法实现一些“看上去”很简单的技术。比如人可以很快从一张照片中识别出哪一个是人，哪一个是动物，哪一个是植物。而计算机却不能。因此，如何计算机如何才能够智能地识别出指定物体？神...
2019-10-12 23:24:25
1144
原创 队列与基数排序（基于Python）
基数排序思路简介基数排序的核心思想是按位数比较各个待排序数字的大小，（在比较前先创建9个队列分别代表数字0~9）先比较个位大小，将比较完的数放入队列（main队列）中，再比较十位数的大小，注意在这里需要先清空之前的队列（因为先前的队列已经用于存放第一次排序即个位数排序后的结果了），再将排序结果存入先前的队列（main队列）。直到比完最高位得到的排序结果即为所需的结果。疑问与解答在此次编程中...
2019-10-07 19:32:54
627
原创 PYTHON学习笔记（2）
参考一、PYTHON编程从入门到实践二、CSDN博客学习内容改进之前所编的三明治商店的程序after an hour spent on the old editon, now I have debuged a few problems which already existed in the orign. Besides, I added a new function which was...
2019-09-15 12:10:21
147
原创 PYTHON学习日记
参考书籍一、PYTHON编程从入门到实践二、PYTHON数据科学技术详解与商业实践三、CSDN博客学习内容利用编写一个简单的三明治点单程序，实现报菜单，用户交互点单以及计算费用笔记1.关于全局变量，在本程序中需要使得变量money与moneys分别代表用户点单总金额与加单金额为全局变量，在这里最开始参考C语言在程序开头的位置设置为全局变量但是调试后发现没有效果，随后把全局变量glob...
2019-09-09 23:51:01
181
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人