- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 SNN综述(2)：生物可解释的脉冲神经网络
Biologically Plausible Spiking Neural Networks作者：Aboozar Taherkhani, Ammar Belatreche, Yuhua Li, Georgina Cosma, Liam P. Maguire, T.M. McGinnity译者：TianlongLee时间：2020原文链接：A review of learning in biologically plausible spiking neural networks脉冲神经网络根据
2020-08-29 15:51:54
10234
3
原创 ANN Converse to SNN｜(2) Max-Norm
Fast-Classifying, High-Accuracy Spiking Deep Networks Through Weight and Threshold Balancing作者：Peter U. Diehl，Daniel Neil， Jonathan Binas，Matthew Cook，Shih-Chii Liu and Michael Pfeiffer会议：IJCNN2015原文链接：paper代码：https://github.com/dannyneil/spiking_relu
2020-08-24 17:01:45
1838
原创 ANN Converse to SNN｜(1) 开篇之作
Spiking Deep Convolutional Neural Networks for Energy-Efficient Object Recognition作者：Yongqiang Cao， Yang Chen，Deepak Khosla期刊：International Journal of Computer Vision发表时间：2015原文链接：paperConversion方法的开山之作，（在此之前也有类似思想的几个工作，后续会补充），训练SNN的困难很大，诸如STDP等生物可解释
2020-08-24 16:44:55
2698
原创 CRNN原理详解、代码实现及BUG分析
CRNN原理及实现原文链接：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition近期了解了一下文本识别，在CRNN的学习过程，包括CRNN原理、CTC Loss、代码实现、bug调试等问题也进行了一些调研，将自己的一些看法尽可能简洁地总结记录下来，如有错误，欢迎指出。CRNN使用CNN提取图像特征，RNN进行序列
2020-07-06 01:41:50
12359
2
原创 SNN综述(1)：深度脉冲神经网络
生物可解释的脉冲神经网络综述作者：Aboozar Taherkhani, Ammar Belatreche, Yuhua Li, Georgina Cosma, Liam P. Maguire, T.M. McGinnity译者：TianlongLee时间：2020原文链接：A review of learning in biologically plausible spiking neural networks摘要作为一种强大的处理工具，人工神经网络（Artificial Neural
2020-07-02 09:08:11
22840
9
原创 warp-CTC安装踩坑：make与install步骤出错解决方案
warp-CTC安装踩坑最近了解了下crnn+ctc，pytorch版本大于1.0自带ctc_loss，但是低版本的pytorch需要自己配置warpctc环境，开始用pytorch（1.3.0）自带的CTCLoss，总是莫名其妙的获得nan的梯度，看了一下知乎大佬们的分享，似乎也有人遇到了这个问题，作为只想完成任务的我果断换了warp-ctc。如果torch自带的没有问题，在使用时应该注意二者的传入参数是不一样的，如果使用torch自带的ctcloss，在传入网络输出概率时，应先进性log_soft
2020-07-02 08:48:56
3927
2
原创 SNN系列｜编码篇(3)高斯感受野编码GRF
GRFpopulation编码，目前最常用的群编码方法，以脉冲的先后表示信息的重要程度。原文翻译（P29）当使用更大的数据集时，输入的编码成为一个重要的因素：因为编码的间隔ΔT\Delta TΔT被限制在一个固定的间隔，输入的整个范围可以要么通过使用越来越小的时间差或者通过将输入分布在多个神经元上。在我们的网络仿真中，网络状态按照固定的时间步长改变，因此对一些输入而言，时间分辨率的提高会带来计算上的损失。按照生物启发的方法，我们注意到皮层脉冲时间被认为是固有的噪声因为他们的峰值时间在1-2ms上表现出
2020-06-16 10:37:58
4286
4
原创 SNN系列｜学习算法篇(6)脉冲时序依赖可塑性STDP
Spike Timing Dependent Plasticity脉冲时序依赖可塑性是Hebb学习的时间不对称形式，由突触前后神经元脉冲紧密的时间相关性引导的。和其他形式的突触可塑性一样，人们普遍认为它是大脑中学习和信息存储的基础，以及在大脑发育期间神经元回路的发展与完善。使用STDP，在突触后动作电位之前几毫秒反复的突触前脉冲的到达导致了许多突触成为LTP突触类型，相反，在突触后脉冲之后的重复的脉冲的到达导致同样的突触变为LTD类型。以突触前后动作电位的的时间相关函数标定的突触的变化称为STDP函数或突
2020-05-29 10:14:30
21339
11
原创 Tmux使用快捷键及个性化配置总结
tmux操作总结*因为记录在onenote中，所以复制的时候直接就是一张图片了，个人觉得这里总结的很不错，只是我用上的不多，这里的记录也是大多数时候自己用的到的，共勉。
2020-05-17 19:15:45
300
原创 SNN系列｜编码篇(2)时序编码
Tempotral Coding选择编码方法是要根据编码对象以及模型如何处理编码信息进行选择，如下是一种时序信息的编码对比：Threshold-based encoding又称为tempotral contrast，该方法可以用于编解码一段序列，当差值超过阈值时发放脉冲，阈值是根据编码的序列自适应变化的。使用该编码方法时，实值序列最好是沿时间变化的，因为在根据差分决定是否发放脉冲后，脉冲的顺序与差分顺序有关。Time-to-first spike coding该编码方法将信息用神经元首次
2020-05-16 08:48:07
10382
9
原创 Matplotlib可视化常用操作集合
Matplotlib常用操作记录写代码过程中常遇到的关于绘图的问题以及基本功能，能够满足日常需求使用时其他细节可使用help，或查阅官方文档Matplotlib可视化常用操作集合Matplotlib常用操作普通绘制折线图线型与颜色设置标题设置图例设置坐标轴图的背景线绘制子图坐标线的颜色及位置设置标注控制子图的间距绘制其他图形绘制条形图绘制箱形图终端使用其余经常遇到的显示灰度图显示颜色条im...
2020-05-02 20:48:05
653
原创 SNN系列｜学习算法篇(5) Hebbian Rules
Hebb rule and its modificationHebb学习算法可以说是最古老的一个学习规则了，neurons fires together, wire together突触权重改变与神经元协同活动的关系Classific Hebb根据”一起放火一起死“的假设，突触权重的改变正比于突触前和突触神经元的活动Δωi=ηxiy\Delta \omega_i = \eta ...
2020-04-28 18:45:55
4107
原创 python的文件和文件夹操作(os\shutil)
python的文件和文件夹操作目录操作os.getcwd()：获取当前目录路径os.listdir()：返回指定指定目录下的所有文件及目录名os.mkdir()：创建一个目录os.rmdir()：删除一个空目录os.makedirs(dirname)：创建多层递归的目录os.removedirs(dirname)：删除多层递归的空目录os.rename(old, new)：重命名目...
2020-04-21 17:17:49
201
原创 SNN系列｜学习算法篇(4)SWAT
SWATSWAT算法最重要的是隐层的滤波器设计，权重的学习在STDP的基础上加入了BCM规则，网络的输出层也比较有特色，就是所有的训练都是在一个训练神经元上，然后将其映射到分配好的输出神经元上。BCM RulesBCM起初是一种平衡Hebb学习的规则，根据神经元状态滑动阈值，进而决定突触更新是增强还是抑制，以此来平衡突触活动。在SWAT算法中，BCM规则用于更新STDP的高度。A+(θm)...
2020-04-19 21:32:32
2488
2
原创 SNN系列｜学习算法篇(3)ReSuMe
ReSuMe原文传送适用于单层网络或液体状态机，采用精确时间编码，结合了STDP与anti-STDP机制，对多种神经元模型和突触类型均适用，因为权重的调整仅取决于脉冲输出与目标输出序列有关。核心的更新公式如下：ddtωoi(t)=[Sd(t)−So(t)][ad+∫0∞adi(s)Si(t−s)ds]\frac{d}{d t} \omega_{o i}(t)=\left[S_{d}(t)-...
2020-04-11 14:54:14
3780
3
原创 SNN系列｜编码篇(1)频率编码
Frequency Coding生物系统中触觉、听觉系统等都有实验表明，神经元的脉冲发放频率与外界刺激成正比，但是有饱和值。生物神经元脉冲一般1～2ms，因此，在编码过程中一般不超过1KHz。生物能够做到快速识别信息，投射到视网膜接收器上的图像没几毫秒就发生一次变化，而这种编码方法必须要完全运行一整个时间窗才能读出编码信息，这显然是很不方便的。尽管该方法没有考虑时序信息，但因为其简单、易操作，...
2020-04-09 21:50:32
13495
7
原创 SNN系列｜学习算法篇(2)SpikeProp
SpikeProp论文传送门SpikeProp算法可以认为是SNN里BP的最早版本，它可以处理多层神经网络，但只能是单输入单输出，SpikeProp的特点是对脉冲发放的时间进行误差最小化，核心也就是下面的公式，其中tjat_j^atja表示神经元第一次发放脉冲的时间。E=12∑j∈J(tja−tjd)2E=\frac{1}{2} \sum_{j \in J}\left(t_{j}^{\m...
2020-04-07 10:57:36
4939
3
原创 SNN系列｜学习算法篇(1)Tempotron
Tempotron (论文传送门)Tempotron是一个二层网络学习算法，输入脉冲序列，输出脉冲响应。对于二分类，最重要的是保证以下关系的存在：即应该发放脉冲的神经元的最大膜电势应超过阈值，否则就增加突触传递效率；反之，不该发放脉冲的其最大膜电势就不该超过阈值，否则就减小突触传递效率。V(tmax⊕)>Vthr>V(tmax⊖)V\left(t_{\max } ^\oplu...
2020-03-31 08:15:23
9499
6
原创 从nn.Conv2d的groups参数到MobileNet的深度可分离卷积
在整理经典卷积神经网络时，才注意到这个group参数，因为它可以很方便地实现深度可分离卷积，所以在此记录一下。nn.Conv2d的groups参数官方文档对该参数的解释为：groups: 控制输入和输出之间的连接： group=1，输出是所有的输入的卷积；group=2，此时相当于有并排的两个卷积层，每个卷积层计算输入通道的一半，并且产生的输出是输出通道的一半，随后将这两个输出连接起来...
2020-03-27 18:56:25
1357
原创 Pytorch构建模型的五种手段
最近看pytorch源码，发现模型的命名非常灵活，故整理部分用法用作备忘。pytorch源码地址Pytorch构建模型的五种手段使用pytorch可以方便地进行模型搭建，如果只是简单的分类任务，可以直接调用torchvision.models使用pytorch提供的模型。若要自己搭建网络，主要有以下五种方式：方式一：最快捷 nn.Sequentialimport torchi...
2020-03-26 15:43:05
923
原创 Argparse Python用法解析
官方文档对该模块有详细的说明，此文仅用于个人使用记录argparse — 命令行选项、参数和子命令解析器 官方文档简单实例：# py文件import argparseparser = argparse.ArgumentParser(description='Process some integers.')parser.add_argument('integers', me...
2020-03-23 08:52:50
502
原创 LaTeX入门｜(1)从Word到LaTeX：LateX排版常用指令
从word的需要到latex的使用写在前面学习latex之前大多数使用word的，甚至精通word排版的，对于latex这种使用代码编程进行论文排版或ppt制作就显得比较费劲，比如平时很简单的居中、加粗、空行、插图等一键操作，到了latex中就抓瞎。为了写个作业模板（为论文模板作准备），我尝试了word的一些常用功能，并总结了其LaTeX的表述方式，总结在下文中。这里并没有做到干湿分离（命令...
2020-03-18 19:10:12
6784
原创 模式识别系列｜数学篇(2)特征值与特征向量
目录矩阵与坐标变换特征值与特征向量的物理意义特征值特征向量的定义与公式特征值与特征向量的应用矩阵与坐标变换我们学习矩阵总是从方程组开始，将所有的系数写在一起就形成了矩阵，方程组可以表示为Ax=bAx=bAx=b，若AAA为方阵，则原来的坐标系下一点[x1,x2,⋯ ,xn]T[x_1,x_2, \cdots, x_n]^T[x1,x2,⋯,xn]T变为同一坐标系下另一点$[b_1,b_2...
2020-01-17 10:30:05
1807
1
原创 认知神经科学系列｜(2)细胞机制与认知
CN2-细胞机制与认知1、神经系统细胞神经系统是由单个神经元构成的，关于神经元有两个基本原理：连接的特异性。神经元之间的连接不是随意的，它是神经元传递信息的特异性通路功能性两极分化。神经元的一部分用于接收信息，另一部分专门用于传递信息神经元的分类：2、膜电位与动作电位3、离子通道4、神经递质...
2019-12-19 11:32:28
5253
3
原创 SNN系列｜神经元模型篇(4) LIF
Leaky Intergrate and Fired Model参考：[1] Neuron Dynamics[2] 早期的公众号引言SNN与ANN最主要的不同就是使用离散的脉冲信号替代ANN网络中传播的连续的模拟信号。为了在这种网络结构上产生脉冲信号，SNN使用了更加复杂也更加贴近于生物的神经元模型，目前使用最多的是**Leakyintegrity-Fire（LIF）**模型。对于这...
2019-12-05 13:00:47
26703
2
原创 SNN系列｜神经元模型篇(3)SRM
Spike Response ModelSpike Response Model参考：[1] A Framework for spiking neuron models: Spike Response Model[2] Neuron Dynamics[3] Spiking Neuron Models[4] ScholarpediaLIF模型的发展，LIF是其特殊化情况W...
2019-12-04 23:49:17
6050
原创 SNN系列｜神经元模型篇(2) Izhikevich
神经元模型篇_Izhikevich模型参考[1] IZHIKEVICH QUADRATIC MODEL FOR SPIKING NEURONS[2] 神经妙算[3] 原始论文[4] 快速了解[5] Izhikevich神经元控制参数对可塑性神经元网络动力学的影响Izhikevich博士于2003年提出，使用二叉树对HH数学上的简化对神经元的简化，最简化的是只保留firing...
2019-12-02 15:08:04
12239
原创 SNN系列｜神经元模型篇(1) Hodgkin Huxley
SNN系列/1神经元模型篇_HH模型参考[1] Neuron Dynamics[2] Spiking Neurons[3] The Hodgkin Huxley Model[4] 动作电位的形成机制[5] 霍奇金赫胥黎枪乌贼巨型轴突1952年发表，1963年获诺贝尔生理学奖通过对乌贼的巨型轴突进行实验，运用数学方法分析以及三种离子描述了细胞膜电势的动态变化，是其他简化神经元...
2019-12-02 14:48:57
18131
13
原创 模式识别系列｜数学篇(1)最优化基础与常用优化器
深度学习常用优化器参考[1] 数值计算[2] 优化器[3] 机器学习：各种优化器的总结与比较[4] 深度学习最全优化方法总结比较[5] 代码仿真0-关于优化的基础神经网络可以简单地看成是找一个很好的非线性函数来进行端到端的映射，开始时先给了一个初始化（权重以及偏置），通过不断最小化损失函数，对神经网络这个函数来进行更新。由于激励函数的存在（sigmoid、 tanh、relu）...
2019-12-02 13:48:53
570
原创 模式识别系列｜神经网络篇(1)自组织映射 Self Organizing Map
SOM 自组织映射参考[1] Wiki 自组织图[2] CSDN博客[3] 第4章 SOM自组织特征映射神经网络1970年 芬兰教授Teuvo Kohonen设计外形似前馈网络，但体系在安排和动机上是不同的.竞争学习，非纠错式学习无监督生物原理——百度文库生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域...
2019-11-24 23:10:57
1734
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人