TaoTaoFu的博客

转载 变分自动编码器（VAE）

VAE(Variational Autoencoder)的原理Kingma, Diederik P., and Max Welling. "Auto-encoding variational bayes."arXiv preprint arXiv:1312.6114(2013).论文的理论推导见：https://zhuanlan.zhihu.com/p/25401928中文翻译为：...

转载 KL散度

KL散度(Kullback–Leibler divergence)KL散度是度量两个分布之间差异的函数。在各种变分方法中，都有它的身影。转自：https://zhuanlan.zhihu.com/p/22464760一维高斯分布的KL散度多维高斯分布的KL散度：KL散度公式为：...

转载 Attention概述

Part I：背景知识Part II：Attention形式Part III：具体Task分析Part I：背景知识这张图很是出名了，第一个将Attention用在NLP领域的论文，机器翻译，在每一步翻译的时候都关注不同的原文信息。Attention机制可以理解为一种文本聚焦方法，基本思想是对文本分配注意力权重，把注意力集中在相关的文本内容，增加这部分的贡献。Attenti...

转载 Attention Is All You Need

一文看懂Transformer内部原理（含PyTorch实现）Transformer注解及PyTorch实现原文：http://nlp.seas.harvard.edu/2018/04/03/attention.html 　　作者：Alexander Rush　　转载自机器之心：https://www.jiqizhixin.com/articles/2018-11-06-10?from=...

转载 【深度学习】深入理解Batch Normalization批标准化

 这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。　　Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-T...

原创 BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结

https://blog.csdn.net/liuxiao214/article/details/81037416

原创 tacotron2 介绍

论文地址:natural tts synthesis by conditioning wavenet on mel spectrogram predictionshttps://arxiv.org/pdf/1712.05884.pdf 论文翻译https://my.oschina.net/stephenyng/blog/1620467 一、模型框架a. 一个引入注意...

原创 线性谱与梅尔谱

转载 静态库与动态库之间的区别

什么是库  　　库是写好的，现有的，成熟的，可以复用的代码。现实中每个程序都要依赖很多基础的底层库，不可能每个人的代码都从零开始，因此库的存在意义非同寻常。　　本质上来说，库是一种可执行代码的二进制形式，可以被操作系统载入内存执行。库有两种：静态库（.a、.lib）和动态库（.so、.dll）。　　所谓静态、动态是指链接。回顾一下，将一个程序编译成可执行程序的步骤：　　...

转载 Kaldi 环境配置及测试

https://zhuanlan.zhihu.com/p/26464775

原创 docker 常用命令

================ Images --> Container ================sudo nvidia-docker run --network host -it 621 /bin/bashsudo nvidia-docker run -it 621 /bin/bash==================== Commit ====================...

转载 docker 安装

转载地址：https://www.cnblogs.com/tianhei/p/7802064.html本文将介绍在ubuntu16.04系统下安装和升级docker、docker-compose、docker-machine。docker：有两个版本:docker-ce(社区版)和docker-ee(企业版)。        笔者这里介绍安装或升级的是最新版dock...

原创 Sogou Install Step

sogou是基于fcitx的，而系统默认的键盘输入法系统是iBus。Ubuntu 16.04默认是带有fcitx的，正常安装，如果有的话，按上面步骤即可完成；但有些版本的Ubuntu，需要自己安装 fcitx，才能安装使用sogou。1、添加以下源 : sudo add-apt-repository ppa:fcitx-team/nightly2、更新系统 : sudo apt-get u...

转载 PyTorch损失函数说明

http://blog.csdn.net/zhangxb35/article/details/72464152?utm_source=itdadao&utm_medium=referral

转载 Python----Numpy

ndarray             http://blog.csdn.net/u010161379/article/details/51659362 matrix             http://blog.csdn.net/vincentlipan/article/details/20717163            http://blog.cs

转载 Kaldi ------ Install Step

http://blog.csdn.net/kanshimekan/article/details/71194387

转载 Caffe之LeNet分析

http://blog.csdn.net/bea_tree/article/details/51601197

转载 AlexNet分析

转载地址：http://blog.csdn.net/u014114990/article/details/51125776

转载 对全连接层的深入理解

原文地址：http://m.blog.csdn.net/YiLiang_/article/details/60468530理解全连接层连接层实际就是卷积核大小为上层特征大小的卷积运算，卷积后的结果为一个节点，就对应全连接层的一个点。（理解）假设最后一个卷积层的输出为7×7×512，连接此卷积层的全连接层为1×1×4096。如果将这个全连接层转化为卷积层：1.共有4096

转载 LeNet 细节分析

原作者地址：http://www.jianshu.com/p/ce609f9b5910=============================================================================================================================================

转载 GMM-HMM在语音中的应用常识

本人正在攻读计算机博士学位，目前一直再学习各种模型啊算法之类的。所以一直想把自己的学习过程总结一下，所以就开通了这个博客。这两天一直再看语音识别方面的知识，想把自己的理解总结一下，希望对其他学习的人有所帮助。提前需要掌握的知识：语音信号基础：语音信号的表示形式、分帧、特征(MFCC)、音素等等HMM模型：离散隐马尔科夫模型级3个问题的求解方法GMM：混合高斯模型，用于连续隐马尔科夫

转载 RNN和LSTM推导与实现

BPTT（Back Propagation Through Time）首先来看看怎么处理RNN。RNN展开网络如下图RNN展开结构.jpgRNN节点结构.jpg现令第t时刻的输入表示为,隐层节点的输出为,输出层的预测值,输入到隐层的权重矩阵,隐层自循环的权重矩阵,隐层到输出层的权重矩阵,对应的偏执向量分别表示为,输入层

转载 zouxy大神深度学习博文导航

zouxy09博客原创性博文导航[email protected]://blog.csdn.net/zouxy09        2012年8月21号开始了我的第一篇博文，也开始了我的研究生生涯。怀着对机器学习和计算机视觉等等领域的懵懂，从一个电子材料的领域跨入这个高速发展的人工智能领域。从开始的因无知而惊慌，因陌生而乏力，到一步步的成长。这过程的知识积累也都大部分反映在这个博客

转载 形象的解释神经网络激活函数的作用

查阅资料和学习，大家对神经网络中激活函数的作用主要集中下面这个观点：激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。下面我分别从这个方面通过例子给出自己的理解~@lee philip@颜沁睿俩位的回答已经非常好了，我举的例子也是来源于他们，在这里加入了自己的思考，更加详细的说了一下~开讲~首先我们有这个需求，就是二分类问题，如我要将

转载 采样率与频率之间的关系

采样频率，也称为采样速度或者采样率，定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。采样频率的倒数是采样周期或者叫作采样时间，它是采样之间的时间间隔。通俗的讲采样频率是指计算机每秒钟采集多少个声音样本，是描述声音文件的音质、音调，衡量声卡、声音文件的质量标准。       通俗的讲采样频率是指计算机每秒钟采集多少个样本（样本点）。采样频率越高，即采样的间隔时间越

转载 HashMap之负载因子

【以下内容摘抄自点击打开链接 末尾几段】对于 HashMap 及其子类而言，它们采用 Hash 算法来决定集合中元素的存储位置。当系统开始初始化 HashMap 时，系统会创建一个长度为 capacity 的 Entry 数组，这个数组里可以存储元素的位置被称为“桶（bucket）”，每个 bucket 都有其指定索引，系统可以根据其索引快速访问该 bucket 里存储的元素。 无

转载 HashMap 深入分析

http://286.iteye.com/blog/2187873

转载 感知机对偶形式完美解释

原创 数据库中的范式

范式是在识别数据库中的数据元素，关系，以及定义所需的表和各表中的项目这些处事工作之后的一个细化的过程。常见的范式有INF,2NF,3NF,BCNF，以及4NF。1NF第一范式是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能又重复的属性。如果出现重复的属性，就可能需要定一个新的实体，新的实体由重复的属性构成，新实体与原

原创 参数估计--点估计

转载 关于32位系统中int、float、short、double等占多少个字节

我用VC编译的，测试了一下，代码如下：#include "iostream"using namespace std;int main(){coutcoutcoutcoutcoutcoutreturn 0;}结果为：124448由此看出，32位系统，vc编译

转载 软硬链接的区别

Linux 的文件与目录现代操作系统为解决信息能独立于进程之外被长期存储引入了文件，文件作为进程创建信息的逻辑单元可被多个进程并发使用。在 UNIX 系统中，操作系统为磁盘上的文本与图像、鼠标与键盘等输入设备及网络交互等 I/O 操作设计了一组通用 API，使他们被处理时均可统一使用字节流方式。换言之，UNIX 系统中除进程之外的一切皆是文件，而 Linux 保持了这一特性。为了便于文件的

转载 计算机网络层次划分及协议了解

计算机网络学习的核心内容就是网络协议的学习。网络协议是为计算机网络中进行数据交换而建立的规则、标准或者说是约定的集合。计算机网络协议同我们的语言一样，多种多样。为了给网络协议的设计提供一个结构，网络设计者以分层的方式组织协议。一个协议层能够用软件、硬件或者两者的结合来实现。比如HTTP和SMTP这样的应用层协议几乎总是在端系统中用软件实现的，传输层协议也是如此。因为物理层和数据链路

转载 Ubuntu 软件安装 异常解决方案

解决方法参考风一样的程序员Ubuntu 16.04自带的软件中心估计是有问题吧，第三放软件很少能安装成功，解决方法也比较简单，我们换一个软件管理的工具就好了首先，我们安装gdebisudo apt install gdebi-core 安装好gdebi以后，从终端进入到待安装软件包所在目录，使用gdebi进行安装即可，如sudo gdebi netea

原创 拼音串最有可能表示的意思

import java.util.ArrayList;import java.util.HashMap;import java.util.Map.Entry;import java.util.Scanner;import java.util.Set;public class Main { static HashMap dict = new HashMap(); static {

原创 给一个二叉树的前序和中序序列，求二叉树的层序序列

import java.util.Scanner;class Node { char value; Node left; Node right; int signal; public Node() {} public Node(char value, Node left, Node right, int signal) { super(); this.value = v

原创 二叉树的非递归【前/中/后 序遍历】

核心思想： 利用 栈 存储需要反复遍历的节点！import java.util.Stack;class Node { int value; Node left; Node right; int signal; public Node() {} public Node(int value, Node left, Node right, int signal) { s

转载 拉格朗日乘子法与KKT条件

拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。对于无约束最优化问题，有很多经典的求解方法，参见无约束最优化方法。拉格朗日乘子法先来看拉格朗日乘子法是什么，再讲为什

原创 各类算法笔试题汇总

1. 假设某卡牌类游戏里面，你搜集了 17 种卡牌，每种卡牌的攻击伤害率从小到大排列分别 为 1，4，9，… ，289，即 n 的平方（1【分析】 此类问题属于组合计数问题，在组合数学中，最经典的问题就是给定n个不同类型的砝码（单个类型的砝码数不固定），求当给定一个值时，求解能够完成称重的所有组合数。而此类问题一般可通过“生成函数（母函数）”的方法来解决。但这种方法再实际编程过程中，往

原创 字符串匹配问题——KMP算法实现

public class Main { public int[] findNext(String str) { int[] next = new int[str.length()]; char[] c = str.toCharArray(); next[0] = 0; if(str.length() == 1) return next; else { for(i