weixin_40680322的博客

原创 python　list, np.array, torch.tensor相互转换

tensor = torch.Tensor(list)# list->tensorndarray = np.array(list)# list->numpylist = ndarray.tolist()# numpy->listtensor = torch.from_numpy(ndarray)# numpy->tensorndarray = torch.numpy()# tensor->numpyndarray = torch.cpu().numpy()# GPU上

原创 Concept Drift（概念漂移）

Data Stream（流式数据）特点：数据量大、实时性强。举例：金融数据、交通数据等。分类：稳定的数据流：稳定独立同分布；动态的数据流：不独立同分布，所以会产生概念漂移现象。Concept Drift（概念漂移）定义：模型要预测的目标变量 随着时间的推移 发生改变的现象。举例：对金融衍生品价格预测。【参考】Concept Drift(概念漂移)...

原创 两个多变量分布间的KL散度+变分子编码

参考两个多变量高斯分布之间的KL散度

原创 [13]2019-ICML-Active Learning for Probabilistic Structured Prediction of Cuts and Matchings

原创 互信息，条件互信息

参考什么是「互信息」？信息增益，互信息，KL散度 之间的关系

原创 变分自编码器（VAE）

假设：P(z∣x)=N(0,1)P(z|x)=N(0,1)P(z∣x)=N(0,1)有两个encoder（一个计算均值，一个计算方差）参考理解VAE

原创 [11]2020-CVPR-State-Relabeling Adversarial Active Learning论文笔记

2020−CVPR2020-CVPR2020−CVPR一.摘要（Abstract）1. 动机（Motivation）设计一个有效的标记算法，sample oracle需要标记的最有信息的样本。2. 主要贡献（Contribution）提出SRAAL模型，利用标注信息和已标记/无标记的状态信息来获取最有信息的无标记样本；设计初始化labeled pool的算法（k-center），该算法使后续的采样更有效。3. SRAAL结构：表示生成器(representation generato.

原创 分布的距离（Distance of Distributions）

(X,Σ)(X,\Sigma)(X,Σ)为一个measurable space.1. Total Variation (TV，全变分) distanceδ(Pr,Pg)=supA∈Σ∣Pr(A)−Pg(A)∣\delta(P_r,P_g)=\mathop{sup}\limits_{A\in \Sigma}|P_r(A)-P_g(A)|δ(Pr​,Pg​)=A∈Σsup​∣Pr​(A)−Pg​(A)∣当XXX是有限空间时，有δ(P,Q)=maxx∈X∣P(x)−Q(x)∣\delta(P,Q)=\mat

原创 reweight的学习（meta）

一. LD(hs)L_D(h_s)LD​(hs​)的影响因素LD(hS)=LD(hS)−LV(hS)+LV(hS)−LS(hS)+LS(hS)L_D(h_S)=L_D(h_S)-L_V(h_S)+L_V(h_S)-L_S(h_S)+L_S(h_S)LD​(hS​)=LD​(hS​)−LV​(hS​)+LV​(hS​)−LS​(hS​)+LS​(hS​)其中：LD(hS)−LV(hS)L_D(h_S)-L_V(h_S)LD​(hS​)−LV​(hS​)：被UC性质bound住了(Verificatio

原创 解析解

解析解：对于某一个函数，可以写出解的表达式，根据参数，直接得到的具体的解；数值解：采用某种计算方法,如有限元的方法，数值逼近,插值的方法，得到的解。举例：方程 2y=x解：y=0.5x——解析解x=1时，y=0.5——数值解参考解析解...

原创 西瓜书boosting learning 集成的错误率推导

参考Hoeffding霍夫丁不等式及其在集成学习理论的应用

原创 指示函数和sign函数（符号函数）

1. 指示函数1A(x)={1,x ∈ A0,x ∉ A1_A(x)=\begin{cases} 1, & \text{x $\in$ A} \\ 0, & \text{x $\notin$ A} \end{cases}1A​(x)={1,0,​x ∈ Ax ∈/​ A​1A:X→{0,1}1_A:X\rightarrow \{0,1\}1A​:X→{0,1};2. Sigmoid函数y=11+e−x∈(

原创 [7]2019-ICDM-Learning to Sample:an Active Learning Framework 论文笔记

2019−ICDM2019-ICDM2019−ICDM一. 摘要（Abstract）1. 动机（Motivation）在AL中使用Meta-learning是学习最好的AL策略的潮流，然而需要大量的训练数据（与AL的本意相违背），如果数据量小了将导致表现性能差（如：不稳定性和过拟合）。2. 贡献（Contribution）提出LTS（Learning To Sample）框架（sampling model GGG+boosting model FFF：迭代中互相优化）。该框架在优化过程中.

原创 Entity Resolution（实体解析）

定义判断两条记录是否指向同一实体的过程。背景NLP：自然语言处理。参考论文阅读：Robust Entity Resolution using Random Graphs

原创 [6]2020-WACV-Adversarial Sampling for Active Learning论文笔记

一. 摘要（Abstract）1. 贡献（Contribution）提出ASAL框架第一个基于GAN的AL用于分类，随机采样表现突出；时间复杂度小（次线性）。二. 引言（Introduction）1. 基于pool的AL训练上界\color{blue}{训练上界}训练上界 -》全监督模型（把所有样本用于train）。训练下界\color{blue}{训练下界}训练下界-》随机采样模型。2. 主动学习的目标用尽可能少的样本逼近全监督模型性能；超过随机采样模型性能。三. 相.

原创 [3]2020-IEEE Access-Batch Active Learning With Two-Stage Sampling 论文笔记

——华南理工大学，2020，IEEE一.摘要（Abstract）1. 动机（Motivation）降低主动学习时间复杂度（time complexity）。2. 贡献（Contribution）提出两级采样策略（two-stage sampling strategy），该策略将分批采样（batch sampling）和直接边界注释\color{red}{直接边界注释}直接边界注释（direct boundary annotation）相结合。3. 优势（Advantage）不需要每.

原创 Adversarial learned Inference（对抗学习推断器）

一. 模型结构生成网络Gx(z)G_x(z)Gx​(z)：将潜在变量的随机样本映射到数据空间；推断网络Gz(x)G_z(x)Gz​(x)：将数据空间的训练样本映射到潜在变量空间；判别网络D(x,z)D(x,z)D(x,z)：分辨联合样本（潜在变量和训练样本(x,z)(x,z)(x,z)）是来自生成网络还是推断网络的。【参考】ADVERSARIALLY LEARNED INFERENCE从GAN 到 ALICE 的简单介绍...

原创 heuristic algorithm（启发式算法）

理解基于经验，进行探索，从而解决问题。（不是基于数学推理解决问题）经验——已知领域；探索——未知领域。举例蚁群算法【参考】启发式算法 Heuristic

原创 RNN

一. SimpleRNN单元隐藏状态(ttt为时间步)ht=tanh⁡(Wht−1+Uxt)h_t=\tanh(Wh_{t-1}+Ux_t)ht​=tanh(Wht−1​+Uxt​)输出向量yt=softmax(Vht)y_t=softmax(Vh_t)yt​=softmax(Vht​)二. 长短期记忆模型（LSTM，Long Short Term Memory）i,o,f,g,ht,cti,o,f,g,h_t,c_ti,o,f,g,ht​,ct​（输入+输出+遗忘门，两个隐藏状态，一个

原创 Hierarchical Classification

Hierarchical Classification层次分类

原创 接受-拒绝采样/拒绝采样（accept-reject sampling/reject sampling）

蒙特卡洛法核心：随机抽样。抽样方法：直接抽样法，接受-拒绝抽样法，重要性抽样法。【参考】蒙特卡洛采样之拒绝采样（Reject Sampling）

原创 【ML课 刘学军】 第一课 20200907

先用无监督学习分析数据分布，再用有监督学习，可能会提高性能。欠拟合/good 拟合：测试误差与训练误差差不多；过拟合：测试误差>>训练误差。

原创 Few-shot learning和Meta-learning

一. Few-shot learning（少样本学习）1. 本质N-way K-shot问题：分N类，训练集中每类只有K个样本。2. 缺点过拟合（overfitting）问题：由于训练数据少，模型在训练集上的效果还行，在测试集上的效果差。3. 解决方法数据增强：增加训练样本（如，将图片旋转90/180/270度）；正则化技术。二. Meta-learning（元学习/学习去学习 learning to learn）1. 本质从多个task中学习一个先验知识（prior），用

原创 numpy.linalg——线性代数运算

import numpy as npA = np.mat("0 1 2; 1 0 3; 4 -3 8")1. 求逆矩阵inv = np.linalg.inv(A)# A必须为方阵2. 解线性方程组# BX = b,求解XB = np.mat("1 -2 1;0 2 -8;-4 5 9")b = np.array([0, 8, -9])X = np.linalg.solve(B, b)3. 求特征值/特征向量C = np.mat("3 -2;1 0")c0 = np.lin

原创 [2]2019-CVPR-Learning Loss for Active Learning 论文笔记

一.摘要（Abstract）1. 动机（Motivation）用于深度网络的多数主动学习方法要么太具有特性（该AL方法是为该目标任务而具体设计的，不能轻易迁移到其他任务中），要么计算性能低（网络深/大）。2. 贡献（Contribution）提出“loss predict module”，将该模块视为目标网络，训练该模块，使其能预测无标记输入的目标损失。二.引言（Introduction）主动学习query样本的核心思想：挑选信息量大的样本（对提升模型性能越有用）。作者提出的

原创 Pytorch——对应点相乘+矩阵相乘

一.对应点相乘Hadamard product：对应点相乘，不求和；卷积：对应点相乘，再求和。import torcha = torch.Tensor([[1,2], [3,4], [5,6]])b1 = a.mul(a)得到b1为tensor([[1.,4.],[9.,16.],[25.,36.]])二.矩阵相乘要求：前列=后行；b2 = a.mm(a.t())得到b2为tensor([[ 5., 11., 17.], [11., 25.,

原创 Pytorch——Tensor合并+截取+拼接

一.合并（concatenate）在已有维度上拼接。import torcha = torch.Tensor([1,2])b = torch.Tensor([3,4])c1 = torch.cat((a,b), dim=0)得到c1为tensor([1.,2.,3.,4.])二.截取c2 = c1[:,0]得到c2为tensor([1.,3.])三.拼接建立新维度进行拼接。c3 = torch.stack((a,b), dim=1)得到c3为tensor([[1.,

原创 分类分布（Categotical, Cat）

参考机器学习：Multinoulli分布与多项式分布

原创 对抗生成网络（Generative Adversarial Network, GAN）

一.基本结构GAN = 一个生成器（generator）+一个判别器（discriminator）；生成器的目标：以假乱真，让判别器无法判别真伪（无法区分生成器生成的样本和真实样本）；判别器的目标：努力分清生成器生成的样本和真实样本。二.损失函数参考通俗理解生成对抗网络GAN...

原创 2020-09-02

先验：P(x)后验：P(y|x)

原创 EM的作用

迭代优化

原创 DeepSpeaker_RawNet_GE2E 声纹识别对比

DeepSpeaker_RawNet_GE2E分别在VCTK、AISHELL1 和 VoxCeleb1 三个标准公开数据集上对三种端到端声纹模型框架（Deep Speaker, RawNet, GE2E）进行实验比较。GitHub代码:DeepSpeaker_RawNet_GE2E过程记录Deep Speaker代码解析RawNet代码解析ge2e代码解析声纹确认demo代码里，SpeakerRecognition_demo使用的是RawNet在VCTK数据集上训练得到的模型，声纹确认de

原创 动态规划试题总结

动态规划试题总结问题一问题：一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法（先后次序不同算不同的结果）。分析:int numWays(int n) { if(n == 0)return 1; if(n == 1)return 1; if(n == 2)return 2; return numWays(n-1) + numWays(n-2);}采用递归的方法耗时较长，不符合要求。分析可知递归为自顶向下的计算方式，中间有许多

原创 Python函数参数

Python 函数参数位置参数默认参数def power(x,n=2): s=1 while n>0: n=n-1 s=s*n return s是必选参数在前，默认参数在后，否则Python的解释器会报错当函数有多个参数时，把变化大的参数放前面，变化小的参数放后面。变化小的参数就可以作为默认参数可以不按顺序提供部分默认参数。当不按顺序提供部分默认参数时，需要把参数名写上。定义默认参数要牢记一点：默认参数必须指向不变对象！可变参数def calc(*numbers)

转载 tensorflow的GPU使用--Python

最近老出显存问题，特此记录，以备后用。参考：tensorflow的GPU使用–Python

转载 batch_size，iteration，epoch关系

（1）iteration：表示1次迭代，每次迭代更新1次网络结构的参数，1个iteration等于使用batchsize个样本训练一次；（2）batch_size：批大小，即1次迭代所使用的样本量。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（3）epoch：1个epoch等于使用训练集中的全部样本训练一次。在深度学习领域中，常用随机梯度下降算法（Stochastic Gradient Descent, SGD）训练深层结构，它有一个好处就是并不需要遍历全部的

原创 Affine层（仿射层-矩阵乘积）

参考：深度学习入门——Affine层（仿射层-矩阵乘积）

原创 逻辑回归(logistics regression)

逻辑：logistics [lə’dʒɪstɪks]的音译字,并不是因为这个算法是突出逻辑的特性。回归：预测结果为连续型变量。解决问题：分类问题（预测结果为离散型变量）。用回归思想解决分类问题。参考：逻辑回归(logistics regression)...

转载 Softmax 函数的特点和作用

参考：Softmax 函数的特点和作用

转载 GE2E论文翻译

【参考】GE2E论文学习