weixin_39420394的博客

原创 深度学习

信息熵及梯度计算 信息熵 信息熵 热力学中的熵：是表示分子状态混乱程度的物理量 信息论中的熵：用来描述信息源的不确定性的大小 信源信息的不确定性函数f通常满足两个条件： 是概率p的单调递减函数 两个独立符号额所产生的不确定性应等于各自不确定性之和，即f(p1,p2) = f(p1)+f(p2) 对数函数同时满足这两个条件：f§ = log(1/p) = -log§ 信息熵：要考虑信源所以可能发生情况的平均不确定性。若信源符号有n中取值：U1,…,Ui,…,Un,对应的概率分别为p1,…,pi