prupcognition-CSDN博客

原创牛顿法

牛顿法和梯度下降法是局部极值求法牛顿法求极值对函数f(x)进行泰勒展开这里把前三项看作关于Δx的二次函数g(Δx),对该函数求导获得函数的极值点有\Delta_x 的二次函数g(\Delta_x ),对该函数求导获得函数的极值点有Δx的二次函数g(Δx),对该函数求导获得函数的极值点有f′′(x0)Δx+f′(x0)=0f''(x_0)\Delta...

2020-09-01 10:19:06 161

原创卡尔曼滤波

1：卡尔曼滤波是一种动态线性模型，属于推断(inference)中的一种，针对的也是有隐状态和观测状态的模型,和HMM不同的是：卡尔曼滤波不要求隐状态是离散的，并且前一个状态和后一个状态满足线性关系，并且噪声服从正态分布前提条件也符合HMM的前提假设条件：齐次马尔科夫假设观测独立假设卡尔曼滤波贝叶斯公式：p(zt∣x1,x2,..xt)p(z_t|x_1,x_2,..x_t)p...

2020-06-11 14:10:10 196

原创 SVM(支持向量机)

svm分类：硬间隔 svm(hard margin)软间隔 svm(soft margin)核间隔 svm(kernal margin)特点：SVM 有三宝：间隔，对偶，核技巧硬间隔svm 函数形式y=sign(wTx+b)，当wTx+b>0时，y=1,wTx+b<0时，y=−1y=sign(w^Tx+b)，当w^Tx+b > 0时，y=...

2020-05-11 12:07:55 89

原创信息熵

1: 信息量函数想要用一个函数衡量事件的信息量大小该函数需要满足三个特征1)：和事件发生的概率成反比（发生的概率越低，信息量就越大）2)：要满足两个事件同时发生时获得的信息量应该等于观察到事件各自发生时获得的信息之和f(x,y)=f(x)+f(y)3)：信息量函数要 > 0构造满足上述条件的信息量函数为I(x)=log⁡1p(x)=−log⁡p(x)I(x) =\log \fr...

2020-03-26 17:42:56 89

原创正向代理和反向代理

对于正向代理和反向代理的概念看了一些文章,当时好像懂了,过了一段时间又忘了,还是没有理解到根本上突然今天感觉明白了,记下来,省得再忘了正向代理: 代表的是客户端,也就是请求的一方, 服务器端看到的请求IP是代理的IP,也就是说真正的客户端对服务器是透明的反向代理:代表的是服务器,也就是服务的一方 ,客户端看到的响应IP是代理的IP,也就是说真正的服务器对客户端是透明的...

2020-03-05 14:02:57 105

原创白板推导2-高斯分布

令data:X=(x1 x2 ... xp)Tdata:X=(x_1 \ x_2 \ ... \ x_p)^Tdata:X=(x1 x2 ... xp)Txi∈Rpx_i \in R^pxi∈Rpxi 服从N(μ,σ2)x_i \ 服从 \quad N(\mu,\sigma^2)xi 服从N(μ,σ2...

2020-03-05 14:01:49 104

原创指数族分布和最大熵模型

最大熵原理是概率模型学习的一个准则.最大熵原理认为,学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型信息量公式I(x)=log⁡1p(x)=−log⁡p(x)I(x)=\log\frac{1}{p(x)}=-\log p(x)I(x)=logp(x)1=−logp(x)信息熵是信息量的期望H(x)=E[I(x)]=−∑p(x)log⁡p(x)H(x)=E[I(x...

2020-03-04 09:46:37 633

原创条件随机场

一：回顾从HMM（隐马尔科夫）模型到MEMM（最大熵马尔科夫）模型HMM是生成式模型，也就是基于联合概率建模，其中参数有λ=(π,A,B)\lambda=(\pi,A,B)λ=(π,A,B)两种前提假设：1：齐次马尔科夫假设2：观测独立假设建模对象：P(X,Y∣λ)=∏tp(xt,yt∣λ)P(X,Y|\lambda)=\prod_t p(x_t,y_t|\lambda)P(X,Y...

2020-03-03 11:56:14 64

原创 HMM(隐马尔可夫模型)

HMM（隐马尔科夫模型）记住一，二，三：一：一个参数模型：λ=(π,A,B)\lambda =(\pi,A,B)λ=(π,A,B)其中π是初始概率向量\pi 是初始概率向量π是初始概率向量也就是z1,z2,..znz_1,z_2,..z_nz1,z2,..zn初始时候的概率是多少π={p1,p2,p3,...pn}\pi =\{p_1,p_2,p_3,...p_n\}π={p1...

2020-03-02 13:22:30 149

原创 EM算法

EM算法是处理有隐变量的情况下使用的方法步骤：建立对数目标似然函数L(θ)=∑i=1log⁡p(x∣θ)L(\theta)=\sum_{i=1}\log p(x|\theta)L(θ)=∑i=1logp(x∣θ)这里表示样本x服从概率为p(x)的某种分布，θ为分布的参数表示样本x服从概率为p(x)的某种分布，\theta为分布的参数表示样本x服从概率为p(x)的某种分布，θ为分布的参...

2020-02-27 11:48:25 104

原创白板推导1-频率派vs贝叶斯派

数据表示X:表示样本数据：{x1 x2 ... xn}T\{x_1\ x_2 \ ... \ x_n\}^T{x1 x2 ... xn}T,其中xi是p维的x_i 是p维的xi是p维的，整体样本是n∗p维n*p维n∗p维也可以表示为：[x11x12x13...x1px21x22x23...x2px31x32x33...x...

2020-01-15 19:03:58 72

原创拉格郎日函数

1:拉格郎日函数对于问题：min f0(x)min \ f_0(x)min f0(x)fi(x)≤0 i=1,2...,nf_i(x) \leq 0 \ i=1,2...,nfi(x)≤0 i=1,2...,nhi(x)≤0 i=1,2...,nh_i(x) \leq 0 \ i=1,2...,nhi(x)≤0 i=1,2....

2019-09-27 14:46:38 191

原创高斯判别分析

高斯判别分析（Gaussian discriminative analysis）属于概率生成式模型，并不是直接计算p(y|x)的概率，而是基于bayes,比较p(y=1|x)和p(y=0|x)的大小，从而确定分类贝叶斯公式：p(y∣x)=p(x∣y)p(y)p(x)p(y|x)=\frac {p(x|y)p(y)}{p(x)}p(y∣x)=p(x)p(x∣y)p(y)p(x)项和p(y)没...

2019-09-23 17:49:23 184

原创线性回归

一般使用最小二乘法处理线性回归问题线性函数f(x)=x1θ1+x2θ2+...+xnθn+bf(x) =x_1\theta_1+x_2\theta_2+...+x_n\theta_n+bf(x)=x1θ1+x2θ2+...+xnθn+b令：L(θ)=∑i=1(f(xi)−yi)2L(\theta) =\sum_{i=1}(f(x^i)-y^i)^2L(θ)=∑i=1(f(x...

2019-09-20 16:57:30 43

原创概率图模型 4（变分推断）

变分推断属于近似推断令X是观测变量，Z是隐变量，θ是参数X 是观测变量，Z 是隐变量， \theta 是参数X是观测变量，Z是隐变量，θ是参数根据贝叶斯公式有p(x)=p(x,z)p(z∣x)p(x)=\frac{p(x,z)}{p(z|x)}p(x)=p(z∣x)p(x,z)在给定参数θ\thetaθ情况下：p(x∣θ)=p(x,z∣θ)p(z∣x,θ)p(x|\theta)=\fr...

2019-09-09 14:57:27 240

原创概率图模型3(置信传播BP)

1:马尔科夫无向图在上面的无向图中，我们有观测变量和隐变量，是一种较简单的马尔科夫结构，3个观测变量y,3个隐藏变量x,通过因子图的方式联合概率可以写为：p(x1,x2,x3,y1,y2,y3)=ϕ(x1,x2)ϕ(x2,x3)ψ(x1,y1)ψ(x2,y2)ψ(x3,y3)p(x_1,x_2,x_3,y_1,y_2,y_3)=\phi(x_1,x_2)\phi(x_2,x_3)\psi...

2019-08-22 14:45:24 322

原创概率图模型2(马尔科夫网络)

马尔科夫网络属于无向图模型条件独立性体现在三个方面：条件独立性：{全局：XA⊥XB∣XC局部：xi⊥xi−nb∣xnb给定xi的邻居xnb情况下，xi独立于xi的非邻居成对：xi⊥xj∣x−i,j给定所有非xi和xj情况下，xi独立于xj条件独立性：\begin{cases} 全局：\quad X_A \bot X_B |X_C\\ 局部： \quad x_i \bot x_...

2019-08-21 16:58:24 191

原创概率图模型 1（贝叶斯网络）

概率图：这里的图是一种工具，用图的方式来表示概率，更加直观按照表现方式分类：概率图={有向图：代表：贝叶斯网络无向图：代表：马尔科夫网络概率图=\begin{cases} 有向图：\quad 代表：贝叶斯网络\\ 无向图： \quad 代表：马尔科夫网络\end{cases}概率图={有向图：代表：贝叶斯网络无向图：代表：马尔科夫网络按照推断问题可分为：infere...

2019-08-21 11:57:36 120

原创粒子滤波(particle filter)

粒子滤波也属于动态模型中的一种，但是隐变量之间的关系不在是线性的关系，而是满足一定的高次函数关系：状态方程：zt=f(zt−1,ut,εt)z_t = f(z_{t-1},u_t,\varepsilon_t)zt=f(zt−1,ut,εt)观测方程：xt=h(zt,δt)x_t=h(z_{t},\delta_t)xt=h(zt,δt)由于是非线性函数关系，所以很难直接计算后验...

2019-08-14 14:05:39 280

原创 MCMC

概念：MCMC指的是马尔科夫链蒙特卡罗（Markov Chain Monte Carlo）属于近似推断中的随机推断类别蒙特卡罗方法蒙特卡罗原来是一个赌场的名称，用它作为名字大概是因为蒙特卡罗方法是一种随机模拟的方法，这很像赌博场里面的扔骰子的过程。最早的蒙特卡罗方法都是为了求解一些不太好求解的求和或者积分问题。比如积分：θ=∫abf(x)dx\theta = \int_a^b f(x)...

2019-08-12 11:26:11 78

原创 oracle数据库客户端字符编码总结

1：如果客户端采样JDBC连接数据库，那么无论数据库采用何种编码，客户端发送数据的编码都是UTF-82: 如果采用OCI方式连接，则要根据数据的编码方式决定客户端的编码方式：数据库采样UTF-8的时候，客户端发送的编码也是UTF-8,数据库采用GBK的时候，则客户端发送的编码是GBK...

2019-07-25 12:04:07 427

转载 ORACLE 存储过程中的Authid Current_User

原文地址:http://blog.itpub.net/26770925/viewspace-1442125/ORACLE用户具有DBA权限，却会出现无法在存储过程里面创建一张普通表的现象。因为即使用户拥有DBA权限，用户拥有的role权限在存储过程是不可用的。遇到这种情况，通常解决方法是进行显式的权限分配: grant create table to user a; 但这种方法太麻烦，因...

2018-05-05 09:48:36 1434

原创单利与复利介绍

单利: 基本本金不变假如你有100块钱可以借给别人,按照年利率10% 借出时间为5年算的话,那么5年后你的本金加利息一共是100+100*10%+100*10%+100*10%+100*10%+100*10%=150 通用推导公式: P : 本金 r : 年利率 n : 年数当n=1时收益为: P +P*r = P(1+r) 当n=...

2018-03-31 15:57:38 563

原创复利与e

上一篇介绍复利公式: P= P(1+r)^n 其中P是本金,r是年利率,n是年数如果P=1,r=100%,n=1,则一年后的值为1(1+100%)*1=2 如果按照半年计算利率会怎么样? 如果一年期的利率是100% ,那么半年期则为50%, P上半年 = P+P*r=P(1+r) 下半年按照上半年的结果计算利率 P下半年 = P上半年 + P上半年*r= P上半年(1+r) = P(...

2018-03-31 15:56:57 4674 2

prupcognition的博客