- 博客(29)
- 收藏
- 关注
RSS订阅原创 期权定价 - BS模型 - 维纳过程和伊藤引理
1. wiener Processes （维纳过程）Stochastic processes(随机过程） ： Any variable whose value changes over time in an uncertain way is said to follow a stochastic process. Stochastic processes can be classified as...
2019-02-02 17:27:22
13060
1
原创 信息熵，联合熵，条件熵，交叉熵，相对熵+例子
信息熵（Information Entropy）所谓熵也就是信息的不确定性，也就是混乱程度，举个例子便于理解。我们玩一个大转盘，有32个格子，分别标了1-32的数字，格子大小都一样，那么转动以后每个格子被指针指到的概率也是一样的。那么在转盘转动之前我们要下注的话就很纠结了，随便下哪一个都一样。这时候整个系统的信息是非常混乱无序的。我现在转好了让你猜是哪个数字，你会怎么猜？我会问，是1-1...
2019-01-25 23:24:21
3998
原创 频率派vs贝叶斯派 —— MLE（最大似然估计） vs MAP（最大后验估计）
这两天在重温概率论，发现以前学得挺粗糙的，竟然第一次知道概率论里还有频率派和贝叶斯派之分。。。代表就是MLE和MAP两种概率估计的方法频率派 vs 贝叶斯派在概率估计或者机器学习里的参数估计上，有两个方法，MLE（最大似然估计） 和MAP（最大后验估计），其实代表了概率论里的两个派别，频率派和贝叶斯派往大里说，这两个派别代表了不同的世界观。频率派认为参数是客观存在不会改变的，虽然未知，但...
2019-01-24 23:09:06
1089
原创 GridSearchCV调参（一） - 入门（KNN，KFold，StratifiedKFold）
前面看了一些基础的机器学习算法，今晚用到sklearn了，才发现原来还可以自动去调参数。。。记录一下GridSearchCV网格搜索交叉验证，关键在于交叉验证，意思就是把训练数据集拆分成训练集和验证集，拆分成不同组合来验证对于某个分类器取什么参数值最好方法参数：class sklearn.model_selection.GridSearchCV(estimator, param_gri...
2019-01-16 00:09:16
3569
1
原创 数据的偏度和峰度理解 + log消除 + python
晚上看神经网络的feature工程看到对偏度数据进行处理，已经忘了。。。查阅了一些资料，顺便写个小程序比较一下，记录下来关于偏度和峰度的定义不再赘述，有很多文章简单来说对于数据统计：偏度能够反应分布的对称情况，右偏（也叫正偏），在图像上表现为数据右边脱了一个长长的尾巴，这时大多数值分布在左侧，有一小部分值分布在右侧。峰度反应的是图像的尖锐程度：峰度越大，表现在图像上面是中心点越尖锐...
2019-01-15 00:32:33
5871
原创 神经网络 + MNIST + Tensorflow + tips
想看神经网络的一些东西，就入了人工智能的坑，看了很多算法之后再回来看神经网络又感觉清晰不少，但求知少不了实践，今晚看了一些Tensorflow，感觉不太友好啊，好不容易看明白了赶紧把一些tips记录下来。构建神经网络先用tensorflow导入数据MNIST，结果发现网络不通总是报错。。。后来直接下载了MNIST的数据搁在运行目录的MNIST_data\下面，直接也就能跑了然后设置le...
2019-01-13 00:18:02
128
原创 AdaBoost + iris数据集实现+python
AdaBoost关于AdaBoost有很多文章，不多说了：https://www.cnblogs.com/ScorpioLu/p/8295990.html简单来说就是对数据集取不同的分类做成弱分类器，然后加起来作为强分类器刚接触python和numpy不久，用python和iris数据集简单实现这个算法，作为学习笔记记录下来以供以后查阅iris dataset + python实现...
2019-01-09 22:34:43
3113
2
原创 决策树 - Cart + iris数据集 + python实现
决策树：https://blog.csdn.net/weixin_43909872/article/details/85206009CARTClassification and regression treeCART 是在给定输入X条件下输出随机变量Y的条件概率分布的学习方法。CART对每个特征（包括标签特征以及连续特征）进行二分，经过最优二分特征及其最优二分特征值的选择、切分，二...
2019-01-08 01:13:42
7164
原创 增强学习 - MDPs - TD Learning（Sarsa & Q-Learning）
TD Learning - Temporal Difference Learning前面的蒙特卡洛方法 ：https://blog.csdn.net/weixin_43909872/article/details/85873569蒙特卡洛方法需要完整的episode去做分析计算，但很多情况下我们无法得到完整的episode链，这时候可以使用TD learning方法，在线时序差分学习。具...
2019-01-06 14:42:38
269
原创 增强学习 - MDPs - 蒙特卡洛方法 + 21点游戏
什么是蒙特卡洛方法蒙特卡罗方法又叫做统计模拟方法，它使用随机数(或伪随机数)来解决计算问题。 简单来说就是基于概率，比如下图，基于一个不规则的曲线我们很难去求积分，那么我们可以均匀的往这个方框里去撒豆子，撒上10000个豆子以后我们数下面的豆子就可以知道阴影部分的面积了。为什么用蒙特卡洛方法前面介绍的动态规划方法（https://blog.csdn.net/weixin_43909...
2019-01-05 23:14:12
2301
原创 增强学习 - MDPs - Dynamic Programming (二）
接着前面的 ： https://blog.csdn.net/weixin_43909872/article/details/85728246Policy Iteration前面用动态规划的方式迭代了215次得到了比较好的policy。第215次：[ 0. -13.99989315 -19.99984167 -21.99982282 -13.99989315-17.99986052 -1...
2019-01-05 01:04:34
231
原创 更好的理解LSTM - 简单的python实例
为什么用LSTM?We use RNN when sequence data is important : https://blog.csdn.net/weixin_43909872/article/details/85567106RNN的问题：a. RNN 一般使用tanh作为激活函数，从下面的tanh和tanh导数函数图像可以看到他的梯度和sigmoid一样会下降得非常快，而RNN网...
2019-01-03 00:45:07
4135
2
原创 RNN（Recurrent Neural Network）- 最简单的python例子理解
RNN简介RNN是用于处理序列数据的神经网络百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。a. 回忆一下普通的神经网络是如何运作的：把训练数据一条条的放进去，对每一条数据做很多加权处理，通过输入层-&g...
2019-01-01 23:35:21
2051
原创 四大降维算法的比较和一些理解（PCA、LDA、LLE、LEP）
PCAPrinciple components analysis主成分分析法：https://blog.csdn.net/weixin_43909872/article/details/85321384它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。缺点：PCA是用投影后方差大...
2018-12-31 01:42:32
11544
1
原创 Kmeans&HCA + iris数据集+python实现
基本的聚类分析算法K均值 (K-means)：基于原型的、划分的距离技术，它试图发现用户指定个数(K)的簇。a. 随机选取k个中心点b. 遍历所有数据，将每个数据划分到最近的中心点中c. 计算每个聚类的平均值，并作为新的中心点d. 重复2-3，直到这k个中线点不再变化（收敛了），或执行了足够多的迭代时间复杂度：O(Inkm)空间复杂度：O(nm)层次凝聚聚类算法(HCA ...
2018-12-30 16:19:05
2308
原创 DBScan+iris数据集实现+参数调节
关于DBScan的理论就不再黏贴了 ： https://www.cnblogs.com/pinard/p/6208966.html下午尝试着用iris数据集去测试一下， 但发现效果不太理想，后面又用比较简单的参数调节方法去调参数，似乎也不理想，这里把记录下来以供后面继续研究。Load data from iris.csvimport pandas as pdimport numpy a...
2018-12-29 18:06:24
5776
2
原创 PCA(主成分分析）-用iris数据集的解析
这篇文章对PCA的算法分析的比较好：https://www.cnblogs.com/hadoop2015/p/7419087.html看完以后我想尝试用iris数据集来实验一下，这里把记录下来：步骤：a. 对原始数据进行处理，每个数字减去这一列的平均值，还可以做归一化使得方差都差不多b. 求协方差矩阵，取得数据间的方差区别，方差区别约大则认为较小一方是噪声，可以忽略c. 对协方差矩阵求特...
2018-12-28 16:47:35
5023
1
原创 线性回归中最大似然法的理解
线性回归中使用最大似然法的文章蛮多的，这两天看了一些，总觉得有些“跳跃”的地方让人难以理解，现在把整个过程记录下来以便日后查阅，好记性不如烂笔头。。。关于最大似然法已经写了一篇了： https://blog.csdn.net/weixin_43909872/article/details/85255130线性回归 ：这里只分析一个independent variable（x轴）的情况，我们有...
2018-12-26 22:23:53
2672
1
原创 最大似然估计的理解(Maximum likelihood estimation）
下午看了半天这个玩意，翻了好几篇文章都感觉很跳跃，最后结合着看终于看明白了。。。赶紧记录下来，省的以后又忘了。。。直观理解先上个wiki里的定义：In statistics, maximum likelihood estimation (MLE) is a method of estimating the parameters of a statistical model, given ...
2018-12-26 20:56:44
6602
原创 K-近邻算法（KNN） + Python实现
K-近邻算法（KNN）概述这是分类算法的其中一种，基本思想就是给定一组训练数据或者叫已有数据，每条数据由几个特征值+分类组成，比如很有名的iris数据集，很多地方都可以下载到。前面四个参数是花萼花瓣的长宽，最后一个是所属的花种，数据集里包含了150个采集的数据。我们的问题就在于如果给出一组新的参数，比如[7.2, 3.6, 5.1, 2.5]，那么需要判断他属于哪个种类算法的基本思想也...
2018-12-24 14:24:32
125
原创 决策树算法 decision tree algorithm（ID3 and CART)
决策树是一种基本的分类与回归方法，从分类来说，svm也用于分类，我们为什么要用决策树呢？a. 决策树一般是模拟人类的行为，数据和算法更便于理解b. 决策树不是黑盒，能让你看清他是怎么工作和解释数据的下面是关于是否提供贷款给个人的一个决策树，简单明了为了得到这课决策树，我们的训练数据类似下面的表格，只列了一点，需要更多数据完成训练：现在的关键问题在于如何选取每一层的节点，原则在于尽...
2018-12-22 16:16:33
1644
原创 SVM-支持向量机理解（拉格朗日乘子法（Lagrange multiplier））
关于支持向量机里的拉格朗日乘子法有很多文章，作为学习笔记这里就不详细描述了，只记录一些一般文章里跳过的难以理解部分Support Vector Machine wiki ： https://en.wikipedia.org/wiki/Support_vector_machine拉格朗日乘子法和KKT条件1.1 对于无约束优化问题中，如果一个函数f是凸函数，那么可以直接通过f(x)的梯度等于...
2018-12-21 21:02:39
3096
1
原创 Naive Bayes Classifier - with sample of classifying spam/ham mails
Bayes’ theoremWiki Page : https://en.wikipedia.org/wiki/Bayes'_theoremP(A|B) = P(B|A) = P(B|A) P(A)/P(B)Naive Bayes ClassifierWiki Page : https://en.wikipedia.org/wiki/Naive_Bayes_classifier...
2018-12-19 22:42:12
214
原创 (读书笔记）Introduction of deep convolutional networks
读书笔记 ： http://neuralnetworksanddeeplearning.com/chap6.htmlConvolutional networksTake the 28×28 pixel of digital as example, we have below inputs instead of vector in the fully-connected networksT...
2018-12-18 22:53:13
191
原创 (读书笔记）Unstable gradients in deep neural nets - Vanishing and Exploding
读书笔记 ： http://neuralnetworksanddeeplearning.com/chap5.htmlThe phenomenon of unstable gradients in deep neural netsFor example : in a [784, 30, 30, 30, 10] networkWe use batch gradient descent wi...
2018-12-18 22:17:58
151
原创 (读书笔记）Visual and simple explanation of Universality Approximation Theorem with neural networks
读书笔记 ： http://neuralnetworksanddeeplearning.com/chap4.html很容易的看懂universality theoremWhat is universality theorem https://en.wikipedia.org/wiki/Universal_approximation_theoremNeural networks can c...
2018-12-17 21:18:47
154
原创 From perceptrons to machine learning (二）
Learning with gradient descent(梯度下降法）Now we have :a. Inputs, outputs from examples(We call them training data in machine learning)b. The neuron function to calculate the output from input data, th...
2018-12-16 16:16:36
128
原创 From perceptrons to machine learning (一）
Start from perceptrons1.1 Developed in the 1950s and 1960s by the scientist Frank Rosenblatt.A perceptron takes several binary inputs, x1, x2, …, and produces a single binary output with variant we...
2018-12-16 15:05:24
176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人