常山赵匡胤-CSDN博客

原创从归并排序到逆序对数目计算。

归并排序中“归并”的含义是将两个或两个以上的有序表组合成一个新的有序表。归并过程参考下图： 2-路归并排序算法是基于分治的思想，先将含有n个元素的待排序表分成各n/2个元素的子表，对这个两个子表进行排序，这个是mergeSort()操作；再将排好序的两个子表合并成一个表，这个是merge()操作。空间效率：merge()操作中，辅助空间占用n个单元，故其空间复杂度为O(n)；时间效

2017-05-04 11:27:37 616

转载计算1至n中数字X出现的次数

计算1到2593这个范围中，数字5总共出现了多少次。计算的是数字5出现的总次数，而不是包含这个数x的数字个数。如求出1~13的整数中1出现的次数，则为 1、10、11、12、13 这5个数字1共出现了6次，而不是5次。

2017-05-03 09:36:47 1071

原创二叉树中序遍历非递归实现

根据中序遍历的顺序，对于任一结点，优先访问其左孩子，而左孩子结点又可以看做一根结点，然后继续访问其左孩子结点，直到遇到左孩子结点为空的结点才进行访问，然后按相同的规则访问其右子树。因此其处理过程如下。对于任一结点P： 1)若其左孩子不为空，则将P入栈并将P的左孩子置为当前的P，然后对当前结点P再进行相同的处理； 2)若其左孩子为空，则取栈顶元素并进行出栈操作，访问该栈顶结点，然后将当

2017-05-02 20:25:08 431

原创堆排序算法

堆是一个完全二叉树的结构，分为大顶堆和小顶堆。用一个数组存放一个完全二叉树，在数组中索引为i的结点的左子节点索引为i*2+1,右子节点索引为i*2+2,父节点为(i-1)/2。时间复杂度：建堆的时间复杂度为O(n)。建堆算法是从最后一个非叶子结点开始下溯，也可以把建堆过程想成先对左子树建堆(T(n/2))，再对右子树建堆(T(n/2))，最后对根下溯(O(lg n))，所以递推式是T(

2017-05-02 20:20:52 567

原创线性回归的损失函数与逻辑回归的损失函数

一、线性回归损失函数的两种解释线性回归的损失函数是平方损失函数，为什么使用平方的形式，参考：线性回归损失函数为什么要用平方形式，讲得很清楚。在线性回归中，对于训练数据样本(xi,yi)(x_i,y_i)，我们有如下的拟合直线： yiˆ=θ⋅xi\widehat{y_i}=\theta\cdot x_i 构建的损失函数是： C=∑i=1n(yi−yiˆ)2C=\sum\limits_{i=1

2017-05-02 19:32:58 24026 2

原创使用极大似然法对逻辑回归中的参数进行估计的数学原理

1.极大似然估计中采样产生的样本需要满足一个重要假设，所有采样的样本都是独立同分布的。 2.极大似然估计是在模型已定，参数未知的情况下，估计模型中的具体参数。 3.极大似然估计的核心是让产生所采样的样本出现的概率最大。即利用已知的样本结果信息，反推具有最大可能导致这些样本结果出现的模型的参数值。既然事情已经发生了，为什么不让这个出现的结果的可能性最大呢？这也就是最大似然估计的核心。求最大

2017-04-28 11:32:46 7303 3

转载利用GBDT模型构造新特征

本文转自：http://breezedeus.github.io/2014/11/19/breezedeus-feature-mining-gbdt.html实际问题中，可直接用于机器学习模型的特征往往并不多。能否从“混乱”的原始log中挖掘到有用的特征，将会决定机器学习模型效果的好坏。引用下面一句流行的话：特征决定了所有算法效果的上限，而不同的算法只是离这个上限的距离不同而已

2017-04-14 19:59:32 581

提升方法需要解决两个问题：一是在每一轮如何改变训练数据的权值或概率分布；二是如何将弱分类器组合成一个强分类器。对于第一个问题，AdaBoost算法是提高那些前一轮弱分类器错误分类样本的权重，而降低那些被正确分类样本的权重，这使得那些没有被正确分类的样本由于其权重的加大而受到后一轮的弱分类器的更大关注。对于第二个问题，AdaBoost采取加权多数表决的方法，即加大分类误差率小的弱分类器的权值，使其在表

2017-04-11 16:38:10 949

原创《统计学习方法》附录C拉格朗日对偶性学习笔记

最优化问题有三种形式：（1）无约束优化问题；（2）有等式约束的优化问题；（3）有不等式约束的优化问题。这部分是解决第三种最优化问题，即有不等式约束的优化问题。一、原始问题假设f(x),ci(x),hj(x)f(x),c_i(x),h_j(x)是定义在Rn\mathbf{R}^n上的连续可微函数，称如下的最优化问题为原始问题：minx∈Rnf(x)s.t.ci(x)hj(x)≤0,=

2017-04-10 15:49:31 1272

原创《统计学习方法》第七章支持向量机学习笔记

一、线性可分支持向量机定义：给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为： w∗⋅x+b∗=0w^*\cdot x+b^*=0 以及相应的分类决策函数： f(x)=sign(w∗⋅x+b∗)f(x)=sign{(w^*\cdot x+b^*)} 称为线性可分支持向量机。 SVM的分类决策函数和感知机决策函数形式很类似，但是求得的超平面不一样。

2017-04-06 23:14:39 2960 1

原创《统计学习方法》第六章逻辑斯蒂回归与最大熵模型学习笔记

一、逻辑斯蒂回归模型1. 二项逻辑斯蒂回归模型二项逻辑斯蒂回归模型是如下的条件概率分布： P(Y=1|x)=exp(w⋅x+b)1+exp(w⋅x+b)P(Y=1|x)=\frac{\exp{(w \cdot x+b)}}{1+\exp(w\cdot x+b)} P(Y=0|x)=11+exp(w⋅x+b)P(Y=0|x)=\frac{1}{1+\exp(w\cdot x+b)} 注意：P(Y

2017-04-05 22:30:57 2516

原创《统计学习方法》第四章朴素贝叶斯学习笔记

2017-04-05 11:40:49 884

原创《统计学习方法》第五章决策树学习笔记

决策树这章相关的内容主要分为三部分：特征选择，建树，剪枝。决策树的种类有ID3,C4.5以及CART 三种。一特征选择1. 熵熵(entropy)的定义：是表示随机变量X不确定性的度量。

2017-03-31 11:44:09 1070

转载欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-03-31 11:37:46 288

原创 win7 用VMware 8.0.2 build-591240 安装redhat 9.0 不能上网的问题解决啦

今天遇到了redhat 9.0 不能上网的问题，通过百度找了好多资料，终于完美解决。现将具体步骤公布如下：资料完全来源于http://nkevin.blog.163.com/blog/static/4481948120097702052679/其中有个别错误的地方，我已改正过来如下：最近发现，还是有很多人用古董级别的 Redhat Linux 9.0（产于2003年3月，毕业于

2012-04-26 22:22:10 956

原创 linux，继续努力

看了几天的教程，只是对linux有了一个初步的了解，学了几个命令，发现linux颠覆了很多自己在windows下面建立的观念，继续努力，有这么多前辈挺这个系统，它肯定有自己更过人的地方，只是我还看不到，希望能早了解这些。

2012-04-25 13:10:26 258 1

原创 Linux菜鸟入门级命令大全

Linux菜鸟入门级命令大全Linux 系统常用命令格式：command [option] [argument1] [argument2] ...其中option以“-”开始，多个option可用一个“-”连起来，如“ls -l -a” 与“ls -la”的效果是一样的。根据命令的不同，参数分为可选的或必须的；所有的命令从标准输入接受输入，输出结果显示在标准输出，而错误信息

2012-04-15 02:20:18 479

原创 linux关机和重启命令日常操作命令

重启命令：1、reboot2、shutdown -r now 立刻重启(root用户使用)3、shutdown -r 10 过10分钟自动重启(root用户使用) 4、shutdown -r 20:35 在时间为20:35时候重启(root用户使用)如果是通过shutdown命令设置重启的话，可以用shutdown -c命令取消重启关机命令：1、halt

2012-04-15 02:14:59 388

原创 linux学习中

这几天正在学习linux，看视频，安装了VMware虚拟机和redhat 9.0 ，redhat9.0 貌似比较早了，我先在虚拟机上面好好学一下控制台上代码的操作，等熟练的话再去安装一个linux 系统。RedHat Linux 9.0命令行模式下出现乱码的解决办法在虚拟机上安装 redhat9.0 后出现乱码的问题，现已解决下面将字符界面下会出现乱码解决方法记录如下：

2012-04-15 02:06:01 257

原创我的第一篇博文

这是我在csdn的第一篇博文，请多多指教

2012-04-15 01:58:12 599

wjlucc的专栏