zhihua_oba-CSDN博客

原创 CRF应用以及CRF++

主要内容问题描述模型训练样本格式模板文件训练参数总结之前我们简单介绍了CRF的背景知识、基本原理、应用场景。接下来我们主要介绍通过CRF来解决实际问题的工具CRF++。CRF++是工业应用比较广泛的条件随机场的开源工具。安装包下载地址：CRF++安装包，官方使用教程：CRF++教程。本文主要通过序列标注任务中的实体识别（Named Entity Recogniti...

2020-04-02 15:13:17 932

原创条件随机场(Conditional Random Field, CRF)

主要内容背景知识隐马尔科夫模型马尔可夫随机场条件随机场条件随机场工程应用一、背景知识生成模型与判别模型。生成模型（Generative Model）对X和Y的联合概率分布建模，然后通过贝叶斯公式求得，最后选取使得最大的，即。判别模型（Discriminative Model）直接对条件概率建模，训练模型的过程中学习得到参数，预测过程根据得到的参数和输入X，得到输出Y。生成...

2020-03-28 20:03:48 2126 1

原创机器学习中常见的优化方法：梯度下降法、牛顿法拟牛顿法、共轭梯度法、拉格朗日乘数法

机器学习中常见的优化方法：梯度下降法、牛顿法拟牛顿法、共轭梯度法、拉格朗日乘数法主要内容梯度下降法牛顿法拟牛顿法共轭梯度法拉格朗日乘数法许多机器学习算法，往往建立目标函数（损失函数+正则项），通过优化方法进行优化，根据训练样本训练出满足要求的模型。常见的优化方法有梯度下降法、牛顿法拟牛顿法、共轭梯度法、拉格朗日乘数法等等。一、梯度下降法梯度下降法（...

2018-05-03 10:09:51 2655

原创正则化（regularization）：期望风险、经验风险、结构风险、L0范数、L1范数、L2范数

正则化（regularization）：期望风险、经验风险、结构风险、L0范数、L1范数、L2范数主要内容期望风险、经验风险、结构风险正则项：L0范数、L1范数、L2范数关于L1正则化与L2正则化的问题整理一、期望风险（expected risk）、经验风险（empirical risk）、结构风险（structural risk） 1、期望风险（expected risk）

2017-12-06 12:18:41 4770

原创经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证

经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证主要内容经验误差与泛化误差偏差与方差欠拟合与过拟合交叉验证一、经验误差（训练误差）与泛化误差经验误差（训练误差）：模型在训练集上的误差称为“经验误差”（empirical error）或者“训练误差”“training error”。泛化误差：模型在新样本集（测试集）上的误差称为“泛化误差”（generalizat

2017-12-01 10:47:04 15919

原创机器学习常见评价指标：AUC、Precision、Recall、F-measure、Accuracy

机器学习常见评价指标：AUC、Precision、Recall、F-measure、Accuracy主要内容 AUC的计算Precision、Recall、F-measure、Accuracy的计算1、AUC的计算 AUC是一个模型评价指标，用于二分类模型的评价。AUC是“Area under Curve（曲线下的面积）”的英文缩写，而这条“Curve（曲线）”就是ROC曲线。

2017-11-30 16:11:00 45702

原创隐马尔可夫模型（Hidden Markov Model，HMM）

隐马尔可夫模型（Hidden Markov Model，HMM）主要内容 HMM简介HMM观测序列、状态序列、三要素HMM三个问题及其对应算法HMM应用1、HMM简介隐马尔可夫模型是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程。属于生成模型（什么是生成模型？什么是判别模型？这里不过多介绍，想了解的童鞋百度会给你答案）。2、HMM观测序列、状态序列、三

2017-11-29 11:57:10 1275

原创机器学习岗面试总结

机器学习岗面试总结本人渣硕一枚，将秋招面试情况做一点简单的汇总，希望各位大佬批评指正。首先谈一下算法岗，个人认为算法岗是一个大体的统称，里边包括了数据挖掘岗、机器学习岗、深度学习岗、基础研究岗等等。不同的岗位对求职者的“软硬件”要求略有不同，但总体上是大同小异。面试这些岗位，求职者至少需要哪些能力呢？这里进行简单的汇总，希望各位大佬批评指正：一、编码能力、基础算法与数据结构一般面

2017-10-24 19:52:37 3044 2

原创 k-means算法详解

k-means算法详解主要内容 k-means算法简介k-means算法详解k-means算法优缺点分析k-means算法改进算法k-means++1、k-means算法简介 k-means算法是一种聚类算法，所谓聚类，即根据相似性原则，将具有较高相似度的数据对象划分至同一类簇，将具有较高相异度的数据对象划分至不同类簇。聚类与分类最大的区别在于，聚类过程为无监督过程，...

2017-06-28 11:04:39 31215 2

原创 EM算法（Expectation Maximization Algorithm）详解

EM算法（Expectation Maximization Algorithm）详解主要内容 EM算法简介预备知识极大似然估计Jensen不等式EM算法详解问题描述EM算法推导EM算法流程EM算法优缺点以及应用1、EM算法简介 EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为期望步（E步），另一个为极大步（M步），所以算法被称...

2017-06-27 11:44:49 109509 25

原创 Apriori算法详解

Apriori算法详解主要内容关联分析Apriori算法原理生成频繁项集生成关联规则FP-Growth算法消费者在商店都买物品时，通过查看哪些商品经常在一起购买，可以帮助商店了解消费者的购买行为。这种从数据海洋中抽取的知识可以用于商品定价、市场促销、存货管理等环节。从大规模数据集中寻找物品间的隐含关系被称作关联分析（association analysis）或者关联...

2017-06-12 23:04:25 5300 1

原创 PageRank算法详解

PageRank算法详解主要内容 PageRank算法简介PageRank算法详解基本PageRank模型终止点问题陷阱问题解决终止点问题和陷阱问题1、PageRank算法简介 PageRank，网页排名，又称网页级别或佩奇排名，是一种根据网页间相互超链接进行网页排名的技术，以Google公司创办人拉里·佩奇（Larry Page）之姓来命名。Google用它来体现网页的相关

2017-06-08 11:59:42 7901 2

原创 AdaBoost（Adaptive Boosting）算法详解

AdaBoost（Adaptive Boosting）算法详解主要内容 AdaBoost算法详解AdaBoost算法实例讲解1、AdaBoost算法详解假设有一位患者，存在某些症状。患者选择咨询多位医生，而不是一位。假设患者根据医生先前的诊断准确率，对每位医生的诊断赋予一个权重。然后，这些加权诊断的组合作为最终的诊断。这就是提升的基本思想。在提升（boosting）方法中，权重赋予每

2017-06-01 11:41:55 5217

原创支持向量机（Support Vector Machine，SVM）详解

支持向量机（Support Vector Machine，SVM）详解主要内容支持向量机简介数据线性可分的情况间隔与支持向量对偶问题SMO算法数据非线性可分的情况1、支持向量机简介支持向量机(support vector machine)是一种二分类模型，其基本模型定义是特征空间上的间隔最大的线性分类器（当采用线性核时），即支持向量机的学习策略是间隔最大化，...

2017-05-31 11:21:38 15690 2

原创朴素贝叶斯分类算法

朴素贝叶斯分类算法主要内容贝叶斯定理朴素贝叶斯分类算法详解朴素贝叶斯分类算法实例讲解拉普拉斯平滑1、贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)P(A|B)P(A|B)的情况下如何求得P(B|A)P(B|A)P(B|A)。其中，P(A|B)P(A|B)P(A|B)...

2017-05-17 16:54:29 4134

原创决策树之CART（分类回归树）详解

决策树之CART（分类回归树）详解主要内容 CART分类回归树简介CART分类回归树分裂属性的选择CART分类回归树的剪枝1、CART分类回归树简介 CART分类回归树是一种典型的二叉决策树，可以做分类或者回归。如果待预测结果是离散型数据，则CART生成分类决策树；如果待预测结果是连续型数据，则CART生成回归决策树。数据对象的属性特征为离散型或连续型，并不是区别分类树...

2017-05-15 22:20:30 64856 6

原创决策树之C4.5算法详解

决策树之C4.5算法详解主要内容C4.5算法简介分裂属性的选择——信息增益率连续型属性的离散化处理剪枝——PEP(Pessimistic Error Pruning)剪枝法缺失属性值的处理C4.5算法流程C4.5算法优缺点分析1. C4.5算法简介 C4.5算法是用于生成决策树的一种经典算法，是ID3算法的一种延伸和忧化。C4.5算法对ID3算法主要做了一下几点改进：（1）

2017-04-24 17:59:31 55447 2

原创决策树之ID3算法及其Python实现

决策树之ID3算法主要内容决策树背景知识决策树一般构建过程决策树分裂属性的选择ID3算法流程及其优缺点分析ID3算法Python代码实现1. 决策树背景知识决策树是数据挖掘中最重要且最常用的方法之一，主要应用于数据挖掘中的分类和预测。决策树是知识的一种呈现方式，决策树中从顶点到每个结点的路径都是一条分类规则。决策树算法最先基于信息论发展起来，经过几十年发展，目前常用的算法有：

2017-04-21 23:01:27 7866 1

原创 k-近邻算法（k-NN）及其Python实现

k-近邻算法（k-NN）及其Python实现算法思想：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（K个邻居），这K个实例的多数属于某个类，就把该输入实例分类到这个类中。算法流程：计算已知类别数据集中的点与当前点之间的距离；按照距离递增次序排序；选取与当前点距离最小的k个点；确定前k个点所在类别的出现频率；返回前k个点出现频率最高的类...

2017-04-19 21:30:25 636 1

原创 Windows系统下，Setuptools、Numpy、Matplotlib的安装

#Windows系统下，Setuptools、Numpy、Matplotlib 的安装主要内容: Setuptools 的安装Numpy 的安装Matplotlib 的安装1、Setuptools 的安装 easy_install：当需要安装第三方 python 包时，一般会用到 easy_install 命令。easy_install 是 setuptools 包里的一个命令

2017-04-18 15:46:58 874

原创受限玻尔兹曼机(RBM)+对比散度算法(CD-k)

受限玻尔兹曼机(RBM)+对比散度算法(CD-k)主要内容：受限玻尔兹曼机（RBM）基本原理受限玻尔兹曼机（RBM）训练过程——对比散度算法（CD-k）1. 受限玻尔兹曼机（RBM）基本原理受限玻尔兹曼机(RBM)是一种典型的神经网络模型，由一层可视层 vv 和一层隐藏层 hh 组成，该网络的可视层 vv 和隐藏层 hh 神经元彼此互联，但同一层内神经元无连接，如图1。RBM能够

2017-04-06 22:44:59 16593 1

原创无向图的最小费用最大流问题 UVa 10594 - Data Flow

无向图的最小费用最大流问题预备知识：最大流问题，增广路算法，有向图的最小费用最大流问题。问题说明：把物品从结点s（称为源点）运送至结点t（称为汇点），连接结点u和结点v的无向边上有两个二元组（x，y）和（x’，y’），x表示边u->v的最大运送能力，y表示边u->v运送单位物品的花费，x’表示边v->u的最大运送能力，y’表示边v->u运送单位物品的花费（其中，x可以等于x’，y可以等于y’）。

2017-04-06 10:18:53 2199

原创有向图的最小费用最大流问题

有向图的最小费用最大流问题预备知识：最大流问题，增广路算法。问题说明：把物品从结点s（称为源点）运送至结点t（称为汇点），每条边上有一个二元组（x，y），x表示边的最大运送能力，y表示运送单位物品的花费。寻找总流量最大的前提下（或者把结点s上的物品全部运送至结点t），总费用最小的流。算法思想： 1、在源点s处增加一个”超级源点S”，在汇点t处增加一个”超级汇点T”，其中S->s，T->t，且

2017-04-05 20:50:26 1767

zhihua_oba的博客