3 翔燕

尚未进行身份认证

暂无相关简介

等级
TA的排名 23w+

NLP评估指标----BLEU--bilingual evaluation understudy

1. 介绍计算两个句子相似度,使用的方式是共现词频率,用来衡量两句话的一致程度。主要用于评估翻译的好坏思想:认为机器翻译结果越接近专业人工翻译,模型越准确blue越高,认为模型越好bleu的优点:方便、快速、结果有参考价值bleu的缺点:不考虑语法上的准确性;测评精度会受常用词的干扰;短译句的测评精度有时会较高;没有考虑同义词或相似表达的情况。2. 应用bleu考虑1,2,3,4...

2019-12-31 11:07:19

面试之模型评估---(3)

1、评价指标有哪些?准确率(Accuracy):正确分类样本占样本总数的比值,对与偏科问题时候不适用精确率(Precision):被正确预测出来的正类占预测正类的比值召回率(Recall):被正确预测出来的正类占样本实际正类的比值F1 Score :F1Score=2PRP+RF_1 Score = \frac{2PR}{P+R}F1​Score=P+R2PR​ROC曲线:横轴是假阳性...

2019-09-20 10:22:15

面试之降维---(2)

1.为什么要进行降维?在机器学习中,数据通常需要被表示成向量形式以输入模型进行训练。对向维向量进行处理和分析时,会极大地消耗系统资源,甚至产生维度灾难。因此,进行降维,即用一个低维度的向量表示原始高维度的特征就显得尤为重要。2.降维的方法有哪些?常见的降维方法有主成分分析(PCA)、线性判别分析(LDA)、等距映射、局部线性嵌入、拉普拉斯特征映射、局部保留投影等。(1)PCAPCA属于...

2019-09-20 15:44:52

面试之特征工程---(1)

文章来源于《百面机器学习》1.为什么需要对数值类的特征做归一化处理?回答此问题要从特征归一化是啥,常用的有哪些,有什么用,局限性来说,下面分别说明啥是特征归一化?-----就是将特征统一到一个大致相同的区间类常用的方法:1)线性函数归一化将训练集中数值特征通过线性变换,缩放到0-1的范围,具体方法是Xnorm=X−XminXmax−XminX_{norm}=\frac{X-X_{mi...

2019-09-19 17:37:52

第11章--条件随机场(CRF)---(11)

1.概述给入一组输入随机变量的条件下另一组输出随机变量的条件概率分布特点:假设输出随机变量构成隐马尔可夫随机场线性链条件随机场——应用与标注问题,学习方法是极大似然估计或正则化的极大似然估计条件随机场可以应用于不同的测试问题2.概率无向图模型(1)相关定义图:由结点及连接结点的边组成的集合无向图:指边没有方向的图概率图模型:指由图表示的概率分布无向图表示的随机变量之间存在...

2019-09-16 15:10:07

第6章--逻辑斯蒂回归与最大熵模型---(6)

1.逻辑斯谛回归模型概述属于对数线性模型采用对数似然函数极大化为优化目标模型学习一般采用极大似然估计,或正则化的极大似然估计通常采用梯度下降和拟牛顿法学习参数学习方法有改进的迭代尺度法、梯度下降法、拟牛顿法模型在输入很大和很小的时候出现梯度趋于0 的情况可以形式化为无约束最优化问题(1)逻辑斯谛分布分布函数属于逻辑斯谛函数分布函数是S型曲线,关于点(μ,12)(\mu,\...

2019-09-15 20:02:14

第4章--朴素贝叶斯(naive Bayes)---(4)

1.概述是典型的生成学习方法是基于贝叶斯理论和特征条件独立假设的分类方法训练时:通过学习先验概率分布P(Y=ck)P(Y=c_k)P(Y=ck​) 和条件概率分布P(X=x∣Y=ck)P(X=x|Y=c_k)P(X=x∣Y=ck​),得到联合概率分布P(X,Y)=P(Y)P(X∣Y)P(X,Y)=P(Y)P(X|Y)P(X,Y)=P(Y)P(X∣Y)分类时:使用学习到的模型对输入xxx计...

2019-09-15 10:26:57

第7章--支持向量机(SVM)---(7)

1.概述是一种二分类模型;基本模型是在特征空间熵的间隔最大的线性分类器;学习策略是,间隔最大化,正则化的合页损失最小化;是求解凸二次规划的最优化算法;包含:线性可分支持向量机(硬间隔支持向量机)、线性支持向量机(软间隔支持向量机)、非线性支持向量机(使用核技术及软间隔最大化)2.线性可分支持向量机构建它的条件是训练数据线性可分。其学习策略是最大间隔法。线性可分支持向量机的最...

2019-09-11 10:28:41

第10章--隐马尔可夫模型(HMM)---(10)

1.模型概述(1)模型定义隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态的序列,再由各个状态随机生成一个观测而产生观测序列的过程。(2)相关概念状态序列:隐藏的马尔可夫链随机生成的状态序列。观测序列:每一个状态生成一个随机的观测序列。是一个生成模型,表示状态序列和观测序列的联合分布,但是状态序列是隐藏的,不可观测的。可以用于标注,这时状态对应着...

2019-09-10 11:38:40

吴恩达机器学习--神经网络Ⅰ(5)

1 为什么要用神经网络实际问题往往有很多特征,成千的特征会带来两个问题:一是过拟合,二是消耗大量计算资源。模型复杂度为O(n2,n3)或者更高。在计算机视觉中,一张图片对于计算机来说就是一堆数字矩阵,对图片处理时有成千上万的特征,对于这类问题使用logistic回归是没法解决的,这个时候就要用到神经网络(Neural Network)。2 神经网络...

2019-09-03 23:17:53

吴恩达机器学习---逻辑回归(3)

1 应用在分类问题中,你要预测的变量

2019-09-03 23:17:44

吴恩达机器学习--机器学习经验方法总结(7)

1. 问题引入当测试假设函数发现有很大的误差,一般的改进方法为:使用更多的训练样例减少特征数增加特征数增加多项式特征减小λ 的值增加λ 的值但并不是所有的方法都有用,需要分析知道哪里出了问题。2. 模型评估为了能有效地评估我们的模型,先要将数据集分成训练集(training set)(占原数据的70%),和测试集(test set)(占原数据的30%)。在数据集分割时,...

2019-09-03 23:20:04

吴恩达机器学习—降维(11)

1. 概述希望有足够多的特征(知识)来保准学习模型的训练效果,但高维的特征也有几个如下不好的地方:学习性能下降,知识越多,吸收知识(输入),并且精通知识(学习)的速度就越慢;过多的特征难于分辨,很难第一时间认识某个特征代表的意义特征冗余特征降维的一般手段就是将高维特征投影到低维空间。降维的作用:数据压缩和数据可视化。例子:2D---->1D 3D------>2D...

2019-09-03 23:20:44

吴恩达机器学习—推荐系统(13)

1. 基于内容的推荐系统(1)推荐系统的应用很广泛:1)电子商务:根据客户购买和浏览商品推荐相关商品2)电影和视频推荐:根据视频浏览记录,喜好推荐3)音乐电台的推荐4)网页及新闻:推荐根据网页浏览记录,推荐相关新闻和网页5)社交网络:推荐好友,信息流的会话推荐6)广告推荐等(2)电影推荐举例电影资讯网站,用户对于电影的打分(1 - 5 分),代表用户没有评价过该电影,数据,对于每...

2019-09-03 23:20:50

吴恩达机器学习—聚类(10)

1. 无监督学习在机器学习中,无监督学习可以被简单理解为不为训练集提供对应的类别标识。无监督学习(Unsupervised Learning)下的训练集:(x(1)),(x(2)),(x(3))2. 聚类在监督学习中,把对样本进行分类的过程称之为分类(Classification),而在无监督学习中,将物体被划分到不同集合的过程称之为聚类(Clustering)。在聚类中,把物体所在的集...

2019-09-03 23:20:42

吴恩达机器学习--正则化(4)

1 过拟合(1)回归中的过拟合第一个模型是欠拟合,不能很好地适应训练集;第三个模型用四次方进行拟合,过于强调拟合原始数据,而丢失了预测新数据的能力。而中间的模型似乎最合适。(2)分类问题中的过拟合

2019-09-03 23:17:49

吴恩达机器学习—异常检测(12)

1. 异常检测定义和使用给定正常的数据集

2019-09-03 23:20:38

吴恩达机器学习——机器学习系统设计(8)

1. 误差分析(1)构建一个学习算法的推荐方法从一个简单的能快速实现的算法开始,实现该算法并用交叉验证集数据测试这个算法绘制学习曲线,决定是增加更多数据,或者添加更多特征,还是其他选择进行误差分析:人工检查交叉验证集中我们算法中产生预测误差的实例,看看这些实例是否有某种系统化的趋势(2)误差分析作用误差分析并不一定能判断应该采取怎样的行动。但通过尝试不同的模型并比较后,能用数值来判...

2019-09-03 23:20:09

吴恩达机器学习---多变量线性回归(2)

1)多变量线性回归的假设函数,损失函数,以及梯度下降和正规方程的使用。2)学习率的选择。3)梯度下降的时候的特征处理方法的介绍。4)采用正规方程求解的时候,关于矩阵不可逆情况的原因和处理介绍。

2019-09-03 23:17:09

吴恩达机器学习——支持向量机SVM(9)

1. 代价函数其中:C=1λC=\frac{1}{λ}C=λ1​;cost0=−log(1−11+e−z)==−log(1−11+e−θTx)cost_0 = -log(1- \frac{1}{1+e^{-z}})== -log(1- \frac{1}{1+e^{-θ^Tx}})cost0​=−log(1−1+e−z1​)==−log(1−1+e−θTx1​); cost1=−log(111+...

2019-09-03 23:20:09

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。