2 Mr Gao

学生身份

我要认证

机器学习与数据挖掘爱好者,可以加QQ1094892323,共同交流与学习

等级
TA的排名 10w+

机器学习sklearn 计算recall , precison , F1

机器学习sklearn库 计算recall , precison , F1recall 和precison F1是 二分类问题,推荐系统,链路预测等问题非常重要的衡量指标今天来讲一下如何快速地计算这个三个指标下面给出代码import osimport numpy as npfrom sklearn.metrics import precision_recall_fscore_supportfrom sklearn.metrics import roc_auc_scorefrom sklea

2020-10-28 16:06:18

支持向量机SVM-对图像进行分类原理讲解和代码示例

支持向量机SVM-对图像进行分类原理讲解和代码示例对于图像分类,我们往往都想到卷积神经网络,深度学习,可是深度学习很多时候需要很大的计算开销,而且代码编写和调试也较为复杂,对于小型且特征明显数据集的图像分类,有点小试牛刀今天我们就奖一种机器学习的算法SVM对图像进行分类对于图像分类,比较少见,图像的的数据为一种三通道的二维像素点的形式,对于这种数据形式,往往我们使用卷积神经网络去建立模型,但是就算量往往太大,不能在短时间内求解,我们想到,将二维图片展平,即使用python opencv 库的flatt

2020-10-25 11:38:31

windows环境下学会使用conda 创建虚拟环境,解决python版本与库不兼容问题

windows环境下学会使用conda 创建虚拟环境,解决python版本与库不兼容问题相信经常使用python的同学,在运行程序的时候,遇到最难以解决,也最麻烦的事就是版本问题,有时候python版本高了,不能向下兼容库的版本,python版本低了,也不能向上兼容库的版本,经常因为这样的问题,不能运行程序。下面学会了anconda conda的使用将几乎解决这个问题。创建一个含有你想要的python 版本虚拟环境conda create -n Python3 python=3.5#pytho

2020-10-21 09:30:06

穷举法与分治法求解最大值与最小值的复杂度比较举例

穷举法与分治法求解最大值与最小值的复杂度比较举例对于程序员来说算法设计尤其重要,我们的直接决定了程序的质量,程序的运行的速度,程序的可执行性。一件常识的事情就是,大多数人,在第一次接触编程,往往喜欢使用穷举法去解决编程问题,很多稍微有编程天赋的甚至无师自通,但是穷举法其实在算法大家庭中只是即为普通的一员,它对于很多问题不能快速的得到结果,甚至对于一些问题,时间开销太大,得不出结果。所以对于一个爱好编程的人来说学习其他的编程思路是一件必不可少的事,这里我们就在最大值和最小值的求解上,举例穷举法和分治法的

2020-10-15 11:22:13

linux安装python3

linux安装python31.下载python3 (可以到官方先看最新版本多少)输入命令cd /usr/soft wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz配置一下开发环境yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-deve

2020-10-11 09:16:28

mapreduce程序打包成jar在集群上运行

mapreduce程序打包成jar在集群上运行1.导出2、选择导出类型为jar文件3、选择需要打包的文件,并不需要将所有的文件都打包,这样可以减小jar文件的大小。并且可以选择导出jar包的一些信息*Export generated class files and resources 表示只导出生成的.class文件和其他资源文件;*Export all output folders for checked projects 表示导出选中项目的所有文件夹;Export java sourc

2020-10-10 18:38:39

如果系统不小心装在U盘,U盘无法使用,该怎么恢复

如果系统不小心装在U盘,U盘无法使用,该怎么恢复最近我的一位同学和我在装unbantu系统,但是我这位同学比较粗心,不小心把系统装在了U盘上,导致,U盘在windows上直接读不出来了,在linux系统上能读出来,但是不能用那该怎么办吖?小伙伴很着急,后来花了两天的时间查资料才找到解决办法第一步在linux系统下,插入U盘,右击U盘,点击属性2. 然后选中文件系统分区2 点击齿轮就可以进入格式化选项3.选择所有系统与设备共用,ok...

2020-10-08 21:11:20

centos 安装 scala和 spark 并进行测试

centos 安装 scala和 spark今天我们来讲一下,centos 安装scala 和spark,这篇博客接着上面四篇博客,感兴趣的,可以看看我前面几篇博客,那是关于hadoop 下对接eclipse 运行mapreduce 程序的操作。首先下载两个安装包在我给的下面这个网盘链接下载链接:https://pan.baidu.com/s/1RwI9FK-C1RzClQxwxj95Wg提取码:jslz下载开头为spark 和sbt的两个文件下载好之后放在centos 的 /us

2020-10-07 20:20:01

centos7安装hadoop,配置eclipse和hdfs文件系统接口-运行案例测试

centos7安装hadoop,配置eclipse和hdfs文件系统接口-运行案例测试之前已经写了三篇博客,这一篇是最后的一步,也是最重要的一步,今天来讲一下eclipse 对接hadoop在看这篇博客之前请先阅读之前三篇博客这里hadoop,eclipse,jdk都已经安装好安装 Hadoop-Eclipse-Plugin首先我们需要下载 Hadoop-Eclipse-Plugin,这里可以去官网下载,下载 Github 上的 https://github.com/winghc/hadoo

2020-10-01 17:42:04

centos 7 hadoop mapreduce程序运行 -eclipse安装

centos 7 下 安装 eclipse之前博主已经写过了两篇博客,分别是配置,jdk,hadoop,和hdfs 文件系统上传文件,下面,我们就是配置eclipse 集成开发环境,进行mapreduce 程序的编写配置java jdk 这个博主之前已经写过 可以看这片博客https://blog.csdn.net/weixin_43327597/article/details/108834870下载eclipse 安装包我们将ecplise 安装包下载在/opt 文件下在终端环境

2020-09-29 21:21:50

hadoop -mapreduce wordcount 案例 - hdfs 文件的上传

hadoop -mapreduce wordcount 案例 - hdfs 文件的上传上一篇博客,写的jdk的搭建和hadoop单节点的安装 ,后面将写mapreduce 在hadoop中的应用,这里先准备一下数据,将数据上传到hdfs文件系统中首先,我们先在home文件夹下,创建一个文件夹,存储我们的数据cd /homemkdir data然后闯将一个文件,用于wordcount测试touch wordcount.txt然后在问价加下写入以下内容,将用于测试hel

2020-09-28 17:05:36

jdk配置与hadoop2.6.0单节点搭建

jdk配置与hadoop2.6.0单节点搭建首先设置域名映射/etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.160.3 lsn-linux #前两行不用改,最后一行,加一个本机ip和用户名映

2020-09-27 20:06:35

linux 常用指令

linux 常用指令linux shell 关机和重启指令shutdown -h now #现在关机shutdown -h 8:30 #八点半关机shutdown -r now #现在重启shutdown -c #取消前一个关机指令切换当前工作环境cd /home #将当前工作目录切换到/home目录cd .. #回到当前目录的上一级cd ~ #回到根目录注: cd 目录 将当前工作环境切换到指定目录复制文件或目录cp –r

2020-09-21 19:38:18

C++学习心得与c语言到c++衔接技巧

C++学习心得与学习技巧本人也学过python 、java 、c语言 从个人角度而言,觉得c++的学习难度比前面三个语言都要难。当然c++给我的感觉虽然难,但是给我的感觉是一种海纳百川的感受,他的数据类型,函数,类的定义用法,容器的定义用法,都是一种给人十分“宽容”的体验,所以,我在学这门语言的时候,也是体会良多。c++语言介绍C++ 是一种大型的编程语言,这可能会吓倒一些新手。现代 C++ 可以看成由以下三部分组成:• 低级语言,多半继承自 C。• 更高级的语言特征,用户可以借此定义自己的数据

2020-09-03 11:43:20

查准率、查全率与 F1 值

查准率、查全率与 F1 值混淆矩阵⾸先定义混淆矩阵 (Confusion matrix):其中:• TP (True Positive):表⽰将正样本预测为正例的数⽬。即真实结果为 1,预测结果也为 1。• TN (True Negative):表⽰将负样本预测为负例的数⽬。即真实结果为 0,预测结果也为 0。• FP (False Positive):表⽰将负样本预测为正例的数⽬。即真实结果为 0,预测结果为 1。• FN (False Negative):表⽰将正样本预测为负例的数⽬。即

2020-08-13 20:41:37

增强模型表示方法-dropout

增强模型表示方法-dropoutDropout 的原理为:在每个迭代过程中,随机选择某些神经元,并且删除它们在⽹络中的前向和后向连接,相当于是 “去掉” 这些神经元。如图 6.5所⽰,在每批样本训练时,将原始⽹络中部分隐藏层单元 “去掉”。当然,Dropout 并不意味着这些神经元永远的消失了,在下⼀批数据迭代前,我们会把⽹络恢复成最初的全连接⽹络,然后再⽤随机的⽅法去掉部分隐藏层的神经元,接着去迭代更新 W, b。Dropout 思想可以理解为每次训练时放弃部分神经元对剩下的神经元加重训练,使剩下的神经

2020-08-12 08:48:46

神经网络的万能近似定理

神经网络的万能近似定理万能近似定理: ⼀个前馈神经⽹络如果具有线性层和⾄少⼀层具有 “挤压” 性质的激活函数(如 sigmoid 等),给定⽹络⾜够数量的隐藏单元,它可以以任意精度来近似任何从⼀个有限维空间到另⼀个有限维空间的 borel 可测函数。我们可以通过两个 sigmoid 函数 (y = sigmoid(w⊤x + b)) ⽣成⼀个 tower,如图:我们构造多个这样的 tower 近似任意函数:...

2020-08-07 23:02:08

代价函数和损失函数

代价函数和损失函数代价函数就是用于找到最优解的目的函数,这也是代价函数的作用。损失函数(Loss Function )是定义在单个样本上的,算的是一个样本的误差。代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均。目标函数(Object Function)定义为:最终需要优化的函数。等于经验风险+结构风险(也就是Cost Function + 正则化项)。当我们有了一个数据集,针对这个数据集,我们有了一个学习目标或者说学习任务,我们需要选择出

2020-08-03 21:05:46

机器学习-偏差和方差

机器学习-偏差和方差今天我们来讲一下机器学习中的方差和偏差,这两个概念可能在学习数学的时候,能够了解到,但是再机器学习中,这两个概念和数学上的概念有着一些差距偏差估计的偏差 (Bias) 被定义为:其中期望作⽤在所有数据上,θ 是⽤于定义数据⽣成分布的真实值。偏差反映的是模型在样本上的输出与真实值之间的误差,即模型本⾝的精准度,或者说算法本身的拟合能力。这里解释一下:期望作⽤在所有数据上就是说,我们对所有的数据进行一个学习,得到一个最终的模型,得到的预测值,θ 是⽤于定义数据⽣成分布的真实值,就

2020-08-01 17:08:40

牛顿迭代法原理讲解

牛顿迭代法原理讲解牛顿迭代法是用于求解等式方程的一种方法。类似于求解F(x)=0的根,牛顿迭代法求解的是近似根,这个想法准确来说来源于泰勒展开式,我们知道,有些时候,我们需要求解的表达式可能非常复杂,通过一般的方法,我们很难求出它的解。所以采用了一种近似求解的方法,就是说,我们取泰勒展开式的前几项,队原来的求解函数做一个取代,然后,求解这个取代原方程的方程的解,作为近似解。当然只对原方程做一次近似求解不行,因为第一次近似肯定不会太准确,所以还需要不断地迭代。我们首先就要去一个值作为初始的近似值,然后

2020-07-31 22:36:09

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享达人
    分享达人
    成功上传6个资源即可获取