1 九点前吃饭

尚未进行身份认证

只要你不放弃,随时都可以是新的起点!

等级
TA的排名 3k+

程序员的节日

节日快乐,我们继续努力!!!

2019-10-24 10:42:27

数据分析(8)--matplotlib 数据可视化

数据可视化基本概念数据可视化是指借助于图形化的手段,清晰、快捷有效的传达与沟通信息。同时,也可以辅助用户做出相应的判断,更好的去洞悉数据背后的价值。字不如表,表不如图。观察号码的频率,每个号码出现了多少次?文字081015203031330601091017212832130205081319212810030507141823...

2019-07-01 01:20:32

数据分析(7)-如何使用Python与Hadoop生态系统进行交互(译)

我们都知道hadoop主要使用java实现的,那么如何使用python与hadoop生态圈进行交互呢,我看到一篇很好的文章,结合google翻译和自己的认识分享给大家。您将学习如何从HadoopDistributedFilesystem直接加载文件内存等信息。将文件从本地移动到HDFS或设置Spark。frompathlibimportPathimportpandasaspd...

2019-06-30 23:34:14

数据分析(6)--Pandas+MultiIndex多层索引与分组

MultiIndexMultiIndex,即具有多个层次的索引,有些类似于根据索引进行分组的形式。通过多层次索引,我们就可以使用高层次的索引,来操作整个索引组的数据。创建方式第一种我们在创建Series或DataFrame时,可以通过给index(columns)参数传递多维数组,进而构建多维索引。【数组中每个维度对应位置的元素,组成每个索引值】多维索引的也可以设置名称(names属性)...

2019-06-30 21:19:09

数据分析(5)--Pandas数据处理(csv,sql等)

数据处理数据加载首先,我们需要将收集的数据加载到内存中,才能进行进一步的操作。pandas提供了非常多的读取数据的函数,分别应用在各种数据源环境中,我们常用的函数为:read_csvread_tableread_sql说明:read_csv与read_table默认使用的分隔符不同。常用参数read_csv与read_table常用的参数:sep/delimite...

2019-06-30 21:02:22

数据分析(4)--Pandas+DataFrame

DataFrame类型DataFrame是一个多维数据类型。因为通常使用二维数据,因此,我们可以将DataFrame理解成类似excel的表格型数据,由多列组成,每个列的类型可以不同。因为DataFrame是多维数据类型,因此,DataFrame既有行索引,也有列索引。创建方式我们可以使用如下的方式创建(初始化)DataFrame类型的对象(常用):二维数组结构(列表,ndarray数...

2019-06-30 20:43:02

数据分析(3)--Pandsa+Series类型用法总结

PandasPandas库基于Numpy库,提供了很多用于数据操作与分析的功能。安装与使用安装:pipinstallpandas根据惯例,我们使用如下的方式引入pandas:importpandasaspd两个常用数据类型pandas提供两个常用的数据类型:SeriesDataFrameSeries类型Series类型类似于Numpy的一维数组对象,可以将该类...

2019-06-30 20:28:41

数据分析(2)--numpy的函数用法

numpy中用很多常见的函数,如果使用的好,对我们的工作帮助是很大的,本篇我会拿其中一部分来做介绍

2019-06-30 19:59:42

数据分析(1)--numpy和list的用法对比

numpy在深度学习或者数据分析中都是很常用的一个工具库,今天我结合自己的工作内容以及学习到的一个API的用法,来说下numpy的用法NumpyNumPy(NumericalPython的简称),是科学计算基础的一个库,提供了大量关于科学计算的相关功能,例如,线性变换,数据统计,随机数生成等。其提供的最核心的类型为多维数组类型(ndarray)。使用方式可以使用如下的方式来安装numpy...

2019-06-30 18:50:39

决策树--随机森林(bagging)

前面讲了多种常见的决策树算法,但在实际工作中,基本不会使用单棵决策树进行训练,因为一颗树很容易过拟合,而且数据量大的时候,单棵树的体积会很大,执行效率也会很慢,因此不推荐使用单棵决策树用于实际工作。通常我们会把决策树作为分类或者回归的基分类器,然后整合多个决策树的决策结果作为最终的output,举个不恰当的例子,在找工作的时候,可能会犹豫去哪个公司,可能A公司给的工资比较高...

2019-06-24 00:02:55

机器学习-GBDT

GBDTgbdt是一种以CART树(通常)为基分类器的boosting算法,大家可以仔细查一下boosting的介绍,这里不再赘述。gbdt通过多轮迭代,每轮迭代产生一个弱分类器,每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单,并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不断提高最终分类器的精度,(此处是可以证明的)。...

2019-06-24 00:01:32

机器学习--XGBoost

XGBOOST1,加入了更多的剪枝策略和正则项,控制过拟合风险。2,传统的GBDT用的是CART,Xgboost能支持的分类器更多,也可以是线性的。3,GBDT只用了一阶导,但是xgboost对损失函数做了二阶的泰勒展开,并且还可以自定义损失函数。importxgboostasxgbimportnumpyasnpimporttime#re...

2019-06-24 00:00:57

机器学习--lightgbm

lightgbm是微软推出的一款boosting框架,相对于传统的xgboost有以下优点更快的训练效率 低内存使用 更好的准确率 支持并行学习 可处理大规模数据它摒弃了现在大部分GBDT使用的按层生长(level-wise)的决策树生长策略,使用带有深度限制的按叶子生长(leaf-wise)的策略。level-wise过一次数据可以同时分裂同一层的叶子,容易进行多线...

2019-06-24 00:00:22

决策树--CART

CART(ClassificationAndRegressionTree)也叫决策回归树1,既可以用于处理分类任务也可以用来处理回归问题,2,CART一定是二叉树3,分类任务时GINI值作为分类的依据,在处理回归问题时以最小方差作为节点分类的依据4,通常用作GBDT和一些集成学习框架的基分类器CART生成CART假设决策树是二叉树,内部结点特征的取值为“是”和“否”...

2019-06-23 21:27:47

决策树---C4.5

C4.5与之前说的ID3以及后续要介绍的CART相比最基本的区别就是分裂属性的选择依据不同,ID3主要根据信息增益来划分决策树,但ID3本身存在一个问题,那就是划分偏向与属性内部很纯的属性,如个人的ID信息,条件熵为0,则信息增益最大,但这样划分没有任何意义,一定会发生过拟合,所以一定要注意在训练过程中,选择合适的特征建模和训练。C4.5和ID3相...

2019-06-23 20:58:10

决策树--ID3算法

ID3算法也叫决策树归纳算法,不是很使用,但是是决策树算法的开山之作,这里简单说下熵在信息论中,熵(entropy)是随机变量不确定性的度量,也就是熵越大,则随机变量的不确定性越大。设X是一个取有限个值得离散随机变量,其概率分布为:则随机变量X的熵定义为:条件熵设有随机变量(X,Y),其联合概率分布为:条件熵H(Y|X)表示在已知随机变量X的条件下,随...

2019-06-23 20:46:34

caffe-LMDB 数据源制作

脚本如下,注意修改路径#!/usr/bin/envsh#Createtheface_48lmdbinputs#N.B.setthepathtotheface_48train+valdatadirsEXAMPLE=/home/badoo/PycharmProjects/test/dataset#修改为工作目录DATA=/home/badoo/P...

2019-06-20 16:40:22

GPU 抽帧

#include<iostream>#include"opencv2/opencv_modules.hpp"#ifdefined(HAVE_OPENCV_CUDACODEC)#include<fstream>#include<string>#include<vector>#include<stdio.h>#...

2019-06-16 23:59:12

Video_Codec_SDK 编译

sudoapt-getinstalllibglew-dbglibglew-devlibglew1.10libglewmx-dbglibglewmx-devlibglewmx1.13glew-utils

2019-06-16 19:07:49

Ffmpeg 硬解码编译方法

1、下载nv-codec-headersgitclonehttps://git.videolan.org/git/ffmpeg/nv-codec-headers.git2、编译nv-codeccdnv-codec-headersmakesudomakeinstall3、下载Ffmpeggitclonehttps://git.ffmpeg.org/ff...

2019-06-15 21:28:48

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。