雪域枫蓝-CSDN博客

原创 OpenCV计算机视觉入门案例

案例一：//显示图像#include<opencv2\opencv.hpp>#include<iostream>using namespace std;using namespace cv;int main(){ Mat image = imread("E:\\8.jpg"); //存放自己图像的位置 imshow("显示图像", image); waitKey(0

2017-11-23 05:24:10 1512

原创 Python机器学习之决策树（理论说明）

机器学习第一章：决策树、随机森林、GDBT和XGBoost 主要内容：决策树Decision Tree * 介绍 * 熵Entropy：衡量划分子树的标准 H(S) = -P1log(P1)-P2log(P2) (以2为底) * 信息增益 Information Gain * 常见算法 * 过度拟

2017-11-19 21:04:59 441

原创 Python机器学习之XGBoost从入门到实战(代码实现)

# -*- coding: utf-8 -*-__author__ = 'gerry'''' XGBoost案例之蘑菇是否有毒任务：根据蘑菇的22个特征判断蘑菇是否有毒数据介绍：总样本数：8124 -可食用：4208,51.8% -有毒：3916,48.2%

2017-11-19 21:00:13 4871 1

原创 Python机器学习之XGBoost从入门到实战(基本理论说明)

Xgboost从基础到实战XGBoost:eXtreme Gradient Boosting * 应用机器学习领域的一个强有力的工具 * Gradient Booting Machines(GBM)的优化表现，快速有效 —深盟分布式机器学习开源平台(Distributed machine learning Community，DMLC)的分支 —DML

2017-11-19 20:54:50 1129

原创 Python机器学习之决策树案例

# -*- coding: utf-8 -*-__author__ = 'gerry'# 先导入所有的classimport xgboostfrom numpy import *from sklearn import model_selectionfrom sklearn.metrics import accuracy_score# load 数据集dataset = loadtxt('

2017-11-19 20:49:59 827

原创 Python机器学习numpy依赖包特征之间的相关性

# -*- coding: utf-8 -*-__author__ = 'gerry'''' @time 10 Nov 2017 @auther gerry 特征之间的相关性期望：衡量样本某个特征列取值范围的平均值方差：衡量样本某个特征列取值范围的离散程度协方差矩阵和相关系数：衡量样本特征列之间线性相关性'''from

2017-11-16 03:33:07 1699

原创 Web前端H5之CSS样式总结

1、CSS介绍概念：层叠样式表或者级联样式表(Cascading Stylr Sheets) 层叠;CSS特性 CSS作业：设置网页结构的样式（改变html标签的样式），通过CSS给HTML标签设置属性到改变样式 CSS书写位置介绍： * 内嵌式写法:书写在HTML的head位置 <style type="text/css">

2017-11-15 22:06:18 3526

原创 Web前端H5之HTML标签总结（二）

1、基本的标签二; * meta标签的用法; <meta charset="UTF-8">:防止页面乱码 <meta name="keywords" content="女装、男装">：设置网页关键字，不是给用户用的，对搜索引擎提供帮助 <meta name="discription" content="设置网页描述信息">：设置网页描述信息，不

2017-11-14 15:02:59 347

原创 Web前端H5之HTML标签总结（一）

1、Web标准介绍 * web应用领域： PC端移动端 * 网页介绍 ** 组成：文字、图片、按钮、视频、音频。。。。这些元素组成 ** web标准：制作网页的规范结构标准（HTML）表现标准（CSS:美化网页）行为标准(JavaScript

2017-11-13 04:30:06 2453

原创 Python机器学习案例之朴素贝叶斯分类--文本、邮件分类

# -*- coding: utf-8 -*-__author__ = 'gerry''''朴素贝叶斯分类：计算出每个样本在各个类别中的概率，然后划分类别优点：在数据较少的情况下仍然有效，可以处理多类别问题缺点：对于输入数据的准备方式较为敏感适合数据类型：标称型数据贝叶斯准则：计算条件概率的方法已知P(x|c),求P(c|x)

2017-11-13 03:47:42 890 1

原创 Python机器学习ufunc函数

# -*- coding: utf-8 -*-__author__ = 'gerry'import numpy as npimport matplotlib.pyplot as pltimport mathimport datetimefrom mpl_toolkits.mplot3d import Axes3D# ufunc函数# ufunc韩式是一种能对数组的每个元素进行运算的函数,

2017-11-08 01:56:18 708

原创 Python机器学习：numpy之矩阵操作命令

Python机器学习：numpy之矩阵操作命令__author__ = 'gerry'from numpy import *import scipy.spatial.distance as dist # 导入scipy距离公式# Linalg线性代数库# 矩阵的行列式A = mat([[1, 2, 4, 5, 7], [9, 12, 11, 8, 2], [9, 1, 3, 2, 1], [9,

2017-11-06 20:42:37 659

原创 Python机器学习：numpy的应用之基本操作命令

Python机器学习：numpy的应用之基本操作命令# -*- coding: utf-8 -*-__author__ = 'gerry'import numpy as np#1.2.3矢量化编程与GPU运算#矢量化编程：# 基于矩阵的算法都是针对向量的，也称为矢量，为了简化的逻辑，需要一种新的编程方法，处理基于运算，这就是所谓的矢量化编程#矢量化编程的一个重要的特点就是可以直接将数学公式转换为

2017-11-06 20:40:59 380

原创 Hadoop，Java，MySQL，Linux，ML，DL，Spark大数据跳槽班视频下载

hadoop 大数据跳槽班（从入门到精通）-北风网 Java架构师视频教程老男孩MySQL DBA高级运维教程老男孩Linux视频教程吴恩达机器学习，人工智能，深度学习教程张飞电子设计视频教程 MATLAB从入门到精通（从初级到高级循序渐进）网店装修视频教程本页视频均为本人已经研究过的无秘高清视频，对自己做编程开发的入门到经验积累具有很大的影响，现在给大家分享出来，有意向的加QQ：14067

2017-07-13 15:51:44 454

原创 Hive的安装部署、测试、功能架构、表数据加载、导出、查询

一、Hadoop的三大发行版本　　* Apache 　　　在企业实际应用中，并不多，是最原始（最基础版本）。　　* Cloudera　impala 　　　　flume,hue, 　　　 1. Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要包括支持、咨询服务、培训。

2016-07-23 16:18:05 1104

原创 Hadoop分布式环境搭建

Hadoop 2.x部署　　*local Mode　　*Distributed Mode 　　　　*伪分布式　　　　　一台机器，运行所有的守护进程　　　　　从节点DataNode、NodeManager 　　　　*完全分布式　　　　　有多个从节点　　　　　 DataNodes 　　　　　NodeMan

2016-07-21 21:49:23 1251

原创 Hadoop的优化（Shuffle过程）

1. Shuffle过程(以wordcount为例)Shuffle过程：即洗牌或弄乱　　Collections.shuffle(List):随机打乱参数list里面的元素顺序。　　MaoReduce里的Shuffle：描述着数据从map task输出到Reduce task输入阶段过程。　　 Shuffle过程　　*step1: 　　　　i

2016-07-21 20:20:43 1576

原创 Hadoop 2.x源码包编译

编译的环境： 1、必须在Linux系统面编译 2、编译使用的JDK版本必须是1.6以上 3、编译使用的Maven版本必须是3.0以上 4、必须连接互联网，对网络要求非常高（重点）编译步骤：第一步：解压hadoop源码jar包第二步：解压JDK，配置环境变量第三步：配置Maven,并使profile文件生

2016-07-19 23:00:46 356

原创 Hadoop环境搭建（二）

一、YARN的配置启动命令　　$ sbin/yarn-daemon.sh start resourcemanager 　　 $ sbin/yarn-daemon.sh start nodemanager 二、配置MapReduce三、运行MapReduce程序案例要求：写MR程序的一定要有输入和输出的路径准备数据　　$ vi wc.input　　hadoop hdfs

2016-07-19 22:33:07 594

原创 Hadoop环境搭建(一)

一、Linux环境部署工具准备（虚拟机、操作系统、远程工具）修改IP：NAT模式设置固定IP 主机名：vi /etc/sysconfig/network 映射： vi /etc/hosts 创建普通用户　　useradd xxx 　　　passwd xxx关闭防火墙　　# vi /etc/sysconfig/selinux 　　改为disabled禁用，然后重启

2016-07-19 21:37:14 579

原创 SpringMVC框架搭建流程

案例：springmvc+spring+jdbc1. 导入jar文件 a) springmvc org.springframework.web-3.0.5.RELEASE.jar org.springframework.web.servlet-3.0.5.RELEASE.jar b) spring aopalliance.jar

2016-07-19 20:36:38 510

原创 Hadoop的产生背景

hadoop的背景数据处理步骤：　　通过运用Python网页爬虫或者Hadoop的Flume框架实时收集数据>数据存储>运用Hadoop、Hive、Spark查找关键字进行数据统计>统计之后的数据由HDFS导入到MySQL中进行存储>运用SpringMVC建立与MySQL联系，对数据进行Web前端展示（主要是HighChart软件）。对于存储：Google采用多台机器，使用分布式的概念去存

2016-07-18 19:07:15 2127

原创 Spark日志分析案例

SparkCore日志分析主程序package com.ibeifeng.bigdata.spark.app.core import org.apache.spark.{SparkContext, SparkConf}/** * Created by XuanYu on 2016/7/11. */object LogAnalyzer { def main(args: Array[St

2016-07-18 08:46:04 5764 1

原创 linux基本命令

用户和组 1、创建用户名比如useradd beifeng 2、设置用户密码，比如passwd beifeng 3、删除用户：userdel 用户名选项:-r 彻底删除用户信息 4、查看用户 id+用户名 5、退出用户：exit设置主机名 *暂时性设置# hostname hadoop-senior.ibeife

2016-07-16 15:38:17 1155