6 CloudsStyle

尚未进行身份认证

暂无相关描述

等级
TA的排名 1w+

HDFS 中 Java API 的使用

HDFS中JavaAPI的使用文件在Hadoop中表示一个Path对象,通常封装一个URI,如HDFS上有个test文件,URI表示成hdfs://master:9000/test。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中,这些API能够支持的操作包含打开文件、读写文件、删除文件等。通常MapReduce会把一个文件...

2019-03-18 22:05:40

Ubuntu 下安装 JDK 与配置环境变量

一、下载JDK先从Oracle官网下载JDK。先选择同意按钮,然后根据自己的系统下载相应版本。我的系统是Ubuntu14.0464位的,所以我下载的是jdk-8u91-linux-x64.tar.gz二、解压到合适的目录下sudotar-zxvfjdk-8u91-linux-x64.tar.gz-C/opt/#解压到/opt目录下cd/optsudomvjdk1.8...

2019-02-13 20:50:16

Spark2.x 入门:DStream 操作概述

DStream是SparkStreaming的编程模型,DStream的操作包括输入、转换和输出。SparkStreaming工作原理在Spark中,一个应用(Application)由一个任务控制节点(Driver)和若干个作业(Job)构成,一个作业由多个阶段(Stage)构成,一个阶段由多个任务(Task)组成。当执行一个应用时,任务控制节点会向集群管理器(ClusterM

2018-11-13 20:54:29

Spark2.x 入门:Spark Streaming 简介

SparkStreaming是构建在Spark上的实时计算框架,它扩展了Spark处理大规模流式数据的能力。SparkStreaming可结合批处理和交互查询,适合一些需要对历史数据和实时数据进行结合分析的应用场景。SparkStreaming设计SparkStreaming是Spark的核心组件之一,为Spark提供了可拓展、高吞吐、容错的流计算能力。如下图所示,Spark

2018-11-13 20:54:07

Spark2.x 入门:流计算简介

数据总体上可以分为静态数据和流数据。对静态数据和流数据的处理,对应着两种截然不同的计算模式:批量计算和实时计算。批量计算以“静态数据”为对象,可以在很充裕的时间内对海量数据进行批量处理,计算得到有价值的信息。Hadoop就是典型的批处理模型,由HDFS和HBase存放大量的静态数据,由MapReduce负责对海量数据执行批量计算。流数据必须采用实时计算,实时计算最重要的一个需求是能够实时得到计算结

2018-11-13 20:53:18

Keras 实现非线性回归

Keras实现非线性回归importkerasimportnumpyasnpimportmatplotlib.pyplotasplt#Sequential按顺序构成的模型fromkeras.modelsimportSequential#Dense全连接层fromkeras.layersimportDense,Activationfromker...

2018-07-04 21:23:13

Keras 实现线性回归

Keras实现线性回归importkerasimportnumpyasnpimportmatplotlib.pyplotasplt#Sequential按顺序构成的模型fromkeras.modelsimportSequential#Dense全连接层fromkeras.layersimportDense#使用numpy生成100个随机...

2018-07-04 21:00:11

MyBatis入门(六)---关联表查询一对一、一对多

一、一对一关联1.1、提出需求1.2、创建表和数据1.3、定义实体类1.4、定义接口1.5定义SQL映射文件1.6在MyBatis配置文件中注册SQL映射文件1.7编写测试类1.8MyBatis一对一关联查询总结二、一对多关联2.1、提出需求2.2、创建表和数据2.3、定义实体类2.4、修改sql映射文件classMapper.xml2.5、编写单元测...

2018-07-02 22:13:41

MyBatis入门(五)---解决字段名与实体类属性名不相同的冲突

在平时的开发中,我们表中的字段名和表对应实体类的属性名称不一定都是完全相同的,下面来演示一下这种情况下的如何解决字段名与实体类属性名不相同的冲突。一、准备演示需要使用的表和数据createdatabasemybatis;usemybatis;CREATETABLEUser(u_idINTPRIMARYKEYAUTO_INCREMENT,u...

2018-06-30 19:08:32

MyBatis入门(四)---优化MyBatis配置文件中的配置

一、连接数据库的配置单独放在一个properties文件中之前,我们是直接将数据库的连接配置信息写在了MyBatis的mybatis-config.xml文件中,如下:<?xmlversion="1.0"encoding="UTF-8"?><!DOCTYPEconfigurationPUBLIC"-//mybatis.org//

2018-06-30 11:27:20

MyBatis入门(三)---接口+注解的方式

一、使用meavn创建项目,并导入相应的包<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XM

2018-06-28 22:23:50

MyBatis入门(二)---接口+xml配置方式

一、使用meavn创建项目,并导入相应的包<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi

2018-06-28 21:58:38

MyBatis入门(一)---全XML配置方式

一、Mybatis介绍  MyBatis是一个支持普通SQL查询,存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及对结果集的检索封装。MyBatis可以使用简单的**XML或注解用于配置和原始映射,将接口和Java的POJO(PlainOldJavaObjects,普通的Java对象)映射成数据库中的记录。MyBatis配置方式有三...

2018-06-27 21:18:50

Ubuntu18.04 下安装 MySQL5.7

一、安装sudoapt-get--purgeremovemysql-servermysql-commonmysql-clientsudoapt-getinstallmysql-servermysql-commonmysql-client二、设置密码mysql5.7安装完成后普通用户不能进mysql,原因:root的plugin被修改成了auth_s...

2018-06-27 21:15:49

精准率和召回率

预测为真且实际为真/预测为真:精确率(查准)预测为真且实际为真/实际为真:召回率(查全)实际上非常简单,精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了,一种就是把正类预测为正类(TP),另一种就是把负类预测为正类(FP),也就是P=TPTP+FPP=TPTP+FPP=\frac{TP}{TP+FP}...

2018-06-26 09:10:08

Using Kafka with Spark Streaming

ForinformationonhowtoconfigureSparkStreamingtoreceivedatafromKafka,seetheSparkStreaming+KafkaIntegrationGuide.InCDH5.7andhigher,theSparkconnectortoKafkaonlyworkswith...

2018-03-03 13:23:12

Sqoop 教程

一、Sqoop简介Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如:MySQL,Oracle到Hadoop的HDFS,并从Hadoop的文件系统导出数据到关系数据库。传统的应用管理系统,也就是与关系型数据库的使用RDBMS应用程序的交互,是产生大数据的来源之一。这样大的数据,由关系数据库生成的,存储在关系数据库结构关系数据库服务器。当大数据存储

2018-01-29 23:40:45

CNN (卷积神经网络)

CNNCNN简介卷积神经网络(ConvolutionalNeuralNetworks,简称CNN)。卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层、全连接层组成,即INPUT-CONV-RELU-POOL-FC。初识卷积首先,我们去学习卷积层的模型原理,在学习卷积层的模型原理前,我们需要了解什么是卷积,以及CNN中的卷积是什么样子的。大家学习数学时都有

2018-01-29 00:18:51

梯度消失与梯度爆炸

梯度消失与梯度爆炸网络层数太多是导致梯度消失或者梯度爆炸的直接原因,使用S型激活函数(如:sigmoid函数,tanh函数)会导致梯度消失问题,初始权重设置太大会导致梯度爆炸。梯度消失指的是权重不再更新,直观上看是从最后一层到第一层权重的更新越来越慢,直至不更新。本质原因是反向传播的连乘效应,导致最后对权重的偏导接近于零。主要是因为以前用sigmoid的时候,sigmoid中心部位和

2018-01-29 00:08:20

ImageNet 中的 LRN

LRN(LocalResponseNormalization)LRN神经网络初学者,没有什么理论基础,偶然看到个ImageNet,就准备从其入手,先弄懂每层的含义,其中这个LRN层真是让人百思不得其解,搜索了下,给出的介绍比较少。为什么会比较少呢,搜索到最后我得出的结论是,这货似乎没什么多少卵用。。。ImageNet中的LRN层是按下述公式计算的:但似乎,在后来

2018-01-29 00:07:05

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!