1 元始天尊6

尚未进行身份认证

暂无相关简介

等级
TA的排名 19w+

池化的名字由何而来?

根据前面的卷积过程,我们可以达到特征提取的作用。基本上已经判断出谁是C谁是D。底下可以再进一步做一次池化。数据库连接池记得吧?把很多数据库连接放在一个池子里,想用时挑一个来用。这里做完卷积得到这么多数据,就像池子一样,对于这池子里的数据,我们可以继续做各种各样的操作,比如最大池化或平均池化。最大池化顾名思义就是从池子中取出最大值。注意取最大值,不是整体取最大值,而是邻域取最大值。结果就如下图,第一...

2019-09-08 09:39:58

Hadoop1和Hadoop2的区别是什么?

Hadoop1和Hadoop2的区别是什么?马 克-to-win @ 马克java社区:原来的Hadoop1的Mapreduce又管资源管理,又管数据处理和计算。而Hadoop2中的MapReduce则只专处理数据 计算。而YARN做资源管理的事。这样其他计算框架比如spark和Tez可以引进了。Hadoop生态圈发展壮大了。谁能拒绝发展呢?版权保护,尊重原创,原文出处:http:/...

2019-06-24 15:18:11

什么是yarn?

什么是yarn?马克-to-win @ 马克java社区:YARN (Yet Another Resource Negotiator,另一种资源协调者)是Hadoop的一个资源管理系统,可为上层应用提供资源管理和调度。以下二图来自于hadoop官网。版权保护,尊重原创,原文出处:http://www.mark-to-win.com/index.html?content=Mydb/DBUr...

2019-06-23 16:33:07

什么是NameNode和DataNode?他们是如何协同工作的?

什么是NameNode和DataNode?他们是如何协同工作的? 马克-to-win @ 马克java社区:一个HDFS集群包含一个NameNode和若干的DataNode(start-dfs命令就启动了NameNode和DataNode), NameNode是管理者,主要负责管理hdfs文件系统,具体包括namespace命名空间管理(即目录结构)和block管理。DataNode主 要用来存储...

2019-06-23 16:30:11

什么是MapReduce?

什么是MapReduce?马 克-to-win @ 马克java社区:1)MapReduce是面向大数据并行程序设计的模型和方法,这一点很像我们前面讲的MVC,MVC解决动态网站问题而 MapReduce解决大数据问题,和 2)MapReduce也是一个并行计算软件框架。比如前面我们接触的Spring就是一个开发应用框架。它能在集群节点上自动分配和执行任务(包括我们 的业务代码和围绕着我们的核心业...

2019-06-23 16:26:01

什么是Hadoop?什么是HDFS?

什么是Hadoop?什么是HDFS?马 克-to-win @ 马克java社区:Hadoop是Apache基金会开发的一个分布式系统基础架构。比如前面我们接触的Spring就是一个开发应用框架。Hadoop 实现了一个分布式文件系统( Distributed File System),加上Hadoop,即HDFS。Hadoop最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供...

2019-06-23 16:22:49

Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子

Win7 Eclipse 搭建spark java1.8(lambda)环境:WordCount helloworld例子马克-to-win @ 马克java社区:lambda表达式是java8给我们带来的一个重量的新特性,借用lambda表达式可以让我们的程序设计更加简洁。package com;import org.apache.spark.SparkConf;import org.a...

2019-06-23 16:16:23

System memory 259522560 must be at least 4.718592

/*没有下面的话,会报一个错误,java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8(470M). Please use a larger heap size.这是memory不够,导致无法启动SparkContext*/ conf.set("...

2019-06-23 16:13:16

Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子

Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子马克-to-win @ 马克java社区:在eclipse oxygen上创建一个普通的java项目,然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工程就ok了。只要启动start-dfs,下面的程序就可以运行了。package com;impo...

2019-06-23 16:10:19

Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子

Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子:马克-to-win @ 马克java社区:在eclipse oxygen上创建一个普通的java项目,然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工程就ok了。package com;import java.util.Arrays;impo...

2019-06-23 16:06:39

Windows Eclipse Scala编写WordCount程序

Windows Eclipse Scala编写WordCount程序:1)马克-to-win @ 马克java社区:无需启动hadoop,因为我们用的是本地文件。先像原来一样,做一个普通的scala项目和Scala Object。但这里一定注意版本是2.10.6,因为缺省的不好使。改的方法是:右击项目/properties/Scala Compiler.2)像spark的java版WordC...

2019-06-23 15:52:41

Spark和Scala当中的collect方法的用法和例子

/*collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察,毕竟分布式数据集比较抽象。Spark的collect方法,是Action类型的一个算子,会从远程集群拉取数据到driver端。最后,将大量数据汇集到一个driver节点上,将数据用数组存放,占用了jvm堆内存,非常用意造成内存溢出,只用作小型数据的观察。*/ val arr = res.collec...

2019-06-23 15:49:29

Spark Scala当中reduceByKey(_+_) reduceByKey((x,y) => x+y)的用法

马克-to-win@ 马克java社区:reduceByKey(_+_)是reduceByKey((x,y) => x+y)的一个 简洁的形式*/ val rdd08 = sc.parallelize(List((1, 1), (1, 4),(1, 3), (3, 7), (3, 5))) val rdd08_1 = rdd08.reduceByKey((x, y) =...

2019-06-22 11:49:01

Spark Scala当中reduceByKey的用法

/*reduceByKey(function)reduceByKey就是对元素为KV对的RDD中Key相同的元素的Value进行function的reduce操作(如前所述),因此,Key相同的多个元素的值被reduce为一个值,然后与原RDD中的Key组成一个新的KV对。reduceByKey(_+_)是reduceByKey((x,y) => x+y)的一个 简洁的形式*/...

2019-06-22 11:45:33

Spark Scala当中reduce的用法和例子

马克-to-win @ 马克java社区:reduce将RDD中元素前两个传给输入函数,产生一个新的return值,将新产生的return值与RDD中下一个元素(即第三个元素)组成两个元素,再被传给输入函数,这样递归运作,直到最后只有一个值为止。*/ val rdd07 = sc.parallelize(1 to 10) val sum = rdd07.reduce((x, y) ...

2019-06-22 11:41:07

Scala当中parallelize并行化的用法

马克-to-win:parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。例如:val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5)) 根据系统环境来进行切分多个slice,每一个slice启动一个Task来进行处理。val rdd03 = sc.par...

2019-06-22 11:24:49

请给出一个Scala RDD的HelloWorld例子

马克-to-win @ 马克java社区:package comimport org.apache.spark.rdd.RDDimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject TestRDD { def main(args: Array[String]): Unit = { ...

2019-06-22 11:21:45

Spark的lazy特性有什么意义呢?

马克-to-win @ 马克java社区:Spark通过lazy特性有什么意义呢? Spark通过lazy特性,可以进行底层的spark应用执行的优化。在生活中,就像三思而后行。谋定而后动。版权保护,尊重原创,原文出处:http://www.mark-to-win.com/index.html?content=Mydb/DBUrl.html&chapter=Mydb/SparkScal...

2019-06-22 11:16:17

Scala当中什么是Transformation和 Action,以及它们俩的区别是什么?

马克-to-win @ 马克java社区:一个完整的RDD任务由两部分组成:Transformation和 Action。Transformation用于对RDD的创建,还可以把老的RDD通过Transformation来生成新的RDD。例如,map就 是一种transformation操作,它用于将已有RDD的每个元素传入一个自定义的函数,并得到一个新的元素,然后将所有的新元素组成一个新的 RD...

2019-06-22 11:09:28

Scala当中什么是RDD(Resilient Distributed Datasets)弹性分布式数据集

马克-to-win@马克Java社区:RDD(Resilient Distributed Datasets)弹性分布式数据集。你不好理解的话,可以把RDD就可以看成是一个简单的"动态数组"(比如ArrayList),对其操作,也只需要 调用它的方法而已,和java中的ArrayList一样。但它与一般动态数组的区别在于:RDD是分布的。弹性是指的是数据自动在内存和磁盘切换, task如果失败会进行...

2019-06-22 11:05:17

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。