8 夜下探戈

尚未进行身份认证

Pursue your object, be it what it will, steadily and indefatigably.

等级
TA的排名 2w+

spark2.4.2编译(mac系统下)

编译前所注意事项:首先,尽可能阅读官网编译文档BuildingApacheSpark源码下载推荐gitclone或者wget。编译前确保网络良好。下载所需要的软件(注意版本)·Spark-2.4.2.tgz·Hadoop-2.7.6·Scala-2.11.12·jdk1.8.0_191·apache-maven-3.6.x·git注意:其中spark...

2019-05-02 00:14:38

spark on yarn 运行报错 prelaunch.err.

错误代码如下:[2019-03-2817:50:04.728]Containerexitedwithanon-zeroexitcode1.Errorfile:prelaunch.err.Last4096bytesofprelaunch.err:/hadoop/yarn/local/usercache/defu.du/appcache/application_1...

2019-03-28 17:55:21

Spark架构及原理

ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势:Spark提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数

2018-04-25 15:46:10

RDD使用

RDD操作RDD的创建方式RDD的两种操作算子RDD操作RDD的创建方式从Hadoop文件系统(或与Hadoop兼容的其他持久化存储系统,如Hive、Cassandra、HBase)输入(例如HDFS)创建。从父RDD转换得到新RDD。通过parallelize或makeRDD将单机数据创建为分布式RDD。4.基于DB(Mysql)、NoSQL...

2018-04-25 15:44:16

RDD原理

RDD概念RDD的内部属性一组分片(Partition),即数据集的基本组成单位计算每个分片的函数RDD之间的依赖关系一个Partitioner,即RDD的分片函数分区列表,存储存取每个Partition的优先位置(preferredlocation)可选属性可选属性RDD的特点RDD的优点RDD的存储与分区RDD的容错机制Spark计算工作流RDD编程模型...

2018-04-25 15:43:53

Spark架构及原理

开发角度原则一:避免创建重复的RDD原则二:尽可能用同一个RDD原则三:对多次使用的RDD进行持久化如何选择一种最合适的持久化策略MEMORY_ONLYMEMORY_ONLY_SERMEMORY_AND_DISK_SER不考虑:DISK_ONLY和_2后缀原则四:尽量避免使用shuffle类算子能不用就不用能不能用非shuffle类的算子去替代非shuffle类的j...

2018-04-25 15:43:23

Scala实现乘法表

objectHelloWorld{defmain(args:Array[String]):Unit={for(i<-1to9){for(j<-1toi){print(j+"*"+i+"="+i*j+"\t")}println()}}}

2018-04-16 11:41:42

HBase创建表已经存在,删除表又不存在的问题

清除Zookeeper内存数据库中的相关数据[root@node1]#zkCli.sh[zk:localhost:2181(CONNECTED)0]ls/[zookeeper,hadoop-ha,hbase][zk:localhost:2181(CONNECTED)1]ls/hbase[replication,meta-region-server,rs...

2018-03-31 11:23:01

Hadoop HA 集群搭建

hadoopHA原理概述为什么会有hadoopHA机制呢?HA:HighAvailable,高可用在Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF:ASinglePointofFailure)。对于只有一个NameNode的集群,如果NameNode机器出现故障(比如宕机或是软件、硬件升级),那么整个集群将无法使用...

2018-03-24 19:03:19

wordcount 求互为好友对

packagecom.Practice.SameFriend2;importcom.Practice.SameFriend.SameFriend;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;imp...

2018-03-18 18:23:10

wordcount 数据去重

packagecom.Practice.RemoveDupData;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.LongWritable;im...

2018-03-18 17:18:38

wordcount 求学生平均成绩

packagecom.Practice.AverageScores;importcom.Practice.SameFriend.SameFriend;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;i...

2018-03-18 16:54:47

wordcount 学生成绩普通版

packagecom.Practice.StudentScores;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;imp...

2018-03-18 16:38:33

hadoop wordcount求共同好友代码实现

packagecom.Practice.SameFriend;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.LongWritable;impor...

2018-03-16 22:18:00

IDEA windows本地运行wordcount程序

第一步创建maven项目第二步创建WordCountDemo类packagecom.wordcountModel;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.ap...

2018-03-16 19:58:02

Error: recoverUnfinalizedSegments failed for required journal

一、问题描述HA按照规划配置好,启动后,NameNode不能正常启动。刚启动的时候jps看到了NameNode,但是隔了一两分钟,再看NameNode就不见了。但是测试之后,发现下面2种情况:1)先启动JournalNode,再启动Hdfs,NameNode可以启动并可以正常运行2)使用start-dfs.sh启动,众多服务都启动了,隔两分钟NameNode会退出,再次hado

2017-11-06 23:22:18

deepin下搭建基于github和hexo的个人博客

系统:LinuxDeepin15.4x64搭建步骤:1、安装git$sudoapt-getinstallgit查看git版本$gitversion2、安装Node.js及npma.可以直接命令安装,但是命令安装的不是最新版本。$sudoapt-getinstallnodejs$sudoapt-getinstallnpmb.本博客采用第二种方法,首先官网

2017-09-28 15:31:09

JavaEE软件开发体系架构

两层架构传统的客户服务器系统仅只简单地基于两层体系来构建,即客户端(前台)和企业信息系统(后台),没有任何中间件,业务逻辑层与表示层或数据层混在一起。这种两层架构无论从开发、部署、扩展、维护来说,综其只有一个特点——成本高。三层架构三层架构自上而下将系统分为表示层、逻辑层、持久层。表示层由处理用户交互的客户端组件及其容器所组成;业务逻辑层由解决业务问题的组件组成;数据层由一个或多个数据库

2017-08-18 10:17:20

Java实现乘法口诀

for(inti=1;i<10;i++){for(intj=1;j<=i;j++){System.out.print(j+"x"+i+"="+j*i+"\t");}System.out.println();}

2017-07-20 14:26:44

mysql data文件夹下的ibdata1 文件作用

ibdata1是储存的格式,INNODB类型数据状态下,ibdata用来储存文件的数据,而库名的文件夹里面的那些表文件只是结构而已。由于mysql4.1默认试innodb,所以这个文件默认就存在了http://man.chinaunix.net/database/mysql/inonodb_zh/2.htm这个链接试innodb的中文参考,innodb的东西可以在my.ini中设置

2017-03-14 14:24:21

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。