8 四叶草Grass

尚未进行身份认证

我要认证

如果英俊是一种罪,我岂不罪恶滔天? 如果帅气是一种错,我岂不一错再错? 如果潇洒是一种病,我岂不病入膏肓?

等级
TA的排名 8w+

Spark分布式编程之全局变量专题【共享变量】

 转载自:http://www.aboutyun.com/thread-19652-1-1.html问题导读1.spark共享变量的作用是什么?2.什么情况下使用共享变量?3.如何在程序中使用共享变量?4.广播变量源码包含哪些内容?spark编程中,我们经常会遇到使用全局变量,来累加或则使用全局变量。然而对于分布式编程这个却与传统编程有着很大的区别。不可能在程序中声明一个全局变量,在分布式编程中就...

2018-04-05 19:03:37

超详细单机版搭建hadoop环境图文解析

参考自:http://www.cnblogs.com/end/archive/2012/08/13/2636645.htmlHadoop2.7.2之集群搭建(单机)一、安装Linux操作系统 VMware+Ubuntu安装详细过程  :   http://blog.csdn.net/chongxin1/article/details/68951393ubuntu-1

2017-07-26 09:32:26

RedHat6.5上安装Hadoop单机

版本号:RedHat6.5   JDK1.8   Hadoop2.7.3 hadoop  说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。基础环境准备: RedHat6.5安装:RHEL 6.5系统安装配置图解教程(

2017-07-26 09:30:34

RedHat6.5安装单机flume1.6

版本号:RedHat6.5   JDK1.8   apache-flume-1.6.01.apache-flume-1.6.0-bin.tar.gz 下载官网下载地址:http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz百度云盘下载地址:链接:http://pan.baidu

2017-07-26 09:24:47

Flume和Kafka整合安装

版本号:RedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.11.flume安装RedHat6.5安装单机flume1.6:http://blog.leanote.com/post/2630794313@qq.com/26781d33b4352.kafka安装RedHat6.5安装kafka集群 : 

2017-07-26 09:23:58

Flume连接oracle实时推送数据到kafka

版本号:RedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.1flume安装RedHat6.5安装单机flume1.6:RedHat6.5安装单机flume1.6kafka安装RedHat6.5安装kafka集群 : RedHat6.5安装kafka集群1、下载flume-ng-sql-sou

2017-07-26 09:23:01

RedHat如何关闭防火墙

1、查看防火墙是否已开启#可以查看到iptables服务的当前状态。service iptables status​上图表示防火墙已关闭。2、关闭防火墙关闭防火墙的方法为: 1)永久性生效 开启:chkconfig iptables on 关闭:chkconfig iptables off 2) 即时

2017-07-25 15:16:39

Linux下批处理文件编写

linux下的批处理文件,基本就是shell脚本文件。一、最简单的脚本书写方法为:1、新建一个文件,名字为test(自己定义的名字)touch test.sh2、在里面编写脚本程序必须以下面的行开始(必须方在文件的第一行):  #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行

2017-07-25 15:15:30

RedHat6.5系统LVM增加新硬盘实现根文件系统扩容

一、新增物理空间二、linux中创建新分区1、首先查看硬盘信息,用fdisk -l命令,如果有硬盘有剩余空间就可以对其进行分区。[root@master 桌面]# fdisk -l Disk /dev/sda: 64.4 GB, 64424509440 bytes255 heads, 63 sectors/track, 7832 cylindersUnits = c

2017-07-25 15:14:03

RedHat6.5如何被windows系统远程桌面连接

一、redhat 6.5远程桌面配置服务器端:1、设置允许其它人查看您的远程桌面在“系统”-“首选项”-“远程桌面”-在“允许其它人查看您的远程桌面”前打勾;在“允许其它用户控制您的桌面”打勾如图:2、修改配置/etc/gdm/custom.conf在/etc/gdm/custom.conf配置文件中的[xdmcp]下,添

2017-07-25 15:11:59

RedHat无法ping通Win10的解决办法

1.环境            主机: win10 企业版 64位              ip地址: 192.168.168.100             虚拟机:Red Hat                 ip地址: 192.168.168.2002.现象:       win10系统可以ping通RedHat,但是RedHat ping

2017-07-25 15:10:52

VMware Ubuntu配置虚拟机和主机互相ping通

安装VMware后,主机会有两个虚拟网卡: vmnet1和vmnet8是两个虚拟网卡,主要作用是让虚拟机可以通过你的宿主机的网线上网。注意:如果有“!”,说明不能用。vmnet1是为host-only(仅主机)方式服务的,vmnet8是为NAT方式服务的。 一个是设置私有网络(Host Only)时,用来和主机通信的,禁用以后就无法正常使用Host-Only模式了,另一个是设置网络

2017-07-25 15:08:02

VMware Ubuntu如何连接互联网

Brigde——桥接 :默认使用VMnet0 1、原理: Bridge 桥”就是一个主机,这个机器拥有两块网卡,分别处于两个局域网中,同时在”桥”上,运行着程序,让局域网A中的所有数据包原封不动的流入B,反之亦然。这样,局域网A和B就无缝的在链路层连接起来了,在桥接时,VMWare网卡和物理网卡应该处于同一IP网段 当然要保证两个局域网没有冲突的IP. VMWare 的桥也是同样的道理

2017-07-25 15:07:16

使用shell脚本批处理控制大数据环境服务启动停止

三台集群机器:master   192.168.168.200slave1     192.168.168.201slave2     192.168.168.2021、start-master.sh#!bin/sh echo "==============================================="echo "=============

2017-07-25 15:06:04

集群RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤

1、RHEL 6.5系统安装配置图解教程(rhel-server-6.5)2、在Linux下安装JDK图文解析3、RedHat6.5上安装Hadoop集群4、RedHat6.5安装Spark集群5、RedHat6.5安装zookeeper集群6、RedHat6.5安装kafka集群7、RedHat6.5安装单机flume1.6

2017-07-18 11:41:29

RedHat6.5上安装Hadoop集群

版本号:RedHat6.5   JDK1.8   Hadoop2.7.3 hadoop  说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。基础环境准备: RedHat6.5安装:RHEL 6.5系统安装配置图解教

2017-07-05 21:01:07

RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

RHEL 6.5系统安装配置图解教程(rhel-server-6.5)作者:佚名 字体:[增加 减小] 来源:互联网 时间:01-05 13:35:50 我要评论截止目前RHEL 6.x最新版本为RHEL 6.5,下面介绍RHEL 6.5的具体安装配置过程,需要的朋友可以参考下说明:截止目前RHEL 6.x最新版本为RHEL 6.

2017-05-26 22:09:21

在Linux下安装JDK图文解析

参考自http://weixiaolu.iteye.com/blog/1401786下载地址:http://pan.baidu.com/s/1dEJjT41 1、复制jdk到安装目录(1)假设jdk安装文件在桌面,我们指定的安装目录是:/usr/local/java 。可是系统安装后在/usr/local下并没有java目录,这需要我们去创建一个java文件夹 cd /usr/local su

2017-04-03 11:19:43
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!