四叶草Grass-CSDN博客

转载 Spark分布式编程之全局变量专题【共享变量】

转载自：http://www.aboutyun.com/thread-19652-1-1.html问题导读1.spark共享变量的作用是什么？2.什么情况下使用共享变量？3.如何在程序中使用共享变量？4.广播变量源码包含哪些内容？spark编程中，我们经常会遇到使用全局变量，来累加或则使用全局变量。然而对于分布式编程这个却与传统编程有着很大的区别。不可能在程序中声明一个全局变量，在分布式编程中就...

2018-04-05 19:03:37 13157 1

原创超详细单机版搭建hadoop环境图文解析

参考自：http://www.cnblogs.com/end/archive/2012/08/13/2636645.htmlHadoop2.7.2之集群搭建（单机）一、安装Linux操作系统 VMware+Ubuntu安装详细过程 : http://blog.csdn.net/chongxin1/article/details/68951393ubuntu-1

2017-07-26 09:32:26 9336

原创 RedHat6.5上安装Hadoop单机

版本号：RedHat6.5 JDK1.8 Hadoop2.7.3 hadoop 说明：从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。基础环境准备： RedHat6.5安装：RHEL 6.5系统安装配置图解教程(

2017-07-26 09:30:34 2321

原创 RedHat6.5安装单机flume1.6

版本号：RedHat6.5 JDK1.8 apache-flume-1.6.01.apache-flume-1.6.0-bin.tar.gz 下载官网下载地址：http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz百度云盘下载地址：链接：http://pan.baidu

2017-07-26 09:24:47 489

原创 Flume和Kafka整合安装

版本号：RedHat6.5 JDK1.8 flume-1.6.0 kafka_2.11-0.8.2.11.flume安装RedHat6.5安装单机flume1.6：http://blog.leanote.com/post/[email protected]/26781d33b4352.kafka安装RedHat6.5安装kafka集群：

2017-07-26 09:23:58 2931

原创 Flume连接oracle实时推送数据到kafka

版本号：RedHat6.5 JDK1.8 flume-1.6.0 kafka_2.11-0.8.2.1flume安装RedHat6.5安装单机flume1.6：RedHat6.5安装单机flume1.6kafka安装RedHat6.5安装kafka集群： RedHat6.5安装kafka集群1、下载flume-ng-sql-sou

2017-07-26 09:23:01 8544 2

原创 RedHat如何关闭防火墙

1、查看防火墙是否已开启#可以查看到iptables服务的当前状态。service iptables status上图表示防火墙已关闭。2、关闭防火墙关闭防火墙的方法为： 1）永久性生效开启：chkconfig iptables on 关闭：chkconfig iptables off 2）即时

2017-07-25 15:16:39 24113

原创 Linux下批处理文件编写

linux下的批处理文件，基本就是shell脚本文件。一、最简单的脚本书写方法为：1、新建一个文件，名字为test(自己定义的名字)touch test.sh2、在里面编写脚本程序必须以下面的行开始（必须方在文件的第一行）： #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行

2017-07-25 15:15:30 35203

原创 RedHat6.5系统LVM增加新硬盘实现根文件系统扩容

一、新增物理空间二、linux中创建新分区1、首先查看硬盘信息，用fdisk -l命令，如果有硬盘有剩余空间就可以对其进行分区。[root@master 桌面]# fdisk -l Disk /dev/sda: 64.4 GB, 64424509440 bytes255 heads, 63 sectors/track, 7832 cylindersUnits = c

2017-07-25 15:14:03 6248 2

原创 RedHat6.5如何被windows系统远程桌面连接

一、redhat 6.5远程桌面配置服务器端：1、设置允许其它人查看您的远程桌面在“系统”-“首选项”-“远程桌面”-在“允许其它人查看您的远程桌面”前打勾；在“允许其它用户控制您的桌面”打勾如图：2、修改配置/etc/gdm/custom.conf在/etc/gdm/custom.conf配置文件中的[xdmcp]下，添

2017-07-25 15:11:59 13771

原创 RedHat无法ping通Win10的解决办法

1.环境主机: win10 企业版 64位 ip地址: 192.168.168.100 虚拟机：Red Hat ip地址: 192.168.168.2002.现象: win10系统可以ping通RedHat，但是RedHat ping

2017-07-25 15:10:52 3148

原创 VMware Ubuntu配置虚拟机和主机互相ping通

安装VMware后，主机会有两个虚拟网卡： vmnet1和vmnet8是两个虚拟网卡，主要作用是让虚拟机可以通过你的宿主机的网线上网。注意：如果有“！”，说明不能用。vmnet1是为host-only（仅主机）方式服务的，vmnet8是为NAT方式服务的。一个是设置私有网络（Host Only）时，用来和主机通信的，禁用以后就无法正常使用Host-Only模式了，另一个是设置网络

2017-07-25 15:08:02 8404

原创 VMware Ubuntu如何连接互联网

Brigde——桥接：默认使用VMnet0 1、原理： Bridge 桥”就是一个主机，这个机器拥有两块网卡，分别处于两个局域网中，同时在”桥”上，运行着程序，让局域网A中的所有数据包原封不动的流入B，反之亦然。这样，局域网A和B就无缝的在链路层连接起来了，在桥接时，VMWare网卡和物理网卡应该处于同一IP网段当然要保证两个局域网没有冲突的IP. VMWare 的桥也是同样的道理

2017-07-25 15:07:16 1226

原创使用shell脚本批处理控制大数据环境服务启动停止

三台集群机器：master 192.168.168.200slave1 192.168.168.201slave2 192.168.168.2021、start-master.sh#!bin/sh echo "==============================================="echo "=============

2017-07-25 15:06:04 830

原创集群RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤

1、RHEL 6.5系统安装配置图解教程(rhel-server-6.5)2、在Linux下安装JDK图文解析3、RedHat6.5上安装Hadoop集群4、RedHat6.5安装Spark集群5、RedHat6.5安装zookeeper集群6、RedHat6.5安装kafka集群7、RedHat6.5安装单机flume1.6

2017-07-18 11:41:29 653 2

原创 RedHat6.5上安装Hadoop集群

2017-07-05 21:01:07 2459 1

原创 RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

RHEL 6.5系统安装配置图解教程(rhel-server-6.5)作者：佚名字体：[增加减小] 来源：互联网时间：01-05 13:35:50 我要评论截止目前RHEL 6.x最新版本为RHEL 6.5，下面介绍RHEL 6.5的具体安装配置过程,需要的朋友可以参考下说明：截止目前RHEL 6.x最新版本为RHEL 6.

2017-05-26 22:09:21 24282 3

原创在Linux下安装JDK图文解析

参考自http://weixiaolu.iteye.com/blog/1401786下载地址：http://pan.baidu.com/s/1dEJjT41 1、复制jdk到安装目录（1）假设jdk安装文件在桌面，我们指定的安装目录是：/usr/local/java 。可是系统安装后在/usr/local下并没有java目录，这需要我们去创建一个java文件夹 cd /usr/local su

2017-04-03 11:19:43 2174

文件转换为PDF&HTML;插件—jacob-1.17-M2（支持64位和32位）

使用前操作 1、把dll文件放在%JAVA_HOME%\bin下（注意系统是32位还是64位），也可以放在C:\Windows\System32下，如果是64位应该放在C:\Windows\SysWOW64 下。建议放在jdk的bin目录下 2、如果是在eclipse下开发，需要重新引入jdk（Preference/Java/Installed JREs） 3、开发时将jacab.jar包放在项目lib下并add到liabraries中即可。 1）于word、ppt等上传文件转换为PDF格式文件的环境搭建，步骤如下： ① 首先电脑要先安装office软件（不可以是WPS软件） ② 需要把jacob.dll文件复制到JDK的bin目录下面，否则无法调用转换为PDF的功能。 2）使用的服务器上必须安装有office软件,因为原理是调用office的pdf转换器来实现的。 3）必须也要有PDF软件，因为office要通过调用本地的pdf软件来实现格式的转换。

2018-02-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

四叶草的博客