u014526017的博客

原创 【Flink】二、Flink WordCount

原创 【Flink】一、Flink基础

大纲：Flink概述 Flink应用场景 Flink Layer Flink发展趋势 Flink应用程序运行方式 Flink和Spark、Storm的对比1、Flink概述1.1 Flink是什么官网：https://flink.apache.org/Apache Flink is a framework and distributed processing...

原创 【Spark】五、Spark Streaming and DStream

大纲：Spark Streaming概述 DStream Spark StreamingWordCount1、Spark Streaming概述1.1什么是Spark StreamingSpark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Stream...

原创 【Spark】四、Spark SQL and DataFrame

大纲：Spark SQL概述 DataFrame 以编程方式执行Spark SQL查询 DataFrame和MySQL的数据转换1、Spark SQL概述1.1什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。1.2为什么要学习Spark SQL...

原创 【Spark】三、Spark RDD

大纲：RDD概述 创建RDD RDD编程API WordCount中的RDD1、RDD概述1.1什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询...

原创 【Spark】二、Spark集群搭建

1、机器部署准备两台以上Linux服务器，安装好JDK1.7​​​​​​​2、下载Spark安装包 http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz3、上传、解压安装包上传spark-1.5.2-bin-hadoop2.6.t...

原创 【Spark】一、Spark基础

大纲：什么是Spark 为什么要学Spark Spark特点 编写简单的Spark应用-WordCount1、什么是Spark官网：http://spark.apache.orgSpark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。...

原创 【Storm】四、Storm程序并发机制、任务提交过程、消息容错机制

大纲：Storm程序的并发机制 Storm任务提交的过程 Storm消息容错机制1、Storm程序的并发机制1.1、概念Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上), 所以worker process就是执行一个topology的子集, 并且worker只...

原创 【Storm】三、Storm WordCount及分组策略

大纲： WordCount（词频统计） Stream Grouping详解1、WordCount1.1、功能说明设计一个topology，来实现对文档里面的单词出现的频率进行统计。整个topology分为三个部分：RandomSentenceSpout：数据源，在已知的英文句子中，随机发送一条句子出去。 SplitSentenceBolt：负责将单行文本记录（...

原创 【Storm】二、Storm集群部署

大纲：集群部署的基本流程 集群部署的基础环境准备 Storm集群部署 Storm集群的常用操作命令 Storm集群的进程及日志查看1、集群部署的基本流程集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群。注意：所有的集群上都需要配置hostsvi /etc/hosts192.168.239.128storm01zk01ha...

原创 【Storm】一、Storm是什么？

大纲：离线计算是什么？ 流式计算是什么？ 流式计算与离线计算的区别？ Storm是什么？ Storm与Hadoop的区别？ Storm的应用场景及行业案例 Storm的核心组件 Storm的编程模型 流式计算的一般架构图1、离线计算是什么？离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、Map...