4 zhaogw_

我要认证

暂无相关简介

等级
TA的排名 2w+

一起走入Service Mesh的世界

一起走入Service Mesh的世界Service Mesh作为下一代微服务技术的代名词,初出茅庐却深得人心,一鸣惊人,大有一统微服务时代的趋势。那么到底什么是Service Mesh?通俗的理解:Service Mesh是微服务时代的TCP协议。有了这样一个感性的初步认知,我们再来看到底什么是Service Mesh。提到Service Mesh,就不得不提微服务。根据维基百科的定义:微服务 (Microservices) 是一种软件架构风格,它是以专注于单一责任与功能的.

2020-07-31 18:22:13

centos docker安装

建议在linux环境下安装Docker,window环境搭建比较复杂且容易出错,使用·来安装Docker环境很方便(这里不推荐使用centos6.x版本)。Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker,只需要运行下面的 yum 命令:yum install docker安装完成后,使用下面的命令来启动 docker 服务,并将其设置为开机启动:systemctl start docker.servicesystemctl enable d

2020-07-17 08:39:55

Linux上安装flink

linux上安装flink很简单:首先先去http://mirrors.hust.edu.cn/apache/中找到想要的flink的版本1.下载wget http://mirrors.hust.edu.cn/apache/flink/flink-1.9.3/flink-1.9.3-bin-scala_2.11.tgz2.解压tar xvf flink-1.9.3-bin-scala_2.11.tgz ./flink-1.9.3 3.配置环境变量vi ~/.bash_profileexpor

2020-07-17 08:35:05

Flume+Kafka+SparkStreaming整合

SparkStream整合Flume&Kafka打造通用的流处理平台整个流程如图所示:使用下面这段简单的代码模拟日志产生:import org.apache.log4j.Logger;/** * Created by Zhaogw&Lss on 2019/11/27. */public class LoggerGenerator { private sta...

2019-11-27 13:50:05

Kafka整合SparkStream两种方式

Kafka整合SparkStream两种方式官网http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html方式1:基于receiver based的实现1.1 kafka zookeeper环境测试1.1.1.先启动kafka,需要先启动zkcd $ZK_HOME/bin./zkServer.sh s...

2019-11-26 17:42:28

SparkStreaming整合Flume的两种方式

Flume整合SparkStream两种方式官网http://spark.apache.org/docs/latest/streaming-flume-integration.htmlApache Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。在这里,我们说明如何配置Flume和Spark Streaming以从Flume接收数据。有两种方法。方法一:基于...

2019-11-26 11:18:01

SparkStream整合SparkSql统计wordCount

package com.zgw.spark.streamingimport org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport org.apache.sp...

2019-11-22 17:00:53

SparkStream实战之黑名单过滤

package com.zgw.sparkimport org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.streaming.{Seconds, StreamingContext}import or...

2019-11-22 16:35:19

在IDEA工具中设置Spark程序设置日志打印级别

引入logger4j和slf4j的依赖 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency&gt...

2019-11-22 15:30:42

sparkStream之Window Operations

Window Operations可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态。基于窗口的操作会在一个比 StreamingContext 的批次间隔更长的时间范围内,通过整合多个批次的结果,计算出整个窗口的结果。注意:所有基于窗口的操作都需要两个参数,分别为窗口时长以及滑动步长,两者都必须是 StreamContext 的批次间隔的整数倍。窗口时长控制每次计...

2019-11-22 13:15:51

SparkStream写入数据到mysql

SparkStream写入数据到mysql在https://blog.csdn.net/qq_35885488/article/details/103185724基础上进行修改建表语句create table wordcount(word varchar(50) default nullwordcount int (10) default null);使用foreachRDD...

2019-11-22 11:27:48

Spark无状态和有状态转化操作介绍

1. 无状态转化操作无状态转化操作就是把简单的RDD转化操作应用到每个批次上,也就是转化DStream中的每一个RDD。部分无状态转化操作列在了下表中。注意,针对键值对的DStream转化操作(比如 reduceByKey())要添加import StreamingContext._才能在Scala中使用。需要记住的是,尽管这些函数看起来像作用在整个流上一样,但事实上每个DStream在内部...

2019-11-21 16:49:51

com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class解决

在调试Spark程序时 报错信息如下:19/11/21 11:27:13 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@1c65121{/metrics/json,null,AVAILABLE,@Spark}Exception in thread "main" java.lang.NoSuchMethodE...

2019-11-21 11:36:35

修改Spark-shell日志打印级别并使用Spark-shell和Spark-submit提交Sparkstream程序

1. 修改Spark-shell日志打印级别如果觉得 shell 中输出的日志信息过多而使人分心,可以调整日志的级别来控制输出的信息量。你需要在 conf 目录下创建一个名为 log4j.properties 的文件来管理日志设置。Spark开发者们已经在 Spark 中加入了一个日志设置文件的模版,叫作 log4j.properties.template。要让日志看起来不那么啰嗦,可以先把这...

2019-11-20 17:37:47

Spark单机环境安装

1.下载 http://spark.apache.org/downloads.html2. 解压tar -zxvf spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz -C ~/app/3. 配置环境变量 vi ~/.bash_profileexport SPARK_HOME=/home/hadoop/app/spark-2.2.0-bin-2.6.0-cdh5.7.0e...

2019-11-20 14:53:09

Linux下hadoop的安装(CDH版本)

1. 下载下载地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz注意:在安装hadoop之前确保JDK安装成功。2. 配置免密登录Hadoop 组件之间需要基于 SSH 进行通讯。2.1 配置映射配置 ip 地址和主机名映射:vim /etc/hosts192.168.43.174 hadoo...

2019-11-20 12:32:53

Linux下JDK的安装

Linux下JDK的安装下载并解压在官网 下载所需版本的 JDK,这里我下载的版本为JDK 1.8 ,下载后进行解压:tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/app/设置环境变量vi ~/.bash_profileexport JAVA_HOME=/home/hadoop/app/jdk1.8.0_144export PATH=...

2019-11-20 10:37:39

linux下maven的安装

本文将介绍下如何在linux环境中安装maven1. 下载:https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz2. 解压:tar -zxvf apache-maven-3.3.9-bin.tar.gz -C ~/app/3. 配置环境变量 vi ~/.bash_...

2019-11-20 10:17:30

linux下Hbase安装(CDH)

hbase安装下载地址:http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz解压:tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz -C ~/app配置环境变量:vi ~/.bash_profileexport HBASE_HOME=/home/hadoop/app/h...

2019-11-19 14:22:52

使用kafka消费flume的数据

本篇文章将在Apache Flume介绍和使用案例三这篇文章的基础上将logger sink修改为kafka sink(即整合flume到kafka完成实时数据的采集)大体流程如图所示:将配置文件:avro-memory-logger.confavro-memory-logger.sources = avro-sourceavro-memory-logger.sinks = logger...

2019-11-19 10:11:51

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。