6 未济2019

尚未进行身份认证

暂无相关描述

等级
TA的排名 4k+

[flink-015] docker搭建两节点flink集群

1拉取centos镜像dockerpullcentos:latest2.创建两个节点dockerrun--nameflinkmaster-itcentos/bin/bashdockerrun--nameflinkworker-itcentos/bin/bash3.安装jdk1.8常规操作,不写了。4.将flink安装包cp到容器,解压缩dock...

2019-09-04 16:05:59

[web-024]go语言安装和web开发

1.go语言环境安装https://studygolang.com/dl这里有ios,windows,linux安装包2.解压缩到合适的目录,也就是安装目录3.修改/etc/profile文件,增加go语言的配置#GOSDK所在目录exportGOROOT=/usr/local/go/go1.9.2.linux-amd64exportGO...

2019-08-30 14:22:35

[flink-014]Sink和ES6的ElasticsearchSink

Sink,水池。Flink的计算结果,最终传给Sink落地存储。Sink支持多种存储系统,包括数据库和消息队列,比如JDBC、Kaffka、Elasticsearch、Hbase....从源头说起。接口Function,位于Function.java,空接口,是所有用户自定义函数的根接口。接口SinkFunction,继承Function,是所有用户自定义Sink函数的顶层接口。它...

2019-08-29 11:30:07

[flink-013]JobMaster:一个JobGraph执行完整流程

JobMaster负责一个JobGraph的完整执行。JobMaster只有一个构造函数,入参包括要运行的JobGraph对象。入参包括SchedulerNGFactory,用于创建SchedulerNG调度器,安排Job的执行流程,是Job执行的重要部分。Job执行的入口函数是startJobExecution。这个函数先调用startJobMasterServices,依次启动心跳服务...

2019-08-28 10:37:21

[flink-012]最小计算单元Task及其被用

Task(org.apache.flink.runtime.taskmanager.task)是一个最小计算单元,也是一个最小计算子任务subtask,它封装了一个算子Opetrator,实现完整的算子计算的相关功能,并跟JobManger通讯,把结果发给JobManager。Task的行为很简单--它持有自己run函数的代码,配置信息,存储中间结果,除此之外什么都不知道,JobManger安...

2019-08-26 21:39:21

[flink-011]DataSet源码以及各算子

DataSet<String>text=env.fromElements(newString[]{"Tobe,ornottobe,--thatisthequestion:--","Whether'tisnoblerinthemindtosuffer"});DataSet<Tuple2<String,Integer>&g...

2019-08-25 16:30:14

[flink-010]flink的编译

1.在github上的源码,似乎有问题https://github.com/apache/flink.git这里编译会卡在s3项目不通过。2.在flink主页上的源码http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.8.1/flink-1.8.1-src.tgz编译命令mvncleanpackage-Dma...

2019-08-23 13:41:56

[flink-009]jar包在flink的执行过程

1.执行java包的命令是./bin/flink-cMainClassNamex.jar2.bin/flink脚本,启动类org.apache.flink.client.cli.CliFrontend执行jar包。该类位于flink/flink-clients/src/main/java/org/apache/flink/client/cli/CliFrontend.java...

2019-08-22 15:56:09

[flink-008]分布式计算环境

(译改自https://ci.apache.org/projects/flink/flink-docs-release-1.8/concepts/runtime.html)在分布式环境下,flink把多个算子子任务operatorsubtask,chain链接成一个task。每个task由一个线程执行。flink集群有两种角色:JobManager,也叫master,管理计算环境,包...

2019-08-22 10:22:33

[flink-007]flink编程模型(dataflow programming model)

(译改自https://ci.apache.org/projects/flink/flink-docs-release-1.8/concepts/programming-model.html)flink有4层抽象,从低到高,依次是:1.statfulestreamingprocessing有状态的流处理,包括流、状态、事件时间;2.coreapi核心api,包括DataSet和Data...

2019-08-22 09:48:17

[flink-006]在本地flink1.8.1集群上运行一个最简单的批处理例子

1.下载flink安装包https://www.apache.org/dyn/closer.lua/flink/flink-1.8.1/flink-1.8.1-bin-scala_2.11.tgz2.启动本地集群tarxvfflink-1.8.1-bin-scala_2.11.tgzcdflink-1.8.1./bin/start-cluster.sh此时,在http...

2019-08-21 19:33:05

[flink-005]slave节点的启动

1.启动调用链TaskManagerRunner.main()-->runTaskManager(configuration,resourceID)-->TaskManagerRunner(configuration,resourceId)-->taskManagerRunner.start()-->taskManager.start()-->...

2019-08-19 08:55:06

[flink-004] master节点的启动

1.启动的调用链StandaloneSessionClusterEntrypoint.main()-->ClusterEntrypoint.runClusterEntrypoint()-->ClusterEntrypoint.startCluster()-->ClusterEntrypoint.runCluster(configuration)-->Cl...

2019-08-18 17:02:09

[flink-003] flink的启动脚本

1.启动脚本源码在flink/flink-dist/src/main/flink-bin/bin/目录2.flink默认部署是StandAlone模式,自己管理集群。另一种是flinkonyarn,由yarn管理flink集群。StandAlone部署非常简单:下载二进制包;解压,在解压后的配置文件设定master节点ip和slave节点ip;把解压包复制到所有节点的相同目录下;所有...

2019-08-18 11:26:56

超级面试题,一文进大厂。

http://www.chaojimianshiti.com/

2019-08-11 12:05:26

[web-023]RPC和gRPC(02)

1.gRPC的官网文档https://grpc.io/docs/2.本例修改自https://github.com/jpdna/gRPC-maven-helloworld3.项目目录结构├──pom.xml└──src├──main│├──java││└──org││└──grpchello...

2019-08-10 20:37:03

[flink-002] flink的rpc机制

1.rpc接口flink的rpc机制基于akka,源码位于flink项目路径flink-runtime/src/main/java/org/apache/flink/runtime/rpc。关于akka,可以参考本博客的https://blog.csdn.net/lizhe_dashuju/article/details/98040346。akka的通信机制本质相当简单,以本地通信为例...

2019-08-09 22:21:44

[flink-001]flink的心跳机制

1.心跳接口一个分布式集群有多个节点。节点之间有心跳机制,以确认每个节点是正常工作的。心跳机制,就是每隔N秒,一个节点向其他节点发消息,其他节点收到后,回复一个消息。超过M秒没有回复,视为TimeOut,节点被视为不能正常工作。假设一个flink集群有3个节点:A,B1,B2。A是master节点,B1和B2是worker节点。根据flink的心跳机制,A节点每3秒向B1和B2发起心跳请求...

2019-08-09 22:20:55

[linux-014] 在ubunut上python3读写greenplum

sudoapt-getinstalllibpq-devpython-devpip3installPsycopg2#https://www.cnblogs.com/xiao-apple36/p/10362367.html#http://initd.org/psycopg/docs/#sudoapt-getinstalllibpq-devpython-de...

2019-08-09 18:09:27

[web-022]RPC和gRPC(01)

分布式计算场景下,在一台计算机上运行的程序,需要跟另一台计算机上的程序进行交互。从开发角度而言,如果这种交互看起来跟本地函数调用是一模一样的,成本是最低。因此,RPC设计需要考虑以下三个因素:1.在本地和远程计算机之间,传递对象。对象的角色是入参和返回值。这种传递对方的方式叫序列化和反序列化。对象是类的实例化,对象内部有函数和变量。一个对象在生命周期内可以经历多种计算,形成特定的状态,...

2019-08-09 11:40:21

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。