- 博客(168)
- 收藏
- 关注
RSS订阅
原创 Apache Flink 流处理（快速入门）
Flink Streaming概述DataStream在Flink中实现了对数据流的Transformation，内部Flink的数据源可以通过各种数据源创建，例如：消息队列、socket streams、文件。流计算的结果通过Sinks输出,例如 将数据写入文件、标准输出等。共同依赖<properties> <flink.version>1.7.1</f...
2019-07-27 20:07:26
749
原创 Apache Storm 2.0 Stream API
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wyStream APIStream API是Storm的另一种替代接口在2.0.0版本新添特性。它提供了一种用于表达流式计算的类型化API，并支持功能样式操作。快速入门StreamBuilder builder = new StreamBuilder();KafkaSpout...
2019-06-27 15:45:18
576
1
原创 Spring Framework 学习指南手册
目录结构https://docs.spring.io/spring/docs/current/spring-framework-reference/index.htmlSpring Framework DocumentationVersion 5.1.7.RELEASE模块概述CoreIoC Container, Events, Resources, i18n, ...
2019-06-04 17:03:11
362
原创 Apache Flume （完整篇）
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy概述Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。Flume构建在日志流之上一个简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现对日志流数据的实时在线分析。Flume支持在日志系统中定制...
2019-05-08 20:55:52
4570
原创 Apache Flink之架构概述和环境(章节一)
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy 百知教育背景介绍继Spark之后第三代内存计算框架Flink应运而生，Flink作为第三代计算框架Flink吸取了二代大数据Spark计算的设计的精华，依然采用DAG模型做任务拆分，但是Spark在流处理领域上因为微观批处理实时性不高甚至在性能上还不能和一代流处理框架Storm匹...
2019-04-26 11:34:09
1139
原创 Spark Yarn|Standalone
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy背景介绍Spark是一个快如闪电的统一分析引擎（计算框架）用于大规模数据集的处理。Spark在做数据的批处理计算，计算性能大约是Hadoop MapReduce的10~100倍，因为Spark使用比较先进的基于DAG 任务调度，可以将一个任务拆分成若干个阶段，然后将这些阶段分批次交...
2019-04-18 16:42:49
328
原创 Apache Hbase
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy 百知教育Hbase概述Hbase是一个基于Hadoop之上的数据库服务，该数据库是一个分布式、可扩展的大的数据仓库。当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™（HDFS虽然可以存储海量数据，但是对数据的管理粒度比较粗糙，只支持对文件的上传下载，...
2019-04-17 17:50:05
1440
原创 Apache Kafka 消息队列
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy 百知教育Apache Kafka概述Kafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布，能够基于Kafka实现对网络日志流实时在线处理，在这个维度上弥补了Hadoop的离线分析系统的不足。因为基于hadoop的MapReduce系统分析离线数据延...
2019-04-17 15:21:47
982
1
原创 Apache Hadoop
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy 百知教育大数据(Big Data)随着信息化互联网|物联网发展要求，万物互联趋势势在必行。随之引发架构的演变由单一架构向高并发分布式架构演变。数据的存储也开始由原始的单机存储演变为分布式存储。高并发互联网设计 LNMP、数据库主从RDBMS|NoSQL、Spring Clo...
2019-04-17 15:16:44
1593
原创 Apache Storm-1.2.x 实战版
Apache Storm背景介绍流计算:将大规模流动数据在不断变化的运动过程中实现数据的实时分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。主流流计算框架:Kafka Streaming、Apache Storm、Spark Streaming、Flink DataStream等。Kafka Streaming:是一套基于Kafka-Streaming库的一套流计算工具jar包...
2019-04-17 13:46:27
1237
原创 Scala Language Programing Guide（章节一）
Scala编程指南Scala Language Programing Guide介绍环境配置变量变量声明数值转换数组元组分支循环条件分支while/do-whileBreakfor循环数组遍历数组计算模式匹配数值匹配类型匹配函数函数声明标准函数可变长参数参数默认值参数命名内嵌函数柯里化(Currying)匿名函数Class & object单例类类伴生对象抽象类Trait(接口)继承&am...
2019-04-17 12:04:45
431
原创 Clickhouse实时指标加工
Starwift（ClickHouse）是京东云上的一款云原生数据仓库，为用户带来极速分析体验，能够支撑实时数据分析和海量数据离线分析。便捷的弹性扩缩容能力，极致分析性能和丰富的企业级特性，助力客户数字化转型。实时指标加工是从离线指标加工需求演变而来。业务场景对离线加工的时效性的要求已经升级为指标加工分析实时性的增强。 实时指标加工首先要求指标加工的时效性能够保障，指标的加工的时效性是指从数据源到数据计算，再到数据的落地可查，整个过程都是完全实时的，并且保证时延最低。
2024-01-11 13:10:29
1190
原创 Flink实时计算中台Kubernates功能改造点
平台为数据开发人员提供基本的实时作业的管理功能，其中包括jar、sql等作业的在线开发；安装官方的使用说明，在镜像Application-Mode部署的时候，用户需要更具发布的jar包每次都需要重新打包镜像，启动作业，这样在生产场景下比较满，导致作业的制作工艺比较复杂，因此我们需要针对TaskManager和JobManagwer的pod进行修改，总体思想是通过在构建TaskManager、JobManagwer pod的时候，自动挂载本地的NFS镜像资源Volume到镜像的。卷挂载解决用户jar的问题。
2023-09-02 18:10:36
621
原创 Flink Kubernates Native - 入门
运行flink session任务。1、编写DockerFile。命令空间添加资源限制。可以根据提示信息访问。
2023-08-28 16:12:11
574
原创 Kafka安全认证-Kerberos&SCRAM
配置SASL/PLAIN验证，实现了对Kafka的权限控制。但SASL/PLAIN验证有一个问题：只能在JAAS文件KafkaServer中配置用户，一但Kafka启动，无法动态新增用户。SASL/SCRAM验证可以动态新增用户并分配权限安装步骤.
2023-02-26 20:20:12
727
原创 Kubernetes笔记-Namespace
在 Kubernetes 中，名字空间（Namespace） 提供一种机制，将同一集群中的资源划分为相互隔离的组。同一名字空间内的资源名称要唯一，但跨名字空间时没有这个要求。名字空间作用域仅针对带有名字空间的对象，例如 Deployment、Service 等， 这种作用域对集群访问的对象不适用，例如 StorageClass、Node、PersistentVolume 等。名字空间适用于存在很多跨多个团队或项目的用户的场景。对于只有几到几十个用户的集群，根本不需要创建或考虑名字空间。...
2022-08-18 10:17:51
126
原创 Kubernetes笔记-部署安装指南
重启机器生效，重启后可以使用getenforce命令查看状态。如果安装速度慢，用户可以考虑使用阿里云的安装镜像。所有机器信息均需要配置主机和ip映射关系。（2）注册账号，或者使用支付宝账号登陆。表示每间隔10分钟同步一下时钟。④配置Docker国内镜像。（3）登陆后进入下面页面。①安装Docker环境。...............
2022-08-15 17:04:36
182
原创 Jenkins指南-安装部署
Jenkins是一款开源CI&CD软件，用于自动化各种任务，包括构建、测试和部署软件。Jenkins支持各种运行方式，可通过系统包、Docker或者通过一个独立的Java程序。
2022-08-02 11:00:39
166
原创 OracleCDC
[oracle@a9113e4ba60b /]$ export ORACLE_HOME=/home/oracle/app/oracle/product/11.2.0/dbhome_2[oracle@a9113e4ba60b /]$ sqlplus /nologSQL*Plus: Release 11.2.0.1.0 Production on Thu May 26 08:20:36 2022Copyright (c) 1982, 2009, Oracle. All rights reserved
2022-05-27 09:46:48
428
原创 Ubuntu ARM环境安装
基础环境①防火墙jiangzz@ubuntu:~$ sudo ufw statusStatus: inactivejiangzz@ubuntu:~$ sudo ufw versionufw 0.36Copyright 2008-2015 Canonical Ltd.②开启远程root账户登录jiangzz@ubuntu:~$ sudo vi /etc/ssh/sshd_config...# Authentication:#LoginGraceTime 2mPermitRootL
2022-03-07 11:37:09
1151
原创 Flink Yarn TaskManager|JobManager日志采集方案
背景Flink on Yarn 的模式下,TaskManager的日志会存储到所在的 DataNode 上,当 Flink 任务发生异常，产生异常日志时，需要第一时间感知任务已经出现异常，避免影响业务。因此需要将Flink任务的日志实时收集起来，任务出现异常日志立刻报警，做的真正意义上的实时报警，，而不是等Flink任务掉线了再发出报警。收集任务日志的好处除了任务掉线方便我们通过日志定位问题，还可以支持日志实时报警，搜索，展示等功能的实现。Flink-1.7.2/1.101、修改$FLINK_HOME
2021-11-08 13:01:40
3154
原创 NoSQL MongoDB之nginx-gridfs
下载nginx-gridfs.git[root@ck01 ~]# git clone https://github.com/mdirolf/nginx-gridfs.git\[root@ck01 ~]# cd nginx-gridfs/[root@ck01 ~]# git checkout v0.8[root@ck01 ~]# git submodule init[root@ck01 ~]# git submodule update下载nginx[root@ck01 ~]# wget htt
2021-08-31 17:34:55
127
原创 银河麒麟高级服务器操作系统 V10 SP1 ARM64 之 Elasticsearch
安装①由于Elasticsearch不支持root用户方式启动服务，因此在安装之前必须创建非root账户，这里小编使用Elsasticsearch作用部署和启动账户[root@st01 ~]# groupadd elasticsearch[root@st01 ~]# useradd elasticsearch -g elasticsearch②修改/etc/sysctl.conf配置文件,添加如下配置,然后执行sysctl -p[root@st01 ~]# cat /etc/sysctl.co
2021-08-17 11:02:04
755
原创 银河麒麟高级服务器操作系统 V10 SP1 ARM64 之 MongoDB（集群部署）
MongoDB-3.6.13部署部署计划主机IP部署规划路径st01192.168.0.19配置服务器、路由、shard1、shard2、shard3/export/serverst02192.168.0.20配置服务器、shard1、shard2、shard3/export/serverst03192.168.0.8配置服务器、shard1、shard1、shard3/export/server部署流程1、解压MongoDB安装包到/exp
2021-08-17 11:00:02
1925
原创 银河麒麟高级服务器操作系统 V10 SP1 ARM64 之 Redis认证版
部署安装①下载Redis安装包redis-3.2.8-2.ky10.ky10.aarch64.rpm[root@bdp02 ~]# rpm -ivh redis-3.2.8-1.ky10.ky10.aarch64.rpmVerifying... ################################# [100%]Preparing... ##########################
2021-08-11 16:00:07
1096
原创 Elasticsearch集群部署-安全认证
Elasticsearch集群部署安装①由于Elasticsearch不支持root用户方式启动服务，因此在安装之前必须创建非root账户，这里小编使用Elsasticsearch作用部署和启动账户[root@st01 ~]# groupadd elasticsearch[root@st01 ~]# useradd elasticsearch -g elasticsearch②修改/etc/sysctl.conf配置文件,添加如下配置,然后执行sysctl -p[root@st01 ~]#
2021-08-04 12:21:12
278
原创 NoSQL之MongoDB-3.6.13集群部署
下载MongoDB安装包，解压到/export/server/[root@st01 ~]# tar -zxf mongodb-3.6.13.tar.gz -C /export/server/mongodb-3.6.13mongos> use admin;switched to db admindb.createUser({user:"root",pwd:"jd123!",roles:[{role:"root",db:"admin"}]})mongos> use jdswitch
2021-08-03 15:33:52
126
原创 银河麒麟高级服务器操作系统 V10 SP1 ARM64 之 MongoDB
准备①下载MongoDB源码地址https://fastdl.mongodb.org/src/mongodb-src-r3.6.23.zip②查看当前Python版本[root@bdp02 ~]# yum install -y pcre-devel openssl openssl-devel[root@bdp02 ~]# python --versionPython 2.7.16②下载piphttps://bootstrap.pypa.io/pip/2.7/get-pip.py
2021-08-01 18:33:29
1250
原创 银河麒麟高级服务器操作系统 V10 SP1 ARM64 之 protobuf安装
安装protobuf1、由于Hadoop底层的序列化用到了Protobuf框架，因此在对hadoop进行源码编译之前一定要确保平台安装了Protobuf软件，由于Hadoop底层使用了Protobuf-2.5.0因此需要下载相关软件protobuf-2.5.0.tar.gz这里需要注意由于平台使用的是银河麒麟高级服务器操作系统 V10 SP1 ARM64操作系统因此无法使用通用的方法安装序列化软件 #error Host architecture was not detected as supporte
2021-07-30 18:29:29
1499
原创 银河麒麟高级服务器操作系统 V10 SP1 ARM64 之 MySQL-5.7.27
MySQL编译1.下载MySQL源码wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-boost-5.7.27.tar.gz --no-check-certificate2、下载依赖[root@bdp02 ~]# yum install libaio-devel[root@bdp02 ~]# yum install -y ncurses-devel3、安装rpcsvc-proto[root@bdp02 ~]# wget htt
2021-07-30 18:27:30
835
原创 开发技巧篇-JSONPATH List集合泛型转换
样例数据需要将该数据的columns转化为ColumnJava对象{ "message": { "columns": [ { "columnAlias": "id", "columnName": "id", "columnOrder": "1", "columnType": "int(10,0)",
2021-06-10 15:55:26
605
原创 Janusgrap编程指南-Schema设计高级篇v1.0
Advanced SchemaStatic Vertices顶点标签可以定义为静态，这意味着带有该标签的顶点不能在创建它们的事务之外进行修改。Static vertex labels是一方法用于控制数据的生命周期，在加载数据到graph之后 ，使用定点的标签数据不允许修改。例如创建如下VertexLabel 标签：JanusGraphManagement mgmt = janusGraph.openManagement();VertexLabel tweet = mgmt.makeVertexL
2021-04-05 16:06:47
163
原创 janausgraph编程指南-Schema设计1.0
Java API Intergation①导入maven依赖<!-- https://mvnrepository.com/artifact/org.janusgraph/janusgraph-core --><dependency> <groupId>org.janusgraph</groupId> <artifactId>janusgraph-core</artifactId> <version&g
2021-04-05 16:04:56
148
原创 Janusgraph编程指南-安装指南1.0
介绍JanusGraph是可扩展的图形数据库，已优化用于存储和查询包含分布在多计算机集群中的数千亿个顶点和边的图形。JanusGraph是Linux基金会下的一个项目，参与者来自Expero，Google，GRAKN.AI，Hortonworks，IBM和Amazon。Scalable -弹性和线性可扩展性，可满足不断增长的数据和用户群的需求；数据分发和复制，以提高性能和容错能力；多数据中心高可用性和热备份Open source - 所有功能都是完全免费的。 无需购买商业许可证。 JanusG
2021-04-05 15:54:40
174
原创 MySQL Cannal Kafka数据采集
介紹canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache
2021-02-03 15:00:34
287
原创 janusgraph编程指南之-Schema设计
Java API集成①导入maven依赖<!-- https://mvnrepository.com/artifact/org.janusgraph/janusgraph-core --><dependency> <groupId>org.janusgraph</groupId> <artifactId>janusgraph-core</artifactId> <version>0.5.3<
2021-01-26 17:36:19
328
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人