Sen的博客

原创 02、Flink Client 实现原理与源码解析

FlinkClient源码解析！

原创 01、阅读Flink源码前必会的知识

Flink 源码系列开篇

原创 Apache Atlas

个人公众号Apache Atlas介绍Apache Atlas （/ˈætləs/ ） 是一个深度集成Hadoop平台各个组件的数据治理和元数据管理框架。它提供了一个可伸缩和可扩展的核心基础数据治理服务集，使得企业可以有效的和高效的满足Hadoop中的合规性要求，并允许与整个企业的数据生态系统集成，它为Hadoop集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。特征元数据类型和实例可以为Hadoop 生态圈各的组件和其他组件的元数据预定义类型

原创 Apache Atlas的部署

Apache Atlas 的部署个人公众号编译atlas你可以下载官方给出的稳定2.0 的稳定版，也可以clone最新的项目编译，本文以clone最新的项目编译为例：git clone https://github.com/apache/atlas.gitcd atlas#修改各组件版本和自己集群的各组件版本一致vim pom.xmlexport MAVEN_OPTS="-Xms2g -Xmx4g"#该方式编译不会内嵌HBase和Solr（使用外部HBase和Solr）mvn clea

原创 Apache Kudu 学习总结

Apache Kudu 学习秘籍​ A new addition to the open source Apache Hadoop ecosystem, Apache Kudu completes Hadoop’s storage layer to enable fast analytics on fast data.Apache Kudu 概述产生背景​ Cloudera公司研发工程师 Todd Lipcon在开发初，本来对hbase改造、支持大数据量

原创 Doris 学习总结

自从今年鼎石科技公开了自家的DorisDB后（相关视频见B站）， Apache Doris 在社区中掀起了一波热潮， 我也跟风来学习一下，相关总结与大家分享。首先简单的说下啥是Doris吧，Doris是一个基于mpp的交互式SQL数据仓库，是一个面向多种数据分析场景的、 兼容MySQL协议的， 高性能的， 分布式关系型列式数据库，用于报告和分析。它最初的名字是Palo，由百度开发。在于2018年捐赠给Apache软件基金会后，它被命名为Doris。Doris主要集成了谷歌Mesa和Apache Impa

原创 Impala的负载均衡的实现

利用HAProxy实现impala的负载均衡CDH 官网给出了这个方案，利用 HAProxy 对 Impala Daemon 实现负载均衡, 针对目前的查询量 HAProxy 为单节点部署，若查询量比较大你可以选择将HAProxy 配置成高可用（HAProxy +keepalived）HAProxy的部署安装haproxyyum -y install haproxy配置haproxyvim /etc/haproxy/haproxy.cfg#--------------------------

原创 CDH各组件的配置及优化

CDH各组件的配置及优化Oozie-Hue 的配置Oozie 安装好之后，启动web界面会看到如下图：下载Ext Js 依赖：http://archive.cloudera.com/gplextras/misc/wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zipunzip ext-2.2.zipcp -r ext-2.2 /var/lib/oozie/cd /var/lib/oozie/chown -R oozie:oozi

原创 CDH 6.X 的安装部署

CDH 6.X 的安装部署安装之前你需要了解关于CDH6.X 的一些限制,如Hadoop的主要功能等。本文以6.3.2 为例，官网也给出了详细的安装步骤，这里参考了官网给出的安装方法进行了安装配置基础环境首先你要做基础环境的配置，若果你已经完成可以忽略本段落。免密登录配置root用户的免密登录在master结点上配置单向免密登录纯属个人为了以后操作方便（可以不配置）进入到root用户的根目录下，做如下的操作vim workers,将你的所有结点主机ip及hostname写到workers

原创 super Keyword

super Keyword in Java With ExamplesThe super keyword in java is essentially a reference variable that can be used to refer to class’ immediate parent class.Usage of super in Javasuper keyword in Java can be used for the following-Invoke the constructo

原创 static Import

static Import in Java With ExamplesIn order to access any static member (static field or method) of the class, it is necessary to qualify references with the class they came from.ClassName.static_method()With static import feature of Java 5, members def

原创 static Keyword

static Keyword in Java With ExamplesWhen we want to define a class member that can be used independently of any object of that class we use static keyword in Java. When a class member is defined as static it is associated with the class, rather than with

原创 static

static和final是两个我们必须掌握的关键字。不同于其他关键字，他们都有多种用法，而且在一定环境下使用，可以提高程序的运行性能，优化程序的结构。上一个章节我们讲了final关键字的原理及用法，本章节我们来了解一下static关键字原理及其用法。一. static特点static是一个修饰符，通常用于修饰变量和方法，如开发过程中用到的字典类数据都会用到static来修饰，工具类方法，如Dateutils，Stringutils这类工具方法也会用到static来修饰，那么除了这两种最常用的场景外，是否

原创 为什么主方法是静态的

Why main Method is static in JavaWhen we start learning java and write our first “Hello World” program, there are two things that stand out.File name and class name should be same in Java.Main method signature- The main method signature must be public

原创 枚举

一. 什么是枚举枚举是一种数据类型，具有集合的一些特点，可以存放多个元素，但存储对象有限且固定，枚举也有比较常见的使用场景，如我们需要表达性别（男、女），颜色（红、黄、蓝），星期（星期一、星期二…星期日），四季（春、夏、秋、冬），地理位置（东、西、南、北），方向（前、后、左、右）等，这些场景都非常适合枚举。二. 定义枚举java中使用enum来定义枚举，和class，interface具有同样的等级，(注意是enum，而不是Enum)，定义枚举可以有两种情况第一种：默认构造器（空构造器）publi

原创 内部类

文章目录内部类原因内部静态类特点典型应用Math.random() 静态方法单例设计模式内部类内部类是定义在另外一个类中的类原因内部类方法可以访问该类定义所在的作用域中的数据，包括私有的数据非静态内部类可以直接访问外部类的实例变量、类变量、实例方法、类方法。这是因为在非静态内部类对象里，保存了一个它所寄生的外部类对象的引用（非静态内部类实例必须寄生在外部类实例里）。也就是说，非静态内部类对象总有一个隐式引用，指向了创建它的外部类对象内部类可以对同一个包的其他类隐藏静态内部类和

原创 基础知识

文章目录重载重写重载重载方法的选取选取的过程共分为三个阶段多个匹配时候的选取重写判断相等==equals基本数据类型包装类的比较equals 和 hascodefinal修饰变量修饰方法修饰类final关键字与static对比sleep() 和 wait() 有什么区别Comparator 与Comparable 有什么不同抽象类与接口&和&&重载重写void invoke(Object obj, Object... args) { ... }void invoke(Strin

原创 如何理解面向对象

理解面向对象编程从Rob Pike 的 Google+上的一个推看到了一篇叫《Understanding Object Oriented Programming》的文章，我先把这篇文章简述一下，然后再说说老牌黑客Rob Pike的评论。先看这篇教程是怎么来讲述OOP的。它先给了下面这个问题，这个问题需要输出一段关于操作系统的文字：假设Unix很不错，Windows很差。这个把下面这段代码描述成是Hacker Solution。（这帮人觉得下面这叫黑客？我估计这帮人真是没看过C语言的代码）public

原创 Linux 解压 rar文件

Linux 解压和压缩 rar文件1、安装命令包访问官网：https://www.rarlab.com/download.htm，选择和自己系统匹配的安装包 wget https://www.rarlab.com/rar/rarlinux-x64-6.0.b1.tar.gz tar -zxvf rarlinux-x64-6.0.b1.tar.gz cd rar make2、解压将/etc 目录压缩为etc.rar 命令为：rar a etc.rar /etc将etc.rar 解压 命令

原创 Redis 的安装部署

Redis 的安装部署一、编译安装今天安装Redis 编译没有通过，白白浪费我半个小时，我很抓狂，这里分享下我的安装方法。下载安装包安装$ wget https://download.redis.io/releases/redis-6.0.9.tar.gz$ tar xzf redis-6.0.9.tar.gz$ cd redis-6.0.9$ make问题一、此时第一步就宣告失败了，原因是载安装包是你需要配置DNS解析，我们配置Google的DNS服务器IPvim /etc/re

原创 Docker的学习

typora-root-url: picDocker的学习理念：Build,Ship and Run Any App,Anywheredocker解决了运行环境和配置问题的软件容器，方便做持续集成并有助于整体发布的容器虚拟化技术。Docker 基本原理Docker是一个Client-Server结构的系统，Docker守护进程运行在主机上， 然后通过Socket连接从客户端访问，守护进程从客户端接受命令并管理运行在主机上的容器。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上

原创 CDH 5.15 卸载

CDH 5.15 卸载1、卸载整个集群2、停止 cloudera-scm-agent 和 cloudera-scm-server 服务3、删除原有的文件ssh -n -p$port $UNAME@$ip rm -rf /opt/cloudera*ssh -n -p$port $UNAME@$ip rm -rf /opt/cm*ssh -n -p$port $UNAME@$ip rm -rf /dfs*ssh -n -p$port $UNAME@$ip rm -rf /tmp/*ssh -n

原创 Azkaban 问题总结

Azkaban 问题总结1、azkaban 服务进程一直删除 temp 目录下的文件，但文件所占空间并没有释放，导致系统磁盘不够用。问题描述运行 df -h 命令看到系统磁盘使用率已达到92%，然后用命令du -sh排查那些目录占用的空间比较多时，并没有发现。运行 lsof | grep deleted 命令后如图：问题解决将 temp 目录改到 数据磁盘目录下修改 executor 结点的配置，重启project.temp.dir=/data9/var/log/azkaban/temp

原创 jenkins 的部署

部署1、在官方网站下载相关安装包： https://jenkins.io/zh/download/wget https://pkg.jenkins.io/redhat-stable/jenkins-2.204.4-1.1.noarch.rpmrpm -ih jenkins-2.204.4-1.1.noarch.rpm安装完成后相关文件路径：#WAR包 /usr/lib/jenkins...

原创 maven 的安装与使用

安装mvn# 下载wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.zip# 解压unzip apache-maven-3.6.3-bin.zip# 配置环境变量export MAVEN_HOME=/opt/mvn/apache-mave...

原创 RabbitMQ 安装

RabbitMQ 安装简介：1、下载rabbitmqwget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.15/rabbitmq-server-3.7.15-1.el7.noarch.rpm2、安装socatyum install socat -y3、下载erlang语言安装包(需...

原创 @EqualsAndHashCode

官方文档：https://projectlombok.org/features/EqualsAndHashCode网友文章参考：http://www.pianshen.com/article/1619125852/不加 @EqualsAndHashCode 时：public class Apple { private String color; public Ap...

原创 Airflow 安装教程

说明：Airflow 的安装需要依赖Python3.0 及以上版本，Python3.0的安装教程见：（https://blog.csdn.net/CZ_yjsy_data/article/details/100776239）在线安装步骤：安装最新稳定版本的Airflow最简单的方法是使用pip:一：airflow needs a home, ~/airflow is the...

原创 Linux下Python3.7.4 安装教程

说明：本文简单的介绍了Python3.7.4 的安装方法，之所以安装Python 3.7 是为安装Airflow做铺垫，但不要删除Python 2.7 等版本，应为系统及其他组件有所依赖。步骤：下载安装包：wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz解压：tar -zxvf Python-3.7.4....

原创 Notepad++ 如何查看编辑二进制文件

单独安装的Notepad++不能查看和编辑2进制、16进制文件，只要安装名为HexEditor的插件就可以了.HexEditor插件下载地址：https://sourceforge.net/projects/npp-plugins/files/Hex%20Editor/点击进去选择一个版本下载：目前最新版本Hex Editor Plugin v0.9.5，以此为例，点击HexEditor...

原创 Kudu 的架构概述

Kudu 的架构概述体系结构概述下图显示了一个Kudu集群，其中有三个主机和多个 tablet servers，每个tablet server 都服务于多个tabletKudu 的特点特点一：主从架构 主为master，从为 tablet server，通常为三主多从特点二：高可用性（High availability）Tablet server和Master...

原创 Kudu 概述

Kudu 概述Kudu是为Apache Hadoop平台开发的一个列存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性:它运行在普通硬件上，可水平伸缩，支持高可用性操作。Kudu 的定位：是 Fast Analytics on Fast Data，是一个既支持随机读写、又支持 OLAP 分析的大数据存储引擎。应用场景：适合于在线实时分析的应用 适合大数据量更新...

原创 Kafka Eagle

Kafka Eagle 安装及使用一、直接下载安装包安装Kafka Eagle 学习文档：https://docs.kafka-eagle.org/下载地址：http://download.kafka-eagle.org/下载后按照官方文档（https://docs.kafka-eagle.org/2.env-and-install/2.installing）指导做就可以了。...

原创 2019 历史系硕士研究生招生报考参考

原创 IDEA插件

IDEA 常用插件：参考：https://blog.csdn.net/q547550831/article/details/79129311#translationTranslation使用：鼠标选中右击：或选中按快捷键： Ctrl+Shift+Y 和 Ctrl+Shift+X参考：https://www.oschina.net/news/79512/transl...

原创 埋点

埋点系统研发个人笔记：起因：公司之所以对网页、APP、小程序等进行埋点就是为了能够进一步收集用户的行为，从而进行用户画像。而埋点就是定时、定点地在目标应用/网站上采集数据，将数据以日志的方式上报至服务器的过程。埋点分为三种：1、代码埋点：在应用App或界面初始化时，初始化埋点的SDK，在触发某个节点(如事件/页面)时调用SDK相应的方法，通过接口 ...

原创 Flink watermark+window 处理数据乱序、迟到问题

在流计算中，我们一般会选择 Storm、Spark、Flink 等计算框架，而对消息队列的选则一般是Rabbitmq、Kafka 等，本片文章我们主要介绍 Kafka + Flink 框架在流计算中所遇到的问题及解决方案。 先聊下一个很古老的问题，Flink 消费Kafka中的数据，Kafka 有好几个分区，而如何保证Flink按顺序消费呢？（说详细一点儿：假设...

原创 Kudu：tablet 初始化时间过长

错误二：tablet初始化很久当生产环境中重启 Kudu 集群后出现 tablet 初始化很久,如：该错误并非 kudu 自身的原因，排错一：是否满足官网给出的限制Scale Recommended maximum number of tablet servers is 100. Recommended maximum number of maste...

原创 Kudu: unable to find SASL plugin: PLAIN

错误一： unable to find SASL plugin: PLAIN当搭建部署 kudu + impala 集群后，用 impala SQL 语句查询kudu 表时出现该错误：Caused by: com.cloudera.impala.support.exceptions.GeneralException: [Cloudera][ImpalaJDBCDriver](500051)...

原创 kudu java api 示例（DML、DQL以及DDL）

对 kudu 数据库的基本操作个人就不再详细赘述，网上找到这篇博客较详细：https://blog.csdn.net/qq_20641565/article/details/79048569但是我并没有实测，有些小细节有点小问题，生产需要优化。...