2 马本不想再等了

尚未进行身份认证

暂无相关简介

等级
TA的排名 20w+

IDEA 中使用 .proto 生成 .java

pom.xml <properties> <grpc.version>1.6.1</grpc.version> <protobuf.version>2.5.0</protobuf.version> </properties> <dependencies> ...

2020-05-03 14:33:45

Linux 常用知识积累

Linux文章目录Linux安装设置vim 编辑器网络配置相关命令克隆虚拟机关机重启命令找回 root 密码帮助指令文件目录类命令时间类命令搜索查找类用户管理、组管理命令用户管理用户组管理权限chmod 改变权限chown 改变所有者chgrp 改变所属组为普通用户服务 root 权限压缩和解压磁盘分区类进程线程类corond 系统定时任务添加硬盘安装软件RPMYUM安装设置安装 vmw...

2020-04-06 23:11:25

Hive 常见报错

文章目录1. insert ORC表时,序列化出错。1. insert ORC表时,序列化出错。报错日志:Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow a...

2020-02-26 11:55:24

HQL 基础函数使用(转载)

https://baijiahao.baidu.com/s?id=1613382585734336695&wfr=spider&for=pchttps://baijiahao.baidu.com/s?id=1613475062429819493&wfr=spider&for=pchttps://baijiahao.baidu.com/s?id=161363057...

2020-02-23 16:44:16

山行 唐·杜牧

山行唐·杜牧远上寒山石径斜,白云深处有人家。停车坐爱枫林晚,霜叶红于二月花。译:山石小路远上山巅弯弯又斜斜,白云生发之处隐隐约约有几户人家。只因爱那枫林晚景我把马车停下,霜染的枫叶胜过鲜艳二月的花。注:1.山行:在山中行走。2.寒山:指深秋时候的山。3.径:小路。4.白云生处:白云升腾、缭绕和飘浮种种动态,也说明山很高。5.斜:此字读xiá,为伸向的意思。6.坐:因为。来...

2020-02-23 16:38:46

Hive 自定函数和优化策略

文章目录七、函数7.1 系统内置函数7.2 自定义函数八、压缩和存储8.1 开启 Map 输出阶段压缩8.2 开启 Reduce 输出阶段压缩8.3 文件存储格式8.4 存储和压缩结合九、调优9.1 Fetch 抓取9.2 本地模式9.3 表的优化9.4 数据倾斜9.5 并行执行9.6 严格模式9.7 JVM 重用9.8 推测执行9.9 压缩9.10 执行计划(Explain)七、函数7.1 ...

2020-02-23 16:32:34

Hive 基本操作

四、DDL 数据定义4.1 创建数据库​ 创建一个数据库,数据库在 HDFS 上的默认存储路径是 /user/hive/warehouse/*.db。​ 避免要创建的数据库已经存在错误,增加 if not exists 判断。(标准写法)create database if not exists db_hive;​ 创建一个数据库,指定数据库在 HDFS 上存放的位置,可以加上 loc...

2020-02-23 16:28:37

Hive 安装配置和数据类型

文章目录一、Hive 安装1.1 Hive 安装部署1.2 将本地文件导入 Hive1.3 MySql 安装1.4 Hive 元数据配置到 MySql1.5 HiveJDBC 访问1.6 Hive 常用交互命令1.7 Hive 常见属性配置二、Hive 数据类型2.1 基本数据类型2.2 集合数据类型2.3 类型转化一、Hive 安装1.1 Hive 安装部署Hive 安装及配置把 a...

2020-02-23 16:22:32

Flink Connectors 介绍与 Kafka Connector

文章目录1. Streaming Connectors预定义的 source 和 sinkBoundled connectorsApache Bahir 中的连接器异步 IO2. Flink Kafka Connector2.1 Flink Kafka Consumer1)反序列化2)消费起始位置设置3)topic 和 partition 动态发现4)commit offset 方式5)Times...

2020-02-14 15:00:28

Flink Metrics 原理与使用

文章目录1. 什么是 Metrics?1.1 Metric Type1.2 Metric Group2. 怎么用 Metrics?2.1 System Metrics2.2 User-defined Metrics2.3 User-defined Metrics Example2.4 获取 Metrics2.5 Metric Reporter3. 利用 Metrics 做监控3.1 自动化运维3....

2020-02-13 21:30:23

少有人走的路 - 读书笔记

文章目录一、自律 —— 解决人生问题的主要工具1. 不自律的表现2. 自律四原则二、爱 —— 不断拓展自我界限、完善自我意愿1. 爱是什么?2. 坠入情网与自我界限3. 这些都不是爱4. 爱的表现三、信仰与恩典简述作者:M·斯科特·派克(M.Scott Peck)毕业于哈佛大学,获得硕士和博士学位。长期从事心理治疗实践,成绩卓越,被誉为“我们这个时代杰出的心理医生”。一、自律 —— 解决人生...

2020-02-13 19:47:10

Flink Time 深度解析

文章目录1. Flink 的时间语义2. Timestamp 和 Watermark2.1 Timestamp 分配和 Watermark 生成2.2 Watermark 的传播2.3 ProcessFuction2.4 Watermark 的处理逻辑3. Table API 中的时间3.1 Table 中指定时间列3.2 时间列和 Table 操作4. 对于时间的思考4.1 时间是数据 or 元...

2020-02-13 17:23:33

酬乐天扬州初逢席上见赠 唐 · 刘禹锡

酬乐天扬州初逢席上见赠唐 · 刘禹锡巴山楚水凄凉地,二十三年弃置身。杯酒空吟闻笛扶,到乡翻似烂柯人。沉舟侧畔千帆过,病树前头万木春。今日听君歌一曲,暂凭杯酒长精神。译:巴山楚水凄凉之地,二十三年默默谪居。只能吹笛赋诗,空自惆怅不已。回来物是人非,我像烂柯之人,沉舟侧畔,千帆竞发;病树前头,万木逢春。今日听你高歌一曲,暂借杯酒振作精神。注:(1)酬答:这里是指以诗相答的意思。用诗歌...

2020-02-13 15:47:07

Flink 数据类型和序列化

文章目录1. Flink 的序列化框架1.1 Flink 的数据类型1.2 TypeInfomation1.3 Flink 的序列化过程2. 序列化的最佳实践2.1 常见的使用场景2.2 实践 - 类型声明2.3 实践 - 注册子类类型2.4 实践 - Kryo 序列化3. Flink 通讯层的序列化1. Flink 的序列化框架1.1 Flink 的数据类型Flink 支持任意的 Ja...

2020-02-12 23:13:38

Flink Runtime 核心机制

文章目录整体架构整体架构Flink 的整体架构如下。Flink 可以通过单进程多线程的方式直接运行,从而提供调试的能力。也可以运行在 Yarn 或者 K8S 这种资源管理系统上面,也可以在像 EC2 这种云环境中执行。针对不同的执行环境,Flink 提供了一套统一的分布式作业执行引擎 Flink Runtime 。Flink 在 Runtime 层之上提供了 DataStream 和 D...

2020-02-11 20:57:00

Flink DataStream API 再理解

文章目录DataStream API 概览示例DataStream API 概览DataStream 通过 split 给流中的数据打上标签成为 SplitStream,在使用 select 获取指定标签的流,又得到一个 DataStream。DataStream 通过 Connect 操作,在调用 streamA.connect(streamB)后可以得到一个专门的 Connecte...

2020-02-11 18:38:49

Flink SQL 之 Aggregation&UDF

文章目录Flink SQL IntroductionAggregationWindow AggregationGroup Aggregationwindow 聚合与非 window 聚合的区别自定义函数自定义标量函数 UDF自定义聚合函数 UDAF自定义表值函数 UDTFFlink SQL Introduction声明式 API,也是 Flink 最高层的 API,易于使用。自动优化,屏蔽 ...

2020-02-10 17:19:05

Flink Table API 编程

一、什么是Tabel API1.1 Flink API 总览1.2 Table API 的特性以 wordcount 为例,Table API 与 SQL 的对比:高性能:groupby 的聚合只计算一次,后面如果多次select恢复用前面聚合的结果的。流批统一:Table API 的对于流计算和批计算的API只有统一的一套,方便开发。如何理解,Tabel API 使得多声明的数...

2020-02-09 17:10:57

正则表达式

时间原因,先转载,而后在整理https://www.runoob.com/regexp/regexp-syntax.html

2020-01-21 11:28:23

XML 踩坑

问题一:XML 中的转义字符不合法的XML字符必须被替换为相应的实体。如果在XML文档中使用类似"<" 的字符, 那么解析器将会出现错误,因为解析器会认为这是一个新元素的开始。所以不应该象下面那样书写代码:if salary < 1000 then为了避免出现这种情况,必须将字符"<" 转换成实体,象下面这样:if salar < 1000 then下面...

2020-01-17 11:54:49

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。