12 vkingnew

尚未进行身份认证

我要认证

Learning......

等级
TA的排名 3k+

Clickhouse MaterializeMySQL 数据库引擎

在Clickhouse 20.8.2.3 版本中新增一个数据库引擎,将clickhouse模拟为MySQL的从库,可以通过mysql的binlog实时的接收来自mysql的数据并在clickhouse物化,极大提升了数仓的查询性能和数据同步的时效性。同时增加了获取mysql数据的方式,除了mysql协议和mysql函数和mysql表引擎,clickhouse可以作为mysql的从库。ClickHouse can work as MySQL replica - it is implemented by

2020-09-27 17:13:06

VMware Workstation 与 Device/Credential Guard 不兼容。在禁用 Device/Credential Guard 后,可以运行 VMware Workstati

vmware 15.5版本之前运行提示的信息:VMware Workstation 与 Device/Credential Guard 不兼容。在禁用 Device/Credential Guard 后,可以运行 VMware Workstation。运行环境:vmware workstation pro 15.0cmd>systeminfoOS 名称: Microsoft Windows 10 专业版OS 版本: 10.0.18362 暂缺

2020-09-27 09:56:57

windows快速搭建Flink官方练习环境

运行环境:windows 10git 2.2x 版本docker-desktopjava 8IDEA 注意:需要开启windows系统的hyper-vgit windows 下载:https://git-scm.com/或者https://git-scm.com/download/winhttps://www.docker.com/products/docker-desktopdocker下载:docker desktop 比较大有374M之...

2020-09-14 15:48:01

kafka 2.4 源码环境搭建

可以查看需要依赖的环境信息:https://github.com/apache/kafka/blob/2.4/gradle/dependencies.gradle// Add Scala versiondef defaultScala211Version = '2.11.12'def defaultScala212Version = '2.12.10'def defaultScala213Version = '2.13.1' gradle: "5.6.2", gradleVersio

2020-09-13 01:28:08

Impala 日期操作相关

获取指定日期的周初和周末:select date_sub(now(),dayofweek(now())-1-1) weekstart,date_sub(now(),dayofweek(now())-1-7) weekend;-- 时间戳取整Impala 2.11 之前的取整当前时间的写法:select trunc(now(), 'YEAR') --取整到年份, 得到当年 1 月 1 日 0 点 0 分select trunc(now(), 'MONTH') --取整到月份, 得到当月 1

2020-09-08 17:54:09

Kafka 2.4 集群搭建及常用操作

运行环境:CentOS 7.6Java 8 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlZookeeper 3.5.8 http://mirrors.ustc.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz kafka 2.4.1 http://mirrors.ustc

2020-09-03 17:47:16

Kafka 发布版本和发布历史

Kafka的发展历史:Kafka早期是由LinkedIn公司内部开发的,并于2011年早期开源,2012-10-23 日从apache incubator 毕业。Kafka的名字来自于创始人Jay Kreps喜欢的奥地利小说Franz Kafka。创始人于年离开linkedIn公司创建了confluence 公司Kafka的发行版本:Kafka的版本号:scala 2.11 表示的scala的版本号。前面的版本号是编译 Kafka 源代码的 Scal...

2020-09-03 17:22:33

apache Kafka 概述

Apache KafkaApache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-criticalapplications.Kafka 最初是由LinkedIn公司采用Scala语言

2020-09-03 10:19:56

Clickhouse的 MySQL ELT和interval 功能等同实现

在MySQL和Clickhouse中分别创建表:mysql> create table scores(id int not null auto_increment primary key,user_id bigint,scores decimal(10,2));Clickhouse> create table scores(user_id bigint,scores decimal(10,2)) engine=Memory;insert into scores(user_id,s

2020-09-01 17:59:50

Clickhouse JSON函数

JSON函数主要有关键字JSON和visitClickhouse> select * from system.functions where name like '%JSON%' union all select * from system.functions where name like '%visit%' FORMAT PrettyCompactMonoBlock;SELECT *FROM system.functionsWHERE name LIKE '%JSON%'UNION

2020-08-31 17:31:18

Clickhouse 数学函数

数学函数列表:示例:参考:https://clickhouse.tech/docs/en/sql-reference/functions/math-functions/https://clickhouse.tech/docs/en/sql-reference/functions/rounding-functions/

2020-08-31 17:25:21

Clickhouse 转换函数

Clickhouse的提供基本的数据类型:整型浮点型日期时间对应的转换函数:判断函数的类型:参考:https://clickhouse.tech/docs/en/sql-reference/functions/type-conversion-functions/

2020-08-31 17:16:32

Clickhouse 参数聚合函数

histogramsequenceMatch(pattern)(timestamp, cond1, cond2, …)sequenceCount(pattern)(time, cond1, cond2, …)windowFunnelretentionuniqUpTo(N)(x)sumMapFiltered(keys_to_keep)(keys, values)参数:https://clickhouse.tech/docs/en/sql-reference/aggregate-functi

2020-08-31 17:10:59

Clickhouse 聚合函数

clickhouse的聚合函数包含了标准SQL的聚合函数,此外还有一些自有的聚合函数:函数功能 函数名 标准OR自有 函数别名 计数 count 求和 sum 求平均 avg 最大值 max 最小值 min 中位数 media any anyHeavy ...

2020-08-31 15:37:10

Clickhouse 数组函数 高阶函数

数组函数的概述:Clickhouse> select version();SELECT version()┌─version()───┐│ 20.8.1.4447 │└─────────────┘1 rows in set. Elapsed: 0.003 sec. Clickhouse> select * from system.functions where name like '%arr%';SELECT *FROM system.functionsWHE.

2020-08-31 11:24:18

Clickhouse 字符串函数

1.基本字符串操作1.1判断是否为空1.2拼接1.3截取1.4字符串长度1.5字符串重复1.6字符串反转1.7追加1.8获取字符串的开头结尾1.9 字符串大小写转换1.10 字符串trim函数1.11 字符串加密和解密2.字符串查找3.字符串替换4.UTF8 相关的函数:Clickhouse> select * from system.functions where name like '%UTF%';SELECT *FROM sys

2020-08-25 21:13:43

Clickhouse 日期时间函数

在日期时间的术语中 粒度主要有 年 月日 时分秒 衍生的有季度和周对应的英语为year,month,day,hour minute second quarter week和时间相关的还有时区的概念,timezone。0.系统自带日期时间函数:1.获取年月日时分秒的函数:2.获取周期时间的开始3.时间周期的加减4.时间段的差距:5.日期时间转换为整数:7.日期时间的格式化参考:https://clickhouse.tech/docs/en/sql-refe...

2020-08-25 19:42:41

Clickhouse 函数 之 数据函数 逻辑函数 比较函数 条件函数

clickhouse支持的函数相当多,要比一般的RDBMS ,Apache Hive,Apache impala提供了更多的函数。随着版本预计还会增加等多的函数名称。Clickhouse> select version();SELECT version()┌─version()───┐│ 20.8.1.4447 │└─────────────┘1 rows in set. Elapsed: 0.005 sec. Clickhouse> select count(1) f

2020-08-25 19:11:55

Clickhouse 设计人员须知

Clickhouse提供了很多性能优化的知识,下面介绍clickhouse designer需要知道的技巧,这样很有利于性能的提升。1.使用字段编码减少数据大小:2.使用物化视图寻找最新的数据:3.使用数组存储键值对:4.使用物化列预计算值:5.使用数据字典替换维度表join:6.使用TTL删除过期数据:7.使用复制替换数据备份(use replication instead of data backup)参考:...

2020-08-05 08:06:29

Clickhouse DBA常用语句

参考:

2020-08-04 23:59:04

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享精英
    分享精英
    成功上传11个资源即可获取