vkingnew-CSDN博客

原创 Centos 7 使用snap安装redis [不支持]

redis centos snap

2022-09-18 16:45:26 1469 1

原创 Redis 6.2 启动关闭

Redis 提供了多种启动方法。第一种：默认的启动方法# redis-server27792:C 13 Jul 2021 23:57:17.142 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo27792:C 13 Jul 2021 23:57:17.142 # Redis version=6.2.4, bits=64, commit=00000000, modified=0, pid=27792, just started27792:C 13

2021-07-14 00:22:16 944

原创 CentOS 8.3 Redis6.2.4 编译安装部署

# cat /etc/centos-releaseCentOS Linux release 8.3.2011-- 前提准备：# yum -y install gcc tar tcl -- 软件下载：# wget https://download.redis.io/releases/redis-6.2.4.tar.gz-- 编译安装：（无需要configure）# tar -xzvf redis-6.2.4.tar.gz -C /usr/local# cd /usr/local/redis.

2021-07-13 23:52:47 609

原创 CentOS 8 安装部署Postgresql 13

安装：# sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm# sudo dnf -qy module disable postgresql# sudo dnf install -y postgresql13-serverDependencies resolved.==================.

2021-07-13 18:49:11 1122

原创 MySQL 8.0 binlog 过期设置

mysql8中使用binlog_expire_logs_seconds设置日志过期时间，以前的参数expire_logs_days废弃不用了。mysql> select version();+-----------+| version() |+-----------+| 8.0.22 |+-----------+1 row in set (0.01 sec)mysql> show variables like '%expire%';+---------------.

2021-04-21 20:14:30 2627 2

原创 clickhouse 避免可能的死锁 deadlock

In version 19.14 a serious issue was found: a race condition that can lead to server deadlock. The reason for that was quite fundamental, and a temporary workaround for that was added ("possible deadlock avoided").Those locks are one of the fundamental t.

2021-04-21 18:14:57 3518

原创 clickhouse pivot / unpivot

这里需要使用clickhouse的map操作，需要在21.3+版本PIVOT：CREATE OR REPLACE TABLE monthly_sales(empid INT, amount INT, month TEXT) ENGINE=Memory(); INSERT INTO monthly_sales VALUES (1, 10000, 'JAN'),(1, 400, 'JAN'),(2, 4500, 'JAN'),(2, 35000, 'JAN'), (1, 5000, 'FEB')

2021-04-21 16:19:48 2325

原创 clickhouse lag/lead

clickhouse中的lead和lag实现有多种方法，在标准的SQL中使用的windows function即可实现。示例数据：CREATE TABLE llexample ( g Int32, a Date )ENGINE = Memory;INSERT INTO llexample SELECT number % 3, toDate('2020-01-01') + numberFROM numbers(10);SELECT * FROM llexa.

2021-04-21 16:14:48 4574

原创 Clickhouse security

参考:https://docs.altinity.com/operationsguide/security/clickhouse-hardening-guide/https://docs.altinity.com/operationsguide/security/clickhouse-hardening-guide/user-hardening/https://docs.altinity.com/operationsguide/security/clickhouse-hardening-guid

2021-04-21 16:06:19 240

原创 clickhouse 使用array 和日历join

示例数据：create table metrics (counter_id Int64, timestamp DateTime, metric UInt64) Engine=Log;INSERT INTO metrics SELECT number % 3, toDateTime('2021-01-01 00:00:00'), 1FROM numbers(20);INSERT INTO metrics SELECT number % 3, toDateTime('2021-0.

2021-04-21 15:52:14 859

原创 Clickhouse 新特性自20.3版本

altinity的官方文档要比clickhouse总结的更加清晰直接明了。参考：https://clickhouse.tech/docs/en/whats-new/changelog/https://docs.altinity.com/altinitystablerelease/releasenotes/releases/21.1/211/https://docs.altinity.com/altinitystablerelease/releasenotes/releases/..

2021-04-21 15:48:30 685

原创 Clickhouse 兼容ANSI SQL mode的设置

clickhouse 可以通过设置一些参数让展示的效果更加符合标准SQL，但是可能（maybe）会更慢一些。SET join_use_nulls=1; -- introduced long agoSET cast_keep_nullable=1; -- introduced in 20.5SET union_default_mode='DISTINCT'; -- introduced in 21.1SET allow_experimental_window_functions=1; --int.

2021-04-21 15:33:20 592

原创 Clickhouse zookeeper 参数优化

在clickhouse集群中，经常遇到和zookeeper压力相关的问题，可以试试如下方法： 1，建表语句设置use_minimalistic_part_header_in_zookeeper = 1，降低clickhouse在ZK上存储的数据量 2，合理调整zk内存使用上限 3，zoo.cfg配置文件中增加参数：(效果较为明显) MaxSessionTimeout=120000 forceSync=no auto.

2021-04-21 14:44:16 3319

原创 clickhouse 之windows function

Window Functions 在clickhouse的需求和呼声很高，早期的版本需要借助array函数，在21.1版本进行了开窗函数的初步支持。Initial support in version 21.1,Already supported:OVER (PARTITION BY ... ORDER BY ...)；aggregate functions over windows；WINDOW clause;upcoming:non-aggregate window functio...

2021-02-08 02:24:01 2999 7

原创 Clickhouse CTE 语句的支持（功能完整）

在clickhouse早期的版本上不支持CTE语句，在一些版本上CTE语句支持度不完整。至少从clickhouse 21.1版本开始对CTE语句的支持就日趋完善了，已经支持递归查询。node01.example.com :) select version();SELECT version()Query id: b7e99b50-20d0-4695-a75e-5408230a9c1f┌─version()─┐│ 21.1.3.32 │└───────────┘-- 递归查询：

2021-02-08 01:35:24 2609 3

原创 windows 安装部署influxdb

下载软件：https://dl.influxdata.com/influxdb/releases/influxdb-1.8.4_windows_amd64.zip2.0版本的暂时么有windows版本解压到相应的文件设置环境变量：C:\dev\influxdb-1.8.4-1C:\dev\influxdb-1.8.4-1>influxd.exe 8888888 .d888 888 8888888b. 888888b..

2021-02-05 11:20:22 1891

原创 InfluxDB 概述

什么是时序数据库按照时间顺序，设备状态的变化数据依时间顺序记录的数据库。Time series DB比如CPU的利用率，某一时间的环境温度等，时序数据是以时间作为主要的查询维度，通常会将连续的多个时序数据绘制成线，制作基于时间的多维度报表，用于揭示数据背后的趋势，规律和异常，进行实时在线的预测和预警。时序数据普遍存储在IT，devops，物联网，车联网等系统。时序数据具有以下三个特点：数据是随着时间追加的，无更新数据数据通常按照时间顺序抵达时间是一个主要的坐标轴...

2021-02-05 11:00:41 981

原创 pip 报错： Read timed out

报错信息： pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out.原因：默认的超时时间较短，还有就是默认读取的pypi的网址，在国内的网络速度较慢。解决办法： pip install beautifulsoup4 --default-timeout=100 -i http://py

2021-01-15 12:17:39 264

原创 numpy报错

报错信息：RuntimeError: The current Numpy installation ('C:\\soft\\Python\\Python38\\lib\\site-packages\\numpy\\__init__.py') fails to pass a sanity check due to a bug in the windows runtime. See this issue for more information: https://tinyurl.com/y3dm3h86

2020-12-17 12:51:39 649

原创 Jupyter Notebook 在Windows下的安装和使用

Jupyter Notebook支持两种安装方式，支持conda 和pip，而pip 则更加通用和常见。pip的安装：C:\>pip install jupyterlab notebook voila -i http://pypi.douban.com/simple --trusted-host pypi.douban.com由于在国内需要去官方网站下载资源，网速较慢可以使用国内的镜像网站的资源。pip install jupyterlab notebook voila -i htt

2020-12-17 11:25:30 3012

原创 Impala 设计指导

物理硬件schema：impala-shell -i localhost --quiet参考：https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_schema_design.html

2020-12-09 16:29:54 172

原创 Cloudera CDP 7 版本以及软件依赖

目录版本概述：Cloudera 7.1.4版本的软件版本：各个软件的依赖关系如下：版本差异：版本概述：在进入到CDH 7版本之后 Cloudera发布了两个发型包，一个用于运行在云上的（CDP public cloud），一个是客户自己安装的（CDP Data Center）。在2020年9月24日之后CDP Data Center 改名为CDP Private CloudWith the recent launch of CDP Private Cloud f...

2020-11-23 21:17:34 6551 4

原创 Cloudera CDP 7 中不支持的Hive 3 的功能

Cloudera 7中的Hive不支持的接口和功能：Unsupported InterfacesDruidHcat CLIHive CLI (replaced by Beeline)Hive ViewLLAP (available in CDP Public Cloud only)MapReduce execution engine (replaced by Tez)PigS3 (available in CDP Public Cloud only)Spark executi...

2020-11-23 12:13:16 612

原创 Impala HA

Impala的高可用：1.Haproxy2.nginx参考：http://impala.apache.org/docs/build/html/topics/impala_proxy.htmlhttps://blog.csdn.net/abyslll/article/details/88019310https://blog.csdn.net/lvtula/article/details/89886157

2020-11-23 12:04:59 326

原创 Impala 端口列表

Scope / Role Startup Flag Default Port CommentImpala Daemon --beeswax_port 21000 Port on which Beeswax client requests are served by Impala Daemons.Impala Daemon --hs2_port 21050 Port on which HiveServer2 client requests are served by Impala Daemons.Im.

2020-11-23 11:39:42 691

原创 Impala JOIN语句

支持的JOIN列表：Self-joinsInner joinsOuter joinsEquijoins and Non-EquijoinsSemi-joins:Anti-joins不支持的JOIN：不支持的JOIN：Natural joins原因： Impala不支持自然连接运算符，这是为了避免不一致或庞大的结果集。自然连接去掉了ON和USING子句，而是自动连接左表和右表中具有相同名称的所有列。对于快速发展的数据结构（如Hadoop中通常使用的数据结构），不建

2020-11-23 11:31:30 978

原创 Impala 3.2 版本以来的新特性

impala 和CDH的版本：CDH 6.3.2 impala 3.2CDP 7.1.x Impala 3.4impala 3.4 将适Impala 3版本的最后一个版本，此后社区的重点将是Impala 4 版本Impala 4 新特性：1.删除对过时操作系统（Centos6、Ubuntu14等）的支持、删除对Sentry的支持、删除对lzo的支持2.执行实例支持多线程计算Impala在IO层是多线程的，每个executor(impalad)多线程地从多个磁盘以及网络读取数据..

2020-11-23 10:47:28 2365

原创 Cloudera CDH 常见的版本

　　 7.1.4 7.1.3 7.1.2 7.1.1 7.0.3 6.3.2 5.16.2 　 2020/10/14 2020/8/10 2020/6/4 2019/11/24 2019/11/12 2019/6/18 　 Component Version Version Version Version Version Version Ve...

2020-11-20 22:39:09 8372 8

原创 Impala 性能调优和设计

优化思路：Impala中，提供了10大类优化思路和方法：1.分区2.连接查询性能考虑3.表和列信息统计4.Impala性能测试：5.基准Impala查询：6. 控制Impala的资源使用情况：7.使用Impala查询Amazon S3的文件系统。8.HDFS缓存9.执行计划和查询概况10. 数据块倾斜表分区：基于不同列值进行查询，避免大量无效信息过滤，和常规数据库分区理念一致。连接查询性能考虑：连接查询的主要类，你可以在SQL级，相对于变化的物理因素如文件格式或硬件配置。有

2020-11-19 19:40:04 819

原创 Impala 和 Hive 之间的SQL 差异

基于impala 3.2版本：概述：impala 遵循SQL-92标准，但是在内置函数上有了不少自己的扩展。由于impala和hive共享相同的metastore数据库，并且它们的表经常互换使用。impala 不支持的Hive的功能：1.函数：ovar_pop, covar_samp, corr, percentile, percentile_approx, histogram_numeric, collect_setXML 函数2.数据类型：DATE 类型和binary类

2020-11-19 19:09:41 2054

原创 Impala SQL的迁移

基于 impala 3.2 版本从其他的数据库系统中迁移需要考虑如下几个方面：1.DDL和DML语句的迁移2.数据类型的适配3.SQL语句的适配4.SQL结构的双检5.SQL语句和语法的验证参考：https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_porting.htmlhttp://impala.apache.org/docs/build3x/html/topics/..

2020-11-19 17:47:35 1030

原创 Impala 数值函数

1.求绝对值，正值，负值：ABS(numeric_type a)POSITIVE(numeric_type a)NEGATIVE(numeric_type a)NEGATIVE 等同于 -abs(a)POSITIVE 等同于 abs()2.求余数，求商：QUOTIENT(BIGINT numerator, BIGINT denominator), QUOTIENT(DOUBLE numerator, DOUBLE denominator)FMOD(DOUBLE a, DOUBL

2020-11-19 17:13:04 2465

原创 Impala 聚合函数和分析函数

版本：impala 3.2impala 支持的聚合函数如下：APPX_MEDIANAVGCOUNTSUMGROUP_CONCATMAXMINNDVSTDDEV, STDDEV_SAMP, STDDEV_POPVARIANCE, VARIANCE_SAMP, VARIANCE_POP, VAR_SAMP, VAR_POPimpala支持的分析函数：Analytic functions (also known as window functions)over语句的语法：.

2020-11-19 16:29:47 4006

原创 Impala 转换函数和其他函数

基于impala 3.2版本1.转换函数：CAST(expr AS type)2.数据类型判断：TYPEOF(type value)3.UUID函数select uuid() UUID;2e2e4db5-6fe3-436d-92a8-bdecc40f1ddd4.数据库的辅助信息函数：4.1 查询登录的数据库：CURREN_DATABASE()4.2.查询登录的用户:user() ,EFFECTIVE_USER() ,LOGGED_IN_USER()4.3查询版本.

2020-11-19 15:44:21 1046

原创大数据性能测试介绍

大数据性能测试的目的1.大数据组件的性能回归，在版本升级的时候，进行新旧版本的性能比对2.在新版本/新的生产环境发布之后获取性能基线，建立可度量的参考标准，为其他测试场景或者调优过程提供对比参考3.在众多的发行版本中进行测试比对，为PoC测试提供参考数据4.支持POC测试，得出结论，到时候可以根据业务模型和需求，或者根据客户需求选择不同的方案。5.在客户方进行性能测试，达到客户要求的性能标准满足客户使用的需求。性能测试的时机：1.上线新版本2.上线新的环境/新的主机3.开

2020-11-19 10:11:59 1773 3

原创 Impala 条件函数

支持的条件函数列表：CASECASE2COALESCEDECODEIFIFNULLISFALSEISNOTFALSEISNOTTRUEISNULLISTRUENONNULLVALUENULLIFNULLIFZERONULLVALUENVLNVL2ZEROIFNULL1.条件判断2.NULL处理3.TRUE FALSE 处理4.NULL ZERO处理参考：http://impala.apache.org/docs/build/html/topic.

2020-11-19 00:40:06 1241

原创 Impala JSON函数

在impala 6.3 版本中加入JSON解析函数，此前的版本则没有提供JSON解析函数需要自己编译安装。The following characters are supported in the selector JSON path:$ : Denotes the root object. : Denotes the child operator[] : Denotes the subscript operator for array* : Denotes the wildcard for

2020-11-19 00:30:41 4993

原创 Impala 字符串函数详解

impala 3.2版本参考：https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_string_functions.htmlhttp://impala.apache.org/docs/build/html/topics/impala_string_functions.html#string_functions__ascii

2020-11-19 00:17:42 8268

原创 Impala 日期时间函数详解

基于impala 3.2 版本时间的基本单元 time_unityear 年month 月week 周day 日hour 小时minute 分钟秒 second毫秒 Millisecond （us） 0.0001 s 1/10^3 s微妙 Microsecond （μs） 0.000001 s 1/10^6 s纳秒 Nanosecond （ns） 0.000000001 s 1/10^9 s 此外还有一些时间单元季度 qu.

2020-11-18 22:31:13 20773

原创 Clickhouse 生成日历表

clickhouse的 date和datetime的时间范围目前只支持[1970-01-01 00:00:00, 2105-12-31 23:59:59].创建表calender ，一个字段用于存储日期即可。create table calender(date_dt datetime) engine=Log;CREATE TABLE default.calender_details( `date_dt` DateTime COMMENT '日期 2016-01-01 00:00..

2020-11-07 00:52:19 2390 2