- 博客(22)
- 收藏
- 关注
RSS订阅
原创 Clickhouse的集群安装和部署
一、安装环境本次安装使用clikchouse用户来安装，安装环境为CetOS7。其余linux也可适用（略有变动）Clickhouse的环境需求官网也有介绍：即，CH只支持Linux，且必须支持4.2 SSE指令。若是在其他环境中想要搭建CH，可以使用docker或者使用线上云服务。System requirements for pre-built packages: Linux, x86_64 with SSE 4.2.检测系统是否支持SSE4.2grep -q sse4_2 /proc/c
2021-02-26 16:52:39
770
原创 Clickhouse数据类型和数据表类型
一、数据类型Clickhouse数据类型可以划分为三种，分别是基础类型、复合类型和特殊类型。1. 基础类型1.1 数值类型1）Int有着无符号整数和有符号整数两种。名称大小（字节）范围普遍观念Int81-128 到 127TinyintInt162-32768 到 32767SmallintInt324-2147483648 到 2147483647IntInt648-9223372036854775808 到 9223372036
2021-02-26 15:33:50
3923
2
原创 Clickhouse客户端访问（CLI和JDBC）
Clikchouse底层支持HTTP和TCP两种协议。其中HTTP的端口为8123，它拥有更好的兼容性。TCP协议则拥有更好的性能，默认端口为9000。一般都是通过CLI和JDBC这两些封装接口去访问，因为它们更加简单和方便。
2021-02-07 11:54:14
2146
原创 Clickhouse的架构设计
最近在读《ClickHouse原理解析与应用》，把一些重点的东西整理出来分享。1、Column和FieldClickhouse中最基础的单位是Column和Field。 在Clickhouse中Column对象分为接口和实现两个部分，IColumn接口对象中，定义了对数据操作的各种关系运算的方法。 Field对象代表一个单值。 2、DateTypeDateType负责数据的序列化和反序列化工作。但是DateType不直接负责数据的读取，而是由Column或Fi...
2021-02-05 18:54:23
413
2
原创 Clickhouse单机安装详解
一、安装环境Clickhouse的环境需求官网也有介绍：即，CH只支持Linux，且必须支持4.2 SSE指令。若是在其他环境中想要搭建CH，可以使用docker或者使用线上云服务。System requirements for pre-built packages: Linux, x86_64 with SSE 4.2.检测系统是否支持SSE4.2grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" ||
2021-01-29 19:31:57
499
原创 Yarn基本概念
Yarn简介Yarn是Hadoop中的四大组件之一。Hadoop 的四大组件：common、HDFS、MapReduce、YARN
2021-06-16 20:29:36
2124
原创 JsonStr转为指定T对象
可以使用ali的fastjson来实现// 需要转换成对象的JsonStrString jsonStr = "{\"uid\":11,\"name\":\"张三\"}"编写对应的对象类class Person{ private long uid; private String name; public long getUid() { return uid; } public void setUid(long uid) { this.uid
2021-03-04 10:03:57
303
1
原创 Clickhouse为什么这么快？
一说到Clickhouse，大家都知道它非常快，那么CH为什么这么快，是因为使用了向量化、列式数据库还是其它。下面我们一起来探索它的奥秘。（《ClickHouse原理解析与应用实践》总结）1、硬件方面Clickhouse会在内存中进行Group By，并使用HashTable装载数据。与此同时，CH对于CPU L3级别的缓存也特别在意，因为一次L3级别缓存的失效都会带来70～100ns，积少成多。一个32G，则可能会浪费5亿次/秒的运算。也正是因为如此，CH能在基准查询中做到1.75亿次/秒的.
2021-02-05 19:31:34
1789
原创 ClickHouse简介
一、概述ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是由俄罗斯公司Yandex于2016年6月15日开源的一个项目，简称为CH。其处理数据的速度比传统方法快 100-1000 倍。二、适应场景 数据批量导入（数据底层会异步做数据同步，少量多次的插入会比较耗资源） 少修改或者不修改当前数据（ch修改数据会重写整个partition，较为耗资源） 高时效、低频率查询（由于ch执行的时候会调用一半的CPU，追求极致的时效） ...
2021-01-26 16:47:27
616
1
原创 Clickhouse性能测试
一、数据导入性能测试 文件名称 文件大小 数据量大小 导入花费时间 表空间大小 customer.tbl 317M 300W 27s 114M lineorder.tbl 66G 6亿 1h25m16s 16.7G part.tbl 135M
2020-12-14 19:25:43
1029
原创 阿里的一次急匆匆的面试经验
第一轮面试也没有过，太难受了，面试的是JAVA开发。今天面试官可能有事，也挺赶时间的，也没有让我自我介绍便直接进入正题。第一问：MySQL数据库中两种数据引擎的区别？第二问：Mysql的索引结构是怎么样的？第三问：Exception的父类是什么，或者说它有没有父类第四问：简单介绍下Spring中的IOC和AOP第五问：Java中如何解决double和float精度不准的问题...
2020-05-06 19:09:54
351
原创 Solr高可用（shard宕机不影响查询）
1、把需要修改的配置文件从Solr下载到本地执行命令：solrctl --solr http://13.1.17.67:8093/solr--zk 13.1.17.67:2181,13.1.17.68:2181,13.1.17.69:2181,13.1.17.70:2181,13.1.17.71:2181/solr instancedir --get SOA_HBASE_JYLS /bigd...
2019-04-11 15:44:33
1025
原创 Flume跨服务器收集信息(A->B)
继上次flume实时读取数据到Oracle。https://blog.csdn.net/sileiH/article/details/830234041、搭建材料准备 jdk 1.8 flume1.8 两台服务器 2、安装好jdk1.8，然后解压flume1.8，并改名为flume放于/app/中 3、编辑配置文件。# 服务器A(192.1...
2018-10-22 20:27:33
421
原创 Flume读取本地日志传递到Oracle中
1、搭建材料准备 jdk 1.8 flume1.8 用于连接oracle数据库： ojdbc6.jar 解析JSON字符串： commons-beanutils-1.8.3.jar commons-collections-3.2.1.jar commons-lang-2.6.jar com...
2018-10-12 10:44:18
1869
原创 远程无法访问Mysql的问题
访问远程的Mysql数据库的时候，发现访问被拒绝了。 解决方案： 打开mysql控制台，输入 use mysql;show tables;2、select host from user;update user set host ='%' where user ='root'; ...
2018-10-11 20:00:47
591
原创 从前端传送一个对象（包含一个对象和一个数组）
需要传送的内容：var json = { "datavConfig": { screenHeight: 768, screenWidth: 1366, viewName: "测试", background: "canvas.png", fontColor: "#FFFFFF" },...
2018-10-11 19:57:44
6820
1
原创 Apache中组件的日志文件重建
Apache组件中日志文件太大了，重新建立的步骤（Flume组件）：#查看原本文件的用户权限和组ll--rw-r--r-- 1 flume flume 585656556 Aug 30 16:04 flume-cmf-flume-AGENT-study-node1.log#删除日志文件,新建一个rm -rf flume-cmf-flume-AGENT-study-node1....
2018-08-30 16:24:07
232
原创 Redis的安装与测试
1、获取redis的安装包。https://pan.baidu.com/s/1UCEq2Hsl9kjXZhzQeW9syA密码：imdh2、软件安装、 将redis-3.2.9.tar.gz安装包拷贝到Linux服务器目录下 解压redis-3.2.9.tar.gz,执行tar xzf redis-3.2.9.tar.gz 安装redis-3.2.9.tar....
2018-08-22 09:43:49
285
原创 在准备CM和CDH的环境的时候遇到的坑
1、防火墙的操作 CentOS 6.X版本： 查看防火墙状态：service iptables status 关闭防火墙（临时）：service iptables stop 关闭防火墙（永久）：chkconfig iptables off 查看防火墙是否重启动自动启动：chkconfig iptables --list ...
2018-08-16 20:14:26
867
原创 java程序执行过程中动态加载Jar包
最近的系统需要添加一个新的功能，就是在不重启服务的情况下，动态加载用户上传的jar包，先来过一遍简单的jar包的动态加载。 方法一：通过配置文件读取jar包位置 方法二：把jar的位置放置于固定的位置 首先来看一下大致文件结构： 第一步，定义一个接口：public interface InterfaceAction { String ac...
2018-08-16 16:21:47
7116
1
原创 Java 泛型编程
泛型中使用通配符的两种形式： 子类型限定：<? extends xxx> 超类型限定：<? super xxx> 举个栗子，总共存在三个类： Pire<T> Employee Manager //类Manager enxtends 类Employee//存在一个方法：public static void...
2018-08-16 15:33:15
499
原创 CM和CDH安装过程中遇到的问题
1、CM和CDH在安装的时候遇到的问题： 通过Cloudera WEB界面安装Hadoop过程中，在安装Parcel步骤时，一个节点分配激活失败，报错信息显示”主机运行状况不良”，如下图所示。 解决方法：删除agent目录下面的cm_guid文件，并重启失败节点的agent服务恢复。那一台服务器的状况不良，在哪一台中执行。cd /var/lib/cloudera-scm-age...
2018-08-16 09:23:58
5946
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人