NoSQL漫谈-CSDN博客

原创 HBase与时空索引技术

所谓时空数据，顾名思义，包含了两个维度的信息：空间信息与时间信息。空间信息，以地理位置点最为基础，还包括线、多边形以及更为复杂的多维结构。最典型的时空数据，莫过于移动对象的轨迹点数据，如每隔5秒钟记录的车辆实时位置信息。这类数据，在物联网领域司空见惯，在可预见的未来，这类数据将会出现爆炸性的增长。用HBase存放时空数据时空数据，尤其是移动对象位置点数据，结构简单，但关于吞吐量的要求却往往...

2019-02-20 23:27:11 3554

原创 HBase RowKey与索引设计【精彩演讲PPT】

RowKey设计可以说是一个非常基础的话题，因为每一个HBase的使用/开发人员，都是从表/RowKey设计着手的。但细究起来，RowKey设计也有很多难点，尤其是如何与应用特点很好的结合起来。以下是该PPT的整体介绍思路：这篇演讲的第一部分，先简单介绍了HBase的基础内容，而后探讨了RowKey在读写流程中所发挥的关键作用。这些基础内容，大部分已经在之前的文章中详细写过了：一条数据...

2018-09-16 18:11:31 2959

原创一条数据的HBase之旅，简明HBase入门教程-Flush与Compaction

Flush与Compaction其实属于Write流程的继续，所以本文应该称之为”Write后传“。在2.0版本中，最主要的变化就是新增了In-memory Flush/Compaction，而DateTieredCompaction并不算2.0新加入的特性，2.0版本在Compaction核心算法方面并没有什么新的突破。本文将带你探讨Flush/Compaction的一些本质问题。前文回顾前文《...

2018-07-02 21:33:52 1649

原创从扩线查询能力分析分布式图数据库Titan的设计改进点

本文先简单介绍了图数据库的发展趋势，而后重点介绍了分布式图数据库Titan，围绕图数据库的典型查询(扩线查询)场景，分析了Titan在设计上的一些待改进点。从DB-Engines统计信息来看图数据库发展趋势从DB-Engines的数据库趋势信息来看，从13年至今，Graph DBMS是增长最快速的一类数据库。而下图给出了知名图数据库的数量以及在DB-Engines所收录的341种数据库中所占的比重...

2018-03-28 13:59:28 3953 4

原创一条数据的HBase之旅，简明HBase入门教程-Write全流程

如果将上篇内容理解为一个冗长的"铺垫"，那么，从本文开始，剧情才开始正式展开。本文基于提供的样例数据，介绍了写数据的接口，RowKey定义，数据在客户端的组装，数据路由，打包分发，以及RegionServer侧将数据写入到Region中的全部流程。NoSQL漫谈本文整体思路前文内容回顾示例数据HBase可选接口介绍表服务接口介绍介绍几种写数据的模式如何构建Put对象(包含RowKey定义以及列定义...

2018-03-24 22:50:49 5273 8

原创一条数据的HBase之旅，简明HBase入门教程-开篇

这是HBase入门系列的第1篇文章，介绍HBase的数据模型、适用场景、集群关键角色、建表流程以及所涉及的HBase基础概念，本文内容基于HBase 2.0 beta2版本。本文既适用于HBase新手，也适用于已有一定经验的HBase开发人员。一些常见的HBase新手问题什么样的数据适合用HBase来存储？既然HBase也是一个数据库，能否用它将现有系统中昂贵的Oracle替换掉？存放于HBase...

2018-03-21 22:21:04 29458 21

原创你是否曾质疑过DB-Engine的数据库排名？

在谈论数据库的最新趋势时，我们习惯了参考DB-Engine上所提供的排名信息。每当新的报告出来时，我们也时常看到各个媒体网站争先发布关于最新排名的分析内容。如标题所言，你是否曾质疑过DB-Engine所给出的这份排名？如下是2018年3月份的一份最新排名报告：在这份报告中，整体上来看似乎没有什么大问题。但关于HBase与Cassandra的名次，从我所接触的国内市场的信息来看，明显是反直觉的，于是...

2018-03-18 21:45:53 7634 1

原创从HBase中移除WAL？3D XPoint技术带来的变革

最近，Intel在HBase社区提交了一个标题为”WALLess HBase on Persistent Memory”的问题单，将3D XPoint技术引入到HBase中，并且移除了WAL。虽然方案还没有公布详细的设计细节，本文借机讨论HBase现有架构的一些痛点，以及利用3D XPoint技术可能为HBase带来的一些变革。回顾LSM-TreeLSM-Tree设计源自Patrick O‘Nei...

2018-03-13 13:57:10 780

原创 Jeff Dean的Learned Index为数据库索引带来了哪些启发2

本文继续讨论Recursive Model Index(RM-Index)索引更新涉及的相关问题，以及Learned Index对Hash索引以及Bloom Filter索引如何进行改造来降低索引占用空间。RM-Index索引的更新上篇文章中关于RM-Index的设计以及与B-Tree索引的对比测试结果，主要针对只读场景的内存型数据库系统，也可以应用于更新频率较低的数据仓库系统中，对于Bigtab...

2018-03-09 13:08:55 1854

原创 Jeff Dean的Learned Index为数据库索引带来了哪些启发1

这篇论文在两个月前刚被公布出来的时候，因为带着Jeff Dean的署名曾一度被热传，但直到今天才认真读完这篇论文。Learned Index基于机器学习的方法，对传统数据库索引做了改造。本文先介绍Learned Index的RM-Index模型以及与B-Tree索引的对比。如论文开篇所言，可以将传统的数据库索引(Index)视为一种模型(Model)：B-Tree索引B-Tree索引模型将一个Ke...

2018-03-09 13:07:11 2514

原创 Kudu设计原理初探

如何在一个系统中融合OLTP型随机读写能力与OLAP型分析能力，Kudu提供了优秀的设计思路。本文主要从Kudu的设计论文着手，结合与HBase的对比分析，来初步揭示Kudu的设计原理，部分设计在最新的Kudu版本中可能已经过时，但最初的设计思想依然值得借鉴。1 Kudu的设计初衷在介绍Kudu是什么之前，还是先简单的说一下现存系统针对结构化数据存储与查询的一些痛点问题，结构化数据的存储，通常包含...

2018-03-09 13:02:24 15927

原创图解Kerberos原理

Kerberos是一个常用的认证与授权协议，在初次接触该协议的时候，往往觉得该协议充满复杂的交互逻辑，但在充分理解了之后，又会觉得这过程中其实充满了数学与逻辑的美学。本文主要结合Wiki中关于Kerberos Protocol的定义，增加了一些图解信息，希望能够让读者更直观的理解该协议的内容。整体流程参与的关键角色整体流程的介绍中，关于用户身份认证与服务授权都用“系统”这个抽象角色描述的。但实际上...

2018-03-09 12:59:39 4941 2

原创 OpenTSDB原理系列-数据表设计

上一篇文章《OpenTSDB原理系列-元数据模型》讲到了OpenTSDB的基础概念，以及元数据模型，这篇文章介绍OpenTSDB的HBase数据表设计。OpenTSDB共涉及两种类型的数据：Metrics数据以及Annotation(注释)数据，在将这些数据存到HBase表中时，针对RowKey, Qualifier以及Value信息都做了特殊设计，从而使得存储更加高效。Metrics RowKe...

2018-03-08 22:54:23 2409

原创 OpenTSDB原理系列-元数据模型

本文作为介绍OpenTSDB原理系列文章的第一篇，主要介绍了时序数据以及OpenTSDB的一些基础概念，以及OpenTSDB中的元数据模型定义。什么是时序数据？Wiki中关于”时间序列（Time Series）“的定义：时间序列（Time Series）是一组按照时间发生先后顺序进行排列的数据点序列，通常一组时间序列的时间间隔为一恒定值（如1秒，5分钟，1小时等）。时间序列数据可被简称为时序数据。...

2018-03-08 22:52:40 2215

原创号称十倍性能于Cassandra的ScyllaDB，究竟祭出了哪些技术”利器”？

将一种现行流行的技术，换一种语言来重写，多以失败告终，但用C++重写Cassandra的ScyllaDB可谓是一个成功的典范。基于Seastar的ScyllaDB，能够很好的发挥新型硬件的优势，这是ScyllaDB性能有质的突破的一大重要原因，本文探讨ScyllaDB的一些关键技术。Benchmark先来看看ScyllaDB官方发布的几组与Cassandra的性能对比数据：Samsung Benc...

2018-03-08 22:48:53 8250 2

原创一份2018年最新的NoSQL测试报告

一份2018年最新的NoSQL测试报告最近，ArangoDB官方发布了一份关于ArangoDB与其它主流NoSQL系统的对比测试报告，出于商业宣传的目的，测试所选取的场景可能是ArangoDB所擅长的场景，但好在这些场景还算是比较普遍的场景，从客观的角度来看依然是有参考价值的。ArangoDB相信关于”One size does not always fit all“的思想已经深入人心，然而，Ar...

2018-03-08 22:44:48 2083 1

nosqlnotes的博客