15 七七侠

尚未进行身份认证

我要认证

从事分布式存储、大数据、云计算、虚拟化、 Linux 操作系统内核等研发工作

等级
TA的排名 1w+

Hummer Sensor Data Platform 技术架构介绍

平台架构组成 (访问地址:www.xushiiot.com)Hummer Sensor Data Platform 主要任务涉及传感器动产动态数据存储和数据分析两个环节。    - 数据存储要求能支撑 : 海量、高速的动态数据存储与检索(数据量达TP级别、每秒数据量可达百万条);    - 数据分析要求能支撑 : 实时数据统计、预测、异常检测、Adhoc

2015-03-26 18:58:47

Hummer Time Series DB 数据存储模型

支持定长/变长/可空字字段     - 对于变长和定长字段采用不同的存储结构,最大程度降低存储空间和解析代价;同时稀疏记录中大量空字段进行特别优化处理,避免空字段占用额外存储空间,从而大大节省了稀疏记录的存储空间多种排序格式     - 时序数据处理的主要特征 : 时间断面(区间)上进行精确、模糊、条件检索 —— 例如 : 查找国庆期间查询给定嫌疑人通讯踪迹(精

2015-03-26 18:51:56

Hummer云端demo介绍

访问地址 www.xushiiot.com       Hummer云端实验室是Hummer.SensorData.Platform的WEB用户接口。”实验室”让你能够以交互方式创建数据源,定义监控规则,查看告警,执行SQL查询。并可视化你查询结果集。总得来说”实验室”提供两大类功能:创建数据源执行查询分析,定义监控规则并实时监控你写入的数据。 从数据产生开始,建议按如下步骤操作:

2015-03-26 18:51:43

Hummer TimeSeries DB 技术特色简介

容量和性能相关特性:     支持海量数据存储(分布式下可轻松应对百亿至万亿记录)     支持高速数据写入(单节点可达10M条记录/秒,集群性能线性提升)     支持高速检索(单节点每秒可扫描20M条记录/秒,集群性能线性提升)架构相关特性:     存储层使用 Share Nothing 架构 ,确保系统的高可扩展性。     查询层使用 MP

2015-03-26 18:51:08

Hummer TimeSeries DB Console 管理控制台

内容概述:Hummer Timeseries DB一个高可靠的大规模分布式时序数据库。 现存的分布式系统在具备高扩展性、高并发性、高可用性等优良特性同时,也为系统安装、运维、监控、管理带来的相应的难题(不再赘述)。Hummer TimeSeries DB开发人员在立项伊始,在总结以往开发、维护分布式系统经验的基础上,提出了以降低用户安装、运维、监控、管理系统复杂度为目标的控制台开发计划。Humme

2015-03-26 18:49:42

Hummer TimeSeries DB 安装过程图例介绍

分布式系统安装总是令人头疼,为此Hummer TimeSeries DB 专门开发了自动基于WEB的安装引导程序,帮助用户已快速简便进行分布式部署、配置。 本文将给出操作步骤和图例 —— 安装环境为三台centos 6.5 系统虚拟机(ip地址是192.168.122.101-103)开始安装给定目标集群ip地址 —— 安模式添加允许连续ip的机器

2015-03-26 18:49:39

Hummer TimeSeries DB 技术架构介绍

Hummer Timeseries DB 系统架构主要特点有:A. Hummer Timeseries DB 系统采用分层模块化设计,各层之间和各模块之间属松耦合关系。分层结构利于既各功能层独立演化,且容易代码维护;另外在使用部署时根据场景需要进行取舍。B. 与优秀开源软件实现对接,既避免了再造轮子(比如使用改造impala作为并行查询层、使用zabbix 作为系统监控层)的麻烦,

2015-03-26 18:48:21

Hummer TimeSeries DB 中关于RowId 的使用

RowId 是什么 ?     Hummer中的rowid 和 oracle 中的rowid 目的近似、实现不同。Rowid的目的都是唯一标示一条记录,而且也都属于伪列。但Oracle中rowid是有数据的物理位置计算获得,而Hummer中的rowid则是由key、时间戳、binlogid(数据落地时将自动加到记录中)组成 (也正因此Oracle rowid是定长的,Hummer 中row

2015-03-26 18:48:19

Hummer TimeSeries DB 优势功能(操作)介绍

Hummer TimeSeries DB 针对时序数据存储和查询进行了特色优化,尤其适合时序数据高速写入、按时段(以及key)进行快速查询、数据量估算、数据快速删除 。 接下来来我们就查询优势场景进行简要介绍(我们已Demo 中tpass表为例说明——该表时间跨度1年、pkt 格式)。给定时段查询按时间范围查询会利用到时序引擎数序按时间排序优势 —— 数据按

2015-03-26 18:46:54

Hummer TimeSeries DB Docker Demo 使用说明

Hummer TimeSeries DB Demo 是借助于Docker 虚拟化技术制作的免安装演示环境,为用户提供初次体验。该演示DEMO中预先创建了两张排序规则为PKT(时间分区按天)的时序表,其中tpass采用唯一key模式、tpass2采用重复key模式,并分别写入了200万、400万数据(纪录都重复一遍)— demo 包含docker安装文件和预写入数据,大约700M上下。

2015-03-26 18:44:55

Hummer TimeSeries DB (蜂鸟时序数据库)技术介绍

Hummer TimeSeries DB (蜂鸟时序数据库)技术介绍1. 背景介绍    不知不觉中,我们已经跨入“大数据”时代,而大数据的主要来源是来自于各种“传感器”所产生的时序数据记录。这些时序数据不但数量越积越多、而且频率也越来越快,但传统数据库对于这种数目庞大、更新频繁的时序数据,无论存储或检索都难以应对(“存不下”、“查不出”)。因此工业界当前迫切需要一种面向时序数据特征而

2015-03-26 18:44:36

物联网(IOT) 数据库需求和当前技术解析

物联网是当前最具发展潜力的技术潮流,到2020年全球将有200亿—2000亿物联网设备(Gartner 预测260亿,ABI预测300亿,Oracle 预测500亿,Intel 预测2000亿)。 管理众多的联网设备产生的(动态)数据,相比管理传统档案(静态)数据要复杂很多 —— 最重要的难点是“数据量”大幅提升和“处理实时性”要求显著加强。数据量:数据量提升包含数据总量和数据产生

2015-03-26 15:35:51

当虚拟机遇见Hadoop -- 基于hadoop的开源EBS实现思索

当虚拟机遇见Hadoop -- 基于hadoop的开源EBS实现思索 (康华)      谈起云计算,一些人会滔滔不绝的谈论虚拟机,而另一些人则口若悬河的宣讲hadoop。相互之间嗤之以鼻,都自认为是正宗,谈到对方,颇有"道不同,不相为谋"的味道。—— 有点象数学史上搞几何的和搞代数的相互不服那个时代!:)      当然相互不服自然有各自的大道理。虚拟机的拥戴者说我们虚拟机可“化整为零”

2013-04-09 12:47:38

虚拟化网络演进模拟对话

主题论述虚拟化环境网络实现的选择和技术发展。其中涉及vlan、vxlan、gre、vngre、sdn、openflow等当前颇具争论的技术。   对话人物TOM - 技术精湛,认真严谨、但略显保守的网络工程师。虚拟人物,俗称猫兄。JERRY- 思维灵活、但略为冒进的从事云计算(弹性云)服务售前工程师。虚拟人物,俗称鼠兄。_@@@@@@@@@_

2012-09-04 22:13:03

面向数据中心(IDC)的云OS架构见解

面向数据中心(IDC)的云OS架构见解   本文不久前发表于《网络世界》,个人见解,姑且听之。摘要:    面对当前急速膨胀的数据存储和处理需求,即便再强的单机(如小型机)也无法满足,所以我们不得不借助于规模化的集群系统来处理。而如何将集群机器的计算资源和存储资源进行合理组织、运用和调度,则是目前大中型数据中心首要面对的问题,如果解决不好不但会造成资源浪费严重,还会造成管理成本居高

2012-04-30 10:42:05

谁来拯救云计算

谁来拯救云计算—   云计算的技术路线探讨  BY 康华 引言当前的“云计算”一词已经被神话,似乎快成了放之四海皆准的时髦真理,就好比当初言必称“希腊”一般,表面光芒四射,但实际上却无比教条、且越来越令人生厌。作为“云计算”的一个普通开发者和是推广者,很有必要通过亲身实践,以正视听,希望能让后来者(云计算系统的开发者)少走弯路——有所为、有所不为。 前言我们所要谈论

2012-02-03 17:58:59

虚拟机镜像存储系统—HLFS介绍

非常欢迎感兴趣的朋友能加入我们的开源项目!!!CLOUDXY立足于实现虚拟子网(以太网)的弹性云计算平台 该项目主要包含有两个子项目: HLFS - 虚拟机分布式镜像存储 (类似于亚马逊EBS,首先发布出来) ECMS - 虚拟环境管理系统 (后续发布) How-To-Join-Us — http://code.google.com/p/cloudxy/wiki/HlfsJ

2011-11-28 23:33:39

虚拟机内存复用技术的比较(主要针对XEN系统)

业界就该问题定义为虚拟机内存复用(复用干嘛? 当然是为了跑更多的虚拟机呀!) :memory overcommit.围绕次问题主要有4种技术手段,下面简要介绍和分析

2010-11-12 13:10:00

试问什么样的网络存储系统最适合弹性云计算

本文首先就 ”弹性云” 的存储需求进行分析,尝试的归纳出弹性云应用环境对存储的普遍需求;接下来针对这些具体需求,一一检验了当前林林总总、颇为流行的典型网络存储系统(如dynamo,GFS,Hadoop Fs等)的功能特性,分析其得失;再最后抛砖引玉——提出一种自认为比较理想的网络存储架构。为了避免空洞的说理。在本文后期,我“试想”在基于XEN虚拟机的弹性云环境中到底如何实施这一理想化的存储系统。

2010-08-07 11:12:00

从运行环境来看云计算的特征

突然发现,很多公司一夜之间变戏法似的迅速的推出了自己基于云的业务系统:比如存储云,或者基于云环境的数据仓库等。似乎凡是冠以云的名义的系统便更有技术含量,能狠狠的吹嘘一番,赚足眼球。但是什么才叫真正的云呢,它和传统的集群系统有何差别呢?因为云的定义目前可谓是众说纷纭,未有定论——从而任你如何标榜大概都无可厚非。的确如此,估计谁也不能给出云的准确、唯一的定义。原来大家能达到共识的是——云作为一种商

2009-09-10 18:10:00

查看更多

勋章 我的勋章
    暂无奖章