七七侠-CSDN博客

原创 Hummer TimeSeries DB 技术特色简介

容量和性能相关特性：支持海量数据存储（分布式下可轻松应对百亿至万亿记录）支持高速数据写入（单节点可达10M条记录/秒，集群性能线性提升）支持高速检索（单节点每秒可扫描20M条记录/秒，集群性能线性提升)架构相关特性：存储层使用 Share Nothing 架构，确保系统的高可扩展性。查询层使用 MP

2015-03-26 18:51:08 4768

原创 Hummer TimeSeries DB Console 管理控制台

内容概述：Hummer Timeseries DB一个高可靠的大规模分布式时序数据库。现存的分布式系统在具备高扩展性、高并发性、高可用性等优良特性同时，也为系统安装、运维、监控、管理带来的相应的难题(不再赘述)。Hummer TimeSeries DB开发人员在立项伊始，在总结以往开发、维护分布式系统经验的基础上，提出了以降低用户安装、运维、监控、管理系统复杂度为目标的控制台开发计划。Humme

2015-03-26 18:49:42 4712

原创 Hummer TimeSeries DB 安装过程图例介绍

分布式系统安装总是令人头疼，为此Hummer TimeSeries DB 专门开发了自动基于WEB的安装引导程序，帮助用户已快速简便进行分布式部署、配置。本文将给出操作步骤和图例 —— 安装环境为三台centos 6.5 系统虚拟机（ip地址是192.168.122.101－103）开始安装给定目标集群ip地址 —— 安模式添加允许连续ip的机器

2015-03-26 18:49:39 4654

原创 Hummer TimeSeries DB 技术架构介绍

Hummer Timeseries DB 系统架构主要特点有：A. Hummer Timeseries DB 系统采用分层模块化设计，各层之间和各模块之间属松耦合关系。分层结构利于既各功能层独立演化，且容易代码维护；另外在使用部署时根据场景需要进行取舍。B. 与优秀开源软件实现对接，既避免了再造轮子（比如使用改造impala作为并行查询层、使用zabbix 作为系统监控层）的麻烦，

2015-03-26 18:48:21 5320

原创 Hummer TimeSeries DB Docker Demo 使用说明

Hummer TimeSeries DB Demo 是借助于Docker 虚拟化技术制作的免安装演示环境，为用户提供初次体验。该演示DEMO中预先创建了两张排序规则为PKT（时间分区按天）的时序表，其中tpass采用唯一key模式、tpass2采用重复key模式，并分别写入了200万、400万数据（纪录都重复一遍）— demo 包含docker安装文件和预写入数据，大约700M上下。

2015-03-26 18:44:55 5324

原创 Hummer TimeSeries DB （蜂鸟时序数据库）技术介绍

Hummer TimeSeries DB （蜂鸟时序数据库）技术介绍1. 背景介绍不知不觉中，我们已经跨入“大数据”时代，而大数据的主要来源是来自于各种“传感器”所产生的时序数据记录。这些时序数据不但数量越积越多、而且频率也越来越快，但传统数据库对于这种数目庞大、更新频繁的时序数据，无论存储或检索都难以应对（“存不下”、“查不出”）。因此工业界当前迫切需要一种面向时序数据特征而

2015-03-26 18:44:36 18507 10

原创 Hummer Sensor Data Platform 技术架构介绍

平台架构组成 (访问地址：www.xushiiot.com）Hummer Sensor Data Platform 主要任务涉及传感器动产动态数据存储和数据分析两个环节。－数据存储要求能支撑：海量、高速的动态数据存储与检索（数据量达TP级别、每秒数据量可达百万条）；－数据分析要求能支撑：实时数据统计、预测、异常检测、Adhoc

2015-03-26 18:58:47 5519 1

原创 Hummer Time Series DB 数据存储模型

支持定长/变长/可空字字段 - 对于变长和定长字段采用不同的存储结构，最大程度降低存储空间和解析代价；同时稀疏记录中大量空字段进行特别优化处理，避免空字段占用额外存储空间，从而大大节省了稀疏记录的存储空间多种排序格式 - 时序数据处理的主要特征 : 时间断面(区间)上进行精确、模糊、条件检索 —— 例如 : 查找国庆期间查询给定嫌疑人通讯踪迹(精

2015-03-26 18:51:56 4847

原创 Hummer云端demo介绍

访问地址 www.xushiiot.com Hummer云端实验室是Hummer.SensorData.Platform的WEB用户接口。”实验室”让你能够以交互方式创建数据源，定义监控规则，查看告警，执行SQL查询。并可视化你查询结果集。总得来说”实验室”提供两大类功能：创建数据源执行查询分析，定义监控规则并实时监控你写入的数据。从数据产生开始，建议按如下步骤操作：

2015-03-26 18:51:43 4849

原创 Hummer TimeSeries DB 中关于RowId 的使用

RowId 是什么？ Hummer中的rowid 和 oracle 中的rowid 目的近似、实现不同。Rowid的目的都是唯一标示一条记录，而且也都属于伪列。但Oracle中rowid是有数据的物理位置计算获得，而Hummer中的rowid则是由key、时间戳、binlogid（数据落地时将自动加到记录中）组成 (也正因此Oracle rowid是定长的，Hummer 中row

2015-03-26 18:48:19 4160

原创 Hummer TimeSeries DB 优势功能（操作）介绍

Hummer TimeSeries DB 针对时序数据存储和查询进行了特色优化，尤其适合时序数据高速写入、按时段（以及key）进行快速查询、数据量估算、数据快速删除。接下来来我们就查询优势场景进行简要介绍（我们已Demo 中tpass表为例说明——该表时间跨度1年、pkt 格式）。给定时段查询按时间范围查询会利用到时序引擎数序按时间排序优势 —— 数据按

2015-03-26 18:46:54 4811

原创物联网(IOT) 数据库需求和当前技术解析

物联网是当前最具发展潜力的技术潮流，到2020年全球将有200亿—2000亿物联网设备（Gartner 预测260亿，ABI预测300亿，Oracle 预测500亿，Intel 预测2000亿）。管理众多的联网设备产生的（动态）数据，相比管理传统档案（静态）数据要复杂很多 —— 最重要的难点是“数据量”大幅提升和“处理实时性”要求显著加强。数据量：数据量提升包含数据总量和数据产生

2015-03-26 15:35:51 11243 1

原创当虚拟机遇见Hadoop -- 基于hadoop的开源EBS实现思索

当虚拟机遇见Hadoop -- 基于hadoop的开源EBS实现思索（康华）谈起云计算，一些人会滔滔不绝的谈论虚拟机，而另一些人则口若悬河的宣讲hadoop。相互之间嗤之以鼻，都自认为是正宗，谈到对方，颇有＂道不同，不相为谋＂的味道。—— 有点象数学史上搞几何的和搞代数的相互不服那个时代！：）当然相互不服自然有各自的大道理。虚拟机的拥戴者说我们虚拟机可“化整为零”

2013-04-09 12:47:38 7862 2

原创虚拟化网络演进模拟对话

主题论述虚拟化环境网络实现的选择和技术发展。其中涉及vlan、vxlan、gre、vngre、sdn、openflow等当前颇具争论的技术。对话人物TOM - 技术精湛，认真严谨、但略显保守的网络工程师。虚拟人物，俗称猫兄。JERRY- 思维灵活、但略为冒进的从事云计算（弹性云）服务售前工程师。虚拟人物，俗称鼠兄。_@@@@@@@@@_

2012-09-04 22:13:03 7622 2

原创面向数据中心（IDC)的云OS架构见解

面向数据中心（IDC)的云OS架构见解本文不久前发表于《网络世界》，个人见解，姑且听之。摘要：面对当前急速膨胀的数据存储和处理需求，即便再强的单机（如小型机）也无法满足，所以我们不得不借助于规模化的集群系统来处理。而如何将集群机器的计算资源和存储资源进行合理组织、运用和调度，则是目前大中型数据中心首要面对的问题，如果解决不好不但会造成资源浪费严重，还会造成管理成本居高

2012-04-30 10:42:05 6351

原创谁来拯救云计算

谁来拯救云计算— 云计算的技术路线探讨 BY 康华引言当前的“云计算”一词已经被神话，似乎快成了放之四海皆准的时髦真理，就好比当初言必称“希腊”一般，表面光芒四射，但实际上却无比教条、且越来越令人生厌。作为“云计算”的一个普通开发者和是推广者，很有必要通过亲身实践，以正视听，希望能让后来者（云计算系统的开发者）少走弯路——有所为、有所不为。前言我们所要谈论

2012-02-03 17:58:59 23551 40

原创虚拟机镜像存储系统—HLFS介绍

非常欢迎感兴趣的朋友能加入我们的开源项目！！！CLOUDXY立足于实现虚拟子网（以太网）的弹性云计算平台该项目主要包含有两个子项目： HLFS - 虚拟机分布式镜像存储 (类似于亚马逊EBS，首先发布出来） ECMS - 虚拟环境管理系统（后续发布） How-To-Join-Us — http://code.google.com/p/cloudxy/wiki/HlfsJ

2011-11-28 23:33:39 7279 3

原创虚拟机内存复用技术的比较（主要针对XEN系统）

业界就该问题定义为虚拟机内存复用（复用干嘛？当然是为了跑更多的虚拟机呀！） :memory overcommit.围绕次问题主要有4种技术手段,下面简要介绍和分析

2010-11-12 13:10:00 13298 3

原创试问什么样的网络存储系统最适合弹性云计算

本文首先就 ”弹性云” 的存储需求进行分析，尝试的归纳出弹性云应用环境对存储的普遍需求；接下来针对这些具体需求，一一检验了当前林林总总、颇为流行的典型网络存储系统（如dynamo,GFS,Hadoop Fs等）的功能特性，分析其得失；再最后抛砖引玉——提出一种自认为比较理想的网络存储架构。为了避免空洞的说理。在本文后期，我“试想”在基于XEN虚拟机的弹性云环境中到底如何实施这一理想化的存储系统。

2010-08-07 11:12:00 10505 8

原创从运行环境来看云计算的特征

突然发现，很多公司一夜之间变戏法似的迅速的推出了自己基于云的业务系统:比如存储云，或者基于云环境的数据仓库等。似乎凡是冠以云的名义的系统便更有技术含量，能狠狠的吹嘘一番，赚足眼球。但是什么才叫真正的云呢，它和传统的集群系统有何差别呢？因为云的定义目前可谓是众说纷纭，未有定论——从而任你如何标榜大概都无可厚非。的确如此，估计谁也不能给出云的准确、唯一的定义。原来大家能达到共识的是——云作为一种商

2009-09-10 18:10:00 8715 14

原创谈谈WEB服务基础架构的演变

谈谈WEB服务基础架构的演变前言：上次谈了一些语义网应用发展的趋势的个人看法（见我对语义网（Semantic Web）应用发展的一些看法），这次我们回过头来看看随着web应用的不断发展，其下作技术支撑的基础架构的演变趋势。Web应用的通用基础服务平台包含数据存储、分布计算、消息通讯、安全认证等等多方面内容。我这里不去一一谈到（很多我也不熟悉，呵呵！），而是有重点的谈谈随目前we

2009-07-19 18:34:00 3233

原创我对语义网（Semantic Web）应用发展的一些看法

我对语义网（Semantic Web）应用发展的一些看法前言: 前不久应朋友之邀，为其学生作了一次关于互联网应用发展和基础架构演变的技术讲座。为此我专门整理了一些关于当前网络应用——重点是语意网——的最新资讯，同时也结合自身工作中的思考，总结了一些语义网发展相关的个人看法，在这里很希望和大家讨论讨论。关于网络应用所依赖基础架构演变的问题——重

2009-07-11 16:13:00 17948 9

原创谈谈云计算的部署方式——关于虚拟化实现

前言上一部分（谈谈云计算的部署方式——关于分布化实现）我们探讨了关于云计算部署中的数据和计算分布化的实现方式，这次我们继续云计算中另一个热门话题——虚拟化。重点来谈虚拟化和云计算的关系——为什么云计算需要虚拟化技术！虚拟化技术在云计算中到底如何使用！云计算中的虚拟化需求首先我们想到的第一个问题是云计算中为什么需要虚拟化技术？对此我的看法是：从理论角度而言

2009-03-22 15:32:00 7807 5

原创谈谈云计算的部署方式——关于分布化实现

前言：我们在以前的文章（对云计算中几种基础设施（Dynamo,Bigtable,Map/Reduce等）的朴素看法）中对云计算的概念和基础组织已作了较为详细的解释和分析，这次我们将继续云计算的话题——进一步谈谈云计算在实际应用环境中的部署方法。我个人理解，云的主要精髓之一（除此以外，资源虚拟化动态分配和安全访问是另外两个核心，我们后面找机会讨论它们）在

2009-02-22 12:33:00 5092

原创谈谈软件的可维护性问题

前言很多包括自己在内的开发人员都会经常去借用（我们不用剽窃这个词了！呵呵）开源代码进行二次开发；或者在前辈的遗留代码下，继续修修补补。这种经历往往并不像看起来那么简单——有时看懂，进而修改别人的少许代码，都会觉得老虎天——无从下手，究其原因主要是代码晦涩，关系复杂，难以隔离影响等。而这时我们或者抱怨前人代码写的愚蠢，垃圾；或者又会自惭自己编码水平太次。其实这种困境的起

2008-12-30 17:08:00 19352

原创对云计算中几种基础设施（Dynamo,Bigtable,Map/Reduce等）的朴素看法

对云计算中几种基础设施（Dynamo,Bigtable,Map/Reduce等）的朴素看法 ——康华前言云计算的

2008-09-12 23:03:00 10591 12

原创 I386体系结构（下）

I386体系结构（下）摘要：上半期我们一起学习了I386体系结构，下半期我们的主要目标是实现一个能启动而且可以进入保护模式的简易操作系统。所以本期首先来分析一下计算机的启动流程，然后着手学习开发一个基于I386体系的可启动系统。Linux启动流程我们先来分析系统的启动流程吧！硬件准备计算机加电的瞬间，整个系统包括RAM在内的几乎所有部件，都处于一种随机的混乱状态，

2007-11-07 23:21:00 4065 1

原创 I386的体系结构（上）

I386的体系结构（上）摘要：本期上半部分将和网友一起聊聊I386体系结构，认识一下Intel系统中的内存寻址和虚拟内存的来龙去脉。下半部分将实现一个最最短小的可启动内核，一是加深对i386体系的了解，再就是演示系统开发的原始过程。作为实例我们将分析计算机的启动流程，然后着手学习开发一个基于I386体系的可启动系统。内存寻址曾经有一个叫“阿兰.图灵”的天才[1]，它设想出了一种简

2007-11-07 23:02:00 4652 4

原创 Linux系统启动的标准流程

Linux系统启动的标准流程系统的启动是指从计算机加电到显示用户登陆提示的整个过程。我们将在这里对整个流程以及关系到的一些内容做讨论。过程主要可以分为两个阶段：载入内核和准备运行环境，我们分别进行讨论。本部分的讨论只基于i386硬件架构，但大部分内容是有共通性的。载入内核（将内核载入内存，并将控制权传递给它）计算机加电到Boot Loader开始工作，硬件含量远

2007-11-02 20:37:00 3419 3

原创走进Linux 操作系统(之二)

走进Linux 操作系统(之二)搭建Linux试验系统实例进入后续章节讨论的内核前，我们先与读者一同从头构架一个试验操作系统。这样既有助大家熟悉Linux操作系统的组成结构，也会在构建过程中学习介绍一些Linux命令和使用技巧，加深理解Linux操作系统的运作方式。实验系统将在保证实用价值的基础上，尽量小巧。希望大家通过亲手构建系统的过程中，能消除对Linux的恐

2007-11-01 22:39:00 5584 3

原创走进Linux 操作系统（之一）

走进Linux 操作系统摘要：本期涉猎了操作系统的来龙去脉后与大家携手步入Linux世界。我们力图展示给大家一幅Linux系统的全景图，并为了加深对linux系统的全面认知，亲手搭建了一个能运行在内存中的试验系统。同时为大家提供了几个shell脚本帮助建立试验系统。最熟悉的陌生人用萧亚轩的一首歌形容操作系统给我们的感觉再合适不过了，“最熟悉的陌生人”。说熟悉，因为几乎每天我们都在有

2007-11-01 21:01:00 5961

原创内核中的调度与同步

内核中的调度与同步摘要本章将为大家介绍内核中存在的各种任务调度机理以及它们之间的逻辑关系（这里将覆盖进程调度、推后执行、中断等概念），在此基础上向大家解释内核中需要同步保护的根本原因和保护方法。最后提供一个内核共享链表同步访问的例子，帮助大家理解内核编程中的同步问题。内核任务调度与同步关系引言对于从事应用程序开发的朋友来说，用户空间的任务调度与同步之间的关系相对简单，无需过多考虑需

2007-10-30 08:28:00 3146

原创如何实现一个文件系统

如何实现一个文件系统摘要本章目的是分析在Linux系统中如何实现新的文件系统。在介绍文件系统具体实现前先介绍文件系统的概念和作用，抽象出了文件系统概念模型。熟悉文件系统的内涵后，我们再近一步讨论Linux系统中和文件系统的特殊风格和具体文件系统在Linux中组成结构，逐步为读者勾画出Linux中文件系统工作的全景图。最后在事例部分，我们将以romfs文件系统作实例分析实现文件系统的普遍步骤

2007-10-28 00:11:00 8110

转载编写自己的Shell解释器

编写自己的Shell解释器摘要：本期的目的是向大家介绍shell的概念和基本原理，并且在此基础上动手做一个简单shell解释器。同时，还将就用到的一些 linux环境编程的知识做一定讲解。本文适合的读者对象对linux环境上的c语言开发有一定经验；对linux环境编程（比如进程、管道）有一点了解。概述本章的目的是带大家了解shell的基本原理，并且自己动手

2007-10-26 14:28:00 17691 8

原创 Linux中断解析

Linux中断解析摘要:本章将向读者依次解释中断概念，解析Linux中的中断实现机理以及Linux下中断如何被使用。作为实例我们第一将向《i386体系结构》一章中打造的系统加入一个时钟中断；第二将为大家注解RTC中断，希望通过这两个实例可以帮助读者掌握中断相关的概念、实现和编程方法。中断是什么中断的汉语解释是半中间发生阻隔、停顿或故障而断开。那么，在计算机系统中，我们为什么需要“阻

2007-10-25 18:26:00 8705 2

原创 Linux内存管理(下)

Linux内存管理(下)物理内存管理（页管理）Linux内核管理物理内存是通过分页机制实现的，它将整个内存划分成无数4k(在i386体系结构中)大小页，从而分配和回收内存的基本单位便是内存页了。利用分页管理有助于灵活分配内存地址，因为分配时不必要求必须有大块的连续内存[1]，系统可以东一页、西一页的凑出所需要的内存供进程使用。虽然如此，但是实际上系统使用内存还是倾向于分配连续的内存

2007-10-22 19:16:00 16746 4

原创 Linux内存管理(上)

Linux内存管理(上)摘要：本章首先以应用程序开发者的角度审视Linux的进程内存管理，在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存地使用方法。力求从外自内、水到渠成地引导网友分析Linux地内存管理与使用。在本章最后我们给出一个内存映射地实例，帮助网友们理解内核内存管理与用户内存管理之间地关系，希望大家最终能驾驭Linux内存管理。前言内存管理一向是所有操作系统书

2007-10-22 19:12:00 14927 3

原创 Linux系统调用

Linux系统调用摘要：本期重点和大家讨论系统调用机制。其中涉及到了一些及系统调用的性能、上下文深层问题，同时也穿插着讲述了一些内核调试方法。并且最后试验部分我们利用系统调用与相关内核服务完成了一个搜集系统调用序列的特定任务，该试验具有较强的实用和教学价值。什么是系统调用顾名思意，系统调用说的是操作系统提供给用户程序调用的一组“特殊”接口。用户程序可以通过这组“特殊

2007-10-22 12:37:00 8378 3

原创从VMM中识别GUEST OS中的用户进程

从VMM中识别GUEST OS中的用户进程康华：主要从事 Linux 操作系统内核、虚拟机、Linux 技术标准、计算机安全、软件测试等领域的研究与开发工作，曾就职 MII-HP 软件实验室、瞬联软件公司/MOTOROLA、LENOVO研究院。其所合写的Linux

2007-10-11 21:14:00 7750 2

原创从VMM中终止GUEST OS中运行进程

从VMM中终止GUEST OS中运行进程康华：主要从事 Linux 操作系统内核、虚拟机、Linux 技术标准、计算机安全、软件测试等领域的研究与开发工作，曾就职 MII-HP 软件实验室、瞬联软件公司/MOTOROLA、LENOVO研究院。其所合写的Linux专栏见http://www.csdn.net/subject/linux/。如果需要可以联系通过 kanghua151@msn

2007-10-11 21:04:00 3072 6