SEU_PAN-CSDN博客

原创 CentOS下搭建Teuthology Ceph自动化测试平台（四）

这一小节介绍Gitbuilder与Ceph编译环境，之前的paddles与pulpiti等都是处于一台机器上的，他们不怎么吃资源，我这里是重新选择了一台性能较好的节点来作为编译节点，当然也可以找一台性能好的，把paddles、pulpito、gitbuilder编译工作都放在一台机器里。该模块的用处是编译Ceph成rpm包，然后发布到自建的仓库中，做成一个局域网源。这样只需要在slave节点配...

2018-07-17 20:07:23 2466 1

原创 CentOS下搭建Teuthology Ceph自动化测试平台（三）

Paddles 部署使用supervisor管理paddles与pulpito这一小节介绍Pulpito的部署，以及使用supervisor来管理paddles与pulpito。Paddles 部署上面的测试paddles可以用之后，可以返回root用户，然后创建pulpito用户，再进入pulpito用户进行部署。#useradd -m pulpito -...

2018-07-17 19:39:28 2281

原创 CentOS下搭建Teuthology Ceph自动化测试平台（二）

Paddles及数据库部署这小节只介绍Paddles的安装以及数据库的部署。相关基础介绍，请参看CentOS下搭建Teuthology Ceph自动化测试平台（一）选择一台虚拟机（比如叫node-1），这台虚拟机将会安装数据库以及paddles、pulpito、supervisor等。安装相关软件这李只列出一些必用的，每个人使用的环境不一样，可能还会存在一些包没有安装的，搭建环...

2018-07-16 13:56:20 2442 4

原创 Ceph 学习——OSD读写流程与源码分析（一）

消息从客户端发送而来，之前几节介绍了客户端下对象存储、块存储库的实现以及他们在客户端下API请求的发送过程（Ceph学习——Librados与Osdc实现源码解析、 Ceph学习——客户端读写操作分析、 Ceph学习——Librbd块存储库与RBD读写流程源码分析）。当请求被封装后，通过消息发送模块（Ceph学习——Ceph网络通信机制与源码分析）将请求及其相关信息发送到服务端实现真正的

2017-12-08 16:50:59 13969 5

原创 Ceph学习——Librbd块存储库与RBD读写流程源码分析

Librbd 包含了rbd的相关操作，并发送给ImageRequestWQ类处理（队列），而后该类将其中的的请求发送给ImageRequest处理，ImageRequest将Image进行**分片（将一个块分解成对象进行处理，Ceph的底层本质还是对象存储）** 等操作后，将各个对象调用ObjectRequest类进行处理，每个ObjectRequest请求分别处理。

2017-12-06 19:52:21 15129 4

原创 Teuthology的使用与Ceph自动化测试用例的编写（二）

Teuthology常用的task下面列举了一些常用的tasks，还有很多没列出来，可以自己去查看tasks。这也是这个系列的最后一篇了吧，其他，比如代码执行流程之类的，代码比较简单也有什么好写的了，如果有需要可以写一写。CentOS下搭建Teuthology Ceph自动化测试平台（一） CentOS下搭建Teuthology Ceph自动化测试平台（二） CentOS下搭建Teut...

2018-07-24 14:09:06 2307

原创 Teuthology的使用与Ceph自动化测试用例的编写（一）

这里将简单介绍teuthology中自动化测试的用例的编写。Ceph的自动化测试使用yaml文件描述，如下的例子搭建了一个三节点的Ceph集群，终端在集群搭建好后停止在python的interactive上，允许测试着调用相关的函数与集群交互。关于teuthology的介绍，其实官方是有文档的，比较隐藏。。。。 http://docs.ceph.com/teuthology/docs/r...

2018-07-24 11:04:43 3499

原创 Teuthology节点的部署——Ceph自动化测试平台（六）

本节是 CentOS下搭建Teuthology Ceph自动化测试平台（六），主要介绍Teuthology节点的部署，稍微改了下标题。部署准备代码修改调度者部署执行者部署日志服务器部署邮件服务部署准备以下内容在，我使用了新的节点，因为会产生很多的日志，最后还需要把日志做成日志服务器，方便在浏览器上查看。这个节点需要比较大的硬盘空间。该节点包含两个用户，一个是...

2018-07-23 19:14:07 3702

转载 Fedora 修复中文输入法

Fedora 输入不知道为啥直接没了，ibus重新安装，选择智能拼音之后依然无效，还是英文。找到一篇文章，转载如下，又可以使用中文输入法了。安装完成后使用shift+ctrl切换。之前我曾经写过一篇文章介绍在 GNOME 3.x 下安装小企鹅输入法框架，但最近在 Fedora 26/27 环境下发现老方法已经失效了，会导致 GNOME 3.24/3.26 桌面在重启后无法进入，探索了一段时间后...

2018-07-19 14:04:35 2778

原创 CentOS下搭建Teuthology Ceph自动化测试平台（五）

本节介绍，Slave资源与工作节点部署。资源节点是teuthology执行自动化测试的具体载体，建议采用虚拟机的方式部署，因为这样方便克隆，很快就可以大规模的创建很多的资源节点。另外资源节点可以包含很多种类型的操作系统，这样测试的时候可以更加全面。该节点的性能不需要很强，能够流畅的运行各类软件就可以了。当部署完毕，也可能在执行任务的时候，由于资源节点某些包没有装，而teuthology也不会自...

2018-07-18 14:09:28 2662

转载 CentOS下搭建Teuthology Ceph自动化测试平台（一）

Ceph自动化测试环境teuthology的安装部署概要，这里转载一下别人的文章，介绍的很好。不过只需要注意ceph-qa-suite这个项目已经移动到ceph项目下就行位于 ceph/qa/suite 目录下。另外作者的两篇文章都是基于Ubuntu搭建的，而我接下来介绍的是在CentOS下搭建的平台，这里再次感谢本文作者提供的文章。最后还会简单的写一篇使用介绍的文章（绝不会像本文作者一...

2018-07-10 14:52:49 3312

转载 etcd简介与应用

随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用强一致性的服务发现存储仓库，渐渐为开发人员所关注。在云计算时代，如何让服务快速透明地接入到计算集群中，如何让共享配置信息快速被集群中的所有机器发现，更为重要的是，如何构建这样一套高可用、安全、易于部署以及响应快速的服务集群，已经成为了...

2018-06-07 10:22:41 607

转载 Yang解析

一、Yang的来源早在2003年，IETF成立了一个NETCONF工作组，提出一种基于XML的网络配置管理协议，也就是NETCONF(Network Configuration Protocol)，因为该协议的配置功能非常强大，同时兼顾监控和故障管理，安全验证和访问控制，所以得到业界的一致认可，所以广泛采用netconfig来配置网络。NETCONF协议分为传输层、RPC层、操作层和内容层...

2018-03-13 17:00:46 6507

转载 NETCONF协议详解

目录目录概述NETCONF11协议详解1 安全传输层2 消息层21 hello211 几种常用的能力22 rpc和rpc-reply23 notification3 操作层31 get32 get-config33 edit-config34 copy-config35 delete-config36 lock37 unlock38 close-session39

2018-03-13 16:09:31 4752

转载 PDB调试Python入门

你有多少次陷入不得不更改别人代码的境地？如果你是一个开发团队的一员，那么你遇到上述境地的次数比你想要的还要多。然而，Python中有一个整洁的调试特性（像其他大多数语言一样），在这种情况下使用非常方便。本文是一篇快速教程，希望它能让你的编码生活更加容易。1. 一个混乱的程序出于本教程的目的，让我们研究一下下面的简单程序。这个程序接收两个命令行参数，然后执行加法和减法操作。

2018-02-28 14:13:33 381 1

原创正则表达式快速入门

正则表达式（regexps）,是一种概念，简单来说就是一组对正在查找的文本的描述。目前在GNU/Linux 中有两套可用于正则表达式编成的库：POSIX 库和PCRE库。前者是Linux自带的正则表达式库，后者是Perl的正则表达式库。从功能上看PCRE风格的正则表达式更强大。但本文章，就POSIX库来讨论。字符集和单词“.” 用于匹配除了换行符以外的任一个字符。例如以下的表达式匹配

2018-01-19 14:19:26 491

原创 Linux文件和目录权限管理：chown和chmod

权限设置针对的用户Linux为三种用户准备了权限——文件的所有者、文件用户组、其他人。另外root用户并不包括在里面，root可以查看、修改、删除所有人的文件。文件所有者一般是创建者，但是也可以改变文件的所有者。文件用户组是文件的属组。组是一群用户组成的集合。其他人是不包括前两种和root用户的人。查看文件和目录的属性[pan@pdy ~]$ ls -ltotal

2018-01-17 11:22:22 14104

原创 Python 快速入门——Linux下安装Python 3 并保留 Python 2.7

简单学习完Python的语法之后，回头做一些整理，不然看的太快，根本记不住～对于目前的学习来说，当然是学习Python 3 ，但是Python 2 也要了解以下。在Linux下，大多数发行版本都会装有Python 2.7 或者 2.6 并且系统中有很多东西是依赖Python 2.x这个版本的，所以呢，这个最好不要动。但是我们要学习Python 3 自然需要Python 3的环境了。去Pyt

2018-01-16 20:35:13 695

原创 ISCSI Target&Lun 的访问控制调查

Target&Lun Access Control InvestigationISCSI Target的访问控制调查，SCST与LIO两种方案对访问控制的支持。

2018-01-09 19:19:15 2179

转载 Linux-IO Target（LIO SCSI Target）介绍(二)

使用targetcli创建loop Target和vhost Target除了常见的SAN Target之外，Linux-IO Target还支持两种特殊的Target，loop和vhost。其中loop Target可以为本机模拟一个完全实现了SPC-3和SPC-4规范的设备。vhost则是专门为虚拟化设计的功能，它在宿主操作系统的内核中实现一个支持virtio规范的SCSI

2018-01-09 18:23:19 3062

转载 LIO Target介绍(一)

Linux-IO Target介绍转载自IBM中国Linux虚拟化实验室：https://www.ibm.com/developerworks/community/blogs/5144904d-5d75-45ed-9d2b-cf1754ee936a/entry/linux_io_target%25e4%25bb%258b%25e7%25bb%258d_%25e4%25b8%2580?lan

2018-01-09 17:25:27 2803

转载 LIO与ISCSI——SCSI Target 之双城记

作者：Goldwyn Rodrigues原文发布日期：January 22, 2011来源：http://lwn.net/Articles/424004/译者：王旭( http://wangxu.me , @gnawux )翻译时间：2011年11月17日按：上次翻译 LWN 的文章似乎还是两年前翻译空指针的乐趣的事呢，时间好快，这次来深圳高交会看展台，晚上无聊，就翻译了这个。作

2018-01-09 17:19:08 2230

转载 Linux基础——C/C++ 项目管理之 Makefile经典教程

Makefile经典教程(掌握这些足够)该篇文章为转载，是对原作者系列文章的总汇加上标注。支持原创，请移步陈浩大神博客：http://blog.csdn.net/haoel/article/details/2886makefile很重要什么是makefile？或许很多Winodws的程序员都不知道这个东西，因为那些Windows的IDE都为你做了这个

2017-12-17 22:30:30 1363

原创 Ceph学习——客户端读写操作分析

客户端读写操作分析本节设计到了Librados以及Osdc等操作，相关类如 RadosClient、Objecter、IoCtxImpl等介绍见上一节： Ceph学习——Librados与Osdc实现源码解析 1）调用rados_create()创建一个RadosClient对象。 2）调用rados_config_read()读取配置文件。 3）调用rados_connect()函数，最

2017-12-04 18:42:52 4552

原创 Ceph学习——Librados与Osdc实现源码解析

本文介绍Ceph客户端方面的某些模块的实现。客户端主要是实现了接口，对外提供访问的功能。上层可以通过接口来访问Ceph存储。Librados 与 Osdc 位于Ceph客户端中比较底层的位置，Librados 提供了Pool的创建、删除、对象的创建、删除等基本接口；Osdc则用于封装操作，计算对象的地址，发送请求和处理超时。

2017-12-04 18:34:08 7783 2

原创 Ceph学习——Ceph网络通信机制与源码分析

作为一个分布式存储系统，Ceph自然需要一个稳定的网络通信模块，用于客户端和服务端，以及各个节点之间的消息通信。Ceph的网络模块位于源代码的ceph/src/msg 下，该模块构造了网络通信的基本框架。在文件夹下还包含了三种接口的实现：simple、async、xio。由于simple比较简单，也是目前生产环境中可以使用的，所以就只介绍它。

2017-12-01 20:04:34 3068

原创 Ceph 学习——CRUSH算法及源码分析（二）

前一章介绍CRUSH算法的基本原理和一些基本的数据结构，这一节将介CRUSH的源码实现，主要是一些对算法实现的具体函数的介绍。回顾 Ceph 学习——CRUSH算法及源码分析（一） CRUSH 相关源代码位于源码文件的 ceph/src/crush中这个编辑器不能上传附件的吗？知道的朋友教下新手小白怎么上传附件相关数据结构CRUSH 算法相关的数据结构主要有几个分别是 crush_m

2017-11-30 15:14:20 1211

原创 Ceph 学习——CRUSH算法及源码分析（一）

CRUSH 算法解决了PG副本如何分布在集群OSD上的问题，本文先介绍CRUSH算法基本原理和相关的数据结构，主要是CRUSH map中的内容如bucket、placement rule等以及他们的源码初探。 ps：代码目前都没加注释，也没有删除冗余的东西哎。。。。整理文章是真的累，难怪大家都喜欢说转载请注明出处 :XD 限于篇幅有些重要的函数没有列出来，在下一章中再说好了

2017-11-29 20:30:29 2670

转载华为章宇：如何学习开源项目及Ceph的浅析

http://www.csdn.net/article/2014-04-10/2819247-how-to-learn-opensouce-project-&-ceph/1摘要：开源技术的学习和采用确实存在着一定门槛，然而学习各种开源项目已经成为许多开发者不可回避的工作内容。那么，对于类似OpenStack的大型开源项目，开发者该如何着手，这里我们看章宇的分享。【编者按】在上一届Op

2017-11-29 09:31:08 862

原创 Ceph 入门——内部构件

1 对象一个对象包含绑定在一起的数据和元数据，并有唯一标识的表示符（ID）。另外对象的大小是可以随着大小可变的元数据而变得更大的。元数据是数据的数据。在一个对象中，数据存储为丰富的元数据，它们存储上下文和数据的实际内容等信息。一个对象的元数据并不受限于类型或者数量，可以在元数据中添加自定义的类型。对象不是不使用层次结构或者树状结构，而是使用没有任何复杂度的线性地址空间中。对象可以存储在本地，也可以是

2017-11-28 20:28:41 1507

原创 Ceph入门—— Ceph 架构和组件

第三章 Ceph 架构和组件3.1 Ceph存储结构 Ceph 存储集群是由几个不同的守护进程组成，守护进程负责Ceph的一个独特的功能并将值添加到相应组件中。每个守护进程相互独立。 RADOS（Reliable Atonomic Distributed Object Store）：ceph存储集群的基础。Ceph中一切都以对象的形式存储，Rados 负责存储这些对象，不用考虑他们的

2017-11-28 10:12:07 3153