7 亚历山大的陀螺

尚未进行身份认证

Yes-亚历山大的陀螺

等级
TA的排名 4w+

删除 Ceph 集群里的某个节点的全部OSD (2 of 3)

前言:如果你的ceph集群的数据只存在在该节点的所有OSD上,删除该节点的OSD会导致数据丢失。如果集群配置了冗余replication或者EC,需要做pg 修复。出于数据安全考虑,请一定,一定,一定,备份好你要删除的OSD上的数据。这里一共有3篇文章讲述删除 Ceph 集群里的某个节点的全部OSD,其中前面两种做法都是不安全的。(写在这里是因为CSDN上有其它blog介绍了这两种方法,但...

2019-10-23 16:57:38

删除 Ceph 集群里的某个节点的全部OSD (1 of 3)

前言:如果你的ceph集群的数据只存在在该节点的所有OSD上,删除该节点的OSD会导致数据丢失。如果集群配置了冗余replication或者EC,需要做pg 修复。出于数据安全考虑,请一定,一定,一定,备份好你要删除的OSD上的数据。这里一共有3篇文章讲述删除 Ceph 集群里的某个节点的全部OSD,其中前面两种做法都是不安全的(写在这里是因为CSDN上有其它blog介绍了这两种方法,但并...

2019-10-23 16:26:13

系统性能分析工具perf(2 of 2):perf工作原理简析

背景此前工作中,笔者使用perf测过CPU的CPI[1],cache miss, 内存带宽等性能指标。另外,还移植过perf uncore[2]相关的补丁。这些让我很好奇:perf大概是怎么工作的? 带着这个问题,笔者谨希望把自己的一点经验分享出来。perf-listperf list列出的event有这几类:1. hardware,如cache-misses; 2. software...

2019-10-22 14:02:08

specjbb 牵手 jdk 系列(二):安装jdk及运行specjbb

1. 设置java环境变量等:export JAVA_HOME=/home/yjiang2/jdk/jdk13-dwhite-centos7.5export PATH=$JAVA_HOME/bin:$PATHexport SPECJBB_HOME=/home/yjiang2/specjbbexport CLASSPATH=.:$JAVA_HOME/lib:$SPECJBB_HOME/l...

2019-09-09 14:05:55

系统性能分析工具perf(1 of 2): perf 的介绍及使用

前言:测试环境:Ubuntu16.04 +Kernel:4.4.0-31系统级性能优化通常包括两个阶段:性能剖析(performance profiling)和 代码优化。性能剖析的目标是寻找性能瓶颈,查找引发性能问题的原因及热点代码。代码优化的目标是针对具体性能问题而优化代码或编译选项,以改善软件性能。在性能剖析阶段,需要借助于现有的profiling工具,如...

2019-10-18 11:03:51

Java应用性能分析工具:async-profiler(配合FlameGraph生成火焰图)

前言:及时对项目或者服务器Java应用性能进行性能检测,并且分析检测结果数据,发现热点代码是一项充满意义的工作,因为可能因为某一段热点代码会拖慢整个系统的运行,这是不可忍受的,发现热点代码之后需要及时进行代码优化,并且重复检测,多多角度检测,来360无死角的发现项目的性能瓶颈,让运行着的项目是最优化的。这也是每一位开发者的义务。发现热点代码的前提是可以获取java应用运行时的profile...

2019-10-17 17:18:49

Ceph 里的 Tier和 RBD Cache的区别 (通俗易懂)

缓存的位置不同,tier是rados层在osd端进行数据缓存,也就是说不论是块存储、对象存储还是文件存储都可以使用tier来提高读写速度;rbd cache是rbd层在客户端的缓存,也就是只支持块存储。Rbd cache是客户端的缓存,当多个客户端使用同个块设备时(例如ocfs2),存在客户端数据不一致的问题。举个例子,用户A向块设备写入数据后,数据停留在客户自己的缓存中,没有立即刷新到磁盘,...

2019-09-29 17:26:34

Ceph 撸源码系列(二):Ceph源代码里的那些锁 std::mutex(2 of 3)

一、前言:Nautilus v14.2.4 里有一个Performance PRmsg/async: avoid put message within write_lock #20731 ,这个PR主要是把 for 循环里的m->put()的代码放到锁之外,来减少临界区里的代码,以提高performance。注:这个PR里由于要把put()代码分开,新增了Message *数组,用...

2019-09-27 13:59:50

linux调度器的配置参数

分类专栏: linux基础 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:linux调度器(九)——调度器的配置参数调度器的配置参数/proc/sys/kernel/sched_min_granularity_ns(4000000ns):sysctl_sched_min_granularity,表示进程最少运行时...

2019-09-12 14:31:50

NUMA是什么? 及工具numactl介绍

作者:qccz123456来源:CSDN原文:Linux工具之numactl一、NUMA简介NUMA(Non-Uniform Memory Access)字面直译为“非一致性内存访问”,对于Linux内核来说最早出现在2.6.7版本上。这种特性对于当下大内存+多CPU为潮流的X86平台来说确实会有不少的性能提升,但相反的,如果配置不当的话,也是一个很大的坑。本文就从头开始说说Lin...

2019-09-11 14:08:22

SPECjbb 牵手 jdk 系列(一):什么是SPECjbb ?

一、前言SPECjbb是这几个字母的首字母组成的,Standard Performance Evaluation Corporation(spec公司),JAVA server Business Benchmark(java服务器业务测试工具)。在SPECjbb 这个基准测试中,被测产品要运行JVM,模拟一家全球大型零售企业的各种终端销售点请求、在线购买、数据挖掘等日常业务,通过不断增加...

2019-09-06 11:47:41

Ceph测试系列(一):Ceph 应用方案的服务器硬件选型 (2 of 2)

一、前言redhat官网给出不同应用场景时,其推荐的Ceph集群服务器硬件配置(包括CPU/Memory/Disk/Network)。仅作为服务器配置选择时参考,不做推荐使用。场景包含如下:场景一侧重IOPS的,例如实时性要求高的,但数据量不大的。比如订单的生成。场景二侧重Throughput的,吞吐量大,但IOPS延时性要求适当。例如,实时流。场景三侧重容量和价格Cost/C...

2019-08-30 17:40:21

Ceph 进阶系列(二):如何让某个 pool使用特定的OSD设备 (2 of 2,luminous新特性)

从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的一、前言:上一篇Ceph 进阶系列(二):如何让某个 pool使用特定的OSD设备 (1 of 2,手动版)讲了复杂的手动版,如何让某个 pool使用特定的OSD设备。而luminous版本的新特性因为有磁盘智能分组功能,用户只需要用命令创建一个新的rule就...

2019-08-29 11:43:56

Ceph 进阶系列(一):crush map文件里有些什么?

一、前言crush map 是什么? 请参考Ceph 进阶系列(一):一些基本概念(1 of 2,偏client端 ) 如何导出、查看一个Ceph集群的 crush map,请参考 Ceph 进阶系列(二):如何在指定的OSD 设备上创建 pool二、分析crush map下面是一个简单的Ceph集群里导出来的crush map文件,我们来分析一下它包含了哪些信息。# begi...

2019-08-28 11:51:54

Ceph 进阶系列(二):如何让某个 pool使用特定的OSD设备 (1 of 2,手动版,早于luminous版本)

从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的一、前言:有很多场景,你需要在指定的 OSD 设备上创建 Ceph Pool。因为Ceph集群中允许使用混合类型的磁盘,比如一部分磁盘是NVME SSD,一部分是SATA HDD。如果针对某些业务需要高速磁盘SSD,而某些业务 HDD 就可以满足部署,在创建资...

2019-08-27 16:36:07

Ceph 进阶系列(四):Ceph的纠删码特性 EC(Erasure Code)

从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的一、EC(Erasure Code)是什么?Ceph的纠删码特性EC:将写入的数据分成N份原始数据,通过这N份原始数据计算出M份效验数据。把N+M份数据分别保存在不同的设备或者节点中,并通过N+M份中的任意N份数据块还原出所有数据块。EC包含了编码和解码两个过...

2019-08-22 10:08:59

Ceph 进阶系列(三):谈谈 Ceph Cache Tier(Cache Pool) 的配置 、原理 和 源码分析

从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的一、Cache Tier(Cache Pool)是什么?在Ceph里创建pool时,可以设置一个pool为另一个pool的 cache 层,做缓存层的pool 称为 cache pool(也就是cache tier)。而真正存数据的pool就是我们常用的dat...

2019-08-19 17:56:24

Ceph 撸源码系列(一):Ceph开源项目源代码的关键目录介绍

从GitHub上Clone Ceph项目,其(ceph version 12.2.11 luminous 版本)目录下主要文件夹和文件的内容介绍如下:1、一级根目录[admin]:管理工具,用于架设文档服务器等[debian]:用于制作debian(Ubuntu)安装包的相关脚本和文件[doc]:用于生成项目文档,生成结果参考http://ceph.com/docs/master/...

2019-08-14 14:00:16

中国Ceph用户统计(2018年度)

云服务提供商 互联网行业 Ceph产品提供商 金融行业 媒体行业 交通运输 能源行业 游戏行业 UnitedStack 京东 H3C 飞贷金融 贵州广电 海航云 国家电网 完美世界 99Cloud 阿里 XSKY 平安科技 东方明珠 厦门航空 南方电网 网易游戏 ...

2019-08-06 11:04:05

Ceph可视化管理dashboard系列(二):安装和使用luminous版本内置的dashboard

可视化管理dashboard中推荐指数:***一、请参考Ceph集群搭建系列(一):Ceph 集群搭建 搭建一个集群二、设置Ceph及配置mgr1. 添加mgrceph-deploy mgr create ubuntu-sebreceph mgr module enable dashboard查看状态$ ceph -s cluster: id: ...

2019-07-25 10:48:49

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。