- 博客(490)
- 收藏
- 关注
RSS订阅转载 深度| NUMA为何成为云计算的关键技术
转载自：https://www.sohu.com/a/129374635_609513进入21世纪后，计算机的体系结构并没有停止前进的步伐，尤其是在处理器领域所取得的技术突破奠定了包括云计算、大数据，以及近几年炙手可热的机器学习的基础，在软件定义时代来临之后，硬件的作用却丝毫没有降低，反而越发显得重要。随着制造工艺越来越接近极限，计算场景化的不断丰富，在通用计算场景下，可编程能力显的极为重要，在专用计算场景下，大规模并行与低延迟又变的不可或缺，面对这一前所未有的复杂局面，比较可行的办法是软件与硬
2021-07-09 13:51:00
2018
转载 闪存的工作原理
转载自：https://zhuanlan.zhihu.com/p/35115499闪存价格节节攀升，让三星大赚特赚。其实它的基本原理在1980年代之后基本就没有变化过。它的构成和场效应管(MOSFET)十分类似：它由：源极（Source）、漏极（Drain）、浮动栅（Float Gate）和控制栅（Control Gate）组成。相对场效应管的单栅极结构，闪存是双栅极结构。浮动栅是由氮化物夹在二氧化硅材料（Insulator）之间构成。我们的写操作（Program)是这样：在控制栅加
2021-06-02 16:52:48
6967
转载 Ceph运维告诉你分布式存储的那些“坑”
转载自：https://dbaplus.cn/news-134-2079-1.html作者介绍汪涉洋，来自美国视频网站hulu的工程师，毕业于北京理工大学计算机专业，目前从事大数据基础架构方面的工作。个人知乎专栏“大数据SRE的总结”：http://dwz.cn/7ygSgc过去两年，我的主要工作都在Hadoop这个技术栈中，而最近有幸接触到了Ceph。我觉得这是一件很幸运的事，让我有机会体验另一种大型分布式存储解决方案，可以对比出HDFS与Ceph这两种几乎完全不同的存储系统分别有哪些优.
2021-03-10 21:09:34
2602
转载 从理论到实践，异步I/O模式下NVMe SSD高性能之道
https://www.pianshen.com/article/36331904738/
2021-03-10 15:04:45
244
转载 关于scrapy-splash使用以及如何设置代理ip
转载自：https://www.jianshu.com/p/7ec32ee1e9d4?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation首先我们先介绍下如何使用scrapy-splash:1、安装：$ pip install scrapy-splash2、启动docker：$ docker run -p 8050:8050 scrapinghub/sp
2020-12-21 15:28:31
1262
转载 磁盘I/O那些事
转载自：https://tech.meituan.com/2017/05/19/about-desk-io.html背景计算机硬件性能在过去十年间的发展普遍遵循摩尔定律，通用计算机的CPU主频早已超过3GHz，内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速，但是在读写性能上并无明显提升，同时SSD硬盘价格高昂，不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈，制约了计算机整体性能的发展。硬盘性能的制约因素是什么？如何根据磁盘I/O特性来
2020-12-09 11:02:39
614
转载 SSD Performance测试简介
转载自：http://www.ssdfans.com/?p=4698SSD Performance测试简介SNIA给Client SSD与Enterprise SSD都制定了Performance test （性能测试）的规范，可以到其网站www.snia.org下载。要进行SSD的Performance Test，首先要理解几个关键概念。FOB：Fresh Out of Box, 指的是刚开封全新的盘，此时SSD的性能类似于悟饭同学的愤怒形态，战斗力爆表但不持久，并不是这块盘在未...
2020-10-27 10:56:48
2509
转载 SSD性能怎么测？看这一篇就够了！
转载自：https://www.sohu.com/a/390625596_505795一、概述自从很多年前开始做SSD方面的测试以来，我就和某些行业工作者产生了同感：存储性能测试基本是所有计算机硬件测试里最复杂困难的一项。存储系统的性能受到整个机器其他硬件甚至软件方面的影响：按ssd本身来说，在不同负载（线程数，队列深度，块大小，随机度等）环境下一块盘发挥出的性能大有区别，设置成不同扇区大小性能会不同，在相同情况下测试一段时间盘的性能还会发生FOB-transition-steadystate的转变
2020-10-27 10:49:15
9986
1
转载 NVMe SSD测试为何要先做预处理？
转载自：https://blog.csdn.net/Memblaze_2011/article/details/102478395评估一块NVMe SSD在真实业务场景中的吞吐能力、稳定性、可靠性以及QoS，不仅要考虑压测工具、测试环境选型，还要精心设计测试规范，如此才能准确的获取NVMe SSD在日常运营中的性能表现。预处理就是这样一个在测试中具有重要作用的环节，这篇文章将对NVMe SSD的预处理操作及价值作以说明。aa在NVMe SSD使用初期，空闲资源充足，垃圾回收等操作比较少，因此性能也会
2020-10-27 10:44:19
1605
转载 浅谈分布式存储之SSD基本原理
转载自：http://blog.itpub.net/31559758/viewspace-2672806/前言随着制造工艺的不断进步，SSD(Solid State Drive)性能和容量不断突破，价格不断降低，迎来了快速的发展，目前已经是商用服务器、高性能存储服务中非常流行的存储介质。作为开发人员，需要了解SSD的基本原理，以便开发时能更好地发挥其优势，规避其劣势。本文章基于末尾所列参考文献整理而来。目录SSD简介 闪存基础 存储原理 读写流程 GC机制 Trim机制 Bit-
2020-10-22 10:48:27
1236
转载 Intel VT-d（1）- 简介
Intel VT-d的全称是Intel Virtualization Technology for Direct I/O，它是Intel虚拟化技术的一部分，主要针对的是I/O子系统，它的实现主要是通过在硬件上引入重定向单元，该硬件重定向单元用于对I/O子系统的DMA操作和中断传递进行重定向，从而辅助VMM（Virtual Machine Monitor）实现I/O子系统的虚拟化。一般情况下VMM支持I/O虚拟化可以通过以下四种方式实现：纯软件模拟。即VMM的软件模拟一个现有的I/O设备，这种方式具有
2020-10-13 14:19:41
1199
转载 深入浅出全面解析RDMA
转载自：https://blog.csdn.net/qq_21125183/article/details/80563463RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问，就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。它将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。RDMA通过网络把资料直接传入计算机的内存中，将数据从一个系统快速移动到远程系统内存中，
2020-09-24 16:42:07
1135
转载 【云存储】IOPS概念及测试方法
作者：【吴业亮】转载自博客：http://blog.csdn.net/wylfengyujiancheng一、什么是IOPSIOPS（Input/Output Operations Per Second）是一个用于电脑存储设备（如硬盘（HDD）、固态硬盘（SSD）或存储区域网络（SAN））性能测试的量测方式，可以视为是每秒的读写次数。和其他性能测试一样，存储设备制造商提出的IOPS不保证就是实际应用下的性能。IOPS可以用应用程序来量测，例如一开始由微软开发的Iometer，像IOzone及F
2020-08-12 09:53:04
3328
转载 Openstack两组容易混淆的概念(hostaggregate & az，虚拟机与物理机的numa)
转载自：https://www.backendcloud.cn/2018/08/16/2concepts/第一组：主机集合aggregation和可用域available zone(az)主机集合aggregationaz是在region范围内的再次切分，只是工程上的独立，例如可以把一个机架上的机器划分在一个az中，划分az是为了提高容灾性和提供廉价的隔离服务。选择不同的region主要考虑哪个region靠近你的用户群体。在新建虚拟机的时候，用户设置了希望将虚拟机放在az-1中，那么调度器
2020-05-28 15:46:24
1970
转载 做容灾，双活、多活、同城、异地、多云，到底应该怎么选？
转载自微信公众号：成哥的世界《做容灾，双活、多活、同城、异地、多云，到底应该怎么选？》去年写过一篇《做容灾，冷备是不是个好方案？》，当时提出来，冷备或者主备，其实并不是一个理想的方案，而且绝大多数情况下，只能是一个心理安慰，真正发生故障的情况下，这样的容灾模式根本起不到作用。原因我就不重复了，大家如果有兴趣可以直接看那篇文章。最近，公有云又出了些大故障，各大群和朋友圈又开始沸沸扬扬，但是整体看下来，声音无非两种： 单站点不靠谱，要有容灾，出现这种情况就得马上切，所以回去赶紧建设容灾站点；
2020-05-26 12:08:06
1096
转载 公有云上应该怎么做容灾？
转载自微信公众号：成哥的世界，《公有云上应该怎么做容灾？》接着上篇《做容灾，双活、多活、同城、异地、多云，到底应该怎么选？》，这篇聊聊公有云上应该如何建容灾，跟我们自建机房有什么区别，没看过的同学，建议先从上篇文章看一下。做个简单总结就是，要想起到容灾效果，优先做到同城双活，再考虑异地双活或多活。从这个铺垫往下，谈谈如果我们上了云，高可用和容灾策略应该怎么选择。我从几个方面来讲：第一，先理解几个公有云的通用概念。为了便于理解，我尽量说的通俗点，大家别跟我抠字眼，如果要找准确定义，大.
2020-05-26 11:16:19
1188
转载 国内公有云大厂核心技术解剖
转载自微信公众号：云架构师大白，题目《国内公有云大厂核心技术解剖》2017-2018是云计算爆发式增长，IT企业和传统企业纷纷涌入，互相厮杀，好不热闹。据我了解的，目前不少金融机构都在建设和优化自己的云平台，紫光也与2018年3月31日闪亮登场加入公有云的竞争队伍，名号为紫光云，同时国内的阿里、与腾讯、金山、百度、华为、Ucloud也是大张旗鼓的发展自己的公有云，特别是华为，投入不可谓不大。同时传统企业比如电信、中移动等也在稳步推进自己的行业云或公有云战略。 下面我从技术概念层面的说一下各个公有云.
2020-05-26 10:59:38
1669
1
转载 OpenStack资源管理层次模型
转载自：https://www.talkwithtrend.com/Article/240419OpenStack有三种资源视图，分别为用户视图、OpenStack视图以及系统视图，这几个资源视图经常容易混淆。我们将这三种视图做个对比。1 用户视图用户视图是站在用户的视角所看到的资源，位于资源抽象的最顶端。对于用户来说，底层是个无限量的巨大抽象资源池，所能使用的资源仅仅受管理员的配额限...
2020-05-03 11:32:17
752
转载 Page Cache的落地问题
转载自：https://www.jianshu.com/p/ed5900d31f1f除非特别说明，否则本文提到的写操作都是 buffer write/write back。起因前几天讨论到一个问题：Linux 下文件 close成功，会不会触发 “刷盘”？其实这个问题根本不用讨论，查一下就知道。man 2 close 的 NOTES 一节里有这么一段话：A success...
2020-05-02 09:06:25
575
转载 研究-Buffered IO和Direct IO
转载自：https://blog.csdn.net/batmannolove/article/details/50435597今天在看[《Computer Systems - A Programmer's Perspective》] [4] 时，发现两个名词不是很理解，如下：- write through - write back查了一下，发现其实就是Buffered IO和...
2020-05-01 22:13:10
677
转载 宋宝华： 文件读写（BIO）波澜壮阔的一生
转载自微信公众号“Linux阅码场”文章《宋宝华： 文件读写（BIO）波澜壮阔的一生》，原作者：宋宝华前言网上关于BIO和块设备读写流程的文章何止千万，但是能够让你彻底读懂读明白的文章实在难找，可以说是越读越糊涂！我曾经跨过山和大海 也穿过人山人海我曾经问遍整个世界 从来没得到答案本文用一个最简单的read(fd, buf, 4096)的代码，分析它从开始读到读结束，在整个Li...
2020-05-01 16:36:06
1306
转载 别让bug跑了，通过问题理解ceph的克隆过程
转载自：https://blog.51cto.com/13973322/23077571 背景 云硬盘的快照、克隆，属于块存储RBD基本功能，之前我并没有太多关注这两块，保证功能能用、好用就过去了。 不过在最近遇到几个与克隆或快照相关联的问题，涉及到rbd clone、rbd flatten等，正好是之前未遇到过，因此找了时间对产生的问题复盘，也是希望借bug观察ceph对...
2020-04-28 14:38:04
1067
转载 ceph rbd快照原理解析
转载自：http://www.sysnote.org/2016/02/28/ceph-rbd-snap/前段时间一直在研究ceph的快照以及其所涉及的故障恢复逻辑，ceph在这部分的实现挺精妙的，虽然也是基于COW实现的，但是细细品来，其在快照的元数据管理以及父子关系的维护上有独到之处，本文将详细阐述快照的实现原理以及快照对象在恢复时如何至关重要的作用。1.rbd快照的直观理解ceph...
2020-04-27 13:58:23
1320
转载 ceph L版本相对于J版本在scrub机制上做的优化
https://blog.csdn.net/sefaxiaoji/article/details/90139416
2020-04-02 19:41:03
235
转载 【存储缓存】-bcache原理及实践
转载：https://blog.csdn.net/wylfengyujiancheng/article/details/103687559
2020-01-02 19:29:08
897
转载 海量小文件问题综述
转载自：http://www.taocloudx.com/index.php?a=shows&catid=4&id=15海量小文件LOSF问题是工业界和学术界公认的难题，分析了LOSF问题的由来以及典型的应用场景，并简要阐述了当前文 件系统在LOSF优化方面的进展。重点分析LOSF问题的根本原因，并给出具体的优化方法和策略，期望对LOSF问题的研究和优化实践提供一定的理论指 导...
2019-12-10 14:28:01
598
转载 使用linux中的CAPABILITIES：SYS_ADMIN提供给容器更大的管理权限
转载自：https://sq.163yun.com/blog/article/178222638887047168背景容器运行在宿主机上的时候，很多权限是被控制的，容器原理上是使用cgroup、namespace等对宿主机的资源进行隔离并且调度使用，因此对宿主机有一定的侵入性。权限控制可以一定程度上保证宿主机不被侵入。然而保证安全性的同时也会将用户在容器中的一些权限给屏蔽掉，例如默认的容器...
2019-10-23 17:13:09
6582
转载 nova云主机evacuate简单分析
转载自：https://blog.csdn.net/linshenyuan1213/article/details/78053751本文基于openstack Newton版本简单说明云主机只支持状态为active，stopped，error的云主机进行救援，所以如果是其他状态的云主机需要evacuate，则需要重置状态。简要流程1、校验云主机所在物理主机状态为down，并且云主机状态为...
2019-06-01 11:24:41
1950
1
转载 再论KVM超量使用
转载自：http://www.sohu.com/a/111248295_251444KVM超量使用一直是热门话题，前段时间发的文章：群讨论：虚拟机能否使用32个CPU又引去了群友的激烈讨论，本文为群友根据自己的经验总结投稿，感谢这位热心的群友！欢迎更多的朋友投稿，将自己的经验发给大家，我们一起进步。KVM hypervisor支持超量使用CPUs和超量使用内存，超量使用意思是分...
2019-05-18 15:23:50
2914
转载 5G及移动边缘计算（MEC）学习
https://blog.csdn.net/gongxifacai_believe/article/details/80804841
2019-01-30 17:53:03
2062
转载 OpenStack 的 metadata 服务机制
转载自：https://www.ibm.com/developerworks/cn/cloud/library/1509_liukg_openstackmeta/index.htmlMetadata 的概念在创建虚拟机的时候，用户往往需要对虚拟机进行一些配置，比如：开启一些服务、安装某些包、添加 SSH 秘钥、配置 hostname 等等。在 OpenStack 中，这些配置信息被分成两类...
2019-01-17 16:10:53
642
转载 openstack多region介绍与实践
转载自：https://www.cnblogs.com/zhoumingang/p/5514853.html概念介绍 所谓openstack多region，就是多套openstack共享一个keystone和horizon。每个区域一套openstack环境，可以分布在不同的地理位置，只要网络可达就行。个人认为目的就是为了提供环境隔离的功能，选择启虚拟机的时候可以根据自己所处的位...
2018-12-19 17:33:56
946
转载 OpenStack关键技术系列: KeyStone鉴权认证系统详解
转载自：https://mp.weixin.qq.com/s/tsmAJa9TF7IqDlMaECbpbQ 今天，我们深入到每一个服务组件详细的来说说OpenStack了，接下来还是从比较重要的Keystone组件服务说起。 先来举几个平时能够看到的例子: 业务系统认证示意图 上面的这个图所示的一般常用于企业多个业务系统的模型认证。...
2018-12-19 17:09:48
2103
转载 OpenStack Rocky新版特性
转载自：https://blog.csdn.net/networken/article/details/82746328OpenStack Rocky专注于裸机云，快进升级和硬件加速2018年8月30日，OpenStack发布了它的第18个版本Rocky。 OpenStack Rocky旨在解决基础设施的新需求：由人工智能，机器学习，NFV和边缘计算等使用场景驱动，并提供增强的升级功能，...
2018-12-13 14:11:40
765
转载 梯度下降---偏导数及其几何意义
转载自： https://blog.csdn.net/qq_36330643/article/details/78603550在一元函数中，我们已经知道导数就是函数的变化 率。对于二元函数我们同样要研究它的“变化率”。然而，由于自变量多了一个，情况就要复杂的多。 一、几何意义 在xOy平面内，当动点由P(x0,y0)沿不同方向变化时，函数f(x,y)的变化快慢一般说来是不同的，因此就需...
2018-11-06 10:40:00
1701
转载 SVM松弛变量
转载自：https://blog.csdn.net/wusecaiyun/article/details/49659183我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数来将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。那怎么办呢，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。看下面两...
2018-11-06 10:16:31
716
转载 调整linux内核尽量用内存，而不用swap
转载自：http://www.myjishu.com/?p=80线上一台服务器kswapd0占用大量的cpu资源，导致负载过高，什么是kswapd0？Linux uses kswapd for virtual memory management such that pages that havebeen recently accessed are kept in memory and ...
2018-09-27 01:35:44
4551
1
转载 如何udp实现可靠性传输
转载自：https://blog.csdn.net/gettogetto/article/details/76736365 1.udp与tcp的区别TCP（TransmissionControl Protocol 传输控制协议）是一种面向连接的、可靠的、基于字节流的传输层通信协议。UDP是User Datagram Protocol，一种无连接的传输层协议，提供面向事务的简单不可靠...
2018-09-21 12:10:18
1874
转载 简单说说容器/沙盒(Sandbox)以及Linux seccomp
转载自：https://blog.csdn.net/dog250/article/details/81108434如果应用程序逻辑有误，会造成操作系统崩溃… 这句话其实不对。如果一个应用程序都能让一个操作系统崩溃了，那这一定是这个系统在设计上或者实现上的BUG！再次重申，我不知道谭浩强的C语言教材现在是怎么讲的，但是至少在15年前，很多老师都会说访问空指针会造成操作系统崩溃，这在32位虚拟内...
2018-08-28 16:44:27
2026
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人