bandaoyu-CSDN博客

原创【工具】开发工具红黑榜（TCP测试/HTTP测试/SHELL工具/串口工具……）

SSH工具FinalShell （shell+文件传输+远程桌面）SSH/串口工具MobaXtermXshell （缺点：收费）TCP/UDP测试工具红：USR-TCP232-Test（功能强大）http://www.usr.cn/Download/27.htmlSocketTool.exe （缺点：没有日志功能，点击发送后发送框内的数据被清除）灰：T............

2020-01-09 20:57:39 3863 6

原创 [测试]ChaosBlade: 丢包、延迟、断网、磁盘、cpu占用、内存占用等资源耗尽故障注入利器--编辑中

在混沌实验中，工程团队会有意地引入各种异常和故障，例如断网、服务器宕机、资源耗尽等，以测试系统的稳定性和可靠性。通过这种方式，团队可以评估系统在面对异常情况时的表现，并针对性地改进系统设计、架构或部署流程，从而提高系统的鲁棒性和可用性。通过这种方式，团队可以评估系统在面对异常情况时的表现，并针对性地改进系统设计、架构或部署流程，从而提高系统的鲁棒性和可用性。引入各种异常和故障，例如断网、丢包延迟、服务器宕机、cpu、内存d等资源耗尽等，以测试系统的稳定性和可靠性。

2024-04-23 00:28:35 520 1

原创【存储】cosbench对象存储测试工具

COSBench是一个用于测试对象存储系统的分布式基准测试工具存储集群建立网关,cosbench连接网关，根据用户提交的xxx.xml向集群下IO(网关地址,key,和怎么下IO在配置文件xxx.xml中配置了)下载cosbench：https://github.com/intel-cloud/cosbench工具，放到压力机上，解压。这个时候就可以访问你启动的cosbench了：#替换成实际地址(集群提前创建好网关,客户端(key))样例如下，文章后面会教你怎么写。

2024-04-22 00:56:45 727 1

原创【linux】多路径|Multipath I/O 技术

普通的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了分布式环境，主机和存储网络连接中间每一层可能存在多块网卡多个交换机可选就构成了多对多的关系。也就是说，主机到存储可以有多条路径可以选择。主机到存储之间的IO由多条路径可以选择那么就有以下问题需要解决1 )每条路径如何表达?2 )I/O流量如何选择路径?3)流量如何在多条路径之间分配?负载均衡4)其中一条路径坏掉了，如何处理?高可用第一条比较简单。

2024-04-20 21:04:36 939

转载【测试】cpu、内存、磁盘、网络模拟压力工具stress-ng|ChaosBlade--编辑中

主要就是模拟在linux上的高负载情况，包括cpu、内存、磁盘、网络等，在这种情况下来观察高负载情况下的系统表现，简单的压测，可以写一些计算的脚本，来让cpu和内存维持高使用率，也可以循环使用dd 等让磁盘等io变高。-nice N选项。今天要来推荐的工具是 linux下的压力测试工具，stress的升级版本stress-ng，与stress兼容，但是又比stress强大。之后，再按1，即可看到当前2个cpu的占用率，你就会发现都是满的，当压测时间结束之后，cpu的使用率将就恢复正常了。

2024-04-10 01:24:22 506

原创【C/C++】Jemalloc + Jeprof内存泄漏分析

需要include jemalloc的头文件并链接jemalloc库: gcc -I/usr/local/jemalloc-5.1.0/include main.c -L/usr/local/jemalloc-5.1.0/lib -ljemalloc。(原文:https://docs.tibco.com/pub/activematrix_businessworks/6.6.1/doc/html/GUID-231E1EFC-EA7C-4072-B0F4-0D92093D3161.html)

2024-04-10 01:16:26 657

原创 linux如何使 CPU使用率保持在指定百分比？

dd if=/dev/zero of=/dev/null 运行dd命令,　输出到/dev/null, 实际上仅仅占用CPU,　没有IO操作.因为连续运行Ｎ个(Ｎ是CPU个数)的dd 命令, 且使用率为100%,　这时调度器会调度每一个dd命令在不同的CPU上处理.进程来使CPU占用率接近xx%。请注意，这个脚本仍然是一个近似的解决方案，并不能保证精确地达到xx%的占用率。dd 可从标准输入或文件中读取数据，根据指定的格式来转换数据，再输出到文件、设备或标准输出。of=文件名：输出文件名，默认为标准输出。

2024-04-10 01:08:14 704

原创【k8s】deamonset文件和说明

在Kubernetes的`DaemonSet`配置文件的`template`下的`spec`部分，可以指定`serviceAccount`或`serviceAccountName`。据我所知截止到我的知识截止点，`DaemonSet`中是不具有`serviceAccount`字段的，只有`serviceAccountName`字段。是Pod使用的Service Account的名称，Pod与Kubernetes API进行交互时，例如拉取配置信息，更新资源状态等，需要对API请求进行授权。

2024-01-01 00:33:31 5353 2

原创【RDMA】rdma-core驱动源码包|ibverbs|rdmacm

目前，支持 Mellanox InfiniSwitch-III（IS3）和 InfiniSwitch-IV（IS4）。使用 RDMA CM API，更高层，封装了一些操作，使得代码更简洁易读。所使用的名称或地址必须经过RDMA设备路由。建立可靠的RDMA连接，使用librdmacm在两个节点之间。使用librdmacm在节点之间建立一组RDMA多播通信路径，可选择将数据包传输给接收节点，然后拆除通信。使用librdmacm在两个节点之间建立一组可靠的RDMA连接，可选择在节点之间传输数据，然后断开连接。

2023-12-31 19:14:25 4957

原创【shell】命令行自动补全（compgen、complete、compopt）

自编写的Shell脚本/命令，很多时候都需要输入一定的参数。当参数较多而且较复制的时候，如果能使用Tab键补全就显得非常的便利。例如，我们自定义一个命令 footest现在想给footest这个命令添加自动补全功能,按下tab按键会自动列出word1 word2 word3 test 这些候选，执行：试试：footest 按tab 列出所有可以用参数footest w按tab 列出所有w开头的参数footest wp按tab 列出所有wp开头的参数。

2023-12-31 04:10:25 3354

原创【存储】什么是对象存储|对象网关

块存储，操作对象是磁盘。存储协议是SCSI、iSCSI、FC。以 SCSI 为例，主要接口命令有 Read/Write/Read Capacity/Inquiry 等等。文件存储，操作对象是文件和文件夹。存储协议是NFS、SAMBA（SMB）、POSIX等。以NFS（大家应该都用过“网上邻居”共享文件吧？

2023-12-31 02:13:35 1000

原创【时钟】分布式时钟HLC|Logical Time|Vector Clock|True Time

VectorClock是一种用向量来表示偏序关系的逻辑时钟，从数据结构上可以理解为一个集合内包含所有节点的“时间戳”，当然这个时间戳并不是物理意义上的时间（也有些实践会同时加入timestamps以解决冲突问题），而是由程序赋予的逻辑计数（count），{Node1:0,Node2:2,Node3:3.......}，如果我们已经统一了向量内的位置对应的node，那么时钟可以直接用一个{0,2,3}来表示。各节点相互通信的最终结果是，节点的“本地时钟”的物理部分，最终记录的是所有参与者中最大的本地时钟。

2023-12-31 01:52:44 1183

原创【golang】go执行shell命令行的方法（ exec.Command ）

要查看所有可能的操作系统，我们可以运行 go tool dist list ，它将显示所有可能的操作系统和 ARCH 组合。cmd := exec.Command("ls", "-lah") //ls是命令,后面是参数。Run 函数启动指定命令并等待它完成，而 Start 启动指定命令但不等待它完成；如:ip link show bond0。

2023-12-16 23:44:11 3322 1

原创【网络】网口工作模式（混杂模式|监听模式|监视模式|管理模式）

监视模式是一种主动模式，主动地捕获和分析网络流量，包括接收和发送的数据包。监视模式通常用于网络安全和分析，以便检测和识别潜在的安全威胁、监视网络活动或进行网络性能优化。需要注意的是，这些工作模式的具体名称和功能可能会因操作系统、网络设备型号和软件驱动程序的不同而有所差异。其中，"监视"模式只可以捕捉本 SSID（Wi-Fi名称）内的数据包，"混杂"模式则可以捕捉所有经过无线网卡的数据包）监听模式是一种被动模式，仅监听传入的数据包并记录它们，但不会对数据包进行任何实际处理或回复。

2023-11-21 09:09:43 2440

原创【RDMA】librdmacm库和连接建立过程

它为建立连接提供了一个RDMA传输中立的接口。5. rdma_get_cm_event：等待带有新的rdma_cm_id的RDMA_CM_EVENT_CONNECT_REQUEST事件。8. rdma_get_cm_event：等待RDMA_CM_EVENT_ROUTE_RESOLVED事件。4. rdma_get_cm_event：等待RDMA_CM_EVENT_ADDR_RESOLVED事件。15. rdma_get_cm_event：等待RDMA_CM_EVENT_DISCONNECTED事件。

2023-10-19 04:50:30 6390 2

原创【linux】日志和journalctl 管理查看日志

journalctl -xe # -x 是目录(catalog)的意思，在报错的信息下会，附加解决问题的网址 -e pager-end 从末尾开始看。4. `journalctl -p priority-level`：按优先级过滤日志条目，例如 `-p err` 只显示错误级别的日志。6. `journalctl --since "YYYY-MM-DD HH:MM:SS"`：仅显示指定时间之后的日志条目。7. `journalctl --disk-usage`：显示日志存储占用情况。

2023-10-14 22:28:29 9531 6

原创【git】git commit、push之前自动执行脚本

Git 钩子是用于在特定事件发生时执行自定义脚本的功能。Git 钩子的名称是固定的，并且每个钩子都有其特定的用途和触发时机。命令之前触发，也就是在进行实际的提交之前执行。阅读 Git 文档中的 “Customizing Git - Git Hooks” 部分，了解更多关于 Git 钩子的详细信息。请注意，Git 钩子是特定于本地仓库的，并不会被提交到远程仓库。钩子是在提交后执行的，所以即使该脚本执行失败，提交操作仍然会继续。钩子用于在提交前执行一些操作，并可以阻止提交，而。文件，添加你想要执行的脚本命令。

2023-09-04 23:47:07 1866

原创 centos linux 安装RDMA Soft-RoCE|虚拟机安装Soft-RoCE

softRoCE的目标是在所有支持以太网的设备上都可以部署RDMA传输，可以使不具备RoCE能力的硬件和支持RoCE的硬件间进行基于IB语义的交流。大白话就是模拟RDMA的软件栈，使得在没有RDMA网卡的环境上，也可以运行基于RDMA写的传输程序。但是因为RDMA网卡的一大特色之一就是，传输的动作是网卡上的芯片处理的，普通网卡没有这样的硬件，所以只是实现了0拷贝，而没有真正的RDMA网卡的CPU减负功效。

2023-08-10 02:05:36 1629 1

原创【RDMA】设置网卡默认PFC和ECN-在DSCP基于QoS模式下为Linux驱动程序配置ROCE

本文提供了在安装了MLNX_OFED和Mellanox设备的情况下，针对丢包网络中运行RoCE的DSCP-based QoS模式的配置示例。在使用RDMA-CM时，可以为由RDMA-CM创建的QP设置QoS参数。[可选] 为所有RoCE流量设置ToS为106（DSCP 26）（注：此命令是非持久的）[可选] 将RDMA-CM的ToS设置为106（DSCP 26）（注：此命令是非持久的）[可选] 启用TCP流量的ECN功能（注：此命令是非持久的）是指mlx设备（例如mlx5_0）

2023-07-09 10:43:52 1574

原创【debug】程序调用栈记录profile-backtrace和backtrace|分析瓶颈|分析bug所在

backtrace是一个用于生成函数调用栈的工具，在程序崩溃或者出现异常时，可以通过backtrace来获取函数调用栈信息，这些信息可以帮助我们了解到程序的执行流程，定位问题发生的位置。backtrace的使用一般需要以下步骤：1.在需要使用backtrace的代码中引入`#include `头文件。2.使用backtrace函数获取函数调用栈信息：`void backtrace(void **buffer, int size)`

2023-06-16 00:46:35 1291

原创【协议】NVMe over RoCE |nvmeof

Fabrics 可理解为高速网络。NVMe over Fabrics 说白了就是把本地NVMe协议扩展成了网络的NVMe，原先的总线变成了RDMA等高速网络。扩展了原先NVME的协议。

2023-06-10 22:36:57 2769 3

原创【git】git lfs 大文件管理

git lfs(large file storage)将大文件替换为小指针, 当真正需要到这些大文件的时候, 才会从本地或者远端的lfs缓存中下载这些大文件.当你push一个文件时, 除过普通的文件会被正常push, 这些lfs文件也会被从本地lfs缓存传输到远端lfs存储仓库。当你add一个文件时, git lfs用一个指针替换了其中的内容, 并将文件存储在本地的git lfs缓存中。git lfs untrack "\*xx.a" 取消 git lfs 对某文件的追踪。项目中的大文件会很占空间。

2023-05-06 01:49:09 6643 1

原创【shell】shell脚本模板和规范

链接：https://www.jianshu.com/p/34c76024c0ef。脚本debug神器，把每一行的脚本执行了什么都打印出来。对应的ini文件（cfg.ini）作者：DayDayUpppppp。使用getopts进行参数解析。

2023-04-16 01:52:17 781 6

原创【shell】遇到错误退出set -e|set -u|set -x|shell 退出时执行|捕捉信号trap

set -e #脚本里面有返回值非0命令/运行失败的命令就退出set -u #如果遇到不存在的变量，就退出使用set -x开启某一段的调试信息：set -x 开始调试；set +x 结束调试；-x还有另一种写法-o xtrace。

2023-04-05 17:35:21 1738

原创【shell】shell脚本静态检查工具 shellcheck

shellcheck 是一款实用的 shell脚本静态检查工具，可以帮助你提前发现并修复简单的语法错误，节约时间。

2023-04-03 20:07:27 1642

原创【性能】中断绑定|irqbalance 中断负载均衡|多队列技术

Linux系统默认使用irqbalance服务优化中断分配，它能自动收集数据，调度中断请求，但是它的分配调度机制极不均匀，不建议开启，为了了解中断绑定，我们把irqbalance服务关掉，手工调整绑定关系。由于硬中断处理程序不能被中断，如果它执行时间过长，会导致CPU没法响应其它硬件的中断，于是内核引入软中断，将硬中断处理函数中耗时的部分移到软中断处理函数处理。单核CPU不能完全处满足网卡的需求，通过多队列网卡驱动的支持，将各个队列通过中断绑定到不同的核上，以满足网卡的需求，同时也可以降低CPU0的负载。

2023-02-27 08:57:02 2310 3

转载【网络】为什么单个TCP连接很难占满带宽

如果你需要用单个 TCP 连接把带宽占满，你必须把滑动窗口设置成带宽 * 网络延时那么大。这样来想这个问题，从甲地到乙地，寄一封信的时间为 2 年（网络延时），甲地每年往乙地最多能寄 100 封信（带宽），那么从甲地到乙地邮寄的路程上，一共最多有多少封信在寄？答案是 200 封，很简单，假设甲地把带宽用满，第一年寄 100 封，第二年寄 100 封，而这 200 封信都没有能到达乙地。我发现 1 秒钟，我的大脑很难理解它为一段时间，所以我把它拉长为 2 年，数据包我改成送信。

2023-02-24 10:28:42 1033 1

原创【linux】shell程序后台运行nohup和&的区别

如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用n o h u p命令。如果使用n o h u p命令提交作业，那么在缺省情况下该作业的所有输出都被重定向到一个名为nohup.out的文件中，nohup.out文件缺省写在当前目录下，如果在该目录下无写权限，则试图写到$HOME/nohup.out中，如果仍然失败，整个命令执行失败。&则让命令在后台运行，至于该命令是否能在脱离终端后继续执行则要看进程是否是守护进程，如果不是，则需要nohup来帮忙。使用nohup命令提交作业。

2023-02-17 00:49:46 1266

原创【C/C++】freopen 函数和 fopen 函数|标准输入输入写入文件|屏幕输出写入文件

freopen 和 fopen 都是C的标准库函数被包含于C标准库头文件中。fopen就是我们最熟悉的打开一个文件用于写入or读取freopen 是打开一个文件，用于接收输入输出流的数据。

2023-01-28 23:36:07 9580 1

原创【Linux】nm命令|查看动态库包含的函数符号

nm来源于name的简写。该命令用来列出指定文件中的符号信息（如常用的函数名、变量等，以及这些符号存储的区域）。nm缺省情况下报告十进制符号表示法下的数字值。

2023-01-28 22:42:03 5796

原创【Linux】CentOS、CentOS Stream、RedHat 和Fedora 之间的关系

CentOS Stream是一个滚动发行版，充当Fedora中最先进的软件包与Red Hat Enterprise Linux中可用的稳定长期软件包之间的中间地带。CentOS有两个主要版本，具体取决于您的需求，现在，有两种使用CentOS平台的方式，它们分别是CentOS Linux和CentOS Stream。CentOS Stream是一种中间发行版本，为参与创建下一版本的RHEL提供了明确的途径，请参阅CentOS Stream发行说明中的更多内容。

2023-01-17 10:29:47 5208

原创【rpm】源码包制作rpm包|修改rpm、重新制作rpm包

打rpm 包需要的东西有源码、spec文件（打rpm包的脚本）、rpmbuild工具。

2023-01-08 00:15:40 4611 4

原创【linux】内核模块管理：lsmod、insmod、rmmod、modinfo、modprobe、depmod命令

1、这些命令安装在“kmod”包中，系统通常已经安装了，如果没有安装请安装：2、CentOS中所有与内核模块相关的文件都存放在"/lib/modules/$(uname -r)/“下面（不管32位还是64位系统，都在/lib/...之下）：二、命令介绍1、lsmod：查看内核已加载的模块2、modinfo：查看模块的基本信息3、insmod：将指定模块加载到内核，建议使用modeprobe命令4、rmmod：将已加载模块从内核中移除，建议使用modeprobe命令。

2023-01-06 17:52:01 9127 2

原创【Linux】rc.local和rc.d/rc.local的区别|rc.local文件开机不执行

etc/rc.d/rc.local 用于添加开机启动命令/etc/rc.local是/etc/rc.d/rc.local的软连接。

2023-01-04 01:37:07 5009 1

原创【shell】eval|参数中含参数

shell中的eval命令_51CTO博客_shell eval命令

2023-01-01 01:53:20 404

原创【网络】/etc/sysconfig/network-scripts/下没有网口文件|network与NetworkManager差别

NetworkManager 以 key-file 格式将新网络配置保存到 /etc/NetworkManager/system-connections/从 RHEL 9.0 开始，RHEL 以 key-file 格式在 /etc/NetworkManager/system-connections/ 中存储新的网络配置。配置以旧格式存储在 /etc/sysconfig/network-scripts/ 中的连接仍然可以正常工作。对现有配置集的修改会继续更新旧的文件。

2022-12-03 00:22:02 3737 1

原创【容器】K8S|Podman|容器技术总目录|问题记录

在调试mysql-operator和mysql，在部署mysql的过程中，一直出现，mysqld: File ‘/var/lib/mysql-bin.index’ permission deined或者报错Can’t find error-message file ‘/usr/local/mysql/errmsg.sys’服务器/data/mysql挂载了容器中的/var/lib/mysql。rdma 无法访问设备描述符的目录。

2022-11-26 23:06:28 593 2

原创【容器】Podman和常用命令

cgroup V2Linux内核功能允许用户限制普通用户容器可以使用的资源，如果使用cgroupV2启用了运行Podman的Linux发行版，则可能需要更改默认的OCI运行时。配置按此顺序读入,这些文件不是默认创建的,可以从/usr/share/containers或复制文件/etc/containers并进行修改。如果普通用户的身份从主机目录挂载到容器中，并在该目录中以根用户身份创建文件，则会看到它实际上是你的用户在主机上拥有的。容器与root用户一起运行，则root容器中的用户实际上就是主机上的用户。

2022-11-24 21:10:14 2556

原创【lldptool】LLDP工具|lldptool命令

在eth3上设置一个管理地址的TLV 以携带IPv4地址192.168.10.10(Set a Management Address TLV on eth3 to carry IPv6 address ::192.168.10.10)#在eth3上设置一个管理地址的TLV 以携带IPv4地址192.168.10.10(Set a Management Address TLV on eth3 to carry IPv4 address 192.168.10.10)

2022-11-23 14:35:17 5899 9

原创【管理】日报，周报，会议记录模板

以前存储前端网络不支持RDMA，现在文件系统前端网络IO支持RDMA……进度6/93，进展6%，累计问题单5个，DI12.5；累计处理问题/累计发现问题：12/15。小组软件过程会议记录第X次会议记录。今日xxxx，xxxxx。

2022-10-29 22:49:34 877

CP丢包对带宽性能的影响分析(Analysing TCP performance when link experiencing

CP丢包对带宽性能的影响分析(Analysing TCP performance when link experiencing packet loss) CP丢包对带宽性能的影响分析(Analysing TCP performance when link experiencing packet loss) CP丢包对带宽性能的影响分析(Analysing TCP performance when link experiencing packet loss)

2023-11-26