- 博客(261)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 更换mpi环境（export，module load）
在计算机集群中，"module" 命令是一种用于管理和加载软件环境的工具。它允许用户在集群中切换和加载不同版本的软件模块，以满足各种应用程序和需求。通过使用 "module" 命令，用户可以轻松地配置自己所需的软件环境，而无需手动设置各种环境变量和路径。
2024-03-24 12:54:24
659
原创 pickle数据序列化和反序列化
本地序列化的情况，应用较少。一般来说，大多数应用场景在网络中，将数据序列化后通过网络传输到远程结点，远程服务器上的服务接受到数据后进行反序列化，就可以使用了。但是，需要注意的是，远端接受端反序列化时必须有对应的数据类型，否则就会报错，尤其是自定义类，必须远程存在。目前，大多数项目都不是单机，不是单服务，需要通过网络将数据传送到其他结点上，这就需要大量的序列化，反序列化。
2024-03-23 11:47:49
614
1
原创 python使用multiprocessing
multiprocessing是Python标准库中的一个模块，用于实现多进程编程。它提供了一种简单而高效的方式来利用多核处理器的能力，通过在多个进程中同时执行任务，加快程序的执行速度和提高系统的吞吐量。
2024-03-09 15:37:27
860
原创 NUMA架构
NUMA这种构架下，不同的内存器件和CPU核心从属不同的 Node，每个 Node 都有自己的集成内存控制器（IMC，Integrated Memory Controller）。在 Node 内部，架构类似SMP，使用 IMC Bus 进行不同核心间的通信；不同的 Node 间通过QPI（Quick Path Interconnect）进行通信
2024-03-09 14:33:32
1058
原创 argparse --- 命令行选项、参数和子命令解析器
argparse 模块可以让人轻松编写用户友好的命令行接口。 程序定义它需要哪些参数，argparse 将会知道如何从 sys.argv 解析它们。 argparse 模块还能自动生成帮助和用法消息文本。 该模块还会在用户向程序传入无效参数时发出错误消息。
2024-03-08 16:53:46
942
原创 获取linuxIP、内存、cpu、磁盘IO等信息的Shell脚本及其讲解
获取linuxIP、内存、cpu、磁盘IO等信息的Shell脚本及其讲解
2024-03-02 16:53:42
828
原创 ulimit命令
ulimit 命令用于查看和设置 shell 运行时的资源限制。它可以控制各种资源，如文件打开数量、堆栈大小、CPU 时间等。ulimit 命令通常用于限制 shell 启动的进程的资源使用量，以防止系统资源被耗尽。ulimit命令的主要作用是提高系统的性能和稳定性。通过合理地设置资源限制，可以防止因过度使用系统资源而导致系统崩溃或性能下降。例如，通过设置最大文件大小的限制，可以避免同时打开过多的文件导致系统崩溃；通过设置最大虚拟内存的限制，可以避免进程占用过多的内存导致系统变慢。
2024-02-29 20:08:33
1019
原创 关于/proc/fs/lustre
proc/fs 是一个特殊的虚拟文件系统目录，在 Linux 系统中用于提供有关文件系统的信息和控制接口。这些信息和控制接口可用于监视和管理系统中各种文件系统的状态和行为。
2024-02-21 22:45:38
886
原创 GitHub 2FA认证（双重身份验证）
GitHub 向部分用户发出警告：如果在北京时间 2024 年 1 月 19 日 08:00 前仍未启用双重验证（2FA)，他们将被禁用部分功能。当然，这对于 GitHub 用户来说并不算意外，因为 GitHub 早在 2022 年年中就宣布了这一措施，并且后续 18 个月中又进行了多次提醒。GitHub 指出了采取这一措施的必要性，主要是因为整个软件生态系统的 2FA 采用率总体上仍然很低。目前只有 16.5% 的 GitHub 活跃用户和 6.44% 的 npm 用户使用一种或多种形式的 2FA。
2024-02-21 10:58:39
1611
原创 Ubuntu 22.04安装使用easyconnect
百度百科，EasyConnect能够帮助您在办公室之外使用公司内网的所有系统及应用。在您的公司部署深信服远程应用发布解决方案后，您的公司所有业务系统及应用都可以轻松迁移至移动互联网上。您可以通过手机、PAD等智能移动终端随时随地开展您的业务，尽享移动业务带来的便利与效率。深信服 EasyConnect 是一种快速、简单且安全的远程访问解决方案，允许独立于安装的计算机、从任何设备和任何操作系统访问 Windows 桌面和应用程序。
2024-01-16 17:04:25
1484
2
原创 NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver
开机进入grub引导界面，选择Advanced options for Ubuntu，选择一个低版本的内核进入系统，然后通过终端输入uname -r查看当前内核版本确认是否切换成功，若切换成功则输入nvidia-smi查看显卡配置能否打印。
2024-01-14 16:58:28
986
原创 脚本接收参数，执行shell指令
上午开完会，5个小时内丧失思考行动能力，10个小时内不敢说话，深刻把握会议精神，反省自己。因为经常用到脚本执行任务，所以记录一下一些常用的脚本接收参数，执行shell指令。
2024-01-04 19:40:59
989
原创 MPI安装与程序设计
MPI（Message Passing Interface）是一种用于编写并行程序的标准和库，用于在分布式内存系统中进行消息传递和并行计算。MPI提供了一组函数和语义，用于在多个进程之间进行通信和同步，以实现并行计算和并行任务的协调。MPI在高性能计算领域被广泛应用，用于开发并行和分布式内存计算应用程序。它提供了丰富而强大的功能，使得开发者能够充分利用并行计算资源，提高计算效率和性能。MPI有很多种实现。MPICH是其中的MPI实现之一。
2023-12-22 17:37:26
900
原创 文件操作（open与fopen，write与fwrite，read与fread）
fopen函数是标准I/O库函数的一部分，它提供了更高级别的文件操作功能，例如缓冲、格式化输入输出等。而open函数直接与底层文件系统交互，提供了更底层的文件操作。linux下的fopen是open的封装函数，fopen最终还是要调用底层的系统调用open。选择使用open还是fopen取决于你的需求和使用环境。如果你需要更底层的文件操作或者在特定的系统调用接口上工作，可以选择使用open函数。如果你更倾向于使用标准C库函数以及提供的高级别文件操作功能，可以选择使用fopen函数。
2023-12-20 20:32:10
888
原创 C语言文件权限
提笔不会忘字的人，提键盘却忘了编程语言，差点忘本了，用python，shell等脚本语言忘记C语言怎么用了，研究文件系统简单的文件读写不会写了，记录一下。
2023-12-18 10:33:29
891
原创 动态环境变量设置（Dynamic environment variables）
在Linux系统中，环境变量是一种存储有关系统配置和运行的信息的机制。它们包含各种参数，如系统路径、默认编辑器、语言设置等。在Linux中，可以通过以下方式来管理和使用环境变量：查看环境变量：使用printenv命令或env命令可以列出当前系统中所有的环境变量。例如，运行printenv将显示所有环境变量的名称和值。设置临时环境变量：可以使用export命令来设置临时环境变量，其对当前会话有效。
2023-12-11 09:45:51
853
原创 ubuntu22.04新机使用（换源，下载软件，安装显卡驱动，锁屏长亮）
ubuntu22.04新机使用（换源，下载软件，安装显卡驱动，锁屏长亮）
2023-11-28 09:53:08
1526
原创 RedHat NTP时间服务器配置Chrony（所有节点时间跟主节点时间同步）
RedHat NTP时间服务器配置Chrony（所有节点时间跟主节点时间同步）
2023-11-23 12:11:16
540
原创 Linux上使用Python源码编译安装Python
没网的情况下，可以去官网搜索需要的python库下载对应的whl文件进行安装。注意，此时下载的whl安装包一定要是符合自己Python版本和系统处理器位数的版本，下载的库名中cp39代表python3.9版本，想知道系统具体可以安装哪些标签的.whl文件，可以使用pip debug --verbose，兼容的文件标签就会显示。解决方法：安装python-dev。正常可以使用yum或者apt-get命令直接安装python-dev，但如果没有网络，就使用如上的源码下载即可。
2023-11-18 00:13:36
601
原创 Redhat8.3上部署Lustre文件系统
Lustre架构是用于集群的存储架构。Lustre架构的核心组件是Lustre文件系统，它在Linux操作系统上得到支持，并提供了一个符合POSIX *标准的UNIX文件系统接口。Lustre存储架构用于许多不同类型的集群。它以支持世界上许多最大的拥有数万个客户端系统、pb (PiB)存储和每秒数百GB (GB/sec)的I/O吞吐量的高性能计算(HPC)集群而闻名，许多HPC站点使用Lustre文件系统作为站点范围的全局文件系统，为几十个集群提供服务。
2023-11-15 17:16:34
245
原创 RPM与SRPM
RPM全名是『RedHatPackageManager』简称则为RPM。顾名思义，当初这个软件管理的机制是由RedHat这家公司发展出来的。RPM是以一种数据库记录的方式来将你所需要的软件安装到你的Linux系统的一套管理机制。
2023-11-14 22:58:08
158
原创 Lustre文件系统介绍
Lustre架构是用于集群的存储架构。Lustre架构的核心组件是Lustre文件系统，它在Linux操作系统上得到支持，并提供了一个符合POSIX *标准的UNIX文件系统接口。Lustre存储架构用于许多不同类型的集群。它以支持世界上许多最大的拥有数万个客户端系统、pb (PiB)存储和每秒数百GB (GB/sec)的I/O吞吐量的高性能计算(HPC)集群而闻名，许多HPC站点使用Lustre文件系统作为站点范围的全局文件系统，为几十个集群提供服务。
2023-11-04 13:09:18
1180
原创 VMware安装RedHat8.3虚拟机并免费激活订阅
Red Hat Enterprise Linux（RHEL） 是一款由红帽公司开发和支持的商业操作系统。RHEL 8.3是RHEL 8系列的一个版本，它引入了许多新功能和改进，以提供更好的性能、安全性和可靠性。以下是RHEL 8.3的一些主要特点：基于内核版本：RHEL 8.3采用了Linux内核版本4.18，该版本带来了对新硬件和技术的支持，并提供了更好的性能和稳定性。
2023-11-02 20:25:22
740
原创 OpenBox（一个高效通用的黑盒优化系统）安装与使用
OpenBox 是一个高效的开源系统，旨在解决泛化的黑盒优化（BBO）问题， 例如 自动化超参数调优 、自动化A/B测试、 实验设计、数据库参数调优、处理器体系结构和电路设计、资源分配、自动化学设计等。OnenBox 的设计理念是将BBO作为一种服务提供给用户。 我们的目标是将 OpenBox 实现为一个分布式的、有容错、可扩展的、高效的服务。 它能够对各种应用场景提供广泛的支持，并保证稳定的性能。 OpenBox 简单易上手、方便移植和维护。
2023-10-25 10:13:33
480
原创 Python正则表达式
当处理文本数据时，正则表达式是一种强大的工具，它允许我们根据特定的模式来匹配、搜索和处理字符串。正则表达式由一系列字符和特殊字符组成，用于描述文本模式。这些模式可以包含普通字符（如字母、数字和标点符号）以及特殊字符，用于表示匹配特定模式的规则。
2023-10-14 15:33:43
225
原创 机器学习：随机森林
随机森林（Random Forest）是一种基于决策树的集成学习方法，通过构建多个决策树，并对它们的预测结果进行集成，来实现分类和回归任务。随机森林结合了Bagging和随机特征选择的技术，具有较好的泛化能力和抗过拟合能力。
2023-10-06 20:28:20
574
原创 机器学习：决策树
决策树是一种基于树形结构的模型，决策树从根节点开始，一步步走到叶子节点（决策），所有的数据最终都会落到叶子节点，既可以做分类也可以做回归。
2023-10-06 18:36:26
872
原创 Python柱形图
柱形图，又称长条图、柱状统计图、条图、条状图、棒形图，是一种以长方形的长度为变量的统计图表。长条图用来比较两个或以上的价值（不同时间或者不同条件），只有一个变量，通常利用于较小的数据集分析。长条图亦可横向排列，或用多维方式表达。
2023-10-06 14:05:11
947
原创 LASSO回归
LASSO(Least Absolute Shrinkage and Selection Operator，最小绝对值收敛和选择算子算法)是一种回归分析技术，用于变量选择和正则化。它由Robert Tibshirani于1996年提出，作为传统最小二乘回归方法的替代品。
2023-09-10 16:08:08
7070
原创 Python散点图
散点图是指在回归分析中，数据点在直角坐标系平面上的分布图，散点图表示因变量随自变量而变化的大致趋势，据此可以选择合适的函数对数据点进行拟合。用两组数据构成多个坐标点，考察坐标点的分布，判断两变量之间是否存在某种关联或总结坐标点的分布模式。散点图将序列显示为一组点。值由点在图表中的位置表示。类别由图表中的不同标记表示。散点图通常用于比较跨类别的聚合数据。
2023-09-09 14:01:59
1926
3
原创 ubuntu下Anaconda安装与使用教程
安装路径默认在/home/用户名/anaconda3下，可以选择修改，确定安装路径后开始安装，我们创建名为python3.8，python版本为3.8的环境。可以看到出现（base）。
2023-09-03 15:37:31
6332
原创 Darshan日志分析
darshan-parser 输出的开头显示了有关作业的总体信息的摘要。还可以使用–perf、–file或–total命令行选项生成其他作业级别摘要信息。本文即对darshan生成的日志进行分析。
2023-09-03 13:51:24
218
asp.net基于三层模式教研室教学资料管理系统毕业源码案例设计.zip
2023-10-12
简单的javaweb项目实现登陆注册修改删除等
2020-07-01
网络嗅探器的设计与使用.zip
2020-06-29
Web前端大作业.zip
2020-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人