- 博客(45)
- 收藏
- 关注
RSS订阅原创 Pytorch实现深度学习常见问题
数据预处理导致的尺寸不统一，模型参数无法更新的问题，多线程导致的无法debug问题等等，总结了本人在初次学习pytorch框架时遇到的所有问题，以及有效的解决方案
2023-10-24 20:46:41
799
原创 pycharm远程开发之torch环境部署(CUDA initialization Error、libcudart.so.11.0: cannot open shared object file)
服务器显卡显示的cuda最高适配版本为10.2,去官网寻找对应的版本下载（https://pytorch.org/get-started/previous-versions/#osx-9）这个问题一直没有解决，无赖破防，重头来过使用conda配置环境。下载完成后测试cuda可以使用，问题解决。报错信息，显示cuda版本不匹配问题。最后运行代码，没有报错则环境部署成功。首先来看显卡版本信息。
2023-06-17 14:59:34
373
原创 Pycharm远程开发之全局pip，激活远程虚拟环境pip，以及pip的--user选项
Pycharm上本地pip安装包，使用本地pip，不会保存到linux服务器，没有使用与远程服务器保持一致的pipPycharm上手动安装包，由于连接了远程服务器pycharm自动使用pip保持一致，如下图所示，会同步到远程远程服务器上pip安装包(权限不允许),没有激活虚拟环境，全局pip下载，权限不允许，添加–user选项，依旧是本地与远程pip不一致远程服务器上pip安装包带–user选项，软件包下载在.local文件夹中。
2023-06-15 20:52:30
1493
原创 mysql：Access denied for user ‘root‘@‘localhost‘ (using password: YES)
初次安装mysql后设置root密码退出后无法正常登录，报错。先跳过MySQL的密码认证过程，查询root用户密码。重新登录发现登录成功。
2023-04-18 10:27:44
78
原创 hadoop集群搭建疑问
1.master主机配置成功后直接克隆slave主机，发现克隆机无法连接网路。2.hadoop集群运行之后无法连接hdfs与访问web页面。删除UUID号，然后重启网卡。
2023-03-25 18:52:41
55
原创 阿里云ESC安全配置(无法远程连接，经常被入侵)
在使用阿里云创建实例时，没有考虑到入侵问题，配置了最为宽松的安全组，导致服务器多次遭入侵。登录服务器找到异常文件，确实是入侵程序代码，文件的属主为普通用户，还好root密码没有泄露。究其原因ESC实例中安全组配置太过随意，如果只进行远程登录和提供相应服务，只需打开对应端口，限定源地址IP保证安全。措施修改sshd配置文件（/etc/sshd/sshd_config），更改sshd连接端口,禁止root用户登录重新启动sshd服务systemctl restart sshd查看端口
2022-01-28 13:11:01
2984
原创 wsgiref make_server 报错AssertionError: write() argument must be a bytes instance
from wsgiref.simple_server import make_serverdef application(env, start_response): response_body = ["%s: %s" % (key, value) for key, value \ in sorted(env.items())] response_body = '\n'.join(response_body) status = "200 ok" response_
2022-01-25 16:05:59
1031
原创 三次握手四次断开(为什么两次握手不行，断开为何需要等待2msl)
用图详细叙述三次握手与四次断开的过程，以及连接建立过程中可能会存在的问题，如何解决
2021-05-16 18:04:51
265
1
原创 linux性能监控总结（以及内核参数的优化）
性能监控指标磁盘空间 网卡流量 CPU使用率 端口监控 进程监控性能监控常用命令top命令显示逐行解析（man top）load average(平均负载[1min, 5min, 15min]):某段时间内占用cpu时间与等待cpu时间的进程数。单核：超过1需要注意，超过5十分严重%Cpu0 : 0.0 us, 0.3 sy, 0.0 ni, 99.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 stus表示user 用户态的进程所消耗的cpu的资源
2021-05-15 17:06:53
301
原创 Mysql数据库索引总结
Mysql数据库索引常见的索引实现原理1.hash表使用hash函数生成数据的存储地址，查询数据时可通过hash函数获取数据的存储地址直接获取数据，时间复杂度为O(1)，存在问题就是会产生碰撞，不同的数据通过hash函数可能产生相同的存储地址，此时通过建立链表链接相同地址的数据优点：时效高缺点：范围查找实现效率极低(需要读取所有表数据进行计算返回结果)2.二叉查找树构建二叉查找树，树中结点的数据左小右大，时间复杂度为O(log2n)优点：时效高缺点：根节点选取不当造成二叉查找树失衡，
2021-05-14 21:35:23
88
原创 minikube的安装部署使用(service expose端口暴露后访问受限问题)
1.安装docker2.配置docker使用systemd作为默认cgroup驱动，使docker与kubenetes的驱动一致，否则会报错处理错误参考链接cat << EOF >> /etc/docker/daemon.json{“exec-opts”:[“native.cgroupdriver=systemd”]# “exec-opts”:[“native.cgroupdriver=cgroupfs”]}3.启动docker4.设置阿里的kubeadm源cat
2021-05-11 18:21:43
2336
2
原创 mysql的架构与存储引擎总结
MySQL的架构与存储引擎总结八大组成部分1.Connectors 与其他编程语言中的sql语句进行交互， 如php、python2.Managerment Services & Utilities 系统管理和控制工具3.Connection Pool 管理缓冲用户连接，线程处理等需要缓存的需求4.SQL Interface（SQL接口） 接收用户的SQL命令，并且返回用户需要的查询结果。5.Parser (解析器) 负责解析和验证SQL命令6.Optimizer
2021-05-08 21:06:40
157
1
原创 mysql的主从复制
mysql的主从复制 主从复制开始前有个前提条件：两边的数据要一样，主必须开启二进制日志异步主从复制主从复制过程：master数据发生变化，产生新的二进制文件，master通知slave的I/O thread进程来读取master的二进制文件，slave的I/O thread 读取本地的master_info，携带master所需的验证信息和二进制日志读取的定位，master的log dump thread进程将master新增加的二进制日志内容发送给i/o thread ，slave收到日志后，
2021-05-08 21:03:12
91
原创 NFS的安装与部署
NFS的安装与部署（Centos 7）1.部署安装NFS服务端yum install 2.修改NFS的配置文件，允许同网段主机访问3.启动服务4.安装nfs到客户端5.挂载共享文件到客户端6.测试是否能访问成功NFS(Network File System)，主要通过网络，让不同的主机之间共享文件数据，可以将NFS服务段共享文件挂载到客户端，实现各个主机之间的数据一致性。NFS与RPC的关系...
2021-05-08 17:20:04
190
原创 实现双主模式的反向nginx代理高可用（centos7）
keepalived + nginx实现高可用web集群集群架构图首先准备五台centos7系统的虚拟机每台机器上安装好nginx修改两台负载均衡nginx的配置文件http { ... upstream my_nginx_lb { server 192.168.44.132; server 192.168.44.133; server 192.168.44.134; ...} server { listen
2021-05-03 18:59:27
142
原创 docker的学习历程-swarm集群搭建（动态扩缩容）
搭建基于docker swarm的nginx集群(centos-7)搭建步骤准备四台虚拟机配置国内repo源，这是使用阿里云提供的repo源# 备份初始repo源cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup#下载repo文件cd /etc/yum.repos.d/curl http://mirrors.163.com/.help/CentOS7-Base-163.repo -
2021-04-26 00:31:43
166
原创 dockerfile报错/bash/sh:Failded command not found
踩坑记录自作编译安装的nginx镜像时，出现报错信息。dockerfile制作镜像时总是报错yum not found出错的dockerfile文件如下FROM centos#这里覆盖了centos镜像中的环境变量PATH，导致命令无法找到ENV PATH /usr/local/nginx/sbinRUN yum install -y pcre-devel zlib-devel make gcc gcc-c++ openssl-devel \ && cd /root \
2021-04-25 15:26:27
880
原创 Linux文件系统与硬盘（LVM理解操作，几种raid模式介绍）
文件系统与硬盘硬盘磁盘术语磁道 一个磁道63个扇区track扇区 一个扇区512个字节sector柱面CHS分区表类型dos:最多4个主分区gpt:可以存在多个主分区分区分类主分区 dos分区只可有四个主分区扩展分区 只是一个概念，一个扩展分区占一个主分区位置， 不能存放数据，用于突破4个分区的限制， 最多只能有一个扩展分区，在扩展分区里划分逻辑分区逻辑分区 逻辑分区存在扩展分区中固态硬盘ssd，与磁盘disk每
2021-04-25 12:22:22
386
原创 docker谜之疑问，刚打开就关闭了
根据镜像启动容器，执行命令如下：docker run -d --name mycentos centos通过docker ps查看正在运行中容器，缺找不到mycentos容器。再次通过docker ps -a查看发现，mycentos容器已经处于停止状态了。原因Docker容器后台运行,就必须有一个前台进程.否则容器会自动关闭...
2021-04-24 20:08:23
170
原创 docker的学习历程－Compose
Compose的学习Compose是一个定义和运行多个容器的应用，可以进行批量容器编排。安装步骤#使用国内镜像加速下载curl -L https://get.daocloud.io/docker/compose/releases/download/1.24.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose#增加可执行权限chmod +x /usr/local/bin/docker-compose
2021-04-22 21:03:04
86
原创 docker的学习历程－docker网络（docker中无法install问题解决）
Docker 网络原理启动docker服务发现docker虚拟网卡遇到问题查看容器内部网卡信息时报错，阉割版的linux系统ip指令也没有（脑裂）尝试在容器内安装ip相关指令，发下apt更新失败推测可能是域名无法解析，修改docker配置文件vim /etc/docker/daemon.json添加dns解析服务器地址重启docker服务，发现安装成功其次为了提高下载速度可以配置国内镜像源cat <<EOF >/etc/apt/sources.listd
2021-04-22 12:23:59
555
原创 docker的学习历程－DockerFile自制镜像
DockerFile的指令集注意：所有的指令都是大写FROM 指明基础镜像RUN 在镜像build时运行命令COPY 复制宿主机文件到相应的容器内目录ADD 复制宿主机文件到容器内，如果为.gz、.xz等压缩包则会自动解压CMD 在镜像运行时执行的命令，可以覆盖前多个CMD命令ENTRYPOINT 在镜像运行时执行的命令，可追加前面多个entrypoint命令MAINTAINER 指明镜像作者EXPOSE 指定容器默认暴露端口ENV 指定镜像的环境变量，build完成后可继续引
2021-04-21 22:11:39
84
原创 docker的学习历程－数据卷
docker数据卷学习docker后存在疑问，如果docker容器关闭后其中的数据还存在吗？验证docker的数据保存位置#测试安装MySQL镜像#查询MySQL镜像是否存在docker search mysql# 下载镜像docker pull mysql:5.7# 查询镜像是否下载完毕docker images# 运行mysql镜像docker run -d -p 8806:3306 -e MYSQL_ROOT_PASSWORD=123456 --name="mysql01" my
2021-04-21 16:53:51
71
原创 docker的学习历程-基础入门
docker的学习之路docker的安装步骤# 1.下载相关工具yum install -y yum-utils# 2.配置docker镜像地址，使用国内镜像yum-config-manager \ --add-repo \ http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 3.安装dockeryum install docker-ce docker-ce-cli containerd.io#
2021-04-20 21:21:25
109
原创 CentOS 7非正常关机无法启动
由于电源不稳定导致虚拟机非正常关机，再次重启系统进入rescue 模式，日志显示Failed to mount /sysroot使用下列命令清空日志再重启即可xfs_repair -v -L /dev/dm-0
2021-04-20 16:13:53
800
原创 LVS四种模式学习笔记（Centos 7）
LVS介绍什么是LVSLVS(Linux Virtual Server) linux虚拟主机，是一个高可用的扩展软件（负载均衡的软件）LVS的三种模式NATDR内网的real server必须使用Non-arp模式，不对apr广播做出响应，确保arp广播发送时只有调度器能做出响应，路由器将数据发往调度器，调度器决定将数据发往哪个real server，调度器与real server且必须在同一局域网内，lvs调度器不会改变请求报包的源ip与目的ip，调度器通过改变数据帧的源mac与目的mac将
2021-04-20 12:20:55
170
原创 Nginx集群的负载均衡（7层）
搭建高可用nginx集群1.准备四台Centos 7系统2.使用ansible在四台系统上分别安装nginxansible的部署安装可以看我的另外一篇文章3.配置各机器ip本人使用的linux虚拟机的网卡模式均为：NATvim /etc/sysconfig/network-scripts/ifcfg-ens334.修改配置启用负载均衡vim /usr/local/nginx/conf/nginx.conf5.检查配置文件是否存在语法错误，分别启动各个机器上的ngin
2021-04-18 00:18:15
271
原创 一键编译安装nginx
一键编译安装nginx为了避免集群部署反复操作安装步骤，将nginx的编译安装写成脚本方便快速安装#!/usr/bin/bash#下载压缩包curl -O http://nginx.org/download/nginx-1.19.2.tar.gz#解压tar -xf nginx-1.19.2.tar.gz#解决依赖关系yum install pcre-devel openssl-devel make gcc -y#进入目录cd nginx-1.19.2#添加配置./co
2021-04-17 21:27:26
134
原创 Ansible的安装与部署
Ansible的安装与部署（Centos 7）Ansible简介ansible是一款开源的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。配置ssh免密通道#生成密钥对ssh-keygen -t ecdsa #将公钥发送到将要管控的机器上ssh-copy-id -i id_ecdsa.pub [email protected] -i id_
2021-04-12 20:07:31
102
原创 一键部署安装mysql脚本（Centos 7）
zabbix常见使用功能提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录zabbix常见使用功能前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本
2021-04-12 11:40:06
320
原创 zabbix部署安装(避免常见坑)
zabbix部署安装zabbix server端配置与部署安装rpm包，生成.repo文件rpm -Uvh https://mirror.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-1.el7.noarch.rpm安装依赖包wget http://springdale.math.ias.edu/data/puias/unsupported/7/x86_64//iksemel-1.4-6.
2021-04-12 10:57:39
391
原创 【力扣474 动态规划】为什么求解时需要逆序
这个题类似于背包问题，其中列表中的每个字符串可看作包含zeronum个0，onenum个1，且价值为1的商品，此时的求解换一种理解方式就是，给定可装m个0和n个1的背包，求可以把列表中的哪些字符串装入背包，保证zeronum的值<=m，onenum的值<=n。解题代码都大同小异，但是有个问题不易理解，就是在求dp表时，为什么需要使用逆序求值class Solution: def findMaxForm(self, strs: List[str], m: int, n: int) -.
2021-02-03 14:13:48
349
1
原创 linux学习笔记-重定向与链接
linux学习笔记-重定向与链接文件描述符（fd）0： stdin标准输入文件 -> 键盘1： stdout标准输出文件 -> 对应显示器2： stderr标准错误输出文件 -> 对应显示器/dev/null 相当于一个黑洞，任何输入这里的内容都“消失”重定向符号‘>’ 重定向输出，覆盖原内容‘>>’ 重定向并追加，不覆盖原内容‘1>’ 标准输出重定向‘2>&1’ 或 ‘&>’ 重定向标准输出或错误输出至同一个文
2020-11-08 11:39:33
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人