- 博客(62)
- 收藏
- 关注
RSS订阅原创 docker-Compose的安装和使用
docker-Compose可以帮助我们批量的管理容器只是需要一个docker-Compose.yml文件去维护即可。下载docker-Compose下载地址：docker-Compose安装1. 上传到服务器2. 改名为docker-compose3. 加上执行权限[root@fengling ~]# chmod +x /usr/local/bin/docker-compose [root@fengling ~]# ll /usr/local/bin/docker-compose.
2020-11-15 17:31:54
306
原创 linux CPU资源彪高（sysupdate, networkservice进程）
起因今天起来登录服务器，命令行卡的飞起来了是用top命令查看发现sysupdate # 系统更新networkservice # 网络资源xr应该是一个挖矿病毒登录阿里云查看cup状态已经很长时间了，但是并没有报警根据进程号找到文件的位置[root@fengling ~]# ls -l /proc/24758/exe lrwxrwxrwx 1 root root 0 11月 15 12:11 /proc/24758/exe -> /etc/sysupdate[ro
2020-11-15 12:57:29
353
1
原创 docker中的数据卷
docker数据卷说明docker中的数据卷就是将宿主机中的一个目录映射到容器中的一个目录可以在宿主机中操作目录中的内容，那么容器内映射的文件，也会跟着一起改变创建数据卷# 创建数据卷docker volume create 数据卷名称# 创建数据卷之后，默认会存放到一个目录下 /var/lib/docker/volumes/数据卷名称/_data查看数据卷的详细信息docker volume inspect 数据卷查看全都数据卷docker volume ls删除数据卷
2020-11-15 09:44:07
229
原创 docker中的配置
docker配置文件docker的配置文件位于：/etc/docker/daemon.json其中的一些配置{ "api-cors-header":"", "authorization-plugins":[], "bip": "", "bridge":"", "cgroup-parent":"", "cluster-store":"", "cluster-store-opts":{}, "cluster-advertise":"", "debug": true,
2020-11-14 18:01:25
186
原创 docker网络模型
docker 网络模式none模式，使用--network none指定bridge模式(net模式)，使用--network bridge指定container模式，使用--network container:CNAME_CID指定host模式，使用--network host指定None此模式中，docker容器拥有自己的network namespace，但是不创建任何网络设备，仅有lo网络，即为封闭式容器。[root@fengling dockerfile]# docker run
2020-11-14 17:26:08
129
原创 Dockerfile实例
Dockerfile文件[root@fengling dockerfile]# cat Dockerfile FROM 81.70.195.225/one/nginx:v1USER rootENV HTML_DIR /usr/share/nginx/htmlENV CONF_DIR /etc/nginx/conf.dRUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime &&\ echo 'Asia
2020-11-14 16:50:20
70
原创 Dockerfile的使用
dockerfile中的指令构建镜像docker build . -t 仓库地址/仓库名称/镜像名称:标签在dockerfile目录下构建文件名为DockerfileFORM# 指定基础镜像的下载位置，从哪里拉取进行FROM one/nginx:v1USER# 指定运行的用户FROM one/nginx:v1USER nginxWORKDIR# 容器中切换目录FROM one/nginx:v1USER nginxWORKDIR /usr/share/nginx/htm
2020-11-14 11:48:16
148
原创 dockerfile概述
容器的生命周期1. 检查本地是否存在镜像，如果不存在即从远端仓库检索2. 利用镜像启动容器3. 分配一个文件系统，并在只读的镜像层外挂载一层可读写层4. 从宿主机配置的网桥接口中桥接一个虚拟接口到容器5. 从地址池配置一个IP地址给容器6. 执行用户指定的命令7. 执行完毕后容器终止dockerfile的书写格式# 为注释指令(大写) 内容(小写)尽管指令是大小写不敏感的，但是，我们强烈建议指令用大写，内荣用小写表示dockerfile的规则docker是按顺序执行docker
2020-11-12 20:49:40
131
原创 docker容器的高级操作(重要操作)
映射端口docker run -p 容器外端口:容器内端口挂载数据卷docker run -v 容器外目录:容器内目录传递环境变量docker run -e 环境变量key=环境变量value容器内安装软件(工具)yum/apt-get/apt等
2020-11-12 20:29:08
98
原创 docker容器的基本操作
查看本地容器的进程docker ps -aCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES42922204c6a7 c39a868aad02 "/docker-entrypoint.…" 45 hours ago Exited (0)
2020-11-12 15:17:51
135
1
原创 docker镜像管理
搜索镜像docker search alpineNAME DESCRIPTION STARS OFFICIAL AUTOMATEDalpine A minimal Docker image based on Alpine Linux… 6899
2020-11-10 21:10:54
150
原创 安装docker容器
一、安装docker安装依赖环境yum -y install yum-utils device-mapper-persistent-data lvm2准备镜像源 curl https://download.docker.com/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker-ce.repo安装docker yum -y install docker-ce启动docker查看docker版本 systemctl start
2020-11-10 16:01:19
104
原创 python网络编程之socket的使用
python网络编程之socket的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：p..
2020-08-24 10:58:48
1701
原创 python基础之Windows下多进程的实现
python中的多进程python中的多进程是通过fork来实现的Unix/Linux操作系统提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。子进程永远返回0，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID，而子进程只需要调用getppid()就可以拿到父进程的ID.
2020-08-21 10:43:05
2136
原创 python之pymysql的使用
#!/usr/bin/env python# -*- coding:utf-8 -*-# Time :2020/8/7 10:25# Author : 风之老凌import pymysqldef my_connect(): context = { 'host': 'ip', 'user': 'user', 'password': """password""", 'database': 'db', 'po
2020-08-18 15:53:02
112
原创 python基础之装饰器的应用
装饰器：本质上就是python的函数，它的最大特点就是采用切片的方式，在保证核心代码不做修改的情况下进行切片控制如我们要实现一个日志收集的功能# 传统方式def test1(): log() print('第一个')def test2(): log() print('第二个')def log(): import inspect method_name = inspect.stack()[1][3] print("log: 进入%s.
2020-08-11 10:50:51
166
1
原创 python中的异常处理和自定义异常
python程序中常出现以外而中断的情况这种情况我们称为异常异常处理指，当我们程序出现bug之后进行自我修复的过程python中的异常处理语法：try: print('进行异常捕获的代码')except Exception as e: print('进行异常的处理')except Exception as e: print('可以进行多个异常的处理')else: print('没有出现异常执行')finally: print('出现异常和没出现.
2020-08-07 11:16:11
301
原创 Django对数据库进行增删查改
增加数据from .models import test #导入表对象def test_db(): test1 = test(name = 'lingtian') test1.save()查找数据from .models import testdef test_db(): # 通过objects模型器的all()来获取所有数据，相当于select * from test_list = test.objects.all() # filter相当于whe
2020-07-24 17:08:02
125
原创 Django之创建一个项目和一个 APP并配置数据库
创建项目和app#创建demo1的项目D:\django>django-admin startproject demo1D:\django>cd demo1#创建app1的APPD:\django\demo1>python manage.py startapp app1cd app1#创建templates(模板目录)和static(静态文件目录)mkdir templatesmkdir staticcd static#创建css、js、images、file
2020-07-24 14:45:40
423
原创 Django的访问流程和第一个HelloWord
Django的MTV模型用户在浏览器输入访问网址后首先访问url控制器，url控制器根据url匹配规则，配置指定的视图函数视图函数确定是否需要调用数据，如果不需要调用数据之间返回template(模板)信息，模板在浏览器进行渲染；如果需要调用数据，视图函数调用models(模型)模型将要查询的数据转化为指定的SQL去数据库查找查找完依次返回到模型–>视图函数视图函数返回指定的模板和数据浏览器渲染模板，给用户查看第一个HelloWord创建模板目录在demo下创建templ
2020-07-23 15:28:17
129
原创 Django管理工具及项目创建与运行
安装完成Django后就可以使用django-admin工具了django-admin工具提供的命令Available subcommands:[django] check compilemessages createcachetable dbshell diffsettings dumpdata flush inspectdb loaddata makemessages makemigrations .
2020-07-23 14:38:56
184
原创 Django框架之安装
安装之前确保已经安装完python环境这里我们安装Django2.0版本使用python3.6版本环境为Windows10，Linux安装之后和Django的服务环境搭建以前说Windows安装python不在单独说明安装django这里使用virtualenv的虚拟python环境安装virtualenv的安装：python基础环境之虚拟python环境搭建(virtualenv)#使用系统python创建Django的环境virtualenv -p python django-.
2020-07-23 14:06:41
79
原创 python基础环境之虚拟python环境搭建(virtualenv)
首先搭建python虚拟环境要依赖python环境python环境搭建：python3X安装虚拟环境virtualenvvirtualenv的作用：当开发成员负责多个项目的时候，每个项目安装的库又是有很多差距的时候，会使用虚拟环境将每个项目的环境给隔离开来。安装pip安装：#安装时python环境已经配置，pip可以使用#没有pip,使用以下方式安装pippython -m ensurepip安装virtualenv：pip3 install virtualenv配置软连.
2020-07-22 11:53:07
191
原创 python中的时间和日期处理模块(time、timedate)
python中的日期和时间python中编写程序中会用到很多日期和时间的程序和时间格式化的操作python中常用的时间和日期模块time 、calendar获取当前时间，和格式化时间#通过time模块获取当前的数据戳In [1]: import time In [2]: time.time() Out[2]:
2020-07-21 11:12:25
515
原创 scrapy爬虫之使用中间件处理iframe问题
使用下载中间件实现selenium来请求网址使用selenium的方式是为了解决，scrapy无法爬取到iframe方式嵌套的代码(iframe内联方式是常用的web开发框架之一)#中间件python文件from scrapy import signalsfrom scrapy.http import HtmlResponseclass NanjinFilesDownloaderMiddleware: def process_request(self, request, spider
2020-07-17 15:01:43
1231
原创 scrapy爬虫之中间件
中间件分为两种Download(下载器中间件)：处理request的请求（一般用来设置代理、设置UA和cookies）Spider中间件:处理response请求（一般用来过滤无效数据、对特殊请求进行重试）爬虫的流程中间件使用注意(配置文件)要使用中间件就必须在配置文件中启用中间件也就是在settings.py文件中配置中间件可以配置多个但是启动顺序不能相同，就按照默认的543往后加就可以# Enable or disable spider middlewares# See h.
2020-07-17 11:17:55
293
原创 scrapy爬虫之Selenium测试工具的使用
Selenium是一个用于Web应用程序测试的工具。直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Firefox，Safari，Chrome，Opera等，在爬虫上则是模拟正常用户访问网页并获取数据。安装pip install selenium安装驱动使用selenium要根据相应的浏览器安装对应的驱动才能使用以Firefox(火狐)为例查看浏览器版本浏览器版本尽量对应启动器版本，尽量选择发布日期接近的下载gecko.
2020-07-15 10:31:06
162
原创 scrapy爬虫之数据保存和管道
数据保存在scrapy中负责数据导出的组件被称作Exporter，scrapy支持的数据导出格式有：json、json lines、csv、XML、pickle、Marshal如果想使用其他的格式不如Excel，可以通过重写Exporter来实现(小编一般都通过管道的方式)scrapy中数据保存可以使用两种方式：命令方式：scrapy crawl 标识 -t 格式 -o 文件名配置文件方式：Exporter方式和管道的方式命令方式scrapy crawl 标识 -t 文件格式 -o 文
2020-07-14 11:32:36
1485
原创 scrapy爬虫之LinkExtractor的使用
LinkExtractorLinkExtractor构造器所有的参数都有默认值，如果构造对象不传参，默认提取页面中所有的链接2020-07-13 15:24:53 [parso.python.diff] DEBUG: diff parser endIn [1]: from scrapy.linkextractors import LinkExtractor In [2]:
2020-07-13 16:10:04
1990
原创 scrapy爬虫之使用模板实现双向爬虫
使用 crawl模板实现scrapy genspider -t crawl books3 books.toscrape.com初始化的文件内容import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass Books3Spider(CrawlSpider): name = 'books3' allowed_domains
2020-07-13 15:06:02
167
原创 scrapy爬虫之使用ltemload进行数据清洗和双向的数据提取
双向数据提取横向：从一个索引页到另一个索引页(水平爬取)纵向：从一个索引页到数据详细页并抽取item(垂直爬取)代码# -*- coding: utf-8 -*-import scrapyfrom scrapy.http import Requestfrom ..items import ToscrapebookItemfrom scrapy.loader import ItemLoaderclass BooksSpider(scrapy.Spider): name = 'b
2020-07-13 12:10:23
398
原创 scrapy爬虫之xpath数据提取工具的使用
xpath是xml路径语言，它是一种来确定xml文档某部分位置的语言html属于xmlhtml的一般格式<html> <head> 表题信息 </head> <body> 我们网页中看到的内容 </body></html>xpath的基本语法表达式描述/标签选中根，或根下的第一层标签//标签全局匹配的标签.点前节点…当前节点的父节点*选择所有标签.
2020-07-10 10:48:02
526
原创 scrapy爬虫之scrapy命令行
scrapy全局命令全局命令有startproject：创建项目settings：查看设置信息runspider：运行爬虫shell：打开shell调试fetch：下载网页信息view：使用浏览器打开指定网址version：查看版本scrapy项目命令(需在项目中才能执行)项目命令有crawl：运行指定爬虫check：检查爬虫代码list：列出所有的爬虫edit：使用默认的编辑器编辑爬虫parse：使用爬虫抓取指定URLgenspider：创建爬虫bench：快速的性
2020-07-08 17:29:12
599
原创 scrapy爬虫之scrapy框架安装
centos7安装scrapy方式1(源码安装)首先你已经安装python环境：python安装过程#git scrapy源码git clone https://github.com/scrapy/scrapy.gitcd scrapy/python3 setup.py install安装过程中可能会报错，一般都是缺少python依赖包，缺少啥用pip安装啥就可以#做scrapy命令的软连接，这个命令下篇介绍ln -s /usr/local/python3/bin/scrapy /usr/
2020-07-08 14:52:38
119
原创 redis单机器多实例哨兵集群
下载安装包yum -y install wgetwget http://download.redis.io/releases/redis-5.0.8.tar.gz开始安装#将安装包，解压到指定位置tar xf redis-5.0.8.tar.gz -C /usr/src/#安装编译工具yum -y install gcc gcc-c++ make#切换到Redis的安装包目录cd /usr/src/redis-5.0.8/#如果不知道怎么安装，可以查看README的文件cat REA
2020-07-03 15:49:50
256
原创 python基础之基本读写操作
python中要对文件的基本操作首先需要通过open方法来打开文件open方法提供初始化输入、输出的I/O操作的通用接口，成功后返回一个文件对象file = open(file_name[, access_mode, buffering, encoding])fiel_name：文件的相对路径和绝对路径access_mode：对文件操作的模式 读、写、追加模式操作说明r读取文件必须存在w写入如果文件存在，要先清空其中的数据，再重新创建a追加如果.
2020-06-26 11:26:01
175
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人