- 博客(407)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Python3.11+Pyside6开发电影下载程序
VideoSave是一款提供下载电影/电视剧的软件，支持注册、登录、搜索、下载、查看日志等功能，提供了Window、Mac系统安装包。
2023-11-21 13:54:44
339
原创 python爬虫2.0.5ProxyIpPool---proxies使用代理IP
代理IP定义：代替你原来的IP地址去对接网络的IP地址作用：隐藏自身真是IP，避免被目标网站封掉。代理IP分类：高匿代理：web端只能看到代理IP普通代理：web端知道有人通过此代理IP访问，但不知道用户真是IP透明代理：web端能看到用户真实IP，也能看到代理IP应用场景：针对高频率访问的IP地址进行了反爬机制，封掉IP地址的网站代理IP地址：自行百度代理IP语法格式 proxies = { 'http': 'http://IP:端口号'
2022-03-19 10:48:54
4459
原创 python---requests模块查询参数params和verity
requests.get()方法中查询参数参数名：params,数据类型未字典作用：对url地址中的查询参数进行编码拼接使用示例res = requests.get(url=baseurl,params=params,headers=headers)url为基准的url地址，不包含查询参数会自动对params字典编码，然后和url拼接SSL证书认证参数参数说明：参数名 verify参数值 True|False适用网站：https类型网站但是没有经过证书认证机构认证的网站适用场景当
2022-03-06 12:55:22
3372
原创 python爬虫2.0.4LianHomeSpider---基于xpath进行获取数据
上海地区"""目标数据： 房源名称、地址、户型、面积、方位、是否精装、楼层、年代、类型、总价、单价"""import requestsfrom lxml import etreeimport randomimport timefrom fake_useragent import UserAgentclass LianHomeSpider: def __init__(self): self.url = 'https://sh.lianjia.com/ershouf
2022-02-28 09:25:23
278
原创 python之xpath练习demo
""""https://y.qq.com/n/ryqq/toplist/26/html/body/div/div/div[2]/div[2]/div[3]/ul[2]/li[1]"""import requestsfrom lxml import etreeurl = 'https://y.qq.com/n/ryqq/toplist/26'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) A
2022-02-20 17:17:47
579
原创 python爬虫2.0.3CarHomeSpiderIncrementalRedis---基于Redis实现增量爬虫
原理Redis基于内存，效率极高利用Redis中集合的特性，自动去重，可以轻松管理所有请求的指纹实现思路利用集合的sadd()方法向集合中添加指纹，根据返回值来判断集合中是否存在该指纹添加成功返回1，表示此请求之前并未抓取过添加失败返回0，表示此请求之前已经抓取过环境准备#cat redis.ymlversion: '3'services: redis: image: redis:5.0.0 container_name: redis co
2022-02-19 15:55:07
168
原创 python爬虫2.02CarHomeSpiderMysqlIncre---Mysql实现增量爬虫
docekr-compose的MySQL yaml文件version: '3'services: mysql: image: 'mysql/mysql-server:5.7' restart: always container_name: mysql environment: MYSQL_ROOT_PASSWORD: 123456 command: --default-authentication-plugin=mysql_native
2022-02-18 10:56:05
849
原创 python爬虫-2.01CarHomeSpider---两级页面抓取之异常处理
代码展示#!/usr/bin/env python3.8.8# -*- encoding: utf-8 -*-'''@File : test.py@Time : 2022/02/15 08:19:32@Author : 热气球@Version : 1.0@Contact : [email protected]'''# C:/Users/shiya.liu/AppData/Local/Programs/Python/Python38/python.e
2022-02-15 09:04:30
374
3
原创 python爬虫-2.01CarHomeSpider---两级页面抓取
代码示例""""""汽车之家数据抓取-两级页面爬取目标：车的型号、形势里程、上牌时间、挡位、排量、车辆所在地第一页：https://www.che168.com/china/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179#currengpostion第二页：https://www.che168.com/china/a0_0msdgscncgpi1ltocsp2exx0/?pvareaid=102179#currengpostion第三页：https:/
2022-02-14 22:21:03
619
原创 python爬虫-1.08MaoyanSpiderFilmAddress---持久化存储到MongoDB
docker方式运行MongoDBdocker run -itd --name mongo -p 27017:27017 mongodocker exec -it mongo mongoMongoDB数据库基础知识MongoDB为非关系性数据库，数据以键值对方式存储MongoDB基于磁盘存储MongoDB数据类型单一，值为JSON文档，而Redis基于内存MongoDB：库->集合->文档Mysql： 库->表->表记录MongoD基础语法#查看所有库sho
2022-02-13 22:50:34
868
原创 Python之OptionParser模块使用
Python——OptionParser模块官网link：https://docs.python.org/3/library/optparse.html文章目录介绍基本用法参数选项OptionParser()parser.add_option()生成帮助错误提示代码示例介绍OptionParser是一个更方便、更灵活、更强大的用于解析命令行选项的库，使用更具声明性的命令行分析样式：创建 OptionParser ，用选项填充它，并解析命令行。 optparse 允许用户以常规GNU/POSIX语
2022-02-08 23:22:08
1318
原创 python爬虫-1.07-MaoyanSpider---持久化存MySQL储
docekr-compose的MySQL yaml文件version: '3'services: mysql: image: 'mysql/mysql-server:5.7' restart: always container_name: mysql environment: MYSQL_ROOT_PASSWORD: 123456 command: --default-authentication-plugin=mysql_native
2021-10-07 19:27:17
262
原创 ceph学习笔记
文章目录ceph架构ceph原理ceph安装ceph在k8s中部署ceph在k8s中使用ceph架构ceph原理ceph安装#前提条件#1、四台机器组成的一个可用的k8s集群 其中一个master 三个node#2、每个node有一个100G未格式化的磁盘====================================#step1：识别磁盘#扫描 SCSI总线并添加 SCSI 设备for host in $(ls /sys/class/scsi_host) ; do echo
2021-09-02 21:01:58
326
原创 二进制方式部署K8S
文章目录简述生产环境部署K8s集群的两种方式准备环境简述生产环境部署K8s集群的两种方式kubeadmKubeadm是一个K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。二进制包从github下载发行版的二进制包，手动部署每个组件，组成Kubernetes集群。小结：Kubeadm降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署Kubernetes集群，虽然手动部署麻烦点，期间可以学习很多工作
2021-09-01 15:51:33
285
原创 在K8S中运行gitlab-runner
apiVersion: v1kind: Namespacemetadata: name: gitlab-ci---apiVersion: v1kind: Secretmetadata: name: gitlab-ci-token namespace: gitlab-ci labels: app: gitlab-ci-runnerdata: GITLAB_CI_TOKEN: WmF0Y3JNbUxUbmNncnpKem5CX1UK---apiVersion: v1
2021-08-29 16:33:01
2892
转载 Linux signal 信号
SIGHUP 1 /* Hangup (POSIX). */ 终止进程 终端线路挂断SIGINT 2 /* Interrupt (ANSI). */ 终止进程 中断进程 Ctrl+CSIGQUIT 3 /* Quit (POSIX). */ 建立C
2021-08-24 10:16:38
337
原创 Git的使用
文章目录git简介git诞生背景集中式和分布式版本控制的区别git的作用git工作原理安装gitgit的help命令git配置文件git文件目录结构git使用git常用操作连接远程仓库分支的作用分支策略问题记录git简介git诞生背景Linus在1991年创建了开源的Linux，从此，Linux系统不断发展，已经成为最大的服务器系统软件了。Linus虽然创建了Linux，但Linux的壮大是靠全世界热心的志愿者参与的，这么多人在世界各地为Linux编写代码，那d但是linux的代码管理方式是在
2021-08-20 15:51:28
262
原创 Gitlab-CI
文章目录安装gitlab安装包方式安装docker方式部署gitlab-ce修改默认的管理员密码doceker方式部署docker-runnerdocker-runner注册到gitlab注册命令解释gitlab-runner的执行器命令解释（help为主 man手册有待补充）gitlab-runner的命令解释gitlab-ctl的命令解释gitlab-backupgitlab-psqlgitlab-railsgitlab-rakegitlab的configgitlab-runner的configgitl
2021-08-18 20:07:44
799
原创 gitlab配置文件-gitlab.rb详解
#可以访问GitLab的URL。external_url 'GENERATED_EXTERNAL_URL'## Roles for multi-instance GitLab##redis角色 redis_sentinel_role redis_master_role redis_replica_role ##gitlab geo角色 geo_primary_role geo_secondary_role##postgres角色 postgres_role ##控制台角色 co
2021-08-18 20:06:40
5203
原创 python爬虫-1.06-MaoyanSpider
"""猫眼电影TOP100抓取"""from urllib import requestimport randomimport timeimport reclass MaoyanSpider: def __init__(self): self.url = 'https://maoyan.com/board/4?offset={}' self.headers = { 'User-Agent': 'Mozilla/5.0 (Wind
2021-08-02 12:00:20
473
原创 python-1.05re正则模块
re模块使用流程#使用方法一r_list = re.findall('正则表达式',html,re.S)#使用方法二pattern = re.compile('正则表达式',re.S)r_list = pattern.findall(html)注意1：使用findall()方法得到的结果一定为列表注意2：re.S作用为使正则表达式元字符.可匹配\n在内的所有字符示例'''re模块正则表达式的使用'''import re#写一个里面r_list = re.findall('A
2021-08-01 16:03:23
142
原创 python爬虫-1.04实战爬取某贴吧
"""抓取指定贴吧的指定页的数据，保存到本地"""from urllib import request,parseimport randomimport timeclass BaiduTiebaSpider: def __init__(self): "定义常用的变量" self.url = 'https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}' self.headers = {
2021-07-31 23:02:31
205
原创 python爬虫-1.03urllib.parse编码模块
urllib.parse编码模块作用：给URL地址中查询参数进行编码导入方式import urllib.parsefrom urllib import parse示例：编码前 https://www.baidu.com/s?wd=赵丽颖编码后 https://www.baidu.com/s?wd=%E8%B5%B5%E4%B8%BD%E9%A2%9urllib.parse模块中的方法urlencode()方法作用：给URL地址中查询参数进行编码，参数类型为字典应用场景：搜索的关键字为
2021-07-31 21:42:52
317
原创 python爬虫-1.02urllib.request原理及使用
请求模块–rullib.request程序导入方式：-- import urllib.request-- from urllib import request作用像网站发请求，模仿我们平时在浏览器输入地址访问网站一样**urllib.request.urlopen()方法****urlopen()**作用：像网站发起请求并获取响应对象**参数**URL：需要爬取的URL地址timeout：设置等待超时时间，指定时间内未响应，抛出超时异常"""向百度发起请求，并获取百度的响应
2021-07-30 22:19:30
185
原创 python爬虫-1.01summary
什么是网络爬虫网络蜘蛛、网络机器人、抓取网络数据的程序其实就是用python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好爬虫有风险，代码需谨慎！爬虫被请去喝茶的实例爬虫的目的1、获取大量数据，用来做数据分析2、作为公司项目的测试数据3、公司业务所需数据企业获取数据的方式1、公司自有数据（大厂居多）2、第三方数据平台购买（数据堂、贵阳大数据交易所）3、爬虫爬取数据爬虫语言python：请求、解析模块丰富成熟，强大的scrapy网络爬虫框架PHP：对多线程、异步支持不太好（
2021-07-30 21:27:18
148
原创 docker命令解释
Usage: docker [OPTIONS] COMMANDA self-sufficient runtime for containers容器的自给自足运行时Options: --config string Location of client config files (default "/root/.docker")客户端配置文件的位置（默认“/root/.docker”） -c, --context string Name of the contex.
2021-07-04 10:35:07
799
原创 Prometheus部署
1、获取安装包wget https://www-1259165587.cos.ap-nanjing.myqcloud.com/prometheus.tar.gz2、执行脚本3、登录grafana进行导入模板效果图
2021-06-30 11:53:03
192
原创 Prometheus启动命令
usage: prometheus [<flags>]The Prometheus monitoring server 普罗米修斯监控服务器Flags: -h, --help Show context-sensitive help (also try --help-long and --help-man). 显示帮助信息 --version Show application version. 显示
2021-06-29 16:02:04
3553
原创 Prometheus进程管理脚本
restart-prometheus.shcount=$(ps -ef |grep [.]/prometheus|awk '{print $2}'|wc -l)read -p "请选择对prometheus进行的操作 [start|stop|restart] " namecase $name in"start")nohup ./prometheus --config.file=prometheus.yml >> /var/log/prometheus.log 2>&
2021-06-29 15:30:31
266
原创 K8S-概述
文章目录kubernetes是什么？kubernetes是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，促进声明式配置和自动化管理。kubernetes的作用？1、服务发现和负载均衡kubernetes可以使用DNS名称或者在自己的IP地址公开容器，如果进入容器的流浪很大，kubernetes可以负载均衡并分配网络流量，从而使部署稳定。（不需要额外部署nginx进行健康检查和负载均衡，K8S可以进行负载均衡，并且新增加的容器 会自加入进来，不需要传统意义上的修改nginx配置文
2021-06-20 21:47:11
909
原创 K8S-kubeadm安装
hostnamectl set-hostname masterhostnamectl set-hostname work1hostnamectl set-hostname work2cat >/etc/hosts<<EOF10.0.0.6 master10.0.0.7 work110.0.0.8 work2EOFyum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libsec
2021-06-12 21:12:47
258
原创 yumdownloade保存到本地rpm包
安装yum-utilsyum install yum-utils通过–destdir指定安装位置yumdownloader --resolve(可选，意为下依赖包) --destdir=软件存放位置 (可选) +软件包名举例：yumdownloader --resolve --destdir=jenkins jenkins
2021-06-12 18:58:57
303
原创 docker简介
文章目录docker简介使用场景docker的特点优点：缺点：docker的概念比较容器和虚拟机容器：虚拟机：容器和虚拟机结合一起容器对比虚拟机的优点docker架构docker简介什么是容器？ 标准化的软件单元将软件打包成用于开发、运输和部署的标准化单元容器是一个标准的软件单元，它打包了代码以及所有依赖项，引起应用程序可以从一个计算环境快速可靠地运行到另一个计算环境。dockers容器镜像是一个轻量级、独立、可执行的软件包，其中包含运行应用程序所需的一切：代码、运行时、系统工具、系统库和设置。容
2021-06-06 22:26:13
316
1
原创 centos7中安装python3
1、安装相应的编译工具yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-develyum install -y libffi-devel zlib1g-devyum install zlib*
2021-06-06 22:11:11
97
原创 redis(三)redis持久化
文章目录持久化方式持久化简介持久化应用场景RDBAOF应用场景恢复实践持久化方式持久化简介redis主要工作在内存中。内存本省就不是一个持久化的设备，断电后数据会清空。但是redis提供了持久化方式。个人看来 这是redis提供了一种备份机制，可以将内存中的数据持久化到磁盘上，有利于这些热点数据的备份恢复和迁移。持久化应用场景RDBAOF应用场景恢复实践...
2021-04-01 10:59:40
149
原创 redis(二)redis安装
文章目录redis的安装文件结构redis.conf详解数据类型命令redis外部命令redis内部命令redis的安装yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel pcre pcre-develcd /etcwget https://www-1259165587.cos.ap-nanjing.myqcloud.com/redis-4.0.6.tar.gztar xf redis-4.0.6.ta
2021-03-30 15:39:53
440
原创 redis(一)redis简介
nosql简介nosql的出现一、单机架构一个网站访问量一般都不大，用单个数据库完全可以应付。静态页面比较多，动态交互类型的网站不多。单机架构的瓶颈：1、数据量的总大小 一个机器放不下时2、数据的索引足够多 一个机器的内存放不下时3、单台MySQL数据库 读写都负责 IO压力比较大二、memcached缓存+MySQL访问量比较大时，使用MySQL架构开始出现性能问题，web程序不能只注重功能，也要提高访问的速度。开始出现缓存机制，缓解MySQL的压力同时优化MySQL的结构和索引。开始
2021-03-30 14:51:40
195
原创 nacos
文章目录简介关键特性功能图生态图nacos概念作用动态配置服务服务发现及管理动态DNS服务架构基本架构及概念服务服务注册中心服务元数据服务提供方服务消费方配置配置管理配置服务逻辑架构图及组件领域模型数据模型服务领域模型配置领域模型类视图构建物部署以及启动模式安装docker-compose方式安装集群安装配置使用优化升级问题简介官网GitHub哔哩哔哩nacos是阿里团队使用Java开发，nacos致力于发现、配置和管理微服务。nacos提供了一组简单易用的特性集，可以快速实现动态服务发现、服务配
2020-11-04 14:30:12
13316
1
grafana-piechart-panel-v1.4.0-0-gb707cd5.zip
2020-02-25
alexanderzobnin-zabbix-app.tar.gz
2020-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人