- 博客(85)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Python—轻松获取HTML网页内的表格内容并写入数据库
前面说过，使用selenium可以轻松获取网页内的表格内容，但是selenium需要安装浏览器和下载对应的webdriver，不是很方便。我探索出了一个更便利的方式，那就是Python内置的html模块。因为是内置模块，不需要额外做什么。from html.parser import HTMLParserclass MyHTMLParser(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.in_td =
2021-04-08 16:44:29
2051
原创 Python—用selenium轻松获取网页内表格内容并写入数据库
以前用Python获取网页内容是很繁琐的，先requests.get网页源代码，然后用re的正则匹配各种折腾，才能把表格读取出来，而且调试成本很高，表格一换就失效了。最近学习了selenium，发现用来获取网页内容简直是如鱼得水，代码如下：from selenium import webdriverimport pandas as pddriver=webdriver.Chrome("chromedrive.exe") #谷歌浏览器打开driver
2021-04-01 16:52:27
7234
4
原创 Python—selenium实现以一个浏览器多个标签页打开多个网页
from selenium import webdriverdriver=webdriver.Chrome()driver.get('http://opr.pab.com.cn')driver.find_element_by_id('username').send_keys('chaoyongkang683')driver.find_element_by_id('password').send_keys('Wg588505')driver.find_element_by_tag_name('fo
2021-03-19 21:53:19
15177
原创 Python—使用tkinter制作一款邮件发送小工具
Python的smtplib模块可以从来发送邮件，非常方便，支持附件，支持HTML格式。为此，我用tkinter做了一款可以发送邮件的UI工具，分享给大家。#-*- coding:utf-8 -*-import datetime,os,time,re,requestsimport tkinter as tk #使用Tkinter前需要先导入from tkinter import messagebox,ttkimport smtplibfrom
2021-03-10 19:59:11
864
2
原创 Python—使用tkinter制作一款在线翻译软件
tkinter的功能是如此强大，竟然还能做翻译软件。当然是在线的，我发现有一个quicktranslate模块，可以提供在线翻译功能，相当于提供了一个翻译的接口，利用它就可以制作在线翻译软件了。下面是代码，分享给大家。注意要首先 pip install quicktranslate#-*- coding:utf-8 -*-import tkinter as tk #使用Tkinter前需要先导入from tkinter import message
2021-02-21 23:00:55
1275
3
原创 Python—openpyxl快速设置Excel的单元格格式
Python处理Excel的问题方面，设置单元格格式是无法回避的，这里我主要用openpyxl处理。网上这种资料很多，我这里写了一个函数，汇总了一下。from openpyxl import load_workbookfrom openpyxl.utils import get_column_letter from openpyxl.styles import Font,Border,Side,PatternFill,Alignmentdef set_cells(cells,type,color=N
2020-09-27 11:08:54
9449
原创 Python—使用tkinter一键实现合并多个Excel的工作表的内容
只要是小组工作，经常会遇到这种的场景。比如一个Excel任务表，每人都有任务，我们需要分发Excel到每个人，让每个人各自反馈自己的任务进度，然后汇总过来。传统的做法就是，Excel群发给每个人，每个人各自筛选自己名下的任务，反馈各自任务进度，然后把各自反馈的Excel发给组长汇总。而组长呢，就只好一个个打开各个组员的Excel，一个个复制粘贴拼接内容，如果组员很多，实在是累死人啊。有没有解决办法呢？有条件的可以搞个在线共享Excel,大家都可以上去编辑。但是毕竟更多的单位没有这个条件，我想到了一个比较好
2020-09-23 15:46:42
1834
原创 Python—tkinter应用之日期选择器
如何利用Python的tkinter模块实现日期选择器，根据我在网上的搜索情况，这一块一直是一个盲点。虽然也有接近的答案，并没有真正实用的，我经过几天的探索，终于摸索出一套可用的，分享给大家。首先，定义一个类，叫Calendar，这个是搬运来的。# -*- coding: utf-8 -*- import calendarimport tkinter as tkimport tkinter.font as tkFontfrom tkinter import ttkdatetime = cale
2020-07-19 15:47:39
11009
5
原创 Python—实现Excel文件间的数据匹配(保留单元格式)—告别Vlookup!
我们知道Excel有一个match函数，可以做数据匹配。比如要根据人名获取成绩而参考表sheet1的内容如下：要根据sheet1匹配每人的成绩，用Excel是这么写index(Sheet1!B:B,MATCH(A2,Sheet1!A:A,0))意思就是获取sheet1的B列的内容，根据我的A列匹配sheet1的A列的内容但是如何用python实现这一点呢，我写了一个函数，非常好用，分享给大家。这个函数考虑到了匹配多个字段，多个sheet。import pandas as pddef m
2020-06-12 16:52:37
6384
13
原创 Python—实现Excel的最合适列宽(openpyxl)
Python的Pandas模块是处理Excel的利器，尤其是加工保存Excel非常方便，但是唯独想让导出的Excel自动调整列宽或者行高，确实做不到啊。所以必须openpyxl模块助力。这是最简单的实现：from openpyxl import load_workbookwb = load_workbook('test.xlsx')ws = wb[wb.sheetnames[0]] # 打开第一个sheetws.column_dimensions['A'].wid
2020-06-11 20:13:46
18155
14
原创 Python—实现从一个Excel筛选数据生成另一个Excel(保留所有单元格式)
#第一步 利用Dataframe筛选生成Excel 设定原表为oldfile 新表为newfilefrom openpyxl import load_workbookimport pandas as pdcellmap={}lwriter=pd.ExcelWriter(newfile)alldata=pd.read_excel(oldfile,None)for sheet in alldata.keys(): #遍历每一个sheet celllmap[sheet]={} data=a.
2020-06-11 14:49:59
9234
1
原创 prometheus监控zookeeper方案
官方下载地址 https://zookeeper.apache.org/releases.html#download。这里要求zookeeper版本必须达到3.6或以上，用的是官方自带的监控信息。然后在zookeeper的配置文件，比如zoo.cfg最后面加上这一段。比如就把7000端口暴露出来为监控用。然后在普米配置文件配置即可。
2024-03-07 17:06:43
354
原创 Python 解决Cannot compare tz-naive and tz-aware timestamps
Python 解决Cannot compare tz-naive and tz-aware timestamps
2024-01-03 20:20:19
415
原创 Apisix版本升级方案----虚拟机方式
目前apisix官方已经升级到了3.5版本。因为apisix官方升级还是比较频繁的，建议用yum或者rpm安装和升级
2022-09-13 15:04:06
1000
原创 apisix接入dapr范例-虚拟机
apisix接入dapr，关键在于配置dapr服务。这里是已经配好的，对外是3500端口，所以配置上游和路由即可。这里讲的是虚拟机，不是k8s。
2022-08-18 21:09:57
331
原创 kong配置迁移到apisix的实践(可行版)
apisix迁移到Kong是一个业界难题，也是没有找到现有的方案，官网方案测试不可行，于是自己探索
2022-07-15 15:29:22
1019
原创 使用Kafka 0.9.0版本的一个大坑-不要使用didi_manager
kafka 0.9.0 核弹级别的大坑，不能加入到didi manager去
2022-06-13 19:41:43
157
原创 分享一个nginx机器内核配置导致的丢包问题
Nginx是最常见的web服务器，但是Nginx本身的内核参数，会导致别人调用它的服务严重超时，以及丢包。现象就是，通过tcpdump host 1.1.1.1 -w dump.out然后用wireshark工具分析dump.out, 跟踪流信息发现是握手失败,客户端发起的tcp连接请求包没有收到服务端的回包,推测可能是系统层级或者网络层级丢弃了这部分的包。问题原因：nginx server内核参数配置/etc/sysctl.confnet.ipv4.tcp_tw_recycle = 1net
2022-05-19 21:50:09
1520
1
原创 Python—批量telnet域名和端口以及解析域名
最近接到一个需求，要批量解析100多个域名，以及telnet端口是否通。如果一个个用telnet和dig/nslookup，累都累死了，于是考虑用python实现。这里我的思路是用telnetlib建立对象，试着telnet，通了可直接获取IP解析，不通，则通过socket一个功能获取IP解析。(有人推荐dnspython模块，这个是类似dig的功能，但是实践发现很多域名拿不到解析）import pandas as pdimport osimport telnetlibimport socket
2022-05-19 19:57:26
854
原创 python—import yaml失败的解决方法
其实很简单yum install python-yaml就可以了一般 pip install pyyaml也可以，但如果失败，还是前者更好
2022-02-28 18:07:00
4079
原创 Jenkins指定节点构建
Jenkins可以有从节点，指定从从节点构建 ，很简单，Jenkinsfile指定agent就可以了。多分支流水线，就可以这么搞
2021-11-04 18:19:32
1195
原创 Ansible 过滤列表变量中的元素
ansible的变量可以是 字符串 ，列表，字典，最近有这么一个需求，就是把内置的一个列表变量的某个特定元素从列表中 去除掉 。比如ansible 10.1.10.1 -m shell -a 'echo {{ group_names|to_json }}' 结果是10.1.10.1 | CHANGED | rc=0 >>[app1, app2, app3, app4, null]这里就是 10.111.10.1所在的的所有组的列表，其中null是个干扰项，我们要剔除，怎么办呢？这
2021-10-27 14:32:08
663
原创 ansible 查看组和成员信息（包括条件排除后）
网上的收集加自己的探索，分享给大家ansible 查看所有成员，哈哈天下都知道ansible all --list #all可以替换为分组名#或者ansible all --list-hostansible查看每个成员所在的分组 因为往往一个IP在多个分组中ansible all -a "echo {{group_names|to_json}}" #to_json为解决unicode问题ansible查看分组列表，也就是一共多少分组ansible x.x.x.x -a "echo
2021-10-23 13:32:28
2066
原创 运维职责的定义
应用运维团队的职责：对标招商银行和一线互联网企业的运维团队懂业务&懂技术架构，是某个业务系统的技术与架构专家负责业务系统的部署与变更负责业务系统的异常发现与故障诊断，确保服务连续性负责业务系统的高可用架构设计与实现负责业务系统的性能分析与容量规划初级:部署根据单机故障容灾的原则，对业务进行生产部署。包括新系统上线和现有系统扩容对业务系统进行容灾能力评估和评审，确保具备单机故障容灾能力。如果开发提供的系统不满足单机故障容灾，则需要提出整改要求和建议针对核心系统要考虑两地三中心的容
2021-10-18 14:55:28
326
原创 ansible-playbook template的写法的坑
ansible-playbook的template，好比 django的template，用法几乎一样，也就是把变量投射到模板中。这里一个小坑，那就是使用for或者if条件的时候，需要把{%符号提到第一格，不留空格，否则下面的内容会错乱filebeat.inputs:- type: log close_timeout: 5m enabled: true tail_files: true paths:{% for app in applist %} - /app/{{app}}/l
2021-10-18 14:54:52
318
原创 ansible-playbook 检测文件是否存在的坑
检测文件用stat模块即可，但主要有两种情况第一种：只检测一个文件- name: 检测链路日志是否存在 stat: path=/app/{{appname}}/log/{{appname}}-trace.log register: check_log这里appname是一个字符串，这样判断的时候就是 when: check_log.stat.exists == false #或者t
2021-10-18 11:19:14
1529
原创 ansible 和 ansible-playbook 在 sudo上的明显差别
目前从ansible服务器到目标机器，比如10.1.1.1，可以直接以root远程到目标的mcloud用户，也就是在ansible主机上可执行 ssh -l mcloud 10.1.1.1。这就涉及到sudo的问题了。我发现ansible和ansible-playbook在实现的方式上是不一样的ansible的实现方式这是inventory文件 host1 确定sudo的方式[all]10.1.1.1[all:vars]ansible_become=Trueansible_become_us
2021-10-08 22:02:15
333
轻量级文本文件比对小工具
2020-07-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人