- 博客(51)
- 收藏
- 关注
RSS订阅原创 selenium绕过浏览器指纹的方法
【selenium绕过浏览器指纹的方法:1、使用stealth.min.js2、使用selenium-stealth3、使用undetected-chromedriver
2022-09-19 09:36:29
987
原创 chromedriver下载地址
根据google浏览器的版本 下载对应的chromedriver查看Google浏览器版本命令google-chrome --version下载地址https://chromedriver.chromium.org/downloads
2022-04-14 11:37:30
1942
原创 批量kill相关进程操作命令
ps查看进程ps -ef或者ps -aux杀死某个进程kill -9 34463-9：强制、尽快终止进程管道过滤进程ps -ef | grep firefox也可以使用pgrep firefox杀死相关名称 所有进程killall -9 firefox
2022-03-08 14:19:03
407
原创 本地与Linux之间文件传输-SCP
获取远程服务器上的文件scp 远程机器用户名@目标IP:目标文件路径 保存的本机地址获取远程服务器上的目录添加 -r 参数scp -r 远程机器用户名@目标IP:目标文件路径 保存的本机地址本地文件上传到服务器scp 保存的本机地址 远程机器用户名@目标IP:目标文件路径本地目录上传到服务器添加 -r 参数scp -r 保存的本机地址 远程机器用户名@目标IP:目标文件路径注意远程端口若是改动，需添加 -P 参数目录传输添加 -r 参数-v 显示进度，用来查
2022-02-28 15:34:21
105
原创 Linux上安装Chrome浏览器
命令安装1、wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm2、yum install -y lsb3、yum localinstall google-chrome-stable_current_x86_64.rpm
2021-12-28 10:53:27
704
原创 python中函数后面 -＞ 连接符大于号的作用
-> 常常出现在python函数定义的函数名后面，为函数添加元数据,描述函数的返回类型，从而方便开发人员使用。例如：def add(x, y) -> int:return x+y这里元数据表明了函数的返回值为int类型。
2021-06-08 11:17:12
475
原创 Python为什么说是强类型语言？
为什么说 Python 是强类型语言？强类型语言 强类型语言也称为强类型定义语言。是一种总是强制类型定义的语言，要求变量的使用要严格符合定义，所有变量都必须先定义后使用。 java、.NET、C++等都是强制类型定义的。一旦一个变量被指定了某个数据类型，如果不经过强制转换，那么它就永远是这个数据类型了。
2021-06-08 11:08:18
590
原创 Python抽象类，抽象方法实现
python 抽象类、抽象方法的实现 python 没有抽象类、接口的概念，所以要实现这种功能得abc.py 这个类库abc模块提供了一个抽象基类声明协议的机制，并且子类一定要提供了一个符合该协议的实现。 抽象基类提供了一种要求子类实现指定协议的方式，如果一个抽象基类要求
2021-06-08 10:49:31
943
原创 Django配置数据库链接
在setting.py配置文件中找到DATABASES修改内容如下：DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', # 表示该连接的数据库为MySQL 'NAME': 'db', # 数据库名称 'USER': 'root', # 用户名 'PASSWORD': '123', # 用户密码 'HOST': '127.0.0.1
2021-06-07 11:05:45
163
原创 django中setting.py的BASE_DIR解析
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__ file __)))os.path.dirname(__ file __)返回脚本的路径，os.path.abspath返回的是.py文件的绝对路径1、必须是实际存在的.py文件，如果在命令行执行，则会引发异常NameError: name ‘__ file __’ is not defined2、在运行的时候如果输入完整的执行的路径，则返回.py文件的全路径不是全路径返回为
2021-06-07 11:00:58
282
原创 Ubuntu 更换成国内镜像源
Ubuntu16.04默认是国外的源，容易造成下载速度缓慢，将其更换成国内的源。备份原文件到另一个文件，以防万一sudo cp /etc/apt/sources.list /etc/apt/sources.list.old更换源用vim打开sources.list文件，修改成如下内容。deb http://mirrors.aliyun.com/ubuntu/ xenial maindeb-src http://mirrors.aliyun.com/ubuntu/ xenial maindeb
2021-04-30 11:02:41
118
原创 Ubuntu更新软件的命令
更新软件源apt-get update更新升级所有软件apt-get upgrade更新某个软件apt-get upgrade 软件名列出可更新的软件apt list --upgradable升级系统版本(Ubuntu的升级)apt-get dist-upgrade安装一个软件包apt-get install package_name删除一个软件包apt-get remove package列举其他apt-get 命令apt-get help...
2021-04-29 17:45:20
341
转载 pandas常用函数，完美解决数据处理
数据分析 ，数据建模。数据处理都是及其重要的一个步骤，，至关重要。总结一下 “Pandas数据处理” 几个方面重要的知识导⼊数据导出数据查看数据数据选取数据处理数据分组和排序数据合并在使用之前，需要导入pandas库import pandas as pd导⼊数据pd.DataFrame() # 自己创建数据框，用于练习pd.read_csv(filename) # 从CSV⽂件导⼊数据pd.read_table(filename) # 从限定分隔符的⽂本⽂件导⼊数据p
2021-04-14 18:11:48
140
原创 Python中list的extend方法
List的extend方法是一个扩充列表元素内容的方法，在一定程度上其行为有点像append。只是在接受的参数以及最终的效果上有些差异。写如下示范代码：list1 = [1,2,4]list2 = [12,6]list1.extend(list2)print(list1)程序执行结果：[1, 2, 4, 12, 6]从上面的结果可以看出，list1通过extend扩充增加了list2的元素。继续修改代码如下：list1 = [1,2,4]list2 =[[12,6],123]lis
2021-04-14 17:46:10
4027
1
原创 Python解决析构函数__del__()不能使用open方法的问题
Python解决析构函数__del__不能使用open方法的问题之前默认以为python的open方法用存哪里都没什么区别的，然后昨天直接在"__ del __()"中跑程序时反馈程序报错“Python3 NameError: name ‘open’ is not defined”。排查之后发现是在"__ del__()“中使用open方法所致，处理办法是在别的地方打开文件保存成成员变量而不要在”__ del __()"中使用open，原理则尚不太清楚。错误代码示例：报错信息：解决方法：导入a
2020-12-23 17:39:55
726
原创 Fiddler + 夜神模拟器 实现APP数据抓包
Fiddler+夜神模拟器进行APP抓包注意：在Fiddler里长按左键才出现菜单或者弹框1.下载Fiddlerhttps://www.telerik.com/download/fiddler2.下载夜神模拟器下载安装很简单的，安装好后的界面需要调整为手机竖屏3.配置fidder捕获HTTPS会话和端口连接设置tools-options安装好证书，如图勾选即可。注意：fiddler配置好了需要重启5.夜神模拟器配置WLAN在windows上cmd终端输入ipconf
2020-10-09 17:49:11
1147
1
原创 numpy加载包含中文的csv文件报错的解决方法
import numpy as npfilename = ‘./data/51job.csv’arr = np.loadtxt(filename,delimiter=’,’,skiprows=1,usecols=[0,1,2,3],dtype=str,)print(arr)用numpy加载包含中文的csv文件会报错：UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 36: illegal multibyt
2020-09-27 18:00:09
803
原创 pandas中to_datetime()时间处理
pandas.to_datetime（arg，errors =‘raise’，utc = None，format = None，unit = None ）pandas通常用于处理成组日期，不管这些日期是DataFrame的轴索引还是列，to_datetime方法可以解析多种不同的日期表示形式。（1）获取指定的时间和日期例如：df[’'date]数据类型为“object”，通过pd.to_datetime将该列数据转换为时间类型，即datetime。df[‘date_formatted’]=pd.t
2020-09-27 17:57:12
16629
原创 matplotlib处理日期坐标轴
当日期数据作为图表的坐标轴时通常需要特殊处理，尤其是显示股票数据信息的时候matplotlib下的dates模块主要用于处理日期引用库from matplotlib.dates import DateFormatter, WeekdayLocator, DayLocator, MONDAY,YEARLY获取每月数据monthdays = MonthLocator()获取每个周一数据mondays = WeekdayLocator(MONDAY) # 主要刻度获取每日数据
2020-09-27 17:51:06
998
原创 数据集随机抽取样本
需求：有时候我们只需要数据集中的一部分，并不需要全部的数据。解决办法：这个时候我们就要对数据集进行随机的抽样。pandas中自带有抽样的方法。应用场景：我有10W行数据，每一行都11列的属性。现在，我们只需要随机抽取其中的2W行。DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)参数说明：n是要抽取的行数。（例如n=20000时，抽取其中的2W行）f
2020-09-27 17:49:28
2485
原创 matplotlib中设置窗口尺寸大小
在matplotlib一般使用plt.figure来设置窗口尺寸。plt.figure(figsize=(16, 9))但是如果使用plt.subplots，那么这种方法就无效，只能通过subplots自己设置窗口大小。fig, subplot_arr = plt.subplots(3,4,figsize=(18,12))
2020-09-18 15:51:32
10249
原创 matplotlib 交互事件
可以通过fig.canvas.mpl_connect()方法绑定事件import matplotlib.pyplot as pltdef on_key_press(event):print(event.key)fig, ax = plt.subplots()fig.canvas.mpl_connect(‘key_press_event’, on_key_press)plt.show()mpl_connect的参数：fig.canvas.draw_idle()重新绘制整个图表fig.can
2020-08-25 16:12:04
1204
原创 分位数
分位数（Quantile），亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。常见分类1.二分位数对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，则中位数不唯一，通常取最中间的两个数值的平均数作为中位数，即二分位数。一个数集中最多有一半的数值小于中位数，也最多有一半的数值大于中位数。如果大于和小于中位数的数值个数均少于一半，那么数集中必有若干值等同于中位数。计算有限个数的数据的二分位数
2020-08-25 16:10:13
889
原创 pandas中对数据库操作
pd.to_sql(self, name, con, schema=None, if_exists=‘fail’, index=True,index_label=None, chunksize=None, dtype=None, method=None)将DataFrame对象中的记录写入到sql数据库name：表的名称con:sqlalchemy创建的数据库的链接if_exists：如果数据库中存在同名表怎么办，‘replace’表示将表原来数据删除放入当前数据；‘append’表示追加；‘fai
2020-08-25 09:33:09
261
原创 matplotlib绘图时中文乱码的解决办法
import matplotlib.pyplot as pltfrom pylab import mplmpl.rcParams[‘font.sans-serif’] = [‘SimHei’]mpl.rcParams[‘axes.unicode_minus’]=False #用来正常显示负号本机测试有效的中文字体：SimHei:黑体FangSong:仿宋KaiTi:楷体...
2020-08-14 17:55:05
157
原创 selenium配置chrome浏览器的选项
在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。常用的行为有：禁止图片和视频的加载：提升网页加载速度。添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术。使用移动头：访问移动端的站点，一般这种站点的反爬技术比较薄弱。添加扩展：像正常使用浏览器一样的功能
2020-08-11 13:35:27
676
原创 Python中requests请求的内容编码问题
问题：用requests请求页面，用print(req.encoding)查看网页编码，有时候会显示：ISO-8859-1原因：requests会从服务器返回的响应头的 Content-Type 去获取字符集编码，如果content-type有charset字段那么requests才能正确识别编码，否则就使用默认的 ISO-8859-1. 一般那些不规范的页面往往有这样的问题.解决办法：response.encoding = response.apparent_encodingrequests的
2020-08-11 13:29:50
1081
原创 解决Python3 HTTPS请求时InsecureRequestWarning的问题
使用Python3 requests发送HTTPS请求，已经关闭认证（verify=False）情况下，控制台会输出以下错误：InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warni
2020-08-11 13:25:18
449
原创 lxml.etree XMLSyntaxError问题解决方法
lxml解析数据，在使用parse加载本地的html文件的时候出现报错：lxml.etree.XMLSyntaxError: xmlParseEntityRef: no name, line 18, column 258原因：html代码书写不规范，不符合xml解析器的使用规范解决的办法：使用parse方法的parser参数：parser = etree.HTMLParser(encoding=“utf-8”)selector = etree.parse(’./data/lol_1.html’
2020-08-11 13:22:26
1861
1
原创 python中demjson的使用方法
python的json模块只能解析规则的json字符串，即字典的key要用双引号。安装：pip install demjson用法：encode() 将 Python 对象编码成 JSON 字符串decode() 将已编码的 JSON 字符串解码为 Python 对象demo：import demjsond = {“title”:“叶问4：完结篇”, “id”:“26885074”, “rate”:7.0}js_str = demjson.encode(d,encoding=
2020-08-11 13:12:58
1372
原创 execjs执行js编码错误的解决方法
python 使用execjs执行接js时报错UnicodeDecodeError：Exception in thread Thread-5:Traceback (most recent call last):File “d:\python\python36\Lib\threading.py”, line 916, in _bootstrap_innerself.run()File “d:\python\python36\Lib\threading.py”, line 864, in runse
2020-08-11 13:08:54
1037
原创 scrapy中使用讯代理转发
scrapy源代码中查找http11.py文件，相对路径为：Lib/site-packages/scrapy/core/downloader/handlers/http11.py找到下面内容，注释掉：if isinstance(agent, self._TunnelingAgent):headers.removeHeader(b’Proxy-Authorization’)否则proxy-authorization会被去除，动态转发失效。自定义下载中间件：class ProxyIPMiddlew
2020-08-11 12:53:14
272
原创 chrome:initiator使用
Initiator:发送请求的对象,主要包含Parser和ScriptInitiator: The object or process that initiated the request. It can have one of the following values:发起请求的对象或进程。它可以具有以下值之一：1.Parser - Chrome’s HTML parser initiated the request.解析器 - Chrome的HTML解析器发起了请求。2.Redirect -
2020-08-11 12:50:55
2656
原创 SOCKS5 代理
SOCKS协议SOCKS：防火墙安全会话转换协议 （Socks: Protocol for sessions traversal across firewall securely） SOCKS协议提供一个框架，为在 TCP和UDP域中的客户机/服务器应用程序能更方便安全地使用网络防火墙所提供的服务。协议工作在OSI参考模型的第5层(会话层)，使用TCP协议传输数据，因而不提供如传递 ICMP信息之类的网络层网关服务。SOCKS代理采用socks协议的代理服务器就是SOCKS服务器，是一种通用的代理服务
2020-08-11 11:52:54
705
原创 Cookie的属性介绍
name属性name属性是必需的，它是一个键值对，用于指定Cookie的键。value属性value属性是必需的，它是一个键值对，用于指定Cookie的值。expires属性expires属性用于指定Cookie过期时间。它采用UTC或GMT格式，比如通过new date().toUTCString()或new Date().toGMTString()获取到的Thu, 09 Aug 2018 03:17:40 GMT。如果不设置该属性，或者设为null，Cookie只在当前会话（session）
2020-08-11 11:49:04
505
原创 Python字符串前面加上f的用法
格式化字符串常量（formatted string literals），是Python3.6新引入的一种字符串格式化方法，该方法源于PEP 498 – Literal String Interpolation，主要目的是使格式化字符串的操作更加简便。f-string在形式上是以 f 或 F 修饰符引领的字符串（f’xxx’ 或 F’xxx’），以大括号 {} 标明被替换的字段；f-string在本质上并不是字符串常量，而是一个在运行时运算求值的表达式comedian = {‘name’: ‘Eric Id
2020-08-03 23:40:46
2988
原创 Python如何播放音乐MP3
1.调用系统默认播放器播放import osos.system(‘test.mp3’)语速正常，缺点，弹出播放器窗口，可能点击后反应比较慢pygame 播放安装 pip install pygameimport pygamepygame.mixer.init()track = pygame.mixer.music.load('test.mp3’)pygame.mixer.music.play()time.sleep(10)pygame.mixer.music.stop()语速失真
2020-08-03 23:39:08
357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人