1 野的像阵风

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 27w+

Fiddler + 夜神模拟器 实现APP数据抓包

Fiddler+夜神模拟器进行APP抓包注意:在Fiddler里长按左键才出现菜单或者弹框1.下载Fiddlerhttps://www.telerik.com/download/fiddler2.下载夜神模拟器下载安装很简单的,安装好后的界面需要调整为手机竖屏3.配置fidder捕获HTTPS会话和端口连接设置tools-options安装好证书,如图勾选即可。注意:fiddler配置好了需要重启5.夜神模拟器配置WLAN在windows上cmd终端输入ipconf

2020-10-09 17:49:11

numpy加载包含中文的csv文件报错的解决方法

import numpy as npfilename = ‘./data/51job.csv’arr = np.loadtxt(filename,delimiter=’,’,skiprows=1,usecols=[0,1,2,3],dtype=str,)print(arr)用numpy加载包含中文的csv文件会报错:UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 36: illegal multibyt

2020-09-27 18:00:09

pandas中to_datetime()时间处理

pandas.to_datetime(arg,errors =‘raise’,utc = None,format = None,unit = None )pandas通常用于处理成组日期,不管这些日期是DataFrame的轴索引还是列,to_datetime方法可以解析多种不同的日期表示形式。(1)获取指定的时间和日期例如:df[’'date]数据类型为“object”,通过pd.to_datetime将该列数据转换为时间类型,即datetime。df[‘date_formatted’]=pd.t

2020-09-27 17:57:12

matplotlib处理日期坐标轴

当日期数据作为图表的坐标轴时通常需要特殊处理,尤其是显示股票数据信息的时候matplotlib下的dates模块主要用于处理日期引用库from matplotlib.dates import DateFormatter, WeekdayLocator, DayLocator, MONDAY,YEARLY获取每月数据monthdays = MonthLocator()获取每个周一数据mondays = WeekdayLocator(MONDAY) # 主要刻度获取每日数据

2020-09-27 17:51:06

数据集随机抽取样本

需求:有时候我们只需要数据集中的一部分,并不需要全部的数据。解决办法:这个时候我们就要对数据集进行随机的抽样。pandas中自带有抽样的方法。应用场景:我有10W行数据,每一行都11列的属性。现在,我们只需要随机抽取其中的2W行。DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)参数说明:n是要抽取的行数。(例如n=20000时,抽取其中的2W行)f

2020-09-27 17:49:28

matplotlib中设置窗口尺寸大小

在matplotlib一般使用plt.figure来设置窗口尺寸。plt.figure(figsize=(16, 9))但是如果使用plt.subplots,那么这种方法就无效,只能通过subplots自己设置窗口大小。fig, subplot_arr = plt.subplots(3,4,figsize=(18,12))

2020-09-18 15:51:32

matplotlib 交互事件

可以通过fig.canvas.mpl_connect()方法绑定事件import matplotlib.pyplot as pltdef on_key_press(event):print(event.key)fig, ax = plt.subplots()fig.canvas.mpl_connect(‘key_press_event’, on_key_press)plt.show()mpl_connect的参数:fig.canvas.draw_idle()重新绘制整个图表fig.can

2020-08-25 16:12:04

分位数

分位数(Quantile),亦称分位点,是指将一个随机变量的概率分布范围分为几个等份的数值点,常用的有中位数(即二分位数)、四分位数、百分位数等。常见分类1.二分位数对于有限的数集,可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个,则中位数不唯一,通常取最中间的两个数值的平均数作为中位数,即二分位数。一个数集中最多有一半的数值小于中位数,也最多有一半的数值大于中位数。如果大于和小于中位数的数值个数均少于一半,那么数集中必有若干值等同于中位数。计算有限个数的数据的二分位数

2020-08-25 16:10:13

pandas中对数据库操作

pd.to_sql(self, name, con, schema=None, if_exists=‘fail’, index=True,index_label=None, chunksize=None, dtype=None, method=None)将DataFrame对象中的记录写入到sql数据库name:表的名称con:sqlalchemy创建的数据库的链接if_exists:如果数据库中存在同名表怎么办,‘replace’表示将表原来数据删除放入当前数据;‘append’表示追加;‘fai

2020-08-25 09:33:09

matplotlib绘图时中文乱码的解决办法

import matplotlib.pyplot as pltfrom pylab import mplmpl.rcParams[‘font.sans-serif’] = [‘SimHei’]mpl.rcParams[‘axes.unicode_minus’]=False #用来正常显示负号本机测试有效的中文字体:SimHei:黑体FangSong:仿宋KaiTi:楷体...

2020-08-14 17:55:05

selenium配置chrome浏览器的选项

在使用selenium浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的chrome浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用。相对应的,当我们用chrome浏览器爬取网站时,可能需要对这个chrome做一些特殊的配置,以满足爬虫的行为。常用的行为有:禁止图片和视频的加载:提升网页加载速度。添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术。使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。添加扩展:像正常使用浏览器一样的功能

2020-08-11 13:35:27

Python中requests请求的内容编码问题

问题:用requests请求页面,用print(req.encoding)查看网页编码,有时候会显示:ISO-8859-1原因:requests会从服务器返回的响应头的 Content-Type 去获取字符集编码,如果content-type有charset字段那么requests才能正确识别编码,否则就使用默认的 ISO-8859-1. 一般那些不规范的页面往往有这样的问题.解决办法:response.encoding = response.apparent_encodingrequests的

2020-08-11 13:29:50

解决Python3 HTTPS请求时InsecureRequestWarning的问题

使用Python3 requests发送HTTPS请求,已经关闭认证(verify=False)情况下,控制台会输出以下错误:InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warni

2020-08-11 13:25:18

lxml.etree XMLSyntaxError问题解决方法

lxml解析数据,在使用parse加载本地的html文件的时候出现报错:lxml.etree.XMLSyntaxError: xmlParseEntityRef: no name, line 18, column 258原因:html代码书写不规范,不符合xml解析器的使用规范解决的办法:使用parse方法的parser参数:parser = etree.HTMLParser(encoding=“utf-8”)selector = etree.parse(’./data/lol_1.html’

2020-08-11 13:22:26

python中demjson的使用方法

python的json模块只能解析规则的json字符串,即字典的key要用双引号。安装:pip install demjson用法:encode() 将 Python 对象编码成 JSON 字符串decode() 将已编码的 JSON 字符串解码为 Python 对象demo:import demjsond = {“title”:“叶问4:完结篇”, “id”:“26885074”, “rate”:7.0}js_str = demjson.encode(d,encoding=

2020-08-11 13:12:58

execjs执行js编码错误的解决方法

python 使用execjs执行接js时报错UnicodeDecodeError:Exception in thread Thread-5:Traceback (most recent call last):File “d:\python\python36\Lib\threading.py”, line 916, in _bootstrap_innerself.run()File “d:\python\python36\Lib\threading.py”, line 864, in runse

2020-08-11 13:08:54

scrapy中使用讯代理转发

scrapy源代码中查找http11.py文件,相对路径为:Lib/site-packages/scrapy/core/downloader/handlers/http11.py找到下面内容,注释掉:if isinstance(agent, self._TunnelingAgent):headers.removeHeader(b’Proxy-Authorization’)否则proxy-authorization会被去除,动态转发失效。自定义下载中间件:class ProxyIPMiddlew

2020-08-11 12:53:14

chrome:initiator使用

Initiator:发送请求的对象,主要包含Parser和ScriptInitiator: The object or process that initiated the request. It can have one of the following values:发起请求的对象或进程。它可以具有以下值之一:1.Parser - Chrome’s HTML parser initiated the request.解析器 - Chrome的HTML解析器发起了请求。2.Redirect -

2020-08-11 12:50:55

SOCKS5 代理

SOCKS协议SOCKS:防火墙安全会话转换协议 (Socks: Protocol for sessions traversal across firewall securely) SOCKS协议提供一个框架,为在 TCP和UDP域中的客户机/服务器应用程序能更方便安全地使用网络防火墙所提供的服务。协议工作在OSI参考模型的第5层(会话层),使用TCP协议传输数据,因而不提供如传递 ICMP信息之类的网络层网关服务。SOCKS代理采用socks协议的代理服务器就是SOCKS服务器,是一种通用的代理服务

2020-08-11 11:52:54

Cookie的属性介绍

name属性name属性是必需的,它是一个键值对,用于指定Cookie的键。value属性value属性是必需的,它是一个键值对,用于指定Cookie的值。expires属性expires属性用于指定Cookie过期时间。它采用UTC或GMT格式,比如通过new date().toUTCString()或new Date().toGMTString()获取到的Thu, 09 Aug 2018 03:17:40 GMT。如果不设置该属性,或者设为null,Cookie只在当前会话(session)

2020-08-11 11:49:04

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。