- 博客(10)
- 收藏
- 关注
RSS订阅原创 Python requests“Max retries exceeded with url” error
原因：http连接太多没有关闭导致的。解决办法为1、增加重试连接次数 requests.adapters.DEFAULT_RETRIES = 52、关闭多余的连接默认情况keep_alive=Ture 访问后还保持连接requests.session().keep_alive = False...
2020-03-31 16:45:33
306
原创 利用 js2xml 获取 script 数据
import js2xmlfrom lxml import etree# script 代码script = """ $(function () { InitZcryListPageLink(); }); function InitZcryListPageLink() { var data = { ...
2020-03-31 16:37:10
730
原创 数据处理
数据处理数据加载首先，我们需要将收集的数据加载到内存中，才能进行进一步的操作。pandas提供了非常多的读取数据的函数，分别应用在各种数据源环境中，我们常用的函数为：read_csvread_tableread_sql说明：read_csv与read_table默认使用的分隔符不同。常用参数read_csv与read_table常用的参数：sep / delimite...
2020-03-24 16:12:56
595
原创 李宏毅机器学习作业1（hw1）
import numpy as npimport pandas as pddf = pd.read_csv("PM2_5.csv", usecols=[str(i) for i in range(0,24)]).replace('NR',0.0)arr = np.array(df).astype(np.float)print(arr.shape)(4320, 24)# 数据预处理...
2020-03-24 16:04:54
439
原创 pandas基本使用
PandasPandas库基于Numpy库，提供了很多用于数据操作与分析的功能。安装与使用安装：pip install pandas根据惯例，我们使用如下的方式引入pandas：import pandas as pd两个常用数据类型pandas提供两个常用的数据类型：SeriesDataFrameimport pandas as pdimport numpy as np...
2020-02-29 14:03:37
427
原创 numpy图像应用案例
Numpy应用案例注：使用numpy库来对图像进行处理。这里我们使用matplotlib.pyplot的相关方法来辅助。import numpy as npimport matplotlib.pyplot as plt图像读取与显示plt.imread：读取图像，返回图像的数组。plt.imshow：显示图像。plt.imsave：保存图像。说明：imread方法默认只能...
2020-02-29 13:55:22
745
原创 Python Numpy基本使用
NumpyNumPy（Numerical Python的简称），是科学计算基础的一个库，提供了大量关于科学计算的相关功能，例如，线性变换，数据统计，随机数生成等。其提供的最核心的类型为多维数组类型（ndarray）。使用方式可以使用如下的方式来安装numpy库：pip install numpy根据惯例，使用numpy库的导入方式为：import numpy as np在导入之后，我...
2019-12-22 12:37:33
337
原创 python内建函数isinstance的用法
python中内建函数isinstance的用法语法：isinstance（object，type）作用：来判断一个对象是否是一个已知的类型。其第一个参数（object）为对象，第二个参数（type）为类型名(int…)或类型名的一个列表((int,list,float)是一个列表)。其返回值为布尔型（True or flase）。若对象的类型与参数二的类型相同则返回True。若参数二为一......
2019-08-11 14:04:56
12705
1
原创 scrapy 爬取顺序每次都不一样
问题：爬取一页内容时输出的字典顺序每次运行时都不一样##scrapy官方文档:Scrapy at a glance,Architecture Overview文档原文说道：
2019-08-10 20:12:08
3801
原创 Scrapy框架中scrapy.Request()回调函数不执行问题
scrapy.Requset（url,callback=self.parse）1.问题：allowed_domains设置错误这是自己设置的allowed_domains = [’'mkt.51job.com"]这是回调函数中的urlhttps://search.51job.com/list/000000,000000,0000,00,9,99,ai,2,2.html?lang=c&am...
2019-08-10 13:16:21
1808
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人