2 景霄之上

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 10w+

pyecharts 在地图上打点碰到的坑

版本pyecharts v1 版本碰到的问题由于自己的数据 和pyecharts地图数据不一致, 当输入pyecharts不存在的地点时Geo就会报错, 而且还不提示是哪一个地点造成的, 此问题困扰了我好几天解决办法看官方文档的时候注意了下面一句话Geo 图的坐标引用自 pyecharts.datasets.COORDINATES,COORDINATES 是一个支持模糊匹...

2020-03-04 15:02:06

pyecharts_v1版本: 画折线图

最近由于工作需要,需要使用pyecharts作图,了解到v0.5版本 和v1版本有很大的区别,且v0.5版本已经停止更新, 你懂得,所以重新学习使用v1版本;本篇则使用v1.6.2版本。安装:采用最简单的方式,如果太慢,请使用清华源;pip install pyecharts地图包的下载地图包下载比较麻烦,建议搜搜网上攻略,选择适合自己的使用:要求: 数据库数据出折...

2020-02-27 17:41:28

使用openpyxl时遇到的坑

最近在用python处理Excel表格是遇到了一些问题1, xlwt最多只能写入65536行数据, 所以在处理大批量数据的时候没法使用2, openpyxl 这个库, 在使用的时候一直报错, 看下面代码from openpyxl import Workbookimport datetimewb = Workbook()ws = wb.active ws['A1'] = 42 ...

2020-01-08 10:07:29

python爬虫: requests爬取flash播放页面的信息

我们通过查看知道flash类型的网页采取文件格式是amf类型的AMF(Action Message Format) 是Flash与服务端通信的一种常见的二进制编码模式,其传输效率高,可以在HTTP层面上传输。python 要和AMF 交互需要一个pyamf 模块1, 下载pyamfpyamf点击下载2, 安装的时候发现这个版本不适合我的版本, 经过搜索, 发现了一个解决办法安装P...

2019-11-16 14:19:46

pyamf 安装问题

经查询PyAMF最新版本为0.8.0,项目已经两年多未更新了,并且官网都没了,现在可在:https://pypi.python.org/pypi/PyAMF下载;PyAMF只支持32位Python,由于我系统是64位并安装的Python是64位,不想重新安装32位的,找到如下办法:pip install Py3AMF如果不报错, 恭喜你, 安装成功import pyamf# 不...

2019-11-16 11:55:07

python:构建代理ip池

上篇文章写了一下如何验证代理ip 是否有效,这一篇实现可以爬取代理ip网站的IP,验证有效并写入我的本地文件import timefrom selenium import webdriverimport requestsip_file = r'C:\Users\Administrator\Desktop\代理IP.txt'ip_url = "https://www.zdaye....

2019-11-01 18:53:18

python : 快速验证代理ip是否有效

没有预算购买收费的ip, 只好使用免费的ip, 这时候验证其是否是有效的ip就变的有必要了实验了几种方法, 最好发现了 我所知道的最方便的方法说明:利用的http://icanhazip.com/返回的IP进行校验,如返回的是代理池的IP,说明代理有效,否则实际代理无效import requestsrequests.adapters.DEFAULT_RETRIES = 3res1 =...

2019-10-31 14:52:09

python的微信自动化失效了吗?

今天突然发现无法正常登录网页版微信了, 那么基于这种Web api 的bot方案都没用了, 是不是没办法用python做微信的自动化了 ??还有其他的办法吗, 有大佬知道的可以告知一下?...

2019-10-25 14:47:03

python: 百度地图api爬虫

python网络爬虫的本质就是两步:设置请求参数(url,headers,cookies,post或get验证等)访问目标站点的服务器;解析服务器返回的文档,提取需要的信息。而API的工作机制与爬虫的两步类似,但也有些许不同:1、API一般只需要设置url即可,且请求方式一般为“get”方式2、API服务器返回的通常是json或xml格式的数据,解析更简单本篇我们就演示如何...

2019-10-10 16:42:58

python 读取excel时, 日期变成数字并加.0的问题

excel 文件内容如下:读取excel内容:import xlrdfrom datetime import datetimefrom xlrd import xldate_as_datetime, xldate_as_tuplefilename = r'C:\Users\Administrator\Desktop\niceloo\10月\流水.xlsx'rbook = xlr...

2019-10-07 17:20:38

matplotlib 画饼状图

- autopct='%1.2f' 代表的是显示百分比, 显示到小数点后两位

2019-09-26 17:48:39

matplotlib 图表显示中文

import matplotlib.pyplot as plt %matplotlib inline # 让图标在行内显示plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号...

2019-09-26 17:06:14

python 多进程multiprocessing

创建进程: 首先要导入multiprocessing中的Process创建一个Process对象, 创建Process对象时, 可以传递参数p = Process(target=XXX,args=(tuple,),kwargs={key:value})target = XXX 指定的任务函数,不用加(),args=(tuple,)kwargs={key:value}给任务函数传递的参数...

2019-08-15 15:34:20

pymongo去重: 插入数据时,不存在则插入,存在则不执行

爬虫想把爬取的数据存入到mongoDB中, 这时候经常遇到的一个需求就是插入的数据已经存在数据库中, 因此插入前去重就是一个经常性的课题.我的想法是:如果数据库中已经存在这个数据, 那么就什么也不操作如果数据不存在, 则插入这个数据为了实现这个想法, 查了很多文献, 发现使用update 可以实现下面就是我测试的代码# 首先在数据中插入一条数据document...

2019-08-13 17:13:49

pyecharts 安装完之后,bar,grid包不能导入的解决办法

pyecharts安装:采用的是常规安装方法: pip install pyecharts出现问题:cannot import name 'Bar'解决办法:先卸载pyechartspip uninstall pyecharts重新安装:去官网下载: pyecharts官网点击下载把下载下来的whl文件放在指定的目录下进行安装执行安装命令 如下:pip in...

2019-08-10 17:21:12

爬虫:使用socks代理请求网页

import requestsproxise = { 'http': 'socks5://user:password@ip:port', 'https': 'socks5h://user:password@ip:port'}url = 'http://www.amazon.co.jp'res = requests.get(url,proxies=proxise)print...

2019-07-31 14:40:19

gevent 异步爬虫

先上代码:import requestsimport geventfrom gevent import monkey; monkey.patch_socket()import lxml.htmlurl_list = ['https://tieba.baidu.com/f?kw=%E9%83%91%E5%B7%9E%E8%B4%B4&ie=utf-8&pn={}'.for...

2019-07-23 08:44:06

asyncio 异步爬虫(转)

转载过来的代码,方便自己查看,勿怪# 异步方式爬取当当畅销书的图书信息import time import aiohttp import asyncio import pandas as pd from bs4 import BeautifulSoup # table表格用于储存书本信息 table = [] # 获取网页(文本信息) async def fetch(sess...

2019-06-26 19:21:01

tldextract模块的使用

tldextract是一个第三方模块,意思就是Top Level Domain extract,即顶级域名提取使用时 需要安装,命令如下pip install tldextractURL的结构,news.baidu.com 里面的news.baidu.com叫做host,它是注册域名baidu.com的子域名,而com就是顶级域名TLD。import tldextracttl...

2019-04-12 14:00:41

chardet判断中文编码

res.text判断中文编码时有时候会出错,还是自己通过chardet获取更准确先看一段代码import requestsr = requests.get('http://epaper.sxrb.com/')print(r.encoding)# result: ISO-8859-1上面是打开了网址: 山西日报数字报 ;通过手动查询网页源码编码是charset "utf-8"...

2019-04-12 11:53:40

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。