qq_43595237的博客

转载 python自动创建sqlserver表并上传dataframe到创建的表中

to_sql为pandas自带的函数，这里不多讲述，可以在官网上进行查看或者查看其他作者的博客，因为没来的更新(尴尬)，请原谅。最重要的就是schema这个参数,设置这个参数的值为’dbo’可以解决上述截图的那个问题，不然会直接上传到电脑本地名的那个表中。网上有一部分是需要提前创建数据表,但是会产生一个比较难缠的东西就是创建表的时候 会以本地电脑名的前缀作为表的db。切记一点这个方法是可以不用提前创建数据表,可以直接上传的时候创建数据表,需要注意的是提前要设置好上传类型,

原创 Fiddler进行模拟POST、PUT提交数据注意点

原创 python实现的json数据以HTTP GET,POST,PUT,DELETE方式页面请求---python接口自动化（put请求）

一、JSON简介JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族...

转载 Python PEP8 代码规范常见问题及解决方法

Python 的 PEP8 代码规范，所以将常见的 PEP8 代码规范问题和解决方法记录一下，学习一下，遇到了再持续更新，养成良好的习惯，编写规范的代码！PEP 8: no newline at end of file解决方法：代码末尾需要另起一行，光标移到最后回车即可PEP 8: indentation is not a multiple of four解决方法：缩进不是4的倍数，检...

转载 [python刷题]python常说的可迭代对象是什么

1、迭代iteration给定一个list或者tuple，通过for循环来遍历这个list或者tuple、这种遍历就是迭代（iteration）。只要是可迭代的对象都可以进行迭代。2、例子：字典的迭代>>> d={'python':1,'php':2,'java':3} #默认迭代的是key>>> for i in d: print(i)p...

转载 Python爬虫 西刺代理IP的获取 代理IP

首先介绍一下爬虫为什么要使用代理IP在爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力。如果你一直用同一个代理ip爬取这个网页，很有可能ip会被禁止访问网页，所以基本上做爬虫的都躲不过去ip的问题。所以我们在爬取网页内容的过程中需要使用代理ip，在这里介绍一种获取代理ip方式，从西刺网站获取代理ip。具体获取...

转载 使用python 多线程爬取代理ip

很多时候都需要用到代理ip，一个简单的方式就是写爬虫到网络上爬。这里以 西刺代理 http://www.xicidaili.com/ 为例。零、简单从浏览器看下网页时怎么打开的：这里以chrome浏览器为例，按f12打开开发者工具，点击Network开始记录请求。然后在地址栏输入 http://www.xicidaiil.com/nn 按回车，可看见下图：在右边的name一栏里可以看到打开...

转载 WPS显示无法创建对象，请确认对象已在系统注册表中注册

第一种方法：在系统的开始–所有程序找到WPS–WPS office工具–配置工具–高级–兼容设置，在这里勾选兼容第三方系统和软件。第二种方法： xp/win7系统：拷贝packager.exe到系统目录如C:\windows\system32第三种方法： 点击“开始-运行”，输入：regedit 进入注册表1.HKEY_CURRENT_USER\Software\Kingsoft\Offic...

转载 安装SQL2000数据库在Windows10出现 无法定位序数1于动态链接库

Windows Registry Editor Version 5.00[HKEY_CLASSES_ROOT\*\shell\runas]@="获取TrustedInstaller权限"[HKEY_CLASSES_ROOT\*\shell\runas\command]@="cmd.exe /c takeown /f \"%1\" && icacls \"%1\...

转载 当运行pychrm时遇到please select a valid interpreter怎么解决

运行python文件出现，报错please select a valid interpreter这是因为没有选择interpreter解决方法如下更改Pycharm的设置打开settings（CTRL + ALT + S）查找框输入interpreter选择一个Project Interpreter完成...

转载 win10如何使用scrapyd部署爬虫

官方文档：http://scrapyd.readthedocs.io/en/stable/scrapy爬虫写好后，一般需要用命令行运行。scrapyd部署能够在网页端查看正在执行的任务，也能新建爬虫任务，和终止爬虫任务。优点：在网页端管理爬虫，可以控制多个爬虫任务。1.安装pip install scrapydpip install scrapyd-client2.基本使用2.1 运行...

原创 windows10下成功安装docker splash及遇到问题的解决方案

看《网络爬虫开发实战》，到Scrapy-Splash，这个章节， WIN10系统这个版本，需要通过Docker来安装，由于自己的WIN10系统是家庭版的，Docker，只能是通过 Docker Toolbox ，来安装实现，https://docs.docker.com/toolbox/overview/#whats-in-the-box，安装好之后，桌面会有这3个图标，点击Docker Qu...

转载 VMware虚拟机里如何改硬盘型号躲避防封检测

前言：我个人以前也是做虚拟机的，喜欢尝试大胆研究，查资料，目前网络上虚拟机修改的教程真的不多，困惑很多虚拟机玩家。而且现在淘宝的价格真的是贵的可怕，30元60元90元价位不等，还实行一机一码，加后门，坑害消费者。由于有些特殊的软件和特殊的游戏是在虚拟机里无法正常使用的，这些人才把价格提高那么多。实际有什么技术含量，没有什么，技术封锁吗？我觉的不是，我根据个人的经验调试亲测修改虚拟机的硬盘名...

转载 用python实现串口调试（与单片机的上位机通讯）

import serialimport easyguiimport time ser = serial.Serial()ser.baudrate = 9600ser.port = 'COM3'print(ser)ser.open()print(ser.is_open)i=1while(1): demo=b"1" ser.write(demo)...

转载 [python]获取一年日历数据并写入excel表格中

# coding=gbkimport requestsfrom bs4 import BeautifulSoupimport xlwt# 获取一年数据，以字典返回def getYear(): yearDic = {} week = 2 # 初始星期，2019年1月1日为星期二 year = 2019 # 年份 想要哪年的就改成那年的 记得修改上面的初始星期 ...

转载 [Python] Python+selenium+Chrome模拟登录du娘

安装selenium模块windows系统在控制台下输入下面代码执行pip install selenium测试如图:'''文件名：L13.py作者:小饭团创建时间:2019年1月8日03:31:44文件描述:登录百度'''#-*- coding:UTF-8 -*-#导入模块from selenium.webdriver.chrome.options import Opt...

原创 Pycharm一直报No module named 'requests'错解决办法

原创 python 如何写入中英文字符串到文件~~

本文实例讲述了 python 写入中英文字符串到文件的方法。分享给大家供大家参考。具体分析如下：python 中如果使用系统默认的 open 方法打开的文件只能写入 ascii 吗，如果要写入中文需要用到 codecs 模块，下面的代码向 c:/1.txt 文件写入 ”你好，Hello world“ 中文字符串# -*- coding: utf-8 -*-import codecscont...

原创 Python 封装--将py文件打包成exe文件~~~

原创 Python实现图片转为文字------利用百度AI 文字识别

准备工作1.安装aip：pip install baidu-aip2.到https://console.bce.baidu.com/ai/创建文字识别应用，获取APP_ID、API_KEY、SECRET_KEY参考文档http://ai.baidu.com/docs#/OCR-Python-SDK/top代码：：from aip import AipOcrprint('---欢迎使用...

转载 用VsCode写Python，代码提示代码规范方法

在使用Python 开发的时候，一款好的编辑器简直可以提高代码效率以及质量好几倍。而Vs Code 就是一个不错的选择。你值得拥有。而且还支持markdown，其他各种各样的语言当然，最主要的还是好看效果图：https://code.visualstudio.com/ VS下载地址安装python插件打开VScode，Ctrl+p输入 “ext install python”...

转载 VSCode好用的Python插件及配置

MS Python插件。这是微软官方的Python插件，已经自带很多功能。下面是插件功能描述，其中部分内容我做了翻译。a) Linting (Prospector, Pylint, pycodestyle, Flake8, pylama, pydocstyle, mypy with config files and plugins)静态代码扫描（可以理解为代码语法和格式错误提示，...

原创 python内建函数isinstance基础用法

语法：isinstance（object，type）作用：来判断一个对象是否是一个已知的类型。其第一个参数（object）为对象，第二个参数（type）为类型名(int…)或类型名的一个列表((int,list,float)是一个列表)。其返回值为布尔型（True or flase）。若对象的类型与参数二的类型相同则返回True。若参数二为一个元组，则若对象类型与元组中类型名之一相同即返回...

原创 urllib记录

按照python3 的例子写的代码，结果出错，说找不到urllib 里面的open等等，，错误是因为模块的名字，自己携程了urllib ，，书中导入的方法是 import urllib.request , 如果要用from ，，要写成，from urllib.request import urlopen因为urlopen , 是在 urllib.request 这个下面...

转载 scrapyd运行后被拒绝访问1

问题起因scrapyd是用来进行scrapy项目部署的程序，最近运行了scrapyd后发现从外网进行访问却被拒绝，第一反应则是腾讯云的服务器安全组策略的问题，但发现其实6800端口早已打开了寻找问题在scrapyd的运行后查看运行的日志，发现[-] Scrapyd web console available at http://127.0.0.1:6800/原来端口是在本地进行绑定，而不...

转载 windows中使用scrapyd遇到的问题

1.window下‘scrapyd_deploy’不是内部或外部命令，也不是可运行的程序在windows上使用scrapyd-client安装后，并不能使用相应的命令’scrapyd-deploy’需要在"C:\Python27\Scripts" 目录下 增加scrapyd-deploy.bat文件内容填充为：@echo off“C:\python27\python.exe” “C:\...

转载 windows下的scrapyd-deploy无法运行的解决办法

在windows环境中，当我们需要部署scrapy项目到服务器时，常用到scrapyd，作为部署管理工具，在服务器端安装scrapyd并运行后，就可以正常使用。但是，当我们需要将windows本地的scrapy项目部署到服务器上时，需要安装scrapyd-client，用于打包项目，并发送给远程的scrapyd。但在windows上，pip install scrapyd-client 后。在c...

转载 Scrapyd的安装及使用（windows）

Scrapyd的安装及使用（windows）一、安装scrapyd：官方地址：https://scrapyd.readthedocs.io/en/latest/install.html注：首先确保以下的依赖包已经安装完毕（这里不说明下面包如何安装）Python 2.6 or aboveTwisted 8.0 or aboveScrapy 0.17 or abovelinux的用apt...

转载 redis-dump 报错：ERROR (Errno::ENOENT): No such file or directory - ps -o rss= -p 6128

ERROR (Errno::ENOENT): No such file or directory - ps -o rss= -p 6128解决方法 到ruby安装目录 如下目录：Ruby25-x64/lib/ruby/gems/2.5.0/gems/redis-dump-0.4.0/lib/redis下的dump.rb文件，用记事本打开，将第32行 ps -o rss= -p #{Pro...

转载 Win10环境下Redis和Redis desktop manager 安装1

1.Redis的下载地址：https://github.com/MicrosoftArchive/redis/releases/download/win-3.2.100/Redis-x64-3.2.100.msi2.Redis Desktop Manager 下载地址：https://github.com/uglide/RedisDesktopManager/releases/downloa...

原创 下载版---MongoDB设置环境变量与设置成Windows服务

前言上一篇博客主要讲了MongoDB的特点、功能、优点以及如何启动，今天这篇呢为大家介绍如何配置环境变量并设置成Windows服务，总之，我们的宗旨是让学习变的更加简单。一、 如何配置环境变量1、计算机右键点击属性2、属性里面找到高级设置3、找到环境变量选项4、找到path更改环境变量（注意这里必须在前面加一个分号（英），路径根据自己的路径选择，主要是找到exe文件所在的上级目...

转载 Python第三方模块tesserocr安装

介绍在爬虫过程中，难免会遇到各种各样的验证码，而大多数验证码还是图形验证码，这时候我们可以直接用 OCR 来识别。tesserocr 是 Python 的一个 OCR 识别库 ，但其实是对 tesseract 做的一 层 Python API 封装，所以它的核心是 tesseract。 因此，在安装 tesserocr 之前，我们需要先安装 tesseract 。例如：对于下图的验证码，我们...

转载 Tesseract-OCR的Training简明教程

Tesseract-OCR的Training简明教程引言： Tesseract虽然功能强大，但是依然由于图片本身诸多的干扰因素和识别能力，存在诸多的识别率不高和信息不准确的问题，Training的过程则可以提升起识别的准确率， 本文将介绍如何train tesseract-ocr。关于TrainingTesseract虽然很强，且可以处理各类的文字转换，但是我们的目标图片并非如我们所期没...

转载 Python安装tesserocr遇到的一些问题

一、下载tesseract后使用以下命令会出错pip3 install tesserocr pillow应对方法：下载whi文件下载地址：https://github.com/simonflueckiger/tesserocr-windows_build/releases选择相应版本，我选择的是打开Cmd，进入whl文件当前所在目录下，进行安装pip3 install tessero...

转载 python最简单的爬取图片并保存本地指定路径

学python不久，所以先记录一个爬取图片的方式，并保存本地指定路径下。当然不一定会是最简单的方式，就是习惯这么起标题。但，肯定是我使用起来感觉最简单的。需要单独安装的第三方模块有三个：pip install requestspip intsall BeautifulSoup4pip install pillow其它模块都是内建模块，可以直接使用。具体代码如下：import req...