hjhkkkl-CSDN博客

原创萌新的福音——Pycharm安装破解教学

Pycharm，专业开发者使用的Python IDE。PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。1丶PyCharm的下载可以从官网https://www.jetbrains.com/pycharm/download/下...

2018-06-25 22:20:21 1111 2

前言：本文旨在帮助Python小白少走弯路少入坑，系个人经验，不喜勿喷，谢谢。正文：Anaconda是将Python和许多常用的package（Python开源包）打包直接来使用的Python发行版本，支持Windows、Linux和macOS系统，并有一个conda（开源包packages和虚拟环境environment的管理系统）强大的执行工具。 Anaconda的优点总结起来就八个字：省...

2018-06-25 21:33:24 14585

原创 wxappUnpacker 微信小程序反编译逆向 2019使用问题总结

wxappUnpacker 微信小程序反编译逆向 2019使用问题总结问题一：Cannot find module 'uglify-es'npm install esprima --savenpm install css-tree --savenpm install cssbeautify --savenpm install vm2 --savenpm install ug...

2019-10-22 15:35:38 2232 2

原创 python实现scrapy定时执行爬虫

项目需要程序能够放在超算中心定时运行，于是针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。最简单的方法：直接使用Timer类import timeimport oswhile True: os.system("scrapy crawl News") time.sleep(86400) #每...

2019-02-15 14:48:54 3702 1

原创 scrapy POST发送json 数据

scrapy Post 发送数据是我们通常会用yield scrapy.FormRequest( url = url, formdata = {"email" : "xxx", "password" : "xxxxx"}, callback = self.parse_page )来发送请求，但这是...

2019-02-15 08:29:42 798

原创安装pywin32后运行scrapy项目报错 ImportError: No module named win32api，如何解决？

按以往经验只要安装了pywin32就可以了，而且我也找到了\venv\Lib\site-packages\win32\win32api.pyd，不知道为什么，但就是不行。最后查了一些资料后，通过pip安装pypiwin32后就OK了，特此记录。pip install pypiwin32...

2019-02-13 15:24:13 559

原创 selenium+python设置爬虫代理IP

1. 背景在使用selenium浏览器渲染技术，爬取网站信息时，一般来说，速度是很慢的。而且一般需要用到这种技术爬取的网站，反爬技术都比较厉害，对IP的访问频率应该有相当的限制。所以，如果想提升selenium抓取数据的速度，可以从两个方面出发：第一，提高抓取频率，出现验证信息时进行破解，一般是验证码或者用户登录。第二，使用多线程 + 代理IP，这种方式，需要电脑有足够的内存和充足稳定的代理...

2019-02-13 11:14:29 1449 1

转载 python 获取cpu、内存、硬盘等实时信息 psutil

1 cpu信息 2 #Linux系统cpu利用率有以下几个部分 3 #User Time，执行用户进程的时间百分比 4 #System Time，执行内核进程和中断的时间百分比 5 #Wait IO,由于IO等待使cpu处于idle（空闲）状态的时间百分比 6 #Idle，cpu处于空闲状态的时间百分比 7 8 import psutil 9 #获取cpu完成信息10 p...

2018-12-08 10:16:38 5462

转载 python 获取CPU、内存、硬盘、进程状态信息代码

#LOG:# test to check CPU ,memory and process state# built time 2017-05-19# coder:ly #!/usr/bin/python# -*- coding: UTF-8 -*- import osimport timeimport psutilimport sysimport atex...

2018-12-08 10:15:07 1232

原创 selenium 安装与 chromedriver安装

直接使用pip安装1 pip install selenium用 Chrome 浏览器来测试1 from selenium import webdriver2 3 browser = webdriver.Chrome()4 browser.get('http://www.baidu.com/')运行这段代码，会自动打开浏览器，然后访问百度。如果程序执行错误，浏览...

2018-12-01 09:07:41 361

原创 Python：bs4中 string 属性和 text 属性的区别及背后的原理

刚开始接触 bs4 的时候，我也很迷茫，觉得 string 属性和 text 属性是一样的，不明白为什么要分成两个属性。html = '<p>hello world</p>'soup = BeautifulSoup(html, 'lxml')p = soup.pprint(p.string)　　# hello wordprint(p.text)　　 # he...

2018-11-30 11:05:46 1092

原创 ajax实现上传文件和form表单上传文件的区别

在使用form表单的时候,一旦点击提交触发submit事件，一般会使得页面跳转，页面间的跳转等行为的控制权往往在后端，后端会控制页面的跳转及数据传递，但是在某些时候不希望页面跳转，或者说想要将控制权放在前端，通过js来操作页面的跳转或者数据变化。一般这种异步的操作，我们都会想到ajax方式，因此在实现了功能后就整理了这篇文章，通过ajax方法实现form表单的提交并进行后续的异步操作。常见...

2018-11-07 16:04:31 1443

原创深入理解Django中内置的用户认证

深入理解Django中内置的用户认证更新时间：2017年10月06日 10:41:17 作者：renpingsheng 我要评论 Django自带一个用户认证系统,这个系统处理用户帐户、组、权限和基于cookie的会话，下面这篇文章就来给大家介绍了关于Django中内置的用户认证的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下。前言本文主要给大...

2018-11-05 15:46:10 965

原创 django.db.utils.OperationalError

错误：django.db.utils.OperationalError: (2059, "Authentication plugin 'caching_sha2_password' cannot be loaded: \xd5\xd2\xb2\xbb\xb5\xbd\xd6\xb8\xb6\xa8\xb5\xc4\xc4\xa3\xbf\xe9\xa1\xa3\r\n")原因：经过一番...

2018-10-29 18:19:45 900

原创 Django2.x连接MySQL8.x方法与各种错误解析

1.安装mysqlclient在第一步时，如果你用老办法pip install mysqlclient安装的话，很大几率会出现error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-...

2018-10-29 17:46:02 323

原创 scrapy框架中cookie的设置路径

总的来说，scrapy框架中设置cookie有三种方式。第一种：setting中设置cookie当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie当COOKIES_ENABLED设置为True的时候scrapy就会把settings的c...

2018-10-09 09:34:14 3934

原创【Python】 uuid生成唯一ID

uuid是128位的全局唯一标识符（univeral unique identifier），通常用32位的一个字符串的形式来表现。有时也称guid(global unique identifier)。python中自带了uuid模块来进行uuid的生成和管理工作。（具体从哪个版本开始有的不清楚。。）　　python中的uuid模块基于信息如MAC地址、时间戳、命名空间、随机数、伪随机数来uui...

2018-09-28 10:03:03 645

原创 utf8和utf-8的小知识

"UTF-8" 是标准写法，php 在 Windows 下边英文不区分大小写，所以也可以写成 "utf-8"。"UTF-8" 也可以把中间的"-"省略，写成 "UTF8"。一般程序都能识别，但也有例外，在数据库中只能使用"utf8"(MySQL) 在MySQL的命令模式中只能使用"utf8"，不能使用"utf-8"，为了严格一点，最好用标准的大写&q

2018-09-20 16:00:25 361

原创 selenium的详细用法

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归...

2018-08-27 10:52:08 234

原创编码问题：UnicodeEncodeError: 'gbk' codec can't encode character u'\xa0' in position 148:

在写一个用BeautifulSoup抓取twitter网页时遇到的问题# UnicodeEncodeError: 'gbk' codec can't encode character u'\xa0' in position 148:# illegal multibyte sequence这样说： (1)出现UnicodeEncodeError –> 说明是Unicode编...

2018-08-24 17:43:11 445

原创 python中的编码和解码

计算机中常见的编码方式有多种，英文一般是ascii编码，其他有unicode，utf-8，gbk，utf-16等编码。常见编码方式:ASCII编码：ASCII是早期的编码，包含英文字母、数字和一些英文符号一共127个符号； Unicode编码：不同的语言有各自不同的编码方式，导致在多种语言环境下按照某一种固定的编解码方式会出现乱码。为了统一，制定了Unicode编码。Unico...

2018-08-24 17:27:43 537

原创 Cookie与Session的区别与联系

一、Session与Cookie介绍这些都是基础知识，不过有必要做深入了解。先简单介绍一下。二者的定义：当你在浏览网站的时候，WEB 服务器会先送一小小资料放在你的计算机上，Cookie 会帮你在网站上所打的文字或是一些选择，都纪录下来。当下次你再光临同一个网站，WEB 服务器会先看看有没有它上次留下的 Cookie 资料，有的话，就会依据 Cookie里的内容来判断使用者，送...

2018-08-15 19:17:05 264

原创【解决方案】requests.exceptions.SSLError: HTTPSConnectionPool

前提有些网页，一开始用脚本语言（python）去访问的时候会遇到这样问题。一般这样的网站用浏览器去访问的时候，会弹出这样的警告“您的链接不是私密链接”。内容大多出自于崔大神书籍。本菜结合书中内容做了自己的阐述。简单解释这里是由于这个网页的证书没有被官方CA机构信任，所以这里会出现证书验证的错误。这样的url典型有https://www.12306.cn如下使用代码的时候...

2018-08-14 21:48:44 4158

原创 requests

我们已经讲解了Python内置的urllib模块，用于访问网络资源。但是，它用起来比较麻烦，而且，缺少很多实用的高级功能。更好的方案是使用requests。它是一个Python第三方库，处理URL资源特别方便。安装requests如果安装了Anaconda，requests就已经可用了。否则，需要在命令行下通过pip安装：$ pip install requests如果遇到...

2018-08-14 19:48:10 375

原创 Python——json的封装与解析

SON(JavaScript Object Notation) 是一种轻量级的数据交换格式，易于人阅读和编写。JSON 函数使用 JSON 函数需要导入 json 库：import json。函数描述 json.dumps 将 Python 对象编码成 JSON 字符串 json.loads 将已编码的 JSON 字符串解码为 Python 对象 js...

2018-08-13 12:02:57 3569

原创正则，xpath和BeactifulSoup三者区别

1.正则表达式是进行内容匹配，将符合要求的内容全部获取；xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检测出内容是否为真的标签；Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下， xpath的速度会快一点，因为xpath底层是用c来实现的 2.三者语法不同，正...

2018-08-08 17:45:30 1973

转载 python面试题20道

20个Python经典面试题，你都知道吗？ 1、Python如何实现单例模式？Python有两种方式可以实现单例模式，下面两个例子使用了不同的方式实现单例模式： class Singleton(type):def init(cls, name, bases, dict):super(Singleton, cls).init(name, bases, dict)cls.instance =...

2018-08-08 08:52:05 404

原创 python里面pop，remove和del 三者的用法区别

首先，remove 是删除首个符合条件的元素。并不是删除特定的索引。如下例： >>> a = [0, 2, 2, 3] >>> a.remove(2) >>> a [0, 2, 3]而对于 del 来说，它是根据索引（元素所在位置）来删除的，如下例： >>> a = [...

2018-08-07 17:22:28 7869 7

转载 Python编码方式unicode和utf-8

Unicode和Python的中文处理　　在Python语言中，Uincode字符串处理一直是一个容易让人迷惑的问题。许多Python爱好者经常因为搞不清Unicode、UTF-8还有其它许许多多的编码之间的区别而大伤脑筋。笔者曾经也是这“伤脑筋一族”的成员，但经过半年多的努力，现在终于初步弄清楚其中的一些关系。现将其整理如下，与各位同仁同享。同时也希望能借这篇短文抛砖引玉，吸引更多真正...

2018-08-07 15:43:28 1408

原创正则表达式中group和groups的区别

第一点，搞清楚它们用在什么地方？正则表达式中，group（）用来提取分组截获的字符串，（）用来分组。组是通过 "(" 和 ")" 元字符来标识的。 "(" 和 ")" 有很多在数学表达式中相同的意思；它们一起把在它们里面的表达式组成一组。举个例子，你可以用重复限制符，象 *, +, ?, 和 {m,n}，来重复组里的内容，比如说(ab)* 将匹配零或更多个重复的 "ab"。如果不...

2018-08-07 10:04:02 4693 2

原创 Python 运算符

什么是运算符？本章节主要说明Python的运算符。举个简单的例子 4 +5 = 9 。例子中，4 和 5 被称为操作数，"+" 称为运算符。Python语言支持以下类型的运算符:算术运算符比较（关系）运算符赋值运算符逻辑运算符位运算符成员运算符身份运算符运算符优先级接下来让我们一个个来学习Python的运算符。Python算术运算符以下假设变量：...

2018-07-31 15:29:33 672

原创 Python—— Sorted()函数和sort()的个人见解

描述sorted() 函数对所有可迭代的对象进行排序操作。 sort 与 sorted 区别： sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。 list 的 sort 方法返回的是对已经存在的列表进行操作，而内建函数 sorted 方法返回的是一个新的 list，而不是在原来的基础上进行的操作。列表有自己...

2018-07-30 18:01:02 647

原创类里面对象和指针的区别

关于指针和对象的区别困扰很多初学者，现在我就用一些直白的语言描述，来帮助大家越过这个坑，希望对大家有所帮助。Student* s1; s1 = new Student(); s1->set("111"); Student s2; s2.set("222"); s1->print(); s2.print(); 对于类student ，定义了一个对象和一个指针...

2018-07-30 15:42:07 6462 1

转载秒解UTF-8带来的烦恼

我们知道ASCII码表中总共只有值在0-127之间的128个字符，用其表示纯粹的英文字符等已经足够了，而正是基于此产生了ANSI字符集。ANSI字符集中每个字符都是以一个8位的字节表示，但是后来随着全球信息化的加强，各国的语言都需要得到相应的体现，于是就出现了宽字符集，再后来就出现了unicode字符集，unicode又有UCS-2 和 UCS-4两种标准，不过通常unicode字符集中每个字符用...

2018-07-23 23:01:12 785

原创佛性爬虫教程--入门教程

1.爬虫的过程分析　　当人类去访问一个网页时，是如何进行的？　　①打开浏览器，输入要访问的网址，发起请求。　　②等待服务器返回数据，通过浏览器加载网页。　　③从网页中找到自己需要的数据（文本、图片、文件等等）。　　④保存自己需要的数据。　　对于爬虫，也是类似的。它模仿人类请求网页的过程，但是又稍有不同。　　首先，对应于上面的①和②步骤，我们要利用python实现请求一个网页的功能...

2018-07-19 22:30:26 703

原创 python函数方法实参给形参传值时候的隐形‘陷阱’

众所周知，在python函数里面参数分为形参，实参两种。形参当然了就是形式参数，而实参是我们需要给这个函数传入的变量，在我们给实参传入变量之后，调用函数，实参则自动会把数值或则变量赋予形参，从而通过函数得出我们想要的结果。既然形参是由实参赋值传递，所以说形参的位置顺序至关重要，稍有疏忽，程序可能就会出错。那么下面就来帮大家在初学的时候如何让更好的避开这些隐形的陷阱。首先，形...

2018-07-13 18:00:15 1685

原创 Python小知识——————Python循环语句中else的用法总结

这篇文章给大家整理了关于Python中循环语句中else的用法，包括常规的 if else 用法、if else 快捷用法、与 for 关键字一起用、与 while 关键字一起用以及与 try except 一起用的用法总结，有需要的朋友们可以参考借鉴。本文讨论Python的for-else和while-else等语法，这些是Python中最不常用、最为误解的语法特性之一。Python中的for、...

2018-07-10 23:05:44 2050

原创 Python小知识————如何解决Python日常代码中的一些BUG

相信很多小伙伴在日常敲代码的过程中，一不小心或者一不留神就会出错，程序总会被各种各样的bug困住，扰乱我们这些程序猿的心境。那么今天我就来跟大家分享一下简单常见的BUG及相应BUG的处理方法，这样的话，下次我们再遇到这些BUG，就能很轻松解决掉，程序得以运行。错误一： # TypeError: cannot concatenate 'str' and 'int' objects ...

2018-07-10 21:36:01 3016

原创日常分享第一篇 python基础语法time

Python 程序能用很多方式处理日期和时间，转换日期格式是一个常见的功能。Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间。时间间隔是以秒为单位的浮点小数。每个时间戳都以自从1970年1月1日午夜（历元）经过了多长时间来表示。Python 的 time 模块下有很多函数可以转换常见日期格式。如函数time.time()用于获取当前时间戳, 如下实例:#!/u...

2018-07-02 21:58:37 737

原创干货！！！———————Python基础教学第二篇

今天实在太累了，就简单给大家写一点基础语法吧。循环占位符操作字符串操作列表循环：在Python里主要有两种循环方式for循环和while循环 for循环：for循环主要侧重于控制循环的次数如： for x in range(3): print(x)012 while循环：while循环主要侧重循...

2018-06-28 22:34:32 671

空空如也

空空如也