- 博客(36)
- 收藏
- 关注
RSS订阅原创 python第三方库集锦
环境管理管理 Python 版本和环境的工具p – 非常简单的交互式 python 版本管理工具。pyenv – 简单的 Python 版本管理工具。Vex – 可以在虚拟环境中执行命令。virtualenv – 创建独立 Python 环境的工具。virtualenvwrapper- virtualenv 的一组扩展。包管理管理包和依赖的工具pip – Python 包和依赖关系管理工具。pip-tools – 保证 Python 包依赖关系更新的一组工具。conda – 跨平台，Pyt
2020-08-19 21:46:47
1009
1
转载 nuitka打包的exe比用pyinstaller打包的exe运行速度快？
自从使用pyinstaller 打包后，总感觉 pyinstaller 打的exe文件体积太大，运行速度差强人意。经朋友推荐，正自尝试使用 nuitka。关于nuitka的使用知呼上有兄弟贴了使用教程，如下地址：先给个nuitka官方帮助文档知呼上的：Nuitka打包文章入口：1、Python打包exe的王炸-Nuitka入门教程：https://zhuanlan.zhihu.com/p/1333038362、Python打包exe(32/64位)-Nuitka再下一城高阶教程：https:/
2020-08-18 13:48:03
2582
4
转载 如何关闭selenium开发中的chromedriver.exe 或 geckodriver.exe 的console命令行窗
【方法一】亲测有效问题：如何关闭selenium开发中的chromedriver.exe 或 geckodriver.exe 的console命令行窗采用selenium操作浏览器执行自动化操作的场景时，在使用 pyinstaller 打包成exe文件后，会有chromedriver.exe 或 geckodriver.exe 的console命令行窗口。我们打包成exe文件一般是要分发到客户电脑上，出现这个窗体不太友好，我们需要把它隐藏掉：找到python安装目录，比如：D:\Python\Py
2020-08-16 02:22:50
2417
3
转载 Python中selenium实现文件上传所有方法整理总结
[pyAutoGUI官方文档]https://pyautogui.readthedocs.io/en/latest/ 文件上传是所有UI自动化测试都要面对的一个头疼问题，今天博主在这里给大家分享下自己处理文件上传的经验，希望能够帮助到广大被文件上传坑住的seleniumer。首先，我们要区分出上传按钮的种类，大体上可以分为两种，一种是input框，另外一种就比较复杂，通过js、flash等实现，标签非input我们分别对这两种进行分析：1.input标签众所周知，input标签是可以
2020-07-08 03:48:11
2842
1
原创 autoit-v3 编辑工具SciTE Script Editor 解决中文乱码+中文换行崩溃问题
#支持中文字符++++++++++++++++++++++++++++#支持中文 963表示简体中文code.page=936output.code.page=936#不启用的话，在输出区中文可能会乱码character.set=134#解决中文换行问题output.cache.layout=3参考文章地址：https://blog.csdn.net/yao_yu_126/article/details/8661988https://www.cnblogs.com/xuanhuahua/
2020-07-07 03:53:37
3306
原创 Django-restframework 基于token认证 + 权限管理
【】【全局配置】REST_FRAMEWORK = { # 全局使用的认证类 # "DEFAULT_AUTHENTIVATION_CLASSES":['这里填写文件路径.类名'], # 全局使用的权限类 "DEFAULT_PERMISSON_CLASSES":['orders.utils.permissions.MyPermission']}...
2020-05-23 14:52:04
526
原创 Django-restframework登陆认证 token
【urls】urlpatterns = [ re_path('^api/v1/auth/$', AuthView.as_view()),]【models】############ 用户登陆与认证 #########################################################class UserInfo(models.Model): user_type_choices=( (1,'普通用户'), (2,'VIP
2020-05-23 05:42:16
345
原创 Django-restframework 认证
【view层】from rest_framework.authentication import BaseAuthenticationfrom rest_framework import exceptions# 认证类class MyAuthentication(object): def authenticate(self, request): # token = request._request.GET.get('token') name = reque
2020-05-23 03:03:53
150
原创 基于python原生socket的开发实践
【server端】# 导入模块import socketimport threadingfrom count_tools.count_tool import show_results # 这是自己写了一套计算结果的函数集import jsonimport struct# 接收消息def recv(client_socket, ip_port): while True: # 如果有客户端连接的话 ，继续执行 recv_header = client_socket
2020-05-22 05:31:34
194
原创 DRF(Django Restframework) 十条规范
【域名】单独给一个域名或url路径（出现跨域怎么解决？）通常使用https【版本】不同版本需要标注【资源】资源最好使用名词【操作方式】不从请求链接体现操作方式，在请求方式上解决操作方式-- get：https://example.com/api/v1/books 获取所有-- post：https://example.com/api/v1/books 新增一本-- put：https://example.com/api/v1/book/1 更新id=1的一本-- patch：https:.
2020-05-21 02:07:06
189
原创 Django中基于FBV和CBV的免除或开启csrf验证
一、【全局crsf验证开启，但希望某函数或方法豁免验证】1、基于FBV免除某个函数csrf验证的步骤：1.1、在settings的中间件，添加csrf验证全局验证（默认都已经添加）1.2、导入 django.views.decorators.csrf import csrf_exempt, csrf_protect1.3、在需要免除csrf验证的函数上添加装饰器：@csrf_exempt# 到 settings.py 文件开启csrf全局验证
2020-05-21 00:42:47
286
原创 django --- CBV之as_view()上下文执行逻辑
request ------------ 将请求交给View类里的闭包函数 ------------> View.as_view() ------------------------> 返回view函数的引用 (返回的view函数名跟自定义的类名相同，且给该函数添加了view_class和view_initkwargs属性。其中view_class属性中的值是类的引用，view_initkwargs属性中的值是as_view()拿到的参数)-------------当请求到达
2020-05-20 20:58:23
326
翻译 【二】Django - v 2.2 Models层
创建Django项目和基本配置Models层模型类继承自 django.db.models.Model每个类属性，表现一个数据字段嵌套Meta声明更多选项字段类型通用属性null=True/False 字段是否可以为NULLblank=True/False 是否允许空字符choices=序列 选项列表verbose_name 友好名称db_column数据列名db_index 是否为索引default 默认值unique 是否唯一unique_for_date 组合唯一pr
2020-05-18 02:49:24
152
转载 计算机自学资源
**computer-science**star :56.1kGithub 地址：https://github.com/ossu/computer-science#intro-cs介绍：通往计算机科学免费自学教育之路！计算机专业课程TeachYourselfCS-CN (自学计算机科学)star :0.8kGithub 地址：https://github.com/keithnull/TeachYourselfCS-CN介绍：TeachYourselfCS 的中文翻译。内容超级棒！如果你是
2020-05-13 12:39:23
346
原创 通过shell脚本自动化安装python第三方库
#!/bin/bash#安装python第三方库libs=(requests flask django selenium lxml numpy pandas wheel scrapy flask-sqlalchemy sqlalchemy pymongo)pip3 install --upgrade pipfor i in ${libs[@]}; do echo " ---------- 正在安装 ---------------> $i " sudo pip3 install $.
2020-05-11 21:01:12
2373
原创 自动安装mongodb的shell脚本
#!/bin/bash# CentOS Linux release 7.7.1908 (Core)# 安装 compat-openssl10-1.0.2o-3.el8.x86_64.rpm ，mongodb的依赖install_openssl10(){ # 下载rpm包到指定目录下 wget -P /usr/home http://mirror.centos.org/centos/8/AppStream/x86_64/os/Packages/compat-openssl10-1.0.2o-3.
2020-05-11 20:59:40
984
原创 python3.6.4 自动安装shell脚本
#!/bin/bashinstall_yum(){ # 判断wget是否存在 command -v wget; if [ $? -eq 0 ]; then echo "yum is installed"; else yum -y install wget; while [ $? -ne 0 ] .
2020-05-11 20:36:07
855
原创 Linux常用命令
一、文件处理命令- 1.1 命令格式与目录处理命令ls【命令格式】命令 [-选项] [参数]例： ls -la /etc解释：命令 [-选项 == 要做什么操作] [参数 == 文件对象]【说明】1）个别命令使用不遵循此格式2）当有多个选项时，可以写在一起3）简化选项和完整选项，eg：-a 等于 --all命令名称：ls命令英文原意：list命令所在路径：/bin/l...
2020-04-30 17:53:18
929
原创 Shell编程
什么是Shell，能做什么？Shell变量Shell运算Shell条件判断，以及循环Shell函数Shell测试一、Shell能做什么二、Shell变量2.1 【声明变量】2.1.1、变量名只能是：字母、下划线、数字，首字符不能为数字；2.1.2、不能有空格，可用下划线代替；2.1.3、不能有标点符号；2.1.4、不能是bash关键字；2.1.5、命名时，等号两边不能有空...
2020-04-28 14:26:12
97
原创 爬抖音粉丝列表（mitmdump+python3.7+adb工具）
目标是实现 抖音粉丝列表的粉丝信息使用的工具包含：mitmdump+python3.7+adb工具工具的安装与环境配置：自行百度或去各自官网下载【目标一】通过adb工具实现滑动粉丝列表，达到请求数据的目的。代码中使用多进程和多设备管理，实现两个手机同时进行滑动import timeimport osfrom threading import Threadfrom ...
2020-03-05 02:27:51
4675
4
原创 基于requests的抖音无水印视频爬虫
直接上代码# -*- coding: UTF-8 -*-import requestsfrom bs4 import BeautifulSoupimport os# 去掉 https warningsrequests.packages.urllib3.disable_warnings()headers = { 'user-agent': 'Mozilla/5.0 (L...
2020-02-29 17:07:41
738
2
原创 爬虫工程师的进阶一览图（爬虫工程师水平对照表）根据崔庆才崔大神的文章总结的
根据崔大神的文章总结的爬虫水平对照表一、初级水平Python 【语言基础】 requests 【请求相关】 lxml【解析相关】 XPath 【解析相关】 BeautifulSoup【解析相关】 PyQuery 【解析相关】 MySQL 【数据库】 MongoDB【数据库】 Elasticsearch【我没用过这个，不清楚用到他什么特性】 Kafka【消息队列相关...
2020-02-28 01:36:10
7169
2
原创 招投标信息爬虫 （只上最简单的版本，仅用于技术交流）
import requestsurl="http://manager.zjzfcg.gov.cn/cms/api/cors/getRemoteResults?noticeId=6000337&url=http%3A%2F%2Fnotice.zcygov.cn%2Fnew%2FnoticeDetail"res2 = requests.get(url)res2.content.deco...
2020-02-23 13:57:57
3834
1
原创 基于结巴分词、SnowNLP、Kmeans自然语言处理之京东评论情感分析
【1】需要处理的评论数据已经存到MongoDB（评论数据总量约为3万条）import jiebaimport jieba.analysefrom pymongo import MongoClientfrom snownlp import SnowNLPcomments = ''client=MongoClient()results = client.jd.shouhuan.fi...
2020-02-23 13:52:23
2360
原创 基于selenium的码市外包信息爬虫
# 引入 selenium中的webdriverfrom selenium import webdriver# 将chrome配置为无头浏览器# options = webdriver.ChromeOptions()# options.add_argument('--headless')# options.add_argument('--disable-gpu')# 引入 lxm...
2020-02-23 13:37:18
204
原创 基于selenium的twitter博文评论爬虫
技术合作联系：13958075150【1】首次登录获取cookies并存为文件from selenium import webdriverimport timeimport jsonbr = webdriver.Chrome()br.get("https://twitter.com/login?prefetchTimestamp=1574961630352")# 填写手...
2020-02-22 19:04:14
2511
4
原创 实现今日头条-西瓜视频-抖音视频自动化上传（如希望无人值守长期定时执行的话，需自行优化代码）
首次登录使用selenium登录并将cookies存为文件，实现免密登录，并便于后期维护cookie。# 首次使用selenium登录，并将cookies存为文件from selenium import webdriverimport timeimport jsonbr = webdriver.Chrome()br.get("https://mp.toutiao.com")...
2020-02-22 18:51:38
5817
原创 youtube-dl 中文版帮助文档目录
选项：常规选项：-h，--help打印此帮助文本并退出--version打印程序版本并退出-U，--update将此程序更新为最新版本。使 确保您具有足够的权限 （如果需要，使用sudo运行）-i，-ignore-errors继续出现下载错误，例如 ...
2019-11-18 13:27:19
4749
原创 mac os常用命令
1. 路径操作命令 含义 参数 ls、ll、la （list show）列出指定目录下文件 -l 显示文件的详细信息 -a 显示目录下所有文件（包括隐藏文件） -d 显示指定目录pwd 显示当前的工作目录的路径 pwd 查看我们所在的目录（位置） 无 cd （come directory）切换工作目录...
2019-10-10 04:10:50
287
原创 mongoDB数据去重（使用导入导出方式）和用户认证
环境：mongdb 4.0一、数据去重1、mongoexport 导出mongoexport --db 数据库名 --collection 集合名 --out 文件路径/文件名.json如果是远程数据库需要机上远程服务器地址、端口：mongoexport --host mongodb1.example.net --port 27017 --username someUser --au...
2019-09-08 03:52:34
812
翻译 MongoEngine中文文档
一、简介：MongoEngine是一个基于pymongo开发的ODM库，对应与SQLAlchemy。同时，在MongoEngine基础上封装了Flask-MongoEngine，用于支持flask框架。⚠️注：本文内容来自官方文档（地址：http://docs.mongoengine.org/index.html ）二、入门教程1、【安装MongoEngine】pip3 install ...
2019-09-03 16:23:31
9486
1
原创 pychram下安装mongodb插件（mongo plugin）后报错，怎么解决
【报错原因】是插件本事存在bug。【解决方法】删除.idea下的mongosetting.xml文件。⚠️注：.idea文件在工程目录路径下，即：工程目录路径/.idea原文路径：https://www.jianshu.com/p/46873e031d61...
2019-08-16 04:23:04
525
1
转载 140种Python标准库、第三方库和外部工具都有了
第三方库：Python的第三方库。这些库需要先进行安装（部分可能需要配置）。外部工具：非Python写成的库或包，用于Python数据工作的相关工具。「推荐度」3星最高，1星最低。01 文件读写文件的读写包括常见的txt、Excel、xml、二进制文件以及其他格式的数据文本，主要用于本地数据的读写。open(name[, mode[, buffering]])类型：Python内置...
2019-07-26 16:56:22
288
转载 学爬虫需要用到的各种python库
这个列表包含与网页抓取和数据处理的Python库。网络通用urllib -网络库(stdlib)。requests -网络库。grab – 网络库（基于pycurl）。pycurl – 网络库（绑定libcurl）。urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。httplib2 – 网络库。RoboBrowser – 一个简单的、极具Pyt...
2019-07-20 20:49:04
933
原创 【已经验证】安装Nginx 参考地址：https://phoenixnap.com/kb/how-to-install-nginx-on-centos-7
NGINX -- 安装将系统存储库更新到最新的CentOS版本 【更新命令】yum -y upgrade =======》-y 是可选的“确认”参数 为Enterprise Linux安装额外软件包---EPEL yum install -y epel-release =======》epel 免费提供很多免费开源包 安装NGINX yum -y install ngi...
2019-07-07 05:55:44
183
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人