7 Felix-微信(AXiaShuBai)

尚未进行身份认证

我要认证

字节跳动数据分析工程师,个人微信AXiaShuBai。加微信,进Python小伙伴群。

等级
TA的排名 8k+

Charles 抓包工具安装( Windows 和安卓系统) SSL代理设置

Charles 抓包工具安装及使用Charles 原理首先将 Charles 运行在自己的 PC 上,Charles 运行的时候会在 PC 的 8888 端口开启一个代理服务,这个服务实际上是一个 HTTP/HTTPS 的代理。确保手机和 PC 在同一个局域网内,我们可以使用手机模拟器通过虚拟网络连接,也可以使用手机真机和 PC 通过无线网络连接。设置手机代理为 Charles 的代理地址,这样手机访问互联网的数据包就会流经 Charles,Charles 再转发这些数据包到真实的服务

2020-08-11 16:59:42

Hook 钩子技术及代码注入的 3 种方式

Hook 技术介绍Hook 技术中文又叫作钩子技术,它就是在程序运行的过程中,对其中的某个方法进行重写,在原有的方法前后加入我们自定义的代码。相当于在系统没有调用该函数之前,钩子程序就先捕获该消息,可以先得到控制权,这时钩子函数便可以加工处理(改变)该函数的执行行为。通俗点来说呢,比如我要 Hook 一个方法 funA,可以先临时用一个变量存一下,把它存成 A,然后呢,我再重新声明一个新的方法 funB,里面添加自己的逻辑,比如加点调试语句、输出语句等等,然后在新的方

2020-08-09 12:49:04

requests+selenium 爬虫项目和 scrapy 爬虫项目的区别

爬虫项目request+selenium爬虫项目周期项目介绍爬了XXXXX,XXX,XXX,等网站,获取网站上的XXX,XXX,XXX,数据,每个月定时抓取XXX数据,使用该数据实现了XXX,XXX,XX,开发环境linux+pycharm+requests+mongodb+redis+crontab+scrapy_redis+ scarpy + mysql+gevent+celery+threading使用技术使用requests…把数据存储在mongodb中使用cron

2020-07-23 23:55:37

通用爬虫思路总结

通用爬虫思路1. 通用爬虫思路1. 准备URL准备start_urlurl地址规律不明显,总数不确定通过代码查找下一页urlxpath定位不明显,寻找url地址,部分参数可能放在当前的响应中(比如当前页码数和总页码数会在当前响应中)准备url_list页码总数明确url地址规律明显2. 发送请求,获取响应添加随机的User-Agent,反反爬虫添加随机代理的IP,建立ip代理池,反反爬虫在对方判断我们是爬虫后,应该添加更多的headers字段,包括cook

2020-07-23 23:51:23

原生 JavaScript 中 window.onload 全局加载模块中定义的函数 不能执行的一些问题

一个关于在window.onload里面定义函数,然后在html里面调用函数时出现错误。具体见下面<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Com

2020-07-23 23:50:16

iPhone11 复制照片或视频时候报错 “连接到系统上的设备没有发挥作用” 解决方法,最佳照片原画质复制到电脑方法

IOS 11 以后系统照片采用了HEVC编码格式,该编码格式只有普通JPG和MOV格式占用空间一半左右设置-相机里面可以选择兼容性最佳,使用JPG和普通的MPEG视频格式,但是占用空间大。选择高效,照片和视频全部采用苹果的HEVC格式,占用空间小,推荐使用。使用HEVC格式备份照片到电脑存在问题:连接电脑,直接复制,随着复制进行会报以下错误,照片复制一般没有问题(一次不要复制太多,一两百张没问题),视频会频繁报错(即使单个复制还是报错)报错原因:设置-照片-传输到MAC或PC选择了自动,连接WIN

2020-06-30 23:39:58

Python 反爬虫——信息验证

文中案例参考 GitHub项目2 信息验证型反爬虫2.1 User-Agent反爬虫User-Agent是用户身份识别的重要信息,User-Agent中包含用户浏览器、浏览器引擎、操作系统等信息python的requests库请求时候,服务器读取到的User-Agent信息就是 python-requests/2.21.0User-Agent反爬虫:nginx中加入User-Agent检测,将python,Java,PHP等一些关键词都加入到黑名单中检测时候,发现含有这些关键词,就认定为是

2020-06-26 11:59:07

Python 反爬虫——文本混淆反爬虫

文中案例参考 GitHub项目4 文本混淆反爬虫4.1 图片伪装为文字反爬虫有些文字内容实际是图片伪装的提取图片的内容(图片请求响应结果res.content就是图片的字节数据,可以直接write为图片对象,也可以打开为图片对象,看案例)图片对象使用光学字符识别技术(pytesseract库)从图片中提取文字PyTesseract缺点:只能识别出一些清晰工整的图像中的文字,扭曲的文字或者有其它颜色图片干扰信息时候识别不准确参考案例001(02文件夹中)4.2 CSS偏移反爬虫一般用于

2020-06-26 11:56:24

pyppeteer 下载 chromium 浏览器报错解决方法 (2020.05.31)

pyppeteer 运行需要 chromium 浏览器,第一次运行时候会自动下 chromium 浏览器,但是由于网络问题,国内下载会报连接错误解决方法:方法1(推荐):下载 chromium 浏览器到本地,百度搜索下载一个即可,然后解压查看 pyppeteer 判断 chromium 浏览器是否需要下载的本地路径,参考下图,先找到虚拟环境下chromium_downloader.py文件,然后代码中添加方框中两句代码,然后运行,就可以打印出本地浏览器路径接着进入路径local-chromiu

2020-05-31 12:24:44

Python 通用爬虫思路

文章目录通用爬虫思路1. 准备URL2. 发送请求,获取响应3. 提取数据4. 保存通用爬虫思路1. 准备URL准备start_urlurl地址规律不明显,总数不确定通过代码查找下一页urlxpath定位不明显,寻找url地址,部分参数可能放在当前的响应中(比如当前页码数和总页码数会在当前响应中)准备url_list页码总数明确url地址规律明显2. 发送请求,获取响应添加随机的User-Agent,反反爬虫添加随机代理的IP,建立ip代理池,反反爬虫在对

2020-05-27 17:11:20

HttpResponse 和 JsonResponse 的直观区别以及 response.json()方法

HttpResponse对象Django服务器接收到客户端发送过来的请求后,会将提交上来的这些数据封装成一个HttpRequest对象传给视图函数。那么视图函数在处理完相关的逻辑后,也需要返回一个响应给浏览器。而这个响应,我们必须返回HttpResponseBase或者他的子类的对象。而HttpResponse则是HttpResponseBase用得最多的子类。常用属性:content:返回的内容。status_code:返回的HTTP响应状态码。content_type:返回的数据的MIM

2020-05-26 09:41:02

终端启动MYSQL时出现报错:“ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost' (10061)” 解决方法

1. 问题说明一直使用:mysql -u root -p 启动mysql数据库,使用了两年都是正常的,突然一天启动时候报错:“ERROR 2003 (HY000): Can’t connect to MySQL server on ‘localhost’ (10061)”2. 解决方法查询多篇博客,发现是由于mysql文件名被篡改了,mysql服务没有自动启动打开计算机管理服务里面查看:一个服务叫mysql,还有一个叫MySQL80 (80就是版本号8.0),对比属性里面的文件路径一致此时

2020-05-11 22:54:11

Pycharm 中 Mark Directory As 里的 Sources Root 的作用

源根(或源文件夹)通过为此类别分配文件夹,您可以告诉IDE编译器此文件夹及其子文件夹包含应作为构建过程的一部分进行编译的源代码。测试源根(或测试源文件夹;显示为rootTest)这些根类似于源根,但是用于测试的代码(例如用于单元测试)。通过测试源文件夹,您可以将与测试相关的代码与生产代码分开。通常,源和测试源的编译结果放在不同的文件夹中。资源根源适用于您的应用程序中使用的资...

2020-04-14 11:06:03

Linux小知识----/bin/bash和/bin/sh的区别

SH:sh就是Bourne shell这个是UNIX标准的默认shell,对它评价是concise简洁 compact紧凑 fast高效,由AT&T编写,属于系统管理shellBASH:bash是 GNU Bourne-Again SHell (GNU 命令解释程序 “Bourne二世”)是linux标准的默认shell ,它基于Bourne shell,吸收了C shell和K...

2020-04-09 11:45:48

Docker 及 Docker Compose 安装及使用教程 (2020版)

文章目录1 Docker原理2 Docker安装3 镜像(Image)3.1 获取镜像3.2 查找拖取镜像3.3 列出镜像3.4 删除镜像3.5 创建的镜像4 容器(Container)4.1 创建启动容器4.2 终止、重启容器4.3 进入后台容器4.4 导出和导入容器4.5 删除容器4.5 容器运行一个简单Web应用实例5 Docker 容器连接5.1 网络端口映射5.2 Docker容器互联5...

2020-04-01 23:37:02

VirtualBox及Ubunbu18.04使用技巧汇总

菜单栏相关Ubunbu虚拟机HOST键就是键盘的右边的CTRL键host + home 显示菜单栏控制窗口 ,在里面选择:视图—菜单栏—显示菜单栏host + c 自动缩放模式,菜单栏消失,再按一次菜单栏恢复...

2020-03-28 16:28:58

sudo apt-get update和sudo apt-get upgrade命令的区别

前言在windows下安装软件,我们只需要有EXE文件,然后双击,下一步直接OK就可以了。但在LINUX下,不是这样的。每个LINUX的发行版,比如UBUNTU,都会维护一个自己的软件仓库,我们常用的几乎所有软件都在这里面。这里面的软件绝对安全,而且绝对的能正常安装。那我们要怎么安装呢?在UBUNTU下,我们维护一个源列表,源列表里面都是一些网址信息,这每一条网址就是一个源,这个...

2020-03-28 14:56:11

Ubutu18.04无法进入桌面解决方法(输入密码后黑屏后又回到用户登录界面)

问题说明环境说明:Win10 VMVirtualBox6.0.10Ubuntu18.04问题来源:安装docker后出现的该问题问题描述:启动系统,输入正确的账号和密码,点击登录,屏幕一闪,然后又跳回登录界面。输入密码还是闪一下,又回到登录界面。网上博客提到几种方法:重新安装gdm、 删除.Xauthority、删除/etc/profile文件里面一些东西,我看很多回...

2020-03-28 14:49:14

Python 中 pip 常用命令 pip 升级、包升级等

1. pip介绍pip 是 Python 包管理工具,该工具提供了对Python 包的查找、下载、安装、卸载的功能。目前如果你在 python.org 下载最新版本的安装包,则是已经自带了该工具Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。pip 官网:https://pypi.org/project/pip/你可以通过以下命令来判断是否已安装:pi...

2020-03-10 23:10:43

Ubuntu18.04 安装及使用Docker(安装常见报错及Docker常用命令)

采用以下安装方式首先要保证Ubuntu服务器能够访问Docker仓库地址:https://download.docker.com/linux/ubuntu如果能够访问,按照下面的操作步骤进行安装1 sudo apt-get update 更新apt索引但是可能会报错No module named ‘apt_pkg’python 版本升级后会出现报错: No module named ...

2020-03-08 15:49:57

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。