- 博客(38)
- 收藏
- 关注
RSS订阅原创 Host域名映射
进入C盘后， 定位到 C:\Windows\System32\drivers\etc找到hosts文件，使用notepad++打开在最后一行添加ip及映射的域名
2020-02-19 17:05:08
3815
原创 centos7更换阿里yum源
1.备份本地yum源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo_bak2.获取阿里yum源配置文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 3.更新cache...
2020-02-18 17:33:58
272
原创 Linux目录和命令
Linux目录结构路径绝对路径：由根目录 / 写起，例如： /usr/share/doc相对路径：不是由 / 写起，例如由 /usr/share/doc 要到 /usr/share/man 底下时可以写成： cd …/man 这就是相对路径的写法常用命令身份提示符$ 普通用户的身份提示符# root用户的身份提示符su root 进入root，su命令用于变更使用者身份...
2019-12-13 13:33:44
287
原创 Flume
Flume简介Flume是是Cloudera提供的一个分布式的、高可靠的、高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。2010年11月Cloudera开源了Flu...
2019-12-11 23:15:49
161
原创 Appium-desktop定位元素
id定位点击定位元素按钮，点击左侧app界面中的登录定位元素后，就会出现selected element界面此时，右侧栏中可以看到，有个id,下拉滚动条会发现还有个resource-id。会发现他们两个是一样的。这就是说明，这个id是唯一的，登录按钮被唯一定位到，代码中就可以通过id直接定位find_element_by_id('com.tencent.mobileqq:id/btn_l...
2019-12-10 16:18:48
681
原创 mitmweb端口被占用
我在使用mitmweb时，出现了以下报错：在百度之后，应该是8080端口被占用解决这个问题的方法是：打开CMD，输入：netstat -ano |findstr 8081，可以查看端口被那个应用占用查看到对应的进程id之后，就可以通过id查找对应的进程名称tasklist |findstr 10940通过命令杀掉进程，或者是直接根据进程的名称杀掉所有的进程taskkill ...
2019-12-09 20:54:55
1116
原创 mitmproxy的安装和配置
安装使用pip安装pip3 install mitmproxy证书配置对于 mitmproxy 来说，如果想要截获 HTTPS 请求，就需要设置证书。mitmproxy 在安装后会提供一套 CA 证书，只要客户端信任了 mitmproxy 提供的证书，就可以通过 mitmproxy 获取 HTTPS 请求的具体内容，否则 mitmproxy 是无法解析 HTTPS 请求的。首先，运行以...
2019-12-09 19:39:36
642
原创 Appium语法
连接配置# coding=utf-8from appium import webdriverimport time# 连接配置# 必须desired_caps = { # 系统类型 Android|IOS 'platformName': 'Android', # 设备名称 备注：如果您使用的模拟器，就是模拟器中虚拟机的名称(必须) 'deviceName': '127.0....
2019-12-04 22:18:58
581
原创 Fidder+夜神模拟器+Appium
https抓包设置打开Fiddler ------> Options .然后打开的对话框中，选择HTTPS tab页，如图所示：选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求Ignore server certificate errors忽略证书错误配置完成，重启Fiddler配置Fiddler允许远程连接选中"Allow re...
2019-12-04 12:40:38
547
1
原创 Airtest与模拟器连接
如果我们手边没有可用的Android真机，又想进行Android应用自动化测试，这时候就要使用AirtestIDE的Android模拟器自动化测试功能了。AirtestIDE所支持的模拟器包括 Android Virtual Device(AVD) 和市面上常见模拟器(如逍遥模拟器 )。模拟器可以像真机一样连接到AirtestIDE中，如果画面显示为黑屏，请在连接模拟器之前，勾选connect...
2019-12-03 23:02:31
2604
1
原创 Airtest与真机连接
Airtest与真机连接确认ADB是否能够正常连接到手机windows系统下： 用USB线连好手机后，进入AirtestIDE文件夹，在 AirtestIDE_2019-05-09_py3_win64/airtest/core/android/static/adb/windows 目录下按住shift+鼠标右键打开命令行终端，输入 adb.exe devices正常情况下，应该得...
2019-12-03 22:56:43
1815
原创 Airtest安装
AirtestIde的安装（win10）Airtest 是网易出品的一款基于图像识别和poco控件识别的一款UI自动化测试工具。Airtest IDE是这个项目的一个IDE，就像Eclipse、Pycharm一样，是一个集成开发工具。Airtest框架是一个基于OpenCV的图像识别自动化框架，可以用于所有平台。Poco框架是一个类似于Appium的主打游戏自动化框架，支持Unity3D、...
2019-12-03 22:43:06
2847
2
原创 安装Appium
介绍Appium 是移动端的自动化测试工具，类似于前面所说的 Selenium，利用它可以驱动 Android、iOS 等设备完成自动化测试，比如模拟点击、滑动、输入等操作，其官方网站为：http://appium.io/。本节中，我们就来了解一下 Appium 的安装方式。下载相关链接GitHub：https://github.com/appium/appium官方网站：http:/...
2019-12-03 16:30:00
142
原创 Charles的安装配置
Charles的下载和安装Charles 是一个网络抓包工具，相比 Fiddler，其功能更为强大，而且跨平台支持得更好，所以选用它来作为主要的移动端抓包工具。官方网站：https://www.charlesproxy.com下载链接：https://www.charlesproxy.com/download我们可以在官网下载最新的稳定版本，如图所示。可以发现，它支持 Windows、...
2019-12-03 00:13:40
276
原创 jenkins安装和配置
一、安装前准备在安装jenkins之前，需要先安装JDK和TomcatJDK的安装和下载下载地址 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html根据自己的电脑(32位还是64位)选择对应的版本下载。找到下载的文件，运行".exe"文件，开始安装。修改JDK的安装路...
2019-12-02 15:47:36
658
原创 Jenkins
一、jenkins是什么？Jenkins是一个开源的、提供友好操作界面的持续集成(CI)工具，起源于Hudson（Hudson是商用的），主要用于持续、自动的构建/测试软件项目、监控外部任务的运行（这个比较抽象，暂且写上，不做解释）。Jenkins用Java语言编写，可在Tomcat等流行的servlet容器中运行，也可独立运行。通常与版本管理工具(SCM)、构建工具结合使用。常用的版本控制工具...
2019-11-29 23:23:04
114
原创 如何增加scrapy运行效率
增加并发：默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。降低日志级别：在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：LOG_LEVEL = ‘INFO’禁止cookie：...
2019-11-28 19:38:41
242
原创 python日志处理
一、日志概念日志是一种可以追踪某些软件运行时所发生事件的方法。 软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。 一个事件可以用一个可包含可选变量数据的消息来描述。 此外，事件也有重要性的概念，这个重要性也可以被称为严重性级别(level)。Python自身也提供了一个用于记录日志的标准库模块–logging。 logging模块定义的函数和类为应用程序和库的开...
2019-11-28 19:30:22
250
原创 scrapyd部署成功但项目无法运行的问题
问题描述用scrapyd部署爬虫项目，在命令行部署成功但是在浏览器中输入127.0.0.1:6800进入scrapyd可视化界面，然后进入jobs中，发现竟然没有刚才上传的项目进入spiderkeeper进行打包部署，项目一直阻塞，不运行这个问题一直查了两天百度，最后自己去scrapyd运行的命令行，往上翻日志，其中有一条error，说的是缺少pywin32模块，然后就安装了这个模块...
2019-11-28 16:37:40
1355
3
原创 python接入钉钉机器人
因为业务需求，需要使用python脚本接入钉钉，实现每天爬虫运行完毕之后发送消息到钉钉群。首先是添加自定义机器人在钉钉上选择需要发送消息的群，选择群机器人-添加机器人-自定义机器人-添加，如下图：完成必要的安全设置（至少选择一种）完成安全设置后，复制出机器人的Webhook地址，可用于向这个群发送消息python脚本import jsonimport requests de...
2019-11-27 23:46:52
1992
1
原创 csv文件处理
什么是csvCSV，全称为Comma-Separated Values，中文可以叫做逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或者制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比Excel文件更为简洁，XLS文本...
2019-11-27 22:23:07
219
原创 Scrapy-deploy命令windows无法识别的问题解决方案
在使用pip成功安装scrapyd、scrapyd-client、spider-keeper后出现scrapyd-deploy不是内部或外部命令这个问题在百度查找解决方案，普遍都是使用一个bat文件对路径进行映射，让windows能正常启动该插件。其具体的代码为：@echo off"python.exe的路径" "scrapyd-deploy的路径"%*但是加完映射之后又出现了...
2019-11-27 17:27:31
341
原创 selenium的使用
介绍Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说，此种抓取方式非常有效。基本使用from selenium import webdriverdriver = webdriver.Chrome()driver.get('http...
2019-11-27 16:34:13
207
原创 ChromeDriver的安装配置
selenium的安装selenium是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些 JavaScript 渲染的页面来说，这种抓取方式非常有效。下面我们来看看 Selenium 的安装过程。官方文档：http://selenium-python.readthedocs.io中文文档：http://selenium-python-zh.readt...
2019-11-27 14:51:03
470
原创 SpiderKeeper
scrapy、scrapyd、spiderkeeper之间的关系之前有一篇文章是讲解scrapyd的使用，但是scrapyd是纯命令行操作，显然很麻烦，现介绍一个开源免费使用的可视化系统。环境准备pip install scrapypip install scrapydpip install scrapyd-clientpip install spiderkeeper首先在终端...
2019-11-22 23:38:40
293
原创 Scrapyd-Client
scrapyd-clientscrapyd通过HTTP接口控制任务的运行，但是部署过程有一点不方便，需要先打包Egg文件然后上传，这样比较繁琐。使用scrapy-client来完成部署过程，就十分的方便。Scrapyd-Client 为了方便 Scrapy 项目的部署，提供两个功能：将项目打包成 Egg 文件。将打包生成的 Egg 文件通过 addversion.json 接口部署到...
2019-11-22 22:32:40
443
原创 Scrapyd
1. 什么是ScrapydScrapyd 是一个运行 Scrapy 爬虫的服务程序，它提供一系列 HTTP 接口来帮助我们部署、启动、停止、删除爬虫程序。Scrapyd 支持版本管理，同时还可以管理多个爬虫任务，利用它我们可以非常方便地完成 Scrapy 爬虫项目的部署任务调度。2. 安装Scrapyd可以在pycharm的setting下载也可以直接在命令行pip install scr...
2019-11-22 22:17:47
468
原创 Fiddler的使用
Fiddler主界面工具栏给会话添加备注信息重新加载当前会话删除会话选项放行，和断点对应，后面详细讲解响应模式。也即是，当Fiddler拿到远程的response后是缓存起来一次响应给客户端还是以stream的方式直接响应。解码。有些请求是被编码的，点击这个按钮后可以根据响应的编码格式自动解码。查找会话。保存会话。截屏。截屏后，会以会话的方式返回一个截图。会话列表...
2019-11-22 17:02:35
254
原创 Fiddler安装及配置
安装下载地址：https://www.telerik.com/download/fiddler下载完双击安装包，正常傻瓜式安装，安装完毕后，不用先打开fiddler下载并安装fiddler证书生成器http://www.telerik.com/docs/default-source/fiddler/addons/fiddlercertmaker.exe?sfvrsn=2下载后双击安装...
2019-11-22 15:56:45
480
原创 redis与python交互
安装包python操作redis需要安装redis包pip install redis连接方式严格连接模式：r=redis.StrictRedis(host="",port=)更Python化的连接模式：r=redis.Redis(host="",port=)StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令Redis与StrictRedis的区别是：Redi...
2019-11-21 23:40:25
81
原创 Redis基础
Redis简介redis是Nosql数据库中使用较为广泛的非关系型内存数据库redis内部是一个key-value存储系统redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。redis支持数据的备份，即master-slave模...
2019-11-21 23:10:24
87
原创 Redis安装
redis安装Redis官网只提供了Linux版，MicroSoft自己搞了个Windows版，可在GitHub下载：https://github.com/microsoftarchive/redis/releases这种方式会把Redis作为Windows服务安装，默认Windows运行时自动开启Redis服务。说明：由于勾选了添加环境变量，所以可在命令提示符下直接运行Redis命...
2019-11-21 21:31:09
113
原创 Scrapy Shell
为什么要使用 scrapy shell？Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。但是对于一个较大的 Scrapy 项目去测试正则的结果是否正确，就过于麻烦了，这时候，我们要使用 scrapy shell 去调试，测试成功后，在拷贝到我们的项目中就可以了。启动...
2019-11-21 17:36:25
132
原创 4.标签管理
创建标签首先要切换到需要打标签的分支上git checkout dev然后使用命令打标签git tag v1.0查看标签查看所有标签git tag默认标签是打在最新提交的commit上的。有时候，如果之前忘了打标签使用git log --pretty=oneline --abbrev-commit命令，找到历史提交的commit id，然后打上就可以了：git tag v...
2019-11-21 16:35:22
90
原创 3 .分支管理
一、创建与合并分支创建分支 git branch dev切换分支 git checkout dev查看当前分支 git branch切换至master之后合并分支 git merge dev删除分支 git branch -d dev二、合并冲突合并冲突场景假如说我们目前我们有两个分支master和slave，目前两个分支的内容是一样的。slave分支修改了readme.txt...
2019-11-21 14:40:24
233
原创 2.关联GitLab远程库
1.下载安装 Git ，运行 Git Bash ，进行安装后的最后一步设置（注意双引号里的都是自己设置的）：$ git config --global user.name "Your Name"$ git config --global user.email "[email protected]"2.配置自己的SSH公钥打开本地，使用如下命令生成ssh公钥和私钥对ssh-keygen...
2019-11-20 21:45:10
748
原创 1.Git基本命令
一、Git基本命令git init 初始化git仓库git clone 从Git仓库中拷贝git add 将工作目录下的文件添加到缓存区git commit 将缓存区内容添加到仓库中git config 配置相关信息git log 查看提交日志git status 查看文件是否被修改过git diff 查看文件被修改的内容git pull 从远程获取最新版本到本地，并且自动me...
2019-11-20 19:27:52
169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人