- 博客(55)
- 收藏
- 关注
RSS订阅原创 爬虫 js逆向，调用js 第三方库报错：execjs._exceptions.ProgramError: ReferenceError: crypto-js is not defined
没学过js，刚刚学习爬虫接触 js逆向，觉得很是复杂，又要懂一点js代码，然后写成 python 处理处理，觉得很麻烦，其实就是懒，上网一找，python 有个CryptoJS 的 三方库，只要把 js 代码稍微修改一下，就可以直接调用，很是方便。然后把JS 解密的部分全部复制进去，运行-------当 JS 代码需要调用 js的模块的时候，会报错，比如：发现报错execjs._exceptions.ProgramError: ReferenceError: crypto-js is not d...
2021-05-07 16:10:45
10399
4
原创 数据解析概述----bs4解析入门（爬取北京新发地市场价格信息）
1、安装 ---pip install bs42、bs4 API：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id14例子：# *-* coding:utf-8 *-*'''爬取北京新发地市场价格信息：1、拿到页面源代码2、使用bs4解析，拿到数据'''import requestsimport re,osfrom bs4 import BeautifulSoupurl = 'http://www.xinfadi..
2021-04-30 18:13:01
593
1
原创 爬取豆瓣电影排行榜top 250
# *-* coding:utf-8 *-*import requestsimport re,os#爬取豆瓣250def douban_ranking(start): #构建请求 param = {"start": start, "filter":"" } respon = requests.get(url,headers=headers,params=param) page_content = respon.text respon.close() #...
2021-04-22 17:03:06
835
原创 Web 请求过程剖析笔记
1、服务器渲染：在服务器那边直接把数据和HTML整在一起，统一返回给浏览器,在页面源代码中看得到数据2、客户端渲染：第一次请求只要一个 HTML 骨架，第二次请求拿到数据，进行数据显示，在页面源代码中看不到数据...
2021-04-17 16:55:26
74
原创 WEB前端基础
一、W3C标准 W3C：万维网联盟，W3C 标准不是某一个标准，而是一系列标准的集合。网页主要由三部分组成：结构、表现和行为。对应的标准也分三个方面：结构化标准语言（主要包括 XHTML和XML），表现标准语言（CSS），行为标准主要包括：对象模型（W3C DOM）、ECMscript等。1、HTML HTML 不是编程语言，是一种表示网页信息的符号标记语言。标记语言是一套标记，HTML 使用标记来描述网页，WEB 浏览器 的作用是读取 HTML 文档，并以网页的形式显示它们。浏览器不会...
2021-03-12 17:55:22
194
原创 进程和线程
在爬虫开发中，进程和线程的概念是非常重要的。提高爬虫的工作效率，打造分布式爬虫，都离不开进程和线程的身影。一、多进程Python 实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用 multiprocessing 模块。这两种方法的区别在于前者仅适用于 Unix/Linux 操作系统，对 Window 不支持，后者则是跨平台的实现方式。1、使用 os 模块中的 fork 方式实现多进程 Python 的 os 模块封装了常见的系统调用，其中就...
2021-03-05 18:10:16
164
1
原创 python 序列化操作
对象的序列化在很多高级编程语言中都有相应的实现，Python 也不例外。程序运行时，所有的变量都是在内存中，例如在程序中声明一个 dict 对象，里面存储着爬取的页面的链接、页面的标题、页面的摘要等信息。 d = dict(url='index.html',title='首页',content='首页') 在程序运行的过程中爬...
2021-02-21 16:07:37
230
2
原创 atx-uiautomator2工作问题总结
1.点击 dump Hierarchy 一直跳出 python -mweditor 一开始遇到这个问题，尝试过删除谷歌浏览重新安装，卸载 uiautomator2和weditor重新安装，还是没有解决问题，然后手机 恢复出厂，卸载ATX apk等还是没有解决，上网搜索了一整天，testerhome主题帖有人问过，作者也没有回复，一度陷入绝望，后来一次不小心，把手机重新刷机，然后问题突然解决了，整个人都懵逼了。然后过了大概半个月，又出现了这个问题，然后想了一下，它提示的是本地服务没...
2020-09-19 18:34:23
902
原创 Monkey测试命令笔记
一、Monkey命令格式： adb shell monkey (+命令参数) 次数 adb shell monkey -help/-h 例子：adb shell monkey -p 包名 --ignore-crashes --ignore-timeouts --throttle 400 -v -s 3500 100000 >D:\monkey_log.txt -v:指定日志等级 -p：后接包名 -s：用于指定伪随机数生成器的...
2020-05-24 18:43:10
2607
原创 APP内存测试
一、了解内存泄漏概念 内存泄漏（Memory leak）： 程序在向系统申请分配内存空间后（new），在使用完毕后未释放。结果导致一直占据该内存单元，我们和程序都无法在使用该内存单元，直到程序结束，这是内存泄漏。 内存溢出（out of memory）： 程序向系统申请的内存空间超出了系统能给的，比如一车最多能坐5个人，你却非要塞下10个，车就挤爆了。 注意：大量的内存泄漏会导致内存溢出，因为内存出现泄漏，则内存得...
2020-05-23 17:12:22
2019
2
原创 APP弱网测试学习笔记
一、APP弱网测试使用场景 1、弱网测试背景： 在移动互联网时代，用户会在各种网络状况下使用我们的APP。他们使用3G/4G网络，甚至还在用2G，现在的人们更习惯在上下班的路上去关注一下新闻，看看股市，小说，直播，玩游戏等等。 那么就会面临一个问题，在地铁里，巴士里，甚至是电梯，车库等等的场景里。在这个时候，我们就需要针对这些场景，去关注一下软件的运行状态。以及弱网环境下，出现丢包，延时软件的处理机制，避免造成用户的流失。 ...
2020-05-23 13:15:58
341
原创 logcat日志分析
一、简介： 1、Android日志系统提供了记录和查看系统调试信息的功能，日志都是从各种软件和一些系统的缓冲区中记录下来的，缓冲区可以通过logcat命令来查看和使用。 2、logca 日志开头： 1....... beginning of xxx 3、开发者选项，有一个选项叫做“日志记录器缓冲区大小”，默认是256K，日志是循环写入环形缓冲区的，在通常情况下，写满时最旧的日志会被删...
2020-05-22 16:54:02
4522
原创 mysql事务介绍
mysql中，事务其实是一个最小的不可分割的工作单元，事务能够保证一个业务的完整性比如：我们的银行转账： a -> -100 update user set money=money-100 where name='a'; b -> +100 update user set money=money+100 where name='b'; ---实际的程序中，如果只有一条语句成功了，而另外一条没有执行成功？---出现数据前后不一致---多条...
2020-05-22 01:30:34
146
原创 MYSQL的四种连接查询学习笔记
内连接 inner join 或者 join 外连接 1、左连接 left join 或者 left outer join 2、右连接 right join 或者 right outer join 3、完成外连接 full join 或者 full outer join 环境准备 创建card和person表：（没有创建外键） mysql> create table card( ...
2020-05-13 23:14:27
246
原创 fiddler 自学笔记
1、局部断点bpu login 注释：对请求的URL有login的进行断点，发送前bpafter login 注释：对响应的URP中，若有login，则断点
2020-05-05 01:26:18
460
原创 mysql查询练习（三）
31、查询成绩比该课程平均成绩低的同学的成绩表 mysql> select * from score a where degree < (select avg(degree) from score b where a.cno= b.cno); +-----+-------+--------+ | sno | cno | degree |...
2020-04-13 19:47:17
2358
原创 mysql查询练习（二）
11、查询每门课的平均成绩 查询3-105课程的平均分： mysql> select avg(degree) from score where cno='3-105'; +-------------+ | avg(degree) | +-------------+ | 81.7500 | ...
2020-04-04 16:59:29
2929
原创 第一章、性能测试原理 （一、性能测试方法与流程）学习笔记
1、性能测试核心知识点 1.1、正确了解性能测试 性能测试： 属于软件测试范畴，旨在测试处于特定环境和配置下的系统在一定量的负荷下，系统的响应时间、吞吐量、成功率、稳定性、可恢复性等特性是否满足特定干系人需求的能力。 不符合需求情况下： 结合系统的业务模型、环境配置...
2020-04-01 18:56:35
1861
转载 Android APP性能及专项测试（学习笔记）
1. 性能测试 Android性能测试分为两类： 1、一类为rom版本（系统）的性能测试 2、一类为应用app的性能测试 Android的app性能测试包括的测试项比如： 1、资源消耗 2、内存泄露 3、电量功耗 4、耗时 5、网络流量消耗 6、移动终端相关资源利用率 7、帧率 8、渲染等等.... 工具： （工具的原理都是基于调用android底层...
2020-03-27 18:52:43
425
转载 如何保证APP兼容性覆盖测试和手机APP测试如何进行兼容性测试？（学习笔记）
1.背景众所周知，APP兼容性覆盖测试一直以来被认为是一个高成本、耗时低效、耗人力的测试工作，且兼容性测试是一项必须要进行的测试项目，因为有不同的机型、系统平台、分辨率、网络、厂商、数据兼容以及不同兼容问题场景需要进行覆盖。本文章将通过本人测试经验围绕质量和测试效率进行阐述如何保证APP兼容测试覆盖，期望有更多童鞋在既能保证兼容质量的同时、又能高效地完成兼容性测试覆盖。2.认识APP兼容测...
2020-03-27 18:46:26
5371
1
原创 mysql查询练习（一）
一、条件准备： 新建四个表： 1、学生表：Student mysql> create table student( -> sno varchar(20) primary key, #学生ID -> sname varchar(20) not null, #学生名字 -> ssex varch...
2020-03-26 18:55:25
1214
原创 数据库的三大设计范式
一、第一范式 数据表中的所有字段都是不可分割的原子值 例如： 先创建一个students2表: mysql> create table students2( -> id int primary key, ->...
2020-03-25 12:56:20
81
原创 mysql建表约束.sql
一、主键约束/自增约束 1、主键约束： 它能够唯一确定一张表中的一条记录，也就是我们通过给某个字段添加约束，就可以使得改字段不重复且不为空。 列如： 创建表约束： mysql> create table user1( -> id in...
2020-03-24 18:15:59
321
原创 关系型数据库---mysql
一、如何使用终端操作数据库？ 1、如何登陆数据库服务器 mysql -u root -p 123456 2、如何查询数据库服务器中所有的数据库？ mysql> show databases; +--------------------+ |...
2020-03-21 01:22:18
152
原创 linux系统监控综合与Nmon使用详解
一：Nmon 1、nmon运行在哪里？ nmon运行在你要监控的服务器上面 2、nmon的运行方式？ 直接运行，可以通过窗口直接查看，也可以保存为文件，后续进行查看 3、nmon可以做什么？ 应用在linux系统下面做系统资源监控，CPU，memory，disk，network，综合的系统性能监控工具...
2020-03-17 18:25:06
691
原创 linux 网络监控和性能参数调优
一、netstat 1、netstat：查看各种与网络相关的状态信息，包括：网络的连接、状态、接口的统计信息，路由表、端口的监听情况 2、实例 netstat -a /显示所有连接中的socket netstat -r /显示路由表信息 netstat -l /显示网络接口状态信息...
2020-03-16 23:00:01
185
原创 linux网络管理
一：网络接口 1、在Linux系统中，主机的网络接口卡通常称为网络接口，使用ifconfig命令来查看网络 2、“eth0”是Linux系统中第一块以太网卡的名称 3、“lo”是Linux系统中的“环回”网络接口，“lo”并不代表真正的网络接口，而是一个虚拟的网络接口，其IP地址是“127.0.0.1”，通常用于对本机的网络测试二：网络配置文件 1、/etc/h...
2020-03-16 17:00:02
544
原创 I/O管理及监控命令
一：磁盘原理（简单理解） 1、盘片以每分钟数千转到上万转的速度在高速旋转，15K，10K，7.5K，5.2K，RPM 2、磁头就能对盘片上的指定位置进行数据的读写操作 3、磁头磁化磁盘记录数据 4、从外到里存储；外快内慢 5、以扇区为单位存储 6、破碎文件读取多个扇区，时间长 7、柱面：所有盘面上的同一磁道构成一个圆柱，一个磁道写满数据后，...
2020-03-15 23:02:30
410
原创 内存监控命令
一：内存大小查看 1、free -m （m为单位，MB）【静态查看】 total #总内存 used #已经使用了的 free #空闲的 shared #共享 buffers #缓冲区 cached #缓存区 -/+buffers/cach...
2020-03-14 18:42:23
1658
原创 Linux 内存概率介绍
一：系统设备运行速度对比二：虚拟内存 虚拟内存=物理内存（ram）+swap空间（磁盘） 虚拟内存分配由系统内核完成，对用户程序透明 三：虚拟内存PAGING 虚拟内存的页面大小，在32位，机器上面为4K 将部分物理空间里面的内容换到swap空间中，称为paging 四：swap空间 1、磁盘上的特定空...
2020-03-13 23:03:33
182
原创 Linux 系统优化参考
一：应用程序类型： 1：IO消耗型 -- 对系统memory和IO使用率高 -- 关注CPU等待IO的时间 -- 常见的IO型消耗型系统为：数据库系统，文件服务器系统，视频服务器等 2：CPU消耗型 -- 对CPU使用率高 -- 关注CPU中断和上下文切换 ...
2020-03-13 18:23:35
147
原创 linux CPU性能监控（进阶）和杂谈
线程与进程的区别： 进程：是执行一段程序，即一旦程序被载入到内存中准备执行，它就是一个进程。 线程：单个进程中执行每一个任务就是一个线程 一个线程只属于一个进程，一个进程里可以有多个线程 上下文切换： 在处理器执行期间，运行进程的信息被存储在处理器的寄存器和高速缓存中，执行的进程被加载到寄存器的数据集被称为上下文 在...
2020-03-12 18:00:41
250
原创 monkey脚本---teacher or student
kill monkey.pyimport StringIO import subprocess def main(): output = subprocess.check_output("adb shell ps") buf = StringIO.StringIO(output) for line in buf: ...
2019-09-09 23:26:20
239
原创 六、实用技巧（下）
浏览器获取CSS和XPATH -- chrome 的 copy selector 和 copy xpath我们在选择元素时， 前面学过了两样大利器：用css 和xpath 进行选择打开 百度 https://www.baidu.com/如果我们要选择这个* 分别用 css和xpath#s_kw_wrap &g...
2019-08-26 19:26:32
2025
原创 五、实用技巧（上）
获取当前窗口titledriver.title获取当前窗口地址栏urldriver.current_url窗口内容标题更新时，title和current_url也会随之而更新页面更新时，可以通过查找更新页面的元素来判断页面加载完成，此时获取的title或url为新页面的title或url截屏：截取整个页面：driver.get_scree...
2019-08-26 19:18:27
275
原创 四、Xpath选择器
Xpath选择器用途：不仅可以用来在HTML文档中选择节点,还可以在XML文档中选择节点（手机自动化中会用到）特点语法非常像Linux系统中的路径，所以又叫做路径表达式语法结构绝对路径表示法：从根节点（html）开始，路径分割符是/（斜杠，类似于linux中路径分割符）如：/html/body/div/span表示对应路径下的span元素...
2019-08-26 19:15:50
327
原创 三、-切换frame&css选择器
等待元素出现隐式等待用WebDriver 对象的implicitly_wait方法。 这个方法有一个参数，指明等待最长时间。driver.implicitly_wait(10)显式等待Selenium里面还有一种称之为显式等待的， 可以为一个操作专门指定等待时间from selenium.webdriver.support.ui import WebDri...
2019-08-26 19:12:52
453
原创 笔记2 - 初识Postman工具
这一章，一起学习Postman工具上一章说过 Web 服务接口，现在用的最多的就是 REST API接口了。所以我们主要就是讲解对 REST API 服务接口的测试。现在很多公司的系统虽然号称是REST API, 但是其实并不完全遵循这个规则。这些系统的API其实就是 基于HTTP 的增查改删操作，分别使用了HTTP的POST、GET、UPDATE、DELETE方法的请求。...
2019-08-26 19:07:05
204
原创 笔记1 - Web API 的概念和http协议
接口定义接口是个比较泛义上的概念，主要表示系统对外交互的部分，比如电源插座是电器和电能之间的接口，图形界面是应用软件和用户的接口，医院挂号大厅是医生和病人之间的接口webAPI我们要学习的接口概念缩小到web系统提供的对外消息交互接口，通过发送对应的请求给服务器，服务器会返回相应的结果，因为其调用模式非常像编程语言中的API，所以web消息交互接口又叫webapi。We...
2019-08-24 21:05:36
3310
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人