• 等级
  • 165015 访问
  • 208 原创
  • 0 转发
  • 12654 排名
  • 40 评论
  • 22 获赞

使用groovy脚本使gradle灵活加载本地jar包的两种方式

本人在使用Jenkins做测试项目的可持续集成过程中,构建工具用的gradle,但由于一些jar包是并私有仓库给用,暂时没有搭建计划。这就导致了我构建项目的时候需要的jar的地址往往是不一样的,而且服务器和本地的版本可能也有所差别,经常其他同学提交代码时候把build.gradle文件一并提交了,倒是仓库文件比较乱。为了解决这个问题,看了一些资料再研究了一点点gradle的使用后总结了两种方法。 ...

2018-09-30 15:55:26

python用递归筛选法求N以内的孪生质数(孪生素数)--附冒泡排序和插入排序练习

本人最近读完一本书《质数的孤独》,里面讲到孪生质数,就想查一下孪生质数的分布情况。其中主要用到了计算质数(素数)的方法,搜了一下,排名前几的都是用for循环来做的,感觉略微麻烦了一些,在比较一些还是觉得用递归筛选法来解决这个问题。 新建List,然后从第0位开始,如果后面的能被这个数整除,则从数组中移除改元素,以此类推,最后留下的就是质数(素数)。 python版本与java版本不同,java...

2018-09-26 17:17:39

java用递归筛选法求N以内的孪生质数(孪生素数)--附冒泡排序和插入排序练习

本人最近读完一本书《质数的孤独》,里面讲到孪生质数,就想查一下孪生质数的分布情况。其中主要用到了计算质数(素数)的方法,搜了一下,排名前几的都是用for循环来做的,感觉略微麻烦了一些,在比较一些还是觉得用递归筛选法来解决这个问题。 新建List<Integer>,然后从第0位开始,如果后面的能被这个数整除,则从数组中移除改元素,以此类推,最后留下的就是质数(素数)。代码如下: s...

2018-09-26 15:38:58

python使用plotly批量生成图表

本人在使用groovy爬取了全国3000+城市的历史天气之后,需要把每个城市的历史天气都绘制一张Time Series表格,用来反映各地的最高温最低温温差的变化曲线。这里遇到了一个问题,每次plotly绘制完图标总会调起系统浏览器打开呈现,一旦我批量生成N多张表格时,电脑就会卡死了。在使用中文作为文件名的时候遇到了一个错误,这个错误刚好能巧妙解决这个问题。在不同编码格式的字符拼接时文件路径时,会报...

2018-09-13 14:36:09

groovy爬虫实例——历史上的今天

最近做了一个历史上今天的爬虫程序,跟历史天气数据源一致,数据量比较小,几十秒就爬完了。中间遇到一些问题,一起分享出来供大家参考。本项目源码和相关数据已经上传到了github,有兴趣的朋友可以去看看,会不定期更新。 github传送门 弄了一个查看地址:有兴趣可以点击一下 1.get请求发送sql语句不能过长:我是做爬虫里面把sql拼好,发送到数据库存储服务上,之前一直用的get请求,由于这次...

2018-09-11 09:48:17

groovy数组长度支持最大数字限制255

我在做爬虫的过程中用到了全国各地的地区和对应的编码列表,由于数据源是直接写在文件中,我思路是直接拷贝编码新建一个list,然后进行遍历,一共3000+个编码。当我新建了一个数组存放这些编码时,编译过程中报了一个错。 Error:Groovyc: While compiling spider_groovy_main: java.lang.IllegalArgumentException: The...

2018-09-05 09:56:06

groovy爬虫爬取720万条城市历史天气数据

2018年09月07日更新: 内容爬虫完毕,校验完毕,缺失信息暂未统计。总数据720万,地区3200个,年份从2011-2018,大小950Mb,有需要的可以联系我,数据每个月更新一次。中间遇到了很多坑,有机会我再写一遍博客专门讲讲大量数据爬虫遇到的坑。 ---------------------------------------分割线------------------------...

2018-09-04 17:43:26

基于java的直线型接口测试框架初探

2018年09月26日更新:支持批量header设置,支持json格式数据传参 package com.fantest.httpclient; import net.sf.json.JSONObject; import org.apache.http.Header; import org.apache.http.client.methods.HttpRequestBase; import ...

2018-08-31 11:50:55

httpclient爬虫爬取汉字拼音等信息(关键信息未隐去)

下面是使用httpclient爬虫爬取某个网站的汉字相关信息的实践代码,中间遇到了一些字符格式的问题。之前被同事见过用html解析类来抓取页面信息,而不是像我现在用正则,经常尝试,效果并不好,毕竟页面放爬虫还是非常好做的。在本次实践中,就遇到了相关的难点,所以还是才去了正则提取的方式。分享代码,供大家参考。关键信息并未隐去。 public static void main(String[] a...

2018-08-27 16:16:34

httpclient爬虫爬取电影信息和下载地址实例(编码格式转化)

2018年08月22日更新 本次更新主要解决了老旧页面下载链接可能是迅雷和ftp格式的,还有就是去重,因为每一页有一个推荐列表,里面也会有相应的详情链接,还有兼容了另外的页面格式,更新了两个方法: public static void spider(int pa) { List<String> page = getPage(pa); String[...

2018-08-21 11:55:03

python plotly制作接口响应耗时的时间序列表(Time Series )

本人在做工作中,要对某一个接口的响应耗时进行一个长期的统计,由于之前的数据全都写在了数据库中,统计了半年多的数据。在学习了plotly的Time Series 时间序列图标之后,绘制了一张接口响应耗时的图标,分享代码,供大家参考。 下面是从数据库读取数据的java代码: JSONObject data = new JSONObject(); ResultSet result...

2018-08-16 14:01:30

使用spring boot实现数据库存储服务化

2018年09月06日更新: 修复bug,8.22中代码已更新 -------------------------分割线------------------------- 2018年08月22日更新: 更新内容:添加通用的数据库存储类,添加了根据等待任务数动态创建辅助线程的功能。 两个类代码如下: package com.fission.source.mysql; import c...

2018-08-14 13:22:05

接口爬虫之网页表单数据提取

本人最近接到一项任务,要爬一项数据,这个数据在某个网页的表格里面,数据量几百。打开调试模式发现接口返回的就是一个html页面,只要当做string处理。(解析html文件用xpath爬虫有些麻烦)方案采用了正则匹配所有的单元行,然后提取单元格内容,这里面遇到了一些其他问题: 1、本来采用直接提取内容,发现内容涉及各国语言文字,有点坑,不搞了。 2、截取完单元行之后,发现两个字段内容之间有空格,...

2018-08-10 09:46:45

接口自动化通用验证类

2018年08月22日更新: 更新内容:增加了字段值是Boolean值的验证,修复了重复节点的验证bug。 /** * 通用验证方法封装 */ public class Verify extends SourceCode { private JSONObject verifyJson; private int code; private List<Strin...

2018-08-01 09:31:59

测试之《代码不朽》脑图

上周读完《代码不朽》这本书,深受启发,在运用到自己的测试框架里面之后,也是效果明显。上周除了把冗长的方法解耦,功能解耦以外还做了一些功能优化,比如数据库存储功能的改变,有原来的串行存储变成了并行存储,使用到了LinkedBlockingDeque消息队列,思路是把所有的存储sql放到队列,然后另起多线程写入数据库,功能已完成,正在测试,下次分享。 下面是《代码不朽》的脑图,非常推荐这本书。 ...

2018-07-24 09:47:11

将swagger文档自动变成测试代码

2018年08月15日更新,本次修复一个bug,在post请求,query和dataform参数同时存在时,导致新建dataform参数json对象名称错误的bug。 /** * 拼接json参数 * * @param i 0:get请求;1:post请求 */ private void spliceArgs(int i) { S...

2018-07-12 10:54:40

接口测试框架脑图(持续更新)

2018年09月19日更新:码云邀请传送门 2018年08月30日更新: 更新内容:解耦了系统初始化类和转码解码类 2018年08月22日更新: 更新内容:添加通用的数据库存储类,添加了根据等待任务数动态创建辅助线程的功能。 -----------------------------------分割线------------------------------------- 2...

2018-07-09 13:13:14

测试之JVM脑图

本人前段时间做了一些性能测试的工作,在过程中学习了java JVM的一些命令,今天总结之后画了一个脑图,分享供大家参考。不定期更新……这个图是用xmind作的,有需要原文件的可以加群联系:群号:340964272...

2018-06-25 13:34:52

如何对json对象里10000个数据排序新解

本人在做遍历测试的时候,收集到了2万多条数据,数据格式是id-name的形式,我用一个json对象存放的,但是有个问题,存放的时候并不是按照id的顺序,所以想按照id排序,然后再写入文件。看了网上一些帖子,思路很像,就是先把json对象的keys提取到一个list中,然后再按照一定的规则排序,然后按照排好的list数据从json里面提取出来,在放到一个json对象里面。经过尝试我想到了一个针对我的...

2018-06-22 13:35:39

测试之HTTP协议脑图

本人在接口测试过程中,遇到了一下HTTP基础知识的问题,然后找了一本图解HTTP的书来看,感觉收货颇多,强烈推荐。本着传播知识共同进步的精神,自己写了一个脑图,分享出来供大家参考。(会有持续更新)不知道怎么上传xmind文件和电子书。有兴趣的童鞋可以加群交流:群号:340964272...

2018-06-14 12:02:20

点点横点尘

天地虽不容我,心安即是归处。
关注
  • 互联网·电子商务/测试
  • 中国 北京 海淀区
奖章
  • 持之以恒