- 博客(72)
- 收藏
- 关注
RSS订阅原创 数仓测试要点
1，数仓流程的熟悉和各数据组件（数据存储，数据查询）的熟悉，即基本的使用操作，注意事项等。2，熟悉业务，对原始数据的正确性预检查，对业务、表、字段含义等如数家珍。3，数据ETL（抽取，转换，装载，再次清洗）每一个过程的测试。如脚本（SQL）测试，计算job的功能测试。4，性能测试（大数据量，job的参数设置，集群参数设置，硬件资源配置等，关注“输入-计算-输出”情况）。4，任务管理调度（先后顺序，依赖关系），异常状态（任务中断并恢复（point点，时间点），任务手动/自动重启，任务补
2022-03-09 10:28:11
675
原创 报表（BI）测试要点
报表的作用是将系统已存在的数据根据用户的设置计算加工/整理汇总/最终以清晰的格式展示给用户，以便用户进一步做数据分析和数据统计。1，业务熟悉程度：每个指标的数据计算逻辑规则要清楚（功能测试）2，表中数据正确：原始表中的数据来源和正确性，清洗和计算之后的表中的数据正确（多个原始表--处理后的宽表等）3，准备测试数据：准备测试数据集，保证页面上的各种组合查询的都能覆盖且结果正确（等价类划分和排列组合等测试方法）4，指标计算正确：单项指标数据的计算结果正确；关联指标（明细-合计；日-月；
2022-02-24 14:05:12
386
原创 数据质量测试要点
数据质量六要素。一、完整性：数据的整条记录否完整，统计整体的数据条数，衍生出统计各业务每日的数据增量，计算数据量的同比环比情况，以及预测数据量的未来趋势; 数据组成字段是否完整，统计数据中某个字段的缺失和空值情况，空值数量的占比情况。二、规范性：数据是统一规范的，主要在写入的时候进行保证。字段格式规范，同一张表同一列的字段取值类型是否一致，比如6.0和6 ，可能是double和int类型。（注意不同存储产品之间的类型映射问题，或者有点会强制自动转类型） 数据取值长度是否超长，数据精度如保.
2021-12-23 17:16:03
1038
转载 MySQL 查询有效小数位数大于两位的数据
1.扩大倍数法（该方法有问题）SQL:select * from CwhereM*100 - floor(cast(M*100 as char)) > 0;floor:取出整数部分，该函数使用时注意原字段精度问题，有时取出的整数因为精度问题而变小，这里将floor函数内的值转化为字符串类型，然后再取整；cast(字段名 as 转换的类型 )：防止精度问题，将字段转化为字符串类型；把字段值扩大100倍，floor函数取出其整数，若该字段小数位数大于2两位，相减的结果大于0..
2021-12-22 14:49:38
877
1
原创 Linux虚拟机防火墙开放端口号3306
1、查看防火墙systemctl status firewalld2、查看3306端口状态firewall-cmd --zone=public --query-port=3306/tcp3、如果是no，表示关闭，打开3306端口firewall-cmd --zone=public --add-port=3306/tcp --permanent 4、防火墙重载firewall-cmd --reload5、再次查看3306状态firewall-cmd --zone=
2021-11-26 14:32:58
986
原创 Linux后台运行jar包, 关闭窗口不影响程序执行
1.直接启动jar包，则在控制台上打印日志信息。linux窗口关闭则进程挂掉java -jar test_mysql-0.0.1-SNAPSHOT.jar2.为了在能够一直在后台运行，请参照以下启动命令。nohup java -jar ./test_mysql-0.0.1-SNAPSHOT.jar >weather_log.text 2>&1 &nohup 指在后台运行>weather_log.text 2>&1 & ...
2021-11-18 17:53:41
462
原创 一个jvm工具，阿里巴巴开源的arthas
1.下载：curl -O https://alibaba.github.io/arthas/arthas-boot.jar如果下载速度太慢，可以用gitee上的源curl -O https://arthas.gitee.io/arthas-boot.jar2.启动。执行java -jar arthas-boot.jar 启动；然后下面会列出当前机器上运行的进程，并等待用户输入，比如nifi是第6个进程“[6]: 10363 org.apache.nifi.NiFi”，就输入6再点击回车键，则.
2021-10-19 18:22:31
159
转载 一次使用Eclipse MAT分析java内存溢出
前言在平时开发、测试过程中、甚至是生产环境中，有时会遇到OutOfMemoryError，Java堆溢出了，这表明程序有严重的问题。我们需要找造成OutOfMemoryError原因。一般有两种情况：1、内存泄露，对象已经死了，无法通过垃圾收集器进行自动回收，通过找出泄露的代码位置和原因，才好确定解决方案；2、内存溢出，内存中的对象都还必须存活着，这说明Java堆分配空间不足，检查堆设置大小（-Xmx与-Xms），检查代码是否存在对象生命周期太长、持有状态时间过长的情况。以上是处理Java堆问题的
2021-10-19 14:21:03
262
转载 一次gc异常排查
近期公司公网接口被频发攻击刷垃圾数据，某些不常用接口一晚上被刷了几十万次，此背景下接口项目频繁出现OOM的情况，主要表现如下图：如图所示，每次fgc都无法回收内存，很明显项目代码中有内存泄漏的情况存在，只能重启项目临时救急。随后看近期代码变动记录也未发现明显问题，只得让运维协助导出内存dump来分析具体原因了。分析问题前先明确下内存异常的概念：内存溢出 out of memory，是指程序在申请内存时，没有足够的内存空间供其使用，出现out of memory；内存泄露 memor
2021-10-19 13:42:00
270
转载 NiFI 集群搭建
NiFI 集群介绍 NiFi集群架构 NiFi采用Zero-Master Clustering范例。集群中的每个节点对数据执行相同的任务，但每个节点都在不同的数据集上运行。其中一个节点自动选择（通过Apache ZooKeeper）作为集群协调器。然后，群集中的所有节点都会向此节点发送心跳/状态信息，并且此节点负责断开在一段时间内未报告任何心跳状态的节点。此外，当新节点选择加入群集时，新节点必须首先连接到当前选定的群集协调器，以获取最新流。如果群集协调器确定允许该节点加入（基
2021-09-03 14:40:18
195
原创 nifi 版本升级
本实例是由1.12.1版本升级到1.14.0版本。注意：从1.14.0版本开始nifi.properties文件中的参数nifi.sensitive.props.key必须设置一个值了（不用去专门打开该文件单独设置，可以通过操作步骤4中的命令进行），否则启动的时候会报错找不到这个参数字段。官方文档的升级教程：http://nifi.apache.org/docs/nifi-docs/html/administration-guide.html#upgrading_nifi 的 Insta...
2021-08-31 20:27:52
806
1
转载 linux如何查看端口被哪个进程占用
本文介绍linux如何查看端口被哪个进程占用的方法：1、lsof -i:端口号2、netstat -tunlp|grep 端口号都可以查看指定端口被哪个进程占用的情况【步骤一】lsof -ilsof -i 用以显示符合条件的进程情况，lsof(list open files)是一个列出当前系统打开文件的工具。以root用户来执行lsof -i命令，如下图【步骤二】lsof -i:端口号lsof -i:端口号，用于查看某一端口的占用情况，比如查看22号端口使用情况，lsof -i:
2021-07-08 10:25:06
146
原创 springboot集成swagger
Swagger是一款RESTful接口的文档在线自动生成、功能测试功能框架。一个规范和完整的框架，用于生成、描述、调用和可视化RESTful风格的Web服务，加上swagger-ui，可以有很好的呈现。 当我们在后台的接口修改了后，swagger可以实现自动的更新，而不需要人为的维护这个接口进行测试。1，配置pom.xml引入jar包 <!-- swagger --> <dependency> <gr..
2021-06-23 17:38:09
68
1
原创 使用jstack命令查看CPU高占用的问题记录
使用jstack命令查看CPU高占用的问题记录操作步骤：1、执行：top查看进程，如下图中进程pid=7477的占用cpu很高2、执行：top -H -p 7477查看进程下面的各个线程, 7477 是第一步中的进程pid3、执行：jstack 7477|grep -A 10 1d3a查看某个线程的堆栈信息，7477是进程pid，1d3a 是线程pid=7482的转的16进制后的值，注意字母是小写（进制在线转换工具 https://tool.lu/hexconve...
2021-06-17 17:17:20
171
原创 nifi -由http访问改为跳转到https访问
通过官网的配置的nifi的访问地址是http形式的，现在为了安全起见要将其改为https访问。1，确保nifi通过http能够正常访问的。（nifi里面的配置不需要做任何变动）2，安装nginx，安装参考：https://www.runoob.com/linux/nginx-install-setup.html。除了“nginx配置”部分没弄之外其余可以都按照此教程的步骤操作，亲测可用。3，配置nginx（重点）。 3.1，在/conf目录下，找到nginx.conf文件，主要另外新增..
2021-06-01 14:36:00
990
5
原创 Phoenix的执行计划 explain 详情
本文参考官网, 官网关于explain的链接:http://phoenix.apache.org/explainplan.html1. 简介简单来说, 就是通过在SQL前面加上 explain命令, 来查看这个SQL准备要做些什么.命令示意:正常SQL:select a from my_table;查看执行计划SQL:explain select a from my_table;2. 执行计划会告诉我们什么?1. 将要执行的所有HBase查询2. 预估要扫描的...
2021-03-25 16:54:34
361
原创 jmeter提取参数，即第一个接口的出参是第二个接口的入参
示例：将第一个接口/autoapi/canal/instance出参中的runningStatus字段的值，取出来，作为第二个接口/autoapi/canal/config/${id}的入参。一，调试提取参数路径和取值是否正确。如图，“查看结果树”选择“JSON Path Tester”，出参呈现json格式，可以看到runningStatus字段在data目录下。在“JSON Path Expression”输入提取路径“$.data.runningStatus”，点击test，确认提取结果是否正常。
2021-03-04 15:15:52
1909
4
原创 jmeter中文乱码问题
方法一，通常情况在HTTP请求里的Content encoding编码选择utf-8。和“HTTP信息投管理器”里输入utf-8。出参中的中文就能正常显示。方法二，如果方法一不起作用的话，就去电脑的jmeter安装目录下，找到并修改bin目录下的jmeter.properties文件里的配置（sampleresult.default.encoding=utf-8）。然后重启一下jmeter即可。...
2021-03-03 15:57:55
81
1
原创 性能监控插件--PerfMon Metrics Collector
前言： 通常情况下，jmeter是无法查看服务器的一些性能指标的，执行性能测试，服务器的性能指标是我们需要关系的对象。现在jmeter提供了一个性能监控的插件，通过这个插件，我们可以查看服务器的一些性能指标，如：cpu，memory，swap，disks，network，tcp，tail，exec，jmx 等一、 安装jmeter PerfMon Metrics Collector插件，插件的安装就不做赘述了，先安装插件管理工具，然后直接安装插件就可以了。https://jme...
2021-02-20 10:51:19
305
转载 微信发红包测试要点
最近发现测试用例真的还是很重要，所以先总结一下微信红包的测试要点，方便之后查看1、功能测试1）发给单个好友① 正确的金额+无留言+无表情② 错误的金额+无留言+无表情③ 正确的金额+有留言+无表情④ 错误的金额+有留言+无表情⑤ 正确的金额+无留言+有表情⑥ 错误的金额+无留言+有表情⑦ 正确的金额+有留言+有表情⑧ 错误的金额+有留言+有表情其中，金额（0.01-200）可以测试以下数据数字：测试0, 0.009, 0.01，0.011, 01， 199.99, 200, 20
2021-02-02 10:56:46
89
原创 Kafka性能测试要点
配置集群配置3个Node 3个节点； cpu: 40c memory: 256G 带宽: 4GJVM配置-Xmx30G -Xms30G -XX:MaxPermSize=48m -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35关键因素测试Producer测试1 和线程数的关系(threads)测试脚本./bin/kafka-producer..
2020-12-03 11:13:36
426
转载 IDEA debug断点调试
目录一、Debug开篇二、基本用法&快捷键三、变量查看四、计算表达式五、智能步入六、断点条件设置七、多线程调试八、回退断点九、中断DebugDebug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框架的源码。一、Debug开篇 首先看下IDEA中Debug模式下的界面。 如下是在IDEA中启动Debug
2020-12-03 11:01:17
67
转载 HBase调优参数
1. zookeeper.session.timeoutregionserver在zookeeper的会话过期时间，默认是3分钟，如果regionserver 在zookeeper.session.timeout这个配置的时间没有去连zookeeper的话，zookeeper会将该regionserver在zookeeper摘除，该regionserver停止服务，很多情况下该值设置很大，原因是生产环境中regionserver的内存都配置很大，以扩大memstore和cache的大小，提高性能，但是内存
2020-12-03 10:57:48
110
转载 JVM 问题排查
CPU使用率高找出使用率高的进程的pidtop找出使用率高的线程tpidtop -p pid -H查看使用率高的线程当前在干什么jstack -l pid > stack.log// 将线程的tpid转为16进制，到stack.log中查找grep tpid stack.log -a3GC问题// -t：打印时间戳，1s每隔1秒打印一次jstat -gcutil -t pid 1s也可以通过查看gc日志来观察问题内存泄漏执行FullGC后不能
2020-12-03 10:54:23
80
原创 Linux查看或删除或者修改机器上的账号
1、切换root账号登录2、查看已有的账号，如下图中有root，bin等账号存储帐号的文件：/etc/passwd存储密码的文件：/etc/shadow3、使用userdel -r 命令删除账号，如下删除yangxu02的账号4、可再次用cat /etc/passwd 查看账号是否删除成功...
2020-12-03 10:42:33
298
转载 charles使用(安装、mock、限速、断点功能)
charles使用(安装、mock、限速、断点功能)Charles使用场景：我们在进行B/S架构的Web项目开发时，在前端页面与后台交互的调试的时候，通常使用在JSP中加入“debugger;”断点，然后使用浏览器的F12开发者工具来查看可能出错的地方的数据。或者使用HttpWatch来抓包分析。在开发移动端项目没有网页的情况下，就不能通过这种方式抓取数据进行分析了。这时可以使用Charles满足以上要求。Charles是一款Http代理服务器和Http监视器，当移动端在无线网连接中按要求设置好
2020-12-03 10:33:05
151
转载 Jacoco覆盖率报告解读
Jacoco报告Instructions: Java 字节指令的覆盖率。执行的最小单位，和代码的格式无关。 Branches: 分支覆盖率。注意，异常处理不算做分支。 Cxty(Cyclomatic Complexity): 圈复杂度, Jacoco 会为每一个非抽象方法计算圈复杂度，并为类，包以及组（groups）计算复杂度。圈复杂度简单的说就是为了覆盖所有路径，所需要执行单元测试数量，圈复杂度大说明程序代码可能质量低且难于测试和维护。 Lines: 行覆盖率，只要本行有一条指令被执行.
2020-12-03 10:04:21
2409
1
原创 Linux机器上安装jdk
1.去http://www.Oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html中下载JDK的安装文件jdk-8u60-linux-x64.tar.gz。2.新建/usr/java文件夹，将jdk-8u60-linux-x64.tar.gz放到该文件夹下，并切换到/usr/java目录下。3.执行命令tar zxvf jdk-8u60-linux-x64.tar.gz进行解压缩，解压后/usr/java目录下
2020-12-02 14:22:28
71
转载 opentsdb处理tagv指标数不够用的问题
1：简单介绍 opentsdb一个指标是有metrics、tagk、tagv 3部门组成的，在hbase tsdb-uid表里面存放，opentsdb metrics、tagk、tagv是自增型增长，在hbase表里面有个rowkey是“\x00”，里面记录了metrics、tagk、tagv的个数，每当新增一个tagv时，rowkey为"\x00"，“id:tagv”的value就会增加1，一般opentsdb的tagv设置的是3个bytes，也就是tagv可以有2的24个，但是，当tagv的只越..
2020-12-02 14:08:59
442
原创 一台Linux机器上配置两个tomcat
首先就需要在 Linux 的服务器上先安装两个 Tomcat ，现在是先部署两个 Tomcat ，这里简单记录一下：1.在 /usr/local/tomcat 下部署两个Tomcattomcat的文件夹重命名为：第一个tomcat的包名：apache-tomcat-8.5.32第二个tomcat的包名：apache-tomcat-22.修改 linux 的profile文件，文件路径 /etc.在profile 中增加以下内容： JAVA_HOME=/usr/l..
2020-12-02 13:51:59
204
转载 jmeter三种阶梯式加压（逐渐加压）
一.前言在做性能测试的时候，在某些场景下需要逐渐加压，这里就和大家分享下jmeter逐渐加压的方法！二.三种逐渐加压方式备注：普通的压测方式，并发的Samples是可预知的；而阶梯压测是未知的。1.Stepping Thread Group比较老，适用于复杂场景线程组（单线程组），官网推荐用Ultimate Thread Group代替。下载工具（JMeterPlugins-Standard.jar）使用方法：将JMeterPlugins-Standard.jar包放在jmeter安装目录的
2020-12-02 10:24:21
7015
1
转载 Kafka Tool
1、下载下载地址：http://www.kafkatool.com/download.html2、安装根据不同的系统下载对应的版本，我这里kafka版本是1.1.0，下载kafka tool 2.0.1。双击下载完成的exe图标，傻瓜式完成安装。3、简单使用kafka环境搭建请参考：CentOS7.5搭建Kafka2.11-1.1.0集群1）连接kafka打开kafka tool安装目录，点击exe文件提示设置kafka集群连接点击确定，设置.
2020-12-01 14:14:26
131
转载 Code Review
在Google，任何产品、任何项目的代码，在没有经过有效的代码审查（Code Review）前是不能提交到代码库里的，这也是Google程序如此优秀的最重要原因之一。恩，这就是所谓别人家的公司，不过，Code Review的重要性，可见一斑。说起Code Review，通常会被认为是开发GG的事情，其实不然，作为测试人员，尤其是“测试左移”越来越成为趋势的情况下，势必要提高代码能力，而Code Review就是一个很好的切入点。不仅可以学习开发GG的技术，还可以完善测分、提前发现bug、降低质量风险和测试成
2020-12-01 10:28:30
67
转载 Zookeeper集群搭建
转载：http://jkzhao.github.io/2017/05/26/Zookeeper%E4%BB%8B%E7%BB%8D%E5%8F%8A%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/#moreZookeeper介绍是一个针对大型分布式系统的可靠协调系统； 提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 目标就是封装好复杂易出错的关键职务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； Zookeeper已经成为Hadoop生态系统中的
2020-11-17 16:51:14
72
转载 storm集群搭建
参考链接：Zookeeperhttp://jkzhao.github.io/2017/05/26/Zookeeper%E4%BB%8B%E7%BB%8D%E5%8F%8A%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2/#morestormhttps://www.cnblogs.com/zhaojiankai/p/7257617.html
2020-11-16 15:55:31
79
原创 storm报错Could not find leader nimbus from seed hosts [localhost]的一种解决办法。
在zookeeper中，删除storm目录先关闭zk步骤一：去zk的bin目录下面执行：./bin/zkCli.sh步骤二：进入命令模式，执行：ls /步骤三：执行删除storm目录命令：rmr /storm再启动zk
2020-11-16 14:42:38
388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人