目录
一、概要
二、不同系统软件性能测试度量指标
三、性能测试度量指标
1、响应时间
2、用户数
3、系统处理能力
4、错误率
5、成功率
6、资源占用率
7、CPU利用率
8、内存页交换速率
9、内存占用率
10、磁盘IO
11、磁盘吞吐量
12、网络吞吐量
13、系统稳定性
14、系统扩展性
15、内核参数
16、中间件指标
17、数据库指标
18、前端指标
一、概要
性能测试度量指标包含系统响应时间、吞吐量、并发用户数、资源利用率、系统错误率等。
软件产品的性能在ISO 25010(或ISO 25000)、GB/T 25000.10产品质量模型中被归类为非功能性质量特性,包括时间特性、资源利用、容量3个子特性。
资料来源:《企业性能测试:体系构建、落地指导与案例解读》 出版时间:2023年5月
二、不同系统软件性能测试度量指标
国家标准《系统与软件工程 软件测试 性能测试方法》提供如下性能测试度量指标。
三、性能测试度量指标
参考GB/T 25000.10-2016中的系统与软件质量模型和GB/T 25000.23中的系统和软件产品质量测量
1、响应时间
一般情况下,对于在线实时交易,可接受的响应时间参考如下。
- 互联网企业:500毫秒以下,例如淘宝业务为10毫秒左右。
- 金融企业:1秒以下为佳,部分复杂业务为3秒以下。
- 保险企业:3秒以下为佳。
- 制造业:5秒以下为佳。
2、用户数
3、系统处理能力
一般行业中的TPS参考标准如下。
- 金融行业:1000~50000TPS,不包括互联网化的活动。
- 保险行业:100~100000TPS,不包括互联网化的活动。
- 制造行业:10~5000TPS。
- 互联网电子商务:10000~1000000TPS。
- 互联网中型网站:1000~50000TPS。
- 互联网小型网站:500~10000TPS。
4、错误率
不同系统对错误率的要求不同,但一般不超出6‰,即成功率不低于99.4%
5、成功率
不同系统对成功率的要求不同,业界中系统成功率一般不低于99.4%
6、资源占用率
资源占用率是测试和分析系统性能瓶颈的主要参考。通常低于20%的使用率表示资源空闲,20%~60%的使用率表示资源使用稳定,60%~80%的使用率表示资源使用饱和,超过80%的资源使用率表示必须尽快进行资源调整和优化。
7、CPU利用率
CPU利用率指用户进程与系统进程占用服务器CPU的百分比,包括用户态(user)、系统态(sys)、等待态(wait)、空闲态(idle)。CPU利用率是判断系统处理能力以及运行是否稳定的重要参数。如果该值持续超过95%,则表明系统瓶颈是CPU,可以考虑增加一个CPU或更换一个更快的CPU。CPU利用率一般可接受的最大上限是85%,合理使用的范围为60%~70%。
8、内存页交换速率
内存页交换是以页面为单位将固定大小的代码和数据块从RAM(随机存储器)移动到磁盘的过程,其目的是释放内存空间。
内存页交换速率可通过性能测试工具的资源监视器获取,也可以通过操作系统自带的一些监测工具获取
9、内存占用率
10、磁盘IO
磁盘是指系统用于存储数据的设备。磁盘IO操作主要包括从存储设备上读取数据以及写入数据到存储设备上这两种操作。存数据的时候对应的是写操作,取数据对应的是读操作。一般使用Disk Time(磁盘用于读写操作所占用的时间百分比)和Disk Rate(磁盘交换率)衡量磁盘的读写性能。
11、磁盘吞吐量
磁盘吞吐量是指在无磁盘故障的情况下单位时间内通过磁盘的数据量。磁盘吞吐量一般使用每秒总字节数来度量,单位为字节/秒。磁盘指标主要有每秒读写多少MB、磁盘繁忙率、磁盘队列数、平均服务时间、平均等待时间、空间利用率等。
12、网络吞吐量
网络吞吐量是指在无网络故障的情况下单位时间内通过网络的数据量,表示发送和接收字节的速率。网络吞吐量的单位一般是字节/秒
13、系统稳定性
系统的稳定性指标通常使用系统的最短稳定时间来表示,即系统在最大容量的80%或标准压力(系统的预期日常压力)下能够稳定运行的最短时间。
一般来说,对于正常工作日(8小时)运行的系统,至少应该保证稳定运行8小时以上。对于7天24小时不间断运行的系统,至少应该够保证稳定运行24小时以上。
14、系统扩展性
系统扩展性指应用软件或操作系统以群集方式部署时,增加的硬件资源与获得的处理能力之间的关系