钢铁行业高级计划排程系统(APS)规范-测试方法(测试指标)







1.1 测试指标

 

1.1.1 适用性指标

 

1.1.1.1 完备性测试

 

完备性测试指标描述见表 2。

 

2 完备性测试指标

 

测试指标

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试

输入


 

 

 

 

 

功能实现的完整度

 

 

 

按照服务协 议,功能实现的完整程度

 

按照服务协议对服务做功能性的测试。对实际实现的功能数进行计数,将其与服务协议中约定的功能数相比较

X=A/B 中: X—功

能实现的完整度; A实际实现的功能数; B

—服务协议中约定功能

 

 

 

 

0≤X≤1 X 越接近 1

越好

 

 

 

服务协议测试报告

1.1.1.2 正确性测试

 

正确性测试指标描述见表 3。

 

3 正确性测试指标

 

测试指标

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试输

 

 

 

功能的实现程度

 

 

被测试的APS 服务功能实现的正确程度

按照服务协议对服务做功能性的测 试。对测试确认充分的功能数进行计数, 将其与服务协议中约定的功能数

相比较

X=A/B 式中: A—测试确认充分功能数; B—服务协议中约定功能 数

 

 

0≤X≤1

X 越接近 1 越

 

 

服务协议测试报告

1.1.1.3 适当性

 

适当性测试指标描述见表 4。

 

4 适当性测试指标

 

测试指

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试输

 

 

 

功能实现的适当性

 

 

 

服务功能满足客户需要的程度

按照服务协议对服务做可用性测试。对服务实际满足的客户需求进行计数,将其与服务协议中约定的客户需求数相比较

X=A/B

式 中 : A——实际实现客户需求 数 ; B——服务协议中约定

客户需求数

 

 

 

0≤X≤1 X 越接近 1

越好

 

 

服务协

测试报

1.1.2 安全性指标

 

1.1.2.1 完整性测试

 

完整性测试指标描述见表 5。

 

5 完整性测试指标

 

测试指标

测试目的

应用的方法

公式及测试元素

测试值

测试输入


 

 

 

 

计算

解释

 

 

 

 

 

系统及资源的非授权变更比例

 

 

 

服务过程中APS 及资源是否能在正确的授权下进行变更操作

 

 

 

系统及资源的非授权变更数与系统及资源的总变更操作数进行比较

 

 

 

X=A/B 式中

A 系统及资源

的非授权变更数; B—-系统及资源的总变更操作数

 

 

 

 

0≤X≤1 X 越接近1 越好

 

 

 

 

 

服务协议测试报告

 

1.1.2.2 保密性测试

 

保密性测试指标描述见表 6。

 

6 保密性测试指标

 

测试指标

测试目的

应用的方法

公式及测试元索汁算

测试值解释

测试输入

 

 

 

 

 

 

 

保密与权

 

 

 

 

 

测试 APS

服务供方

 

 

 

 

 

 

 

APS 服务供方的保密策略和制度的建立与实施情况进行检查

 

X=A/5,式中,

A 从下列选取相应质量

等级对应值:1:既没有建立保密策略与制度,实施也很差;2:没有建立保密策略与制度,但实施良好; 3 :建立了保密策略与制

度,但实施差;4:建立了保密策略与制度,实施良好;5 :建立了保密策略与制度, 实施良好,且所有员工都清楚并理解安全策略与制度要求;

5——最高级別值

 

 

 

 

 

 

 

0X1 X 越接近 1

越好

 

限控制制

度健全性

是否具备

应对保密

测试报告

与有效性

问题的能

 

 

 

 

 

 

测试 APS

服务供方

 

 

 

统计保密事故发生的

 

 

A<B 时,X=1-A/B;

AB 时,X=0 式中:

A---保密事故发生的次数B---服务协议中允许的保密事故发生次数

 

 

 

 

0X1 X 越接近 1

越好

 

保密事故

发生率

在服务履

行过程当

次数,与服务协议中

允许的保密事故发生

服务协议

测试报告

 

中的保密

次数进行比较

 

 

管理水平

 

 


 

 

 

 

 

 

 

1.1.2.3 可追溯性测试

 

可追溯性测试指标描述见表 7。

 

7 可追溯性测试指标

 

 

测试指标

 

测试目的

应用的方

公式及测试

元素计算

 

测试值解释

 

测试输入

 

 

 

 

 

涉及安全的活动的可追溯性

 

 

 

测试 APS 服务过程中涉及安全的活动是否具备完整的原始记录

 

 

具有完整记录的活动数量与所有所需要记录的活动数量进行比较

 

 

X=A/B

式 中 : A——具有完整记录的活动数量;

B 一所有所需要记录的活动数量

 

 

 

 

 

0≤X≤1

X 越接近 1 越

 

 

 

 

 

服务协议测试报告

1.1.3 可靠性指标

 

1.1.3.1 连续性测试

 

连续性测试指标描述见表 8。

 

8 连续性测试指标

 

测试指标

测试目的

应用的方法

公式及测试元

素计算

测试值解释

测试输入

 

 

 

 

重大事故发生的比率

 

 

 

 

APS 服务的连续性

 

统计重大事 故发生的次 数,与服务协议中允许的 重大事故发 生次数进行 比较

A<B 时, X=1-A/B;

A≥B 时,X=0式中:A—重大事故发生的次 数; B—服务协议中允许的重 大 事故发生次

 

 

 

 

0≤X≤1 X 越接近 1

越好

 

 

 

 

服务协议测试报告

 

 

服务连续运行的比率

 

 

APS 服务的连续性

统计 APS 服务

运行中的平均无故障时间和平均恢复时间,并进

行比较

X=A/ (A+B)

式中:

A 一平均无故障工作时间;

B 平均恢复

时间

0≤X≤1 X 越接近 1 信息技术服务的连续

性越好

 

 

服务协议测试报告


 

 

 

已制定容灾

X=A/B

式 中 : A—已制定容灾机制的关键业

务数量; B—需要制定容灾机制的关键

业务数量

 

 

 

 

 

服务协议 测试报告

 

支撑关键业

机制的关键

 

关键业务

务的 APS

业务数量与

0≤X≤1

容灾就绪

务是否进行

需要制定容

X 越接近 1

了有效的容

灾机制的关

越好

 

灾机制

键业务数量

 

 

 

进行比较

 

注:平均恢复时间是指服务中断到服务恢复之间的平均间隔时间。

1.1.3.2 稳定性测试

 

稳定性测试指标描述见表 9。

 

9 稳定性测试指标

 

测试指标

测试目的

应用的方法

公式及测试元素计算

测试值解释

测试

输入

 

 

 

 

 

 

 

 

服务的稳定程度

 

 

 

 

 

 

测试该服务提供是否在约定的偏差范围内

 

 

 

 

APS 服务协议中约定的服务特性值进行抽样,计算其标准差并与服务协议约定的该特性偏差范围进行比较

 

 

 

X=1-Y

式中:Y-标准偏差率; Xi—服务特性抽样样 本值

——服务特性的抽样样本均值;

Eu-服务协议约定的偏差上限值

E1-服务协议约定的偏差下限值;

n 对服务进行抽样

的次数

 

 

 

 

 

Y>1,1;

Y<1,Y

0X1

X 越接近1 越好

 

 

 

 

 

 

 

服务协议测试报告

1.1.3.3 一致性

 

一致性测试指标描述见表 10。

 

10 —致性测试指标

 

 

测试指标

测试目的

 

应用的方法

公式及测试元素计算

测试值解释

 

测试输入

 

 

 

服务与其他相关服务一致的程度

 

APS

务与其他服务一致的程度

统计APS 服务与其他服务发生冲突的次数,与服务协议中允许的次数进

行比较

A<B 时,

X=l-A/B:

AB 时,X=0式中:

A—— 服务发生冲突的次

数;

 

 

0X1 X 越接近1 越好

 

 

 

服务协议测试报告


 

 

 

 

B——服务协议中允许发生的次数

 

 

 

1.1.3.4 可用性

 

可用性测试指标描述见表 11。

 

11 可用性测试指标

 

测试指标

测试目的

应用的方法

公式及测试元素计算

测试值解释

测试

输入

 

 

 

 

 

服务可得和可接近性

 

 

 

 

 

 

APS 可获得性

 

APS 服务协议中约定的服务进行抽样验证, 计 算其标准差并与服务协 议约定的偏差范围进行 比较

 

 

X=l-Y

式中: Y-标准偏差率; Xi

——服务实现抽样样本值; X——服务实现的抽样样本均值; Eu-服务协议约定的偏差 上限值; E1——服务协议约定的偏差下限值; n

——对服务进行抽样的次数

 

 

 

Y>1,取1;   Y1,

Y 值;

0X1

X 越接近1 越好

 

 

 

 

 

服务协议测试报告

1.1.4 响应性指标

 

1.1.4.1 及时性测试

 

及时性测试指标描述见表 12。

 

12 及时性测试指标

 

测试指标

测试目的

应用的方法

公式及测试元素

计算

测试值

解释

测试输

 

 

 

 

及时响应率

 

 

APS 服务供方对服务请求的响应速度

 

 

统计并比较及时响应的 服务请求的数量与总的 服务请求数量

X=1-A/B

式中:

A-响应时间不符合服务协议要求的服务请求数量; B——总的服务请求数量

 

 

0X1 X 越接近1 越好

 

 

服务协议测试报告

 

及时解决率

APS 服务供

方对服务请求的解决速

统计并比较及时解

决的 服务请求的数量与总的 服务请求

X=1-A/B

式中:

A—解决时间不符

0X1 X 越接近1 越好

 

测试报告


 

 

数量

合服务协 议要求的服务请求数量; B——总的服务请

求数量

 

 

1.1.4.2 交互性测试

 

交互性测试指标描述见表 13。

 

13 交互性测试指标

 

测试指标

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试

输入

 

 

 

 

 

 

 

 

 

 

互动沟通机制

 

 

 

 

测试 APS 服务供方 互动沟通 机制包括投诉处理、客户满意 度调查、服务报告和 服务状态 等的建立和实施状

 

 

 

 

 

 

 

 

APS 服务供方的互动沟通机制的建立与实施情况进行检査

X=A/5 式 中 : A—从下列选取 相应质量等级对 应值:1:既没有建立互动沟通机 制实施也很差;2: 没有建立互动沟 通机制,但实施良好;3:建立了互动沟通机制,但实施差;4:建立了互动沟通机制,实施良好;5:建立了互动沟通机制,实施良好, 且所有员工都清楚并理解互 动沟通机制要求;

5-最高级别值

 

 

 

 

 

 

 

 

0X1

X 越接近 1 越好

 

 

 

 

 

 

 

 

 

 

测试报告

 

 

 

 

服务报告提交率

 

测试 APS 服务报告按照服务协议要求提交的比

 

统计并比较实际提交的满足服务协议要求的服务报告数量和服务协议要求的服务报告数量

X=A/B

式中: A—实际提交的满足服务协议要求的服务报告数量;B—服务协议要求的服务报吿数量

 

 

 

0X1

X 越接近 1 越好

 

 

 

 

测试报告

 

 

 

服务报告及时提交率

 

测试 APS 服务报告按照服务协议要求及时提交的比率

 

统计并比较实际按时提交的满足服务协议要求的服务报告数量和服务协议要求的服务报告数量

 

X=A/B 式中: A-实际按时提交满足服务协议要求服务报告数量; B—服务协议要求賴服务报告数量

 

 

 

0X1

X 越接近 1 越好

 

 

服务协议测试报告


 

 

 

 

 

 

 

 

 

投诉处理率

测试 APS 服务投诉是否得到有效解决

的比率

统计并比较得到有效处理的投诉数量和收到的投诉数量

X=A/B 式中:A

—得到有效处理的投诉数量; B

—收到的投诉数

 

0X1

X 越接近 1 越好

 

 

测试报告

1.1.5 维护性指标

 

1.1.5.1 可分析性测试

 

可分析性测试指标描述见表 14。

 

14 可分析性测试指标

 

度测试指

 

度测试目的

 

应应用的方法

公公式及测试元素计算

度测试值解释

 

度测试输入

 

 

部部分服务改变 时影响可分析

 

 

 

 

 

部部分服务改变时影响可分析的程度

 

 

 

 

 

对对 APS 服务改变时产生的影响进行分析

XX=A/3  式中: A

—从下列选取相应质量等级对应值:1:产生的影响效果显著,可以分析; 2:产生的影响可见,可以分析;3:产生的影响不可见,无法分析; 3-最高等级

 

 

 

 

 

00X1 X 越接近 1 越好

 

 

 

 

 

 

评测试报告

服服务出现缺陷 时可分

 

 

服务出现缺陷时可分析程度

评测试 APS 服务出现缺陷时可以进行原因分析的次 数与所有发现的缺

陷数 进行比较

XX=A/B 式中: A

——缺陷可以进行原因分析的次数; B——发现的所有缺陷数

 

 

00X1 X 越接近 1 越好

 

 

 

评测试报告


 

 

 

 

 

 

 

服服务被修改可 分析

 

 

 

 

 

 

 

服服务被修改时可分析程 度

 

 

 

 

 

 

 

评测试服务修改流程的建立和服务实施情况进行 测试

XX=A/5 式中: A

—从下列选取相应质量等级对应 值:1:既没有建立规范,实施也很 差;2:没有建立规范,但实施良好; 3:建立了规范,但实施差;4:建立了规范,实施良好; 5:建立了规范,实施良好,且所有 员工都清楚并理 解服务要求; 5

——最高等级值

 

 

 

 

 

 

 

00X1 X 越接近 1 越好

 

 

 

 

 

 

 

 

评测试报告

 

1.1.5.2 可变性测试

 

可变性测试指标描述见表 15。

 

15 可变性测试指标

 

测试指标

测试目的

应用的方法

公式及测试

元素计算

测试值解释

测试输入

 

 

 

 

 

 

 

 

 

 

 

 

服务可以被修改

 

 

 

 

 

 

 

 

 

 

 

测试用户需求改变时,可以修改服务的程度

 

 

 

 

 

 

 

 

 

 

测试服务进行修改时相关规范的建立与执行情况

X=A/5:

式 中 : A——从下列选取相应质 量等级对应 值:1:既没有建立规范, 实施也很差; 2:没有建立 规范,但实施良好;3:建立了规范,但实施差;4:建立了规范, 实施良好;5:立了规范, 实施良好,且所有员工都 清楚并理解 服务要求; 5

—最高等级

 

 

 

 

 

 

 

 

 

 

0X1

X 越接近 1 越好

 

 

 

 

 

 

 

 

 

 

 

 

服务协议测试报告


 

1.1.5.3 可测试性测试

 

可测试性测试指标描述见表 16。

 

16 可测试性测试指标

 

 

测试指标

 

测试目的

应用的方法

 

公式及测试元素计算

测试值解释

测试输入

 

 

 

 

 

 

 

服务可以建立测试标准

 

 

 

 

 

检查服务测试标准的规范程度

 

 

 

 

对服务测试标准的模板建立与实施情况进行测试

X=A/5 式中: A—从下列选取相应质量等级对应值:1:服务测试标准建立了统一的模板; 2:对部分测试标准建立了统 一的模板,但实施较差;3: 部分测试标准建立了统一的 模板,并在服务中得到了有效实施;4:对所有测试标准建立了统一的模板,并在服务中部分得到了有效实施;5:对所有测试标准建立了统一的模板, 并在服务中全部得到了有效

实施; 5—最高等级值

 

 

 

 

 

0X1 X 越接近1

越好

 

 

 

 

 

 

 

测试报告

 

 

 

 

 

服务可以执行测试

 

 

 

 

检查服务执行测试的规范程度

 

 

测试服务测试行为的规范的建立与执行情况

X=A/5 式中:

A——从下列选取相应质量等 级对应值:1:既没有建立规  范,实施也很差;2:没有建 立 规范,但实施良好;3:建立了 规范,但实施差;4:建立了规 范,实施良好;5:建立了规范, 实施良好,且所有员工都清楚 并理解服务要求;

5—最高等级值

 

 

 

 

0X1 X 越接近1

越好

 

 

 

 

 

测试报告