管理测试用例
概述
测试用例是Testany平台的基石,使用户能够定义特定场景来测试他们的应用程序。每个用户,无论其角色如何,都可以注册和管理自己的测试用例。然而,只有测试用例的创建者才能更新或删除它,而其他人只能查看。
理解合格的测试用例
一个合格的测试用例应满足以下标准:
明确的目标:应有明确的目的并针对应用程序的特定方面。
可重复性:在相同条件下执行时必须一致,产生相同的结果。
独立性:应是自包含的,不依赖于其他测试用例来运行。
可测量的结果:结果应是可量化和可测量的,以确定成功或失败。
符合平台标准:必须遵循Testany平台定义的特定指南和格式。
Testany平台上的测试用例
平台支持的测试框架
Testany平台的一个关键特性是支持多种测试框架,并能够在单个测试管道中从不同的测试框架组装测试用例。目前,平台支持以下测试框架:Python单元测试、Maven和Postman。我们将继续添加新的测试框架以满足用户需求。
理解Testany平台上的测试用例概念
定义(您可以参考术语表(testany.io))
在我们的产品中,“测试用例包”指的是一个测试用例的捆绑单元,包含测试用例元数据和测试用例代码。测试用例元数据提供关于测试用例的重要背景和信息,如作者、状态、优先级、版本和其他必要参数。测试用例代码是执行测试步骤的可执行脚本。通过将元数据和代码打包在一起,用户可以更有效地在Testany平台上注册和管理测试用例,并根据不同的测试场景调整参数。
1. 测试用例代码文件
测试用例代码文件包含定义测试的实际代码。它可以根据创建者选择的测试框架而有所不同。
关键特性:
框架依赖:文件类型和结构可能因所选测试框架而异。
逻辑定义:包含执行测试的逐步说明。
语言支持:用所选框架支持的编程语言编写。
2. 测试用例包文件
测试用例包文件是一个压缩文件,封装了测试用例代码文件。
关键特性:
压缩格式:以压缩文件形式捆绑。
包含代码文件:将代码文件组合成一个包。
可移植性:在平台内轻松共享和注册测试用例。
完整性:确保代码和元文件作为一个统一实体一致链接和管理。
理解 Testany 平台上的用例可见性概念
在 Testany 平台中,用例可见性是指应用于用例的访问控制级别,用于确定谁可以查看和操作用例。用例可见性有两种类型:全局可见性 和 工作区限制可见性。要了解完整术语表,请点击这里。
为进一步说明“工作区限制可见性”,以下是一个示例:
用户在以下工作区中具有成员权限:WKS, ABC, FTT,在以下工作区中具有管理员权限:ACT, CPE。
测试用例 1 关联的工作区为:ACT, WKS, FTT。
测试用例 2 关联的工作区为:FTT, ABD。
测试用例 3 关联的工作区为:ABD, CPE。
测试用例 4 关联的工作区为:ABD, LBI。
在这种情况下:
用户可以查看测试用例 1,因为其工作区成员权限(WKS, FTT)与用例关联的工作区(WKS, FTT)有重叠。
用户可以查看测试用例 2,因为其工作区成员权限(FTT)与用例关联的工作区(FTT)有重叠。
用户无法查看测试用例 3,因为其工作区成员权限与用例关联的工作区(ABD, CPE)没有重叠。
用户无法查看测试用例 4,因为其工作区权限与用例关联的工作区(ABD, LBI)没有重叠。
注册测试用例
分步骤指引
1. 登录 Testany 平台
登录到平台,并点击页面顶部的“Test case library” 按钮。
2. 点击 “Register Test Case” 按钮

3. 填写表单:
当“注册新测试用例”弹窗出现后,请按步骤逐项填写表单:
3-1: Name: “名称”是测试用例的重要属性,并将在Testany平台中频繁使用。为了提高效率和方便您与同事的协作,请确保名称的正确性、完整性和简洁性。

3-2: Description: 您可以在“描述”中更详细地描述您的测试用例,这将使其他用户更容易使用它。在“描述”中列出测试对象、前提条件、输入数据、执行步骤以及预期结果等元素,将极大地方便其他用户。

3-3: Select Runtime: 您可以为测试用例选择一个“运行时”来执行测试。

3-4: Make Private?: 您可以将用例设置为全局可见或限制在特定工作区内。
3-4-1: 全局可见性:将“Make Private?”保持为“No”(否)。

3-4-2: 工作区限制可见性:将“Make Private?”保持为“No”(是)。然后,在下拉列表选择您希望共享的工作区。

4. 点击“Register & Next”按钮
在弹窗右下角点击“Register & Next”按钮以注册用例。随后,您将被重定向到用例详情页面。
此时,用例试运行所需的必填字段仍未填写完整。您需要继续编辑用例,以便能够成功执行试运行(Dry Run)。
更新测试用例
在开始之前,请仔细阅读并严格遵循以下测试用例包文件规范,以确保您的测试用例能够成功注册。
测试用例包文件规范
文件必须有.zip扩展名。
压缩文件必须包含您的测试用例代码文件。
如果选择
Postman框架,至少需要一个.json文件(Postman集合文件)如果选择
Pytest或Python单元测试框架,至少需要一个.py文件如果选择
Maven框架,至少需要一个.java文件如果选择
Gradle框架,至少需要一个.java文件如果选择
Jmeter框架,至少需要一个.jmx文件如果选择
Playwright框架,至少需要一个.js或.ts文件
如果您的测试用例有多个文件,文件数量不得超过100个。(Postman只能支持一个
.json集合文件)整个测试用例包.zip文件大小不得超过1MB。
单个测试用例只能有一个环境。如果您有一个能够测试多个环境的测试用例(通过调整环境变量),您需要在Testany平台上将其注册为多个测试用例。
分步骤指引
以下是有关编辑测试用例的一些限制:
仅测试用例的所有者有权进行编辑。
测试用例的唯一标识(Key)是不可变的,在任何情况下都无法更改。
测试用例的运行时(Runtime)无法被修改。
1. 进入用例详情页面
2. 填写必填项
在进行内联编辑时,您所做的所有更改将在您点击确认按钮✅后自动保存。
2-1: Test executor: 您可以在此处选择执行测试用例所需的框架。请注意,选择框架后,您需要输入要执行的文件的相对路径(如果执行器是 Postman、Maven 或 Gradle)或执行命令(如果执行器是 Python 或 PyRes)。

2-2: Definition file: 在此处,您可以上传您的测试用例代码文件。请确保文件被包含在一个 .zip 压缩包中。

2-3: Environments: 这是测试用例的重要属性,描述了测试用例所测试服务的环境。在Testany平台上,每个测试用例可以对应一个或多个环境。

必须为2-80个字符长度。
首字符必须为字母或数字。
最后一个字符不能是空格。
仅允许大写字母、数字、连字符、下划线、点和空格。
2-4: Environment variables: 您可以在此填写运行测试用例所需的其他环境变量。
如果在某次执行过程中需要临时更改某个参数,您可以使用适当的方法将其转换为环境变量并在这里填写。

超过16组环境变量可能会导致异常行为。
Key长度不得超过80个字符。
Key只能包含大写字母、数字和下划线(符合POSIX.1-2017规范)。
Key可以以大写字母或下划线开头。
Key不能以数字开头。
Key和值均不能为空。
如果您有一个想在测试用例中共享的环境变量,您可以在代码中设置relay的名称和值(请点击这里参考示例代码)。然后,将relay名称作为relay环境变量在环境变量中暴露(点亮relay图标)。这样,它可以在流水线编排过程中使用。

2-5: Secure key reference: 如果您的工作区管理员已创建您所需的凭证密钥,您可以将这些凭证绑定到此测试用例。请参考文章管理测试凭证 (testany.io)。

阅读测试用例
您将能够在测试用例库中看到测试用例,如下图所示。如果您想快速找到特定的测试用例,可以使用页面右上角的搜索框。

如果该测试用例是一个中继用例,右上角会显示一个中继(relay)图标。
您可以点击测试用例查看该特定测试用例的详细信息。在此页面上有几个关键元素:
key:请注意,在任何情况下该键都不会(也不能)被更改。Owner所有者Visibility可见性Labels标签Version版本Runtime运行时environments环境Meta(包含environment_variables环境变量,executor执行器 和path/command执行路径或执行命令)output输出

如上所示,当在测试用例中定义了与中继相关的环境变量时,您会在“类型”(Type)列中看到对应环境的蓝色”中继“图标。
试运行测试用例
如果一个测试用例自上次修改以来未执行试运行,您可以看到以下提示:
用例名称下方的消息栏会提醒您和其他有权访问该用例的用户:该用例尚未成功完成试运行。
“DryRun”按钮为激活状态,以提示用例所有者可以随时返回此页面并点击按钮执行试运行。
输出栏显示该用例尚未成功完成试运行。

点击“Dry Run”按钮,平台将立即执行试运行,以验证测试用例是否正确且兼容。同时,系统会将您重定向至该测试用例的试运行页面,您可以在页面上查看显示的信息,确保其符合您的预期。

试运行仅在测试用例所有必填字段已完整填写的情况下方可执行。否则,按钮将无法被点击。

删除测试用例
1. 进入用例详情页面。
2. 作为用例所有者,点击用例右上角的“Delete”按钮。
如果一个用例已被编排到一个或多个测试流水线中,系统将返回409错误,并不允许删除该用例。如需成功删除用例,请先确保该用例已从所有相关的测试流水线中移除。
如果某个测试用例是通过 Git 导入的,则无法手动删除。更多详细信息请参考文档《批量管理测试用例 - 3.5 批量删除》。