Skip to main content
Skip table of contents

管理测试用例

概述

测试用例是Testany平台的基石,使用户能够定义特定场景来测试他们的应用程序。每个用户,无论其角色如何,都可以注册和管理自己的测试用例。然而,只有测试用例的创建者才能更新或删除它,而其他人只能查看。

理解合格的测试用例

一个合格的测试用例应满足以下标准:

  1. 明确的目标:应有明确的目的并针对应用程序的特定方面。

  2. 可重复性:在相同条件下执行时必须一致,产生相同的结果。

  3. 独立性:应是自包含的,不依赖于其他测试用例来运行。

  4. 可测量的结果:结果应是可量化和可测量的,以确定成功或失败。

  5. 符合平台标准:必须遵循Testany平台定义的特定指南和格式。

Testany平台上的测试用例

平台支持的测试框架

Testany平台的一个关键特性是支持多种测试框架,并能够在单个测试管道中从不同的测试框架组装测试用例。目前,平台支持以下测试框架:Python单元测试MavenPostman。我们将继续添加新的测试框架以满足用户需求。

理解Testany平台上的测试用例概念

定义(您可以参考术语表(testany.io)

在我们的产品中,“测试用例包”指的是一个测试用例的捆绑单元,包含测试用例元数据和测试用例代码。测试用例元数据提供关于测试用例的重要背景和信息,如作者、状态、优先级、版本和其他必要参数。测试用例代码是执行测试步骤的可执行脚本。通过将元数据和代码打包在一起,用户可以更有效地在Testany平台上注册和管理测试用例,并根据不同的测试场景调整参数。

1. 测试用例代码文件

测试用例代码文件包含定义测试的实际代码。它可以根据创建者选择的测试框架而有所不同。

关键特性

  • 框架依赖:文件类型和结构可能因所选测试框架而异。

  • 逻辑定义:包含执行测试的逐步说明。

  • 语言支持:用所选框架支持的编程语言编写。

2. 测试用例包文件

测试用例包文件是一个压缩文件,封装了测试用例代码文件。

关键特性

  • 压缩格式:以压缩文件形式捆绑。

  • 包含代码文件:将代码文件组合成一个包。

  • 可移植性:在平台内轻松共享和注册测试用例。

  • 完整性:确保代码和元文件作为一个统一实体一致链接和管理。

理解 Testany 平台上的用例可见性概念

在 Testany 平台中,用例可见性是指应用于用例的访问控制级别,用于确定谁可以查看和操作用例。用例可见性有两种类型:全局可见性工作区限制可见性。要了解完整术语表,请点击这里

  • 全局可见性:用例对该租户中的所有活跃用户可见。要了解完整术语表,请点击这里

  • 工作区限制可见性:用例仅对其所属工作区的成员可见。要了解完整术语表,请点击这里

为进一步说明“工作区限制可见性”,以下是一个示例:

  • 用户在以下工作区中具有成员权限:WKS, ABC, FTT,在以下工作区中具有管理员权限:ACT, CPE

  • 测试用例 1 关联的工作区为:ACT, WKS, FTT

  • 测试用例 2 关联的工作区为:FTT, ABD

  • 测试用例 3 关联的工作区为:ABD, CPE

  • 测试用例 4 关联的工作区为:ABD, LBI

在这种情况下:

  1. 用户可以查看测试用例 1,因为其工作区成员权限(WKS, FTT)与用例关联的工作区(WKS, FTT)有重叠。

  2. 用户可以查看测试用例 2,因为其工作区成员权限(FTT)与用例关联的工作区(FTT)有重叠。

  3. 用户无法查看测试用例 3,因为其工作区成员权限与用例关联的工作区(ABD, CPE)没有重叠。

  4. 用户无法查看测试用例 4,因为其工作区权限与用例关联的工作区(ABD, LBI)没有重叠。

注册测试用例

分步骤指引

1. 登录 Testany 平台

登录到平台,并点击页面顶部的“Test case library” 按钮。

2. 点击 “Register Test Case” 按钮
image-20250423-083952.png
3. 填写表单:

当“注册新测试用例”弹窗出现后,请按步骤逐项填写表单:

3-1: Name: “名称”是测试用例的重要属性,并将在Testany平台中频繁使用。为了提高效率和方便您与同事的协作,请确保名称的正确性、完整性和简洁性。

image-20250120-031138.png

3-2: Description: 您可以在“描述”中更详细地描述您的测试用例,这将使其他用户更容易使用它。在“描述”中列出测试对象、前提条件、输入数据、执行步骤以及预期结果等元素,将极大地方便其他用户。

image-20250120-031223.png

3-3: Select Runtime: 您可以为测试用例选择一个“运行时”来执行测试。

image-20250120-031418.png

3-4: Make Private?: 您可以将用例设置为全局可见或限制在特定工作区内。

3-4-1: 全局可见性:将“Make Private?”保持为“No”(否)。

image-20250120-033148.png

3-4-2: 工作区限制可见性:将“Make Private?”保持为“No”(是)。然后,在下拉列表选择您希望共享的工作区。

image-20250120-032610.png
4. 点击“Register & Next”按钮

在弹窗右下角点击“Register & Next”按钮以注册用例。随后,您将被重定向到用例详情页面。

此时,用例试运行所需的必填字段仍未填写完整。您需要继续编辑用例,以便能够成功执行试运行(Dry Run)。

更新测试用例

在开始之前,请仔细阅读并严格遵循以下测试用例包文件规范,以确保您的测试用例能够成功注册。

测试用例包文件规范

  1. 文件必须有.zip扩展名。

  2. 压缩文件必须包含您的测试用例代码文件。

    1. 如果选择 Postman 框架,至少需要一个 .json 文件(Postman集合文件)

    2. 如果选择 PytestPython 单元测试框架,至少需要一个 .py 文件

    3. 如果选择 Maven 框架,至少需要一个 .java 文件

    4. 如果选择 Gradle 框架,至少需要一个 .java 文件

    5. 如果选择 Jmeter 框架,至少需要一个 .jmx 文件

    6. 如果选择 Playwright 框架,至少需要一个 .js.ts 文件

  3. 如果您的测试用例有多个文件,文件数量不得超过100个。(Postman只能支持一个.json集合文件)

  4. 整个测试用例包.zip文件大小不得超过1MB。

  5. 单个测试用例只能有一个环境。如果您有一个能够测试多个环境的测试用例(通过调整环境变量),您需要在Testany平台上将其注册为多个测试用例。

分步骤指引

以下是有关编辑测试用例的一些限制:

  1. 仅测试用例的所有者有权进行编辑。

  2. 测试用例的唯一标识(Key)是不可变的,在任何情况下都无法更改。

  3. 测试用例的运行时(Runtime)无法被修改。

1. 进入用例详情页面
2. 填写必填项

在进行行内编辑时,您所做的所有更改将在您点击确认按钮✅后自动保存。

2-1: Test executor: 您可以在此处选择执行测试用例所需的框架。请注意,选择框架后,您需要输入要执行的文件的相对路径(如果执行器是 Postman、Maven 或 Gradle)或执行命令(如果执行器是 Python PyRes)。

image-20250423-074836.png

2-2: Definition file: 在此处,您可以上传您的测试用例代码文件。请确保文件被包含在一个 .zip 压缩包中。

image-20250423-074916.png

2-3: Environments: 这是测试用例的重要属性,描述了测试用例所测试服务的环境。在Testany平台上,每个测试用例可以对应一个或多个环境。

image-20250423-075136.png
  • 必须为2-80个字符长度。

  • 首字符必须为字母或数字。

  • 最后一个字符不能是空格。

  • 仅允许大写字母、数字、连字符、下划线、点和空格。

2-4: Environment variables: 您可以在此填写运行测试用例所需的其他环境变量。
如果在某次执行过程中需要临时更改某个参数,您可以使用适当的方法将其转换为环境变量并在这里填写。

image-20250423-075525.png
  • 超过16组环境变量可能会导致异常行为。

  • Key长度不得超过80个字符。

  • Key只能包含大写字母、数字和下划线(符合POSIX.1-2017规范)。

  • Key可以以大写字母或下划线开头。

  • Key不能以数字开头。

  • Key和值均不能为空。

如果您有一个想在测试用例中共享的环境变量,您可以在代码中设置relay的名称和值(请点击这里参考示例代码)。然后,将relay名称作为relay环境变量在环境变量中暴露(点亮relay图标)。这样,它可以在流水线编排过程中使用。

image-20250423-075608.png

2-5: Secure key reference: 如果您的工作区管理员已创建您所需的凭证密钥,您可以将这些凭证绑定到此测试用例。请参考文章管理测试凭证 (testany.io)

image-20250423-075801.png

阅读测试用例

您将能够在测试用例库中看到测试用例,如下图所示。如果您想快速找到特定的测试用例,可以使用页面右上角的搜索框。

image-20250423-081948.png

如果该测试用例是一个中继用例,右上角会显示一个中继(relay)图标。

您可以点击测试用例查看该特定测试用例的详细信息。在此页面上有几个关键元素:

  • key:请注意,在任何情况下该键都不会(也不能)被更改。

  • Owner 所有者

  • Visibility 可见性

  • Labels 标签

  • Version 版本

  • Runtime 运行时

  • environments 环境

  • Meta(包含 environment_variables 环境变量, executor 执行器 和 path/command 执行路径或执行命令)

  • output 输出

image-20250423-081747.png

如上所示,当在测试用例中定义了与中继相关的环境变量时,您会在“类型”(Type)列中看到对应环境的蓝色”中继“图标。

试运行测试用例

如果一个测试用例自上次修改以来未执行试运行,您可以看到以下提示:

  1. 用例名称下方的消息栏会提醒您和其他有权访问该用例的用户:该用例尚未成功完成试运行。

  2. “DryRun”按钮为激活状态,以提示用例所有者可以随时返回此页面并点击按钮执行试运行。

  3. 输出栏显示该用例尚未成功完成试运行。

image-20250423-083110.png

点击“Dry Run”按钮,平台将立即执行试运行,以验证测试用例是否正确且兼容。同时,系统会将您重定向至该测试用例的试运行页面,您可以在页面上查看显示的信息,确保其符合您的预期。

image-20250423-083400.png

试运行仅在测试用例所有必填字段已完整填写的情况下方可执行。否则,按钮将无法被点击。

image-20250423-083544.png

删除测试用例

1. 进入用例详情页面。

2. 作为用例所有者,点击用例右上角的“Delete”按钮。

  • 如果一个用例已被编排到一个或多个测试流水线中,系统将返回409错误,并不允许删除该用例。如需成功删除用例,请先确保该用例已从所有相关的测试流水线中移除。

  • 如果某个测试用例是通过 Git 导入的,则无法手动删除。更多详细信息请参考文档《批量管理测试用例 - 3.5 批量删除》

JavaScript errors detected

Please note, these errors can depend on your browser setup.

If this problem persists, please contact our support.