Testany平台状态解读:全面指南

了解Testany平台上测试用例和测试管道的各种状态,可以让您更加高效地管理测试活动。本指南旨在为您提供每种状态的清晰和全面的定义,以便您更好地管理测试工作。

测试用例状态

  1. 已注册

    • 含义:您的测试用例已成功上传至Testany平台。
    • 建议操作:可以将此测试用例包含在您的测试管道中。
  2. 被使用

    • 含义:指示该测试用例被组装到多少个测试管道中。请注意,这个数字只包括当前正在使用该测试用例的管道。过去曾使用但现在不包含该测试用例的管道不计入此数。
    • 建议操作:无需采取任何操作。

测试执行中的测试用例状态

  1. 运行中

    • 含义:该测试用例正在某个测试管道中执行
    • 建议操作:请等待执行完成。
  2. 通过

    • 含义:该测试用例已成功执行,并满足了所有指定条件和断言
    • 建议操作:无需采取任何操作。
  3. 失败

    • 含义:测试用例执行未达到预期结果,或某个断言未能成功。
    • 建议操作:检查日志以确定问题来源(被测试软件或测试脚本),并进行必要的调整。
  4. 预期失败

    • 含义:测试用例失败,但这是根据测试管道逻辑预期的结果。此类失败实际上会导致测试管道成功。
    • 建议操作:如果此状态是预期的,则无需采取任何操作。
  5. 未开始

    • 含义:该测试用例虽然已包含在触发的测试管道中,但尚未开始执行。
    • 建议操作:请等待测试管道启动此特定测试用例。
  6. 跳过

    • 含义:由于测试管道中设置的逻辑,该测试用例不会被执行。
    • 建议操作:如果此状态是意外的,请检查测试管道中的逻辑设置。
  7. 错误

    image-20240620-083642.png

    • 含义:测试已执行,但由于与测试脚本或被测试程序无关的原因,无法获取测试结果(例如运行时与被测软件之间的网络故障)。此情况下,测试用例状态将标记为“错误”。

    • 建议操作

      1. 检查运行此测试用例的运行时是否处于“非操作”状态。
      2. 访问 Testany Status 查看平台服务状态。
      3. 如果问题仍然无法确定,请向Testany支持提交支持工单。

测试管道状态

  1. 已组装

    • 含义:您的测试管道已完全设置并准备好执行
    • 建议操作:可以开始执行此测试管道。

测试执行状态

  1. 未开始

    • 含义:此管道已进入执行队列但尚未开始执行。
    • 原因:TEE资源限制。
    • 建议操作:继续等待或取消此执行。
  2. 运行中

    • 含义:测试管道正在执行其测试用例
    • 建议操作:监控进度并等待完成。
  3. 成功

    • 含义:测试管道已无故障地执行了所有测试用例。
    • 建议操作:花时间检查结果和日志以获取见解。
  4. 失败

    • 含义:测试管道已完成执行,但其中一个或多个测试用例未达到预期的断言
    • 建议操作:检查日志以确定问题,并进行相应调整。
  5. 已取消

    • 含义:测试管道的执行已取消。
    • 建议操作:查看取消原因,并决定下一步行动。
  6. 错误

    image-20240620-084446.png

    • 含义:如果管道中的任何子测试用例在执行期间的状态为"错误",则该管道的结果状态将被标记为"错误"。

    • 建议操作

      • 检查运行时状态:验证执行测试用例的运行时是否正常运行。
        • 导航到工作区设置 → 凭证选项卡
        • 确保运行时状态显示为"正常运行"
      • 检查网络连接:验证运行时与被测系统 (SUT) 之间的网络连接。
        • 如果测试内部服务,请确保运行时具有适当的网络访问权限
        • 检查防火墙规则和 VPN 连接(如适用)
      • 检查平台状态:访问 https://testany.statuspage.io 查看是否有正在进行的平台事件。
      • 查看错误日志:点击失败的测试用例以查看详细的错误日志,这可能会提供有关失败原因的具体信息。
      • 联系支持:如果在进行上述检查后问题仍然存在,请在 https://testany.io/contact#support 提交包含执行详细信息的支持工单。

开发者参考:状态码映射

如果您正在开发与 Testany 平台集成的应用程序(如 CI/CD 集成、Webhook 处理器或自动化脚本),以下是执行状态的数值映射表:

执行状态码

状态名称状态码说明是否终态
NOT_STARTED-1未开始/排队中
RUNNING0执行
SUCCESS1全部通过
FAILURE2有失败
SKIPPED3跳过(仅适用于测试用例
FAIL_AS_EXPECTED4预期失败(仅适用于测试用例)
CANCELLED5已取消
ERROR99系统错误

使用示例

判断执行是否完成:

Python
# 终态状态码列表
TERMINAL_STATUSES = [1, 2, 3, 4, 5, 99]

def is_execution_complete(status_code):
    return status_code in TERMINAL_STATUSES

判断执行是否成功:

Python
# 成功状态码(SUCCESS 和 FAIL_AS_EXPECTED 都视为成功)
SUCCESS_STATUSES = [1, 4]

def is_execution_successful(status_code):
    return status_code in SUCCESS_STATUSES

API 响应示例

当您通过 API 查询执行状态时,响应中的 status 字段将返回上述数值:

JSON
{
  "execution_id": "Y2K-0001A-0000B",
  "status": 1,
  "status_name": "SUCCESS",
  "...": "..."
}

通过熟悉这些状态,您将能够更好地管理Testany平台上的测试用例和管道,确保测试过程的顺利和高效。

还有疑问?

我们的团队随时为您服务。欢迎联系我们,我们会尽快回复。