术语表
🇦 A-D
名称 | 定义 |
---|---|
断言 (Assertion) | 这是指在测试设置中验证特定测试用例的输出是否与预期输出或行为匹配的语句。如果断言为真,则测试用例通过;如果为假,则测试用例失败。断言是创建稳健且有效的自动化测试场景的重要组成部分,因为它们允许对被测试产品或系统的功能进行精确和即时的反馈。 |
用例可见性 (Case Visibility) | 在 Testany 平台中,用例可见性指的是对用例应用的访问控制级别,用于确定谁可以查看和操作用例。有两种用例可见性类型:全局可见性和工作区限制可见性。 |
CloudPrime | CloudPrime,与TR相对,是由Testany一方管理的运行时。每个租户只有一个CloudPrime运行时。 |
命令 (Command) | 在 Testany 平台中,Command(命令) 是指运行特定测试用例所需的可执行指令或脚本命令。它是触发指定环境中测试执行的具体代码或命令行,通常包含与使用的测试框架相关的参数或选项。 目前,如果执行器是 “Python” 或者 “Pyres”, 会需要填写命令 (Command) |
凭证保险箱 (Credential Safe) | “凭证保险箱”是一个代表第三方凭证存储的虚拟对象。 |
累计过滤模式(Cumulative View) | 测试用例目录视图的过滤模式之一。在累计过滤模式下,选中某个目录后,右侧的测试用例列表会包含与该目录以及所有子目录相关的测试用例。换言之,如果某个测试用例能出现在子目录中,则表示它同时拥有子目录及其父目录对应的标签,也会被归入父目录的测试用例列表。 要了解更多关于Testany的测试用例目录视图的过滤模式,请点击这里。 |
(用户)禁用 (user) Disabled | 禁用是一种用户状态。在这种状态下,用户将无法登录、访问该租户下的任何资源或对任何资源执行任何操作。此外,用户将无法通过Testany的任何通知渠道(方法)接收任何通知。同时,用户将从所有资源的“全局管理员”、“工作区管理员”、“工作区成员”以及“所有者”、“观察者”字段中移除。禁用是一种不可逆的状态,只能由全局管理员执行。 |
🇪 E-K
名称 | 定义 |
---|---|
环境 (Environment) | “环境”一词指的是用户测试所针对的应用环境,例如Stage, Production等。 |
独有显示模式(Exclusive View) | 测试用例目录视图的过滤模式之一。在独有显示模式下,右侧的测试用例列表仅显示直接与所选目录关联的测试用例,不包含子目录的用例。也就是说,只有明确打上该目录标签(而非仅拥有子目录标签)的测试用例才会在列表里出现 要了解更多关于Testany的测试用例目录视图的过滤模式,请点击这里。 |
执行 (Execution) | 每次执行都是一个流水线的运行,包括流水线执行的结果。它包含流水线运行的实时状态和结果。 |
执行单元 (Execution Unit) | 一个系统控制的运行环境,用于执行测试用例。 |
执行器(Executor) | 在 Testany 平台中,Executor(执行器) 是负责运行流水线中测试用例的核心组件。它按照用户定义的测试脚本和配置,在指定的测试环境中执行测试任务,处理测试数据,并生成测试结果。Executor 支持多种测试框架,确保与用户测试环境的无缝集成,从而实现高效、可靠的自动化测试执行。 |
门卫 (Gatekeeper) | 在我们的产品中,“门卫”是一个功能,允许用户使用webhook触发特定组的测试。用户可以创建一个门卫并从中接收webhook,然后可以将其集成到各种开发/运维工具中。每当发生用户指定的事件时,门卫将触发预设流水线组的执行。这使用户能够在特定场景中执行测试,促进高效、持续的产品优化和问题监控。 |
门卫标识 (Gatekeeper Key) | 门卫密钥是Testany平台上用于标记门卫的唯一标识符。每个门卫在创建时都会收到一个独特的密钥。这个密钥总共由10个字符组成:第一个字符是“G”,表示“门卫”,后跟一个连字符。接下来的三个字符代表门卫对应工作区的密钥值。再后一个连字符,最后四个字符是系统自动生成的数字。例如,一个门卫密钥可能看起来像这样:G-WSK-5678。一旦门卫成功创建,其密钥不能被任何角色修改或删除。无论门卫本身的任何更改或删除,这个标识符都保持不变。 |
门卫所有者 (Gatekeeper Owner) | 在我们的系统中,门卫所有者是有权编辑和管理门卫以触发测试执行的用户。门卫所有者确定触发测试的具体条件,例如定义激活门卫的事件或标准。他们还负责将用户添加到观察者列表中,确保合适的团队成员得到通知并参与流程。这个角色对于在自动化测试中保持高效和有效性至关重要,促进主动的产品优化和问题监控。 |
全局管理员 (Global Administrator) | 在Testany中,这是一个系统默认角色。要了解更多关于Testany的权限策略,请点击这里。 |
全局可见性 (Global Visibility) | 具有全局可见性(Global Visibility)的用例对租户中的所有活跃用户可见。这些用例可以被任何该租户下的活跃用户(基于现有的权限控制机制)查看和管理,无论其是否属于特定工作区。这种选项非常适合需要在多个团队之间共享用例的协作场景。 |
导入历史记录 (Import History) | 在进行从 Git 批量导入测试用例的过程中,每次导入都会生成一条“导入历史记录”,保存了仓库地址、所选分支、提交号、导入的测试用例列表以及导入时间等关键信息。通过查看或修改对应的导入历史记录,用户可以追溯并管理已导入的测试用例,也能方便地对后续变更(如更新提交号或重新选择脚本)进行维护。 |
导入历史记录所有者 (Import History Owner) | 导入历史记录所有者指执行从 Git 批量导入测试用例操作的用户。该用户在 Testany 平台中对该次导入的配置与后续维护工作拥有管理权限,包括删除或编辑此导入历史记录、再次更新测试用例等。 |
🇱 L-O
名称 | 定义 |
---|---|
输出中继 (Output Relay) | 输出中继功能使得在执行过程中在同一流水线内的测试用例之间无缝传输数据成为可能。它允许一个或多个已完成测试用例(称为“中继用例”)的变量用作后续测试用例的输入。此数据中继实时发生,利用在执行过程中动态获取的值。通过利用输出中继,用户可以高效管理多个测试用例之间的测试数据,而无需人工干预或外部数据源。此功能通过允许测试用例依赖实际执行结果来优化测试自动化工作流,提高下游测试场景的准确性和相关性。它还增强了测试数据管理的整体效率,特别是在需要相互依赖的测试用例的环境中。 |
🇵 P-S
名称 | 定义 |
---|---|
路径(Path) | 在 Testany 平台中,Path(路径) 是指测试用例脚本在测试脚本zip包中的存储位置,以便平台能够找到并执行测试用例。路径必须与测试环境中脚本的实际存储位置一致。 |
计划任务 (Plan) | 在我们的产品中,“计划任务”是一个功能,允许用户预设测试的执行时间和频率。用户可以通过设置精确的日期和时间或设置重复间隔来创建计划。这使用户能够在理想的时间和适当的频率下执行测试,从而实现高效、持续的产品优化和问题监控。 |
计划任务标识 (Plan Key) | 它是Testany平台上用于标记计划任务的标识符,并具有唯一性。当每个计划任务在平台上创建时,系统会为其分配一个值。这个密钥总共由10个字符组成:第一个字符是“P”,表示“计划任务”,第二个字符是连字符,第三到第五个字符是计划对应工作区的密钥值,第六个字符是连字符,最后四个字符是系统自动生成的数字。(示例:P-TAN-1234)一旦计划成功创建,所有角色都不能修改或删除其密钥。即使计划本身被更改或删除,这个值也保持不变。 |
计划所有者 (Plan Owner) | 这指的是我们系统中的一个用户,他们有权限编辑和管理测试执行的计划任务。计划任务所有者设置测试的精确时间和频率,添加用户到观察者列表,确保在持续的产品测试和问题监控中实现最佳效率和效果。 |
中继用例 (Relay Case) | “中继”是测试用例的一个属性。具有此属性的测试用例可以在其执行完成后将其预先声明的变量值作为输入传递给同一流水线内的其他用例。中继用例促进数据传输和共享,确保测试用例之间的依赖关系得到妥善管理,从而提高测试过程的自动化和效率。特征:数据生成:中继用例可以负责生成特定的输出数据。数据传输:此输出数据会自动传递给指定的下游测试用例。依赖管理:中继用例使得测试用例之间的依赖关系得以管理和处理。自动化:提高测试流水线中的自动化水平,减少人工干预的需要。 |
运行时 (Runtime) | 在Testany平台的上下文中,运行时指的是一组管理测试启动/停止、测试运行、测试凭证和访问测试日志的专门服务。此外,这些服务被封装在一个Kubernetes操作员中,可以部署在公共云、私有云甚至物理服务器上。运行时直接从Testany平台的调度系统接收命令以运行测试,测试完成后存储日志,并将测试结果(成功、失败、跳过等)发送到Testany平台的通知系统。 |
安全UUID (Secure UUID) | 这是用于密钥名称前缀的UUID。在Testany中注册的每个测试用例都会有一个唯一的安全UUID。它用于TSS从可信凭证保险箱中检索测试密钥。如果您在可信凭证保险箱中存储了一个密钥,密钥名称应遵循<Secure UUID>-<secretName>格式,这意味着,如果密钥名为 |
订阅 (Subscription) |
|
(用户)暂停 (user) Suspend | 暂停是一种用户状态。在这种状态下,用户将无法登录、访问该租户下的任何资源或对任何资源执行任何操作。此外,用户将无法通过Testany的任何通知渠道(方法)接收任何通知。然而,除非由全局管理员修改,否则该租户下用户的所有属性和数据保持不变。暂停是一种可逆的操作,只能由全局管理员执行。当“暂停”属性重置为false时,用户恢复他们在被暂停之前拥有的所有操作权限。 |
🇹 T-Z
名称 | 定义 |
---|---|
测试用例 (Test Case) | “测试用例”是一组条件或变量,测试人员将根据这些条件或变量来确定应用程序、软件系统或其某个功能是否按最初设定的方式工作。测试用例包括特定的变量或条件,以及预期结果,这有助于测试人员确定系统的性能是否符合其设计和要求。 |
测试用例库(Test Case Library) | 在 Testany 平台中,测试用例库(Test Case Library) 是指存储、组织和管理测试用例的仓库。它是 Testany Platform 里的顶层结构之一,为用户提供了一个组织化的仓库,用于创建、编辑、分类和维护测试用例,从而实现高效的复用、版本控制和团队协作。 |
测试用例所有者 (Test Case Owner) | 这是我们产品中的一个用户角色,允许用户在 Testany 平台上编辑和管理测试用例。测试用例所有者可以编辑测试脚本,定义输入参数、预期的输出和行为。管理的测试用例包含在测试流水线中,用于持续验证产品或系统的质量和性能。 |
测试脚本 (Test Script) | 这是指测试用例中的可执行脚本,概述了测试过程中要遵循的具体步骤和条件。它包括测试输入、预期结果和断言语句等。该脚本设计用于在自动化测试框架中运行,并且是包含测试用例相关元数据的整体测试用例包的一部分。 |
测试用例标识 (Test Case Key) | 测试用例键是 Testany 平台上用于标记测试用例的标识符。每个测试用例在 Testany 平台上注册时,系统会自动分配一个 8 位数字的键值。(示例:20231024)此键将在 Testany 平台上伴随测试用例的整个生命周期,即使测试用例更新,此值也不会更改。 |
测试用例元数据 (Test Case Meta) | 这是指测试用例包中与测试用例相关的元数据。它提供了关于测试用例的重要背景和信息,包括但不限于作者、测试环境、创建日期、状态、优先级、版本以及可能的敏感信息,如访问需要测试的应用程序凭证的方法。此元数据对于有效管理、执行和解释测试结果至关重要,并补充了整体测试用例包中的测试用例代码。 |
测试用例步骤 (Test Case Step) | 测试用例步骤是测试用例过程中的一个步骤。一个测试用例可能包含多个测试用例(但我们强烈不推荐)。通常,测试用例步骤是一个 API 调用。 |
测试执行 (Test Execution) | 该术语指的是运行测试流水线的行为。它涉及启动测试、监控其进度,并可能包括实时跟踪结果。基本上,它是对软件组件进行预定义测试的操作。 |
测试执行引擎 (Test Execution Engine) | (又名 TEE)Testany 中负责测试执行的服务。 |
测试执行结果 (Test Execution Result) | 这是测试执行完成后生成的结果。它提供了通过、失败以及测试期间捕获的任何其他指标或诊断的全面视图。测试执行结果通常是团队评估质量、性能和可靠性的依据。 |
测试执行 UUID (Test Execution UUID) | Testany 平台上的“测试执行 UUID”是一个复合字符串,用于唯一标识每次测试执行运行。它遵循格式 |
测试流水线 (Test Pipeline) | 在我们的产品中,“测试流水线”是用于实施自动化测试的功能。它由一系列预定义的自动化测试用例组成,这些用例由各种测试框架触发,并可以按特定顺序和逻辑执行。测试流水线的目标是持续验证产品或系统的质量和性能。每次执行都会生成测试结果,可以在“执行”中查看并推送给观察者。 |
测试流水线所有者 (Test Pipeline Owner) | 这是我们产品中的一个用户角色,允许用户编辑和管理测试流水线。测试流水线所有者可以选择和安排预定义的自动化测试用例,并定义其执行顺序和逻辑。他们的目标是创建能够持续验证产品或系统质量和性能的测试流水线。 |
测试流水线标识 (Test Pipeline Key) | 测试流水线键是 Testany 平台上用于标记测试流水线的唯一标识符。当每个测试流水线在平台上创建时,系统会为其分配一个值。此键总共由 8 个字符组成:前三个是测试流水线对应工作区的键值,第四个字符是连字符,最后四个字符是系统自动生成的数字。(TAN-5678)一旦测试流水线成功创建,所有角色都无法更改或删除此键,即使测试流水线本身被更改或删除,此值也保持不变。 |
测试编排引擎 (Test orchestration Engine) | (又名 TOE)这是我们产品的一个关键组件,用于自动化和管理复杂工作流的执行,如测试流水线。编排引擎协调流水线中每个步骤的顺序、时间和依赖关系,确保测试高效且准确地执行。它可以处理诸如在指定时间触发测试、管理资源、处理错误以及将结果发送给观察者等任务。 |
Testany Secrets Service | (又名 TSS)Testany Secrets Service 是一种专门设计的服务,用于从受信任的证书保险箱(如 Azure Key Vault 和 AWS Secrets Manager)中获取秘密。它促进了密钥和证书等敏感信息的安全检索,确保数据安全性和符合行业标准。该服务通过接收请求来提取由密钥标识的特定秘密,并以请求的数据进行响应,从而在安全信息管理中发挥关键作用。 |
受信任的运行时 (Trusted Runtime) | (又名 “TR”)受信任的运行时是指由用户自行安装和管理的运行时。TR 与用户订阅的 Testany 平台 SaaS 通信,接收指令并输出结果。每个租户可以同时拥有多个 TR,以满足不同的测试需求。 |
用户 (User) | 在我们的产品中,“用户”指的是系统中的用户配置文件。它包含用户信息、登录凭证和设置。用户还决定了用户在产品中的权限和访问权,例如他们可以访问和管理哪些工作区、测试流水线和计划。 |
观察者 (Watcher) | 在我们的产品中,“观察者”指的是与测试流水线和计划相关的角色。观察者是接收测试流水线执行结果的主动推送通知的用户。这使得这些用户能够实时跟踪和了解测试的进展和结果,而无需手动检查或查询。特定测试流水线的观察者列表由计划创建者创建和管理。 |
工作区 (Workspace) | 在我们的产品中,“工作区”是一个包含测试流水线、测试执行和计划的隔离工作环境。每个工作区彼此隔离,提供独特的资源和数据环境。通过我们产品定义的基于角色的访问控制(RBAC)策略,全球管理员或工作区管理员授予用户对特定工作区的访问权限。 |
工作区标识 (Workspace Key) | 工作区是 Testany 平台上用于标记工作区的标识符。当每个工作区在平台上创建时,系统要求创建者指定一个值。此键由三个字符组成,第一个字符是字母,接下来的两个字符可以是字母或数字。(示例:TA9)然而,键不支持空格、符号、特殊字符或表情符号。此键将在 Testany 平台上伴随工作区的整个生命周期,即使工作区更新或存档,此值也不会更改。具有创建工作区权限的角色可以在首次创建工作区时指定键。创建后,键不能更改或删除。其他角色无权创建、修改或删除此键。 |
工作区管理员 (Workspace Admin) | 在 Testany 中,这是一个系统默认角色。要了解更多关于 Testany 的权限策略,请点击这里。 |
工作区成员 (Workspace Member) | 在 Testany 中,这是一个系统默认角色。要了解更多关于 Testany 的权限策略,请点击这里。 |
工作区限制可见性 (Workspace-Restricted Visibility) | 具有工作区限制可见性(Workspace-Restricted Visibility)的用例仅对其所属工作区的成员可见。这些用例无法被指定工作区之外的用户查看或访问,从而确保数据隔离和保密性。 对于具有工作区限制可见性的用例,如果用户拥有的工作区成员权限与用例所属的工作区存在任何重叠,则该用户可以查看该用例。 要了解更多关于工作区限制可见性,请点击这里。 |