ChatGPT生成测试用例的最佳实践(三)
还记得在第1章,我们利用ChatGPT生成的业务用例吗?这种业务用例生成方式其实和场景法用例设计十分相似,我们是不是也可以直接将业务用例输入ChatGPT,让它输出测试用例呢?笔者输入相关提示词让其补充以需求规格说明书中的业务用例为依据的测试用例,ChatGPT输出如图3-5所示。
图3-5 ChatGPT输出的部分基于需求规格说明书中的业务用例补充的测试用例
以下为ChatGPT输出的完整的基于需求规格说明书中的业务用例补充的测试用例。
ChatGPT
输出的完整的基于需求规格说明书中的业务用例补充的测试用例
根据业务用例UC-01,以下是一些与该用例相关的测试用例,以确保百度关键字搜索功能的正确性和完整性:
测试编号
测试目标
前置条件
测试步骤
预期结果
TC019
基本关键字搜索 - 有效输入
用户已进入百度搜索页面
1. 在搜索框中输入一个有效关键字(例如:"测试")。<br> 2. 点击搜索按钮。
显示与关键字相关的搜索结果页面。
TC020
基本关键字搜索 - 多个有效输入
用户已进入百度搜索页面
1. 在搜索框中输入多个有效关键字(例如:"软件测试方法")。<br> 2. 点击搜索按钮。
显示与多个关键字相关的搜索结果页面。
TC021
基本关键字搜索 - 无相关结果
用户已进入百度搜索页面
1. 在搜索框中输入一个关键字,但系统无法找到相关结果(例如:"未知关键字")。<br> 2. 点击搜索按钮。
显示相应的通知给用户(例如:"未找到相关结果")。
TC022
基本关键字搜索 - 取消搜索
用户已进入百度搜索页面
1. 在搜索框中输入一个有效关键字(例如:"测试")。<br> 2. 在搜索操作执行前取消搜索操作。
搜索操作被取消,用例结束。
TC023
基本关键字搜索 - 多次搜索
用户已进入百度搜索页面
1. 在搜索框中输入一个有效关键字(例如:"测试")。<br> 2. 点击搜索按钮。<br> 3. 重复步骤1和2多次。
搜索结果正确显示,搜索历史被保留。
TC024
基本关键字搜索 - 边界值测试
用户已进入百度搜索页面
1. 在搜索框中输入一个极小的关键字(例如:"a")。<br> 2. 点击搜索按钮。
显示与关键字相关的搜索结果页面。
TC025
基本关键字搜索 - 边界值测试
用户已进入百度搜索页面
1. 在搜索框中输入一个极长的关键字(超出限制字符数,例如:"a" * 1000)。<br> 2. 点击搜索按钮。
显示错误消息提示。
这些测试用例覆盖了主要业务用例UC-01中的不同情况,包括有效输入、无相关结果、取消搜索操作、多次搜索以及边界值测试。它们有助于验证百度关键字搜索功能是否按照规格说明书的要求正常运行。
ChatGPT根据业务用例UC-01补充了测试用例,这使得测试用例在操作流程的使用场景方面覆盖得更加全面。
4) 用例评审和改进:对测试用例的评审和改进是确保软件质量的关键环节。结合前面ChatGPT生成的功能和安全测试用例,进行测试团队内部测试用例评审,在进行内部评审时,测试团队成员发现以下问题。
- 有的测试用例的测试步骤中夹杂着<br>HTML标签。
- 有的测试用例的测试步骤仅有1个步骤,却有序号。
- 有的测试用例重复,如TC001(参见图3-3)和TC019测试用例就非常相似。
- 有的测试用例不一定包含真实数据库表,如TC011 SQL注入攻击测试用例,可能就不存在users表等,需要和研发人员进一步确认是否存在该表。
- 存在文本输入域需明确的情况,如关键字文本输入框中的最大输入字符数是1000个吗?是允许输入1000个英文字符,还是1000个中文或英文字符?这些需要和产品人员进一步明确。
限于篇幅,笔者只罗列几点内容,测试团队针对评审意见进行了相关测试用例的问题修正与疑问明确,经过测试用例去重以后,形成基于百度关键字搜索业务的功能和安全测试用例集,如表3-1所示。
表
3-1
基于百度关键字搜索业务的功能和安全测试用例集
测试编号 |
测试目标 |
前置条件 |
测试步骤 |
预期结果 |
TC001 |
搜索输入框合法关键字的测试 |
用户打开百度搜索页面 |
1. 在搜索输入框中输入一个有效关键字(例如:"测试") 2. 点击搜索按钮 |
显示搜索结果页面。 |
TC002 |
搜索输入框多个合法关键字的测试 |
用户打开百度搜索页面 |
1. 在搜索输入框中输入多个有效关键字(例如:"软件测试 方法") 2. 点击搜索按钮 |
显示搜索结果页面。 |
TC003 |
搜索输入框包含特殊字符的测试 |
用户打开百度搜索页面 |
1. 在搜索输入框中输入特殊字符(例如:"#$%^") 2. 点击搜索按钮 |
显示错误消息提示。 |
TC004 |
基本关键字搜索 - 无相关结果 |
用户已进入百度搜索页面 |
1. 在搜索框中输入一个关键字,但系统无法找到相关结果(例如:"未知关键字")。 2. 点击搜索按钮。 |
显示相应的通知给用户(例如:"未找到相关结果")。 |
TC005 |
基本关键字搜索 - 取消搜索 |
用户已进入百度搜索页面 |
1.在搜索框中输入一个有效关键字(例如:"测试")。 2. 在搜索操作执行前取消搜索操作。 |
搜索操作被取消,用例结束。 |
TC006 |
基本关键字搜索 - 多次搜索 |
用户已进入百度搜索页面 |
1.在搜索框中输入一个有效关键字(例如:"测试")。 2. 点击搜索按钮。 3. 重复步骤1和2多次。 |
搜索结果正确显示,搜索历史被保留。 |
TC007 |
基本关键字搜索 - 边界值测试 |
用户已进入百度搜索页面 |
1.在搜索框中输入一个极小的关键字(例如:"a")。 2. 点击搜索按钮。 |
显示与关键字相关的搜索结果页面。 |
TC008 |
基本关键字搜索 - 边界值测试 |
用户已进入百度搜索页面 |
1.在搜索框中输入一个极长的关键字(超出限制字符数,例如:"a" * 1000)。 2. 点击搜索按钮。 |
显示错误消息提示。 |
TC009 |
搜索建议显示测试 |
用户打开百度搜索页面 |
在搜索输入框中输入部分关键字(例如: "测") |
显示搜索建议列表。 |
TC010 |
搜索建议多个部分关键字的测试 |
用户打开百度搜索页面 |
在搜索输入框中输入多个部分关键字(例如: "软件测") |
显示搜索建议列表。 |
TC011 |
针对搜索结果的验证 |
用户输入合法关键字并点击搜索按钮 |
检查搜索结果页面 |
显示相关的搜索结果。 |
TC012 |
下一页按钮测试 |
用户输入合法关键字并点击搜索按钮 |
点击下一页按钮 |
显示下一页的搜索结果。 |
TC013 |
上一页按钮测试 |
用户输入合法关键字并点击搜索按钮 |
点击上一页按钮 |
显示上一页的搜索结果。 |
TC014 |
按相关性排序测试 |
用户输入合法关键字并点击搜索按钮 |
选择按相关性排序 |
结果按相关性排序。 |
TC015 |
按时间排序测试 |
用户输入合法关键字并点击搜索按钮 |
选择按时间排序 |
结果按时间排序。 |
TC016 |
SQL注入攻击测试 |
用户在搜索输入框中输入恶意SQL查询(例如: "'; DROP TABLE Users --") |
检查搜索结果或页面行为 |
拒绝查询并显示错误消息。 |
TC017 |
XSS攻击测试 |
用户在搜索输入框中输入包含XSS脚本的关键字(例如: "<script>alert('XSS Attack')</script>") |
检查搜索结果或页面行为 |
过滤并显示普通文本。 |
TC018 |
搜索输入框的最小边界值测试 |
用户打开百度搜索页面 |
在搜索输入框中输入一个空格 |
显示搜索建议或搜索历史。 |
TC019 |
搜索输入框的最大边界值测试 |
用户打开百度搜索页面 |
在搜索输入框中输入一个长字符串,超出限制字符数(例如:1000个字符,500个汉字) |
显示错误消息提示。 |
TC020 |
搜索建议的最小边界值测试 |
用户打开百度搜索页面 |
在搜索输入框中输入一个字符(例如:"a") |
显示搜索建议列表。 |
TC021 |
搜索建议的最大边界值测试 |
用户打开百度搜索页面 |
在搜索输入框中输入多个字符,但不足以显示搜索建议(例如:"abcde") |
不显示搜索建议列表。 |
TC022 |
搜索结果的最小边界值测试 |
用户输入合法关键字并点击搜索按钮 |
检查搜索结果页面 |
显示相关的搜索结果。 |
TC023 |
搜索结果的最大边界值测试 |
用户输入合法关键字并点击搜索按钮 |
输入关键字,使得搜索结果数超过限制(例如:超过1000个结果) |
显示错误消息提示。 |
通常情况下还应该进行测试用例外不评审。将已完成的基于百度关键字搜索业务的功能和安全测试用例集的存放位置告知项目团队成员,需要预留出一定的时间,便于项目组研发、产品人员阅读,以免在项目团队测试用例评审会议上占用过多时间熟悉相关测试用例内容。在项目团队测试用例评审会议上,相关人员积极进行测试用例评审,提出如下几点意见。
1) 针对测试用例TC008、TC019和TC023,产品人员对搜索输入框的字符进行了明确,即无论是中文字符还是英文字符,最大输入的字符数就是100个,无论是中文字符、英文字符或者中英文字符混合,都需要前后端做校验,若前端输入超过100个字符,则自动截取前100个字符。
2) 针对测试用例TC016,产品人员对需求进行了明确,即将SQL注入的语句进行过滤处理,将其作为普通文本处理,同时后端研发人员也明确users表存在。
3) 针对测试用例TC023,产品人员对需求进行了明确,即搜索结果数没有限制。