雲端產品：AI 輔助的全回歸自動化測試
把既有手動測試案例轉成 Gherkin＋Robot Framework＋Playwright 腳本，每個步驟留存測試前、中、後截圖與錄影，由負責該產品的 QA 逐項覆核後移交維護。
系統架構與資料流
Gherkin 用於描述與核對測試規格；實際執行由 Robot Framework 腳本與三層共用 Keyword 負責，再透過 Browser Library 操作 Playwright。
- 既有手動測例產品需求與既有驗證步驟
- Gherkin 規格描述情境並與測例對照
- Robot 測試腳本AI 協作撰寫，人工審查與維護
- 測試案例Suite、測試資料與 Setup／Teardown
- 業務 Keyword使用者、政策與登入等操作
- 領域 Keyword導覽與產品共用流程
- 技術 Keyword定位、等待、輸入與點擊
- Browser／Playwright由專用測試主機操作 LAB 網站
- 執行產物XML／HTML、截圖與錄影
- 結果分類通過、失敗與略過分開統計
- QA 覆核與移交核對證據與測例後交由 QA 維護
- 規格情境數、可執行腳本數與單次回歸結果是不同口徑；Gherkin 規格不代表每個情境都已執行。
- 此流程在專用測試主機執行，尚未接入 CI。AI Agent 用於開發與維護，執行結果仍以測試報告與證據核對。
本人範圍
開發、驗證、移交與輔導 QA 使用 AI Agent。
做法
- 背景：2021–2023 三次嘗試建立自動化測試（Squash、Selenium、Robot Framework＋Appium），都因支援工作優先、產品版本變動快而無法維護。
- 2026 年改以 Claude Code 協作開發，搭配專屬測試主機與環境；以自適應定位降低小幅介面改動造成的失敗。
- 為避免 AI 偷懶或編造結果，每個測試都必須有截圖與錄影佐證。
驗證方式
截圖、錄影與 HTML 報告由產品負責 QA 逐項覆核。
結果
| 指標 | 數值 | 出處 | 資料來源 |
|---|---|---|---|
| 雲端產品全回歸（2026-07-02） | 541 個案例，2 小時 23 分 | Robot Framework 報告 | 系統紀錄 |
| 人工執行同範圍回歸 | 約 2 週 | 本人估計 | 本人估計 |
| 相關投入工時 | 280.5 h | 工時表，2026 | 系統紀錄 |
| 工時拆分：本人／AI 執行 | 本人約 82 h、AI 執行約 199 h | 本人估計；2025-02-22 起依當期人機比例拆分，僅計公司登記工時 | 本人估計 |
限制與後續
需要手機實機、硬體或特殊環境的案例未納入這次自動執行。每次全回歸產生約 5 GB 截圖與錄影佐證，在專用測試主機執行，尚未接入 CI。
使用技術
- Robot Framework
- Playwright
- Gherkin
- Claude Code