返回文章

AI 自動化

從人工點擊到 AI 自動驗證 — 使用 Playwright 建立自動化測試流程

從 Redmine 取得待測試工單,使用 Playwright 驗證功能、保留測試證據並回寫結果。

完成一項功能的開發,不代表這項功能真的可以正常使用。

在實際的軟體開發過程中,工程師除了需要確認程式碼是否正確,也需要透過實際操作驗證使用者介面、資料處理及各項業務流程。

然而,許多測試工作具有高度重複性。

例如登入系統、進入指定頁面、輸入測試資料、點擊按鈕、確認結果、擷取畫面,再將測試紀錄整理至工單。

既然這些操作都有明確的步驟,那麼是否能夠交由 AI 自動執行?

因此,在建立 AI 自動化開發流程後,我進一步整合 Playwright,讓 AI 參與開發完成後的功能測試。

為什麼選擇 Playwright?#

Playwright 是一套瀏覽器自動化測試工具,可以模擬使用者實際操作網站的行為。

例如:

  • 開啟網頁及登入系統。
  • 操作表單、按鈕及下拉選單。
  • 驗證頁面文字及元件狀態。
  • 擷取測試畫面。
  • 透過不同瀏覽器執行測試。

相較於只測試 API,透過瀏覽器進行端對端測試,可以進一步驗證前端介面、後端服務及資料處理之間的整合結果。

如何讓 AI 自動取得測試任務?#

這套流程與先前的自動化開發使用相同的 Redmine 平台。

當開發任務完成並進入待測試狀態後,AI 便可以透過 REST API 取得對應工單,依照需求及開發說明進行測試。

Redmine 工單狀態選單,顯示待測試、測試中、測試完成與駁回等階段
開發與測試共用工單狀態,將待測試、測試中、完成與駁回作為交接依據。

整體流程可以拆分為五個階段。

第一階段:讀取待測試工單

取得需求描述、開發紀錄、相關功能,以及工單的驗收條件。

第二階段:規劃測試案例

根據工單內容分析需要測試的功能。

例如正常操作、錯誤輸入、必填欄位、邊界條件及可能受到影響的既有功能。

第三階段:使用 Playwright 執行測試

讓 AI 透過 Playwright 開啟指定測試環境,模擬使用者實際操作。

過程中依據測試條件判斷功能是否符合預期。

第四階段:保留測試證據

針對重要操作及測試結果進行截圖,並整理測試步驟、預期結果、實際結果及異常資訊。

若發生問題,後續也可以透過 Playwright Trace、瀏覽器 Console 或網路請求紀錄協助分析。

第五階段:回寫 Redmine

透過 API 將測試說明及執行結果更新至工單,讓需求、開發內容及測試結果能夠集中追蹤。

測試完成後,再依照實際結果與既定流程調整工單狀態。

終端機顯示測試 Skill 的狀態轉換規則與取得待測試議題的步驟
測試 Skill 中的流程規則:接手後先標記測試中,再依驗證結果回寫完成或駁回,並記錄原因。

有截圖,不代表測試通過#

在設計自動化測試時,有一個容易被忽略的問題:

AI 成功操作網頁,並不代表功能符合需求。

假設 AI 測試一個新增訂單功能,它成功填寫表單、點擊送出並擷取畫面,但沒有驗證訂單是否真的建立成功,那麼這個測試其實並不完整。

因此,完整的測試案例應該明確定義:

  • 測試的前置條件。
  • 執行的操作步驟。
  • 輸入的測試資料。
  • 預期結果。
  • 實際結果。
  • 通過或失敗的判斷依據。

在 Playwright 中,也可以透過 Assertion 驗證頁面內容、提示訊息或特定元件的狀態。

截圖是測試證據,驗收條件才是判斷測試是否通過的標準。

終端機顯示 Redmine API 被 Cloudflare 以 403 拒絕,並指出空清單不能當作沒有待測工單,敏感資訊已遮蔽
這次 API 請求被 Cloudflare 以 403 擋下,還沒有接手或執行工單測試。遇到連線錯誤,回傳空清單不代表沒有待測工單,更不能當作測試通過。畫面中的 IP、網域及追蹤識別碼已遮蔽。

將開發與測試串成完整流程#

當 AI 自動化開發與 AI 自動化測試都能透過 Redmine 工單進行整合後,就可以進一步規劃一套完整的開發循環。

由 AI 取得待開發需求,完成程式異動,再交由測試流程執行驗證。

如果測試失敗,則保留問題資訊、調整工單狀態,交回開發階段進行修正。

如果測試通過,則進入人工驗收及後續部署流程。

這種設計的價值,在於每次開發與測試都有相對應的紀錄,而不是只有一個 AI 回覆「已完成」。

自動化測試的下一步#

未來,我希望可以進一步建立可重複使用的測試案例,將重要業務流程納入回歸測試,並與 CI/CD 流程整合。

同時,也可以將測試結果累積成歷史資料,分析容易出現問題的功能及重複發生的錯誤。

我認為 AI 自動化測試的目的並不是完全取代人工測試,而是讓工程師將更多時間投入複雜的業務驗證、例外情境及系統品質改善。

讓 AI 處理重複性的操作,讓人專注於需要判斷的問題。