AI 自動化
從人工點擊到 AI 自動驗證 — 使用 Playwright 建立自動化測試流程
從 Redmine 取得待測試工單,使用 Playwright 驗證功能、保留測試證據並回寫結果。
完成一項功能的開發,不代表這項功能真的可以正常使用。
在實際的軟體開發過程中,工程師除了需要確認程式碼是否正確,也需要透過實際操作驗證使用者介面、資料處理及各項業務流程。
然而,許多測試工作具有高度重複性。
例如登入系統、進入指定頁面、輸入測試資料、點擊按鈕、確認結果、擷取畫面,再將測試紀錄整理至工單。
既然這些操作都有明確的步驟,那麼是否能夠交由 AI 自動執行?
因此,在建立 AI 自動化開發流程後,我進一步整合 Playwright,讓 AI 參與開發完成後的功能測試。
為什麼選擇 Playwright?#
Playwright 是一套瀏覽器自動化測試工具,可以模擬使用者實際操作網站的行為。
例如:
- 開啟網頁及登入系統。
- 操作表單、按鈕及下拉選單。
- 驗證頁面文字及元件狀態。
- 擷取測試畫面。
- 透過不同瀏覽器執行測試。
相較於只測試 API,透過瀏覽器進行端對端測試,可以進一步驗證前端介面、後端服務及資料處理之間的整合結果。
如何讓 AI 自動取得測試任務?#
這套流程與先前的自動化開發使用相同的 Redmine 平台。
當開發任務完成並進入待測試狀態後,AI 便可以透過 REST API 取得對應工單,依照需求及開發說明進行測試。

整體流程可以拆分為五個階段。
第一階段:讀取待測試工單
取得需求描述、開發紀錄、相關功能,以及工單的驗收條件。
第二階段:規劃測試案例
根據工單內容分析需要測試的功能。
例如正常操作、錯誤輸入、必填欄位、邊界條件及可能受到影響的既有功能。
第三階段:使用 Playwright 執行測試
讓 AI 透過 Playwright 開啟指定測試環境,模擬使用者實際操作。
過程中依據測試條件判斷功能是否符合預期。
第四階段:保留測試證據
針對重要操作及測試結果進行截圖,並整理測試步驟、預期結果、實際結果及異常資訊。
若發生問題,後續也可以透過 Playwright Trace、瀏覽器 Console 或網路請求紀錄協助分析。
第五階段:回寫 Redmine
透過 API 將測試說明及執行結果更新至工單,讓需求、開發內容及測試結果能夠集中追蹤。
測試完成後,再依照實際結果與既定流程調整工單狀態。

有截圖,不代表測試通過#
在設計自動化測試時,有一個容易被忽略的問題:
AI 成功操作網頁,並不代表功能符合需求。
假設 AI 測試一個新增訂單功能,它成功填寫表單、點擊送出並擷取畫面,但沒有驗證訂單是否真的建立成功,那麼這個測試其實並不完整。
因此,完整的測試案例應該明確定義:
- 測試的前置條件。
- 執行的操作步驟。
- 輸入的測試資料。
- 預期結果。
- 實際結果。
- 通過或失敗的判斷依據。
在 Playwright 中,也可以透過 Assertion 驗證頁面內容、提示訊息或特定元件的狀態。
截圖是測試證據,驗收條件才是判斷測試是否通過的標準。

將開發與測試串成完整流程#
當 AI 自動化開發與 AI 自動化測試都能透過 Redmine 工單進行整合後,就可以進一步規劃一套完整的開發循環。
由 AI 取得待開發需求,完成程式異動,再交由測試流程執行驗證。
如果測試失敗,則保留問題資訊、調整工單狀態,交回開發階段進行修正。
如果測試通過,則進入人工驗收及後續部署流程。
這種設計的價值,在於每次開發與測試都有相對應的紀錄,而不是只有一個 AI 回覆「已完成」。
自動化測試的下一步#
未來,我希望可以進一步建立可重複使用的測試案例,將重要業務流程納入回歸測試,並與 CI/CD 流程整合。
同時,也可以將測試結果累積成歷史資料,分析容易出現問題的功能及重複發生的錯誤。
我認為 AI 自動化測試的目的並不是完全取代人工測試,而是讓工程師將更多時間投入複雜的業務驗證、例外情境及系統品質改善。
讓 AI 處理重複性的操作,讓人專注於需要判斷的問題。