自動化 GUI 測試主流技術路線
1. Selenium WebDriver
瀏覽器級自動化標準,支持多語言綁定,通過 JSON Wire Protocol / W3C WebDriver 協議驅動真實瀏覽器,適合 Web 應用端到端測試。
2. Sikuli 圖像識別腳本
基於 OpenCV 模板匹配,通過截圖定位 GUI 元素,無需 DOM/選擇器,可自動化桌面應用、遊戲、遠程桌面等無標識界面。

3. DOM 操作與 JS Bridge
- DOM API:在瀏覽器上下文注入 JavaScript,直接操作 document 節點,繞過 WebDriver 開銷。
- JSBridge:Native App 與 WebView 雙向通信通道,實現原生功能調用(如支付、分享、獲取設備信息)。
4. 瀏覽器技術內核
理解 Chromium 多進程架構、渲染管線、V8 執行上下文,有助於定位自動化失效根因(如 Shadow DOM、Cross-origin iframe、DevTools Protocol 變更)。
參考資源
- 《零成本實現 Web 自動化測試》— 溫素劍
- Selenium 官方文檔 / SikuliX GitHub