AI-101 Day 43:Computer-use Agent
🎓 AI-101 ｜ Day 43:Computer-use Agent⋯AI 睇住個 screen,自己㩒 mouse
Day 40 講 agent 個迴圈:諗 → 做 → 睇 → 再諗。今日講當「做」嗰一步唔係 call API,而係郁你隻滑鼠。
🖱 佢實際上係點運作?
一個迴圈,四步:
截圖 → 將張圖連同你條任務一齊send俾模型 → 模型吐返一個動作(「click (734, 218)」、「type 『hello』」、「scroll down」)→ 本機程式真係去做 → 再截圖。
重點同 Day 40 一樣,而且更加要記住:模型郁唔到任何嘢。 佢由頭到尾只係輸出文字,講「我想撳呢個位」。真係去郁隻滑鼠嘅,係外面嗰個程式。
所以「佢做到啲乜」呢條問題,答案唔喺模型度⋯喺你俾唔俾佢郁隻滑鼠。
📍 難喺邊?難喺佢要講座標
寫字嗰陣,錯少少都仲有意思。但撳 (734, 218) 同撳 (734, 260) 可以係「儲存」同「刪除」嘅分別。
而且模型見到嘅通常唔係你原本解像度⋯張圖會縮細先send(唔縮嘅話又慢又貴),於是佢俾嘅座標要換算返去真實螢幕。呢個換算一錯,佢就會成日撳偏。你部機開咗 125% 縮放?又要再算多次。
重點同 Day 40 一樣,而且更加要記住:模型郁唔到任何嘢。
⏱ 第二個難處:每一步都係一次完整來回
每一步都要上載一張截圖。一個二十步嘅任務 = 二十張圖、二十次來回。所以佢慢,而且成本同步數成正比,唔係同難度成正比。
⚠️ 第三個,最要命:冇 undo
寫錯一句字,你重寫。撳錯一個掣,可能已經寄咗、刪咗、買咗。GUI 冇「試下先」呢回事。
🔧 我哋自己部機上面就有一個,講返幾個實際決定:
- 一定要有人睇住⋯唔准無人狀態下跑
- 一個物理煞掣⋯隻滑鼠撞去螢幕左上角就即刻中止(唔使靠佢自己聽話)
- 步數上限(預設 30)⋯迴圈唔識自己停,呢個係 Day 40 講過嘅嘢
- 第一個動作之前要你㩒 y⋯唔係每一步都問,咁會煩到你唔想用
仲有一個現實限制:呢個要用 Messages API 先玩到,Claude Code 個 CLI 冇開放呢個工具。而視覺模型要跑喺雲端⋯6GB 記憶體嘅手提電腦,host 唔到。
🧭 咁幾時應該用?
有 API 就唔好用佢。 一個 API call 零點幾秒、準確、可重試;computer use 慢十倍以上,而且會撳錯。
佢真正嘅價值喺一個位:好多軟件根本冇 API。舊系統、內部工具、供應商個網頁⋯你只有一個畫面。
📌 Takeaway:computer use 係「最後手段嘅 API」。唔係因為佢叻,而係因為有啲門,除咗行過去推,冇第二個方法開。
