AI Agent 裝備 14 · 唔做嘢就要大聲講
上集講嗰個安全網,做啱咗決定,但報成功。今集講更難捉嗰種⋯佢連決定都冇做過,照樣交貨,而交出嚟嗰件嘢,睇落完全正常。
我有個工具,可以搵返我同 AI 傾過嘅所有對話。八月八號整好,當日試過,啱用。
八月二十四號我先發現,佢由整好嗰日起,一次都冇更新過。
中間十六日,佢照答。你問佢乜佢都搵到嘢,而且搵得好準⋯準到八月八號為止。之後嗰十六日發生過嘅嘢,對佢嚟講唔存在。
而我完全冇懷疑過。因為佢每次都答到嘢。
死因得一行:
d.get("context", "")呢句嘅意思係「攞 context,冇就當空字串」。但個 default 淨係喺條 key 唔存在嗰陣先會出手。當條 key 存在、而個值係 `null`,佢乖乖咁交返 `None` 俾你。下一步當佢係字串嚟用,爆。
每次刷新都爆喺同一句。而個 index 唔會因為刷新失敗就消失⋯佢仲喺度,仲答到嘢,只係停咗喺八月八號。
同一個病,八月三十一號又中一次,喺另一個角落。
我有個 script,攞返 Anzon 批准過同改過嘅文案,叫 DSPy 幫我優化返個寫稿指引。嗰日跑完,張卡更新咗:新時間戳、範例換咗、Anzon 嘅修改意見一條唔少,全部啱。
實情係 OpenAI 個戶口冇咗額,一百幾十個 example 全部都 error 咗。
而張卡入面真正應該被優化嗰段⋯個指引本身⋯一個字都冇變過。
同一個病,八月三十一號又中一次,喺另一個角落。
張卡睇落啱啱優化完。佢冇。
兩單嘢,同一個形狀:
佢哋唔係死咗。佢哋照交貨,而交出嚟嗰件嘢完全似模似樣。
壞咗其實好客氣⋯壞咗會嘈,會紅,會停,你即刻知。靜靜雞唔做係靜嘅。你唯一收到嘅信號,係一個好合理嘅答案,同一個好新嘅時間戳。
呢樣嘢喺 agent 身上特別多,因為 agent 好多嘢都係「攞返嚟再答」:搜尋、索引、記憶、快取、學習。呢啲嘢跳咗步,唔會空白⋯會照答,用舊嘢答。
點裝?三行:
> 1. 新鮮度要寫喺件貨上面,唔係寫喺 log。 答案自己要講「我用緊 08-08 嘅資料」。冇人會為咗一個合理嘅答案去開份 log。
> 2. 部分失敗都係失敗。 一百個 example 有一百個 error,唔應該叫「跑完」。定條線:超過幾多 % 失敗就要嘈。
> 3. 「刷新咗」同「學到嘢」要分開記。 兩件事,兩個時間戳。一個新時間戳只證明佢郁過,唔證明佢做過。
點知裝啱咗?
唔好等佢自然壞。斷佢一條腿,然後睇佢交出嚟嗰件嘢有冇話你知佢跛咗。
拔走個 API key,停咗個 index,改壞一條路徑。跟住淨係做一件事:照平時噉用佢,唔好望 log。
如果你由佢交出嚟嗰件嘢上面睇唔出佢跛咗⋯咁佢已經呃緊你,你只係未撞到而已。
我而家個規矩係:
任何一件「攞返嚟再答」嘅嘢,答案要孭住自己嘅日期。搵唔到就講搵唔到,唔准靜靜雞攞舊嘢頂上。
壞咗會嘈。靜靜雞唔做,唔會。
裝備 15,一三五見。
