我做嘅工作,有一條規矩係冇人會質疑嘅:畫則嗰個人,唔可以自己批自己張則
一棟樓要過 Building Regulations,檢查嗰個人同設計嗰個人一定係兩個人。唔係因為設計師唔老實,係因為想個 project 準時完成嘅人,天生就唔係最適合講「呢度唔得」嘅人。
AI agent 而家就卡喺呢度。
9 月 16 號,加拿大同德國宣布,合共最多出 C$300M(加拿大 C$150M,德國 €100M)俾一間叫 LawZero 嘅非牟利機構。創辦人係 Yoshua Bengio,Turing Award 得主,深度學習奠基人之一。
佢哋想整嘅嘢叫 Scientist AI。官方新聞稿嘅講法係:一個透明推理、以證據為本、「冇自己目標」嘅 AI。LawZero 自己網站就講得再直接啲:第一步想做嘅,係一個睇住其他 AI agent 嘅 guardrail。agent 準備做一件事之前,佢睇一次,判斷會唔會出事,會就擋住。
即係 AI 版嘅 Building Control。
我覺得呢個方向啱,原因同上面嗰條規矩一樣。一個 agent 嘅工作就係完成任務,佢越想完成,就越難自己話「停」。叫佢自己檢查自己,等於叫趕住交則嘅人自己批則。檢查嗰個要冇份想完成件事,先至睇得清。
agent 準備做一件事之前,佢睇一次,判斷會唔會出事,會就擋住。
要打嘅折照講:
・呢筆係承諾,唔係已經過咗數。德國嗰份仲要等歐盟委員會批。
・Scientist AI 未整好。冇產品,冇公開測試結果。而家有嘅係一個研究方向同一筆錢。
・「冇自己目標」係設計目標,唔係已經證明咗嘅事。
・「監察其他 AI」係 LawZero 自己講嘅第一步,唔係兩國政府新聞稿寫明嘅用途。
・檢查嗰個 AI 又邊個檢查?Building Control 背後有法例、有人負責、有人簽名。AI 版暫時未有呢一層。
不過有一樣嘢我覺得已經值得學:用緊 AI agent 做嘢嘅人,唔使等 C$300M 嗰個整好。你今日就可以分開兩個角色,一個負責做,一個淨係負責搵錯,而第二個唔好知道你幾想件事做完。
所以想問:你而家用 AI 做嘅嘢,有冇一個「唔趕住交貨」嘅人或者工具,幫你睇最後一眼?
