日前Anthropic執行長阿莫戴突然呼籲ＡＩ業界放慢最先進模型的發展速度。他擔心ＡＩ能力進步太快，尤其ＡＩ開始協助開發下一代ＡＩ之後，可能形成愈跑愈快的循環。幾天內OpenAI執行長阿特曼、馬斯克等人陸續表示認同，ＡＩ安全一下子從少數研究人員的警告，變成社會最熱門的爭論。
不過，ＡＩ發展並沒有因為幾位大老闆喊慢就真的慢下來，OpenAI九月公布，最新模型Astra已經達到「嚴重」等級的網路攻擊能力。Anthropic最新威脅情報報告也指出，已發現ＡＩ被用在網路攻擊、監控、詐騙、影響力操作、生物風險與武器相關活動。更值得注意的是，ＡＩ在網攻中的角色正從幫忙寫程式的「助手」，逐漸變成能夠規劃與執行工作的「指揮者」。
以前談ＡＩ倫理，常想到偏見、隱私、著作權、假新聞，這些問題還在。但ＡＩ代理人出現後，問題更加嚴重，ＡＩ不只回答問題，它開始會自己做事。一個會說錯話的ＡＩ很麻煩，一個會自己採取行動又做錯事的ＡＩ，麻煩大得多。
阿莫戴提出讓外部安全人員進駐ＡＩ公司，取得接近內部員工的資訊與權限，檢查模型到底安不安全，阿特曼也公開支持。這比企業自己發布的安全報告進步很多，但誰去選這些稽核人員？薪水誰付？可以看到多少資料？發現公司不願公開的問題時，有沒有權利向社會大眾公布？
飛機不能由航空公司自己宣布安全，藥品也不能由藥廠自己做完實驗就批准上市。能力愈強的ＡＩ，愈需要真正獨立的第三方測試。加州已經通過建立ＡＩ稽核人員登錄制度的法律，雖然制度還在起步，至少方向已經很清楚。再者，很多企業談負責任的ＡＩ，員工上幾小時倫理課，網站放幾條原則，就算交差。在進入ＡＩ代理人時代後，這遠遠不夠。
真正需要的是責任鏈，ＡＩ替銀行做風險控制，出事誰負責？ＡＩ醫療建議造成傷害，誰要負責？ＡＩ代理人擅自下載資料、寄出郵件甚至發動網攻，又要找誰？如果每家公司都說「那是ＡＩ自己做的」，ＡＩ就會變成最好用的卸責工具。所以每個高風險ＡＩ的動作都應留下紀錄，誰下指令、模型做了什麼、呼叫哪些工具、存取哪些資料、什麼時候有人介入，都要能夠追查。
ＡＩ的極端情況是否真會發生，沒有人知道；把ＡＩ的發展都停下來，也未必合理。ＡＩ可協助新藥研發、教育、製造、能源與科研，因為害怕未知風險就全部禁止，就得不到ＡＩ的好處。重要的是「勿恃敵之不來，恃吾有以待之。」
我們不必每天討論ＡＩ會不會毀滅人類，但可以先處理目前做得到的事。模型上市前做獨立測試，高風險ＡＩ設下門檻，重大事故強制通報，保留完整操作紀錄，讓外部研究者有合理的測試管道，企業主管對隱瞞風險負起法律責任。這些都不是阻止ＡＩ進步，只是ＡＩ產業一定要補上的基本管理。
ＡＩ能力進步得愈快，人類管理ＡＩ的制度就得跟得越快。阿莫戴這次真正值得聽的，也許不是一個「慢」字，而是提醒我們，ＡＩ能力愈來愈強大，ＡＩ的安全與倫理不能只靠私人公司良心。ＡＩ會愈來愈聰明，但決定ＡＩ什麼能做、什麼不能做，最後還是人類的責任。這條界線如果控制不住，越聰明的ＡＩ對人類危害越大。