2026年9月美國參議員 Bernie Sanders 與眾議員 Greg Casar 對外披露了一項名為《Ban Artificial Superintelligence Act》的立法計劃。按照目前公開的信息這仍是一份宣布中的立法主張而非已經(jīng)生效的法律它試圖永久禁止人工超級智能的開發(fā)與部署并在聯(lián)邦層面建立起相應安全規(guī)則之前暫停部分先進人工智能的進一步開發(fā)。這顯然是一項政治提案它能否進入正式程序、超級智能究竟該如何定義每個環(huán)節(jié)都存在爭議。反對聲音并不只來自產(chǎn)業(yè)界——一些長期呼吁強化 AI 安全監(jiān)管的研究者同樣認為直接宣布永久禁止過于激進等于用法律封存一個科學界尚未穩(wěn)定定義的對象而支持者的理由同樣成立如果人類真的造出了自己無法控制的系統(tǒng)那時再討論治理可能已經(jīng)失去了討論的資格。但如果把政治立場放到一邊這項提案真正值得被記住的地方也許不是它想禁止什么而是它無意之間暴露出的空缺。當人工智能開始從回答問題走向完成任務從生成文本走向調(diào)用接口、改變狀態(tài)一個過去不必回答的問題被推到了臺面上我們究竟應該控制“智能”還是控制“執(zhí)行”這兩個問題看上去幾乎相同實際上分屬兩種治理哲學。前者關心一個系統(tǒng)能想到什么后者關心它能讓什么真正發(fā)生。一、過去十年的 AI 安全主要在問機器會不會想錯過去十年關于人工智能風險的討論幾乎都圍繞同一個對象展開——模型。模型是否攜帶偏見是否產(chǎn)生幻覺是否泄露隱私是否會被越獄繞過限制是否在誤解指令后輸出危險內(nèi)容。再往深處走是 Alignment機器的目標是否與人的目標一致如果有一天出現(xiàn)比人類更聰明的系統(tǒng)它是否仍然愿意服從人類。這些問題都極其重要。但把它們放在一起觀察會發(fā)現(xiàn)它們共享著一個未被言明的前提風險主要來自機器如何思考。既然風險源自思考治理自然落在思考本身——訓練數(shù)據(jù)、參數(shù)規(guī)模、能力評估、安全對齊、推理過程、能力上限。整個安全議程被組織成了一套圍繞腦的工程。禁止超級智能仍站在這條延長線上推理相當自然如果一個系統(tǒng)強大到我們無法保證它始終可控那么最穩(wěn)妥的辦法就是不要讓這種能力出現(xiàn)。作為預防原則這并不荒謬。問題在于它可能只觸及了風險的一半。因為把風險真正帶進現(xiàn)實世界的從來不是智能本身而是智能獲得了執(zhí)行能力。一個系統(tǒng)想錯了什么和一個系統(tǒng)做成了什么中間隔著一道被長期忽視的門。二、一個錯誤答案與一次錯誤轉(zhuǎn)賬不是同一種風險設想兩個人工智能系統(tǒng)。第一個非常聰明能讀遍全球市場數(shù)據(jù)、解析財報、預測價格每天生成上千條交易建議卻沒有任何賬戶權限不能下單不能轉(zhuǎn)賬不能調(diào)用銀行接口。即使它判斷錯誤風險鏈條上仍然存在一道天然斷點——人必須決定是否執(zhí)行。第二個也許沒那么聰明甚至偶爾會理解錯指令但它能夠直接登錄交易系統(tǒng)、調(diào)用支付接口、操作云基礎設施、修改生產(chǎn)數(shù)據(jù)庫、控制設備狀態(tài)。到這里問題的性質(zhì)已經(jīng)改變。危險不再取決于它到底聰明到什么程度而取決于它能夠讓什么事情真正發(fā)生。我們習慣用能力衡量機器的危險程度但現(xiàn)實系統(tǒng)的風險結(jié)構(gòu)更接近另一個式子風險等于智能能力、執(zhí)行權限、自主程度、作用規(guī)模與作用速度的乘積。任何一個變量抬升都會改變整個風險輪廓而把一次錯誤從信息變成事故的是執(zhí)行。模型可以生成一萬次錯誤答案只要沒有執(zhí)行能力它們始終只是錯誤信息而一個能力平平的模型只需在生產(chǎn)環(huán)境里執(zhí)行一次錯誤的刪除命令就足以造成不可逆的損失。危險程度并不與智能水平完全同構(gòu)。這意味著一件反直覺的事遠低于超級智能門檻的系統(tǒng)完全可能擁有遠高于其智力水平的執(zhí)行風險。如果治理只盯著能力的天花板就會系統(tǒng)性地漏掉今天正在發(fā)生的大多數(shù)事故。三、我們可能正在用“限制大腦”的方式解決“限制手腳”的問題正因如此這場討論最值得深思的地方不在結(jié)論而在本能。當一個系統(tǒng)可能失控時人們第一反應總是不要讓它那么聰明。于是路徑順理成章地指向降低模型能力、限制訓練、限制算力、限制參數(shù)規(guī)模。這些方法有其價值但本質(zhì)上都是在限制腦。現(xiàn)實世界一直存在另一條路線即使一個系統(tǒng)非常聰明也不意味著它必須擁有無限執(zhí)行權。人類社會對此并不陌生。我們不會因為一名員工足夠聰明就允許他獨自調(diào)走一家銀行的全部資金不會因為一位工程師技術出色就允許他毫無邊界地改寫整個生產(chǎn)系統(tǒng)也不會因為 CEO 是最高負責人就讓重大資金、審計與法律程序?qū)λ耆А，F(xiàn)代組織治理的成熟之處恰恰在于把兩件事拆開能力與權力必須分離。一個人能夠做出正確判斷并不等于他應該擁有讓所有判斷直接成為現(xiàn)實的權力。這不是對個人的不信任而是對系統(tǒng)的負責。但在人工智能的工程實踐里我們正把這兩個概念重新混合一邊訓練越來越強大的智能一邊把 API Key、數(shù)據(jù)庫權限、云控制臺權限、資金與設備控制權限不斷交到它手里然后通過提示詞、策略文件或?qū)R訓練告訴它——請正確地使用這些權力。這是一種脆弱的安全結(jié)構(gòu)因為它隱含著一個危險假設只要智能足夠可靠執(zhí)行就可以被信任。而人類幾百年的制度設計恰恰建立在相反的假設之上無論一個主體多么優(yōu)秀都不應該擁有不受約束的最終執(zhí)行權。四、真正成熟的系統(tǒng)不應該要求“永遠正確”工程世界對此有更樸素的表述可靠系統(tǒng)從不建立在組件永遠不會失敗的假設上。飛機不會因為飛行員受過嚴格訓練就取消冗余數(shù)據(jù)中心不會因為服務器優(yōu)良就取消備份金融機構(gòu)不會因為員工通過背景調(diào)查就取消審計核電站更不會因為控制軟件測試充分就假設它永遠不會異常。成熟工程的基本邏輯始終是失敗一定會發(fā)生。因此真正的問題不是如何保證永遠不失敗而是失敗發(fā)生時系統(tǒng)如何阻止它演變成災難。今天的 AI 安全討論正緩慢逼近同一個問題。一個具備自主規(guī)劃能力的 Agent可能在數(shù)百個連續(xù)步驟中完成任務第 1 步正確第 2 步正確第 37 步出現(xiàn)偏差第 38 步基于錯誤狀態(tài)繼續(xù)推理第 39 步調(diào)用真實接口第 40 步改變現(xiàn)實世界。鏈條越長某一步偏離就越接近必然。于是我們要解決的已經(jīng)不只是讓第 37 步不要犯錯——對任何復雜系統(tǒng)而言這幾乎無法長期保證。更現(xiàn)實的問題是在第 39 步發(fā)生之前系統(tǒng)是否還存在一道獨立于模型判斷之外的邊界。這道邊界之所以必須獨立是因為它一旦依附于模型自身的判斷就與錯誤共享了同一個源頭。一個由犯錯者自己看守的關口等于沒有關口。五、未來 AI 治理的核心也許不是“機器能不能想”而是“機器能不能做”順著這條線索AI 治理需要完成一次重心遷移。過去我們習慣問這個模型有沒有危險能力。未來必須繼續(xù)追問它即使擁有危險能力能夠把這種能力轉(zhuǎn)化成什么現(xiàn)實動作。模型可以規(guī)劃一筆支付和模型可以完成一筆支付不是一回事模型可以生成刪除數(shù)據(jù)庫的命令和數(shù)據(jù)庫真的被刪除不是一回事模型可以設計一次網(wǎng)絡攻擊和它獲得憑證、建立連接、真正改寫目標系統(tǒng)同樣不是一回事。這三組對照之間橫著一個長期被軟件世界忽視的層從 Intent 到 Execution。意圖不是執(zhí)行判斷不是執(zhí)行甚至授權本身也不等于執(zhí)行。真正改變現(xiàn)實狀態(tài)的永遠是最后那個瞬間——錢被轉(zhuǎn)走服務器被關閉權限被修改設備開始運動代碼進入生產(chǎn)環(huán)境交易被廣播。現(xiàn)實世界的安全最終都收斂到這個瞬間。一旦承認這一點就會得到一套截然不同的安全哲學不必首先證明機器永遠不會想錯但必須保證想錯的東西不能自動變成現(xiàn)實。前一種邏輯要求我們贏下一場可能沒有終點的認知戰(zhàn)爭后一種邏輯只要求守住一道可以被工程實現(xiàn)的關口。差別不在嚴格程度而在可行性。六、智能邊界越來越難定義執(zhí)行邊界反而可以非常具體可行性正是兩條路線最關鍵的分野。超級智能最大的治理難題之一是定義本身什么時候算 AGI什么時候算 ASI超過人類平均水平算不算超過最優(yōu)秀的專家呢是在所有領域超過還是部分領域超過現(xiàn)有 Benchmark 又是否真能穩(wěn)定衡量這種能力。這也是反對相關立法者的核心質(zhì)疑——如果監(jiān)管對象無法被穩(wěn)定定義法律邊界就很難被真正執(zhí)行。執(zhí)行邊界則完全相反它天然是具體的。一筆支付最高允許多少金額一天累計允許轉(zhuǎn)移多少資產(chǎn)哪些賬戶可以接收資金哪個生產(chǎn)環(huán)境允許被修改什么設備在什么狀態(tài)下才可以啟動哪些動作需要第二主體共同確認哪些命令超過時間窗口自動失效哪些操作無論 AI 如何判斷都不能完成。這些問題不需要回答 AI 到底有沒有意識不需要回答它是不是超級智能甚至不需要理解模型內(nèi)部究竟如何思考。它只需要回答一件事這個動作此刻能不能發(fā)生。我們也許無法定義智能的邊界但完全可以定義執(zhí)行的邊界。這可能是執(zhí)行邊界最重要的價值它把一個高度抽象、甚至可能長期無解的哲學問題轉(zhuǎn)化成了可以被工程化、被審計、被驗證的問題。我們不知道未來的 AI 會聰明到什么程度但完全可以規(guī)定——無論它有多聰明這筆錢不能這樣轉(zhuǎn)。七、“關閉 AI”與“拒絕一次執(zhí)行”是兩個完全不同的治理尺度具體與抽象之外兩條路線還有一個常被忽略的差別治理的顆粒度。如果治理對象是模型可用的措施往往巨大而笨重——禁止訓練禁止部署關閉系統(tǒng)限制算力暫停研發(fā)。它們要么不啟動要么代價高昂中間幾乎沒有過渡態(tài)。而如果治理對象變成執(zhí)行控制就可以細化到每一個具體動作。真正的邊界不該是AI 可以運行與AI 不可以運行之間的二選一。AI 可以分析可以規(guī)劃可以建議可以形成完整的 Intent甚至自由調(diào)用大量低風險工具但當它走到真正的高風險執(zhí)行點時系統(tǒng)必須要求重新證明這個主體是誰這個動作是什么目標對象是什么當前狀態(tài)是什么證據(jù)是否完整是否落在預設邊界之內(nèi)以及最終要執(zhí)行的動作是否仍與最初意圖一致。換句話說未來真正成熟的 AI 治理可能不是一個巨大的總開關而是無數(shù)個極小的執(zhí)行閘門。這個差別至關重要因為文明極少通過全面禁止一種能力獲得長期安全。更多時候我們做的是另一件事允許能力存在但把權力關進結(jié)構(gòu)。電力、汽車、金融、航空、化工無一不是沿這條路徑被馴服的。我們沒有禁止它們變強只是讓它們的每一次作用都必須穿過被設計過的關口。八、我們真正缺少的也許不是更聽話的機器而是“不需要機器永遠聽話”的系統(tǒng)把權力關進結(jié)構(gòu)意味著安全不能再依賴對某個主體的信任。這恰恰是過去幾十年計算機安全最重要的一次覺醒逐漸放棄對可信主體的迷信。Zero Trust 的核心并不是認定所有人都是壞人而是不再把這個人應該可信當作安全機制本身。信任可以是一種判斷但不能是一道防線。同樣的道理會延伸到人工智能。未來 AI 安全真正成熟的標志也許不是我們終于造出了一個百分之百確信永遠服從、永遠正確、永遠善意的系統(tǒng)。這個目標值得追求但一個成熟的社會系統(tǒng)不能把自身安全押在它之上——因為一旦押錯就沒有第二次機會。真正強大的系統(tǒng)應該能夠容納一個更現(xiàn)實、也更謙遜的假設AI 會理解錯誤會產(chǎn)生幻覺會被攻擊策略會寫錯SaaS 會失陷管理員會犯錯人類也會錯誤批準甚至未來某一天機器可能真的聰明到我們無法完全理解它在做什么。而即使以上全部發(fā)生一個錯誤仍然不能因此自動獲得改變現(xiàn)實的最終權力。這才是邊界存在的意義。它保護的不是我們對機器的懷疑而是判斷失效之后仍然可以重來的余地。從可信的人走向可信的結(jié)構(gòu)是所有成熟制度走過的同一條路人工智能不會是例外。九、超級智能也許是未來問題執(zhí)行失控卻已經(jīng)是現(xiàn)在的問題《Ban Artificial Superintelligence Act》最終會走向何處現(xiàn)在遠沒有答案。截至目前它仍是 Sanders 與 Casar 宣布準備推動的立法方案而不是已經(jīng)生效的美國法律圍繞它的爭論也必然繼續(xù)。有人認為這是面對潛在文明級風險時必須采取的預防原則有人認為它會扼殺創(chuàng)新、削弱競爭力并試圖用法律定義一個科學界尚未清晰定義的對象。這些爭論都有其合理之處短期內(nèi)也不會有共識。但也許還有第三個問題值得被放到同一張桌子上如果我們暫時無法決定智能的終點在哪里至少應該開始決定執(zhí)行的邊界在哪里。超級智能可能還在未來Agent 執(zhí)行卻已經(jīng)發(fā)生在今天。AI 正在接觸代碼倉庫、賬戶體系、云平臺、支付系統(tǒng)、企業(yè)流程以及越來越多的現(xiàn)實基礎設施。我們不能等到某個系統(tǒng)被正式定義為超級智能之后才第一次認真追問它究竟擁有什么權力。因為真正決定危險程度的從來不只是一個系統(tǒng)知道多少、理解多少、能夠推理多遠而是它最終能夠讓什么事情發(fā)生。人類文明用了幾百年時間才逐漸學會一件事不要把無限權力交給任何一個主體。無論它是國王、政府、企業(yè)、個人還是未來某個比我們更聰明的機器。這條經(jīng)驗并非來自對人性的悲觀而是來自對復雜系統(tǒng)的誠實——判斷會錯制度必須承接錯誤。所以 AI 時代真正重要的安全問題最終也許并不是我們能不能制造出一個永遠不會犯錯的智能。而是當智能犯錯時我們有沒有能力讓現(xiàn)實拒絕它。