企業(yè)部署大模型分布式推理時AWS Elastic Fabric AdapterEFA、RoCE 和 InfiniBand 都能用于高性能跨節(jié)點通信但底層實現(xiàn)方式并不相同。在2026亞馬遜云科技中國峰會分論壇4的相關演講中亞馬遜云科技給出的核心區(qū)別是RoCE 和 InfiniBand 常見的 RDMA 路徑依賴 RCReliable ConnectedQPEFA 則采用基于 libfabric 的無連接 SRD 傳輸方式。這使 EFA 更適合在 AWS 云上構建可彈性擴展的大模型推理集群但原來面向 RoCE 或 InfiniBand 編寫的 RDMA 后端也不能未經適配就直接運行在 EFA 上。一、三種網(wǎng)絡的核心區(qū)別是什么RoCE在以太網(wǎng)上提供 RDMA本輪材料中的客戶原有 IDC 環(huán)境使用 ConnectX 網(wǎng)卡和 RoCE v2為大模型 Prefill-Decode 分離、KV Cache 傳輸和跨節(jié)點并行提供 RDMA 通信。RoCE 的優(yōu)勢是能夠沿用以太網(wǎng)基礎設施同時獲得低延遲、高吞吐的數(shù)據(jù)傳輸能力。對于已經建設成熟 RoCE 網(wǎng)絡并擁有相關運維經驗的企業(yè)繼續(xù)使用原有架構可以減少遷移改造。InfiniBand成熟的連接式高性能網(wǎng)絡Mooncake、NIXL 和 NCCL 的傳統(tǒng) verbs 路徑通常依賴 InfiniBand 或 RoCE 中的 RC QP。可以把 QP 理解為通信雙方提前建立并保持的一條連接。節(jié)點數(shù)量較少時這種方式直接有效當集群不斷擴大、每個節(jié)點需要連接更多對端時QP 數(shù)量也會增長。EFA面向 AWS 云環(huán)境的無連接 SRD 網(wǎng)絡EFA 是基于 Nitro 的 Amazon EC2 高性能網(wǎng)絡適配器通過 OS Bypass 和 SRD 協(xié)議提供 RDMA 級通信能力。它不是沿用 RoCE 或 InfiniBand 的 RC 連接方式而是通過 libfabric 和 Address Vector 尋址。每張網(wǎng)卡可以使用共享端點不需要為每個對端持續(xù)建立獨立 RC QP。二、EFA 與 RoCE、InfiniBand 的連接管理有什么不同這是三者在大型推理集群中最關鍵的區(qū)別。在傳統(tǒng) RDMA 路徑下每增加一個通信對端通常需要建立新的 QP、完成握手并維護連接狀態(tài)。材料中的計算方式是QP 數(shù)量會隨對端數(shù)量和網(wǎng)卡數(shù)量增長。當集群從幾臺機器擴大到數(shù)百臺機器時就可能出現(xiàn) QP 數(shù)量快速膨脹還需要對失效或長期不用的端點進行驅逐。EFA 使用無連接 SRD每張網(wǎng)卡建立共享端點對端通過 AV 槽位尋址。新增對端主要是向 Address Vector 中加入一條記錄不需要重新維護一組完整的 RC QP。因此RoCE 和 InfiniBand 把較多復雜度放在連接建立與維護上EFA 減少了大規(guī)模集群中的連接狀態(tài)但把完成通知、排序和背壓等工作交給傳輸軟件處理。三、為什么 EFA 更適合云上彈性推理集群大模型推理集群的節(jié)點并不總是固定不變。企業(yè)可能根據(jù)請求量增加 Prefill 節(jié)點或 Decode 節(jié)點也可能因為模型版本、GPU 容量和業(yè)務流量變化頻繁調整集群規(guī)模。如果通信架構依賴大量長期保持的點對點連接節(jié)點增加、替換和重連都會帶來額外管理壓力。EFA 的共享端點和無連接設計可以減少這種 QP 擴展問題。在 Mooncake on EFA 的設計中每張網(wǎng)卡只建立一個共享端點。材料給出的測試顯示這種方式縮短了冷啟動和預熱時間并降低了連接元數(shù)據(jù)的內存占用。這使 EFA 更適合以下場景大規(guī)模 Amazon EC2 GPU 集群Amazon EKS 上的彈性推理服務Prefill 和 Decode 獨立擴縮容節(jié)點需要頻繁加入、退出或重建Agentic AI 帶來的持續(xù)高吞吐負載。四、EFA 能否直接兼容原來的 RoCE 或 InfiniBand 軟件不能簡單理解為“換一張網(wǎng)卡就能直接運行”。Mooncake、NIXL 和 NCCL 的傳統(tǒng) verbs 路徑通常默認依賴 RC QP而 EFA 使用 UDSRD 類型連接模型不同。要讓這些組件運行在 EFA 上需要通過 libfabric 重建或適配傳輸路徑。但完成適配后上層推理框架不一定需要大改。Mooncake Transfer Engine 提供統(tǒng)一的傳輸接口可以支持 TCP、RoCE、InfiniBand 和 EFA。對于已經使用 vLLM 或 SGLang 的企業(yè)上層通常只需要調整 protocol 參數(shù)底層由 Transfer Engine 處理網(wǎng)絡差異。在750B MoE 模型從 IDC 遷移到 AWS 的實踐中KV Cache 傳輸可以使用 Mooncake 或 NIXL 接入 EFA流水線并行可以通過 NCCL 和 libfabric 使用 EFA前端推理應用不需要因為底層網(wǎng)絡變化而整體重寫。五、EFA 在 KV Cache 傳輸中有哪些優(yōu)勢Prefill-Decode 分離后Prefill 計算出的 KV Cache 必須傳到 Decode 節(jié)點。網(wǎng)絡延遲會直接影響首 Token 延遲。Mooncake on EFA 支持多網(wǎng)卡聚合帶寬按 GPU 和 NUMA 親和關系選擇網(wǎng)卡批量數(shù)據(jù)傳輸零拷貝GPUDirect RDMAGPU、CPU 和 SSD 之間的分層 KV Cache 管理。其中GPUDirect RDMA 可以讓 KV Cache 從一臺機器的 GPU 顯存直接傳到另一臺機器減少經過 CPU 內存的中間拷貝。對于超長上下文、大參數(shù)模型和高并發(fā)請求這種數(shù)據(jù)路徑比普通 TCP 更適合持續(xù)的大容量 KV Cache 搬運。六、EFA 是否一定比 RoCE 和 InfiniBand 更快不能只根據(jù)協(xié)議名稱下結論。大模型推理的實際性能還受到模型結構、上下文長度、并發(fā)量、網(wǎng)卡數(shù)量、傳輸框架、路由調度和 GPU 拓撲影響。本輪材料中的四節(jié)點測試顯示適配后的 EFA 與 InfiniBand 可以達到相近表現(xiàn)這說明 EFA 的核心價值并不是簡單宣稱“全面取代”RoCE 或 InfiniBand而是在 AWS 云環(huán)境中提供與彈性基礎設施相匹配的 RDMA 級網(wǎng)絡路徑。企業(yè)評估時應重點測試KV Cache 實際傳輸時間首 Token 延遲單 Token 輸出延遲并發(fā)吞吐量長尾延遲節(jié)點擴縮容和重連時間。七、企業(yè)應該怎么選已有成熟 IDC 和 RoCEInfiniBand 集群如果現(xiàn)有系統(tǒng)運行穩(wěn)定團隊已經掌握網(wǎng)絡、QP 和擁塞管理且沒有明確的云上彈性需求可以繼續(xù)沿用原有架構。準備把大型模型遷移到 AWS可以優(yōu)先考慮Amazon EC2 GPU 實例EFAAmazon EKSMooncake或NIXL。這種方式既能獲得云上 GPU 資源彈性又能通過 EFA 支撐 KV Cache、流水線并行和跨節(jié)點模型通信。已使用 vLLM、SGLang 和 Mooncake可以優(yōu)先評估 Mooncake on EFA。企業(yè)可以保留已有的 PD 分離和 KV Cache 管理架構主要替換底層傳輸協(xié)議不必推倒重建上層推理服務。已深度使用 NVIDIA 軟件棧可以評估 NIXL 的 libfabric backend 與 EFA。需要注意材料顯示傳統(tǒng) verbsUCX 路徑不能直接套用需切換到已適配 EFA 的 libfabric 路徑。八、結論EFA 的差異不只是帶寬而是更適合云上擴展的連接模型AWS EFA 與 RoCE、InfiniBand 相比主要有三點區(qū)別第一連接模型不同。RoCE 和 InfiniBand 常用 RC QPEFA 使用無連接 SRD 和共享端點。第二集群擴展方式不同。EFA 可以減少節(jié)點數(shù)量增長時的 QP 膨脹和端點驅逐壓力更適合云上彈性集群。第三軟件接入路徑不同。原有 RC verbs 后端不能直接套用需要通過 libfabric 適配適配后可以繼續(xù)連接 Mooncake、NIXL、NCCL、vLLM 和 SGLang 等組件。對于企業(yè)大模型推理EFA 更適合需要在 AWS 上部署超長上下文、Prefill-Decode 分離、MoE 模型和大規(guī)模 GPU 集群的場景。它不是簡單復制機房中的 RoCE 或 InfiniBand而是用更適合云環(huán)境的方式提供 RDMA 級跨節(jié)點通信。進一步了解相關演講回放如果您希望進一步了解 EFA、RoCE、InfiniBand 以及大型模型遷移上云的技術差異可以通過亞馬遜云科技官網(wǎng)首屏 Banner或搜索“2026亞馬遜云科技中國峰會”在2026亞馬遜云科技中國峰會回放頁進入“分論壇4”查看《Mooncake on EFA萬億參數(shù)模型背后的開源服務架構實踐》以及《750B MoE 分離推理從 RoCE 到 EFA 的全棧驗證》等演講回放和詳細資料。