Ethernet vs InfiniBand：AI GPU Cluster 高速網路怎麼選？｜技術年份：2023

當 AI Training 從幾台 GPU Server 擴展到數百、數千甚至更大型的 GPU Cluster 後，Scale-Out Network 會直接影響 GPU Utilization、Collective Communication 與整體 Job Completion Time。

目前 AI Backend Network 最常討論的兩大方向就是：

InfiniBand

與：

Ethernet-based AI Networking

但這並不是「一個專業、一個普通」的簡單比較。

InfiniBand 本身就是為高效能、低延遲 RDMA Fabric 發展的互連架構；Ethernet 則透過 RoCE、AI-optimized Congestion Control、Multipathing 與 Ultra Ethernet 等技術，持續強化 AI／HPC Scale-Out 能力。IBTA 與 UEC 的官方資料都將 RDMA、低延遲、高頻寬與大規模運算列為現代 AI Network 的重要核心。

因此真正的問題不是：

「Ethernet 還是 InfiniBand 哪個比較快？」

而是：

哪一種 Fabric 更符合 GPU Cluster 對 Performance、Latency、Congestion、Operations、Ecosystem、Cost 與 Scale 的需求？

Ethernet vs InfiniBand 快速比較

項目	InfiniBand	Ethernet-based AI Network
主要定位	高效能 RDMA Fabric	通用 Ethernet 延伸至 AI／HPC Fabric
RDMA	原生架構核心能力	可透過 RoCEv2、UEC Transport 等方式實現
Latency	極低，針對 HPC／AI 優化	經 AI-optimized Ethernet 可達低延遲設計
Congestion Control	Fabric 原生機制、Adaptive Routing 等	依 RoCE／UEC／Vendor Architecture 設計
In-Network Computing	可支援 SHARP 等方案	依平台與實作而定
IP / Ethernet Ecosystem	獨立 InfiniBand Fabric	可延續 Ethernet／IP 生態
Multi-Vendor Ecosystem	有正式 IBTA 生態與互通規範	Ethernet 生態非常廣，UEC 強調開放互通
Network Operations	需 InfiniBand 專業管理能力	對既有 Ethernet 團隊通常較熟悉
典型應用	HPC、Large-Scale AI Training	Cloud AI、Hyperscale AI、AI Ethernet Fabric
選型核心	極致 Performance、成熟 RDMA Fabric	開放生態、可擴展性、既有 Ethernet 整合

這張表不是在說所有 InfiniBand 一定比所有 Ethernet 快，也不是說 Ethernet 一定成本較低。

實際 Performance 與 TCO 都取決於：

**NIC / SuperNIC

• Switch
• Topology
• Congestion Control
• RDMA Stack
• Cable / Optics
• Software
• Cluster Scale**

共同決定。

RDMA 為什麼是 AI Network 的核心？

AI Training 的 GPU 之間經常需要進行大量：

• AllReduce
• AllGather
• ReduceScatter
• Gradient Exchange
• Tensor Data Transfer

如果資料傳輸必須大量經過 CPU、Operating System 與傳統 Software Stack，會增加 CPU Overhead 與 Latency。

RDMA（Remote Direct Memory Access）的核心價值，是讓遠端系統能更直接地進行 Memory-to-Memory Data Movement，降低 CPU 介入與資料搬移成本。IBTA 將 InfiniBand 定位為高頻寬、低延遲 RDMA Interconnect，並指出 RDMA 能降低 CPU Overhead 與 Latency；RoCE 則將 RDMA 能力延伸到 Ethernet。

所以：

InfiniBand 有 RDMA，但 RDMA 不等於 InfiniBand。

Ethernet 同樣可以使用：

RoCE — RDMA over Converged Ethernet

其中 RoCEv2 可跨 Layer 3 Routed Network 運作，讓 RDMA 更容易延伸至大型 Ethernet Data Center Architecture。

InfiniBand 的優勢在哪？

InfiniBand 從設計上就是高效能 Computing Fabric，而不是後來才把一般 LAN 改成 HPC Network。

它的重要特性包括：

**RDMA

• Low Latency
• Adaptive Routing
• Congestion Control
• Quality of Service
• High-Speed Fabric Management**

部分 InfiniBand 平台還加入：

In-Network Computing

例如 NVIDIA Quantum InfiniBand 的 SHARP，可直接在 Network Fabric 中協助 Collective Reduction Operation，降低部分資料必須全部送回 Host 再處理的負擔。

因此 InfiniBand 特別適合：

• 大型 AI Training Cluster
• HPC
• Highly Synchronized GPU Workloads
• 對 Tail Latency 非常敏感的 Workload
• 對 Collective Communication 效率要求高的系統

截至目前，IBTA 的新一代 XDR InfiniBand Architecture 已進一步支援 200Gb/s per Lane，可形成 800Gb/s 等級 Server Connectivity，並朝更高頻寬 Fabric 發展。

但 InfiniBand 的代價是：

它是一套獨立的高效能 Fabric Ecosystem。

企業如果原本主要使用 Ethernet，導入 InfiniBand 時還需要考慮：

**Switch

• Adapter
• Fabric Management
• Network Skill Set
• Operations
• Spare Parts
• Vendor / System Architecture**

等完整系統成本。

Ethernet 為什麼開始大量進入 AI GPU Cluster？

Ethernet 最大的優勢不是「便宜」。

真正的重要性在於它已經擁有非常龐大的：

**Network Ecosystem

• IP Architecture
• Operations Experience
• Switch Silicon
• Optics
• Cable
• Multi-Vendor Supply Chain**

過去一般 Ethernet 對 AI Backend 的主要挑戰包括：

• Congestion
• Packet Loss
• Tail Latency
• Incast
• Uneven Multipath
• Large Collective Traffic

而 AI Ethernet 的發展方向，就是針對這些問題進行優化。

2023 年成立的 Ultra Ethernet Consortium 明確將目標設定為建立適合 AI／HPC Scale-Out 的完整 Ethernet Communication Architecture，特別處理高頻寬密度、Multipathing、Congestion Reaction 與 Tail Latency 等問題。

到了 2025-06-11，UEC 正式發布 Ultra Ethernet Specification 1.0，內容涵蓋：

**Modern RDMA

• Congestion Control
• Multipathing
• API
• Ethernet Link / PHY
• Security
• Management**

並以開放、可互通及大規模 AI／HPC Network 為設計方向。

因此今天討論：

Ethernet vs InfiniBand

已經不能把 Ethernet 想成傳統 Office LAN。

AI-optimized Ethernet 已經是專門為大型 GPU Scale-Out Fabric 發展的重要技術路線。

RoCE Ethernet 和 Ultra Ethernet 是同一件事嗎？

不是。

兩者都屬於 Ethernet-based High-Performance Networking，但不是完全相同的技術架構。

技術	核心概念
RoCE	在 Ethernet 上實現 RDMA
RoCEv2	讓 RDMA over Ethernet 可透過 IP / Layer 3 Routing 擴展
Ultra Ethernet	針對 AI／HPC 重新優化 Transport、Congestion、Multipath 與完整 Communication Stack
Traditional Ethernet	一般 Data Center／Enterprise Ethernet 基礎

IBTA 負責推進 RoCE Specification，而 Ultra Ethernet Consortium 則以 AI／HPC Workload 為目標建立新的 Ethernet-based Communication Architecture。

因此不能把：

Ethernet = RoCE = Ultra Ethernet

全部視為完全相同。

AI GPU Cluster 真正怕的是 Congestion

AI Training Traffic 和一般 Data Center Traffic 有一個很大的差異：

大量 GPU 可能在非常接近的時間，同時交換大量資料。

這會產生：

Incast
Hotspot
Queue Buildup
Tail Latency

如果其中幾條 Flow 被延遲，其他 GPU 可能也必須等待同步。

因此 AI Backend Network 不只需要：

High Bandwidth

還需要：

**Predictable Performance

• Low Tail Latency
• Fast Congestion Response
• Efficient Multipathing**

UEC 將 Congestion Control 與 Multipathing 列為 AI／HPC Ethernet Architecture 的核心技術之一；InfiniBand 平台則長期發展 Adaptive Routing、Congestion Control 與 Fabric-Level Optimization。

所以高速 Port 如果只有：

400G、800G

但網路架構無法有效管理 Congestion，GPU 仍可能因等待 Network 而降低利用率。

Ethernet vs InfiniBand 到底怎麼選？

比較實際的選型方式不是直接選品牌或 Protocol，而是先看 Workload。

使用條件	較值得優先評估
追求成熟、高效能 RDMA Fabric	InfiniBand
大型 HPC / Highly Synchronized AI Training	InfiniBand 很有競爭力
既有大量 Ethernet Infrastructure	AI Ethernet
Cloud / Hyperscale Multi-Tenant Environment	AI Ethernet
重視 Multi-Vendor Ethernet Ecosystem	Ethernet／UEC方向
需要 RDMA 但希望維持 Ethernet Architecture	RoCE／AI Ethernet
重視極致 Collective Communication Optimization	需比較 InfiniBand 與實際 AI Ethernet Platform
需要混合一般 Network 與 AI Network Operations	Ethernet通常較容易整合既有體系
新建大型 AI Factory	兩者都應依 Workload、Scale、TCO 實測評估

值得注意的是，連 NVIDIA 本身目前也同時提供：

Quantum InfiniBand

與：

Spectrum-X Ethernet

兩種 AI Networking Platform，而不是只押注單一 Network Architecture。NVIDIA 將兩者都定位為大型 AI Training 與 Inference 的 Accelerated Networking Solution。

這也說明：

市場不存在「所有 AI Cluster 都應該只用 InfiniBand」或「Ethernet 一定會取代 InfiniBand」這種簡單答案。

Cable、Connector 與 Optical 架構會因兩者不同嗎？

在 Physical Layer 層級，Ethernet 與 InfiniBand 都需要：

Switch
→ High-Speed Port
→ Cable / Optical Module
→ NIC / Adapter

而高速互連媒介可能包括：

DAC
AEC
AOC
Optical Transceiver + Fiber

因此從 Cable／Connector 角度來看，真正需要確認的是：

• Port Form Factor
• Data Rate
• Lane Rate
• Protocol Compatibility
• Cable Reach
• FEC
• Signal Integrity
• Optical Wavelength / Module Standard
• Host / Switch Compatibility

SyncTronics 官網現有高速傳輸線產品即包含 SFP28、QSFP28、QSFP56 等高速 Cable Assembly，並依產品與設備架構支援 Ethernet 或 InfiniBand 等高速應用。

所以不能只看到：

QSFP

就認為 Ethernet 與 InfiniBand Cable 一定可以任意互換。

即使 Mechanical Form Factor 相同，也仍需確認：

**Protocol

• EEPROM / Firmware
• Lane Mapping
• Data Rate
• FEC
• Equipment Compatibility**

Ethernet vs InfiniBand 核心結論

如果只記住五件事：

第一，InfiniBand 是原生為高效能 RDMA Fabric 發展的互連架構，長期應用於 HPC 與大型 AI Cluster。

第二，Ethernet 可以透過 RoCE 提供 RDMA，而 Ultra Ethernet 更進一步針對 AI／HPC 的 Congestion、Multipath、Latency 與 Scale 重新優化。

第三，InfiniBand 的強項是成熟的高效能 Fabric 與 Collective Communication Optimization；Ethernet 的重要優勢則是龐大的 IP／Ethernet Ecosystem、Operations Experience 與開放互通發展方向。

第四，Ethernet 並不代表沒有 RDMA，InfiniBand 也不代表所有情況一定比較快。

第五，真正的選型必須依 Workload、GPU Scale、Latency、Congestion、Topology、Operations、Cost 與完整 TCO 決定。

因此 AI GPU Cluster 的 Network Architecture 應該一起評估：

**GPU Scale

• Collective Communication
• RDMA
• Latency
• Congestion Control
• Network Topology
• NIC / DPU
• Switch
• Cable / Optics
• Operations
• TCO**

而不是只問：

「Ethernet 還是 InfiniBand？」

真正好的 AI Network，是讓 GPU 花更多時間運算，而不是等待網路。

SyncTronics 解决方案

AI GPU Cluster 的高速互連不只涉及 Ethernet 或 InfiniBand Protocol 選擇，還需要同時確認 Port Type、Lane Rate、Cable Length、DAC／AEC／AOC／Optical Architecture、Signal Integrity 與設備相容性。SyncTronics 可依 AI Server、GPU Cluster、Networking 與 Data Center 專案需求，協助進行高速 Cable、Connector 與電子互連方案的規格確認與客製化評估。

相關延伸文章

• AI 資料中心 Scale-Up vs Scale-Out 是什麼？GPU 高速網路架構完整解析
• AI 資料中心高速傳輸完整解析：400G、800G、1.6T 與下一代網路架構
• AI 資料中心高速線材怎麼選？DAC、AEC、AOC、光模組與高速互連比較
• 200G/Lane 是什麼？800G、1.6T 高速互連為什麼需要更高 Lane Rate？

有線束、連接器、機電元件或客製化需求？歡迎與我們聯絡
如果您正在尋找合適的連接器、線材、線束加工、機電元件或電子互連解決方案，無論是產品選型、規格確認、少量試產（NPI）、OEM／ODM 客製化，或高速傳輸、高可靠度等特殊應用需求，金譽電子科技 可提供專業技術支援與評估。
歡迎前往【聯絡我們】頁面，留下您的需求與聯絡資訊。我們將以專業且快速的服務回覆您的需求，根據您的產品規格、應用需求與專案條件，協助評估最適合的產品與電子互連解決方案，並提供相關技術建議與客製化支援，協助您縮短選型與開發時間、降低專案風險，讓產品更順利導入量產。期待有機會與您合作，為您的每一項專案需求提供值得信賴的技術支援與解決方案。

免責與交流聲明
本內容係依公開資訊與產業經驗整理，僅供技術交流參考，不構成任何商業、技術或法律之建議或依據。內文所述之規格、材料、製程、應用方式及相關資訊，可能因設計條件、環境因素或使用情境不同而有所差異，相關內容不保證其完整性、正確性或適用性。
讀者應視實際應用情境，與相關設計或技術負責人員確認適用性，並自行評估相關風險。