AI 伺服器高速互連技術解析：從 GPU、HBM 到 CPO 與光纖傳輸｜技術年份：2026

AI 伺服器的效能不只取決於 GPU 運算能力，資料能否快速地在 HBM、GPU、CPU、NIC、交換器與其他 GPU Node 之間移動，同樣會影響整體 AI Training 與 Inference 效率。

因此，現代 AI Server 的高速互連已形成多層架構：GPU 先從 HBM 取得資料，再透過 PCIe、GPU Interconnect 等介面與其他元件交換資料；當運算規模從單台伺服器擴展到 Rack、Cluster 甚至大型 AI Data Center，資料還需要經由 NIC／DPU、Network Switch、高速銅纜、光模組、CPO 與 Optical Fiber 傳送到其他運算節點。

以 NVIDIA Vera Rubin 為例，Rubin GPU 已採用 HBM4；Vera Rubin NVL72 則利用 NVLink 6 建立 Rack 內 Scale-Up 互連，再透過 Spectrum-X Ethernet 或 InfiniBand 向外進行 Scale-Out，反映 AI 系統正在從單一 GPU 效能轉向完整高速互連架構。

AI 伺服器的高速互連到底在傳什麼？

AI 模型運算過程會持續產生大量資料交換，例如：

• Model Parameters
• Tensor Data
• Activations
• Gradients
• KV Cache
• Training Dataset
• Checkpoint
• GPU-to-GPU Data

但這些資料並不是全部走同一條傳輸路徑。

AI Server 高速互連更適合看成一個由內而外的「資料頻寬階層」。

互連層級	主要技術	主要任務
GPU ↔ Memory	HBM	GPU 高頻寬存取運算資料
CPU ↔ GPU／Device	PCIe、C2C Interconnect	Host、GPU、NIC、SSD 等資料交換
GPU ↔ GPU	NVLink 等 Scale-Up Interconnect	多 GPU 高頻寬協同運算
Server ↔ Network	NIC、SuperNIC、DPU	將伺服器資料送入高速網路
Server／Rack ↔ Switch	DAC、AEC、AOC、Optical Transceiver	建立實體高速連線
Switch ↔ Optical Network	Pluggable Optics、CPO	完成高速電訊號與光訊號轉換
Rack／Data Center ↔ Rack／Data Center	Optical Fiber	進行高頻寬、較長距離傳輸

因此，「AI Server 高速互連」並不是單一 Cable 或單一介面，而是從晶片與記憶體一路延伸到資料中心網路的完整 Data Path。

HBM 為什麼對 GPU 效能這麼重要？

GPU 擅長大量平行運算，但運算核心必須持續取得模型參數與資料。

如果 GPU 運算能力增加，記憶體頻寬卻無法同步提升，GPU 就可能因等待資料而無法充分發揮運算能力。

HBM（High Bandwidth Memory）的角色，就是在 GPU 附近提供高頻寬記憶體存取能力。

NVIDIA Rubin GPU 已導入 HBM4。NVIDIA 說明 HBM4 相較 HBM3e 擴大了介面寬度，Rubin 也透過新的記憶體控制器與更緊密的 Compute-Memory Integration 提高記憶體頻寬。

但有一個觀念很重要：

HBM 是 GPU 的高頻寬記憶體，不等於 Data Center Network。

HBM 解決的是「GPU 如何快速取得附近資料」；高速 Network、Cable、Connector 與 Optical Interconnect 解決的則是「資料如何跨越不同 GPU、Server、Rack 與 Switch」。

兩者處在不同的互連層級，卻共同影響 AI 系統效能。

GPU 與 GPU 之間為什麼需要高速互連？

大型 AI 模型通常無法只依靠單顆 GPU 完成所有運算，因此需要多顆 GPU 協同工作。

當 GPU 數量增加後，系統需要快速進行：

GPU ↔ GPU

資料交換。

這類 Rack 內或運算域內的高速互連通常稱為 Scale-Up Interconnect。

例如 NVIDIA Vera Rubin NVL72 整合 72 顆 Rubin GPU，並使用第六代 NVLink 與 NVLink Switch 建立 Rack-Scale GPU Interconnect；官方資料顯示 Vera Rubin NVL72 同時再利用 Spectrum-X Ethernet 或 Quantum-X800 InfiniBand 向外進行 Scale-Out。

可以簡化理解為：

Scale-Up：讓同一個運算系統內的 GPU 更緊密地一起工作

Scale-Out：讓不同 Server／Rack 連成更大的 AI Cluster

這也是 AI Infrastructure 從「一台高效能 Server」逐漸發展成「Rack-Scale AI Supercomputer」的重要原因。

PCIe 在 AI Server 高速互連中扮演什麼角色？

除了 GPU 專用互連之外，AI Server 內仍有大量元件需要彼此交換資料，例如：

CPU ↔ GPU

CPU ↔ NIC／DPU

GPU ↔ NIC

CPU／GPU ↔ SSD

PCI Express（PCIe）因此仍是 AI Server 內部極重要的通用高速 I/O 架構。

但對 Cable、Connector 與 System Design 而言，不能只確認「支援 PCIe」就完成選型。

高速介面還需要確認：

項目	影響
PCIe Generation	決定介面資料速率要求
Lane Count	影響總頻寬
PCB Routing	影響 Channel Loss
Connector	可能產生阻抗不連續與損耗
Cable Length	影響高速訊號衰減
Insertion Loss	影響接收端 Signal Margin
Return Loss	反映高速通道訊號反射
Crosstalk	影響相鄰高速 Lane
Channel Budget	判斷整體通道是否符合要求

因此，高速介面真正需要評估的是：

Device + PCB + Connector + Cable + Receiver

形成的完整 Channel。

為什麼 AI Server 最後還是需要 Network Switch？

Rack 內 GPU 可以透過高速 Scale-Up Interconnect 建立緊密連線，但當 AI 運算規模繼續增加，就必須連接更多 Server 與 Rack。

此時資料會從 GPU 經過 NIC／SuperNIC／DPU 進入高速資料中心網路，再由 Network Switch 傳送至其他 GPU Node。

可以簡化成：

GPU
→ NIC／DPU
→ High-Speed Cable／Optics
→ Network Switch
→ High-Speed Cable／Optics
→ 另一台 AI Server／GPU

因此 AI Cluster 規模愈大，Network Bandwidth、Latency、Port Density 與高速實體互連的重要性就愈高。

目前 AI Networking 已持續朝 800G、1.6T 與 200G/Lane 等方向演進。Ethernet Alliance 在 OFC 2026 的互通展示即涵蓋 200G、400G、800G 到 1.6T 的高速 Ethernet 技術；OIF 也持續推進以 200G/Lane 為基礎的 Near-Package Optics 等高速介面。

從銅纜到光纖：AI Data Center 怎麼選？

不同距離不需要使用完全相同的實體傳輸方式。

AI Data Center 通常會依據距離、頻寬、功耗、Cable Management 與成本選擇不同方案。

技術	主要特性	適用方向
DAC	Passive Copper、低功耗、低延遲	短距離高速互連
AEC	主動電氣補償	延伸高速銅纜可用距離
AOC	Cable 內整合光電轉換	中距離高速設備互連
Pluggable Optics	模組化、容易維護	Rack-to-Rack、高速交換器
CPO	光學引擎靠近 Switch ASIC	高頻寬、高密度下一代交換架構
Optical Fiber	高頻寬、低傳輸損耗、距離彈性高	Rack、Row、Data Hall 與更長距離

這代表 AI Data Center 不會簡單地從「銅線全部換成光纖」。

較短距離的高速互連仍可能利用 Copper，而當距離、頻寬密度與功耗需求持續增加，Optical Interconnect 的比重便可能提高。

CPO 是什麼？為什麼 AI Network 開始需要它？

傳統 Pluggable Optical Transceiver 通常安裝在 Switch 面板端。

Switch ASIC 產生的高速電訊號，需要先經 PCB 走線傳到面板上的 Optical Module，再轉換成光訊號。

資料速率愈高，這段高速電氣路徑的 Loss、功耗與訊號完整性設計難度也會增加。

**CPO（Co-Packaged Optics，共封裝光學）**的核心概念，就是把 Optical Engine 移到更靠近 Switch ASIC 的位置，縮短高速電氣訊號需要經過的距離，再更早將訊號轉換成 Optical Signal。

Broadcom 已推出 Tomahawk 6 Davisson CPO Ethernet Switch，將 Co-Packaged Optics 用於 102.4 Tb/s 等級的 AI Networking；NVIDIA Spectrum-X Ethernet Photonics 也將 CPO 直接整合到 Switch ASIC 附近，顯示 CPO 正逐漸成為下一代高頻寬 AI Network 的重要技術方向。

傳統 Pluggable Optics

Switch ASIC
→ PCB 高速電氣路徑
→ Pluggable Optical Module
→ Optical Fiber

CPO

Switch ASIC
→ 短距離高速電氣路徑
→ Co-Packaged Optical Engine
→ Optical Fiber

CPO 最重要的目的之一，就是降低 Switch ASIC 與 Optical Engine 之間高速電氣傳輸所面臨的功耗與訊號損耗問題。Broadcom 也將降低 Power per Bit 與提升連線穩定性列為其 CPO 架構的重要目標。

CPO 會取代光纖嗎？

不會。

這是非常容易混淆的一個觀念。

CPO 是光電轉換與封裝架構；Optical Fiber 是光訊號的實際傳輸媒介。

CPO 改變的是：

「高速電訊號在哪裡轉換成光訊號？」

而不是取消光纖。

因此架構反而可以理解為：

ASIC → CPO Optical Engine → Optical Fiber → 遠端設備

CPO 與 Fiber 是互補關係，而不是競爭關係。

CPO 會完全取代可插拔光模組嗎？

目前也不適合直接下這個結論。

Pluggable Optics 具有：

• 模組化
• 維修方便
• 更換彈性
• 成熟生態系

等優勢。

CPO 則針對愈來愈高的：

• Bandwidth Density
• Electrical Channel Loss
• Power per Bit
• Port Density

提供另一種系統級解決方案。

NVIDIA 的 AI Networking 產品策略目前也同時包含 Pluggable Optical Transceiver 與 Co-Packaged Silicon Photonics，說明下一階段 AI Data Center 很可能仍是多種 Optical／Electrical Interconnect 共存，而不是單一路線全面取代。

AI 伺服器的完整高速資料路徑怎麼看？

將前面的技術整合後，一個大型 AI 系統可以概念化為：

HBM
↓
GPU
↓
GPU Interconnect／PCIe
↓
NIC／DPU
↓
DAC／AEC／AOC／Optics
↓
Network Switch
↓
Pluggable Optics／CPO
↓
Optical Fiber
↓
其他 Rack／GPU Cluster

但這張路徑是用來理解「互連層級」，並不表示所有 AI 資料一定按照完全相同順序流動。

不同 AI Server Architecture、GPU Platform、Network Topology 與 Storage Architecture，都可能採用不同資料路徑。

真正需要關注的是：

每一層的頻寬是否能與下一層匹配。

如果 GPU 與 HBM 很快，但 Network 不足，Scale-Out 可能受限。

如果 Switch 很快，但 Cable／Optical Channel 無法支援要求，網路頻寬同樣無法充分利用。

因此 AI Server 高速互連的核心並不是單一「最快元件」，而是端到端頻寬平衡與完整 Channel Design。

AI Server 高速互連選型應確認什麼？

對 Server、Network Equipment、NPI 與客製化互連專案而言，可以優先確認：

選型項目	主要問題
Data Rate	系統需要多少總頻寬與 Per-Lane Rate？
Distance	Board、Server、Rack 或 Data Hall？
Interface	PCIe、QSFP、OSFP 或其他介面？
Copper／Optical	哪種傳輸方式符合距離與功耗需求？
Connector／Cable	是否符合 Impedance、Loss 與機構條件？
Thermal	Active／Optical 元件散熱是否可接受？
Channel Budget	PCB、Connector、Cable、Module 總損耗是否符合要求？
Serviceability	是否需要現場快速更換與維護？
Future Upgrade	是否預留更高速率與更高密度需求？

尤其在高速 Cable 與 Connector 選型上：

外型相容 ≠ 電氣性能相容。

相同 Form Factor 的產品，仍可能因 Cable Construction、線長、AWG、Connector Design、Shielding、Insertion Loss 與設備端要求不同，而產生完全不同的高速傳輸結果。

AI 高速互連未來會往哪裡發展？

下一階段 AI Server 與 Data Center 的高速互連，將同時往三個方向發展：

更高記憶體頻寬、更高 GPU／Server 間頻寬，以及更高效率的 Optical Interconnect。

2026 年的 AI 與光通訊產業發展已顯示，HBM4、Rack-Scale GPU Interconnect、800G／1.6T Ethernet、200G/Lane、Near-Package Optics、Silicon Photonics 與 CPO 正逐漸在同一套 AI Infrastructure 演進路線中交會。

Broadcom 已將第三代 CPO 應用於 Tomahawk 6；NVIDIA Spectrum-X Ethernet Photonics 也將 Co-Packaged Silicon Photonics 導入大型 AI Factory 網路，顯示當交換頻寬持續提升後，「如何降低每 Bit 傳輸功耗與高速電氣路徑損耗」正成為 AI Networking 的重要工程問題。

AI Server 高速互連的核心觀念

如果用一句話總結：

HBM 解決 GPU 附近的資料頻寬，GPU Interconnect 解決 GPU 之間的協同運算，而高速 Cable、Switch、CPO 與 Optical Fiber 則把這些運算資源擴展成更大型的 AI Cluster。

因此 AI Server 的高速互連不能只看 GPU，也不能只看 Cable 或 Optical Module。

真正需要評估的是：

Memory
→ Compute
→ I/O
→ Network
→ Physical Interconnect
→ Optical Transport

形成的完整資料路徑。

對高速線材、連接器與電子互連產業而言，AI Infrastructure 的發展意味著資料速率、Bandwidth Density、Signal Integrity、Cable Management 與 Optical Integration 都會持續提高要求。

而這些技術能否彼此匹配，將直接影響未來 AI Server 與 Data Center 的整體運算效率。

常見問題

HBM 是高速互連技術嗎？

HBM 屬於高頻寬記憶體技術，主要負責 GPU 與附近 Memory 之間的高速資料存取。它與 PCIe、NVLink、Ethernet 或 Optical Fiber 位於不同互連層級，但共同影響整體 AI 系統資料流效率。

AI Server 為什麼不能全部使用銅線？

高速 Copper Interconnect 在短距離仍具有低功耗、低延遲與成本等優勢，但隨著距離、頻寬密度與資料速率增加，高頻電氣損耗與功耗設計會更加困難，因此較長距離與高密度網路會逐漸增加 Optical Interconnect 的使用。

CPO 和光模組有什麼不同？

傳統 Pluggable Optical Module 通常位於 Switch 面板；CPO 則將 Optical Engine 移到更靠近 Switch ASIC 的位置，以縮短高速電氣傳輸距離。兩者都是高速光互連方案，但系統架構、維護方式、功耗與封裝方式不同。

CPO 就是光纖嗎？

不是。CPO 是 Co-Packaged Optics，是光電轉換與封裝架構；Optical Fiber 則是光訊號的傳輸媒介。CPO 最終仍需要透過光纖將光訊號傳送到其他設備。

AI Server 高速線材只要速率相同就能使用嗎？

不一定。除了標示速率之外，還必須確認 Interface、Lane Configuration、Characteristic Impedance、Cable Length、Connector、Insertion Loss、Return Loss、Crosstalk、設備相容性與整體 Channel Budget。

有線束、連接器、機電元件或客製化需求？歡迎與我們聯絡

如果您正在尋找合適的連接器、線材、線束加工、機電元件或電子互連解決方案，無論是產品選型、規格確認、少量試產（NPI）、OEM／ODM 客製化，或高速傳輸、高可靠度等特殊應用需求，金譽電子科技 可提供專業技術支援與評估。

歡迎前往【聯絡我們】頁面，留下您的需求與聯絡資訊。我們將以專業且快速的服務回覆您的需求，根據您的產品規格、應用需求與專案條件，協助評估最適合的產品與電子互連解決方案，並提供相關技術建議與客製化支援，協助您縮短選型與開發時間、降低專案風險，讓產品更順利導入量產。期待有機會與您合作，為您的每一項專案需求提供值得信賴的技術支援與解決方案。

免責與交流聲明

本內容係依公開資訊與產業經驗整理，僅供技術交流參考，不構成任何商業、技術或法律之建議或依據。內文所述之規格、材料、製程、應用方式及相關資訊，可能因設計條件、環境因素或使用情境不同而有所差異，相關內容不保證其完整性、正確性或適用性。

讀者應視實際應用情境，與相關設計或技術負責人員確認適用性，並自行評估相關風險。