AI 伺服器內部高速線材怎麼走？GPU、NIC、Switch 與 Cable 架構解析｜技術年份：2022

AI 伺服器內部並不是所有高速資料都經過同一條 Cable。

一台多 GPU AI Server 通常同時存在：

GPU ↔ GPU
CPU ↔ GPU
GPU ↔ NIC / DPU
NIC / DPU ↔ External Network
Storage ↔ CPU / GPU

等不同高速資料路徑。

因此真正的設計問題不是：

「AI 伺服器裡要用哪一條高速線？」

而是：

不同高速訊號應該走 PCB、NVLink、PCIe、Board-to-Board Connector，還是改用 Internal High-Speed Cable，才能在頻寬、距離、Signal Integrity、空間與散熱之間取得平衡？

以 NVIDIA DGX H100 為例，系統整合 8 顆 H100 GPU、4 顆第三代 NVSwitch，以及 ConnectX-7 Networking；H100 同時支援第四代 NVLink 與 PCIe Gen5，呈現現代 AI Server 多種高速互連並存的典型架構。

AI Server 內部主要有哪些高速資料路徑？

資料路徑	常見高速介面	主要功能	Cable 的角色
GPU ↔ GPU / NVSwitch	NVLink	GPU間高速資料交換	多數平台以短距離 Board-Level Interconnect 為主，特定架構亦可延伸至 Cable
CPU ↔ GPU	PCIe / Proprietary Coherent Link	Host與Accelerator互連	視機構可能透過 PCB、Connector 或 Cable
GPU ↔ NIC / DPU	PCIe	GPU資料送往Scale-Out Network	PCIe Topology與短距離高速Channel非常重要
NIC / DPU ↔ I/O Port	High-Speed Electrical I/O	將Network Signal送至OSFP/QSFP等Port	Internal High-Speed Cable非常常見
Server ↔ Network Switch	Ethernet / InfiniBand	Scale-Out Cluster連接	DAC、AEC、AOC、Optical
CPU / GPU ↔ Storage	PCIe / NVMe	Model、Dataset與Checkpoint存取	視Server Architecture而定

因此必須先區分：

「晶片之間的內部高速互連」與「從晶片／NIC 把高速訊號拉到機箱 I/O Port 的 Cable」不是同一件事。

例如 NVIDIA DGX H100/H200 的官方文件指出，其 Networking Module 整合 ConnectX-7，並使用 DensiLink Cables 直接從 ConnectX-7 Networking Cards 連接到機箱後方的 OSFP Connectors。這就是非常典型的「Board／NIC → Internal Cable → Rear I/O Port」架構。

GPU、NVSwitch 與 NIC 的資料到底怎麼走？

可以先用一個簡化架構理解：

GPU
↓
NVLink / NVSwitch
↓
其他 GPU

同時另一條路徑可能是：

GPU
↓
PCIe
↓
NIC / DPU
↓
Internal High-Speed Cable
↓
OSFP / QSFP Port
↓
DAC / AEC / Optical
↓
Data Center Switch

這兩條高速路徑的工作完全不同。

GPU ↔ GPU：Scale-Up

在 DGX H100 中，8 顆 H100 GPU 透過 NVLink 與 4 顆第三代 NVSwitch 建立高速 All-to-All GPU Communication。這類路徑主要目標是極低延遲與極高 GPU-to-GPU Bandwidth。

這裡不應直接理解成：

GPU → 一條外觀看得到的 Cable → NVSwitch

因為許多 Scale-Up Interconnect 是整合在 GPU Baseboard、PCB 與專用 Connector Architecture 中。

GPU ↔ NIC / DPU：Scale-Out 出口

GPU 若需要將資料送往另一台 Server，就會進入 Network Adapter。

NVIDIA GPUDirect RDMA 可讓 PCIe Network Device，例如 ConnectX SmartNIC 或 BlueField DPU，直接存取 GPU Memory，減少資料必須先繞經 CPU Host Memory 的需求。

因此高速 AI Server 的：

GPU ↔ PCIe ↔ NIC

路徑本身就是重要的效能瓶頸之一。

為什麼高速訊號不全部直接走 PCB？

低速訊號可以在 PCB 上走相對長的距離，但高速 SerDes Data Rate 持續提高後，PCB Trace 會逐漸消耗更多 Channel Loss Budget。

主要問題包括：

問題	對高速 Channel 的影響
Insertion Loss	PCB距離越長，高頻訊號衰減越明顯
Return Loss	Via、Connector、Launch可能形成Reflection
Crosstalk	高密度 Differential Pair互相干擾
PCB Routing Density	大量高速Lane占據Board Space
Via / Layer Transition	增加Impedance Discontinuity
Thermal / Airflow	大量PCB、Connector與Cable也會影響風道

因此高速 Server Architecture 會開始採用：

Flyover Cable

概念。

其核心不是「把所有 PCB 換成 Cable」，而是：

讓高速訊號在需要時提早離開 PCB，透過低損耗 Cable 跨越較長物理距離，再於接近 Connector、Switch 或 I/O 的位置重新進入電路板。

Samtec 將 Flyover Technology 定位為將高速資料路徑直接「帶離 PCB」的 Board-to-Cable Architecture，並已應用於 GPU、PCIe 與高速系統設計。

Internal High-Speed Cable 有哪些架構？

AI Server 內部不一定只有一種 Cable。

架構	適合用途	主要特色
PCB Trace	最短晶片間距離	結構整合度最高
Board-to-Board	Tray／Baseboard連接	高密度、模組化
Passive Twinax / Flyover Cable	跨越較長PCB距離	Low Loss、Low Latency
Retimed / Active Cable	Channel Loss較高	可增加Signal Margin
Internal Optical	更高Data Rate／更長Reach	降低Electrical Reach壓力
External DAC / AEC / AOC	Server至Switch	依距離與功耗選擇

所以 AI Server 裡的 Cable Architecture 更像：

PCB + Connector + Cable

共同分工，而不是：

Cable 取代 PCB。

NIC 到 OSFP／QSFP 為什麼特別適合用 Cable？

Network Adapter 通常不一定就在機箱 I/O Port 正後方。

如果 NIC／DPU 和 Front／Rear I/O 距離較遠，高速訊號若全部繞過 Mainboard，就會增加：

**PCB Trace Length

• Via Count
• Channel Loss
• Routing Complexity**

因此可以使用 Internal Cable 直接把高速訊號：

NIC / DPU
→ Cable
→ OSFP / QSFP Connector

拉到機箱外部。

DGX H100/H200 就提供非常具體的例子：ConnectX-7 Networking Cards 透過 DensiLink Cable 直接連到 Rear OSFP Connectors。

而 OSFP／QSFP 外面再接：

DAC
AEC
AOC
Optical Transceiver

連到 Data Center Switch。

因此一條完整 Scale-Out Physical Path 可能是：

GPU → PCIe → NIC → Internal Cable → OSFP → External Cable / Optics → Network Switch

PCIe Switch、Retimer 又放在哪裡？

當 CPU、GPU、NIC、SSD 等大量 PCIe Device 同時存在時，AI Server 內部可能還需要：

PCIe Switch

管理多裝置連接與 Lane Topology。

高速 Channel 若過長，也可能加入：

PCIe Retimer

重新建立 Clock 與 Data，將一條困難的長 Channel 分割成較容易管理的 Electrical Segment。

DGX H100/H200 的官方韌體資料即可看到系統同時存在 PCIe Switch 與 PCIe Retimer，代表現代 AI Server 高速互連並不是單純的 CPU→GPU 直線連接。

因此實際架構可能形成：

CPU
→ PCIe Switch / Retimer
→ GPU / NIC / Storage

而其中某些 Physical Segment 可由 PCB 完成，另一些則可能透過 Cable Assembly。

AI Server Internal Cable 最重要的 SI 指標

Cable 是否「接得上」只是最基本條件。

真正的高速互連還需確認：

SI 項目	為什麼重要
Differential Impedance	避免過大Reflection
Insertion Loss	決定高速Channel衰減
Return Loss	反映Impedance Discontinuity
Crosstalk	多Lane高密度Server的重要干擾來源
Skew	影響Differential Pair Timing
Connector Transition	Cable-to-Board最容易形成局部不連續
Cable Length	直接消耗Channel Loss Budget
Shielding	控制EMI與Pair-to-Pair Coupling

因此 Cable 選型不能只寫：

PCIe Gen5 Cable

或：

400G Cable

就結束。

還必須知道：

**Data Rate / Lane

• Lane Count
• Channel Budget
• Connector
• Cable Length
• Retimer
• Host Compatibility**

AI Server 為什麼越來越需要 Cable Architecture？

AI Server 的 GPU 數量、NIC Bandwidth、PCIe Speed 與 Network Port Speed 持續提高，系統需要同時解決：

**更多高速 Lane

• 更高 Signal Frequency
• 更有限 PCB Space
• 更高 Power Density
• 更困難 Cooling**

因此「讓所有高速訊號都在 Motherboard 上跑完整距離」不一定是最佳設計。

現代 AI Hardware 越來越常利用：

**GPU Baseboard

• PCIe Switch
• Retimer
• Board-to-Board Connector
• Flyover / Internal Cable
• High-Speed I/O**

共同建立模組化高速架構。

但這並不代表所有 AI Server 都會採相同 Cable Layout；不同 NVIDIA、AMD、OEM、ODM 與 Accelerator Platform，其 PCIe Topology、GPU Baseboard、NIC位置及 Cable Routing 都可能不同。

因此最重要的工程觀念是：

高速線材沒有固定「應該從 GPU 拉到哪裡」的唯一答案，而是依完整 System Topology 決定 Physical Route。

AI 伺服器內部高速線材核心結論

如果只記住四件事：

第一，AI Server 內部同時存在 GPU-to-GPU、CPU-to-GPU、GPU-to-NIC 與 NIC-to-I/O 等多條不同高速路徑。

第二，GPU ↔ NVSwitch 不一定使用傳統 Cable；許多 Scale-Up Link 是整合於 GPU Baseboard 與 Board-Level Interconnect。

第三，Internal High-Speed Cable 特別適合把 NIC、Switch、Retimer 或其他高速元件的訊號跨越較長 PCB 距離，直接送到 I/O Connector。

第四，Cable Architecture 的真正目的，是在 PCB Loss、Signal Integrity、空間、散熱、維修與成本之間取得平衡。

因此 AI Server 的高速資料路徑應該以：

**GPU

• NVLink / NVSwitch
• PCIe
• NIC / DPU
• Retimer / PCIe Switch
• Internal Cable
• OSFP / QSFP
• External Network**

整體理解。

高速 Cable 不是獨立零件，而是 AI Server System-Level Interconnect Architecture 的一部分。

SyncTronics 解决方案

AI Server 內部高速互連需依 GPU、NIC／DPU、PCIe Switch、Retimer、I/O Port、Lane Rate、Cable Length 與完整 Signal Integrity 條件進行評估。SyncTronics 可依 AI Server、Networking、Data Center 與高速運算設備需求，協助進行高速 Cable Assembly、Connector、Twinax、PCIe 與客製化電子互連方案的規格確認與 NPI 評估。

相關延伸文章

• AI 資料中心 Scale-Up vs Scale-Out 是什麼？GPU 高速網路架構完整解析
• Ethernet vs InfiniBand：AI GPU Cluster 高速網路怎麼選？
• Retimer、Redriver、AEC 有什麼不同？高速訊號延伸技術完整解析
• 高速 DAC Cable 結構完整解析：Twinax、AWG、屏蔽與 Signal Integrity

有線束、連接器、機電元件或客製化需求？歡迎與我們聯絡
如果您正在尋找合適的連接器、線材、線束加工、機電元件或電子互連解決方案，無論是產品選型、規格確認、少量試產（NPI）、OEM／ODM 客製化，或高速傳輸、高可靠度等特殊應用需求，金譽電子科技 可提供專業技術支援與評估。
歡迎前往【聯絡我們】頁面，留下您的需求與聯絡資訊。我們將以專業且快速的服務回覆您的需求，根據您的產品規格、應用需求與專案條件，協助評估最適合的產品與電子互連解決方案，並提供相關技術建議與客製化支援，協助您縮短選型與開發時間、降低專案風險，讓產品更順利導入量產。期待有機會與您合作，為您的每一項專案需求提供值得信賴的技術支援與解決方案。

免責與交流聲明
本內容係依公開資訊與產業經驗整理，僅供技術交流參考，不構成任何商業、技術或法律之建議或依據。內文所述之規格、材料、製程、應用方式及相關資訊，可能因設計條件、環境因素或使用情境不同而有所差異，相關內容不保證其完整性、正確性或適用性。
讀者應視實際應用情境，與相關設計或技術負責人員確認適用性，並自行評估相關風險。