AI 資料中心 Scale-Up vs Scale-Out 是什麼？GPU 高速網路架構完整解析｜技術年份：2022

AI Server 從單顆 GPU 發展到數十、數百甚至更大規模的 GPU Cluster 後，真正限制系統效能的已不只是 GPU 算力，而是：

GPU 之間能不能快速交換資料。

因此現代 AI Infrastructure 通常會同時看到兩種重要網路架構：

Scale-Up Network
Scale-Out Network

最簡單的理解是：

Scale-Up：讓一個緊密耦合運算域內的多顆 GPU，以極高頻寬、低延遲協同運算。

Scale-Out：把多台 Server、多個 Rack 或多個 GPU Domain 透過高速網路擴展成大型 AI Cluster。

NVIDIA 現行 AI Networking 架構即明確將 NVLink 定位為 Scale-Up，而 Quantum InfiniBand 與 Spectrum-X Ethernet 定位為 Scale-Out；AMD 的官方定義也將 Scale-Up 描述為節點或緊密耦合系統內的擴充，Scale-Out 則延伸至資料中心內的 Cluster 與 Pod。

Scale-Up vs Scale-Out 快速比較

項目	Scale-Up	Scale-Out
主要目的	讓多顆 GPU 形成緊密協作的運算域	將更多 Server／GPU Domain 擴展成 Cluster
典型範圍	Server 內、Tray、Rack-Level Domain	Server-to-Server、Rack-to-Rack、Cluster
核心需求	極高頻寬、極低延遲	高頻寬、低延遲、可擴充性
代表性技術	NVLink、NVSwitch 等 Scale-Up Fabric	InfiniBand、AI Ethernet 等 Scale-Out Fabric
主要設備	GPU、Accelerator、Scale-Up Switch	NIC／SuperNIC、DPU、Network Switch
網路重點	GPU-to-GPU 資料交換效率	Routing、Congestion、Collective Communication、Cluster Scale
常見互連	PCB、Backplane、短距離高速 Copper／Cable	DAC、AEC、AOC、Optical Transceiver、Fiber
規模擴充方向	把單一運算域「做大」	增加更多運算節點

但這個表不是用「幾台 Server」作絕對分界。

現代 Rack-Scale AI System 已經讓 Scale-Up Domain 從單一 Server 擴展到整個 Rack，因此更準確的區別應該是：

Scale-Up 看的是 GPU 是否位於同一個緊密耦合的高速運算域；Scale-Out 看的是如何連接多個運算節點或運算域。

NVIDIA 目前即將 NVLink 描述為 Scale-Up Network，使 Domain 內 GPU 更像一個整體運算引擎；Scale-Out Network 則負責跨 Server 擴展到數千甚至更大規模的 GPU Cluster。

Scale-Up 為什麼需要極高頻寬與低延遲？

大型 AI Model 的計算經常需要多顆 GPU 同時處理同一個 Workload。

當 GPU 必須頻繁交換：

• Tensor Data
• Model Parameters
• Intermediate Results
• Collective Communication Data
• Memory Data

GPU 之間的通訊效率就會直接影響整體 Accelerator Utilization。

如果 GPU 算得很快，卻一直等待其他 GPU 傳送資料，實際 AI Training 或 Inference Performance 就無法隨 GPU 數量線性增加。

因此 Scale-Up Fabric 特別重視：

**High Bandwidth

• Predictable Low Latency
• High GPU-to-GPU Communication Efficiency**

NVLink 與 NVSwitch 是其中一個代表性架構。NVIDIA Fabric Manager 文件將 NVLink 定義為直接 GPU-to-GPU Interconnect，而 NVSwitch 則可將多組 NVLink 連接起來，形成 All-to-All GPU Communication。

2022 年推出的 DGX H100 就是一個重要例子：單一系統中的八顆 H100 GPU 透過第四代 NVLink 與 NVSwitch 互連，而外部 NVLink Switch System 更進一步將多個 DGX H100 節點納入更大的高速 GPU Domain。

Scale-Out 又負責什麼？

當單一 Scale-Up Domain 已經不夠，就必須加入更多 Server 或 Rack。

這就是：

Scale-Out

典型架構可以概念化為：

GPU Domain
→ NIC / SuperNIC / DPU
→ Scale-Out Switch Fabric
→ NIC / SuperNIC / DPU
→ 另一個 GPU Domain

Scale-Out 需要處理的不只是單一高速 Link，而是一整個大型 Network Fabric，因此還必須面對：

• Network Topology
• Multipath
• Congestion Control
• Packet Loss
• Collective Communication
• Load Balancing
• Fault Recovery
• Network Scale

Ultra Ethernet Consortium 也將 AI Training 的 Backend Network 描述為 Scale-Out Network，強調大規模 GPU Cluster 對低延遲、低 Packet Loss 與高擴充能力的需求。

目前 Scale-Out AI Networking 的代表性技術主要包括：

InfiniBand
Ethernet-based AI Networking

但兩者在 Protocol、Congestion Control、RDMA、Ecosystem 與成本上的差異，屬於另一個獨立 Search Intent，本篇不展開比較。

AI 資料中心為什麼不能只做 Scale-Up？

假設所有 GPU 都使用超高頻寬 Scale-Up Fabric 直接互連，看起來似乎最理想。

但隨 GPU 數量增加，系統會快速面臨：

**Switch Port

• SerDes
• Cable
• Connector
• Power
• Cooling
• Physical Reach
• Cost**

等限制。

Scale-Up Fabric 因為追求極低延遲與極高 Bandwidth Density，通常適合建立有限範圍內的緊密 GPU Domain，而不是無限制延伸整座資料中心。

因此大型 AI Infrastructure 更常採：

Scale-Up Domain
↓
Scale-Out Network
↓
更多 Scale-Up Domain

這種分層式架構。

以目前 NVIDIA Networking 的分類來看，就是由 NVLink 負責 Scale-Up，再以 Quantum InfiniBand 或 Spectrum-X Ethernet 進行 Scale-Out。

Scale-Up 與 Scale-Out 對 Cable／Connector 的要求有什麼不同？

從電子互連角度來看，兩者其實都需要高速 Cable 與 Connector，但工程條件不同。

高速互連條件	Scale-Up	Scale-Out
主要距離	極短～Rack Level	Rack內至Rack間甚至更遠
頻寬密度	極高	高
Latency敏感度	非常高	高
Passive Copper	短距離非常重要	Rack內常見
Active Copper / AEC	視架構與Reach使用	延伸 Copper Reach
Optical	Rack-Scale發展中	長距離重要
Connector Density	極高	高
Signal Integrity	非常嚴格	非常嚴格
Cable Management	高密度 Rack 內尤其重要	大量 Network Port 同樣重要

Scale-Up 架構因 GPU 之間必須維持極高頻寬與低延遲，會特別強調：

短距離高速 Copper
High-Density Connector
Low-Loss Channel
Flyover Cable
Backplane／Midplane Architecture

等設計。

NVIDIA 在 Rack-Scale NVLink 架構的公開技術資料中，也將高速 SerDes、NVLink Switch、Copper Cable System、Power 與 Cooling 視為整體 Rack Architecture 的一部分。

Scale-Out 則因距離與網路規模變化較大，傳輸媒介可能依 Reach 分成：

DAC
→ AEC
→ AOC
→ Optical Transceiver + Fiber

因此 AI Data Center 的 Cable 選型不能只問：

「要 400G 還是 800G？」

還必須先確認它是在：

Scale-Up Domain

還是：

Scale-Out Network

中使用。

GPU 越多，Scale-Out Network 為什麼越重要？

AI Cluster 擴展後，大量 GPU 之間會產生高度同步的 East-West Traffic。

與傳統 Data Center 主要處理使用者到 Server 的 North-South Traffic 不同，AI Training 中大量流量發生在：

GPU ↔ GPU
Server ↔ Server
Rack ↔ Rack

之間。

Scale-Out Fabric 必須確保大量 GPU 同時交換資料時，不因 Congestion、Packet Loss 或 Tail Latency 讓昂貴的 GPU 等待網路。

因此 AI Networking 的關鍵已經從單純：

Port Speed

進一步變成：

**Bandwidth

• Latency
• Congestion Control
• Collective Communication
• Network Topology
• Reliability**

AMD 與 Ultra Ethernet Consortium 的公開 AI Networking 資料同樣強調，大型 AI Workload 的 Scale-Out Network 必須針對同步、高流量 GPU Communication 進行設計，而不能只套用一般資料中心網路思維。

Scale-Up 與 Scale-Out 哪個比較重要？

答案是：

兩個都重要。

它們解決的是不同問題。

Scale-Up 解決：

「有限範圍內，怎麼讓多顆 GPU 像一個高效率運算域一起工作？」

Scale-Out 解決：

「當一個運算域不夠時，怎麼把更多 Server、Rack 與 GPU Domain 組成大型 AI Cluster？」

因此真正的大型 AI Infrastructure 更像：

GPU
→ Scale-Up Fabric
→ GPU Domain
→ Scale-Out Fabric
→ AI Cluster

而不是二選一。

那 Scale-Across 又是什麼？

近年的 AI Infrastructure 又開始出現：

Scale-Across

這個新分類。

它主要描述：

不同 Data Center、Building 或 Campus 之間的 AI Infrastructure 互連。

因此可以概念化成：

Scale-Up：GPU Domain

Scale-Out：Data Center Cluster

Scale-Across：Multiple Data Centers

NVIDIA 在 2025 年公布 Spectrum-XGS 時，即將 Scale-Across 定義為 Scale-Up 與 Scale-Out 之外的第三種 AI Networking Dimension，用來連接地理位置分散的 AI Factory。

但對大多數 AI Server 與 Data Center Hardware 設計而言，Scale-Up 與 Scale-Out 仍是最核心的兩層架構。

Scale-Up vs Scale-Out 核心結論

如果只記住四件事：

第一，Scale-Up 的核心是把多顆 GPU 建立成高頻寬、低延遲的緊密運算域。

第二，Scale-Out 的核心是利用高速 Network Fabric 把更多 Server、Rack 與 GPU Domain 擴展成大型 AI Cluster。

第三，Scale-Up 不等於 NVLink，Scale-Out 也不等於 InfiniBand；這些只是代表性的技術實作。

第四，真正的大型 AI 資料中心需要 Scale-Up＋Scale-Out 同時存在，而不是二選一。

因此 AI Infrastructure 的高速網路不能只看：

GPU 數量或 Port Speed

而應一起評估：

**GPU Architecture

• Scale-Up Fabric
• Scale-Out Fabric
• NIC / DPU
• Switch
• Cable / Connector
• Reach
• Signal Integrity
• Power / Cooling**

才能建立真正可擴充的 GPU 高速網路。

SyncTronics 解决方案

AI Server 與 Data Center 的高速互連需依 Scale-Up／Scale-Out Architecture、Lane Rate、Port Type、Cable Length、Signal Integrity 與設備配置進行整體評估。對 Rack 內短距離高速互連，可依實際需求評估高速 Copper Cable、DAC、AEC 與高密度 Cable Assembly；跨 Rack 或更長距離則需進一步考慮 AOC、Optical Transceiver 與 Fiber Architecture。SyncTronics 可依 Server、Networking、AI Infrastructure 與 Data Center 專案需求，協助進行高速 Cable、Connector 與電子互連方案的規格確認與客製化評估。

相關延伸文章

AI Infrastructure 是什麼？AI伺服器、GPU與高速互連解析｜金譽電子科技

AI伺服器高速互連技術｜GPU、HBM、CPO與光纖解析｜金譽電子科技

AI伺服器內部高速線材怎麼走？GPU、NIC與Cable架構｜金譽電子科技

200G/Lane是什麼？800G、1.6T高速互連與Lane Rate解析｜金譽電子科技

有線束、連接器、機電元件或客製化需求？歡迎與我們聯絡
如果您正在尋找合適的連接器、線材、線束加工、機電元件或電子互連解決方案，無論是產品選型、規格確認、少量試產（NPI）、OEM／ODM 客製化，或高速傳輸、高可靠度等特殊應用需求，金譽電子科技 可提供專業技術支援與評估。
歡迎前往【聯絡我們】頁面，留下您的需求與聯絡資訊。我們將以專業且快速的服務回覆您的需求，根據您的產品規格、應用需求與專案條件，協助評估最適合的產品與電子互連解決方案，並提供相關技術建議與客製化支援，協助您縮短選型與開發時間、降低專案風險，讓產品更順利導入量產。期待有機會與您合作，為您的每一項專案需求提供值得信賴的技術支援與解決方案。

免責與交流聲明
本內容係依公開資訊與產業經驗整理，僅供技術交流參考，不構成任何商業、技術或法律之建議或依據。內文所述之規格、材料、製程、應用方式及相關資訊，可能因設計條件、環境因素或使用情境不同而有所差異，相關內容不保證其完整性、正確性或適用性。
讀者應視實際應用情境，與相關設計或技術負責人員確認適用性，並自行評估相關風險。