同一批8卡GPU，跑单机模型时速度接近翻倍，换成多机训练却可能只快三成。问题往往不在算力，而在于卡与卡之间的数据搬运：参数要同步，梯度要归约，注意力或专家层还要交换张量。互联带宽、PCIe通道、节点拓扑和集合通信开销叠加后，通信越慢，扩展效率越低。
如果你正在选机器，或者想先把线路和配置跑通再谈长期方案，可以先看看这几家的线路说明和技术参数：zenlayer（AI云基础设施），先看清带宽线路、流量策略和退款条款，再决定要不要迁。
多卡扩展效率可以理解为理想加速时间与实际耗时之比。扩到8卡后，如果计算量变成8倍，通信却没有明显增加，效率就高；若每层都等待远端GPU同步，再高的单卡算力也会被等待时间吞掉。因此，选卡不能只看显存和峰值算力，还要看单次数据传输需要经过多少链路。
NVLink带宽与PCIe通道瓶颈的差别，不只是接口速率。NVLink提供专用高速直连，而PCIe还要共享总线、交换机和CPU资源。拓扑上，全互联或高质量分组能让多数GPU对等通信；跨CPU插槽、经过网卡或汇聚交换机的路径，则可能增加跳数、延迟和拥塞。即便两张卡标称带宽相同，放在不同位置，集合通信时间也可能相差明显。
并行方式决定通信形态。数据并行的梯度同步以All-Reduce为主，张量并行需要频繁交换激活值，序列并行和专家并行往往包含All-to-All。参与GPU越多，同步范围越大，延迟与带宽压力越突出。只增加GPU数量，却保持相同的通信层级和高延迟跨节点路径，扩展效率通常会先升后降。
第一层看模型规模。模型及优化器状态能放入单卡时，优先使用数据并行，卡数增加主要用于提高吞吐量；单层计算量很大、需要频繁交换张量时，应优先保证同节点内的GPU互联拓扑；超大模型再借助分片和分层通信扩展。预算有限时，与其堆更多低速互联卡，不如减少跨PCIe主控或跨节点的同步。
第二层看并行方式。张量并行对带宽和延迟最敏感，宜放在高速直连、路径对称的GPU组内；流水线并行的点对点通信相对容易隐藏，可适当跨节点部署；数据并行依赖周期性梯度归约，节点内高速互联加节点间高速网络更均衡。若采用混合并行，应先画出每层实际经过的通信路径，而不是只比较理论带宽。
第三层看预算与踩坑。高端方案重点验证双向有效带宽、拓扑对称性和NUMA亲和性；主流方案重点排查PCIe是否降速、交换机是否共享上行链路；入门方案则应控制卡数，避免让跨卡通信主导训练。常见问题包括P2P未启用、GPU拓扑跨插槽、CPU线程亲和错误、网卡端口争用，以及训练后期因温控降频。用随身服务器查看远程节点的GPU利用率、通信状态和任务队列，可以更快识别究竟是计算变慢，还是通信在等待。
多卡性能并非单卡性能简单相加。训练进入数据并行后，前向和反向计算之外还要执行梯度 AllReduce；若采用 DDP，每轮迭代还可能伴随参数广播与梯度同步。由此产生的集合通信开销，会随卡数、模型规模和迭代频率变化。通信不能被完全隐藏时，增加 GPU 只会更快地消耗同一张量。
NVLink带宽的意义不只是峰值数字更高，还在于延迟更低、通信与计算更容易重叠。实际效果取决于消息大小、拓扑路径和通信内核：大块连续张量更容易跑满链路，小消息更受延迟与同步抖动影响。因此应使用真实模型比较单卡、多卡吞吐和多卡扩展效率，不能只看规格表或一次性的带宽测试。
优化顺序也很重要。先确认计算是否成为瓶颈，再检查通信能否与计算重叠，最后才调整批量大小、梯度累积和进程数。若模型每步计算量很小，即使互联很快，频繁同步仍可能主导总耗时。
常见误区是只看GPU互联拓扑图，不核对每张 GPU 的 PCIe 通道、CPU 根端口与 NUMA 归属。物理相邻不等于通信路径最优，PCIe Switch、驱动和 NCCL 版本都可能改变路由。另一个误区是把PCIe通道瓶颈误判为算力不足：GPU 等待明显、链路利用率偏低而计算尚未饱和，通常说明数据搬运或同步已经形成制约。
选型还要区分节点内与节点间两个层级。节点内应优先保证拓扑规整、关键链路不共享；跨节点则要核对网卡带宽、RDMA 配置、CPU 资源预留和网络拓扑，避免只升级 GPU，却让数据加载或跨节点通信接管等待时间。交换机端口也应成对规划，保留故障迁移与后续扩容空间。
可执行检查清单：①用 nvidia-smi 与拓扑工具确认 GPU 配对、PCIe 通道和 NUMA 节点；②核对驱动、CUDA、NCCL 及通信框架版本，并用小规模矩阵乘法验证链路；③在真实模型中采集单卡与多卡吞吐、扩展效率、GPU 利用率、通信时间、PCIe 流量和 I/O 等待；④先修复长尾、负载不均与数据加载问题，再调整批量、梯度累积和通信分组；⑤进行数小时稳定性测试，检查温度、掉卡及性能抖动。只有计算、通信、存储三条路径都没有明显瓶颈，多卡扩容才真正有效。
