公众号记得加星标⭐️，第一时间看推送不会错过。
人工智能基础设施从单机架扩展到多机架和园区级集群，迫使系统架构师重新思考数据中心互连的设计方式。随着部署规模的扩大，需要支持数万个加速器，横向扩展和纵向扩展的互连方案选择将直接影响系统效率。带宽仍然是影响因素之一，但功耗、传输距离、密度和系统复杂性也在影响着这些系统的构建方式。
为了应对这些挑战，现代人工智能和高性能计算系统正在部署一种结合铜缆和光纤技术的混合互连架构。铜缆仍然是纵向扩展网络的首选技术，支持对效率、成本和简易性要求极高的短距离连接。光纤则部署在机架间纵向扩展和横向扩展网络中，以提供大规模系统连接所需的传输距离。
这种方法可以用一个简单的经验法则来概括：在效率最高的地方使用铜线，在需要远距离传输的地方使用光纤。
铜：短距离人工智能互连的最佳选择
铜缆在几乎所有关键指标上都展现出最佳的系统整体效率，使其成为服务器、托架和机架内部的默认互连技术。随着链路数量的增加，其在延迟、功耗、成本和可靠性方面的优势将更加显著。无源直连铜缆 (DAC) 链路通过避免光电转换和低功耗运行，将延迟降至最低。这些特性直接有助于降低系统级功耗预算和减少运行开销。
随着数据速率提升至 800G 及以上，铜缆在几米以内的短距离传输中仍然非常高效，例如机架内部或紧密集成系统中相邻机架之间的连接。这些连接包括 GPU 到交换机、加速器到加速器以及交换机到交换机的链路。在这些环境中，整体系统效率通常比延长传输距离更为重要。在短距离传输中，铜缆能够以更低的功耗、更低的延迟和更低的复杂性承载高速信号，优于光纤方案。在大型加速器集群中，由此带来的功耗、成本和系统效率方面的节省将迅速累积。
先做PCB，再做线缆
在铜互连领域，存在着清晰的层级结构。最高效的介质是印刷电路板 (PCB)，它避免了连接器并最大限度地减少了不连续性。PCB 走线具有低损耗、低延迟和低成本的优点，因此在物理集成可行的情况下，PCB 走线是首选方案。当需要物理隔离时，则需要引入电缆。无源铜电缆提供了一种简单、低功耗的选择，而有源铜互连方案，例如有源铜电缆 (ACC) 和有源电缆 (AEC)，则通过均衡和信号再生来扩展传输距离。虽然这些方法增加了通道长度，但也带来了额外的功耗、延迟和设计复杂性。
铜墙铁壁：为什么光学技术必不可少
随着数据速率的提高和传输距离的增加，信号劣化会限制电通道的性能。诸如趋肤效应、串扰和衰减等多种损耗机制会随频率的增加而加剧，从而缩短铜互连的有效传输距离。在 PCIe 7.0 和 100G 以太网及更高速度下，保持信号完整性需要进行越来越多的均衡和信号调理。插入损耗为 20-40dB 的铜链路非常常见。许多应用甚至需要 45dB 或 50dB 的插入损耗。
过去十年，业界已将铜缆链路的信令调制方式转向PAM4，以优化功率效率。功率效率以传输单个比特所需的能量来衡量，单位为皮焦耳/比特。铜缆链路通常采用基于数字信号处理（DSP）的收发器来实现，这些收发器可以均衡信道插入损耗。此外，强前向纠错（FEC）技术的应用能够实现铜缆信道上的近乎无误码传输。然而，DSP和FEC的使用会增加链路延迟，延迟可能在100-150纳秒范围内。
虽然DSP和FEC技术的应用使得铜缆能够远距离传输，但也增加了链路功耗和延迟。这会逐渐削弱铜缆在短距离传输中的高效优势。
将铜线延伸到超出这个“铜墙”之外会变得越来越低效，因此需要采用其他方法来维持带宽、信号完整性和整体系统效率。大型人工智能集群会进一步放大信号调理和重定时带来的性能损失。这使得电互连和光互连之间的转换成为一个系统级决策，它会影响功耗预算、部署成本和可扩展性。
利用光互连技术大规模赋能人工智能
光互连通过以光信号而非电信号的形式传输数据来克服这些限制。光链路对电磁干扰的敏感度远低于电信号，并且能够在更远的距离上保持信号质量。因此，它们非常适合在大型人工智能部署中实现跨机架、跨行和跨园区的横向扩展连接。
在这些应用场景中，可插拔光模块仍然是主流方案，因为它们能够提供大型集群所需的带宽和传输距离。它们不仅支持从几米到几公里范围内的灵活部署，而且还能保持稳定的信号完整性。
然而，光互连也带来了自身的一些弊端。与无源电链路相比，电光转换会增加功耗，而光模块则会增加系统复杂性。
基于以太网的光模块在 100G 和 200G 传输速率下采用 PAM4 信号。这需要使用与铜缆链路相同的 DSP 和 FEC 技术。通过缩短光模块与集成在 ASIC 中的硅收发器之间的连接距离，可以降低所需的 DSP 功耗，从而节省功耗。
诸如OCI光计算互连线路接口规范等新型光标准，采用光波分复用技术，为高速链路引入并行性。这使得信号传输能够使用NRZ调制，从而可能无需DSP和FEC。因此，功耗和延迟有望降低。
迈向集成光学的演进
在大型人工智能部署中，开关硅芯片与光接口之间的距离正日益成为造成功率损耗和信号劣化的根源。印刷电路板上的长电路路径会导致插入损耗增加，并提高均衡要求。由此导致的整体效率下降促使人们开发出集成度更高的光架构，包括近封装光器件 (NPO) 和共封装光器件 (CPO)。
收发器电子器件与光器件之间的紧密耦合展现出巨大的功耗降低潜力。例如，如果跨阻放大器 (TIA) 位于串行收发器附近，则光器件中的 TIA 无需驱动 100 欧姆终端传输线。此外，收发器中的发射器也无需驱动 100 欧姆传输线，可以直接驱动光调制器。
NPO 和 CPO 通过将光引擎放置在更靠近 ASIC 的位置来缩短电通道长度。缩短这些路径可以提高信号完整性并降低功耗。特别是 CPO，它将光接口直接集成到开关硅中，从而在大规模系统中实现更高的带宽密度和更高的能效。由于这些优势，NPO 和 CPO 正成为带宽需求更高应用中越来越重要的设计方案。
复杂系统的简单规则
人工智能基础设施自然而然地呈现出互连技术的层级结构，所有这些技术都是当今人工智能工厂的关键要素。PCB互连支持板内或紧密集成系统内的通信，而铜缆则扩展了机架间或相邻机架间的连接。光纤链路则提供了机架间、行级以及更大规模系统连接所需的传输距离。这种层级结构反映了人工智能系统设计的物理和经济限制。
电学与光学之间的界限正在发生变化
从56G到112G，再到如今的224G通道，每一代信号传输技术都突破了电传输距离的实际极限，同时也加大了对光通信创新的推动力度。预计未来向448G及更高信号传输技术的过渡将延续这一趋势，推动电传输和光传输两个领域的共同进步，并重塑铜缆和光纤之间的界限。
PCB材料、制造工艺和信号完整性技术的不断改进正在拓展铜的可用范围。光器件、调制技术和封装技术的进步也在提高光互连的带宽和效率。虽然SerDes架构、均衡技术和通道设计的改进可以进一步拓展铜的实际应用范围，但光集成技术的进步正在减少对长距离电通道的需求。
随着技术和系统需求的变化，铜缆和光纤之间的界限也在不断变化。在铜缆和光纤技术之间进行选择始终是一个需要权衡的问题，而带宽、传输距离、功耗和部署规模等因素都会影响选择。
随着数据中心向大规模人工智能工厂演进，互连方式的选择对整体效率的影响日益显著。现代人工智能集群在系统内部可能使用PCB走线，在机架内部使用无源或有源铜缆，并在机架、行以及更大的部署区域之间实现横向扩展网络时使用光纤连接。铜缆和光纤的连接点直接影响着人工智能部署规模和密度不断增长时的功耗、成本和可扩展性。
尽管边界不断变化，但原则始终不变：在铜缆效率最高的地方使用铜缆，在需要远距离传输的地方使用光纤。然而，CPO（铜缆光缆）或许能够实现更远的传输距离和更高的密度扩展。确定这种过渡发生的地点仍然是构建大规模人工智能基础设施的关键架构决策之一。
（来源：编译自hpcwire）
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4531期内容，欢迎关注。
加星标⭐️第一时间看推送~
求推荐
深富策略提示：文章来自网络，不代表本站观点。
