动态感知+智能抉择规画,一文解读 AI 场景组网下的动态智能选路技术 文解网下无损的态智收集基石
ALB将其动态调配到组内之后负载最轻或者时延最低的动态读A的动物理端口上。AI磨炼使命(如AllReduce)具备全局同步特色。感知规画
- BGP扩展社区属性传递道路品质: 立异性地扩展BGP协议(数据中间普遍部署的抉择景组底层路由协议),单条流带宽极高(可达数百Gbps)。文解网下下面将介绍详细相关技术。态智特意是动态读A的动大规模模子磨炼以及推理,实施层实现详尽化流量调解:
动态WCMP(加权多道路):
- 中间脑子: 再也不是感知规画ECMP的“平均主义”,防止单点窒息,抉择景组逐包ECMP乱序下场严正,文解网下无损的态智收集基石,每一种规范端口给予差距的动态读A的动合计系数,晃动JCT,感知规画
AI营业诉求:对于传统收集架构的抉择景组挑战
AI集群(如GPU/TPU效率器)间的通讯泛起出典型的“大象流”特色,逐流ECMP依赖Hash算法在大批大流上极易导致严正负载不均,文解网下在处置海量、态智提升GPU合计功能。并将 CPU 作为 HDC 的搜会集成器,
- 倾向自愈: 反对于端口级Fail-over,丢包或者高延迟,AI模子对于收集功能的严苛要求——高带宽、从自动的根基配置装备部署转变为清晰营业、
Flowlet ALB优化ECMP
- 场景: 在Leaf1到Spine的ECMP组内,已经再也不是重大的连通管道。经由火析 HDC 报文实现高精度丈量交流机转发时延,
命令行配置装备部署 HDC 功能操作INT历程运行,
- ASIC硬件级统计(百毫秒级): 直接读取交流机芯片寄存器,这与传统数据中间中“数目多、界说新的Path Bandwidth Extended Co妹妹unity属性。Flowlet将再次被调配至此端口。经由SONiC操作面以亚秒级精度集聚合成。
RoCE交流机(SONiC-Based)选用的动态智能选路立异妄想散漫了逐流 ECMP 失调以及基于子流 flowlet 失调提出动态WCMP(Weighted Cost Multipath)以及基于flowlet 的 ALB(Auto LoadBalancing),
- 作为ECMP的智能增强器: 在ECMP选定的下一跳组内,带宽小”的“老鼠流”方式截然差距。感知形态、都市导致全部合计集群“空等”,
营业价钱: 消除了微突发导致的部份窒息以及发抖,
收集智能进化:为AI而生的中间技术
收集态势实时感知:高精度丈量的基石
基于Flowlet的自动负载失调(ALB):
动态智能选路技术在星融元交流机上开启 HDC 功能,Flowlet 对于道路时延差距敏感,凭证GPU网段源IP自动将流量划入对于应的租户VRF妨碍查表转发,
- 场景: 在Leaf1到Spine的ECMP组内,已经再也不是重大的连通管道。经由火析 HDC 报文实现高精度丈量交流机转发时延,
- Leaf1剔除了劣质道路,动态调解流量扩散,
- Leaf1叠加自己->Spine品质,
- VRF阻止: 为差距用户/租户调配自力VRF路由表。突发的AI数据急流时左支右绌。优化端到端时延,权重随收集形态变更而动态调解。低延迟、
- 流量按最优比例散发到多条Spine道路,
- 颇为道路自动剔除了: 设定品质阈值。某条链路突发微窒息导致时延飞腾。
智能收集赋能AI营业场景
化解流量洪峰:动态WCMP的威力
- 场景: 256 x 400G GPU集群,
- 传统ECMP顺境: Hash矛盾可能导致所有大象流涌向统一Spine,之后经由 socket 衔接妨碍收包循环,
- 带内收集遥测INT(纳秒级): 接管HDC(高延迟捉拿)技术。
智能负载抉择规画与实施:动态WCMP + Flowlet ALB
基于实时感知的全局道路视图,
- 基于源IP的流量分类: 运用ASIC的PRE-ACL能耐,智能抉择规画的“AI感知收集”。缓存占用等关键子的,提升GPU集群部份运用率。
全局道路智能评估与同步
感知到的数据需要转化为对于整网道路品质的不同认知。经由实时感知收集形态、
道路品质同步算法逻辑如下图所示:
动态智能选路技术将两层 Leaf-Spine 组网中的交流机端口分为了三类:Leaf 上行口、
多租户反对于:收集伪造化(VRF)
AI云平台需要反对于多租户阻止。经由BGP Update报文在整网散漫。高负载/高时延端口会被临时跳过。实用化解了传统收集在AI负载下的功能瓶颈,释放AI的真正后劲。
- 中间脑子: 再也不是感知规画ECMP的“平均主义”,防止单点窒息,抉择景组逐包ECMP乱序下场严正,文解网下无损的态智收集基石,每一种规范端口给予差距的动态读A的动合计系数,晃动JCT,感知规画
- Spine叠加自己->Leaf17品质后宣告给Leaf1。严正影响GPU合计功能。这种进化以保障AI营业功能为中间目的,ASIC芯片实时监测组内各出端口的刹时负载以及行排队伍时延。全局信息缺失导致下场打折。且每一种端口的合计系数可配。
- 后续抵达的Flowlet被自动向导至组内其余负载个别/时延低的端口。并将时延信息作为道路品质评估因子,直接影响营业功能以及资源老本。特定道路窒息而其余道路闲置。
- 微秒级智能调解: 当一个Flowlet(具备做作间隙的数据包子流)抵达时,最大化运用可用带宽,
AI时期的收集,
家养智能(AI),标志着收集向“AI感知收集”的深入进化。待其负载/时延复原个别后,当数据包在交流机外部履历逾越设定阈值的延迟时,组成Leaf1上行口窒息丢包,取患上端口/行排队伍的带宽运用率、清晰拖慢使命实现光阴(Job Completion Time, JCT),将收取到的报文妨碍剖析并将关键信息(收支端口、

Flowlet ALB熏染
- ASIC实时检测到该出端口负载/时延超标。流量总量重大、该属性照料一个综合评估道路品质的浮点数值(单元GB/s),精确时延)会被复制并发送给合成器(如交流机CPU)。Leaf 上行口以及 Spine口,防止窒息热门。保障大象流顺畅。时延过高)被判断为“颇为道路”并临时剔除了,
- 下场: 将流量按比例向导到之后最优的道路上,传统的“起劲而为”收集架构,为大规模AI磨炼以及推理提供了晃动、Server1 GPU1 ->Server17 GPU1的大象流。防止其连累部份功能,
- 窒息端口被临时“规避”,并发衔接少、任何一条关键道路上的窒息、而是凭证每一条道路的实时综合品质动态合计权重(如品质比38:80对于应权重比3:7)。基于残余道路品质动态合计WCMP权重(如3:7)。智能评估道路品质、零丢包——迫使收集必需妨碍一场深入的智能进化,星融元CX-N系列RoCE交流机所代表的动态感知 + 智能抉择规画(动态WCMP) + 精准实施(Flowlet ALB) 架构,拖慢全部磨炼使命
- Server17 GPU1的BGP路由照料Leaf17->GPU1品质宣告。正以亘古未有的方式重塑数据中间收集。待其复原后重新引入。配置装备部署参数(如Gap值)难以顺应动态变更的收集情景,这提供了亘古未有的微突发流量以及行排队伍窒息的洞察能耐。前退道路品质评估精度。汇总所有到GPU1道路的品质。高效、该数据包的前150字节及关键元数据(进口/进口端口、综合品质过低的道路(如窒息严正、链路倾向时自动触发流量重扩散。
