AIクラスターでは今日、巨大な勾配ベクトルと、バリア同期やキャッシュルックアップなどの小さな調整メッセージが両方移動されます。コンピューティングフェーズがミリ秒規模に縮小すると、これらの短い交換のレイテンシがボトルネックになります。なぜならネットワークは長いバルク転送よりもそれらを優先できないからです。TCPの送信者主導の輻輳制御はキューが形成された後でしか反応せず、バイトストリームモデルはメッセージ境界を隠すため、ヘッドオブラインブロッキングとインキャストトラップが発生し、最終ホップで短いメッセージがバルクトラフィックの後ろで待機します。スタンフォードのJohn Ousterhoutによって発表されたHomaは、クリーンスレート設計でこれらの問題に取り組みます。各リモートプロシージャコール（RPC）を長さが最初のパケットから見える独立したジョブとして扱い、Shortest Remaining Processing Time（SRPT）スケジューリングを可能にすることで、短いジョブが長いジョブを追い抜けるようにします。輻輳しているダウンリンクに位置するレシーバーは、ペースドGRANTパケットを発行し、送信者にメッセージのスケジュールされた部分を送信することを許可することで、キューが発生しやすい場所近くのトラフィックを制御します。スイッチに既に溜まっているバックログをバイパスするため、Homaは各イグレスポートごとに複数のハードウェアプライオリティキューを使用し、短いメッセージに動的に高い優先度を割り当てることで、低優先度のキューに並んでいる長いメッセージパケットを追い抜けるようにします。 トークで示されたベンチマークによれば、HomaはTCPと比較してショートメッセージのパーセンタイル99レイテンシを約13倍低減し、最長のメッセージについてはほぼ2倍のレイテンシ改善を達成しています。著者は、実際のAIアプリケーションでの同等の効果やRoCEとの直接比較には別途測定が必要だと指摘しています。 したがって、このプロトコルは、多数の小さなメッセージと大きな転送が共存する環境において、送信者が自由に送信することを要求せずにテールレイテンシを原則的に削減する方法を提供します。
これは、記事で説明されているヘッドオブラインブロッキングの問題を示しており、TCPではバルク転送よりもショートメッセージを優先できないことを示しています。
これは、導入段落で述べられているように、小さな調整メッセージがボトルネックを引き起こすことによるコンピューティングフェーズへのショートメッセージレイテンシの影響を示しています。
これは、Homaの設計ポイントである、メッセージ長が可視であることでSRPTスケジューリングが可能になり、ショートメッセージのレイテンシが低減されることを裏付けています。
これは、Homaが複数のハードウェアプライオリティキューを使用して、低優先度で待機している長いメッセージよりも前にショートメッセージをジャンプさせる仕組みを示しています。