テンソル並列シャーディング

テンソル並列シャーディングとは、深層学習における大規模なニューラルネットワークのモデルパラメータを、複数の計算デバイス間で分割して配置し、並列的に演算を行う手法のことです。近年の大規模言語モデルのようにパラメータ数が膨大な場合、単一のグラフィックス処理装置やアクセラレータのメモリ容量には収まりきらないことがあります。そこで、行列演算の単位であるテンソルを細分化し、各デバイスがその一部を保持して並列に計算を行うことで、メモリ不足を解消しつつ学習を効率化します。この手法は、モデル並列化の一形態として、計算負荷とメモリ負荷の両面を最適化するために不可欠な技術であり、現代のAIインフラ構築において中心的な役割を果たしています。