エキスパート並列

エキスパート並列とは、Mixture of Experts（MoE）構造を採用した大規模な深層学習モデルにおいて、モデル内部のサブネットワークであるエキスパート層を、複数の計算ノードやGPUに効率的に分散配置して並列処理を行う技術です。通常の深層学習モデルが全パラメータをすべての計算資源で共有するのに対し、MoEでは入力データに応じて活性化するエキスパートを選択します。この特性を活かし、各計算ノードに特定のエキスパートを割り当てることで、単一のデバイスではメモリ容量や計算能力の制約により扱えないような超巨大モデルの学習および推論を、複数のハードウェアを協調させることで実現可能にする手法を指します。