MoEルーティング

もえーるーてぃんぐ

意味

MoEルーティングとは、深層学習においてMixture of Expertsと呼ばれるアーキテクチャを採用した際、入力データに応じて最適な専門家ネットワークを選択し、処理を割り当てる仕組みのことです。従来のモデル全体を常に稼働させる方式とは異なり、入力ごとに一部のネットワークのみを選択して活性化させるため、モデル全体のパラメータ数を大幅に増加させながらも、推論や学習にかかる計算コストを効率的に抑制することができます。大規模言語モデルなどの分野において、計算資源の消費を抑えつつモデルの表現力や精度を向上させるための基盤技術として広く活用されています。

類義語

Mixture、Expertsルーティング、スパースゲートルーティング

MoEルーティングの詳しい解説・事例・出典を見る →
最終更新: