MoE

MoEとは、Mixture of Expertsの略称であり、日本語では混合エキスパートモデルと呼ばれる機械学習のアーキテクチャです。巨大なニューラルネットワーク全体を常に稼働させるのではなく、入力データの特徴に応じて、複数の専門家ネットワークの中から最適な一部のみを選択して処理を行う仕組みを指します。これにより、モデル全体のパラメータ数を増やして表現力を高めながらも、実際の計算に関与するパラメータ数を限定することが可能になります。一般的には、ルーターと呼ばれる制御機構が入力の性質を判断し、どの専門家ネットワークに処理を割り振るべきかを動的に決定します。ディープラーニングの大規模化に伴い、計算効率と性能の双方を向上させるための重要な手法として、近年の人工知能研究や大規模言語モデルの開発において広く採用されています。