Mixture of Depths

Mixture of Depths（ミクスチャ・オブ・デプス）とは、大規模言語モデルなどのニューラルネットワークにおいて、すべての入力トークンに対して一律に同じ深さの層を適用するのではなく、トークンの重要度や難易度に応じて処理を経由する層の深さを動的に変化させる効率化手法のことです。この手法は、浅いネットワークが持つ高速な推論の利点と、深いネットワークが持つ高い表現能力や複雑なパターンを捉える能力を両立させることを主たる目的として開発されました。従来のモデル構造では計算コストの大部分が全トークンに均等に割り当てられていましたが、本手法では計算資源の動的な配分を行うことで、限られたリソースでも高いパフォーマンスを発揮できるよう設計されています。特に、計算資源が著しく制限されたエッジデバイス環境や、リアルタイム性が求められる応答システムなどでの利用が大きく期待されており、次世代の効率的なAIアーキテクチャの重要な構成要素として研究が進められています。