Prefix Tuning

Prefix Tuningとは、大規模言語モデルのパラメータを直接更新せず、モデルの入力部分に学習可能なプレフィックスと呼ばれる連続的なベクトルを付加することで、特定のタスクに適応させるパラメータ効率の良いファインチューニング手法のひとつです。従来の全層を更新する手法とは異なり、事前学習済みのモデル本体のパラメータを完全に固定したまま、各レイヤーの注意機構に挿入されるキーとバリューに対して訓練可能な連続的なテンソルを学習させます。これにより、モデル全体の構造を大きく変更することなく、特定のダウンストリームタスクに特化した動作を獲得させることが可能となります。学習時に更新すべきパラメータの数がモデル全体の大きさに比べて極めて少なくて済むため、メモリ消費量や計算コストを大幅に抑制できるという実用的な利点を持っています。そのため、限られた計算資源環境や、多様なタスクを効率よく切り替えて運用したい場面において、非常に有効なアプローチとして広く認知されています。