重み差分マージ

重み差分マージとは、機械学習において複数の学習済みモデルのパラメータである重みの差分を計算し、それをベースモデルに統合することで性能を向上させる手法のことです。広義にはアンサンブル学習の一種に分類されますが、複数のモデルを同時に推論させるのではなく、学習済みの重みを数学的に合成して一つのモデルに集約させる点に特徴があります。具体的には、ある特定のタスクに特化したモデルと汎用的なモデルの重みの差を抽出し、それを別のモデルに適用することで、効率的に特定の能力を継承させたり、個々のモデルが持つ弱点を相互に補完させたりすることを目的としています。