知識蒸留

知識蒸留とは、機械学習の分野において、大規模で複雑な高性能モデルが持つ予測能力を、より軽量でコンパクトな小規模モデルへと効率的に継承させるモデル圧縮手法の一つです。一般的な機械学習の学習方法では正解ラベルという硬い情報のみを用いてモデルを訓練しますが、知識蒸留では教師モデルが出力する確率分布の軟らかい情報をも積極的に活用して学習を行います。これにより、単なる正解データ以上の豊かな知識が引き継がれ、モデルのサイズを大幅に削減しながらも、元の性能に近い精度を維持することが可能になります。主に深層学習の分野で発展してきた技術であり、計算資源が限られた環境への人工知能モデルのデプロイを現実的なものにするための極めて重要なアプローチとして位置づけられています。