勾配チェックポイント

勾配チェックポイントとは、深層学習モデルの訓練において、順伝播時の中間活性値をすべては保存せず、一部だけを選択的に保存して逆伝播の際に再計算を行うことで、メモリ消費量を大幅に節約する技術です。別名として活性化チェックポイントとも呼ばれます。近年の大規模なニューラルネットワークでは、ネットワークの深度やパラメータ数の増大に伴い、順伝播で計算された中間状態をメモリ上に保持し続けることがハードウェア上の大きなボトルネックになります。この手法を導入することにより、計算コストをわずかに増加させるトレードオフと引き換えに、限られたGPUメモリ上でもより巨大なモデルやバッチサイズの大きな学習を実行することが可能になります。