QAT

QATとはQuantization-Aware Trainingの略称であり、主にディープラーニングの分野において、モデルの軽量化と高速化を図るために用いられる量子化を考慮した訓練手法のことです。従来の学習方法では高精度な浮動小数点数を用いてモデルのパラメータを最適化しますが、QATでは推論時に使用される低ビットの整数演算をあらかじめ想定して学習を行います。これにより、通常の学習後に量子化を行うポストトレーニング量子化と比較して、精度低下を最小限に抑えながら効率的なモデルを構築することが可能になります。近年では、エッジデバイスやスマートフォンなどの限られた計算資源を持つハードウェア上で高度なAIモデルを稼働させるための重要な技術として広く認知されています。