DINO

DINOとは、Self-Distillation with no labelsの略称であり、コンピュータビジョンの分野において画期的な成果を上げている自己教師あり学習の枠組みです。この手法では、Vision Transformerをバックボーンとして採用し、ラベル付けされていない膨大な画像データから視覚的な特徴を自律的に学習します。具体的には、構造が同一の教師モデルと生徒モデルという二つのネットワークを構築します。生徒モデルが教師モデルの出力を予測するように学習を繰り返すことで、データ内に含まれる物体形状や構造をモデル自身が発見し、人間によるアノテーション作業を介さずに、画像の本質的な情報を効率的に抽出することが可能となります。