アテンション機構

アテンション機構とは、入力データの中で重要度が高い部分に重点的に注目し、その情報を強調して処理する手法を指します。自然言語処理では単語列の各位置が他の位置との関係性を評価し、文脈に応じた重み付けを行います。画像認識では画像の領域ごとに注目度を算出し、視覚的特徴を選択的に抽出します。これにより、従来の固定長ベクトルや畳み込みのみの手法に比べて、長距離依存や局所的な重要情報を効果的に捉えることが可能になります。また、自己注意（self‑attention）として同一シーケンス内の要素同士が相互に情報をやり取りする仕組みとして実装されます。さらに、マルチヘッドアテンションにより複数の視点から同時に関係性を学習でき、表現力の向上が期待されます。