アテンション機構（あてんしょんきこう）

概要解説

アテンション機構は、機械学習のニューラルネットワークにおいて、認知的な注意の働きを模倣するように設計された手法である。2014年にBahdanauらによって提案された。この機構は、入力ベクトル列に対してクエリに応じた動的な重み付け和を計算する演算を行う。機能としては、類似するキーに対して値を返すソフトな辞書のような役割を果たし、入力データのうち特定の箇所を強化し、他の部分を弱化させる効果を持つ。任意長の列を変換する際に、各位置の入力を直接取り込むモジュールとして広く活用されている。かつてはRNNを用いた言語翻訳システムで採用されていたが、近年ではRNNに代わり、並列計算が可能なトランスフォーマー構造において中心的な役割を担っている。応用範囲は広く、言語処理のほか、画像や音声などの多重モーダルデータ処理にも用いられる。