スライディングウィンドウ注意

スライディングウィンドウ注意とは、コンピュータビジョンや自然言語処理などの機械学習分野において、Transformerモデルが持つアテンション機構の計算量を効率化するために開発された先進的な手法です。通常の完全なアテンション機構では、入力シーケンスの長さに対して計算量が二乗のオーダーで増加するため、長文や高解像度画像の処理において深刻なボトルネックが生じます。これに対して、この手法では各要素が参照できる範囲を一定の固定サイズを持つ局所的な窓の内部に限定することで、計算量を入力長の増加に対して線形に抑えることを可能にしています。計算コストを劇的に削減しながらも、局所的な文脈や近傍の要素間の強い相関関係を効果的に捉えることができるため、効率性と表現力のバランスに優れたアプローチとして広く認知されています。