クロスアテンション

クロスアテンションとは、深層学習におけるTransformerアーキテクチャで採用されている注意機構の一種です。自己注意機構が同一のデータ系列内における要素間の関連性を計算するのに対し、クロスアテンションは異なる二つの入力系列間での相互関係を計算します。具体的には、一方の系列からクエリを生成し、もう一方の系列からキーおよびバリューを生成することで、情報の結合や変換を行います。この仕組みにより、モデルはソース言語からターゲット言語への翻訳や、画像からテキストへの変換といった、異種データ間における複雑な対応関係を効率的に学習することが可能となります。現代の生成AIやマルチモーダルモデルにおいて、情報の橋渡しを担う極めて重要な基幹技術として位置づけられています。