ALiBiアテンション

ALiBiアテンションとは、Attention with Linear Biasesの略称であり、大規模言語モデルにおいて入力シーケンスの相対的な位置情報を効率的に扱うための手法です。従来のトランスフォーマーモデルで一般的に用いられていた絶対的な位置埋め込みや、複雑な相対位置エンコーディングを使用せず、アテンションスコアに対して線形的なバイアスを加算することで位置情報を表現します。これにより、モデルは単語間の距離に応じてアテンションの強度を調整することが可能となり、計算コストを抑えつつ文脈上の位置関係を把握できるようになります。特に、学習時よりも長い文章を処理させる際の外挿性能を向上させることを主目的として設計された技術です。