Transformerとは、2017年にGoogleの研究者らによって提案された、ディープラーニングにおけるニューラルネットワークの一種です。従来の自然言語処理で主流だった再帰型ニューラルネットワーク（RNN）とは異なり、自己注意機構と呼ばれるセルフアテンションメカニズムを基盤として構築されています。この仕組みにより、文中の単語同士の関連性を距離に関わらず直接的に計算することが可能となり、文脈の深い理解を実現しました。主に機械翻訳の精度向上を目的に開発されましたが、現在は文章生成や画像認識など、幅広いAI分野における標準的なアーキテクチャとして広く採用されています。