大規模言語モデル（だいきぼげんごもでる）

概要解説

大規模言語モデルは、大規模なコーパスで訓練された自然言語処理のための機械学習モデルである。正式な定義は存在しないが、億や兆といった多数のパラメータを持つディープラーニングモデルを指すことが多い。主に文章の生成などのタスクで用いられ、さまざまな仕事で優れた性能を発揮する。開発の契機としては、2017年のNeurIPS会議でGoogleの研究者らがTransformerアーキテクチャを発表したことが挙げられる。翌2018年にはBERTが登場して普及し、モデル自体も2018年頃から登場した。2026年現在では、Transformerを用いて膨大なラベルなしテキストから自己教師あり学習などで訓練する手法が主流である。また、次の単語を予測するように事前学習されたモデルは、ChatGPTやClaudeといった対話型AIの基礎となっている。