BPE

Byte Pair Encoding（BPE）は、テキストを文字レベルで扱い、出現頻度が高い隣接するバイト（文字）ペアを統計的に集計して、最も頻繁なペアを新しいトークンに置き換える操作を繰り返す手法です。この反復を語彙サイズが所定の上限に達するか、指定回数が終了するまで実施し、元の文字列を比較的少数のサブワードトークン列へ圧縮します。結果として、未知語への部分的な表現が可能になり、自然言語処理における前処理や語彙構築、モデルの計算効率向上に寄与します。