SentencePiece

せんてんすぴーす

意味

SentencePieceとは、テキストを機械学習モデルの入力に適したサブワードや文字の単位に分割、およびその逆の復元を行うオープンソースのテキストトークナイザーおよびデトーカーナイザーです。特定の言語構造に強く依存しない言語非依存の設計を採用している点が特徴であり、日本語や中国語のように単語間のスペースによる区切りがない言語から、英語のようにスペースで単語が分かれる言語まで、前処理のルールを共通化して一貫した処理を行うことができます。開発はGoogleによって進められ、近年の深層学習を用いた自然言語処理や機械翻訳のシステムにおいて、標準的な前処理ツールの一つとして広く利用されています。

類義語

BPE、サブワード分割

SentencePieceの詳しい解説・事例・出典を見る →
最終更新: