SentencePiece（せんてんすぴーす）

概要解説

SentencePieceは、ニューラル機械翻訳をはじめとするニューラルネットワークに基づくテキスト処理向けに開発された処理ツールである。言語に依存せず、サブワードのトークナイザーおよびデトークナイザーとして機能する。従来のサブワード分割ツールは、入力テキストがあらかじめ単語列へと前処理されていることを前提としていた。これに対しSentencePieceは、生の文章から直接サブワードモデルを学習させることができる。これにより、前処理を挟まない純粋なエンドツーエンドかつ言語依存のないシステム構築が可能となる。また、サブワード単位を扱うオープンソースの実装として、C++およびPythonのライブラリが提供されている。