トップKサンプリング

トップKサンプリングは、確率分布が与えられた語彙集合から上位K個のトークンだけを候補として残し、その中で確率に従ってランダムに次のトークンを選択する生成手法です。語彙全体を対象にした純粋な確率サンプリングに比べ、低確率のノイズトークンが除外されるため、生成文の品質が保たれやすくなります。一方で上位Kに限定することで多様性を調整でき、特に大規模言語モデルのテキスト生成において、流暢さと創造性のバランス調整に有効です。Kの値はタスクや求められる創造性に応じて調整でき、実装上は簡便で計算コストも低い点が特徴です。