シャッフルパーティション

シャッフルパーティションとは、Apache Sparkをはじめとする分散処理フレームワークにおいて、データ再配置工程であるシャッフルを経て生成される論理的なデータの分割単位、およびその分割数を指す概念です。分散コンピューティング環境では、ノード間に散らばったデータを特定のキーに基づいて再構成する必要がありますが、その際にデータをいくつの単位に分割して計算タスクへ割り当てるかという数値がこの概念の核心となります。これは物理的なハードウェアの区画を指すものではなく、あくまでソフトウェア上で計算の並列性を定義するための論理的なパラメータです。分散システムにおける処理の粒度を決定づける設計指標として、データ処理の効率を左右する重要な役割を担っています。