ブロードキャストJOIN

ブロードキャストJOINとは、Apache Sparkなどの分散処理システムにおいて、サイズの異なる二つのデータセットを結合させる際に用いられるクエリ最適化手法です。具体的には、結合対象のうちメモリに収まるほど小さい方のテーブルを、計算を担当するすべてのワーカーノードへあらかじめコピーして配布することを指します。これにより、大規模なテーブル側のデータをネットワーク経由で再配置するコストを回避し、各ノードが自身のメモリ上に保持した小規模テーブルを用いて、ローカル環境で直接結合処理を完結させることが可能です。分散環境における性能上の制約であるデータ転送量を最小化し、クエリ全体の実行速度を劇的に向上させるための極めて重要な戦略として広く活用されています。