HyperLogLog

はいぱーろぐろぐ

意味

HyperLogLogとは、巨大なデータセットに含まれるユニークな要素の数、すなわちカーディナリティを、極めて少ないメモリ量で推定するための確率的アルゴリズムです。厳密なカウントを行うにはすべての要素を保持し照合する必要がありますが、本手法はハッシュ関数とビット演算を用いることで、わずかな誤差を許容する代わりに、データ量に比例しない定数サイズのメモリ消費量で集計を可能にします。この特性により、数億件以上の膨大なログデータから重複を除いたユーザー数やアクセス数を算出する際などに、計算資源を大幅に節約できる技術としてビッグデータ分析の現場で広く活用されています。

類義語

HLL、カーディナリティ推定

HyperLogLogの詳しい解説・事例・出典を見る →
最終更新: