マルチアームバンディット

マルチアームバンディットとは、複数の選択肢それぞれが未知の確率分布に従う報酬を生成するという設定の問題です。エージェントは各タイムステップで一つの腕を選択し、得られた報酬を観測します。目的は限られた試行回数の中で総報酬を最大化することであり、その過程で未知の腕を試す探索と、既知の高報酬腕を選ぶ活用のバランスを取る必要があります。この問題はスロットマシンの比喩から名付けられ、強化学習やオンライン最適化の基礎概念として広く利用されています。各腕の期待報酬は固定と仮定されることが多く、エージェントは観測データを蓄積しながら推定を更新します。最適な選択戦略は、時間とともに累積的な後悔を最小化する形で評価されます。