オンライン推論とは、ユーザーからのリクエストやセンサーからの入力データに対して、機械学習モデルがリアルタイムに即座に予測や分類の計算を行う処理方式のことです。蓄積されたデータをまとめて一度に処理するバッチ推論とは対照的に、個々の入力データが発生する都度、逐次的に処理を実行して結果を返す点に大きな特徴があります。主に、ユーザーの利便性やシステムの即時性が直接成果に結びつく場面において不可欠な技術として採用されています。この方式では、システム全体として応答速度の遅延を最小限に抑えることが強く求められます。