・英語による用語：Latency
・用語カテゴリ：技術用語
・日本語読み：レイテンシ（遅延）
・種別：性能指標
・位置づけ：要求から応答までの遅延時間
・関連：LLM ／ キャッシュ ／ 量子化 ／ トークン
・備考：要求してから応答が返るまでの遅延時間。ユーザー体験とコストに直結する重要指標。
Latency（レイテンシ）とは？AIの応答速度を表す指標
Latency（レイテンシ／遅延）とは、システムに要求を送ってから応答が返ってくるまでにかかる時間を指す性能指標です。生成AIでは、ユーザーが質問を送ってからAIが回答を返し始める・返し終えるまでの時間を意味し、体感的な使い心地を大きく左右します。
LLMの応答では、最初の1文字が返るまでの時間（TTFT）と、その後の生成速度（1秒あたりのトークン数）などに分けて捉えられます。モデルが大きく高性能なほど、また入力するコンテキストが長いほど、一般にレイテンシは増える傾向があります。リアルタイムの対話や音声アシスタント、大量リクエストを捌くサービスでは、この遅延の小ささが重要になります。
実務では、応答品質とのトレードオフの中でレイテンシを最適化します。軽量なモデルや量子化・蒸留による高速化、プロンプトキャッシュの活用、生成結果を逐次表示するストリーミング、入力コンテキストの短縮などが代表的な手段です。用途に応じて「速さ」と「賢さ」のどこで折り合うかを設計することが求められます。
