・英語による用語：Attention / Self-Attention
・用語カテゴリ：技術用語
・日本語読み：アテンション（注意機構）
・種別：Transformerの中核メカニズム
・位置づけ：Transformerを支える仕組み
・関連：Transformer ／ LLM ／ ディープラーニング ／ トークン
・備考：入力の中でどこに注目すべきかを動的に重み付けする仕組み。TransformerひいてはLLMの中核。
Attention（アテンション）とは？AIが「どこに注目するか」を決める仕組み
Attention（アテンション／注意機構）とは、AIが文章などの入力を処理する際に、「今どの部分に注目すべきか」を動的に重み付けして判断する仕組みです。現在の大規模言語モデルの土台であるTransformer（トランスフォーマー）の中核をなす技術で、生成AIの飛躍を支えた最重要の発明の一つとされています。
言葉の意味は、周囲の文脈によって変わります。たとえば「それ」が何を指すかは、離れた場所にある単語との関係で決まります。アテンションは、文中のすべての語どうしの関連度を計算し、重要な語に強く注目することで、こうした長い文脈の依存関係を的確に捉えます。とくに、入力全体の中で自分自身の各部分に注目する「セルフアテンション」が要となっています。
この仕組みにより、AIは長い文章でも文脈を保ったまま処理できるようになり、翻訳・要約・対話などの性能が大きく向上しました。専門的には難しい計算ですが、「文章の中で関係の深いところに賢く注目する仕組み」と理解しておくと、LLMがなぜ文脈を扱えるのかを掴みやすくなります。
