Reinforcement Learning(強化学習)

・英語による用語:Reinforcement Learning
・用語カテゴリ:技術用語
・日本語読み:きょうかがくしゅう(リインフォースメントラーニング)
・種別:機械学習の一分野
・位置づけ:試行錯誤と報酬による学習
・関連:RLHFDPOアラインメント推論モデル
・備考:試行錯誤の結果に「報酬」を与え、報酬が最大になる行動を学ばせる機械学習の一分野。

Reinforcement Learning(強化学習)とは?報酬で学ぶAIの仕組み

Reinforcement Learning(強化学習)とは、AI(エージェント)が環境の中で試行錯誤を繰り返し、良い結果には「報酬」、悪い結果には罰を与えることで、報酬が最大になる行動を自ら学んでいく機械学習の一分野です。犬の芸をご褒美で覚えさせるのに近い考え方で、正解データを一つひとつ与える教師あり学習とは異なります。

強化学習は、囲碁や将棋でトップ棋士を超えたAIや、ロボット制御、ゲームAIなどで大きな成果を上げてきました。近年は生成AIの分野でも重要で、大規模言語モデルを人間の好みに沿わせるRLHF(人間のフィードバックによる強化学習)や、じっくり考える推論モデルの訓練に、強化学習の考え方が応用されています。

強みは、明確な正解が示しにくい問題でも、「結果の良し悪し」を手がかりに賢い振る舞いを獲得できる点です。一方で、何を報酬とするか(報酬設計)が結果を大きく左右し、設計を誤ると意図しない行動を学んでしまうため、目的の定義と設計が鍵になります。