・英語による用語：RLHF (Reinforcement Learning from Human Feedback)
・用語カテゴリ：技術用語
・日本語読み：アールエルエイチエフ
・種別：モデル学習手法
・位置づけ：LLMを人間の好みに沿わせる調整技術
・関連：ファインチューニング ／ アラインメント ／ LLM ／ 責任あるAI
・備考：人間の好み評価をもとにモデルを強化学習で調整し、有用で安全な応答へ整える手法。
RLHFとは？AIを人間の好みに沿わせる学習手法
RLHF（Reinforcement Learning from Human Feedback／人間のフィードバックによる強化学習）とは、大規模言語モデルの出力を、人間が「好ましい」と感じる方向へ調整するための学習手法です。ChatGPTをはじめとする対話型AIが、単に文章を続けるだけでなく、役に立ち・無害で・指示に従った応答を返せるようになった立役者として知られます。
大まかな流れは、まず同じ質問に対する複数の回答に人間が優劣のランク付けを行い、その好みを学習した「報酬モデル」を作ります。次に、その報酬モデルが高く評価する応答を出すように、本体のLLMを強化学習で微調整します。これにより、事前学習だけでは表面化しにくい「人間にとっての望ましさ」をモデルへ反映できます。
RLHFは、有害・不適切な出力の抑制、指示への忠実さ、口調や丁寧さの調整など、AIを実用サービスとして成立させる「仕上げ」の工程です。近年はAIが生成した評価を活用するRLAIFや、より簡素なDPOなど、派生・代替手法も広がっています。
一方で、フィードバックを与える人間の主観や偏りがそのままモデルの傾向に反映される、無難な回答に偏りやすい、といった課題も指摘されます。誰の・どのような価値基準で整えるかは、AIの安全性・公平性を考えるうえで重要な論点です。
