・英語による用語：DPO (Direct Preference Optimization)
・用語カテゴリ：技術用語
・日本語読み：ディーピーオー
・種別：モデル調整手法
・位置づけ：人間の好みを直接学習させる調整手法
・関連：RLHF ／ ファインチューニング ／ アラインメント ／ LLM
・備考：人間の好みデータからモデルを直接最適化する手法。RLHFより簡素で安定した代替として普及。
DPO（直接選好最適化）とは？RLHFを簡素化した調整手法
DPO（Direct Preference Optimization／直接選好最適化）とは、大規模言語モデルを人間の好みに沿わせて調整するための学習手法の一つです。RLHF（人間のフィードバックによる強化学習）と同じく「人間がどちらの回答を好むか」というデータを使いますが、RLHFのように別途「報酬モデル」を作って強化学習を回す複雑な工程を挟まず、好みのデータからモデルを直接最適化する点が特徴です。
RLHFは強力な反面、報酬モデルの作成や強化学習の調整が難しく、学習が不安定になりやすいという課題がありました。DPOはこの過程を大幅に簡素化し、より少ない手間で安定して同等の効果を狙えるため、近年のモデル調整で広く採用されるようになっています。
実務的には、自社の対話データやポリシーに沿った応答へモデルを寄せる「好みの調整」を、比較的低コストで実現できる選択肢として位置づけられます。RLHFやSFT（教師ありファインチューニング）と並ぶアラインメント手法の一つとして理解しておくと、モデルのカスタマイズ方針を検討しやすくなります。
