・英語による用語：Pre-training
・用語カテゴリ：技術用語
・日本語読み：プレトレーニング（事前学習）
・種別：モデル学習の第一段階
・位置づけ：基盤モデル構築の中核工程
・関連：基盤モデル ／ ファインチューニング ／ LLM ／ トークン
・備考：大量データでモデルに幅広い知識・言語能力を獲得させる、学習の最初の大規模工程。
Pre-training（事前学習）とは？AIに幅広い基礎力を身につけさせる工程
Pre-training（事前学習）とは、AIモデルに対して、まず大量かつ多様なデータを使って幅広い知識や言語の能力を獲得させる、学習の最初の大規模な工程です。基盤モデル（Foundation Model）を作り上げる中核であり、モデルの「地力」はここで決まります。
大規模言語モデルの事前学習では、膨大なテキストを読み込ませ、「次に来る単語を予測する」といった課題を延々と解かせます。この過程で、モデルは文法や語彙、常識、さまざまな分野の知識、文章の構造などを自ら身につけていきます。莫大な計算資源と時間、コストがかかるのが特徴で、巨大モデルの開発が一部の企業に集中する理由でもあります。
事前学習を終えたモデルは幅広い基礎力を持ちますが、そのままでは指示に素直に従うとは限りません。そこで、事前学習の後にファインチューニングやRLHFなどで用途や好みに合わせて仕上げる、という二段構えが一般的です。「広く学ぶ事前学習」と「用途に合わせる後工程」を分けて理解すると、モデル開発の流れが掴みやすくなります。
