LoRA(低ランク適応)

・英語による用語:LoRA (Low-Rank Adaptation)
・用語カテゴリ:技術用語
・日本語読み:ローラ
・種別:効率的ファインチューニング手法
・位置づけ:少ないパラメータでモデルを微調整する手法
・関連:ファインチューニングPEFTLLM量子化
・備考:元モデルを凍結し少数の追加パラメータだけ学習する、軽量なファインチューニング手法。

LoRA(低ランク適応)とは?少ないコストでAIを微調整する技術

LoRA(Low-Rank Adaptation/低ランク適応)とは、大規模なモデルを丸ごと再学習させることなく、ごく少数の追加パラメータだけを学習することで、効率的にファインチューニング(微調整)を行う技術です。PEFT(パラメータ効率的ファインチューニング)と呼ばれる手法群の代表格として広く使われています。

通常のファインチューニングは、モデル内部の膨大なパラメータをすべて更新するため、多大な計算資源とストレージが必要でした。LoRAでは、元のモデルの重みは固定(凍結)したまま、小さな「差分」を表す軽量なパラメータだけを追加で学習します。これにより、必要な計算・メモリを大幅に削減しつつ、特定の用途やスタイルにモデルを適応させられます。

実務的なメリットは、低コストで複数の専用モデルを作れる点です。学習したLoRA部分は小さなファイルとして保存・差し替えができるため、用途ごとにアダプターを付け替えるような柔軟な運用が可能になります。画像生成モデルの作風調整から、LLMの業務特化まで、幅広く活用されています。