Quantization(量子化)

・英語による用語:Quantization
・用語カテゴリ:技術用語
・日本語読み:量子化(クオンタイゼーション)
・種別:モデル軽量化技術
・位置づけ:モデルを低精度化して軽く・速くする技術
・関連:LLMファインチューニングディープラーニング蒸留
・備考:モデルの数値精度を落として容量・計算量を削減し、少ないリソースで動かす技術。

Quantization(量子化)とは?AIモデルを軽く・速くする技術

Quantization(量子化)とは、AIモデル内部の膨大な数値(パラメータ)を、より少ないビット数の低精度な表現に変換することで、モデルの容量と計算量を削減する技術です。たとえば32ビットや16ビットで保持していた数値を8ビットや4ビットへと粗くすることで、モデルのファイルサイズやメモリ使用量を大幅に圧縮できます。

大規模言語モデルは非常に多くのパラメータを持つため、そのまま動かすには高性能なGPUと大量のメモリが必要です。量子化を施すと、同じモデルをより少ないメモリ・低コストなハードウェアで動かせるようになり、応答速度の向上や消費電力の削減にもつながります。スマートフォンやPCなど手元の端末でLLMを動かす「ローカルLLM」や、オープンウェイトモデルの自社運用でも、量子化は実用上の鍵となります。

実務的なメリットは、推論コストの削減とデプロイ先の柔軟性です。クラウド費用を抑えたい、機密データを外に出さずローカルで動かしたい、といった要件と相性が良い技術です。

一方で、精度を落とす以上、応答品質がわずかに低下する可能性があります。どの程度まで量子化しても実用に耐えるかは用途によって異なり、圧縮率と品質のバランスを検証しながら適用することが求められます。関連技術として、モデルを小型化する蒸留(Distillation)と組み合わせられることもあります。