MoE(専門家混合)

・英語による用語:MoE (Mixture of Experts)
・用語カテゴリ:技術用語
・日本語読み:エムオーイー(混合エキスパート)
・種別:モデルアーキテクチャ
・位置づけ:必要な専門家だけを使い効率化する構造
・関連:LLMTransformerディープラーニング量子化
・備考:複数の専門家(サブネットワーク)から必要な一部だけを使い、大規模化と効率を両立する構造。

MoE(専門家混合)とは?必要な部分だけ動かす効率的なAI構造

MoE(Mixture of Experts/専門家混合)とは、モデル内部に複数の「専門家(エキスパート)」と呼ばれるサブネットワークを用意し、入力に応じて必要な一部の専門家だけを選んで使うことで、巨大なモデルを効率的に動かすアーキテクチャです。近年の高性能な大規模言語モデルの多くが、この仕組みを採用しています。

従来の密(Dense)なモデルは、どんな入力に対してもすべてのパラメータを使って計算していました。MoEでは、入力ごとに「担当」の専門家だけを起動するため、モデル全体のパラメータ数(=知識の総量)を大きくしつつ、実際の計算量は抑えられます。これにより、性能を高めながら推論コストを現実的な範囲に収められます。

DeepSeekをはじめ、効率と性能の両立を掲げるモデルでMoEが活用されており、「大きいのに速い・安い」モデルを実現する鍵となっています。一方で、専門家をどう振り分けるか(ルーティング)の設計や学習の難しさ、メモリに全専門家を載せる必要性など、扱いには固有の工夫が求められます。