用語辞典に戻る
MoEMixture of Experts
混合エキスパート(こんごうエキスパート)
上級Models & Architecture
複数の専門サブネットワーク（エキスパート）を使い、各入力に関連するもののみを活性化して効率を向上させるモデルアーキテクチャ。
なぜ重要か
MoEにより、計算コストを比例的に増加させずにモデルを大幅に大きくできます。
実際の活用例
GPT-4はMoEを使用し、異なる種類の質問を異なる専門サブネットワークにルーティングするとされている。
混合エキスパート(こんごうエキスパート)
複数の専門サブネットワーク（エキスパート）を使い、各入力に関連するもののみを活性化して効率を向上させるモデルアーキテクチャ。
MoEにより、計算コストを比例的に増加させずにモデルを大幅に大きくできます。
GPT-4はMoEを使用し、異なる種類の質問を異なる専門サブネットワークにルーティングするとされている。