用語辞典に戻る
Quantization
量子化(りょうしか)
上級Models & Architecture
低精度の数値を使ってAIモデルのサイズを縮小し推論を高速化する技術。品質の低下は最小限。
なぜ重要か
量子化により、スマホやノートパソコンなどの消費者向けハードウェアで大規模言語モデルを実行できるようになります。
実際の活用例
1万ドルのGPUサーバーの代わりに、MacBookで4ビット量子化Llamaモデルを実行する。
量子化(りょうしか)
低精度の数値を使ってAIモデルのサイズを縮小し推論を高速化する技術。品質の低下は最小限。
量子化により、スマホやノートパソコンなどの消費者向けハードウェアで大規模言語モデルを実行できるようになります。
1万ドルのGPUサーバーの代わりに、MacBookで4ビット量子化Llamaモデルを実行する。