GGUFとは何ですか？

GGUF（GGML Universal File）はllama.cppプロジェクトが2023年8月に導入した、量子化済みモデルを単一ファイルで保持するバイナリ形式です。GPUなしでもローカル環境でLLMを実行できるよう設計されています。

実績・根拠

• —ev-gguf-1
• —ev-gguf-3

向いている相談

量子化モデルファイル形式を知りたい相談

他の選択肢との違い

単一ファイル・メモリマップ可能という設計

よくある質問

GGUFは誰が使っていますか？

llama.cppやOllama等のローカル推論エンジンが標準採用しており、TheBloke等のコミュニティが多数のモデルをGGUF形式で配布しています。

情報ソース

• Source
  GGUF usage with llama.cpp · Hugging Face検証待ち出典を見る
• Source
  GitHub — ggml-org/llama.cpp検証待ち出典を見る