GGUF

Identity

• GGUF（GGML Universal File）はllama.cppプロジェクトが2023年8月に導入した、量子化済みモデルを単一ファイルで保持するバイナリ形式である。検証待ち GGUF usage with llama.cpp · Hugging Face

Capability

• GGUF（GGML Universal File）はllama.cppプロジェクトが2023年8月に導入した、量子化済みモデルを単一ファイルで保持するバイナリ形式である。検証待ち GGUF usage with llama.cpp · Hugging Face
• GGUFファイルはヘッダー・キーバリュー形式のメタデータ・テンソル情報・テンソルデータの4セクションで構成され、旧GGML形式を置き換える形で後方互換性を保ちながら拡張できるよう設計されている。検証待ち ggml/docs/gguf.md
• GGUFは既存Entityのllama.cppやOllamaが採用する標準形式であり、TheBlokeをはじめとするコミュニティによって数千のモデルがGGUF形式に変換・配布されている。検証待ち GitHub — ggml-org/llama.cpp

Credibility

公開Evidence未整備

Use Case

• GGUFは既存Entityのllama.cppやOllamaが採用する標準形式であり、TheBlokeをはじめとするコミュニティによって数千のモデルがGGUF形式に変換・配布されている。検証待ち GitHub — ggml-org/llama.cpp

Constraints / Current Status

• GGUFファイルはヘッダー・キーバリュー形式のメタデータ・テンソル情報・テンソルデータの4セクションで構成され、旧GGML形式を置き換える形で後方互換性を保ちながら拡張できるよう設計されている。検証待ち ggml/docs/gguf.md

Key References

• GGUFとは何ですか？
• GGUFと旧GGML形式はどう違いますか？
• ローカル環境でLLMを量子化して動かしたい場合、GGUFはどう活用できますか？

Integrates With

• Ollama— OllamaはGGUF形式のモデルを読み込んでローカル実行する。

Related

• Safetensors— Safetensors（Hugging Face Hub向け）とGGUF（llama.cppローカル実行向け）は共に安全なモデル配布・保存を目的とする形式であり、比較検討される対象である。
• llama.cpp— GGUFはllama.cppプロジェクトが定めたネイティブなモデルファイル形式である。
• Unsloth— Unslothは学習済みモデルをGGUF形式に変換する機能を提供している。
• TheBloke— TheBlokeはGGUF形式での量子化モデル配布を広く普及させた主要な貢献者の一人である。