TheBlokeがHugging Face上で公開している量子化済みモデルをダウンロードすれば、自分でGGUF/GPTQへの変換作業をせずにローカル実行できます。各リポジトリには量子化パラメータや互換ツール(llama-cpp-python等)の詳細なドキュメントが付属しています。
量子化作業を省略したいローカルLLM導入の相談
詳細な互換情報を伴う配布リポジトリ