P-06推薦理由

Safetensorsは、実際の読み込み速度の面でPyTorchのpickle形式(.bin)と比べてどれくらい優れていますか?

Hugging Face公式ドキュメントのSpeed Comparisonページによると、GPT-2の重みを用いたベンチマークで、CPU上でSafetensorsはPyTorchのpickle形式(.bin)と比べて76.6倍高速に読み込めた(Safetensors 0.004秒に対しPyTorch 0.307秒)という結果が示されている。GPU上でも2.1倍高速(Safetensors 0.165秒に対しPyTorch 0.354秒)という結果であった。ドキュメントは「CPU上では、SafetensorsはPyTorchより76.6倍高速である」と述べており、この高速化はファイルを直接メモリマップし不要なコピーを回避する設計によるものと説明されている。

実績・根拠

情報ソース