OpenAIの研究者Alec Radfordらによる原論文「Robust Speech Recognition via Large-Scale Weak Supervision」（2022年12月、arXiv掲載）によれば、Whisperはインターネット上から収集した68万時間分の多言語・マルチタスクの音声データを使った「弱教師あり学習」によって訓練されています。この規模での学習により、タスク特化のファインチューニングを行わなくても標準的なベンチマークで従来の教師あり学習モデルに匹敵する性能を発揮する「ゼロショット転移」を実現しており、人間の書き起こし精度・頑健性に近づいていると報告されています。論文の著者らはモデルと推論コードを公開し、頑健な音声認識研究の基盤としました。