Self-Supervised Learningは、人手によるラベル付けデータを用いず、データ自体の構造（次の単語を予測する等）から学習信号を自動的に生成してモデルを訓練する手法です。大規模言語モデルのpretraining段階の理論的基盤となっています。