Meta AI公式ブログ（ai.meta.com）の記事「Self-supervised learning: The dark matter of intelligence」によると、Self-Supervised Learningは入力データの観測されていない部分・隠れた部分を、観測された部分から予測することでAIシステムに教師信号を与える手法です。「ダークマター」という比喩は、人間が持つ常識（common sense）という基盤的な背景知識を指しており、記事は「常識は人工知能におけるダークマターである」と述べています。人間が数例からウシを認識できたり運転を短期間で習得できたりするのは、蓄積された一般的な世界知識があるためであり、大量のラベル付きデータを必要とする教師あり学習のAIシステムとは対照的であるとし、Self-Supervised Learningはこの欠けている常識の基盤を構築することを目指すとされています。有望なアーキテクチャとしては、対になる入力（xとy）を処理してエンベディングベクトルを生成する双子ネットワーク（joint embedding／Siamese networks）や、SwAVやBYOLのような計算コストの高い不適合ペア探索を回避する非対照学習（non-contrastive methods）、単一入力に対して複数の妥当な予測を許容する潜在変数モデルが挙げられています。