Self-Supervised Learning

Identity

• Self-Supervised Learningは、人手によるラベル付けデータを用いず、データ自体の構造から学習信号を自動的に生成してモデルを訓練する手法である。検証待ち A Cookbook of Self-Supervised Learning

Capability

• Self-Supervised Learningは、人手によるラベル付けデータを用いず、データ自体の構造から学習信号を自動的に生成してモデルを訓練する手法である。検証待ち A Cookbook of Self-Supervised Learning

Credibility

• Googleの研究者ら（Devlin et al.）によるarXiv論文（1810.04805、2018年）。BERTはラベルなしテキストから双方向表現を事前学習するモデルで、マスク言語モデル（Masked Language Model）という自己教師あり学習の目的関数を採用。1層の出力層追加のファインチューニングのみで11のNLPタスクで当時のSOTAを達成。GLUE 80.5%（+7.7pt）、MultiNLI 86.7%（+4.6pt）、SQuAD v1.1 93.2 F1（+1.5pt）、SQuAD v2.0 83.1 F1（+5.1pt）。検証待ち BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Use Case

• Self-Supervised Learningは、ラベル付けコストが膨大なテキスト・画像等の大規模データからモデルの基礎的な表現力を獲得したい場面で活用される。検証待ち A Cookbook of Self-Supervised Learning

Constraints / Current Status

• Self-Supervised Learningは人手によるラベル付けを必要としない点が特徴で、正解ラベルを人手で用意するsupervised learning（教師あり学習）とはデータ準備の方式が異なる。大規模言語モデルのpretraining段階はこの手法を用いる代表的な応用場面である。検証待ち A Cookbook of Self-Supervised Learning
• Meta AI公式ブログ（ai.meta.com）記事。Self-Supervised Learningは観測データの隠れた部分を予測して教師信号を得る手法。「知能のダークマター」という比喩は人間の常識という基盤知識に由来。有望なアーキテクチャとしてjoint embedding（Siamese networks）、SwAV・BYOL等の非対照学習（non-contrastive methods）、潜在変数モデルを挙げる。検証待ち Self-supervised learning: The dark matter of intelligence

Key References

• Self-Supervised Learningの代表的な手法であるマスク言語モデル（Masked Language Model）は、実際にどの程度の性能改善効果が確認されていますか？
• Self-Supervised Learningとはどのようなものですか？
• Self-Supervised Learningはなぜ「知能のダークマター」と呼ばれ、どのようなアーキテクチャが有望とされていますか？

Related

• Pretraining— Pretrainingは、Self-Supervised Learningという学習手法を大規模言語モデルの訓練に応用した代表的な段階である。