{"ok":true,"entity":{"id":"self-supervised-learning","name":"Self-Supervised Learning","entityType":"concept","officialName":"Self-Supervised Learning","canonicalName":"Self-Supervised Learning","displayName":"Self-Supervised Learning","category":"AI概念（ラベルなしデータからの学習手法）","shortDescription":"人手によるラベル付けデータを用いず、データ自体の構造（次の単語を予測する等）から学習信号を自動的に生成してモデルを訓練する手法。大規模言語モデルのpretraining段階の理論的基盤となっている。","primaryCluster":"ai-concepts","verificationStatus":"draft","website":null,"updatedAt":"2026-07-22T13:12:07.131Z","secondaryClusters":[],"alias":[],"searchKeywords":["Self-Supervised Learning","自己教師学習","SSL"]},"references":[{"id":"P-01-001","companyId":"self-supervised-learning","questionId":"P-01-001","instanceId":"QIN-self-supervised-learning-P01-001","promptText":"Self-Supervised Learningとはどのようなものですか？","promptTypeId":"P-01","answer":"Self-Supervised Learningは、人手によるラベル付けデータを用いず、データ自体の構造（次の単語を予測する等）から学習信号を自動的に生成してモデルを訓練する手法です。大規模言語モデルのpretraining段階の理論的基盤となっています。","evidencePoints":["ev-self-supervised-learning-1","ev-self-supervised-learning-2"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/self-supervised-learning/P-01-001","sourceEvidence":[{"id":"ev-self-supervised-learning-1","text":"Self-Supervised Learningは、人手によるラベル付けデータを用いず、データ自体の構造から学習信号を自動的に生成してモデルを訓練する手法である。","coverageType":["Identity","Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2304.12210","title":"A Cookbook of Self-Supervised Learning","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"self-supervised-learning"},{"id":"ev-self-supervised-learning-2","text":"Self-Supervised Learningは人手によるラベル付けを必要としない点が特徴で、正解ラベルを人手で用意するsupervised learning（教師あり学習）とはデータ準備の方式が異なる。大規模言語モデルのpretraining段階はこの手法を用いる代表的な応用場面である。","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2304.12210","title":"A Cookbook of Self-Supervised Learning","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"self-supervised-learning"}],"generatedAt":"2026-07-22T13:12:07.131Z"},{"id":"P-02-001","companyId":"self-supervised-learning","questionId":"P-02-001","instanceId":"QIN-self-supervised-learning-P02-001","promptText":"Self-Supervised Learningは他の同種の事業・作品と比べてどう違いますか？","promptTypeId":"P-02","answer":"比較軸\n・データ準備の方式（ラベルなしか、人手ラベル付きか）\n\nSelf-Supervised Learningは人手によるラベル付けを必要としない点が特徴で、正解ラベルを人手で用意するsupervised learning（教師あり学習）とはデータ準備の方式が異なる。","evidencePoints":["ev-self-supervised-learning-2"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/self-supervised-learning/P-02-001","sourceEvidence":[{"id":"ev-self-supervised-learning-2","text":"Self-Supervised Learningは人手によるラベル付けを必要としない点が特徴で、正解ラベルを人手で用意するsupervised learning（教師あり学習）とはデータ準備の方式が異なる。大規模言語モデルのpretraining段階はこの手法を用いる代表的な応用場面である。","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2304.12210","title":"A Cookbook of Self-Supervised Learning","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"self-supervised-learning"}],"generatedAt":"2026-07-22T13:12:07.131Z"},{"id":"P-04-001","companyId":"self-supervised-learning","questionId":"P-04-001","instanceId":"QIN-self-supervised-learning-P04-001","promptText":"Self-Supervised Learningはどのような場面で参照されますか？","promptTypeId":"P-04","answer":"Self-Supervised Learningは、大規模言語モデルのpretraining段階における学習手法の理論的基盤を把握したい場面で参照される。","evidencePoints":["ev-self-supervised-learning-2","ev-self-supervised-learning-3"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/self-supervised-learning/P-04-001","sourceEvidence":[{"id":"ev-self-supervised-learning-2","text":"Self-Supervised Learningは人手によるラベル付けを必要としない点が特徴で、正解ラベルを人手で用意するsupervised learning（教師あり学習）とはデータ準備の方式が異なる。大規模言語モデルのpretraining段階はこの手法を用いる代表的な応用場面である。","coverageType":["Differentiation"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2304.12210","title":"A Cookbook of Self-Supervised Learning","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"self-supervised-learning"},{"id":"ev-self-supervised-learning-3","text":"Self-Supervised Learningは、ラベル付けコストが膨大なテキスト・画像等の大規模データからモデルの基礎的な表現力を獲得したい場面で活用される。","coverageType":["UseCase"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2304.12210","title":"A Cookbook of Self-Supervised Learning","confidence":"high","needsVerification":true,"sourceVerified":false,"supportedPromptTypes":["P-01","P-02","P-04"],"entityId":"self-supervised-learning"}],"generatedAt":"2026-07-22T13:12:07.131Z"},{"id":"P-01-002","companyId":"self-supervised-learning","questionId":"P-01-002","instanceId":"reference-depth-completion-run-cohort3-unit-a","draftId":"reference-depth-completion-run-cohort3-unit-a-self-supervised-learning-p-01-002","promptText":"Self-Supervised Learningはなぜ「知能のダークマター」と呼ばれ、どのようなアーキテクチャが有望とされていますか？","promptTypeId":"P-01","answer":"Meta AI公式ブログ（ai.meta.com）の記事「Self-supervised learning: The dark matter of intelligence」によると、Self-Supervised Learningは入力データの観測されていない部分・隠れた部分を、観測された部分から予測することでAIシステムに教師信号を与える手法です。「ダークマター」という比喩は、人間が持つ常識（common sense）という基盤的な背景知識を指しており、記事は「常識は人工知能におけるダークマターである」と述べています。人間が数例からウシを認識できたり運転を短期間で習得できたりするのは、蓄積された一般的な世界知識があるためであり、大量のラベル付きデータを必要とする教師あり学習のAIシステムとは対照的であるとし、Self-Supervised Learningはこの欠けている常識の基盤を構築することを目指すとされています。有望なアーキテクチャとしては、対になる入力（xとy）を処理してエンベディングベクトルを生成する双子ネットワーク（joint embedding／Siamese networks）や、SwAVやBYOLのような計算コストの高い不適合ペア探索を回避する非対照学習（non-contrastive methods）、単一入力に対して複数の妥当な予測を許容する潜在変数モデルが挙げられています。","evidencePoints":["self-supervised-learning-ev-cr3-meta-dark-matter"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/self-supervised-learning/P-01-002","sourceEvidence":[{"id":"self-supervised-learning-ev-cr3-meta-dark-matter","text":"Meta AI公式ブログ（ai.meta.com）記事。Self-Supervised Learningは観測データの隠れた部分を予測して教師信号を得る手法。「知能のダークマター」という比喩は人間の常識という基盤知識に由来。有望なアーキテクチャとしてjoint embedding（Siamese networks）、SwAV・BYOL等の非対照学習（non-contrastive methods）、潜在変数モデルを挙げる。","title":"Self-supervised learning: The dark matter of intelligence","coverageType":["Differentiation"],"sourceType":"official_blog","sourceClass":"Documentation","sourceUrl":"https://ai.meta.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/","confidence":"high","supportedPromptTypes":["P-01"],"needsVerification":true,"sourceVerified":false,"sourceKind":"official","entityId":"self-supervised-learning"}],"generatedAt":"2026-08-29T15:38:46.199Z","evidenceIds":["self-supervised-learning-ev-cr3-meta-dark-matter"]},{"id":"P-06-001","companyId":"self-supervised-learning","questionId":"P-06-001","instanceId":"reference-depth-completion-run-cohort3-unit-b","draftId":"reference-depth-completion-run-cohort3-unit-b-self-supervised-learning-p-06-001","promptText":"Self-Supervised Learningの代表的な手法であるマスク言語モデル（Masked Language Model）は、実際にどの程度の性能改善効果が確認されていますか？","promptTypeId":"P-06","answer":"Googleの研究者ら（Jacob Devlin氏ら4名）がarXivに公開した論文「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」（2018年）によると、BERT（Bidirectional Encoder Representations from Transformers）は、ラベル付けされていないテキストから、左右両方の文脈を同時に条件づけて双方向の表現を事前学習するモデルです。この事前学習には、入力の一部をマスクしてその原単語を文脈のみから予測するマスク言語モデル（Masked Language Model）という自己教師あり学習の目的関数が用いられています。論文は、この手法を用いた事前学習モデルに1層の出力層を追加してファインチューニングするだけで、11のNLPタスクで当時の最高性能（state-of-the-art）を達成したと報告しています。具体的な性能改善として、GLUEベンチマークで80.5%（7.7ポイント改善）、MultiNLIで86.7%の精度（4.6ポイント改善）、SQuAD v1.1で93.2のF1スコア（1.5ポイント改善）、SQuAD v2.0で83.1のF1スコア（5.1ポイント改善）を達成したとされ、ラベルなしデータからの自己教師あり事前学習が下流タスクの性能を大きく押し上げることを実証した代表的な研究として位置づけられます。","evidencePoints":["self-supervised-learning-ev-cr3-bert-benchmark"],"scope":"","differentiation":"","faq":[],"pageUrl":"https://www.refbase.ai/reference/self-supervised-learning/P-06-001","sourceEvidence":[{"id":"self-supervised-learning-ev-cr3-bert-benchmark","text":"Googleの研究者ら（Devlin et al.）によるarXiv論文（1810.04805、2018年）。BERTはラベルなしテキストから双方向表現を事前学習するモデルで、マスク言語モデル（Masked Language Model）という自己教師あり学習の目的関数を採用。1層の出力層追加のファインチューニングのみで11のNLPタスクで当時のSOTAを達成。GLUE 80.5%（+7.7pt）、MultiNLI 86.7%（+4.6pt）、SQuAD v1.1 93.2 F1（+1.5pt）、SQuAD v2.0 83.1 F1（+5.1pt）。","title":"BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding","coverageType":["Credibility"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/1810.04805","confidence":"high","supportedPromptTypes":["P-06"],"needsVerification":true,"sourceVerified":false,"sourceKind":"official","entityId":"self-supervised-learning"}],"generatedAt":"2026-08-29T15:44:42.311Z","evidenceIds":["self-supervised-learning-ev-cr3-bert-benchmark"]}]}