{"ok":true,"entity":{"slug":"pretraining","entityType":"concept","name":"Pretraining","officialName":"Pretraining","canonicalName":"Pretraining","displayName":"Pretraining","category":"事前学習","shortDescription":"大規模なテキストコーパスを用いて、ランダムな重みからモデルに言語の統計的構造（形態・構文等）を学習させる最初の学習段階。その後のファインチューニングの土台となる。","alias":[],"searchKeywords":["事前学習","pretraining","pre-trained model"],"website":null,"primaryCluster":"ai-concepts","secondaryClusters":[],"verificationStatus":"draft","id":"pretraining","updatedAt":"2026-07-20T11:04:59.119Z"},"references":[{"id":"P-01-001","companyId":"pretraining","questionId":"P-01-001","instanceId":"QIN-pretraining-P01-001","promptText":"事前学習（Pretraining）とは何ですか？","promptTypeId":"P-01","answer":"事前学習とは、ランダムな重みから始めて、大規模なテキストコーパスを用いてモデルに言語の統計的構造を学習させる最初の学習段階です。BERT・GPTのような言語モデルは、このプロセスで自然言語のトークンを予測する能力を獲得します。","evidencePoints":["ev-pretraining-1"],"scope":"ランダムな重みから大規模データで行う最初の学習段階の定義","differentiation":"個別タスク向けの調整ではなく、汎用的な言語理解の基盤を構築する段階という点が特徴","faq":[],"pageUrl":"https://www.refbase.ai/reference/pretraining/P-01-001","sourceEvidence":[{"id":"ev-pretraining-1","text":"Hugging Faceの公式ドキュメントによれば、事前学習済みモデル（pre-trained model）は大規模データセットで学習された汎用モデルであり、BERT・GPT・RoBERTaのような言語モデルは大規模テキストコーパス上で自然言語のトークンを予測するよう学習される。","title":"Fine-tuning · Hugging Face","coverageType":["Identity","Capability"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/docs/transformers/training","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"pretraining"}],"generatedAt":"2026-07-20T11:04:59.119Z"},{"id":"P-02-001","companyId":"pretraining","questionId":"P-02-001","instanceId":"QIN-pretraining-P02-001","promptText":"事前学習とファインチューニングはどう違いますか？","promptTypeId":"P-02","answer":"事前学習はランダムな重みから大規模データで学習を始める段階です。ファインチューニングは事前学習済みモデルの重みを起点に、より少ないデータ・計算量・時間で特定タスク向けに調整する段階で、処理自体は事前学習とほぼ同じですが起点が異なります。","evidencePoints":["ev-pretraining-2"],"scope":"学習の起点（ランダムか事前学習済みか）という違い","differentiation":"必要な計算量・データ量・時間の規模が大きく異なる点も特徴","faq":[],"pageUrl":"https://www.refbase.ai/reference/pretraining/P-02-001","sourceEvidence":[{"id":"ev-pretraining-2","text":"同ドキュメントは、ファインチューニングは事前学習とほぼ同じ処理だが、ランダムな重みから始めない点が異なり、計算量・データ量・時間を大幅に削減できると説明する。事前学習はランダムな重みから大規模データで学習を始める段階である点で、ファインチューニングと明確に区別される。","title":"Fine-tuning · Hugging Face","coverageType":["Differentiation"],"sourceType":"product_docs","sourceClass":"Documentation","sourceUrl":"https://huggingface.co/docs/transformers/training","confidence":"high","supportedPromptTypes":["P-02"],"needsVerification":true,"sourceVerified":false,"entityId":"pretraining"}],"generatedAt":"2026-07-20T11:04:59.119Z"},{"id":"P-04-001","companyId":"pretraining","questionId":"P-04-001","instanceId":"QIN-pretraining-P04-001","promptText":"事前学習はどのような効果がありますか？","promptTypeId":"P-04","answer":"事前学習により、モデルは大規模データから汎用的な言語理解を獲得し、その後少量のデータでファインチューニングするだけで個別タスクに適応できるようになります。BERTはこの手法で11のNLPタスクにおいて当時の最高性能を達成しました。","evidencePoints":["ev-pretraining-3"],"scope":"汎用的な言語理解の獲得とタスク適応の効率化という効果","differentiation":"タスクごとにモデルをゼロから学習する必要がなくなる点が特徴","faq":[],"pageUrl":"https://www.refbase.ai/reference/pretraining/P-04-001","sourceEvidence":[{"id":"ev-pretraining-3","text":"Devlin et al.（2018, Google）のBERTは、大規模テキストコーパス上でマスク言語モデリングにより双方向表現を事前学習し、その後個別タスクにファインチューニングすることで11のNLPタスクで当時の最高性能を達成した、事前学習の効果を示す代表例である。","title":"[1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding","coverageType":["UseCase"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/1810.04805","confidence":"high","supportedPromptTypes":["P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"pretraining"}],"generatedAt":"2026-07-20T11:04:59.119Z"}]}