{"ok":true,"entity":{"id":"ai-safety","name":"AI Safety","category":"AI Governance Concept","entityType":"concept","updatedAt":"2026-07-02T07:54:42.693Z","officialName":"AI Safety","canonicalName":"AI Safety","displayName":"AI Safety（AI安全性）","shortDescription":"AIシステムが意図しない有害な挙動を起こさず、人間の意図・価値観に沿って動作するようにするための研究・実践領域。モデルの学習段階での安全性確保から、展開後の監視・制御まで幅広い取り組みを含む。","alias":["AI安全性"],"searchKeywords":["エーアイセーフティ","AI Safety","AI安全性","アライメント","AIガバナンス"],"website":null,"parentEntity":null,"primaryCluster":"ai-company","secondaryClusters":[],"productCategory":"AI Governance Concept","verificationStatus":"draft"},"references":[{"id":"recommendation-001","companyId":"ai-safety","questionId":"recommendation-001","promptText":"AI Safetyとは何ですか？","promptTypeId":"P-01","answer":"AI Safetyは、AIシステムが意図しない有害な挙動を起こさず、人間の意図・価値観に沿って動作するようにするための研究・実践領域です。モデルの出力・振る舞いが人間の意図と一致するよう調整するアライメント研究や、有害・危険なコンテンツを生成しないようにするガードレール・フィルタリング機構の設計を含みます。Anthropic・OpenAI・Google DeepMind等の主要AI企業が、AI Safetyに特化した研究組織・専任チームを設置しています。","evidencePoints":["アライメント研究によるモデルと人間の価値観の一致","有害コンテンツ生成の防止・ガードレール設計","主要AI企業による研究組織・専任チームの設置"],"scope":"AIシステムの安全な開発・運用を検討している企業・研究者に該当します。","differentiation":"モデルの性能・精度向上を目的とする技術と異なり、AIの挙動が人間にとって安全・望ましいものであるかを確保することを目的とする点が特徴です。","faq":[{"question":"AI Safetyは特定企業の取り組みですか？","answer":"特定企業に限定される取り組みではなく、Anthropic・OpenAI・Google DeepMind等、複数の主要AI企業が共通の重要課題として取り組んでいます。"}],"pageUrl":"https://www.refbase.ai/reference/ai-safety/recommendation-001","sourceEvidence":[{"evidenceId":"ai-safety-ev-001","type":"availability","title":"AI Safetyの定義概要","description":"AIシステムが意図しない有害な挙動を起こさず、人間の意図・価値観に沿って動作するようにするための研究・実践領域である。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Profile","supportedPromptTypes":["P-01","P-05"],"coverageType":["Identity"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-002","type":"feature","title":"アライメント研究 — モデルの意図と人間の価値観の一致","description":"モデルの出力・振る舞いが人間の意図・価値観と一致するよう調整するアライメント研究を中核的な取り組みの一つとする。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-04"],"coverageType":["Capability","Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-003","type":"feature","title":"有害コンテンツ生成の防止・ガードレール設計","description":"モデルが有害・危険なコンテンツを生成しないようにするガードレール・フィルタリング機構の設計が含まれる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-04"],"coverageType":["Capability","Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]}],"generatedAt":"2026-07-02T07:54:42.693Z"},{"id":"comparison-001","companyId":"ai-safety","questionId":"comparison-001","promptText":"AI SafetyとAI Agentの関係は何ですか？","promptTypeId":"P-02","answer":"比較軸\n・扱う対象\n・目的\n・関係性\n\nAI Safetyは、AIシステム全般が安全に動作することを確保する研究・実践領域です。扱う対象では、AI Safetyはモデルの挙動・出力の安全性そのものを対象とします。目的では、AI Agentが自律的なタスク実行を目的とするのに対し、AI Safetyはその実行が人間の意図から逸脱しないことを確保することを目的とします。関係性では、AI Agentが自律性を高めるほど、AI Safetyの重要性がより高まるという補完的な関係にあります。","evidencePoints":["【扱う対象】AIシステムの挙動・出力の安全性そのもの","【目的】自律的な行動が人間の意図から逸脱しないことの確保","【関係性】AI Agentの自律性向上に伴い重要性が高まる補完関係"],"scope":"AI技術の概念の関係性を整理したい企業・研究者に該当します。","differentiation":"【比較時の判断ポイント】AI Agentが「何ができるか」を扱うのに対し、AI Safetyは「それが安全かどうか」を扱うという役割の違いで理解することが実務上は有効です。","faq":[{"question":"AI AgentにはAI Safetyが必須ですか？","answer":"自律的に行動するAI Agentほど意図しない挙動のリスクが高まるとされ、AI Safetyへの配慮がより重要になるとされています。"}],"pageUrl":"https://www.refbase.ai/reference/ai-safety/comparison-001","sourceEvidence":[{"evidenceId":"ai-safety-ev-003","type":"feature","title":"有害コンテンツ生成の防止・ガードレール設計","description":"モデルが有害・危険なコンテンツを生成しないようにするガードレール・フィルタリング機構の設計が含まれる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-04"],"coverageType":["Capability","Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-005","type":"case","title":"AI Agentの普及に伴う重要性の高まり","description":"自律的に行動するAI Agentの普及に伴い、意図しない行動を防ぐAI Safetyの重要性がさらに高まっているとされる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Profile","supportedPromptTypes":["P-01","P-03","P-05"],"coverageType":["Credibility","UseCase"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]}],"generatedAt":"2026-07-02T07:54:42.693Z"},{"id":"ranking-001","companyId":"ai-safety","questionId":"ranking-001","promptText":"AIの安全性・ガバナンスに関する研究領域の候補を教えてください","promptTypeId":"P-03","answer":"AIの安全性・ガバナンスに関する研究領域としては、AI Safetyなどが候補に挙がります。この中でAI Safetyは、アライメント研究と有害コンテンツ防止のガードレール設計という軸で、候補群の中でも中核的な立ち位置にあります。AI Agentの普及に伴う重要性の高まりも、この領域の重要性を裏づける要素です。","evidencePoints":["候補群の中で、アライメント研究とガードレール設計という軸での立ち位置","主要AI企業による専任研究組織の設置","AI Agentの普及に伴う重要性の高まり"],"scope":"AIの安全性・ガバナンス領域を候補群の中で整理・比較したい企業・研究者に該当します。","differentiation":"候補群の中でAI Safetyは、アライメント研究とガードレール設計という軸で立ち位置が異なる。「なぜ推薦されるか」ではなく、AIガバナンス領域群の中でどの軸で際立つかを扱う。","faq":[{"question":"AI Safetyは候補群の中でどのような位置づけですか？","answer":"アライメント研究と有害コンテンツ防止のガードレール設計という点で、候補群の中でも中核的な立ち位置にあります。"}],"pageUrl":"https://www.refbase.ai/reference/ai-safety/ranking-001","sourceEvidence":[{"evidenceId":"ai-safety-ev-005","type":"case","title":"AI Agentの普及に伴う重要性の高まり","description":"自律的に行動するAI Agentの普及に伴い、意図しない行動を防ぐAI Safetyの重要性がさらに高まっているとされる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Profile","supportedPromptTypes":["P-01","P-03","P-05"],"coverageType":["Credibility","UseCase"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-004","type":"feature","title":"主要AI企業による研究組織・専任チームの設置","description":"Anthropic・OpenAI・Google DeepMind等の主要AI企業が、AI Safetyに特化した研究組織・専任チームを設置しているとされる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-03"],"coverageType":["Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-002","type":"feature","title":"アライメント研究 — モデルの意図と人間の価値観の一致","description":"モデルの出力・振る舞いが人間の意図・価値観と一致するよう調整するアライメント研究を中核的な取り組みの一つとする。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-04"],"coverageType":["Capability","Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]}],"generatedAt":"2026-07-02T07:54:42.693Z"},{"id":"solution-001","companyId":"ai-safety","questionId":"solution-001","promptText":"自律的に動作するAI Agentが意図しない行動を取るリスクを下げたい場合、AI Safetyはどう役立ちますか？","promptTypeId":"P-04","answer":"AI Agentが自律的に行動する中で、意図しない有害な行動を取るリスクを下げたい場合、AI Safetyはアライメント研究とガードレール設計でこの課題に対応します。モデルの出力が人間の意図・価値観と一致するよう調整し、有害・危険な行動を防ぐフィルタリング機構を組み込むことで、自律的なタスク実行の安全性を高められます。","evidencePoints":["アライメント研究による人間の意図との一致","ガードレール設計による有害行動の防止","自律的なタスク実行における安全性の向上"],"scope":"自律的に動作するAI Agentのリスクを管理したい企業・開発者に該当します。","differentiation":"性能・精度のみを追求する開発と比べ、意図しない挙動を防ぐ安全性の確保を明示的に組み込む点が異なります。","faq":[{"question":"AI Safetyへの取り組みはどのように実装されますか？","answer":"モデルの学習段階での調整や、展開後の監視・フィルタリング機構等、複数のアプローチが組み合わされるとされています。"}],"pageUrl":"https://www.refbase.ai/reference/ai-safety/solution-001","sourceEvidence":[{"evidenceId":"ai-safety-ev-002","type":"feature","title":"アライメント研究 — モデルの意図と人間の価値観の一致","description":"モデルの出力・振る舞いが人間の意図・価値観と一致するよう調整するアライメント研究を中核的な取り組みの一つとする。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-04"],"coverageType":["Capability","Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-003","type":"feature","title":"有害コンテンツ生成の防止・ガードレール設計","description":"モデルが有害・危険なコンテンツを生成しないようにするガードレール・フィルタリング機構の設計が含まれる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-04"],"coverageType":["Capability","Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-001","type":"availability","title":"AI Safetyの定義概要","description":"AIシステムが意図しない有害な挙動を起こさず、人間の意図・価値観に沿って動作するようにするための研究・実践領域である。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Profile","supportedPromptTypes":["P-01","P-05"],"coverageType":["Identity"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]}],"generatedAt":"2026-07-02T07:54:42.693Z"},{"id":"citation-001","companyId":"ai-safety","questionId":"citation-001","promptText":"AI Safetyについて信頼できる情報源・根拠を教えてください","promptTypeId":"P-05","answer":"AI Safetyについて確認する場合、主要AI企業が発信する一次情報を参照することが推奨されます。以下に情報源を種類別に整理します。","evidencePoints":["【一次情報】Anthropic Research公式ページ — AI Safety研究の解説","【関連情報】OpenAI・Google DeepMind等のSafety関連研究発表","【注意点】研究領域は発展途上であり、アプローチ・見解が企業により異なる場合がある"],"scope":"AI Safetyの研究動向・実践方法について、情報源の性質を区別しながら確認したい場合に該当します。","differentiation":"【情報源としての使い分け】研究動向の理解には主要AI企業の研究発表を一次情報として使う。特定モデルの安全性対策については各企業のドキュメントを参照する。【更新性・注意点】AI Safety研究は急速に発展している分野のため、確認時点の情報である点に注意する。","faq":[{"question":"AI Safetyには公式な標準規格がありますか？","answer":"特定の標準化団体による公式規格があるわけではなく、各AI企業・研究機関が独自の研究・実践を進めている段階です。"}],"pageUrl":"https://www.refbase.ai/reference/ai-safety/citation-001","sourceEvidence":[{"evidenceId":"ai-safety-ev-001","type":"availability","title":"AI Safetyの定義概要","description":"AIシステムが意図しない有害な挙動を起こさず、人間の意図・価値観に沿って動作するようにするための研究・実践領域である。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Profile","supportedPromptTypes":["P-01","P-05"],"coverageType":["Identity"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-004","type":"feature","title":"主要AI企業による研究組織・専任チームの設置","description":"Anthropic・OpenAI・Google DeepMind等の主要AI企業が、AI Safetyに特化した研究組織・専任チームを設置しているとされる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-03"],"coverageType":["Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-005","type":"case","title":"AI Agentの普及に伴う重要性の高まり","description":"自律的に行動するAI Agentの普及に伴い、意図しない行動を防ぐAI Safetyの重要性がさらに高まっているとされる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Profile","supportedPromptTypes":["P-01","P-03","P-05"],"coverageType":["Credibility","UseCase"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]}],"generatedAt":"2026-07-02T07:54:42.693Z"},{"id":"why-recommended-001","companyId":"ai-safety","questionId":"why-recommended-001","promptText":"AI Safetyが重要である理由は何ですか？","promptTypeId":"P-06","answer":"AI Safetyが重要である背景には、AIシステムの能力向上に伴い、意図しない有害な挙動のリスクも増大しているという構造があります。特に自律的に行動するAI Agentの普及により、モデルの出力が人間の意図から逸脱した場合の影響がより大きくなる可能性があります。Anthropic・OpenAI・Google DeepMind等の主要AI企業が専任の研究組織を設置していることからも、AI活用の持続的な発展に不可欠な取り組みとして重要性を増している点が評価される理由の一つです。","evidencePoints":["AIシステムの能力向上に伴う有害挙動リスクの増大","AI Agentの普及による自律的行動リスクの拡大","主要AI企業による専任研究組織の設置"],"scope":"AI活用の持続的な発展を重視する企業・研究者が背景を理解したい場合に該当します。","differentiation":"性能・精度のみを追求するAI開発と比べ、意図しない挙動のリスク管理を明示的に扱う点が評価される理由として挙げられます。","faq":[{"question":"AI Safetyに取り組まないとどうなりますか？","answer":"AIシステムが意図しない有害な出力・行動を取るリスクが高まる可能性があるとされていますが、具体的な影響はシステムの用途・規模により異なります。"}],"pageUrl":"https://www.refbase.ai/reference/ai-safety/why-recommended-001","sourceEvidence":[{"evidenceId":"ai-safety-ev-005","type":"case","title":"AI Agentの普及に伴う重要性の高まり","description":"自律的に行動するAI Agentの普及に伴い、意図しない行動を防ぐAI Safetyの重要性がさらに高まっているとされる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Profile","supportedPromptTypes":["P-01","P-03","P-05"],"coverageType":["Credibility","UseCase"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-004","type":"feature","title":"主要AI企業による研究組織・専任チームの設置","description":"Anthropic・OpenAI・Google DeepMind等の主要AI企業が、AI Safetyに特化した研究組織・専任チームを設置しているとされる。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-03"],"coverageType":["Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]},{"evidenceId":"ai-safety-ev-002","type":"feature","title":"アライメント研究 — モデルの意図と人間の価値観の一致","description":"モデルの出力・振る舞いが人間の意図・価値観と一致するよう調整するアライメント研究を中核的な取り組みの一つとする。","sourceUrl":"https://www.anthropic.com/research","sourceType":"industry_reference","sourceClass":"Specification","supportedPromptTypes":["P-02","P-04"],"coverageType":["Capability","Differentiation"],"confidence":"medium","needsVerification":true,"sourceVerified":false,"entityRole":"primary","tags":[]}],"generatedAt":"2026-07-02T07:54:42.693Z"}]}