P-05出典・引用

創発的能力の予測不可能性は、AI政策・安全性をめぐる議論でどのように扱われていますか?

ジョージタウン大学の政策研究機関Center for Security and Emerging Technology(CSET)が公開した解説記事によると、創発的能力の予測不可能性はAIガバナンス上の重要な課題として位置づけられています。同記事は『モデルがどのような能力を持つかを把握して初めて、そのモデルを安全にできる』と指摘し、能力が突然出現する性質が安全対策の計画を難しくすると説明します。具体的な懸念事例として、自律的なハッキングのような危険な能力が事前の対策時間を確保できないまま突然出現しうる点や、RAND Corporationによる、大規模言語モデルが生物兵器の計画立案に有用となりうるとする調査研究が挙げられています。また、2021年時点の研究者による性能予測が実際のLLMの能力を大きく過小評価していた事実も紹介されており、学習後の追加技術によって性能が大きく向上しうるため、学習完了後であっても能力の正確な評価は依然として困難だと結論づけています。既存Referenceは学術的な定義・スケーリング法則との違い・研究計画への活用・評価指標をめぐる論争を扱うが、この現象がAI政策・ガバナンス上どのような懸念材料として扱われているかには触れていません。

実績・根拠

情報ソース

創発的能力の予測不可能性は、AI政策・安全性をめぐる議論でどのように扱われていますか? | Emergent Abilities | RefBase