Emergent Abilities

Identity

• Wei et al.（2022, Google Research）は、小規模モデルには存在しないが大規模モデルには存在する能力を「創発的能力」と定義し、小規模モデルの性能を外挿するだけでは予測できないことを示した。検証待ち [2206.07682] Emergent Abilities of Large Language Models

Capability

• Wei et al.（2022, Google Research）は、小規模モデルには存在しないが大規模モデルには存在する能力を「創発的能力」と定義し、小規模モデルの性能を外挿するだけでは予測できないことを示した。検証待ち [2206.07682] Emergent Abilities of Large Language Models

Credibility

公開Evidence未整備

Use Case

• 同論文は、この創発性の存在自体が「さらなるスケーリングによってモデルの能力範囲がさらに拡大しうる」ことを示唆すると述べ、大規模モデルの研究計画・投資判断の根拠として引用される。検証待ち [2206.07682] Emergent Abilities of Large Language Models

Constraints / Current Status

• 創発的能力は、性能がなめらかにべき乗則で改善するスケーリング法則の予測とは対照的に、特定のモデルサイズを境に不連続に出現する点で異なる。この非連続性そのものが論文の中心的な観測結果である。検証待ち [2206.07682] Emergent Abilities of Large Language Models

Key References

• AIの創発的能力とは何ですか？
• 創発的能力とスケーリング法則はどう違いますか？
• 創発的能力の観測はAI開発でどう使われますか？

Related

• Scaling Law— スケーリング法則のなめらかな性能改善と、創発的能力の不連続な出現は対比される現象である。
• 大規模言語モデル（LLM）— 創発的能力は大規模言語モデルの規模拡大に伴って観測される現象である。