Prompt Injection

Identity

• OWASPの「LLM01:2025 Prompt Injection」は、プロンプトインジェクションの脆弱性を、ユーザーのプロンプトがLLMの挙動や出力を意図しない形で変えるときに生じるものと定義している。直接型はユーザーの入力がモデルの挙動を直接変えるもの、間接型はLLMがWebサイトやファイルなどの外部ソースから入力を受け取る際に生じるものとされる。検証待ち LLM01:2025 Prompt Injection
• Simon Willisonの2022年9月12日付ブログ「Prompt injection attacks against GPT-3」は、GPT-3のプロンプトを悪意ある入力で悪用して以前の指示を無視させる手法を紹介し、これを「prompt injection」と呼ぶのが自然だと提案している。検証待ち Prompt injection attacks against GPT-3

Capability

• OWASPの「LLM01:2025 Prompt Injection」は、プロンプトインジェクションの脆弱性を、ユーザーのプロンプトがLLMの挙動や出力を意図しない形で変えるときに生じるものと定義している。直接型はユーザーの入力がモデルの挙動を直接変えるもの、間接型はLLMがWebサイトやファイルなどの外部ソースから入力を受け取る際に生じるものとされる。検証待ち LLM01:2025 Prompt Injection
• 同じOWASPのページは、対策として、モデルの挙動の制約、出力形式の定義と検証、入出力のフィルタリング、最小権限の徹底、高リスク操作への人間の承認、外部コンテンツの分離と識別、敵対的テストなど7項目を挙げている。一方で、RAGやファインチューニングでは完全には緩和できないとする研究があり、確実な防止法があるかは不明だと述べている。検証待ち LLM01:2025 Prompt Injection
• 同じNCSCのブログは、プロンプトインジェクションを「inherently confusable deputy（本質的に混乱しやすい代理人）」の問題として捉え、古典的なconfused deputy脆弱性は緩和できるがLLMでは同様にはいかないため、緩和策で解決しようとするのではなく、リスクと影響を減らす方向でアプローチする必要があると述べている。検証待ち Prompt injection is not SQL injection (it may be worse)

Credibility

• OWASPの「2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps」のページは、2025年版のTop 10の第1位にLLM01:2025 Prompt Injectionを挙げ、続いてSensitive Information Disclosure、Supply Chainなどを並べている。検証待ち 2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps
• 英国NCSC（国家サイバーセキュリティセンター）のブログ「Prompt injection is not SQL injection (it may be worse)」（2025年12月8日付）は、「プロンプトインジェクション」という用語が生成AIアプリケーションにおける新しい種類の脆弱性を指すものとして2022年に作られたと述べ、SQLインジェクションとの類似は誤解を招き、考慮しなければ対策を大きく損なう重要な違いがあると警告している。検証待ち Prompt injection is not SQL injection (it may be worse)
• Simon Willisonの2022年9月12日付ブログ「Prompt injection attacks against GPT-3」は、GPT-3のプロンプトを悪意ある入力で悪用して以前の指示を無視させる手法を紹介し、これを「prompt injection」と呼ぶのが自然だと提案している。検証待ち Prompt injection attacks against GPT-3

Use Case

• 同じOWASPのページは、対策として、モデルの挙動の制約、出力形式の定義と検証、入出力のフィルタリング、最小権限の徹底、高リスク操作への人間の承認、外部コンテンツの分離と識別、敵対的テストなど7項目を挙げている。一方で、RAGやファインチューニングでは完全には緩和できないとする研究があり、確実な防止法があるかは不明だと述べている。検証待ち LLM01:2025 Prompt Injection
• 同じNCSCのブログは、プロンプトインジェクションを「inherently confusable deputy（本質的に混乱しやすい代理人）」の問題として捉え、古典的なconfused deputy脆弱性は緩和できるがLLMでは同様にはいかないため、緩和策で解決しようとするのではなく、リスクと影響を減らす方向でアプローチする必要があると述べている。検証待ち Prompt injection is not SQL injection (it may be worse)

Constraints / Current Status

• 同じOWASPのページは、対策として、モデルの挙動の制約、出力形式の定義と検証、入出力のフィルタリング、最小権限の徹底、高リスク操作への人間の承認、外部コンテンツの分離と識別、敵対的テストなど7項目を挙げている。一方で、RAGやファインチューニングでは完全には緩和できないとする研究があり、確実な防止法があるかは不明だと述べている。検証待ち LLM01:2025 Prompt Injection
• 英国NCSC（国家サイバーセキュリティセンター）のブログ「Prompt injection is not SQL injection (it may be worse)」（2025年12月8日付）は、「プロンプトインジェクション」という用語が生成AIアプリケーションにおける新しい種類の脆弱性を指すものとして2022年に作られたと述べ、SQLインジェクションとの類似は誤解を招き、考慮しなければ対策を大きく損なう重要な違いがあると警告している。検証待ち Prompt injection is not SQL injection (it may be worse)

Key References

• プロンプトインジェクション対策で現状どんな課題・考え方が示されていますか？
• プロンプトインジェクションの重要性を裏付ける第三者情報はありますか？
• プロンプトインジェクションとは何ですか？

Related

• OWASP— OWASPの生成AI関連サイト（genai.owasp.org）は、2025年版のLLMアプリケーション向けTop 10で、LLM01:2025としてプロンプトインジェクションを第1位に挙げている。