🗄️ Databases & Backend

10のLLMに偽のシステムコマンドを食わせたら——3つが秘密を吐いた

チャットにXML5行。7つのLLMは平気だった。3つ? JSONで内臓をぶちまけた。プロンプトインジェクションは理論じゃない——現実で、しかもヤバい。

プロンプトインジェクション攻撃でLLMから漏れたJSON出力——canary tokenとハルシネーションルール

⚡ Key Takeaways

  • シンプルXMLプロンプトインジェクションで10LLM中3つを騙し、パース可能なJSONで秘密漏洩。 𝕏
  • 脆弱モデルは攻撃者指定スキーマ完成にハルシネーションまで起こす。 𝕏
  • 入力サニタイズなどの修正は既存——Parapet級ファイアウォールで無問題。 𝕏
Elena Vasquez
Written by

Elena Vasquez

Senior editor and generalist covering the biggest stories with a sharp, skeptical eye.

Worth sharing?

Get the best Developer Tools stories of the week in your inbox — no noise, no spam.

Originally reported by dev.to

Stay in the loop

The week's most important stories from Dev Digest, delivered once a week.