🗄️ Databases & Backend

Я скормил фейковые системные команды 10 LLM — трое выдали свои секреты

Пять строк XML в чате. Семь LLM пропустили мимо ушей. Трое? Вывалили всё в JSON. Инъекция промптов — не теория, она здесь, и она дикая.

JSON-вывод от атаки инъекцией промптов в LLM с утечкой canary-токена и галлюцинированных правил

⚡ Key Takeaways

  • Простая XML-инъекция промптов одурачила 3 из 10 LLM, выдав секреты в парсируемом JSON. 𝕏
  • Уязвимые модели даже галлюцинировали данные, чтобы добить схемы атакующего. 𝕏
  • Исправления вроде санитизации ввода есть уже сейчас — файрволы типа Parapet делают это ненужным. 𝕏
Elena Vasquez
Written by

Elena Vasquez

Senior editor and generalist covering the biggest stories with a sharp, skeptical eye.

Worth sharing?

Get the best Developer Tools stories of the week in your inbox — no noise, no spam.

Originally reported by dev.to

Stay in the loop

The week's most important stories from Dev Digest, delivered once a week.