Инъекция промпта

Инъекция промпта — злоумышленник через внешний контент (веб-страницы, письма, документы) подмешивает в контекст инструкции, замаскированные под системные, захватывая поведение агента. В агентных системах опаснее, чем в чат-ботах: агент может выполнять необратимые действия. Защита на уровне контекста: маркировка источника внешнего контента, строгие роли сообщений (разделение инструкций и данных), очистка входа. Но это лишь первая линия обороны — нужна защита на уровне исполнения.

Связано: Ограждения, Смертельная триада, Лояльность агента