Инъекция промпта

Инъекция промпта — злоумышленник через внешний контент (веб-страницы, письма, документы) подмешивает в контекст инструкции, замаскированные под системные, захватывая поведение агента.

В агентных системах опаснее, чем в чат-ботах: агент может выполнять необратимые действия.

Защита на уровне контекста:

• маркировка источника внешнего контента;
• строгие роли сообщений (разделение инструкций и данных);
• очистка входа.

Но это лишь первая линия обороны — нужна защита на уровне исполнения.

Связано: Ограждения, Смертельная триада, Лояльность агента