Ограждения

Ограждения — многоуровневая защита по месту применения:

  • входные — классификатор релевантности, обнаружение джейлбрейка и инъекций, модерация, правила;
  • исполнительные — оценка риска инструмента перед вызовом;
  • выходные — фильтр персональной информации, контроль соответствия бренду.

Одного ограждения недостаточно — нужна комбинация. Плюс вмешательство человека (human in the loop) в критических точках.

Связано: Инъекция промпта, Человек в контуре, Смертельная триада