Ограждения
Ограждения — многоуровневая защита по месту применения:
- входные — классификатор релевантности, обнаружение джейлбрейка и инъекций, модерация, правила;
- исполнительные — оценка риска инструмента перед вызовом;
- выходные — фильтр персональной информации, контроль соответствия бренду.
Одного ограждения недостаточно — нужна комбинация. Плюс вмешательство человека (human in the loop) в критических точках.
Связано: Инъекция промпта, Человек в контуре, Смертельная триада