Четыре принципа рубрики

Принципы Scale AI: (1) опора на экспертное знание — фиксировать ключевые факты и шаги, типичные ловушки; (2) полнота охвата — точность, связность, полнота, безопасность плюс явные pitfall; (3) взвешивание по важности — обязательные/важные/опциональные пункты и механизм вето (галлюцинация обнуляет оценку независимо от остальных баллов); (4) самодостаточность — каждый пункт проверяем без доменных знаний, вместо «глубокое понимание» — «сослался минимум на две теории». Каждая градация — конкретное проверяемое поведение плюс примеры и пограничные случаи. Рубрика — продукт итеративной доработки.

Связано: LLM-as-a-Judge, Награда за процесс и награда за результат