Четыре принципа рубрики
Принципы Scale AI:
- опора на экспертное знание — фиксировать ключевые факты и шаги, типичные ловушки;
- полнота охвата — точность, связность, полнота, безопасность плюс явные pitfall;
- взвешивание по важности — обязательные/важные/опциональные пункты и механизм вето (галлюцинация обнуляет оценку независимо от остальных баллов);
- самодостаточность — каждый пункт проверяем без доменных знаний: вместо «глубокое понимание» — «сослался минимум на две теории».
Каждая градация — конкретное проверяемое поведение плюс примеры и пограничные случаи. Рубрика — продукт итеративной доработки.
Связано: LLM-as-a-Judge, Награда за процесс и награда за результат