Computer Use

Computer Use — агент управляет графическим интерфейсом как человек. Цикл восприятие-мышление-действие: скриншот → мультимодальная модель выводит рассуждение и действие → слой исполнения выполняет (мышь, клавиатура, прокрутка) → новый скриншот. Три измерения проектирования: пространство действий (инструменты GUI + bash + редактирование файлов, по Anthropic), визуальная локализация (где целевой элемент), архитектура модели. Типичная задача — 10-20 циклов по 2-5 секунд каждый: точность на OSWorld приблизилась к человеческой, но эффективность (больше шагов, растущее время на шаг) — нерешённое узкое место.

Связано: Визуальная локализация GUI, Семь базовых инструментов, VLA-модели