Computer Use

Computer Use — агент управляет графическим интерфейсом как человек.

Цикл восприятие-мышление-действие: скриншот → мультимодальная модель выводит рассуждение и действие → слой исполнения выполняет (мышь, клавиатура, прокрутка) → новый скриншот.

Три измерения проектирования:

• пространство действий — инструменты GUI + bash + редактирование файлов (по Anthropic);
• визуальная локализация — где целевой элемент;
• архитектура модели.

Типичная задача — 10–20 циклов по 2–5 секунд каждый: точность на OSWorld приблизилась к человеческой, но эффективность (больше шагов, растущее время на шаг) — нерешённое узкое место.

Связано: Визуальная локализация GUI, Семь базовых инструментов, VLA-модели