Визуальная локализация GUI

Как найти элемент на скриншоте.

Подход с вариантами ответа:

• Set-of-Mark — сегментация по пикселям и номерные метки;
• структурированная индексация — DOM/дерево доступности (browser-use: интерактивные элементы нумеруются, модель выбирает ID).

Открытую задачу «найти и предсказать координаты» это превращает в закрытую «выбрать из размеченных».

Прямое предсказание координат — SeeClick, Claude Computer Use: модель «смотрит» и называет координаты; требует двустороннего масштабирования под разрешение обучения (выбор по соотношению сторон).

Правило выбора: где доступна структура — индексация; нативное ПО, Canvas, игры — визуальная разметка или координаты.

Связано: Computer Use, Плотный эмбеддинг