Визуальная локализация GUI

Как найти элемент на скриншоте. Подход с вариантами ответа: Set-of-Mark — сегментация по пикселям и номерные метки; структурированная индексация — DOM/дерево доступности (browser-use: интерактивные элементы нумеруются, модель выбирает ID). Открытую задачу «найти и предсказать координаты» это превращает в закрытую «выбрать из размеченных». Прямое предсказание координат — SeeClick, Claude Computer Use: модель «смотрит» и называет координаты; требует двустороннего масштабирования под разрешение обучения (выбор по соотношению сторон). Правило выбора: где доступна структура — индексация; нативное ПО, Canvas, игры — визуальная разметка или координаты.

Связано: Computer Use, Плотный эмбеддинг