05:52
Исследователи, связанные с XPENG, Пекинским университетом, Гонконгским университетом и другими академическими учреждениями, разработали GroundingPI — открытую модель визуального восприятия для систем физического искусственного интеллекта. В оценке команды модель с 4 млрд параметров набрала в среднем 73,68 балла на 34 тестах, опередив GPT-6 Astra с результатом 71,54.
GroundingPI проверяли среди 44 базовых моделей по 11 категориям задач. Они охватывают обнаружение объектов, определение их точного положения, распознавание текста, анализ структуры документов и интерфейсов, а также пространственную локализацию для робототехники.
Разработчики сосредоточились на способности ИИ точно понимать, что находится перед ним и где именно. Например, системе нужно не просто распознать чашку, а определить, где расположена её ручка, если в задании говорится о «ручке чашки справа». Модель представляет такие сведения с помощью пространственных координат, точек и ограничивающих рамок.
Результаты в симуляциях
Помимо тестов на восприятие, команда оценила GroundingPI как визуальную основу для роботов-манипуляторов и систем автономного вождения. В симуляции RoboCasa-GR1 роботы с этой моделью достигали более высокой доли успешных выполнений, используя 50% демонстрационных данных, тогда как сравниваемым моделям требовалось 75%.
В симуляционных испытаниях RoboTwin 2.0 GroundingPI показала лучшие результаты, чем проверенные распространённые визуальные модели, в четырёх сценариях с условиями, отличавшимися от тех, на которых систему обучали. В оценке для автономного вождения на наборе данных nuScenes средняя ошибка предсказания траектории в режиме open-loop составила 0,296 метра.
Авторы подчёркивают, что результаты по робототехнике получены в симуляциях, а оценка вождения — офлайн. Эти эксперименты не подтверждают готовность модели к коммерческому применению в реальных условиях.
Открытая разработка
В отличие от подхода, при котором визуальную модель обучают на примерах действий робота, GroundingPI нацелена на развитие базовых навыков зрительного понимания. По замыслу исследователей, такая специализированная модель может дополнять системы более высокого уровня, отвечающие за рассуждение и планирование.
Исследовательская группа открыла доступ к статье, весам модели и исходному коду с учётом условий лицензий. Материалы проекта опубликованы на сайте GroundingPI, код — на GitHub, веса — на Hugging Face. XPENG поддержала проект вместе с академическими партнёрами; компания не объявляла о внедрении GroundingPI в свои коммерческие продукты.
