Mistral представила Robostral Navigate — первую модель компании для автономной навигации роботов. Система работает с одной RGB‑камерой и принимает инструкции на естественном языке: например, «проведи робота из холла по коридору в кладовую и останови перед нужной полкой».
Содержание:
Как устроена система
- Двухкомпонентная архитектура. Основная визуально‑языковая модель (8 млрд параметров) интерпретирует инструкцию, выбирает промежуточные цели и задаёт направление взгляда робота после прибытия. Она обновляет маршрут примерно дважды в секунду, но не управляет приводами напрямую.
- Детализация траектории. Диффузионная модель (121 млн параметров) превращает выбранную точку на кадре в детальную траекторию, а контроллер робота конвертирует её в команды для двигателей.
- Принцип работы. Вместо расчёта движений в метрах и градусах система указывает целевую точку на изображении и требуемое направление взгляда. Если цель вне кадра — переключается на команды смещения и поворота. Такой подход снижает зависимость от габаритов робота, параметров камеры и оптики.
Обучение и доработка
- Симуляционное обучение. Модель обучили на 2,4 млн траекторий в 350 тыс. виртуальных сцен (офисы, жилые и коммерческие здания, многоэтажные маршруты, открытые пространства). При генерации данных варьировали размеры робота, высоту и наклон камеры, освещение, архитектуру и плотность объектов.
- Дообучение с подкреплением. С помощью алгоритма CISPO модель дорабатывали на 35 тыс. сложных заданий, где исходная версия чаще ошибалась: она училась исследовать окружение и восстанавливаться после неудачных действий.
Результаты тестов
- В тесте R2R‑CE модель успешно завершила 77,4 % маршрутов в новых окружениях. Для систем с одной камерой предыдущий рекорд — 66,9 %, для решений с несколькими камерами или датчиком глубины — 72,1 %.
- В более сложном тесте RxR‑CE результат составил 75,1 % против 73,4 % у лучшей однокамерной системы.
Реальные испытания
Robostral Navigate протестировали на колёсных роботах Galaxea R1 и Hiwonder JetAuto. На обеих платформах заменили только контроллер, сохранив остальное оборудование от производителя.