Один видеоролик — и робот готов: учёные научили машины копировать действия человека за 30 минут

Исследователи из Корнеллского университета представили систему RHyME, которая позволяет роботам осваивать сложные задачи после просмотра всего одного видео — как если бы человек научился водить машину, один раз посмотрев ролик на YouTube. Технология не только ускоряет обучение, но и решает ключевую проблему современной робототехники: неспособность роботов адаптироваться к изменениям в окружении. Разработка открывает путь к созданию универсальных помощников для дома, заводов и больниц.

До сих пор роботам требовались сотни повторений и идеальные условия для обучения. Если в демонстрационном видео чашка стояла слева, а в реальности её переместили вправо — робот терялся. RHyME действует иначе: анализируя видео-пример, система ищет в своей базе данных фрагменты похожих действий. Алгоритм сопоставляет движения человека и робота даже при различии в амплитуде или скорости, используя математический метод «оптимального транспорта» — он находит схожие паттерны в, казалось бы, разных последовательностях.

Главный прорыв — в эффективности. Если традиционные методы требовали тысяч часов записей и ручных правок, RHyME обучает робота за 30 минут данных, повышая точность выполнения задач на 50%. На практике это выглядит так: робот, увидев, как человек открывает дверь ручкой, сможет повторить действие, даже если ручка смещена на 20 см или имеет другую форму. В промышленности это позволит перенастраивать конвейеры за минуты вместо недель, а дома — создать универсального помощника, способного загружать любую посудомоечную машину без дополнительного программирования.

Технология уже проверена в реалистичных условиях. Робот Franka Emika Panda, обученный через RHyME, успешно имитировал действия поваров на кухне: от перемешивания супа до сервировки стола, несмотря на разницу в расположении предметов. «Мы не дублируем движения, а находим их смысловое соответствие», — объясняет профессор Санджибан Чоудхури, руководитель проекта.

Перспективы системы выходят за рамки лабораторий. В ближайшие годы RHyME может ускорить внедрение роботов-медсестёр, способных адаптироваться к планировке больниц, или логистических дронов, подстраивающихся под изменяющуюся обстановку на складе. Пока ограничение остаётся одно: технология эффективна только для задач, где робот уже имеет опыт схожих переходов между действиями. Однако разработчики работают над расширением «памяти» системы и планируют научить её осваивать многоэтапные операции, вроде сборки мебели по видеоинструкции с учётом отсутствующих деталей.

Если автономные автомобили распознают пешеходов в любой одежде, то RHyME-совместимые машины смогут перенимать навыки в режиме реального времени — например, научиться ремонтировать дорожное покрытие, посмотрев всего один мастер-класс от дорожных рабочих.

 Источник: arXiv