Apple объединила данные людей и роботов для обучения нейросетей — новый метод задействовал AR-гарнитуры вместо дорогого оборудования

Apple представила новую методику обучения человекоподобных роботов, объединяющую данные от людей и машин. Подход, названный PH2D, описан в исследовании Humanoid Policy ~ Human Policy, опубликованном через неделю после анонса нейросетевых моделей Matrix3D и StreamBridge.

Исследователи акцентируют внимание на недостатках традиционных методов, где обучение роботов строится исключительно на их собственных демонстрациях. Такие подходы требуют дорогостоящего оборудования для телеуправления и сложны в масштабировании. PH2D решает проблему за счёт интеграции данных от людей, что снижает затраты.

Для сбора информации использовались модифицированные потребительские устройства. Гарнитура Apple Vision Pro применялась в урезанном формате: только нижняя левая камера обеспечивала визуальное наблюдение, а ARKit фиксировал позы головы и рук. В качестве бюджетной альтернативы задействовали Meta* Quest со стереокамерами ZED Mini. Участники экспериментов, используя эти гарнитуры, выполняли задачи вроде захвата предметов, подъёма объектов и переливания жидкостей, сопровождая действия голосовыми командами. Видеозаписи замедляли для повышения эффективности обучения.

Обработку разнородных данных — от человека и робота — обеспечивает модель HAT (Human-humanoid Action Transformer). Она объединяет оба источника в единой системе управления, что, согласно исследованию, улучшает адаптацию алгоритмов к новым условиям. Например, роботы, обученные по методу PH2D, на 15% эффективнее выполняли вертикальный захват объектов по сравнению с теми, кто тренировался только на данных от других роботов.

Ключевое преимущество PH2D — экономичность. Использование доступных гарнитур вместо специализированного оборудования сокращает расходы. Это особенно важно для Apple, которая, судя по патентам и утечкам, разрабатывает потребительских роботов. Ранее компания демонстрировала прототип робота-лампы, а сейчас, по данным инсайдеров, тестирует мобильного помощника для дома. Внедрение PH2D ускорит создание таких продуктов, однако точные сроки их выхода неизвестны — на май 2025 года официальных заявлений нет.

* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена

 Источник: roboticsandautomationnews.com