AR-клавиатура нового поколения привносит тактильные ощущения в дополненную реальность

Учёные из Техасского университета в Далласе разработали новый интерфейс дополненной реальности, позволяющий пользователям набирать текст на повседневных предметах. Технология под названием PropType накладывает виртуальную клавиатуру на любые предметы, превращая их в устройства ввода.

Система PropType нацелена на решение актуальной проблемы в AR: медленный набор текста и усталость рук, вызванную использованием «парящих» интерфейсов. Вместо этого, PropType использует повседневные предметы в качестве основы для клавиатуры, обеспечивая пользователям тактильную обратную связь.

Виртуальные клавиатуры часто разочаровывают пользователей, поскольку требуют набора текста в воздухе и постоянной концентрации внимания. PropType пытается решить эту проблему, возвращая ввод в физический мир. Система размещает раскладку клавиатуры на реальном объекте и адаптируется к его форме. Гаджет работает даже на изогнутых или неровных поверхностях, включая кофейные чашки и книги.

Учёные изучили, как люди держат повседневные предметы. Они исследовали силу захвата, положение рук и движения пальцев. Эти данные помогли создать индивидуальные раскладки клавиатуры, которые естественно ощущаются на разных предметах. Пользователи также могут разрабатывать собственные раскладки клавиш, изменяя размер, расстояние между клавишами и визуальные эффекты.

PropType расширяет более широкие исследования в области гаптики, изучающей тактильные, вибрационные и тепловые сигналы в цифровых системах. Эти эксперименты изучают, как мозг интерпретирует тепло и вибрацию.

Результаты подобных исследований могут изменить инструменты виртуальной реальности и медицинской симуляции, создавая ощущения, которые кажутся более реальными. Цель команды состоит в создании интерфейсов, которые реагируют с высокой точностью и создают более сильное погружение. Это позволит создавать более интуитивно понятные и доступные системы ввода текста, особенно в мобильных сценариях или при работе без помощи рук, где обычные методы ввода непрактичны.