Создается дисплей, который умеет передавать форму и текстуру предметов
Можно ли в виртуальной реальности не только увидеть скульптуру, но и потереть ее — на удачу, почувствовать под рукой прохладный металл или камень? Инженеры «Сколтеха» разрабатывают устройства, которые позволяют «касаться» виртуальных объектов, ощущая их форму. Однажды так будут обучать врачей или проектировать космические корабли.
Фото: Предоставлено Лабораторией робототехники и AR/VR “Сколтеха”.
Американский художник и изобретатель Том Шэннон известен не только картинами, скульптурами и инсталляциями на научную тематику, но и первым в США патентом на «тактильный телефон», который он получил в конце 1973 года. В патенте говорится, что устройство, которое позволяло собеседникам чувствовать силу сжатия трубки рукой на другом конце провода, можно использовать не только для общения глухих или глухонемых людей, но и чтобы передавать эмоции, которые вызывает такой разговор. В 2005 году журнал New Scientist опубликовал комментарий, подписанный именем Шэннона, к статье о современных тактильных устройствах. В нем автор пишет, как в начале 1970-х рассчитывал, что опыт тактильной коммуникации очень быстро станет привычным. «Учитывая, какая большая часть нашего мозга посвящена обработке сигналов осязания, удивительно, как долго тактильность шла в телекоммуникации… И, вероятно, вопрос о том, что такое реальность, теперь станет еще глубже»,— писал Шэннон.
Сейчас хаптика, научное направление, одним из пионеров которого стал Том Шэннон, занимается в том числе полноценным погружением пользователя в виртуальную реальность, которое по максимуму задействует все органы чувств. Одной картинки, даже очень качественной, недостаточно. Врач должен знать, какую силу прикладывать к скальпелю, рабочий на заводе — представлять, какое усилие требуется при сборке изделия или повороте вентиля, при дизайне виртуального интерьера нам важно представлять себе форму и текстуру мебели.
Для этого инженеры создают самые разные интерфейсы, от всевозможных перчаток, наперстков и экзоскелетов до тактильных дисплеев, которые передают ощущение касания электрическими сигналами или воссоздают форму виртуального объекта с помощью подвижных элементов. Пока такие устройства неидеальны: например, те из них, что нужно надевать на руку, позволяют достаточно свободно двигаться, но из-за ограничений по размеру дают меньшую реалистичность ощущений и не очень точны — с их помощью трудно воспроизвести точное положение виртуального объекта, к примеру, чтобы «дотронуться» до его поверхности, а не «провалиться» в него рукой. Знаменитые перчатки HaptX, разработчик которых в конце прошлого года получил $12 млн от инвесторов, позволяют достаточно точно воспроизводить детали виртуального объекта, но пока эта система выглядит сложной в использовании и обслуживании.
Носить на руке большое и тяжелое устройство неудобно, поэтому в погоне за реалистичностью разработчики создают стационарные джойстики или 3D-дисплеи, которые могут быть сколь угодно большими и сложными. Например, аспиранты MIT в 2013 году представили устройство InFORM — по сути, это стол с 900 подвижными столбиками-штифтами, каждый с отдельным мотором. Выдвигая штифты над поверхностью стола, можно создавать трехмерные объекты — выглядит впечатляюще, но собрать такое устройство и управлять им крайне сложно.
Развитие робототехники позволило создателям хаптических устройств найти для себя новую нишу — так называемые дисплеи встречного типа, когда робот-манипулятор как бы «отражает в зеркале» движение руки пользователя, постоянно подставляя под нее экран, который и отвечает за ощущения прикосновения. Вы касаетесь лишь небольшого экрана, но за счет синхронного движения дисплея можете, скажем, провести рукой по большой виртуальной стене или двери. Например, роботизированная рука Snake Charmer, созданная в Университете Торонто, уже умеет воспроизводить разные текстуры поверхности — гладкие или шероховатые, хотя работает пока что только для статичных объектов.
Я и мои коллеги из лаборатории интеллектуальной робототехники «Сколтеха» под руководством профессора Дмитрия Тетерюкова создали экспериментальный прототип дисплея TeslaMirror, который умеет передавать форму и текстуру поверхности практически любого несложного объекта. На самом деле TeslaMirror — это целая система устройств, которые работают вместе для того, чтобы человек мог «потрогать» виртуальную реальность.
Когда пользователь надевает очки виртуальной реальности и приближается к виртуальному объекту, TeslaMirror оценивает положение и ориентацию его ладони с помощью камеры LeapMotion и отправляет подвижный роботизированный манипулятор ровно в ту точку, где, по расчетам, пользователь должен будет «прикоснуться» к объекту. На конце манипулятора установлен дисплей, который умеет воссоздавать неровности поверхности и ее текстуру, в том числе с помощью электротактильной технологии, которой с нами поделились коллеги из Университета электрокоммуникаций Токио. Концепт TeslaMirror первым в мире комбинирует хаптические технологии подобным образом и уже успел поучаствовать в международных конференциях.
С научной точки зрения мы пытаемся понять, как именно лучше всего передавать ощущение прикосновения. В повседневной жизни мы не задумываемся, что именно происходит, когда мы касаемся прохладного шелка или шероховатой каменной стены, и какие механизмы работают для того, чтобы шелк казался нам гладким, а стена — теплой. Разложить эти сложные переживания на компоненты сенсорной системы и воспроизвести их искусственно, чтобы человек поверил в то, что действительно касается виртуального объекта, достаточно сложно.
Пока мы создали только первый прототип, но рано или поздно эти устройства станут той самой повседневностью, на которую надеялся создатель «тактильного телефона» Том Шэннон. Помимо развлечений — кому не захочется погладить виртуального тигра в компьютерной игре или VR-фильме — реалистичные симуляции нужны, например, работникам медицины, которые смогут учиться на виртуальных пациентах почти как на настоящих. Для некоторых манипуляций, например пальпации, прощупывания внутренних органов или непрямого массажа сердца, очень важно ощущать силу контакта пальцев или ладони с виртуальным «телом», и здесь без тактильных дисплеев не обойтись. Инженеры, работающие с компьютерным проектированием в самых разных отраслях, от строительства до космонавтики, смогут «потрогать» детали объекта еще задолго до стадии сборки и найти ошибки, сэкономив деньги и время. А дизайнеры интерьеров не только увидят, как сочетаются шкафы и кресла, но и смогут подобрать материал на ощупь, не снимая очков виртуальной реальности.
Алексей Федосеев, аспирант, лаборатория робототехники и AR/VR «Сколтеха»
Источник: kommersant.ru