что такое виртуальное пространство или виртуальная реальность
Как работает VR? Разбор
У VR есть такая особенность. Все, кто попробовал нормальный VR обязательно хотят подсадить на эту тему всех своих друзей и близких. Всё дело в том, что VR — это потрясающие ощущения, о которых невозможно рассказать. Это обязательно надо пробовать самому.
Но VR — это не только крутой опыт. Это еще и крутые технологи, которые какие-то 10 лет назад назвали бы фантастикой, а теперь они доступны нам в домашних условиях.
Сегодня мы расскажем вам про все крутые технологические фишки в современных VR-девайсах. А поможет мне в этом первая в мире модульная VR система — HTC Vive Cosmos Elite.
Трекинг
Как понимаете, подменить нашу реальность на виртуальную — задача непростая. Поэтому в мире VR применяются очень хитрые технологии. И первый интересный набор технологий, который используется в VR шлемах — это трекинг.
К трекингу в современных VR шлемах есть два кардинально разных подхода. Первый называется inside-out tracking или внутренний трекинг. Он работает незамысловато.
На шлеме размещаются несколько камер с широким углом обзора, которые отслеживают ваши контроллеры и положение шлема относительно предметов окружающей среды. А чтобы контроллеры точно были видны — они подсвечиваются. Плюс такого подхода, в том что он дешевый и простой в настройке и использовании.
Такая система трекинга используется в Oculus Rift S и Quest, а также у младшего HTC Vive Cosmos.
Другая система называется Lighthouse, что переводится на русский как маяк. Но проще всего систему назвать внешний трекинг. В ней маяки или базовые станции ставятся друг напротив друга очерчивая вашу игровую зону и поехали.
Сначала первая базовая станция мигает инфракрасным светом. Сразу за ним испускается широкий падающий лазерный луч. Каждое ИК-мигание это начало отсчета. И так 60 раз в секунду.
С момента получения первого мигания шлем и контроллеры начинают отсчет 1,2,3 и так далее. Затем их датчики улавливают лазерный луч. Но из-за смещения датчиков в пространстве один датчик уловит луч на отсчете 3, другой на 5, третий, например, на 11. И как раз базируясь на этой задержке в отсчете от датчиков и рассчитывается положение шлема и контроллеров в пространстве.
Внешний треккинг куда более точный и надежный. Но в начале немного времени придется потратить на установку маяков — я их поставил на штативы, но можно положить на полку или прикрепить к стене.
Такая система используется в Oculus Rift, Valve Index, HTC Vive первой волны, и в текущем HTC Vive Cosmos Elite. Но конкретно с Vive Cosmos есть нюансы.
В самом начале я вам сказал, что Vive Cosmos — это целая модульная экосистема. Которая состоит на данный момент состоит из двух предложений:
В обеих версиях используется один и тот же шлем, но в них используются разные модули. Так в базовой комплектации в шлеме установлена передняя панель с внутренним трекингом. На ней целых шесть камер с широким обзором на 310 градусов. Также в комплекте нет маяков и контроллеры соответственно там для внутреннего трекинга — светящиеся.
А в Elite в комплекте идут все модули для внешнего трекинга. Но весь прикол в том, что меняя модули одну модель можно превратить в другую.
Например, можно проапгрейдиться с младшей модели на старшую. А можно пойти дальше и подключить к старшей модели самые продвинутые контроллеры с трекингом всех пальцев Knuckles от Valve Index. Представляете, они прекрасно будут работать, если вы конечно где-то их найдёте.
Экраны
Следующая важная технология — это экраны. Критичным для экрана в VR является время задержки отображения. OLED-экраны самые быстрые, поэтому с них и началось освоение. Но с ними возникла другая проблема.
Дело в том, что когда вы используете VR шлем, ваши глаза находятся очень близко к дисплеям и крайне важно иметь очень высокое разрешение и плотность пикселей. Поэтому OLED-дисплеи для VR сегодня — не лучший выбор. В OLED диоды находятся на почтенном расстоянии друг от друга и используется PenTile-раскладка. Поэтому такие дисплеи выглядят зернистыми и появляется эффект москитной сетки. В будущем эти проблемы скорее всего решит microLED.
А пока лучший выбор для VR — это именно Super-Fast LCD. По сути, это тот же IPS только быстрый. Именно такой стоит в HTC Vive Cosmos Elite.
Второй важный параметр — это частота обновления она должна быть минимум 80 Гц, а лучше 90 или выше. Сейчас самая высокая частота у шлема Valve Index — 144 Гц, но на практике вряд ли вы найдет компьютер, который может выдавать такой FPS, ведь в VR нужно рендерить две разные картинки одновременно, для левого и правого глаза.
Что мы имеем в Vive Cosmos Elite? Те самые Super-Fast LCD дисплеи, частота обновления 90 Гц и самое высокое на потребительском рынке разрешение 1440 × 1700 пикселей для каждого дисплея, в итоге получается 2880 x 1700 пикселей.
В Valve Index и HTC Vive Pro разрешение немногим меньше — 1440 × 1600, то есть разница всего 100 пикселей в высоту. И кажется что это немного, но в VR-шлеме эта разница ощущается и в том числе играет в пользу угла обзора.
Это третий важный параметр в VR. Тут он 110 градусов благодаря линзам, которые наложены на экран для придания изображению сферической картины, привычной нашему глазу.
Чем больше угол обзора, тем меньше выражается эффект «экранного окна» и мы больше приближаемся к полному охвату человеческого зрения. Более того в HTC Vive Pro был OLED-экран, поэтому переход на IPS (Super Fast LCD) и увеличение разрешения тут очень заметны.
Еще одна крутая технология, о которой хотелось бы рассказать, сейчас есть в профессиональных решениях от HTC. Это система трекинга глаз — Vive Pro Eye и она позволяет реализовать технологию фовеального рендеринга.
Дело в том, что наш глаз видит четко только ту область куда он сфокусирован, все что вокруг он воспринимает чуть размыто. Зная, куда направлен взгляд в тот или иной момент, можно отображать эту область с максимально возможным качеством. А остальную область на экране можно не рендерить в полном качестве. В итоге такой лайфхак дает серьезное улучшение картинки при одинаковом железе. Это очень крутая технология. Сейчас даже научились отслеживать саккады.
Беспроводные технологии
Окей идём, дальше. Как вы считаете, что больше всего мешает погружению в виртуальную реальность. Думаете невысокое разрешение? Нет, это не так. Самое большое ограничение сегодня — провода!
И вот у HTC есть огромный козырь в рукаве. Существует беспроводной набор — VIVE Cosmos Wireless Adapter Attachment Kit. Эта штука работает на особенном стандарте Wi-Fi — 802.11ad. Это не Wi-Fi 6 и не Wi-Fi 5. Стандарт называется WiGig и работает он на частоте 60 ГГц, поэтому скорость фантастическая и нет задержек.
Но самая главная VR-технология — это игры! Поэтому подрубаем всё и играем!
Один из Мифов VR, что не во что играть, а это вообще не так. У HTC есть свой сервис подписки Viveport. Cейчас там 1168 тайтлов, совместимых с Cosmos Elite. При этом 2 месяца подписки вам сразу дают в подарок. Но если сразу с головой пустить в VR, то это безусловно Half Life Alyx!
Поверьте мне, только ради этого одного стоит попробовать VR. Когда я впервые включил Alyx, я минут сорок стоял в первой локации на балконе кидал вниз банки разглядывал все вокруг и просто восторгался.
Многих волнует вопрос укачивания в шлемах виртуальной реальности. Проблема может возникать от нескольких параметров — низкая точность трекинга или например высокая задержка — тут с этим проблем нет. В играх, где вы стоите на месте, например, в том же Beat Saber, я сразу чувствовал себя комфортно!
Но при этом, если вы хотите чувствовать себя как рыба в воде в любом VR мире, вестибулярку придется подучить. Это больше касается моментов, когда ваш персонаж в игре перемещается, а вы стоите или сидите на месте. Именно от этого и возникает конфликт: мозг не понимает, как такое может быть. Поэтому для плавного погружения лучше выбирать режим перемещения «телепорт», а потом плавно пробовать полное перемещение, мне хватило недели, играя час в день, чтобы весь дискомфорт прошел. Потом остается только кайфовать — и это того стоит!
Half Life Alyx отлично подходит для такого обучения — но это всего один проект, который при этом безусловно лучший. Я уверен, что будут появляться проекты еще круче, они уже в разработке.
Другой отличный пример Walking Dead: Sins and Sinners. Но этот проект я не рекомендую людям со слабыми нервами. Ещё есть вирусный Beat Saber, в котором я провел немало часов. В общем и целом, игр хватит не на один месяц игры.
Кстати, чего не хватает во многих шлемах, это связи с внешним миром. В HTC Vive Cosmos можно «открыть забрало» — откинуть экран и посмотреть, что происходит вокруг.
Будущее VR
Но давайте заглянем, куда же будет двигаться в VR в ближайшие годы. Естественно, мы хотим полного погружения в виртуальные миры как в фильме Get Ready Player One или в русском переводе «Первому игроку приготовиться». Поэтому уже сейчас начали появляться VR-костюмы с отдачей, либо их можно собрать самому.
Экосистема Vive Cosmos подразумевает подключение дополнительных модулей, которые можно закрепить на ногах или других частях тела. Это даст вашему аватару еще больше живости. Уже сейчас некоторые энтузиасты используют такие модули для VR-чата и в других социальных VR-платформах. История с Covid только подталкивает это развитие вперед.
Лично я уже посетил несколько VR-ивентов, презентаций, концертов, даже ходил в кино с друзьями. Это целый мир, который появляется и быстро развивается при нас. Мир с безграничными возможностями не только в играх.
Кроме общения вы можете творить в VR, создавая 3D-модели, как скульпторы, архитекторы, аниматоры.
Говоря о кино, Джон Фавро при съемках Маугли активно использовал VR для погружения актеров в мир будущего фильма. И с каждым днем появляется все больше профессионального софта для разных областей. Уверен, что скоро появятся профессии, которые будут существовать только в VR.
Понятно что сейчас VR — это дорогое удовольствие. Шлем HTC Vive Cosmos Elite в России стоит 100 тысяч рублей. При этом можно докупить беспроводной адаптер. Не стоит забывать, что для игр в VR понадобится и еще и мощный ПК.
Порог входа — высокий, но за билет в будущее иногда стоит заплатить, особенно когда хочется попасть туда раньше остальных.
Виртуальная, дополненная и смешанная реальность: суть понятий и история развития
В новостях всё чаще появляются упоминания о новых устройствах виртуальной и дополненной реальности. Трудно за всем этим уследить, а ещё более трудно упорядочить эту обрывочную информацию из новостей. Поэтому я решил в одной статье свести все ключевые моменты, касающиеся данной отрасли. Ведь в ближайшие лет пять, новости из этой сферы будут появляться всё чаще. По крайней мере, так думают инвесторы, вкладывающие огромные суммы в стартапы, специализирующиеся на виртуальной реальности. Кроме юных энтузиастов за виртуальную и дополненную реальность всерьёз взялись и крупнейшие ИТ-предприятия. Но обо всём по порядку…
Определения, сходства и различия
Для начала определимся с терминологией. Смотрим Википедию:
Виртуальная реальность (Virtual Rality, VR; далее — ВР) это созданный техническими средствами мир (объекты и субъекты), передаваемый человеку через его ощущения: зрение, слух, обоняние, осязание и другие. Сам термин «виртуальный» происходит от лат. virtualis — возможный.
Дополненная реальность (Augmented Reality, AR, расширенная реальность, улучшенная реальность и т.д.; далее — ДР) — результат введения в поле восприятия любых сенсорных данных с целью дополнения сведений об окружении и улучшения восприятия информации. Предположительно сам термин был введён инженером корпорации Boeing Томом Коделом в 1990 году. Уже тогда специалисты этой компании закрепляли на голове небольшие цифровые дисплеи, помогавшие им монтировать провода в самолёте.
Основной целью виртуальной реальности является создание своего цифрового мира максимально похожего на наш (хотя бы по физическим признакам), но этот мир всё же является смоделированным компьютером (или другим устройством), т.е. по сути созданным человеком в цифровой среде с нуля. Дополненная же реальность лишь накладывает элементы искусственной реальности на наше окружение. Виртуальная реальность взаимодействует лишь с человеком, дополненная — ещё и с внешним миром.
Кроме этого, ещё выделяют смешанную (гибридную, Mixed reality, MR; далее — СР) реальность — объединение виртуальной и дополненной реальности, т.е. накладывание несуществующих виртуальных объектов на наше окружение.
Типичный пример смешанной реальности — функция Гугл переводчика, которая в реальном времени переводит слова с одного языка на другой, тут же подбирая похожий шрифт и заменяя их.
Резюмирую:
Дополненная реальность накладывает вспомогательные объекты на наше окружение. Смешанная реальность встраивает виртуальны объекты в окружение и подстраивает их. Виртуальная реальность создаёт своё окружение, не взаимодействуя с внешним миром.
История возникновения
Начнём с далёкого 1901 года, когда писатель Фрэнк Баум (автор волшебной страны Оз, предвестник телевидения, ноутбуков и беспроводной связи) рассказал об идеи электронного дисплея, накладывающегося поверх реальной жизни.
Время шло и лет через 50 идея Фрэнка нашла воплощение в машине «Сенсорама», которую сейчас бы назвали арт-проектом. Устройство представляло из себя ни то стол, ни то шкаф со стереокартинками, звуком, запахами, вибрирующим креслом и прочими эффектами, но широкого интереса не вызвало и о нём вскоре забыли.
В начале 60х начинает появляться и развиваться компьютерная графика.
В 1960 специалисты компании Боинг Верн Хадсон и Уильям Феттер создают первые системы машинной графики, которую теперь принято называть компьютерной.
В 1962 Стив Рассел, Мартин Грец и Уэйн Уитанем выпускают первую компьютерную видеоигру «Spacewar».
В 1963 году американский учёный Айвен Сазерленд создал первый графический редактор «Sketchpad».
Примерно в это время Станислав Лем, в одной из своих книг, формулирует и отвечает на вопрос «как создать действительность, которая для разумных существ, живущих в ней, ничем не отличалась бы от нормальной действительности, но подчинялась бы другим законам?».
В 1964 году General Motors представила систему автоматизированного проектирования DAC-1, разработанную совместно с IBM.
В том же году группой математиков под руководством Н. Н. Константинова была создана компьютерная математическая модель движения кошки. А через 4 года из неё сделали первую компьютерную анимацию — машина БЭСМ-4, выполняя написанную программу решения
дифференциальных уравнений, рисовала на алфавитно-цифровом принтере мультфильм «Кошечка» (да, коты уже тогда захватили ИТ-мир).
И в том же 68-м, появилась возможность выводить компьютерные изображения на экран электронно-лучевой трубки.
Вернёмся на пару лет назад и отдельно отметим ещё одно изобретение уже упоминавшегося Айвена Сазерленда. В 1966 году вертолётостроительная компания Bell Helicopter начала разработку систем для управления полётами в ночное время. Системы состояли из инфракрасных камер и приёмников, расположенных на шлеме пилота. Направление получило название «удаленная реальность» (Remote Reality). Профессор Сазерленд и один из его студентов Боб Споулл решили заменить инфракрасные приёмники на электронные трубки, подключенные к компьютеру, создав тем самым прототип первого видеошлема.
Примерно в это же время, в конце 60х компьютерный художник Майрон Крюгер вводит понятие искусственной реальности.
Ещё через 10 лет — в 1977 — в Массачусетском Технологическом Институте была создана «Кинокарта Аспена» — компьютерная программа, позволяющая совершить прогулку по американскому городу Аспен. Эта программа считается первой визуализацией виртуальной реальности.
В том же году Даниэль Сандин, Ричард Сейр и ряд других инженеров из EVL изобрели перчатку, с помощью которой можно было передавать в компьютер данные о движении руки. Устройство получило название «Перчатка Сейра».
В 1982 Томас Зиммерман (один из основателей VPL Research) запатентовал установку в перчатку оптических датчиков. Перчатка Зиммермана была предназначена для совмещения акустической гитары и компьютера и передавала на последний данные о положении пальцев, а компьютерная программа уже преобразовывала полученные данные в звук.
В 1989 перчатки виртуальной реальности, наконец, дошли до массового потребителя. Устройство под названием Nintendo Power Glove выпустила NES. Однако, широкого распространения оно не получило.
Следующий большой скачок, оказавший влияние на развитие ВР, произошёл в конце 80х-начале 90х.
В 1989 году другой основатель VPL Research, программист, футуролог, философ, музыкант и много ещё кто Джарон Ланье вводит, собственно, сам термин «виртуальная реальность».
В 1991 анонсируется набор Sega VR, но до выпуска он так и не дошёл — тестировщиков тошнило, кружилась голова и т.д.
В 1994 году Пол Милгром и Фумио Кисино описали континуум «виртуальность — реальность» — пространство между реальностью и виртуальностью, между которыми расположены дополненная реальность (ближе к реальности) и дополненная виртуальность (ближе к виртуальности).
В том же году выходит в продажу шлем Forte VFX1. Устройство добротное, но высокая цена и небольшое количество доступных игр не позволили ему стать популярным.
1995 Nintendo выпускает игровую консоль Virtual Boy. Но и она проваливается. Красно-чёрное изображение на экране долго смотреть просто невозможно, поэтому приставка стала первой консолью, вынуждавшей игрока делать перерывы, чтобы глаза могли отдохнуть.
После этого ещё выходило много шлемов ВР, но ни один из них так и не стал массовым. В начале 90х вышло множество фильмов и книг, популяризирующих данную отрасль. Тема виртуальной реальности была интересна и обсуждаема. Но, несмотря на это (видимо из-за громких провалов шлемов ВР) почти 10 лет не появлялось никаких интересных разработок в этой сфере. В 2000х виртуальная реальность перешла в сферу компьютерных игр.
Сегодня на рынке представлен огромный выбор очков и шлемов ВР, можно найти как проникнутые идеями футуризма (TLpower G100*):
Так и просто «народные» очки, куда надо вставлять телефон — Google Cardboard VR BOX III 3*
Есть даже самосборные из картона* под 5 дюймовые телефоны.
Про новый виток развития искусственной реальности и о современных разработках мы расскажем в следующей статье.
Виртуальная реальность (VR) — как создается и зачем нужна
Опубликовано admin в 4 мая, 2021 4 мая, 2021
Выражение «виртуальная реальность» состоит из определений этих двух слов. «Виртуальный» можно идентифицировать как близко, а «реальность» — это то, что мы переживаем как люди. Таким образом, термин «виртуальная реальность» или VR (Virtual Reality) в основном означает «почти натуральность». Это, конечно, может означать и что угодно, но обычно относится к определенному типу эмуляции действительности.
Мы познаем мир через наши чувства и системы восприятия. Нас учили, что у человека есть пять чувств:
Однако это только самые очевидные. На самом деле у людей их гораздо больше, например, чувство равновесия. Эти и другие сенсорные входы, а также специальная обработка сенсорной информации мозгом гарантирует, что у нас будет богатый поток данных из окружающей среды в наш разум.
Все, что мы знаем о нашей реальности, приходит через чувства. Другими словами, весь наш опыт существования — просто комбинация рецепторов и мозговых механизмов формирования этой информации.
Само собой разумеется, что, если вы сможете предоставить что-то новое своим органам чувств с помощью выдуманной информации, то и ваше восприятие реалий также изменится в ответ на нее. Будет представлена новая версия реальности, которой на самом деле нет, но с вашей точки зрения она будет воспринята как настоящая. Это и есть виртуальная реальность.
Следовательно, VR влечет за собой представление нашим органам чувств виртуальной среды, созданной компьютером, которую мы можем каким-то образом исследовать.
Что такое VR — техническая точка зрения
С технической точки зрения ответить на вопрос — «что это такое?» просто. VR — это термин, используемый для описания трехмерной компьютерной среды, которую можно исследовать и с которой можно взаимодействовать. Мы становимся частью виртуального мира или погружается в эту среду и, находясь там, можем манипулировать объектами или выполнять ряд действий.
Как создается виртуальная реальность?
Сегодня технология VR обычно реализуется с использованием компьютерного моделирования. Для этой цели используется ряд систем, таких как:
Они используются, чтобы стимулировать наши чувства вместе, создать иллюзию правдоподобности.
Специальные очки для VR
Это сложнее чем кажется, поскольку наши чувства и мозг эволюционировали, чтобы предоставить нам точно синхронизированный и опосредованный опыт. Если что-то не так, мозг дает об этом знать. Эти проблемы, отделяющие убедительный или приятный опыт виртуальной реальности от резкого или неприятного, по большей части являются техническими.
Технологии VR должны учитывать нашу физиологию. Например, поле зрения человека не похоже на видеокадр. У нас есть (более или менее) 180 градусов зрения, и, хотя вы не всегда осознаёте свое периферическое зрение, если бы оно исчезло, вы бы заметили. Точно так же, когда, то, что ваши глаза и вестибулярная система говорят вам, находится в противоречии, вызывает укачивание. Именно это происходит с некоторыми людьми на лодках или в машине.
Если при реализации трехмерной обстановки удастся добиться правильного сочетания аппаратного, программного обеспечения и сенсорной синхронности, то будет достигнуто нечто, известное как ощущение присутствия. Где субъект действительно чувствует, что он присутствует в этой среде.
Зачем нужна виртуальная реальность?
Может показаться, что VR требует больших усилий, и это действительно так!
Что делает разработку стоящей?
Потенциальная ценность развлечения очевидна. Фильмы и видеоигры, создающие эффект погружения, являются хорошим примером. В конце концов, индустрия развлечений — это многомиллиардный бизнес. Но у виртуальной реальности есть много других, более серьезных применений, в том числе:
VR может привести к новым и захватывающим открытиям в этих областях, которые влияют на нашу повседневную жизнь.
Если что-то делать в реальности слишком опасно, дорого или непрактично, виртуальная реальность — это ответ. Она позволяет нам идти на виртуальный риск, чтобы получить реальный опыт, — от стажеров-пилотов истребителей до начинающих хирургов.
По мере того, как стоимость VR снижается и она становится все более популярной, мы можем ожидать, что на первый план выйдут более серьезные применения, такие как приложения для обучения или повышения производительности.
Виртуальная реальность и ее родственник, дополненная реальность, могут существенно изменить способ взаимодействия с цифровыми технологиями. Сделать их более приближенными к людям.
Особенности систем симуляции
Существует много различных типов систем виртуальной реальности, но все они обладают одинаковыми характеристиками, такими как способность позволять человеку просматривать трехмерные изображения. Эти изображения кажутся в натуральную величину.
Кроме того, они меняются по мере того, как человек перемещается по окружающей среде, что соответствует изменению поля его зрения. Цель состоит в том, чтобы добиться плавного соединения движений головы и глаз и соответствующей реакции, например изменение восприятия. Это гарантирует, что виртуальная среда будет одновременно реалистичной и приятной.
Виртуальная среда должна обеспечивать соответствующие отклики — в реальном времени — по мере того, как человек исследует свое окружение. Проблемы возникают, когда есть задержка между действиями и реакцией системы или задержка, мешающая их восприятию. Человек осознает, что находится в искусственных условиях, и соответствующим образом корректирует свое поведение, что приводит к неестественной, механической форме взаимодействия.
Цель состоит в том, чтобы создать естественную, плавную форму коммуникаций, которая приведет к незабываемым впечатлениям.
Резюме
Виртуальная реальность — это создание виртуальной среды, представленной нашим чувствам таким образом, что мы воспринимаем ее так, как если бы мы действительно были там. Для достижения результата используется множество технологий (к ним можно отнести 5G сеть) и представляет собой технически сложный процесс, который должен учитывать наше восприятие и познание.
Технология VR становится все более дешевой и распространенной. Мы можем ожидать намного больше инновационных применений в будущем и, возможно, фундаментального способа общения и работы благодаря возможностям виртуальной реальности.