Однажды в вагоне метро в час пик я стоял и думал, что, будь у меня дисплей, ну как у летчиков коллиматорные прицелы, я бы не маялся невозможностью достать книгу (рукой и то не пошевелить), а читал бы спокойно, перелистывал бы взглядом страницы, делал бы заметки. Это было лет тридцать назад.
Фото: Bloomberg via Getty Images
Фото: Bloomberg via Getty Images
Виртуализация пространства, окружающего современного человека, идет быстрыми темпами, цифровые технологии занимают все больший сектор информационного потока. Всем известно, что оптический канал информации человеческого восприятия окружающего мира самый информационно емкий — через зрение человек получает до 90% информации, соответственно, создание дисплеев, оптимальных для современного мобильного человека, стало очень актуальной задачей. Такие дисплеи получили название «дисплеи дополненной реальности» (AR; это частный вид виртуальных дисплеев — VR). Отличительной их чертой является формирование мнимого (виртуального) увеличенного изображения локального источника информации и высокая прозрачность для света от реальной окружающей зрителя обстановки.
До недавнего времени все знали, что большинство окружающих нас дисплеев формируют действительное изображение на каких-то конкретных поверхностях, следовательно, размер изображения равен размеру матрицы, отображающей информацию (LCD, плазменная панель, OLED, кинескоп и т. д.). Кажется, будто проекционные дисплеи выбивались из этого ряда, но на самом деле размер изображения все равно был равен самой громоздкой части такого дисплея — экрану. Без него ничего не видно. А вот размер виртуального изображения (может достигать нескольких квадратных метров) AR-дисплея никак не связан с размером проектора мнимого изображения (несколько кубических сантиметров).
По способу взаимодействия со зрителем AR-дисплеи можно разделить на два больших класса: Head-up-дисплеи (HUD), или дисплеи перед зрителем (жестко связаны с устройством, используемым человеком,— машина, самолет и пр.), и Head-mounted-дисплеи (HMD), или «носимые на голове» дисплеи (связанные достаточно гибко со зрительным аппаратом человека).
Как видно, основные параметры оптических схем таких дисплеев сильно отличаются: HUD — дисплей, где человек становится комплексом со сложным устройством (самолет, машина), особенно важна непрерывная связь информации, передаваемой устройством и дисплеем, у человека нет ни мгновения для потери связи, даже доли секунды отвлекшегося от дороги и управления водителя чреваты аварией. Высокая надежность таких дисплеев требуется для обеспечения безопасности.
Для HMD характерна нежесткая связь AR-дисплея с носителем (очки, шлем), соответственно, небольшой вынос зрачка, большое поле зрения, дополненные небольшими габаритами и весом,— вот основные черты HMD-дисплея. Оптические схемы таких разных по параметрам устройств имеют особенные черты, но вот общая тенденция в создании AR-дисплеев — минимизация настройки зрителя под оптимальные условия видения виртуальных изображений, попросту говоря, отсутствие индивидуальной настройки — надел и видишь! Одним из самых критичных параметров таких дисплеев является выходной зрачок системы (eyebox (EB)), для HMD этот параметр желательно иметь не меньше 10–12 мм и для HUD — не менее 100 мм, что связано с необходимостью обеспечения свободного перемещения зрителя относительно AR-дисплея и высокой подвижностью зрачка человека при рассматривании широкоапертурных виртуальных изображений (больше 25–300). Замечательным примером применения голографических технологий в автомобильных дисплеях дополненной реальности является отечественная компания WayRay, которая разрабатывает встроенные в автомобиль дисплеи с большеразмерными голографическими линзовыми экранами. Необходимость иметь большой выходной зрачок для систем отображения мнимого, увеличенного изображения, используемых в HMD- и HUD-дисплеях, оказалась очень плодотворной для развития волноводной голографии.
Волноводные голограммы
В оптических схемах AR-дисплеев голографические оптические элементы используются довольно широко в качестве устройств совмещения световых потоков — бим-комбайнеров (BC), осветителей, изображающих линз, селективных фильтров, но в этой статье мы сосредоточим внимание на описании работы и ограничениях в использовании специфических голограмм, так называемых «на полном внутреннем отражении», в частности, волноводных голограмм как базовых элементов не изображающих перископических систем дисплеев дополненной реальности, важной целью которых является синтез большого выходного зрачка AR-дисплея и, конечно, роль элемента совмещения световых потоков. И на самом деле, наиболее широко распространившиеся в настоящее время HMD — Hololens, Magic Leap, Aconia, Digilens, BAE systems — построены именно на голографических перископических базовых элементах, отличительной особенностью которых являются планарность, компактность, легкий вес и компенсированный хроматизм в голографическом перископе.
У большинства современных людей слово «голография» ассоциируется с «эфирными существами» из «Звездных войн» или концертным Майклом Джексоном, порожденным гением маркетинга для сбора денег уже после физической смерти. На самом же деле голография — это отрасль оптики, основанная на уникальном (природа до этого «не додумалась», а Денис Габор в 1946–1949 годах додумался) способе записи и воспроизведения информации, наиболее полном, когда фиксируются и амплитуда, и фаза волн, дифрагированных на записываемом объекте. Популярно о голографии можно посмотреть на https://postnauka.ru/author/putilin.
В Физическом институте им. П. Н. Лебедева Российской академии наук голографией занимались с 1960-х годов, а в начале 1980-х активно развивались исследования в области волноводной голографии как вида голографии, ориентированной на применении в интегральной оптике, соединяющей в себе преимущества интегральной микроэлектроники и оптической обработки информации — своего рода оптические микросхемы. Основными приложениями этого направления виделись оптические вычислительные машины, волоконные линии связи. Я занимаюсь волноводной голографией до сих пор. Эта область не может не увлечь, ведь мечта сделать компактные голографические оптические устройства, когда свет распространяется и дифрагирует не в свободном пространстве, а в замкнутом объеме волновода, сродни идее поймать «солнечного зайчика» и запереть его в «хрустальном оптическим замке».
Волноводная голография отличается рядом выдающихся свойств: высокая дифракционная эффективность — свыше 90%, полное разделение изображающих и недифрагированных пучков, пространственно-временные преобразования информации, недоступные обычной оптике и голографии, и, наконец, совместимость с массовой интегральной технологией.
Тех оптических вычислительных машин, о которых человечество мечтало 30 лет назад, не появилось, но интегральная оптика стала обыденностью, волоконные линии связи никого не удивляют, и голография уже превратилась в промышленную отрасль — всем известны голографические знаки на паспортах, печатях и деньгах, не говоря уже о 3D-рекламе. А вот волноводная голография, оставаясь интересной областью исследований, была не очень популярна в практических применениях. Множество интересных работ, устройств и методов записи информации было разработано с помощью методов волноводной голографии. Отмечу здесь для примера только наши работы: планарные дисплейные голограммы 3D-объектов, осветители для голографических дисплеев, интегральные принтеры для синтезированных голограмм, а были еще голографические планарные прицелы, спектрометры и устройства для межчиповых соединений оптических вычислительных машин. Постепенно критическая масса знаний в области волноводной голографии превысила незримый порог, и перед взором пользователей предстал дисплей дополненной реальности HoloLens1 — уникальный случай разработки, начатой несколько десятилетий назад группой финских энтузиастов, поддержанных фирмой Nokia и перекупленной Microsoft Corp.
Он был не первым в ряду AR-дисплеев на базе волноводных голограмм, но стал первой попыткой массового производства, для массового пользователя. Использование волноводных голограмм для этого было целью многих работ еще в 1980-е годы, однако только теперь их применение дошло до реальных устройств. В чем же особенность дисплеев, построенных на принципах волноводной голографии?
Небольшое замечание: ясно, что название коммерческого продукта — это предмет маркетинга, но, когда название прямо противоречит сущности продукта, это по меньшей мере печально. HoloLens — именно такой случай: во-первых, там нет голографических линз, да и, по сути, голограмм тоже нет, а есть дифракционные решетки, изготовленные методом фотолитографии. Чтобы это понять, рассмотрим базовый элемент AR-дисплея HoloLens — голографический волноводный перископ.
Голографические волноводные перископы
Что такое перископ, наверное, почти все знают. Вот в подводной лодке перископ позволяет видеть из-под воды, что-то похожее нужно в дисплеях дополненной реальности, чтобы видеть окружающую обстановку одновременно с информацией от вашего дисплея.
Основной отличительной особенностью волноводных голограмм является разделение воспроизводящего голограмму светового луча (входная информация) и дифрагированного луча эффектом полного внутреннего отражения (зигзагообразное распространение света в волноводе). Таким образом, введенная в волновод информация распространяется в нем почти без потерь, пока свет не попадет на устройство вывода, в нашем случае — на выводную голограмму, только параметры такой голограммы рассчитываются таким образом, чтобы свет постепенно выходил из волновода.
Это вот и есть принцип работы голографического волноводного перископа. Еще один параметр голограмм ввода и вывода очень важен для работы — это период дифракционной решетки (голограммы). Периоды решеток ввода и вывода должны быть одинаковы, тогда происходит компенсация очень больших хроматических аберраций голограмм. Делается это для того, чтобы передаваемое через волновод изображение было цветным и зритель мог увидеть виртуальное изображение в произвольной точке выходного зрачка, то есть зрачок такой оптической системы гораздо больше, чем зрачок проекционной системы, которая формирует виртуальное изображение. Все со школы помнят, что увидеть изображение в микроскоп не так уж и просто: все время изображение «убегает»… Это вот и является следствием небольшого зрачка микроскопа. Большой зрачок — это удобство использования дисплея дополненной реальности. Например, в одном из вариантов зрачок нашего AR-дисплея достигал 30 см, и человек мог наблюдать увеличенное изображение сразу двумя глазами, и даже сразу два зрителя могли смотреть одно изображение! Для формирования большого зрачка по двум координатам применяют более сложные схемы с поворотно- размножающими голограммами, а для того чтобы сформировать полноцветное виртуальное изображение, применяют три раздельных по цветам RGB волновода.
Следующее очень важное преимущество применения голограмм в AR-дисплеях — это высокая прозрачность голограмм для внешнего света, то есть информация от окружающей зрителя обстановки не искажается и не ослабляется при использовании таких дисплеев. Вообще, голограммы как планарные оптические элементы практически не искажают проходящие через них оптические лучи, за исключением дифрагированных на голограмме лучей, но дифракционную эффективность можно выбрать оптимальной и конфигурацию дифрагированных лучей можно рассчитать под минимальные искажения. Одним словом, голограммы допускают множество вариантов конкретных схем дисплеев на их базе.
Очень важно, чтобы AR-дисплей был планарным и миниатюрным. Например, известный пионер рынка AR-очков — Google Glass — был довольно миниатюрным, но не отвечающим принципам планарной технологии, ведь перед глазом зрителя постоянно висела оптическая схема с объемными стеклянными элементами, что с точки зрения безопасности просто ужасно! А вот технологические решения, примененные в HMD — Hololens, Magic Leap, Aconia, Digilens, построенные на волноводных голограммах, гораздо лучше отвечают принципам безопасности.
Профессионалы
Замечательное по образности выражение «руки не доходят» родилось, несомненно, у какого-то профессионала, то есть человека, погруженного в информационный поток. Необходимость в расширении возможностей летчиков, диспетчеров, монтажников сложной электронной аппаратуры, когда явно не хватает рук, чтобы держать перед собой справочник или инструкцию, и породила первые и самые важные применения дисплеев дополненной реальности — информационные шлемы для летчиков, дисплеи для операторов оружия и сложных технологических процессов и, наконец, хирургов. Последнее применение очень характерно для технологии дополненной реальности, ведь обучение и повседневная практика врачей имеет дело с самым дорогим — человеческой жизнью, а учить на реальных пациентах не только накладно, но и часто аморально, вот и возникла идея сделать для обучения и отработки практических навыков медицинский комплекс дополненной реальности, а в перспективе — и с тактильной обратной связью.
Прицельно-навигационными нашлемными комплексами для летчиков уже мало кого удивишь, но дисплеям дополненной реальности, в частности HUD-дисплеям в каждом автомобиле (хоть и премиум-класса до сего времени), пока остается только удивляться и надеяться, что они будут быстро дешеветь.
Ударим виртуальными дисплеями по кризису (коронавирусу), то есть будь сейчас товарищ Бендер жив, он бы сразу сообразил, где куется информационное железо — в виртуальной реальности! Сидя на самоизоляции, среднестатистический служащий испытывает информационную клаустрофобию, тактильный голод и отсутствие перемен в окружающем ландшафте. Все это поможет преодолеть дисплей дополненной реальности.
Представим себе вот такие ситуации: идет потребитель по магазину, рассматривает товары, по громкой связи ему настоятельно советуют не касаться продуктов, если он их не намерен купить. А как изучить, как проверить срок годности, состав? Очень просто: взгляд человека, уткнувшийся в «продукт», распознается, считывается радиометка или штрихкод продукта, и на дисплей дополненной реальности на реальное изображение «продукта» накладывается виртуальное изображение информации о продукте — можно принимать решение!
Легко себе представить, что нужных продуктов — целый список. Его что, мусолить в руках, одетых в перчатки? Конечно нет! Отображение списка, плана магазина, информации о парковках и прочее — все будет отображаться на дисплее дополненной реальности, и листать его можно взглядом или жестом, а можно и голосовой командой, не доставая из кармана гаджет или список.
Садясь в свой автомобиль с роботом-водителем и отдавая команды голосом, вы остро почувствуете усталость и захотите отдохнуть от утомительного шопинга. Вот здесь дисплей дополненной реальности вам первый помощник: отобразить успокаивающий пейзаж взамен урбанистического нагромождения стали и бетона — пожалуйста!
Продолжать можно до бесконечности, но, суммируя, можно сделать вывод о новом, совсем другом наполнении информационных потоков, окружающих человека в экстремальных условиях. Если раньше в такие условия время от времени попадали представители определенных профессий, то теперь каждый из нас легко попадает в них в обыденной жизни!
Для меня совершенно очевидно, что время дисплеев дополненной реальности пришло. Эта статья, я надеюсь, поможет уважаемым читателям тоже проникнуться подобным информационным оптимизмом, но от ученых, инженеров и предпринимателей зависит, как сделать переход в новое информационное измерение для человека не очередным стрессом, а открытием новых творческих способностей Homo Sapiens — «человека разумного».