ОПТИЧЕСКАЯ СИСТЕМА ГИБРИДНОЙ РЕАЛЬНОСТИ С ЦИФРОВОЙ КОРРЕКЦИЕЙ АБЕРРАЦИЙ Российский патент 2019 года по МПК G02B27/01 G06T1/40 

ОПТИЧЕСКАЯ СИСТЕМА ГИБРИДНОЙ РЕАЛЬНОСТИ С ЦИФРОВОЙ КОРРЕКЦИЕЙ АБЕРРАЦИЙ

ОБЛАСТЬ ТЕХНИКИ

[001] Настоящее изобретение в широком смысле относится к области оптических систем, а точнее — к области устройств получения оптических изображений для систем виртуальной и дополненной реальности.

[002] Конкретнее, изобретение позволяет корректировать аберрации систем ВР и ДР при помощи цифрового компонента (т. е. компьютерного программного обеспечения). Изобретение позволяет избавиться от ограничений, накладываемых конструкцией оптических систем, и расширить область применения оптических систем виртуальной реальности и дополненной реальности посредством повышения их качества без внесения в конструкцию дополнительных оптических элементов или иных изменений.

УРОВЕНЬ ТЕХНИКИ

[003] Под виртуальной реальностью (далее также «ВР») понимается искусственно созданная трехмерная среда, обеспечивающая эффект присутствия в ней пользователя. Два основных свойства ВР — эффект присутствия и интерактивность. Эффект присутствия возникает при участии в ВР всех пяти органов чувств; интерактивность — при возможности пользователя взаимодействовать с ВР посредством телодвижений.

[004] Таким образом, двумя необходимыми составляющими для создания виртуальной среды является воздействие на органы чувств и виртуальный мир. Под виртуальным миром понимаются виртуальные объекты и их взаимоотношения внутри среды, придающие виртуальной среде смысл. Под воздействием на органы чувств понимается изменение состояния органов чувств пользователя с определенной периодичностью.

[005] В то время как ВР подменяет реальную среду симулированной, Дополненная реальность (далее также – «ДР») предполагает изменение текущего восприятия пользователем реального мира, т. е. отображение реальной среды с «дополненными» (или удаленными) элементами посредством компьютерной перцептивной информации, в идеале — для нескольких органов чувств (зрения, слуха, обоняния, осязания и соматосенсорной системы), пространственно помещенных в реальный мир для обеспечения эффекта присутствия. Под «гибридной реальностью» понимается технология получения изображений для ВР и ДР.

[006] Наголовные (нашлемные) дисплеи (далее также – «НД») (например, «очки виртуальной реальности») — самые известные приборы для создания ВР и ДР. Технология создания гибридной реальности при помощи НД нашла множество применений — от реабилитации до визуализации данных, от игровой индустрии до военной промышленности, авиации, медицины и проектирования.

[007] Обычно НД представляет собой носимый на голове (на шлеме) небольшой обращенный к одному или обоим глазам дисплей. В более широком же смысле НД можно понимать как устройство, закрепленное на голове пользователя, передающее визуальную информацию, в т. ч. и для периферийного зрения, непосредственно на глаза пользователя.

[008] Варианты НД различаются технологией и представлением визуальной информации, а именно компьютерной графики, изображения реального мира или их сочетания.

[009] НД также подразделяются по типам окуляров: монокуляры (для одного глаза) и бинокуляры (для обоих глаз), представляющие немного различающиеся перспективы изображения для каждого глаза для создания стереоэффекта.

[0010] Кроме того, НД также можно подразделить на устройства с видеопрозрачностью, оптической прозрачностью и проекционные. В видеопрозрачных устройствах виртуальная среда заменяется видеопотоком реального мира с элементами ДР, добавляемыми в цифровые изображения. В оптически прозрачных устройствах выполняется прямое наложение эффектов ДР на изображение реального мира посредством прозрачного оптического сумматора (например полупрозрачного зеркала, призмы или голографического оптического элемента). В проекционных НД изображение ДР проецируется на реальные изображения и воспринимается глазом пользователя как отражение.

[0011] Кроме того, для НД также применима технология проецирования на сетчатку (сканирование сетчатки или проекция на сетчатку). Эта технология предполагает прямое проецирование изображение на сетчатку глаза пользователя, что позволяет пользователю видеть висящий перед ним в воздухе дисплей. Технология проецирования на сетчатку устраняет потребность во внешних экранах и сложных оптических элементах. В нынешнем поколении устройств ВР с проецированием на сетчатку используются особые линзы для коррекции визуального расстояния до небольших экранов, установленных рядом с глазами.

[001] При проектировании НД сложнее всего сочетать высокое качество изображения с компактностью устройства ввиду геометрических ограничений (устройство должно помещаться на голове пользователя), вызывающих значительные геометрические аберрации.

[002] Большинство систем ВР и ДР используют ту или иную методику отслеживания положения, часто при помощи внешних по отношению к НД камер и датчиков. Эти периферийные устройства позволяют отслеживать положение головы, туловища и рук пользователя в пределах их зоны действия.

[003] Один из вариантов конструкции НД включает средства окулографии, регистрирующие направление взгляда пользователя и позволяющие компьютерными методами определять линию взгляда пользователя. Эта информация важна для разных приложений ВР и ДР, использующих навигацию по пользовательскому интерфейсу. Отслеживание взгляда пользователя позволяет системе изменять отображаемую НД информацию, показывая пользователю конкретные (например дополнительные) элементы.

[004] Измерение и экстраполяция направления взгляда в реальном времени используются для изменения представляемых НД данных. Например, НД может изменить глубину отображаемого поля для лучшей симуляции естественного зрения, что повышает эффект присутствия. Объекты ВР также могут реагировать на взгляд пользователя — например, пользователь может взглядом выбирать те или иные элементы ВР и ДР. Технология окулографии в НД, позволяющая пользователю проще и естественнее взаимодействовать с интерфейсом, крайне важна для обеспечения по-настоящему реалистичного представления ВР и ДР.

[005] В последние десятилетия изображающая оптика заметно усложнилась, позволяя работать с высококачественными оптическими компонентами и системами, такими как однообъективные зеркальные камеры. Высокая сложность оптических элементов обычно требуется для эффективного использования имеющейся в распоряжении апертуры и, что более важно, для компенсации нежелательных артефактов, присущих изображениям, полученным с однообъективных камер.

[006] Оптические артефакты вообще присущи всем без исключения оптическим системам: геометрические искажения, хроматические (фокальная плоскость, зависящая от длины волны) и сферические аберрации (фокусное расстояние, зависящее от расстояния по оптической оси), а также кома (угловая зависимость от фокуса). Уменьшение подобных артефактов (то есть нелинейных отклонений от модели тонкой линзы) — важная задача для оптимизации общей эффективности системы изображения.

[007] Ввиду того, что подобные артефакты присущи каждому оптическому элементу, обычно используются сочетания разных линз, в особенности при необходимости получения изображения высокого качества (например в фотографии). Вместе с тем, сложные оптические системы с компенсацией аберраций, отличаясь высококачественным геометрическим представлением изображения, отличаются и высокой стоимостью производства, массой, бликованием, ненадежностью и т. п.

[008] В обычных системах НД для ВР, которые требуется носить на голове, используются сравнительно тонкие, легкие и удобные для пользователя объективы ВР и ДР. Разумеется, подобные компактные, легкие и относительно недорогие в массовом производстве оптические элементы снижают качество оптической системы, в сравнении, например с высококачественными объективами, часто состоящими из десятков отдельных оптических элементов. Такое снижение качества связано с тем, что используемые в НД тонкие компактные объективы (часто пластиковые или с линзами Френеля) подвержены аберрациям, снижающим восприятие пользователем ВР.

[009] Современные производители НД для ВР стремятся повысить разрешение экранов, но качество изображения уже достигло пределов возможностей для оптических систем. Альтернативные подходы включают громоздкие многокомпонентные системы повышения разрешения изображения. Подобная система, например, описана в патенте США 6 529 331 (Massof), предполагающем использование набора экранов (например 13 на каждый глаз, с соответствующими оптическими элементами) для создания НД ВР с высоким разрешением.

[0010] В патенте WO2017/108211 (Anton) описан НД с окуляром и плоскостью изображения, относительно наклоненных под определенным (предпочтительно 1° и 5°) углом для компенсации оптических аберраций (астигматизма и т. п.) на оси и вне оси зрения на всем поле зрения. Кроме того, в этом изобретении оптические поверхности нефренелевых оптических компонентов могут представлять собой особую дифракционную поверхность для уменьшения хроматических аберраций.

[0011] Представляется, что обычные оптические конструкции не в состоянии устранить взаимопротиворечащие требования современных систем ВР и ДР к малой массе, компактности и экономичности, но вместе с тем высокому разрешению и малым оптическим аберрациям.

[0012] Важную роль в устранении нежелательных артефактов могут играть не только физические изменения НД (ограниченные требованиями к портативности), но и подробные знания об оптической системе НД, используемой для формирования представляемых изображений. Эти знания о профиле линзы могут использоваться для компьютерной (цифровой) коррекции аберраций.

[0013] Способы коррекции изображений на основании информации о профиле линзы обычно предполагают использование известных характеристик линзы или оптической системы в целом для (автоматической) коррекции разных искажений линзы (например появления цветных ореолов на высоко-контрастных гранях, виньетирование и т. п.). К примеру, метод, описанный в патенте США 6 862 373 (Enomoto) предполагает получение входных данных с изображения, полученного оптическим элементом (линзой), и вместе с тем данных о самой линзе, использованной для получения данного изображения. В данном методе далее описан порядок обработки изображения с использованием информации о фокусном расстоянии и апертуры (отверстия ирисовой диаграммы) линзы на момент получения изображения, а также характеристик линзы для коррекции аберраций и виньетирования изображения.

[0014] К примеру, в работе Beuret и др. описана экспериментальная компенсация аберраций для прозрачных НД при помощи дифракционного элемента — пространственного модулятора света, позволяющего динамически компенсировать аберрации НД. Такая система, однако, может не найти практического применения ввиду используемых элементов — пространственного модулятора света, голографического устройства сведения световых пучков и трудоемкого процесса обработки изображения в реальном времени.

[0015] Насколько нам известно, в настоящее время цифровую коррекцию аберраций еще не удалось эффективно применить в системах гибридной реальности на основе НД (кроме стандартной коррекции дисторсии и поперечных хроматических аберраций).

[0016] Настоящее изобретение предлагает обработку в реальном времени входящего изображения, получаемого на основании смешанных данных (т. е. симулированных и сфотографированных изображений ВР и ДР) посредством применения цифрового алгоритма, включающего известную информацию о данной оптической системе НД — например расчетного профиля и положения глаз(а) пользователя.

[0017] Описанная технология также включает систему окулографии для отслеживания положения зрачка пользователя (например для определения линии взгляда). Общие принципы окулографии хорошо известны и описаны, например в патенте США 8 120 577 (Bouvin), предполагающим размещение камеры, регистрирующей движение глаза, в оправе очков пользователя.

[0018] В предпочтительном варианте настоящего изобретения «цифровая линза» основана на неслепой обратной свертки для электронной коррекции оптических аберраций, специально оптимизированной для применения в легких системах НД для ВР. Подобный метод был изначально описан в международной патентной заявке WO2012018282 (Shmunk), где предлагалась подобная неслепая методика обратной свертки, основанная на знаниях об используемой оптической системе получения изображения (ее профиле). В данной заявке WO2012018282 подобным же образом применялась искусственная нейросеть (НС); однако, акцент был сделан на повышение оптического разрешения посредством применения множества входящих изображений, в отличие от методики уменьшения аберраций одного входящего изображения, описываемой в настоящем изобретении.

[0019] В общем случае важным свойством прогнозирования распространения света и характеристик системы получения изображения является функция рассеяния точки (ФРТ). Соответственно, в предпочтительном варианте изобретения «цифровая линза» основывается на извлечении ФРТ для разных элементов изображения (симулированных и сфотографированных) и последующем обучении НС.

[0020] В настоящем изобретении описаны системы ВР/ДР (для НД), отличающиеся высоким качеством при использовании дешевых (обычных) оптических компонентов. Предлагаемая конструкция позволяет избавиться от сложных (громоздких, тяжелых и дорогих) оптических систем, вместе с тем повышая качество изображения и повышая восприятие пользователем ВР/ДР.

[0021] В частности, повышение восприятия ВР достигается не использованием сложной оптики, а вычислительным компонентом для коррекции аберраций оптической системы НД, накладываемым до или после получения изображения. Такой компонент (т. е. компьютерное вычисление на основании описанного алгоритма) далее называется «цифровой линзой» оптической системы. Обычно такая цифровая линза (далее также – «ЦЛ») включает информацию об оптическом профиле заданной оптической системы, а также о положении зрачка пользователя, как подробно описано ниже.

[0022] Описываемый метод расширяет сферу применения систем НД для ВР и ДР. Он может применяться как в существующих системах объектив-дисплей, так и в новых конструкциях НД, свободных от обычных аппаратных ограничений. Кроме того, описываемое изобретение применимо к любым вариантам и технологиям НД (с использованием призм, полупрозрачного зеркала, проекторов, линз Френеля и т. п.).

[0023] Прочие свойства и аспекты предлагаемого изобретения очевидны из нижеследующего описания предпочтительного и опциональных вариантов и прилагаемых чертежей.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0024] Изобретение — наголовный дисплей (НД), представляющий собой оптическую систему, предназначенную для приема данных гибридной реальности: компьютерной графики, изображений реального мира или их сочетаний в форме входящего изображения. Оптическая система для обработки этих изображений неизбежно накладывает на них оптические аберрации. Кроме того, изобретение включает цифровую линзу (т. е. цифровой алгоритм) для коррекции указанных оптических аберраций.

[0025] Изобретение также описывает средства определения положения глаз или направления взгляда пользователя (окулографии).

[0026] Сама цифровая линза основана на двух последовательно выполняемых действиях. Первое действие предполагает формирование данных окуляра и профиля оптической системы (например весовых коэффициентов нейронной сети [далее также «НС»]), второе — получение данных окулографии и применение профиля оптической системы для коррекции изображения и устранения указанных оптических аберраций. Скорректированное изображение затем показывается пользователю НД.

[0027] Кроме того, первое действие также может включать извлечение функции рассеяния точки (далее также – «ФРТ»), обучения и извлечения весовых коэффициентов НС, разделение ФРТ на части ближнего и дальнего полей, расчет ядра дальнего поля и формирование скорректированного изображения дальнего поля. Второе же действие, в свою очередь, может включать запуск НС, расчет скорректированного выходного значения и суммирование исправленного выходного значения НС с изначальным низкочастотным (далее также «НЧ») компонентом.

[0028] Изобретение применимо для разных вариантов НД, в т. ч. с использованием полупрозрачного зеркала, призмы, волновода, сканирования сетчатки, а также может опционально конструироваться отдельно для каждого глаза пользователя.

[0029] Данные окулографии включают трехмерные координаты зрачка/глазного яблока или направление взгляда. Кроме того, данные окулографии позволяют выполнять фовеальный рендеринг.

[0030] Кроме того, изобретение описывает способ оптического получения изображения описанной системой НД с устранением оптических аберраций. Такой метод может включать алгоритм Левенберга-Маркварда для обучения НС.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0031] Фиг. 1, a, б: Известный уровень техники. Примеры систем НД.

[0032] Фиг. 2. Известный уровень техники. Общее описание существующих применимых систем НД.

[0033] Фиг. 3. Общее описание применения цифровой линзы для системы НД ВР и ДР.

[0034] Фиг. 4. Общее описание метода коррекции оптических аберраций.

[0035] Фиг. 5. Геометрическое и радиометрическое выравнивание таблиц и изображений (действие 1)

[0036] Фиг. 6. Создание профиля оптической системы (действие 1).

[0037] Фиг. 7. Коррекция дальнего поля изображения и извлечение функции рассеяния точки (ФРТ) (действие 1).

[0038] Фиг. 8. Зависимость хроматической аберрации от положения глаза.

[0039] Фиг. 9. Полная обработка изображения (действия 1 и 2).

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНОГО ОСУЩЕСТВЛЕНИЯ

[0040] В данном описании в качестве наголовного дисплея (НД) предлагается корпус, приспособленный для ношения на голове пользователя и размещения оптической системы НД для обработки смешанных данных и представления результата такой обработки зрению пользователя в форме показываемого изображения.

[0041] В данном описании под «показываемым изображением» понимается наблюдаемое зрителем изображение.

[0042] В настоящем описании под «смешанными данными» понимаются изображения, полученные методами компьютерной графики (т. е. симулированные), опционально дополненные изображениями реального мира (в приложениях ДР), получаемыми с камеры или доставляемыми непосредственно в глаз пользователя оптической системой НД.

[0043] Входящее изображение представляет собой визуальную информацию, сформированную указанными смешанными данными (т. е. компьютерной графикой с изображением реального мира или без него). В частности, в настоящем описании под «входящим изображением» понимается изображение с компьютерной графикой, изображение реального мира или их сочетание.

[0044] Конструкция оптической системы (НД) позволяет принимать входящее изображение и преобразовывать его содержание в показываемое изображение. Под «оптической системой» здесь понимаются все компоненты оптической системы НД, используемые для формирования показываемого изображения, в т. ч. цифровая линза (далее также «ЦЛ»), т. е. ЦЛ с системой окулографии, предоставляющей данные для ЦЛ.

[0045] Под «сфотографированным изображением» здесь понимается изображение, полученное цифровой камерой. Сфотографированное изображение может являться частью входящего изображения (например в НД ДР) или полностью исключаться из входящего изображения (например в НД ВР).

[0046] Цифровая компьютерная графика может быть создана посредством компьютерной обработки (при помощи графического процессора), выполняемой средствами, размещенными в корпусе НД или отдельно, с проводной или беспроводной передачей данных между такими средствами и указанной оптической системой.

[0047] Оптическая система (НД) может быть прозрачной, позволяя пользователю наблюдать реальную обстановку через оптическую систему. В других вариантах оптическая система может использовать проецирующий НД или проецирующий на сетчатку НД.

[0048] В предпочтительном варианте настоящего изобретения определение направления взгляда выполняется системой окулографии, интегрированной в НД или используемой отдельно. Под «системой окулографии» понимается система для измерения (отслеживания в реальном времени) положения зрачка (зрачков) глаз(а) пользователя и, возможно, направления его взгляда. Такие измерения здесь называются «данными окулографии».

[0049] Данные окулографии используются для предварительной коррекции показываемой информации. В предпочтительном варианте изобретения предусмотрена технология интеграции функции окулографии (с камерой или без нее) и отображения при помощи установленной прозрачной (видео- или оптически) оптики, расположенной рядом с глазом, устройства отображения гибридной реальности.

[0050] Данные окулографии (например положение зрачка) позволяют выполнять фовеальную визуализацию. Как известно, фовеальная визуализация является методом обработки цифрового изображения, предполагающим изменение разрешения (детализации) изображения на протяжении изображения, в зависимости от наличия одной или нескольких «точек фиксации». В связи с описываемым изобретением под точкой фиксации понимается область наивысшего разрешения входящего изображения, соответствующая центру сетчатки глаза, т. е. фовеолярной зоне.

[0051] В предпочтительном варианте изобретения фовеальная визуализация при помощи функции окулографии позволяет выборочно применять алгоритм цифровой линзы для входящего изображения. В частности, сильнейшая коррекция аберрации (область с наивысшим разрешением входящего изображения) выполняется по линии взгляда пользователя, т. е. вокруг точки наблюдения (во входящем изображении), соответствующей фовеолярной зоне глаза пользователя. Такая сильнейшая коррекция аберрации позволяет избавиться от искажений вследствие астигматизма и сферических аберраций. Обработка остальной части входящего изображения выполняется более простым способом, например только коррекцией поперечных хроматических аберраций.

[0052] Известный уровень техники на примере обычной системы НД показан на фиг. 1 (a) и 1 (б), взятых, соответственно, из патентов США 9 429 772 (Heinrich) и 9 658 453 (Kress). Во втором случае (патент Kress) описаны оптические элементы, корректирующие разные оптические дефекты, возникающие в экране или дифракционном сумматоре (часто применяемых в НД). Автор патента признает, что отражение света экрана дифракционным оптическим сумматором (плоским) не является идеальным решением, т. к. порождает такие оптические аберрации (в отраженном от экрана свете) как искажение, помутнение цвета, сферические аберрации, кому и астигматизм.

[0053] В некоторых конструкциях дифракционный оптический сумматор может иметь изогнутую форму, но это усложняет конструкцию и требует дополнительных этапов производства. Кроме того, для устранения помутнения цвета достаточно добавить источник одного цвета или монохроматический источник, но из остальных оптических аберраций наиболее ухудшающей качество изображения является астигматизм. Далее описаны возможные действия для коррекции оптических аберраций, внесенных дифракционным оптическим сумматором на попадающее в глаз отражение, включающие добавление дополнительных оптических элементов для предварительной компенсации хотя бы части астигматизма, вызванного использованием дифракционного сумматора, а также прочих описанных выше оптических аберраций. Подобные оптические элементы могут быть вставлены, вдвинуты, прикреплены зажимом, поворотной защелкой, прозрачным клеем, трением или иным способом.

[0054] На фиг. 2 показаны некоторые примеры оптически прозрачных наголовных дисплеев (ОПНД). В частности, на рис. 2 схематически показано устройство ОПНД с полупрозрачным зеркалом (плоским или кубической призмой) (а), призмой (б), волноводом (в) и сканированием сетчатки (г).

[0055] Как далее указано со ссылкой на фиг. 3, для получения скорректированного изображения во время работы НД изображение (31) изначально пропускается через корректирующий элемент цифровой линзы (32), а затем поступает на устройство НД (33) с обычным(и) оптическим(и) элементом(ами) (34), например тонкой пластиковой линзой. Скорректированное изображение (36) наблюдается пользователем (37). Как показано на фиг. 3, скорректированное изображение (36) не имеет аберраций и отличается более высоким разрешением сравнительно с изображением, обработанным стандартным способом (35), без цифровой линзы (32). В настоящем документе описано использование скорректированного изображения (36) для получения лучшего, более реалистичного представления ВР и ДР по сравнению со стандартным изображением (35).

[0056] В настоящем описании предлагается использование цифровой линзы (ЦЛ) в качестве предварительного этапа коррекции в цепочке получения изображения. Такая ЦЛ выступает в качестве «корректирующей линзы», избавляя от необходимости использовать дополнительные (тяжелые и сложные) оптические элементы для коррекции аберраций. Для формирования подобного элемента ЦЛ в предпочтительном варианте настоящего изобретения точно в позиции глаза наблюдателя, штатно использующего НД, размещается высококачественная видеокамера высокого разрешения, делающая фотографии для создания профиля оптической системы, как подробно описано ниже.

[0057] Кроме того, как указано выше, НД включает функцию отслеживания положения зрачка (в виде системы окулографии). Отслеживание положения глаза относительно оптической системы позволяет точно корректировать аберрации, присущие такой системе, при помощи ЦЛ.

[0058] Использование ЦЛ позволяет удалять цветные ореолы и восстанавливать контрастность и мелкие детали подверженного аберрации изначального изображения. ЦЛ может компенсировать все указанные выше типы аберраций, в т. ч. продольные хроматические и аберрации, вызывающие деградацию ФПМ (функции передачи модуляции) в оптических элементах НД.

[0059] Применение ЦЛ как виртуального элемента оптической системы в системе НД ВР схематически показано на фиг. 4, где НД (410) представлен компонентами оптической системы НД (40) – (47).

[0060] В приведенном примере смешанные данные (40) (т. е. изображение ВР и ДР) представлены либо одной компьютерной графикой (41) (например для ВР) или сочетанием компьютерной графики (41) с изображением реального мира (43), сфотографированным камерой (42).

[0061] Результат процесса — определенное выше входящее изображение (44), по сути своей представляющее входные данные, направляемые в НД (410).

[0062] Затем вычислительным компонентом (45) (т. е. ЦЛ) выполняется цифровая коррекция аберраций, включенных во входящее изображение (44) до поступления изображения на обычную линзу НД (49).

[0063] В итоге после применения обычного объектива или оптической линзы (46) получается показываемое изображение (47), скорректированное для значительного улучшения входящего изображения (44) и не имеющее присущих последнему описанных выше аберраций.

[0064] Что важно, цифровой алгоритм ЦЛ (45) использует определенные «внешние» данные, в частности, данные об «оптическом профиле» (48) и данные окулографии (49) (например положение зрачка).

[0065] Данные окулографии (47) поступают с системы окулографии, данные оптического профиля (46) — с НД (410).

[0066] В частности, данные оптического профиля (46) формируются профилированием оптической системы НД (410) без применения ЦЛ (45) (т. е. до фактического начала работы НД). Процесс формирования оптического профиля НД далее описан подробно (как Действие I).

[0067] Описываемое изобретение предназначено для коррекции оптических аберраций, предпочтительно — в оптических системах, приспособленных для использования с НД, предпочтительно с использованием неслепой техники обратной свертки, подробно описанной далее. Термин «неслепая» используется здесь в том смысле, что функция рассеяния точки (ФРТ) заранее рассчитана и известна посредством формирования профиля интересуемой оптической системы. В общем случае под ФРТ понимается трехмерный отклик системы формирования изображения на наличие точечного объекта или точечного источника света. В функциональном отношении ФРТ — функция системы формирования изображения, отвечающая за пространственный перенос.

[0068] В частности, описываемый метод основывается на разделении вычислительной коррекции аберраций оптической системы на два следующих действия:

[0069] Действие I: формирование профиля оптической системы, содержащего данные о такой системе (например основанной на НД). Данное действие предполагает получение информации о возможности оптимальной коррекции аберраций, внесенных оптической системой. Эта информация затем сохраняется как «оптический профиль» данной оптической системы. Обычно процесс формирования оптического профиля длителен и имеет итерационный характер. К счастью, для каждой конкретной оптической системы составление профиля достаточно выполнить один раз, например при проектировании или производстве.

[0070] Действие II: коррекция аберраций оптической системы. Это действие предполагает непосредственное применение ЦЛ к данным (изображению), полученным оптической системой. ЦЛ включает информацию об оптическом профиле (полученную в ходе Действия I), а также данные окулографии (полученные системой окулографии). Полученное в итоге скорректированное изображение может использоваться далее средствами обработки сигнала изображения и показываться на экране, так же как если бы ЦЛ не применялась. Данное действие требует лишь однократного и относительно быстрого выполнения, что позволяет корректировать оптические аберрации изображения, например с частотой поступления видеосигнала, как на существующих видеопроцессорах, так и на ограниченных по мощности мобильных устройствах.

[0071] Описанные отдельные Действия I и II могут быть оптимизированы для разных приложений формирования изображения, в т. ч. и для систем НД ВР и ДР, описываемых в настоящем изобретении. В предпочтительном варианте настоящего изобретения Действие I выполняется в выбранной оптической системе НД посредством помещения на место человеческого глаза высококачественного устройства фотографирования, позволяющего эффективно составлять профиль выбранной оптической системы. Впоследствии для любого изображения, полученного данной оптической системой, может выполняться действие II, предполагающее устранение аберраций, присущих такой несовершенной оптической системе.

[0072] Действие I в предпочтительном варианте изобретения включает два следующих основных этапа: Этап 1. Создание изображения (фотографирование) для формирования профиля, геометрическое и радиометрическое выравнивание. Этап 2. Создание оптического профиля оптической системы. Ниже эти два этапа описаны подробней.

[0073] Этап 1 (Действие I). Фотографирование для формирования профиля, геометрическое и радиометрическое выравнивание. Данный этап, подробно показанный на рис. 5, предполагает компьютерную генерацию серии таблиц, показываемых на НД. Затем эти таблицы снимаются на подлежащей профилированию оптической системе (также показанной как [44] на фиг. 4) в виде последовательности N изображений (51).

[0074] Данная последовательность изображений (51) включает информацию о параметрах оптической системы (т. е. метаданные о камере, используемой во время фотографирования) — о фокусном расстоянии, апертуре (диафрагме объектива), фокусной длине и т. п.

[0075] Несколько последовательностей (серия) таких сформированных компьютером таблиц записываются несколькими внешними оптическими системами (камерами), расположенными в разных точках, в которых может находиться человеческий глаз во время нормального использования НД. Такие точки (некоторый объем пространства, в котором может находиться зрачок относительно НД) называются «окуляром». Такие сформированные компьютером таблицы представляют собой данные об окуляре оптической системы, используемые при ее профилировании.

[0076] Такие данные включают информацию о характеристиках аберраций для разных положений глаза наблюдателя и фактически симулируют данные окулографии без наличия собственно наблюдателя. Эти данные могут зависеть от следующих параметров окуляра: положения глазного яблока, положения зрачка или направления взгляда. Все эти параметры регистрируются относительно положения оптической системы НД, т. е. окуляра.

[0077] Кроме того, как показано на фиг. 5, выполняются геометрическое и радиометрическое выравнивание (53) таблиц (51) из последовательности запечатленных изображений. С этой целью часть серии используемых для профилирования изображений из последовательности (51) и их запечатленные изображения (выходной сигнал [52]) используются для геометрического (т. е. по деталям пространства) и радиометрического (т. е. оценки нелинейной функции цветовых значений каждого изображения и применения ее для радиометрического выравнивания изображений таким образом, чтобы совпадали значения цветов для всех изображений последовательности) выравниваний.

[0078] Следует отметить, что сформированные компьютером таблицы (51) выравниваются относительно изображений таблиц, запечатленных самой профилируемой системой. Все такие изображения получаются с одинаковыми настройками камеры и при одинаковых условиях освещения, т. е. их выравнивание друг относительно друга не требуется.

[0079] Для описываемого геометрического и радиометрического выравнивания могут использоваться самые разные неоднократно описанные методики обработки изображений, позволяющие насколько возможно точнее выравнивать изображения по цветам и геометрическим параметрам.

[0080] На выходе процесса выравнивания (53) получается пара выровненных изображений (54), частью которых в предпочтительном варианте изобретения является подсерия изображений таблиц, геометрически и радиометрически выровненных относительно их сформированных компьютером вариантов. Как показано на фиг. 5, такая пара изображений включает т. н. «таблицы» и соответствующие им «выровненные» изображения.

[0081] Такие изображения (54) (т. е. таблицы вместе с их выровненными вариантами) далее используются для создания профиля оптической системы, в частности — для получения данных о возможности коррекции аберраций данной оптической системы.

[0082] Этап 2 (Действие I). Создание оптического профиля оптической системы. Полный процесс создания профиля (Действие I) оптической системы подробно показан на фиг. 6. Процесс начинается с пары входящих изображений — таблицы и выровненного изображения (61) (также см. [54] на фиг. 5), (опционально) разделенных на тайлы (62). Эти данные используются для коррекции дальнего поля (64), включающую собственно коррекцию дальнего поля изображения и извлечение функции рассеяния точки (ФРТ). На выходе процесса коррекции дальнего поля (64), в свою очередь, получаются два набора данных — коэффициенты ядер дальнего поля, сохраняемые в профиле оптической системы (63), и данные о пикселях, сохраняющие лишь аберрации ближнего поля.

[0083] Эти данные поступают на разделение низких частот (НЧ) и высоких частот(далее также – «ВЧ») (66). Выходной сигнал процесса (66) представляет собой входной сигнал для НС (69). Данные о пикселях, содержащие информацию о пространственных НЧ (НЧ часть), направляются в НС (69) напрямую, тогда как данные о пикселях, содержащие информацию о пространственных ВЧ (ВЧ часть), направляются в НС после обработки (68). В НС (69) также направляются координаты данных о пикселях (в плоскости изображения или в тайле), получаемые непосредственно с процесса (62) (или [61], если разделение на тайлы не выполняется).

[0084] Кроме того, для обучения НС (69) также требуются целевые данные о пикселях. Эти данные поступают с выровненного изображения, прошедшего фильтр НЧ (65) и обработку (67). Полученные после обучения НС весовые коэффициенты и смещения (691) также сохраняются в профиле оптической системы (63).

[0085] Как показано на фиг. 6, данные таблиц и выровненных по ним изображений (61) (или тайлов [62]) разделяются на две части по следующим частотам пространственных данных:

[0086] Одна часть (65) включает только высокие пространственные частоты (извлеченная из данных ВЧ часть), другая (66) — и НЧ и ВЧ части (содержание низких и высоких пространственных частот, извлеченное из данных). Для этого разделения может применяться любой из известных линейных фильтров, основанных на НЧ или ВЧ ядре. Важно отметить, что НЧ часть (66) обычно не подвержена аберрациям и поэтому может использоваться как есть, без обработки. В то же время ВЧ часть (65) должна быть соответственно обработана для получения улучшенного изображения. Как указывалось выше, и НЧ (66) и ВЧ (65) части по отдельности извлекаются для таблиц и выровненных по ним изображений (или тайлов, если используется указанный выше вариант разделения изображения на тайлы).

[0087] Как показано на фиг. 6, на данном этапе подготавливаются (обрабатываются [37]) предварительно полученные данные о пикселях из ВЧ части для использования в качестве входных (справочных) данных для обучения НС (69). Обычно НС (69) использует машинное обучение для оценки (или аппроксимирования) коэффициентов функций (691), зависящих от большого числа обычно неизвестных входных сигналов. В обработке изображений НС может использовать справочное (входное) изображение для предварительного самообучения. Этот процесс подробно описан в соответствующей литературе.

[0088] До запуска обучения НС могут использоваться различные известные методики исправления данных. Для повышения эффективности обучения НС, например для уменьшения погрешности, может использоваться исправление (67) данных (манипуляции с данными после обучения НС). Исправление (67) выполняется подобно (но не обязательно одинаково) предварительной подготовке (68), но в обратном порядке. Например, если динамический диапазон данных НС каким-то образом был уменьшен, выходные данные НС следует исправить, соответственно расширив динамический диапазон.

[0089] В предпочтительном варианте изобретения предварительная подготовка (68) и исправление (67) включают любое сочетание следующих операций.

[0090] Уменьшение динамического диапазона данных. Обычно НС работает оптимально, если вводимые в нее данные имеют ограниченный динамический диапазон. Известно множество способов уменьшить динамический диапазон данных, например нормализация входных данных, суммирование значений пикселей на входе либо по максимальному значению пикселей на входе.

[0091] Приложение нелинейности к значению пикселей. Такая нелинейность позволяет повысить значимость пикселей, имеющих малые значения, тем самым указывая НС на необходимость получения более точных результатов для входных данных малой амплитуды. Это, в свою очередь, позволяет улучшить отношение «сигнал-шум» в изображении на выходе. Например, внесенная нелинейность может иметь форму A^(1 – альфа), где: A — значение пикселя, альфа — небольшая (обычно 0,02–0,2) константа.

[0092] По завершении обучения алгоритм НС (вместе с предварительной обработкой и исправлением данных) получает информацию (63) (т. е. профиль системы) о возможностях коррекции аберраций (например расплывчатости) изображения таким образом, чтобы на выходе получалось максимально близкое к входящему изображение, т. е. не имеющее аберраций.

[0093] НС (69) обрабатывает данные попиксельно. Соответственно, для коррекции аберраций для конкретного пикселя обрабатывается некоторая соседняя с данным пикселем область (в пределах [62]). В предпочтительном варианте настоящего изобретения подготавливаются данные для входов и выходов НС, как подробно показано на фиг. 6.

[0094] В НС (69) заносятся данные о положении обработанного пикселя, что позволяет НС (69) адаптироваться к разным ФРТ на данном тайле. С этой целью координаты пикселя входящего изображения передаются на входы НС (63) с этапа разбиения изображения (61) на тайлы (62).

[0095] ВЧ часть (66) тайлов изображения (62) передается на входы НС (69) после описанной выше подготовки данных (68). ВЧ часть (66) извлекается с использованием пикселей в некотором соседстве от обрабатываемого (например менее чем в девяти пикселях) на входящем изображении.

[0096] ВЧ часть (65) пикселей, обрабатываемых с клеток (62), также поступает на выходы НС (69) после описанной выше «подготовки данных» (67) и выступает как выходные данные НС.

[0097] Кроме того, на входы НС (69) также поступает НЧ часть (66) с клеток входящего изображения (62). Как описано выше, эта НЧ часть (66) извлекается с использованием пикселей в более удаленном соседстве от обрабатываемого пикселя (например более чем в восьми пикселях) на входящем изображении.

[0098] После подготовки входных и выходных данных запускается обучение НС.

[0099] В предпочтительном варианте изобретения обучение выполняется с использованием известных обучающих алгоритмов, например алгоритма Левенберга-Маркварда. Весовые коэффициенты обученной НС ([691] на фиг. 6) извлекаются и сохраняются в форме «профиля оптической системы» вместе с ядром, полученным на этапе коррекции дальнего поля (64). Весовые коэффициенты и ядро уникальны для каждого тайла, так что для каждого тайла существует собственный набор параметров.

[00100] Процесс коррекции дальнего поля изображения (64) и извлечения функции рассеяния точки (ФРТ) подробно показан на фиг. 7 и описан ниже. Таким образом, изображения (в поле обзора камеры, изначально показанные как [54] на фиг. 5) могут разделяться на меньшие части, называемые «тайлами» таблиц (72) и выровненных изображений (71). Разделение выполняется посредством действия, называемого «разделением на тайлы» (70).

[00101] По своей сути ФРТ крайне изменчива и зависит от размера, концентрации и распределения разных параметров по полю обзора оптической системы, наиболее важным из которых является положение глаза наблюдателя. Соответственно, как показано на фиг. 7, опциональные этапы (71) и (72) в общем случае выполняют для уменьшения диапазона форм ФРТ в поле обзора данной оптической системы. Вариативность (аберрации) ФРТ в пределах одного тайла остается, но становится меньше, что позволяет более эффективно ее компенсировать, в сравнении с оригиналами изображений (таблицами и выровненными изображениями).

[00102] Затем выполняется т. н. удаленная коррекция, описанная ниже и показанная на фиг. 7. Аппроксимация ФРТ (73) извлекается и разделяется на две части: часть ближнего поля (74), рассчитанная в пределах определенного числа соседних с обрабатываемым пикселей (например в радиусе шести пикселей) и часть дальнего поля (76), ФРТ (и аберрации) которой извлекаются для пикселей, лежащих снаружи радиуса ближнего поля.

[00103] Указанный процесс извлечения аппроксимации ФРТ (73) из входных данных может выполняться одним из известных методов, см., например, Felix и др. Несмотря на то, что такой метод позволяет определять ФРТ с высокой точностью, он занимает много времени. Для уменьшения вычислительной нагрузки предпочтительно использовать более простой метод.

[00104] На фиг. 7 показано применение в предпочтительном варианте настоящего изобретения следующего подхода для (73): i) Двумерный фурье-образ тайла входящего изображения делится на двумерный фурье-образ соответствующего тайла выровненного изображения. ii) Результат преобразуется обратно в двумерный инвертированный фурье-образ.

[00105] Этот метод широко известен специалистам. Следует отметить, что, во избежание переусиления шумовых компонентов при низкой амплитуде частотных компонентов выровненного изображения, к значениям таких компонентов следует добавлять защитный(ые) сдвиг(и).

[00106] Опционально, коррекция дальнего поля изображения с помощью ядра дальнего поля может выполняться во время применения ЦЛ. Расчет ядра дальнего поля (75) и свертка (77) позволяют получить изображение со скорректированными аберрациями и помутнениями в дальнем поле. Параметры выбранной коррекции дальнего поля, а именно коэффициенты ядра (75), полученные по результатам коррекции дальнего поля (76), регистрируются для применения в дальнейшем вместе с профилем оптической системы, как описано ниже.

[00107] В обработке изображений под ядром понимается матрица свертки (значительно меньше самого изображения), используемая для изменения изображения (например повышения или снижения резкости, обнаружения краев и т. п.). Для этого выполняют свертку матрицы между указанным ядром и выбранным изображением.

[00108] Часть ФРТ соответствующая ближнему полю (74) не используется ввиду невозможности простого обращения, т. к. это приведет к значительному повышению шума в выходном изображении.

[00109] Существуют две причины, по которой выполняется разделение на ближнее (74) и дальнее (76) поля. Во-первых, коррекция дальнего поля не усиливает шум, позволяет избавиться от нежелательных артефактов и, следовательно, может выполняться сравнительно более простыми методами, требующими меньших вычислительных мощностей. Во-вторых, такая коррекция ближнего поля требует обработки лишь ограниченного объема входящих данных, что также снижает вычислительную нагрузку. Такое разделение выполняется арифметически. В простейшем случае все значения ФРТ в некотором радиусе принимаются ближним полем, все значения вне данного радиуса — дальним. На практике, однако, между двумя этими полями существует нечеткая переходная область.

[00110] Для получения части дальнего поля (76) частотные коэффициенты умножаются на окно, обладающее нулевой амплитудой для высоких частот, но достигающей определенного значения при низких. Понятным примером подобного окна будет двумерное гауссово распределение. Для получения части дальнего поля (76) в пространственной области выполняется обратное двумерное преобразование. Ввиду того, что коррекция дальнего поля не включает ВЧ пространственные компоненты, ее выполнение не вызывает усиление ВЧ шумовых компонентов. Таким образом, получение ядра дальнего поля (75) — простой процесс, выполняемый известными методами.

[00111] Используемый в предпочтительном варианте метод использует свертку входящего изображения при помощи полученной ФРТ дальнего поля с последующим вычитанием полученного результата из входящего изображения. Такой (сравнительно простой) подход эффективно корректирует помутнения и аберрации первого порядка, вызванные оптической системой.

[00112] Следует отметить, что при этом возможно появление т. н. вторичных аберраций вследствие наличия аберраций уже во входящем изображении, используемом при обработке. Однако вследствие того, что в типичных оптических системах эффекты дальнего поля отличаются низкой амплитудой, подобными вторичными эффектами указанной коррекции можно пренебречь.

[00113] После получения ядра дальнего поля (75) коэффициенты передаются на профиль оптической системы. Затем ядро подвергается свертке (77) с использованием данных о пикселях тайла, результатом чего являются дополнительные выходные данные для коррекции дальнего поля ([64]—[66] на фиг. 6 выше). Выходные данные — тайл, содержащий лишь оставшиеся аберрации ближнего поля (78).

[00114] На фиг. 8 показано, что используемый в НД обычный одиночный (пластиковый) элемент (82) (обычная линза или линза Френеля) приводит к высокой дисперсии оптической системы и, соответственно, сильным хроматическим аберрациям. Поперечные хроматические аберрации проявляются как разные цветовые каналы, попадающие в разные места сетчатки. На фиг. 8 показана зависимость таких поперечных хроматических аберраций от положения глаза пользователя, в частности при нахождении глаза (81) непосредственно на оптической оси (фиг. 8а) и вне оси в пределах окуляра (фиг. 8б). Как показано на увеличенных видах (83), размер оптических аберраций (показаны как распространение оптических лучей до сетчатки) для этих двух случаев различается.

[00115] Для уменьшения аберраций для разных положений глаза используются данные окулографии, позволяющие предварительно корректировать показываемую информацию. Действие II в предпочтительном варианте изобретения предполагает получение в реальном времени данных окулографии и применение описанной выше ЦЛ к входящему изображению, как подробно описано здесь и показано на фиг. 9.

[00116] Данные окулографии — положение зрачка пользователя, регистрируемое системой окулографии. В предпочтительном варианте изобретения предусмотрена технология интеграции функции окулографии (с камерой или без нее) и отображения при помощи установленной прозрачной (видео- или оптически) оптики, расположенной рядом с глазом, устройства отображения гибридной реальности (см., например, патент США 8 998 414 [Bohn]). Как показано на фиг. 9, данные о положении зрачка/взгляде (993) используются (см. также [47] на рис. 4) в НС (990), и, опционально, для коррекции дальнего поля (95).

[00117] Ниже подробно описано применение ЦЛ. Как показано на фиг. 9, входными данными для обработки изображения являются собственно входящее изображение (92) и профиль оптической системы (96). Данные о пикселях оригинального изображения могут быть разбиты на тайлы (94). Опционально проводится коррекция дальнего поля (95) с использованием коэффициентов ядер, полученных с профиля оптической системы (96).

[00118] Затем данные о пикселях проходят разделение НЧ от ВЧ (97) и, разделенные, подаются на вход НС (990). Данные о пикселях, содержащие информацию о пространственных НЧ, направляются в НС (990) напрямую, тогда как данные о пикселях, содержащие информацию о пространственных ВЧ, направляются в НС после обработки (991). В НС (990) также направляются координаты пиксельных данных (в плоскости изображения или в тайле), получаемые непосредственно с процесса (94) (или [92], если разделение на тайлы не выполняется). Весовые коэффициенты и смещения НС (990) получаются для данного тайла из профиля оптической системы (96).

[00119] Как было описано, данные о положении зрачка или взгляда (993) используются в НС (990) в реальном времени, и, опционально, для коррекции дальнего поля (95).

[00120] Данные на выходе НС (990) проходят исправление (993) и суммируются (88) с выходным значением НЧ после фильтра разделения НЧ и ВЧ (97). Суммированный результат рекомбинируется (93) из отдельных тайлов (если разделение выполнялось), в результате образуя скорректированное выходное изображение (91).

[00121] Обработка любого входящего изображения (при условии, что по результатам действия I подготовлен оптический профиль системы [96]) выполняется подобно действию I (формирования оптического профиля системы), лишь с некоторыми изменениями в потоке данных.

[00122] На вход данного процесса (92) поступает входящее изображение, разбитое на тайлы (94) подобным образом, как и в Действии I, см. фиг. 6 и 7.

[00123] Затем опционально выполняется коррекция дальнего поля (95) подобным образом, как и в Действии I (также см. [76] на фиг. 7), с той лишь разницей, что ядро для коррекции дальнего поля уже известно и берется из профиля оптической системы (Действие I).

[00124] Затем данные изображения разделяются на ВЧ и НЧ части (97), подобно разделению на ВЧ и НЧ части в Действии I (см. [66] на фиг. 6). Затем ВЧ часть подвергается подготовке данных пикселей (991), также подобной предусмотренной для Действия I.

[00125] Результаты описанных действий (92), (94) и (95), а также оптический профиль системы (96) (полученный по результатам Действия I) составляют входящие данные для НС (990), подобные получаемым в ходе Действия I на этапе создания профиля системы — пиксельные координаты в обрабатываемой НЧ части и ВЧ части пикселей в определенном радиусе.

[00126] Последующая обработка выходных данных НС (990) в конечном итоге образует «совершенное» изображение (91) (посредством слияния тайлов [93]), отображаемое через оптическую систему НД без видимых наблюдателю скомпенсированных аберраций. В частности, выходное значение НС (990) проходит «исправление» (992), в предпочтительном варианте изобретения представляющее собой арифметическую инверсию предварительной подготовки данных (990). Этот результат суммируется действием (98), предполагающим обработку НЧ части (97) пикселей.

[00127] Наконец, все обработанные клетки (93) входящего изображения рекомбинируются для получения одного выходного изображения (91). В предпочтительном варианте настоящего изобретения в ходе действия (93) тайлы соединяются с перекрытием. В областях перекрытия результат обработки (93) мягко заглушается от тайла к тайлу, устраняя тем самым видимые швы в полученном изображении (91). Такие швы вызваны видимым отклонением от тайла к тайлу от скорректированного выходного значения.

[00128] Несмотря на то, что выше были представлены и описаны несколько вариантов изобретения, специалистам очевидно, что, не отклоняясь от существа и масштаба изобретения, возможно создать множество его модификаций и вариантов. Изобретение, таким образом, предполагается оценивать только по прилагаемой формуле.

Изобретение относится к наголовным системам гибридной реальности. Наголовный дисплей включает оптическую систему и систему окулографии. При этом в дисплее обеспечивается получение смешанных данных, состоящих из данных, сгенерированных на компьютере, или реальных изображений, или их сочетания; входящего изображения, получаемого оптической системой, формируемого указанными смешанными данными, где оптические аберрации включены в указанное входящее изображение указанной оптической системой; «цифровой линзы» для коррекции оптических аберраций, состоящей из первого и второго действий для оптимальной коррекции оптических аберраций указанной оптической системы. Первое действие осуществляется перед вторым действием и предполагает сбор данных с окуляра и создание профиля оптической системы, включающего данные с окуляра. Второе действие предполагает формирование системой окулографии данных окулографии, формирование скорректированного изображения с устраненными указанными оптическими аберрациями посредством применения профиля оптической системы и данных окулографии, формирование показываемого пользователю скорректированного изображения. Изобретение обеспечивает корректировку аберраций без внесения в конструкцию дополнительных оптических элементов. 2 н. и 18 з.п. ф-лы, 9 ил.