СПОСОБ И УСТРОЙСТВО ДЛЯ УМЕНЬШЕНИЯ РАЗМЫТИЯ ИЗОБРАЖЕНИЯ ОККЛЮЗИВНОЙ МАСКИ ДЛЯ ВИРТУАЛЬНОГО ИЗОБРАЖЕНИЯ В ОЧКАХ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ Российский патент 2024 года по МПК G02B27/01 

Область техники

Настоящее изобретение относится к очкам дополненной реальности (AR), а именно к воспроизведению виртуального изображения без искажений.

Описание предшествующего уровня техники

Носимые очки дополненной реальности (AR) представляют собой персональное устройство, которое пользователь может использовать в качестве источника видеоинформации (изображения), проецируемой непосредственно в глаз пользователя в виде виртуального изображения, дополняющего окружающую пользователя реальную среду. Проблема известного уровня техники состоит в том, что при использовании очков дополненной реальности пользователь видит виртуальное изображение бледным, прозрачным и нечетким на фоне яркого изображения окружающей среды. Для улучшения четкости виртуального изображения на фоне яркого изображения окружающей среды в уровне техники используют маски (occlusion mask (окклюзивные маски) (Occlusion Leak Compensation for Optical See-Through Displays using a Single-layer Transmissive Spatial Light Modulator, Yuta Itoh, Takumi Hamasaki, Maki Sugimoto, November 2017), представляющие собой затемняющий фон, на который накладываются виртуальные изображения.

Поскольку окклюзивная маска размещается перед глазом пользователя, то есть дистанция от окклюзивной маски до глаза мала, то, в силу особенностей строения, глазу невозможно сфокусироваться на виртуальном изображении, наложенном на затемняющий фон (окклюзивную маску), поэтому окклюзивная маска будет видна из-под виртуального изображения размытой по краям. Такое размытие можно исключить, отдалив окклюзивную маску от глаза, но при этом устройство, формирующее окклюзивную маску будет иметь большие размеры, то есть его применение в очках дополненной реальности станет невозможным.

Из уровня техники известен документ (Nara Institute of Science and Technology and Shanghai Jiao Tong University, Apr. 14, 2023 Smart Dimming Sunglasses for Photophobia Using Spatial Light Modulator; JP 2022151109 A, 07.10.2022), раскрывающий cолнцезащитные очки со смарт затемнением для борьбы со светобоязнью с использованием пространственного модулятора света. В известном устройстве используется окклюзивная маска, которая обладает низким коэффициентом пропускания и блокирует входящие световые лучи окружающей среды. Такая окклюзивная маска кажется глазу размытой, поскольку фокальная плоскость находится не на SLM (Spatial Light Modulator - пространственный модулятор света), и недостаточно блокирует световую стимуляцию. В известном решении построена оптимизационная модель путем моделирования расфокусированной окклюзивной маски и определения эффективного вклада деградированных (размытых) ячеек на основе эффективности окклюзии и коэффициента пропускания ячеек. Недостатками известного решения являются высокая остаточная размытость окклюзивной маски.

Из уровня техники известен документ US 10311615 B2 (дата публикации 04.06.2019), раскрывающий устройство и способ уменьшения размытия вблизи глаза. Устройство включает в себя дисплей на близком расстоянии от глаза, выполненный с возможностью поочередного отображения первого изображения, включающего в себя объект, и второго изображения, включающего в себя маску для уменьшения размытия, попадающего на дисплей в положение, где должен располагаться объект, процессор, сконфигурированный для определения периода времени и управления дисплеем для поочередного отображения первого изображения и второго изображения в течение периода времени, переключатель поляризации, выполненный с возможностью поочередной поляризации света, падающего на дисплей, в период переключения, определенный на основе периода времени. Уменьшение размытия достигается путем модификации второго изображения для компенсации размытия. Недостатком известного решения является недостаточная контрастность и сильное размытие виртуального объекта, а также мигание изображения, некомфортное для пользователя.

Таким образом, необходимо осуществить воспроизведение окклюзивной маски для использования в очках дополненной реальности, которое сделает виртуальное изображение хорошо различимым на фоне яркой окружающей среды, контрастным, благодаря отсутствию размытия окклюзивной маски, на которую наложено виртуальное изображение.

Сущность изобретения

Предлагается устройство для уменьшения размытия изображения окклюзивной маски, используемой для виртуального изображения, отображаемого на фоне изображения окружающей среды при использовании очков дополненной реальности (AR-очки), содержащее следующие элементы, расположенные вдоль оптической оси:

оптическую систему, формирующую видимое изображение в области изображений;

входной зрачок оптической системы,

AR-очки, экран которых параллелен плоскости входного зрачка, причем на экране AR-очков располагается виртуальное изображение, имеющее заданное положение на экране, заданную форму, заданный размер;

электроактивную панель, параллельную экрану AR-очков, причем электроактивная панель расположена на известном расстоянии от плоскости входного зрачка оптической системы и на известном расстоянии от плоскости экрана AR-очков, где располагается виртуальное изображение;

окружающую среду;

причем электроактивная панель представляет собой экран, состоящий из ячеек,

причем каждая ячейка электроактивной панели может быть либо открыта, в этом случае ячейка пропускает свет от окружающей среды, либо закрыта, в этом случае ячейка не пропускает свет от окружающей среды, либо может частично пропускать свет от окружающей среды,

причем пропускание света каждой ячейки регулируется сигналами, подаваемыми на каждую из ячеек;

причем электроактивная панель выполнена с возможностью формирования результирующей окклюзивной маски, формирующей область окклюзии в области виртуального изображения, посредством изменения пропускания света упомянутыми ячейками,

причем внешние контуры области окклюзии совпадают с внешними контурами виртуального изображения,

причем результирующая окклюзивная маска имеет такое пропускание ячеек электроактивной панели в области окклюзии, что функция ошибки между идеальной окклюзивной маской, которая не имеет размытия в области изображения и упомянутой результирующей окклюзивной маской меньше заранее заданного порога.

Причем оптической системой может являться глаз пользователя. Причем оптическая система может представлять собой камеру.

Предлагается способ работы упомянутого устройства для уменьшения размытия изображения окклюзивной маски, используемой для виртуального изображения, отображаемого на фоне изображения окружающей среды при использовании очков дополненной реальности, содержащий этапы, на которых:

а) определяют положение, размер, форму и количество света, заблокированного окклюзивной маской, причем

положение, размер и форма окклюзивной маски зависят от положения, размера и формы виртуального изображения, заданного заранее,

количество света, заблокированного окклюзивной маской, зависит от яркости окружающей среды;

b) получают изображение окклюзивной маски в области изображений посредством оптической системы,

с) определяют PSF (функцию рассеяния точки) оптической системы для заданного расстояния от входного зрачка оптической системы до электроактивной панели,

d) определяют с помощью PSF ширину размытия изображения окклюзивной маски,

e) добавляют полученную ширину размытия к изображению окклюзивной маски, получая при этом изображение расширенной окклюзивной маски;

f) осуществляют обратную свертку зависимости нормированного распределения интенсивности света от положения точки в изображении расширенной окклюзивной маски с PSF, получая зависимость коэффициента пропускания от положения точки в расширенной окклюзивной маске на электроактивной панели, характеризующую область расширенной окклюзивной маски на электроактивной панели;

g) осуществляют зонирование области расширенной окклюзивной маски на электроактивной панели, путем выполнения по меньшей мере двух зон, имеющих разное пропускание ячеек на электроактивной панели, получая зонированную расширенную окклюзивную маску, причем участок электроактивной панели, соответствующий упомянутому участку размытия, имеет ячейки, пропускающие свет окружающей среды;

h) определяют участок размытия изображения зонированной расширенной окклюзивной маски, получаемого оптической системой в области изображений, посредством операции свертки зависимости коэффициента пропускания от положения точки в зонированной расширенной окклюзивной маске с функцией рассеяния точки (PSF) оптической системы;

i) определяют функцию ошибки между идеальной окклюзивной маской, которая не имеет размытия в области изображения и зонированной расширенной окклюзивной маской,

j) поэлементно изменяют пропускание ячеек электроактивной панели до тех пор, пока упомянутая ошибка не станет меньше заранее заданного порога, получив таким образом результирующую окклюзивную маску;

k) формируют результирующую окклюзивную маску на электроактивной панели для упомянутого виртуального изображения.

Причем на этапе (g) при зонировании области расширенной окклюзивной маски разделяют участок на электроактивной панели, соответствующий виртуальному изображению на по меньшей мере две зоны таким образом, что суммарное пропускание света ячейками упомянутых зон равно количеству света, заблокированному окклюзивной маской. Причем устраняют неоднородность центральной области результирующей окклюзивной маски, для этого выполняют дополнительные этапы:

l) осуществляют свертку зависимости коэффициента пропускания от положения точки в результирующей окклюзивной маске с PSF, получая зависимость нормированного распределения интенсивности света от положения точки в изображении результирующей окклюзивной маски, характеризующую изображение результирующей окклюзивной маски;

m) по изображению результирующей окклюзивной маски определяют положение участка неоднородности центральной области изображения, и соответствующее положение упомянутого участка неоднородности на электроактивной панели;

n) на электроактивной панели осуществляют зонирование упомянутого участка неоднородности путем выполнения по меньшей мере двух зон, имеющих разное пропускание ячеек на электроактивной панели;

o) определяют функцию ошибки между идеальной окклюзивной маской, которая не имеет неоднородности изображения в центральной области изображения и зонированной результирующей окклюзивной маской,

повторяют этапы (l) - (o), с зонированной результирующей окклюзивной маской в качестве результирующей окклюзивной маски до тех пор, пока упомянутая ошибка не станет меньше заранее заданного порога, получив таким образом результирующую окклюзивную маску без неоднородность центральной области;

p) формируют результирующую окклюзивную маску без неоднородности центральной области на электроактивной панели для упомянутого виртуального изображения.

Краткое описание чертежей

Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в последующем описании, иллюстрируемом чертежами, на которых представлено следующее:

фиг. 1 иллюстрирует сравнение результатов использования решений известных из уровня техники и предлагаемого изобретения;

фиг. 2 схематически иллюстрирует изображение расширенной окклюзивной маски, и характеризующую это изображение зависимость нормированного распределения интенсивности света от положения точки в области изображений;

фиг. 3 иллюстрирует область расширенной окклюзивной маски на электроактивной панели;

фиг. 4 иллюстрирует уменьшение неравномерности изображения в центральной части окклюзионной маски.

Подробное описание изобретения

Предлагается способ и устройство для уменьшения размытия изображения окклюзивной маски, используемой для виртуального изображения, отображаемого на фоне изображения окружающей среды при использовании очков дополненной реальности. Благодаря использованию предлагаемого изобретения в очках дополненной реальности пользователь видит виртуальное изображение контрастным и ярким, хорошо различимым на фоне яркой окружающей среды.

В настоящей заявке используются следующие термины.

Электроактивная панель - экран, состоящий из ячеек, каждая ячейка электроактивной панели может быть либо открыта, в этом случае ячейка пропускает свет от окружающей среды, либо закрыта, в этом случае ячейка не пропускает свет от окружающей среды, также каждая ячейка может частично пропускать свет от окружающей среды. Пропускание света каждой ячейки регулируется сигналами (например, контроллера), подаваемыми на каждую из ячеек.

Окклюзивная маска - совокупность ячеек на электроактивной панели для формирования области окклюзии, то есть области, внешние контуры которой совпадают с внешними контурами виртуального изображения, причем ячейки электроактивной панели в области окклюзии могут блокировать, пропускать или частично пропускать свет от окружающей среды. Виртуальное изображение должно быть наложено на окклюзивную маску.

Согласно предлагаемому изобретению вдоль оптической оси расположены:

оптическая система, формирующая видимое изображение в области изображений, причем оптическая система представляет собой приемник изображения, например, глаз или камеру;

входной зрачок оптической системы,

AR-очки, экран которых параллелен плоскости входного зрачка, причем на экране AR-очков располагается виртуальное изображение, имеющее заданное положение на экране, заданную форму, заданный размер;

электроактивная панель, параллельная экрану AR-очков, причем электроактивная панель расположена на известном расстоянии от плоскости входного зрачка оптической системы и на известном расстоянии от плоскости экрана AR-очков, где располагается виртуальное изображение;

окружающая среда.

Электроактивная панель может крепиться к экрану AR-очков с помощью оптически прозрачного клея, кроме того, AR-очки и электроактивная панель могут иметь общую оправу. На электроактивной панели формируется окклюзивная маска, по форме совпадающая с виртуальным изображением.

На фиг. 1 показано сравнение результатов использования решений, известных из уровня техники, и предлагаемого изобретения. На фиг. 1 показано:

область I объектов, в которой виртуальное изображение 1 накладывается на реальное изображение 2 окружающей среды;

область II, в которой расположены электроактивная панель 3, на которой формируется окклюзивная маска, входной зрачок 4 оптической системы 5;

область III изображения, в которой отображается изображение, например, сетчатка глаза.

Необходимо отметить, что в качестве оптической системы 5 может выступать глаз пользователя или любая другая подходящая оптическая система, например, в устройствах для людей со светобоязнью в качестве оптической системы 5 может использоваться камера.

Если для формирования виртуального изображения не использовать окклюзивную маску, то на ярком фоне реального изображения окружающей среды пользователь увидит виртуальное изображение полупрозрачным (позиция (a) на фиг. 1).

Оптическое качество любой оптической системы ограничено оптическими аберрациями, дифракцией и рассеянием, поэтому отображение изображения окклюзивной маски в области изображений с учетом аберраций, дифракции и рассеяния оптической системы получается размытым. То есть, виртуальное изображение формируется в ореоле размытия, то есть область виртуального изображения окружена участком размытия, как показано на фиг. 1 позицией (b). Полностью устранить этот эффект невозможно, но, благодаря предлагаемому изобретению, его можно существенно уменьшить.

Согласно предлагаемому изобретению формируется такая окклюзивная маска, благодаря которой формируется контрастное и яркое изображение виртуального объекта (фиг. 1 позиция (с)).

Для удобства, положение виртуального изображения, а значит и положение окклюзивной маски, будем рассматривать в области углового поля, с центром в центре входного зрачка оптической системы. То есть изначально известно положение точки на электроактивной панели и соответствующее положение этой же точки в области изображений.

Из уровня техники известно, что для каждой оптической системы можно определить функцию рассеяния точки (PSF), то есть зависимость распределения освещенности от координат точки в плоскости изображения. PSF учитывает упомянутые выше аберрации, дифракцию и рассеяние используемой оптической системы. Функция рассеяния точки оптической системы может быть получена, например, с помощью программ для моделирования оптических систем, например, Zemax, аппроксимационных моделей (например, SMART DIMMING SUNGLASSES FOR PHOTOPHOBIA USING SPATIAL LIGHT MODULATOR, April 17, 2023, Xiaodan Hu, et al. Shanghai Jiao Tong University; Nara Institute of Science and Technology Smart Dimming Sunglasses for Photophobia Using Spatial Light Modulator | DeepAI или статья Конюхов, А.Л. Определение функции рассеяния точки по характерным фрагментам изображений/ А.Л.Конюхов, А.Г.Костевич, М.И. Курячий// ЭЛЕКТРОНИКА, ИЗМЕРИТЕЛЬНАЯ ТЕХНИКА, РАДИОТЕХНИКА И СВЯЗЬ, Доклады ТУСУРа, № 2 (26), часть 1, декабрь 2012). Необходимо заметить, что PSF оптической системы зависит от расстояния оптической системы до объекта, воспринимаемого оптической системой.

Всю область электроактивной панели, а значит и окклюзивную маску на электроактивной панели, можно охарактеризовать зависимостью коэффициента пропускания освещения окружающей среды в каждой точке от положения (координат) точки на электроактивной панели (далее - зависимость коэффициента пропускания от положения точки на электроактивной панели). Воспринимаемое оптической системой изображение электроактивной панели с окклюзивной маской в области изображений можно охарактеризовать зависимостью нормированного распределения интенсивности света в каждой точке от положения точки в области изображений (далее - зависимость нормированного распределения интенсивности света от положения точки в области изображений). Положения точек в области изображений легко пересчитываются в положения точек на реальной электроактивной панели и наоборот.

Окклюзивная маска соответствует форме и положению виртуального изображения, ее коэффициент пропускания рассчитывается автоматически и подбирается заново каждый раз, когда меняется яркость освещения окружающей среды. То есть количество света, которое должно быть заблокировано, известно заранее и зависит от яркости освещения окружающей среды. Если окклюзивная маска содержит только полностью заблокированные ячейки на электроактивной панели, то размытие изображения такой окклюзивной маски невозможно устранить, поскольку нет вариаций для какого-либо изменения коэффициента пропускания ячеек, чтобы выполнялось условие о постоянстве количества заблокированного света, поскольку заблокирован весь свет. Поэтому окклюзивную маску выполняют посредством частичного затемнения ячеек электроактивной панели.

Для получения расширенной окклюзивной маски необходимо определить какие ячейки должны быть заблокированы на электроактивной панели в соответствии с заданными формой и размером виртуального изображения. Изображение расширенной окклюзивной маски включает в себя область, соответствующую размерам виртуального изображения, и участок размытия, рассчитанный с помощью PSF.

Изначально известны и заданы следующие параметры:

коэффициент увеличения оптической системы,

расстояние от входного зрачка 4 оптической системы 5 до электроактивной панели 3,

фокусное расстояние оптической системы 5,

диаметр входного зрачка 4 (для глаза - диаметр зрачка глаза),

форма виртуального изображения,

размер виртуального изображения,

положение виртуального изображения в поле зрения оптической системы,

количество света (яркость), которое должно быть заблокировано окклюзивной маской, которое зависит от яркости окружающей среды,

функция рассеяния точки оптической системы (PSF), зависящая от заданного расстояния от входного зрачка оптической системы до электроактивной панели.

Получение изображения расширенной окклюзивной маски осуществляется следующим образом.

По заданным параметрам определяют положение, размер, форму и количество света, заблокированного окклюзивной маской. Причем размер, форма и положение окклюзивной маски совпадают с размером, формой и положением виртуального изображения, в плоскости формирования виртуального изображения.

Зная коэффициент увеличения оптической системы, получают изображение окклюзивной маски в области изображений. Полученное изображение окклюзивной маски в области изображений характеризуется зависимостью нормированного распределения интенсивности света от положения точки в области изображений.

Определяют PSF (функцию рассеяния точки) оптической системы для заданного расстояния от входного зрачка оптической системы до электроактивной панели. С помощью полученной PSF рассчитывают ширину размытия изображения окклюзивной маски. Операции определения ширины размытия изображения известны специалистам в данной области техники и осуществляются посредством вычислительных систем, например, компьютера. Причем ширина размытия характеризуется зависимостью нормированного распределения интенсивности света от положения точки в области изображений.

Получают изображение расширенной окклюзивной маски, добавляя ширину размытия, охарактеризованную зависимостью нормированного распределения интенсивности света от положения точки в области изображений к изображению окклюзивной маски, охарактеризованному зависимостью нормированного распределения интенсивности света от положения точки в области изображений. Необходимо заметить, что для одной и той же PSF ширина размытия не зависит от количества света, которое нужно заблокировать.

Фиг. 2 схематически иллюстрирует изображение расширенной окклюзивной маски, и характеризующую это изображение зависимость нормированного распределения интенсивности света от положения точки в области изображений.

Неразмытая область (d) соответствует виртуальному изображению, а все размытие (e) находится за границами виртуального изображения. Ниже на фиг. 2 показан график зависимости нормированного распределения интенсивности света от положения точки в области изображений, характеризующий изображение расширенной окклюзивной маски (показан пунктирной линией) и график нормированного распределения интенсивности света от положения точки в области изображений, соответствующий окклюзивной маске, размер, форма и положение которой совпадают с размером, формой и положением виртуального изображения в плоскости формирования виртуального изображения (показан сплошной линией). Область f в области изображений (фиг. 2), соответствует размеру и положению изображения расширенной окклюзивной маски. Размытие изображения характеризуется наклоном пунктирной кривой на участке е. Для устранения размытия, которое получается в области изображений, необходимо таким образом обеспечить пропускание ячеек в области расширенной окклюзивной маски, чтобы уменьшить размытие, то есть уменьшить участок (е), в области изображений.

Осуществляют обратную свертку зависимости нормированного распределения интенсивности света от положения точки в изображении расширенной окклюзивной маски с PSF. Результатом обратной свертки будет зависимость коэффициента пропускания от положения точки в расширенной окклюзивной маске на электроактивной панели, характеризующая область расширенной окклюзивной маски на электроактивной панели.

Для уменьшения эффекта размытия изображения окклюзивной маски в области изображений предлагается разделить область расширенной окклюзивной маски на электроактивной панели на зоны с разной степенью пропускания ячеек. То есть осуществить зонирование расширенной окклюзивной маски на электроактивной панели. В результате зонирования уменьшается размытие расширенной окклюзивной маски в области изображений.

На фиг. 3 (изображение кольца показано только в качестве примера, форма окклюзивной маски может быть любой, соответствующей форме виртуального изображения) показано расположение области зонированной расширенной окклюзивной маски на ячейках электроактивной панели 3. Внешние контуры виртуального изображения совпадают с неразмытой частью изображения зонированной расширенной окклюзивной маски.

1-я зона зонированной расширенной окклюзивной маски: зона g, в которой ячейки заблокированы и не пропускают свет. Количество заблокированного света равно заранее заданному количеству света, которое необходимо заблокировать в зависимости от яркости окружающей среды.

2-я зона зонированной расширенной окклюзивной маски: зона h, расположенная внутри 1-й зоны (g), в зоне h ячейки пропускают свет.

Зонированная расширенная окклюзивная маска характеризуется зависимостью коэффициента пропускания от положения точки в зонированной расширенной окклюзивной маске на электроактивной панели. Далее осуществляют свертку упомянутой зависимости с PSF используемой оптической системы.

Результатом свертки будет зависимость нормированного распределения интенсивности света от положения точки зонированной расширенной окклюзивной маски в области изображений, которая характеризует изображение зонированной расширенной окклюзивной маски. Другими словами, зависимость нормированного распределения интенсивности света от положения точки зонированной расширенной окклюзивной маски в области изображений выражается следующим образом:

где I(x, y)- зависимость коэффициента пропускания от положения точки в зонированной расширенной окклюзивной маске на электроактивной панели,

и координаты точек на электроактивной панели и координаты в области изображений соответственно,

- PSF

⊗ - «Сonvolution» - операция свертки.

В результате операции свертки получится изображение зонированной расширенной окклюзивной маски, которое увидит глаз, характеризуемое .

Для наглядности - если в качестве оптической системы выступает глаз, то в результате операции свертки получится изображение зонированной расширенной окклюзивной маски, которое увидит глаз с участком размытия, причем участок размытия (e) уменьшится, и это будет оставшееся (неудаленное) размытие.

Далее определяют функцию E(I) ошибки между идеальной окклюзивной маской (то есть зависимость нормированного распределения интенсивности света в каждой точке идеальной окклюзивной маски от положения точки в области изображений I’_ideal), которая не имеет размытия в области изображения, и результирующей расширенной зонированной окклюзивной маской в области изображения (то есть зависимость нормированного распределения интенсивности света в каждой точке результирующей расширенной зонированной окклюзивной маски от положения точки в области изображений I’).

Функция ошибки в данном случае будет равна:

где t ∈(0, T), T - количество ячеек на электроактивной панели.

Функция E(I) показывает, насколько отличается рассчитанный результат от идеального (требуемого). Соответственно, чем меньше E(I), тем ближе результат к идеальному.

Если рассчитанная ошибка будет превышать заранее заданный порог, то полученную зонированную расширенную окклюзивную маску опять зонируют, но иным образом. При этом, края 1й зоны, где ячейки полностью не пропускают свет (заблокированы), влияют на остаточное размытие зонированной расширенной окклюзивной маски. Поэтому поэлементно изменяют пропускание ячеек электроактивной панели по внешнему краю 1й зоны, выполняя этапы, описанные выше для каждой новой зонированной расширенной окклюзивной маски, получающейся после изменения пропускания ячеек.

Повторяют описанные выше этапы с каждой новой зонированной расширенной окклюзивной маской до тех пор, пока упомянутая ошибка не станет меньше заранее заданного порога. Зонированная расширенная окклюзивная маска с наименьшей ошибкой и будет результирующей окклюзивной маской. Выводят результирующую окклюзивную маску на электроактивную панель для упомянутого виртуального изображения.

Если виртуальное изображение наложить на результирующую зонированную расширенную окклюзивную маску (далее - результирующая окклюзивная маска), то в некоторых случаях будет видна неравномерность распределения интенсивности света, которую можно устранить. Для этого необходимо модифицировать центральную зону результирующей окклюзивной маски. Фиг. 4 иллюстрирует уменьшение неравномерности изображения в центральной части окклюзивной маски. Уменьшение неравномерности изображения в центральном части окклюзивной маски можно осуществляют после получения результирующей окклюзивной маски.

Для этого (см. фиг. 4) осуществляют свертку зависимости коэффициента пропускания от положения точки в результирующей окклюзивной маске с PSF (фиг. 4(а). Получают зависимость нормированного распределения интенсивности света от положения точки в изображении результирующей окклюзивной маски, характеризующую изображение результирующей окклюзивной маски (фиг. 4 (b)). По полученному изображению определяют участок L, где будет видна неравномерность изображения. На фиг. 4(b) показан результат свертки в виде изображения, получаемого оптической системой в области изображений, и в виде графика зависимости нормированного распределения интенсивности света от положения точки в плоскости изображений. Пик в области L определяет распределение интенсивности света неравномерности и ее положение. На основании этих данных осуществляют зонирование участка неоднородности изображения в центральной области L расширенной окклюзивной маски. Далее опять осуществляют свертку и проверяют, насколько уменьшилась неравномерность по функции ошибки между идеальной окклюзивной маской, которая не имеет неоднородности изображения в центральной области изображения, и полученной окклюзивной маски после очередного зонирования области с неоднородностью. Таким образом, перебором вариантов блокировки ячеек на электроактивной панели добиваются того, чтобы ошибка стала меньше заданного порога (фиг. 4(d)).

Для этого, центральную зону результирующей окклюзивной маски делают непрозрачной или полупрозрачной, затем осуществляют этапы, аналогичные этапам, приводящим к уменьшению размытия изображения окклюзивной маски, но осуществляют изменение пропускания именно центральной зоны окклюзивной маски.

Количество зон в окклюзивной маске, порядок зон, а также количество пропускаемого результирующей окклюзивной маской света могут быть любыми и зависят от размера и формы виртуального изображения, а также от количества света, которое должно быть заблокировано и которое известно заранее. При этом при любом зонировании окклюзивной маски для одного и того же виртуального изображения и одной и той же яркости освещения количество заблокированного света известно заранее и не изменяется.

Использование предлагаемого изобретения в очках дополненной реальности позволяет использовать очки дополненной реальности с любыми ярко освещенными изображениями окружающей среды, как реальными, так и виртуальными (AR/VR очки). С помощью предлагаемого изобретения можно устранить размытие окклюзивной маски любой формы и размера. Предлагаемое устройство для уменьшения размытия окклюзивной маски возможно использовать с любыми очками и шлемами дополненной реальности, в любом месте, в том числе на улице в солнечную погоду, за счет устранения размытия виртуальное изображение не будет искажаться различными видами ярких предметов.

Хотя изобретение описано в связи с некоторыми иллюстративными вариантами осуществления, следует понимать, что сущность изобретения не ограничивается этими конкретными вариантами осуществления. Напротив, предполагается, что сущность изобретения включает в себя все альтернативы, коррекции и эквиваленты, которые могут быть включены в сущность и объем формулы изобретения.

Кроме того, изобретение сохраняет все эквиваленты заявляемого изобретения, даже если пункты формулы изобретения изменяются в процессе рассмотрения.

Изобретение относится к очкам дополненной реальности (AR), а именно к воспроизведению виртуального изображения без искажений. Устройство содержит оптическую систему, AR-очки, электроактивную панель, параллельную экрану AR-очков, причем за электроактивной панелью расположена окружающая среда. Электроактивная панель представляет собой экран, состоящий из ячеек с регулируемым пропусканием излучения окружающей среды. Электроактивная панель выполнена с возможностью формирования окклюзивной маски, формирующей область окклюзии в области виртуального изображения, посредством изменения пропускания упомянутых ячеек. Изобретение позволяет уменьшить размытие изображения окклюзивной маски, на которую накладывается виртуальное изображение. 2 н. и 4 з.п. ф-лы, 4 ил.

1. Устройство для уменьшения размытия изображения окклюзивной маски, используемой для виртуального изображения, отображаемого на фоне изображения окружающей среды при использовании очков дополненной реальности (AR-очки), содержащее следующие элементы, расположенные вдоль оптической оси:

AR-очки, экран которых параллелен плоскости входного зрачка, причем на экране AR-очков располагается виртуальное изображение, имеющее заданное положение на экране, заданную форму, заданный размер;

электроактивную панель, параллельную экрану AR-очков, причем электроактивная панель расположена на известном расстоянии от плоскости входного зрачка оптической системы, формирующей видимое изображение в области изображений, на известном расстоянии от плоскости экрана AR-очков, где располагается виртуальное изображение, причем за электроактивной панелью находится окружающая среда;

причем электроактивная панель представляет собой экран, состоящий из ячеек,

причем каждая ячейка электроактивной панели может быть либо открыта, в этом случае ячейка пропускает свет от окружающей среды, либо закрыта, в этом случае ячейка не пропускает свет от окружающей среды, либо может частично пропускать свет от окружающей среды,

причем пропускание света каждой ячейки регулируется сигналами, подаваемыми на каждую из ячеек;

причем электроактивная панель выполнена с возможностью формирования результирующей окклюзивной маски, формирующей область окклюзии в области виртуального изображения, посредством изменения пропускания света упомянутыми ячейками,

причем внешние контуры области окклюзии совпадают с внешними контурами виртуального изображения,

причем результирующая окклюзивная маска имеет такое пропускание ячеек электроактивной панели в области окклюзии, что функция ошибки между идеальной окклюзивной маской, которая не имеет размытия в области изображения, и упомянутой результирующей окклюзивной маской меньше заранее заданного порога.

2. Способ работы устройства по п. 1 для уменьшения размытия изображения окклюзивной маски, используемой для виртуального изображения, отображаемого на фоне изображения окружающей среды при использовании очков дополненной реальности, содержащий этапы, на которых:

a) определяют положение, размер, форму и количество света, заблокированного окклюзивной маской, причем

положение, размер и форма окклюзивной маски зависят от положения, размера и формы виртуального изображения, заданного заранее,

количество света, заблокированного окклюзивной маской, зависит от яркости окружающей среды;

b) получают изображение окклюзивной маски в области изображений посредством оптической системы;

c) определяют PSF (функцию рассеяния точки) оптической системы для заданного расстояния от входного зрачка оптической системы до электроактивной панели;

d) определяют с помощью PSF ширину размытия изображения окклюзивной маски;

e) добавляют полученную ширину размытия к изображению окклюзивной маски, получая при этом изображение расширенной окклюзивной маски;

f) осуществляют обратную свертку зависимости нормированного распределения интенсивности света от положения точки в изображении расширенной окклюзивной маски с PSF, получая зависимость коэффициента пропускания от положения точки в расширенной окклюзивной маске на электроактивной панели, характеризующую область расширенной окклюзивной маски на электроактивной панели;

g) осуществляют зонирование области расширенной окклюзивной маски на электроактивной панели путем выполнения по меньшей мере двух зон, имеющих разное пропускание ячеек на электроактивной панели, получая зонированную расширенную окклюзивную маску;

h) определяют участок размытия изображения зонированной расширенной окклюзивной маски, получаемого оптической системой в области изображений, посредством операции свертки зависимости коэффициента пропускания от положения точки в зонированной расширенной окклюзивной маске с функцией рассеяния точки (PSF) оптической системы;

i) определяют функцию ошибки между идеальной окклюзивной маской, которая не имеет размытия в области изображения, и зонированной расширенной окклюзивной маской;

j) поэлементно изменяют пропускание ячеек электроактивной панели до тех пор, пока упомянутая ошибка не станет меньше заранее заданного порога, получив таким образом результирующую окклюзивную маску;

k) формируют результирующую окклюзивную маску на электроактивной панели для упомянутого виртуального изображения.

3. Способ по п. 2, в котором на этапе (b) при получении изображения окклюзивной маски в области изображений оптической системой является глаз пользователя.

4. Способ по п. 2, в котором на этапе (b) при получении изображения окклюзивной маски в области изображений оптической системой является камера.

5. Способ по п. 2, в котором на этапе (g) при зонировании области расширенной окклюзивной маски разделяют участок на электроактивной панели, соответствующий виртуальному изображению на по меньшей мере две зоны таким образом, что суммарное пропускание света ячейками упомянутых зон равно количеству света, заблокированному окклюзивной маской.

6. Способ по любому из пп. 2, 3, 4, 5, в котором дополнительно устраняют неоднородность центральной области результирующей окклюзивной маски, для этого выполняют дополнительные этапы:

l) осуществляют свертку зависимости коэффициента пропускания от положения точки в результирующей окклюзивной маске с PSF, получая зависимость нормированного распределения интенсивности света от положения точки в изображении результирующей окклюзивной маски, характеризующую изображение результирующей окклюзивной маски;

m) по изображению результирующей окклюзивной маски определяют положение участка неоднородности центральной области изображения и соответствующее положение упомянутого участка неоднородности на электроактивной панели;

n) на электроактивной панели осуществляют зонирование упомянутого участка неоднородности путем выполнения по меньшей мере двух зон, имеющих разное пропускание ячеек на электроактивной панели;

о) определяют функцию ошибки между идеальной окклюзивной маской, которая не имеет неоднородности изображения в центральной области изображения, и зонированной результирующей окклюзивной маской,

повторяют этапы (1) - (о) с зонированной результирующей окклюзивной маской в качестве результирующей окклюзивной маски до тех пор, пока упомянутая ошибка не станет меньше заранее заданного порога, получив таким образом результирующую окклюзивную маску без неоднородности центральной области;

р) формируют результирующую окклюзивную маску без неоднородности центральной области на электроактивной панели для упомянутого виртуального изображения.