СИСТЕМА ОТОБРАЖЕНИЯ РЕАЛЬНОЙ ИЛИ ВИРТУАЛЬНОЙ СЦЕНЫ И СПОСОБ ЕЕ ФУНКЦИОНИРОВАНИЯ Российский патент 2018 года по МПК G06F19/00 G02B27/01 

Область техники, к которой относится изобретение

Настоящее изобретение в целом относится к области техники формирования изображений, а в частности - к системе отображения реальной или виртуальной сцены, способной формировать трехмерные (3D) изображения сцены с высокой четкостью, при этом исключая так называемый конфликт вергенции и аккомадации (vergence-accommodation conflict), и к способу функционирования этой системы отображения.

Настоящее изобретение может быть применено в тех случаях, когда необходимо обеспечить погружение пользователя в виртуальную реальность для выполнения разных задач, таких как 3D-моделирование, навигация, проектирование, развлечения и т.д. Настоящее изобретение может быть также реализовано в разных, устанавливаемых на головах устройствах, таких как очки или шлемы виртуальной реальности, которые в настоящее время популярны в игровой и образовательной индустриях.

Уровень техники

Этот раздел не предназначен для предоставления ключевых идей настоящего изобретения, а также какого-либо его ограничения. Единственное предназначение этого раздела состоит в том, чтобы предоставить читателю краткое описание решений из уровня техники, принадлежащих той же области техники, что и настоящее изобретение, и недостатков таких решений из уровня техники, чтобы читатель смог сформировать четкое представление о том, почему настоящее изобретение имеет важное значение.

В последние годы технология виртуальной реальности получила значительное развитие и стала использоваться в различных сферах социальной жизни общества (включая традиционные и разрекламированные применения в индустрии игр и развлечений). Однако, для того чтобы сделать технологию виртуальной реальности повсеместной и обеспечить ее долгосрочное применение, необходимо создавать для пользователей визуально комфортное взаимодействие с виртуальным миром.

Современные дисплеи виртуальной реальности поддерживают некоторые ключевые аспекты человеческого зрения, такие как двигательный параллакс, бинокулярную диспаратность, окклюзию и вергенцию. В то же время аспекты фокусировки (аккомадации) человеческих глаз на виртуальных объектах не поддерживаются такими дисплеями. Это является причиной возникновения так называемого конфликта вергенции и аккомадации. Он возникает из-за того, что зрительная система человека во время просмотра 3D-изображений вынуждена поддерживать постоянным фокусное расстояние хрусталиков глаз с тем, чтобы фокусироваться на дисплее или показываемом на нем изображении, созданном линзой (в случае, если речь идет о шлеме виртуальной реальности), в то время как она должна менять фокусное расстояние хрусталиков в зависимости от «расстояния» до виртуального объекта, на который в данный момент переводит взгляд пользователь. Другими словами, конфликт вергенции и аккомадации происходит из-за того, что виртуальные объекты кажутся находящимися на различном «расстоянии», тогда как на самом деле лежат в плоскости экрана дисплея. Такое несоответствие визуального ряда и действительности приводит к зрительному дискомфорту, быстрой утомляемости и головным болям.

В настоящее время разрабатывается технология дисплеев светового поля, которая направлена на устранение этого негативного эффекта за счет передачи глазам света, идентичного тому, который они получают в аналогичных условиях в реальной жизни.

Один пример такого дисплея раскрыт в US 20140063077. В частности, в указанном документе описано дисплейное устройство, которое включает в себя один или более пространственно адресуемых светоослабляющих слоев и контроллер, который выполнен с возможностью осуществления вычислений, необходимых для управления устройством и обеспечения разреженных низко-затратных (с точки зрения памяти) представлений светового поля, использующего взвешенное неотрицательное тензорное разложение (NTF) для решения проблемы оптимизации. Однако, такое разложение NTF требует много вычислительных ресурсов. Более того, известное устройство не является мобильным, и его нельзя монтировать на голову.

Другим примером является техническое решение, предложенное F. Huang, K. Chen, G. Wetzstein в их статье, озаглавленной «The Light-Field Stereoscope: Immersive Computer Graphics via Factored Near-Eye Light Field Displays with Focus Cuesʺ, (ACM SIGGRAPH, Transactions on Graphics 33, 5, 2015). В этой статье описан первый переносимый дисплей виртуальной реальности, поддерживающий высокое разрешение изображения, а также возможность фокусировки глаза на виртуальных объектах, т.е. возможность устранения конфликта вергенции и аккомодации. Световое поле представляется каждому глазу, что обеспечивает более естественный просмотр, нежели традиционные окологлазные дисплеи. В предложенном дисплее применяется одноранговое разложение светового поля для обеспечения возможности естественной или почти естественной фокусировки глаз. При этом не требуются дорогостоящие средства слежения за взглядом или отображения изображений с временным мультиплексированием. Однако, авторы статьи используют неотрицательное матричное разложение (NMF), которое является довольно дорогим с точки зрения вычислительных ресурсов.

Таким образом, существует потребность в системе отображения, способной формировать изображения высокого разрешения и устранять конфликт вергенции и аккомодации. Желательно, чтобы такую систему отображения можно было устанавливать на голову, тем самым делая возможным ее применение в приложениях виртуальной реальности.

Раскрытие изобретения

Задача настоящего изобретения состоит в устранении или смягчении вышеупомянутых недостатков, свойственных решениям, известным из уровня техники.

Согласно первому аспекту настоящего изобретения, предложена система отображения реальной или виртуальной сцены, содержащая корпус, в котором размещены мобильное устройство с дисплеем, пространственный модулятор света, расположенный перед дисплеем мобильного устройства, по меньшей мере один процессор, соединенный с мобильным устройством и пространственным модулятором света, и оптическое линзовое устройство, расположенное после пространственного модулятора света и перед глазами пользователя. Дисплей мобильного устройства имеет пиксели, выполненные с возможностью испускания лучей света, характеризующих упомянутую реальную или виртуальную сцену. Пространственный модулятор света имеет пиксельную структуру с настраиваемой окрашенной прозрачностью, выполненную с возможностью пропускания испускаемых лучей света. Упомянутый по меньшей мере один процессор выполнен с возможностью:

(a) получения набора видов упомянутой сцены, причем каждый вид упомянутой сцены характеризуется определенным углом просмотра упомянутой сцены;

(б) формирования матрицы видов в соответствии с геометрическими параметрами системы;

(в) формирования настроечной матрицы, представляющей собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов;

(г) настройки значений интенсивности пикселей дисплея мобильного устройства в соответствии с компонентами вектор-столбца и настройки значений прозрачности пикселей пространственного модулятора света в соответствии с компонентами вектор-строки, тем самым обеспечивая 3D-эффект при просмотре упомянутой сцены.

В одном варианте осуществления дисплей мобильного устройства является жидкокристаллическим дисплеем или органическим светодиодным дисплеем.

В одном варианте осуществления пространственный модулятор света содержит слой жидких кристаллов и по меньшей мере один поляризатор.

В одном варианте осуществления мобильное устройство представляет собой одно из следующего: мобильный или сотовый телефон, планшетный компьютер, портативный цифровой плеер.

В одном варианте осуществления система дополнительно содержит средство крепления, выполненное с возможностью фиксации системы на голове пользователя. В другом варианте осуществления корпус системы выполнен в виде шлема или очков виртуальной реальности.

В одном варианте осуществления упомянутый по меньшей мере один процессор выполнен с возможностью использования взвешенного итеративного метода одноранговой невязки (WRRI) для упомянутого подбора компонент вектор-столбца и вектор-строки.

В одном варианте осуществления упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью

вычисления и использования весовой матрицы при применении метода WRRI, чтобы избежать в дальнейшем искажений на изображении. При этом упомянутый по меньшей мере один процессор выполнен с возможностью вычисления весовой матрицы и формирования матрицы видов с учетом геометрических параметров системы, таких как расстояние между дисплеем мобильного устройства и пространственным модулятором света.

В одном варианте осуществления упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью осуществления предварительной обработки каждого вида упомянутой сцены, направленной на улучшение четкости деталей на этом виде, путем:

- сегментации заданного изображения на перекрывающиеся блоки, состоящие из групп пикселей дисплея мобильного устройства;

- для каждого блока:

- преобразования цвета каждого пикселя в цветовую модель YUV («Y» - компонент яркости, «U» и «V» - цветоразностные компоненты);

- выделения для каждого пикселя только компонент яркости Y;

- объединения компонент яркости Y всех пикселей в канал яркости Y;

- применения преобразования Фурье в отношении канала яркости для получения спектра Фурье;

- применения оконной функции Гаусса для сглаживания спектра на его границах;

- поиска деталей и усиления их в спектре Фурье, используя анализ согласованности фаз; и

- осуществления обратного преобразования Фурье для получения нового канала яркости Y';

- объединения всех обработанных таким образом блоков, при этом вновь применяя оконную функцию Гаусса для обеспечения бесшовного наложения блоков;

- объединения для каждого пикселя нового компонента Y' с первоначальными компонентами U и V в цветовую модель Y'UV; и

- преобразования цветовой модели Y'UV в цветовую модель RGB и получения заданного вида упомянутой сцены в цветовой модели RGB.

В одном варианте осуществления набор видов упомянутой сцены заранее получен с помощью пленоптической камеры и сохранен в памяти мобильного устройства или передан в мобильное устройство по сети, чтобы в дальнейшем использоваться в качестве входных данных для упомянутого по меньшей мере одного контроллера. При этом упомянутый по меньшей мере один процессор выполнен с возможностью доступа к памяти мобильного устройства для извлечения набора видов упомянутой сцены для осуществления последующих операций (б)-(г).

В другом варианте осуществления упомянутый по меньшей мере один процессор выполнен с возможностью получения набора видов упомянутой сцены с использованием программы рендеринга.

Согласно второму аспекту настоящего изобретения, предложен способ функционирования вышеупомянутой системы отображения реальной или виртуальной сцены. Предложенный способ реализуется следующим образом:

(a) получают посредством упомянутого по меньшей мере одного процессора набор видов требуемой реальной или виртуальной сцены, причем каждый вид сцены характеризуется определенным углом просмотра сцены;

(б) формируют матрицу видов в соответствии с геометрическими параметрами системы;

(в) формируют настроечную матрицу, представляющую собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов;

(г) настраивают значения интенсивности пикселей дисплея мобильного устройства в соответствии с компонентами вектор-столбца и настраивают значения прозрачности пикселей пространственного модулятора света в соответствии с компонентами вектор-строки, тем самым обеспечивая 3D-эффект при просмотре заданного изображения.

Другие признаки и преимущества настоящего изобретения станут очевидными после прочтения следующего далее описания и просмотра сопроводительных чертежей.

Краткое описание чертежей

Сущность настоящего изобретения поясняется ниже со ссылкой на сопроводительные чертежи, на которых:

Фиг. 1 иллюстрирует аппроксимацию светового поля массивом разных видов конкретной сцены, полученных с разных точек просмотра посредством массива камер;

Фиг. 2 иллюстрирует поэлементный вид системы 1 отображения в соответствии с настоящим изобретением;

Фиг. 3а-3б иллюстрируют варианты осуществления пространственного модулятора света в зависимости от типа дисплея мобильного устройства;

Фиг. 4 иллюстрирует вариант осуществления системы отображения согласно настоящему изобретению с ремнем для крепления на голову;

Фиг. 5 - блок-схема этапов способа функционирования системы отображения согласно настоящему изобретению;

Фиг. 6 поясняет двупараметрическое представление светового поля Левоя и Ханрахана;

Фиг. 7 поясняет способ вычисления весовой матрицы с учетом геометрических параметров системы (расстояние между дисплеем мобильного устройства и пространственным модулятором света, фокусное расстояние линзы, расстояние от линзы до дисплея и модулятора);

Фиг. 8 показывает формирование матрицы видов с использованием барицентрических координат.

Осуществление изобретения

Различные варианты осуществления настоящего изобретения описаны далее подробнее со ссылкой на сопроводительные чертежи. Однако, настоящее изобретение может быть реализовано во многих других формах и не должно пониматься как ограниченное какой-либо конкретной структурой или функцией, представленной в нижеследующем описании. Напротив, эти варианты осуществления предоставлены для того, чтобы сделать описание настоящего изобретения подробным и полным. Исходя из настоящего описания, специалистам в данной области техники будет очевидно, что объем настоящего изобретения охватывает любой вариант осуществления настоящего изобретения, который раскрыт в данном документе, вне зависимости от того, реализован ли этот вариант осуществления независимо или совместно с любым другим вариантом осуществления настоящего изобретения. Например, способ или система, раскрытая в данном документе, может быть реализована на практике с использованием любого числа вариантов осуществления, указанных в данном документе. Кроме того, должно быть понятно, что любой вариант осуществления настоящего изобретения может быть реализован с использованием одного или более элементов, перечисленных в приложенной формуле изобретения.

Слово «примерный» используется в данном документе в значении «используемый в качестве примера или иллюстрации». Любой вариант осуществления, описанный здесь как «примерный», необязательно должен восприниматься как предпочтительный или имеющий преимущество над другими вариантами осуществления.

Используемый в данном документе термин «световое поле» означает векторную функцию, описывающую количество света, проходящего в любом направлении через любую точку в пространстве. Другими словами, световое поле представляет собой пространственное распределение световых потоков от наблюдаемого изображения или сцены. Световое поле характеризуется в каждой его точке определенными величиной и направлением переноса лучистой энергии. Следует также отметить, что на практике световое поле конкретной сцены (реальной либо виртуальной) может быть аппроксимировано массивом разных видов этой сцены, полученных с разных точек просмотра посредством массива камер или микролинз, содержащихся в пленоптической камере, и, по этой причине, слега сдвинутых относительно друг друга (см. Фиг. 1).

На Фиг. 2 показана в разобранном виде система 1 отображения реальной или виртуальной сцены в соответствии с примерным вариантом осуществления настоящего изобретения. Как проиллюстрировано, система 1 отображения содержит мобильное устройство 2, пространственный модулятор 3 света, оптическую линзу 4.

Хотя в этом примере мобильное устройство 2 показано в виде мобильного или сотового телефона, специалистам в данной области техники должно быть понятно, что вместо такого телефона может быть использован переносной компьютер, планшетный компьютер, портативный цифровой плеер или т.п. Кроме того, выбранное изображение игровых костей также не должно рассматриваться как какое-либо ограничение настоящего изобретения, которое с той же пользой и преимуществом может быть использовано в отношении других более сложных изображений, содержащих объекты и/или субъекты разного вида и разных форм. Дисплей мобильного устройства 2 может быть реализован в виде органического светодиодного (OLED) дисплея либо в виде жидкокристаллического дисплея, либо любого другого дисплея, имеющего пиксельную структуру.

Пространственный модулятор 3 света расположен перед дисплеем мобильного устройства 2 и имеет пиксельную структуру с регулируемой переменной прозрачностью. Возможны следующие варианты осуществления пространственного модулятора 3 света:

(1) В одном варианте осуществления, схематически показанном на Фиг. 3а, в качестве дисплея мобильного устройства 2 используется жидкокристаллический дисплей 7, который, как известно из данной области техники (см., например, Мухин И.А., Развитие жидкокристаллических мониторов, BROADCASTING Телевидение и радиовещание: 1 часть - № 2(46) март 2005. С. 55-56; 2 часть - № 4(48) июнь-июль 2005. С. 71-73), состоит из средства задней подсветки и пары поляризаторов П1 и П2, между которыми заключен слой жидких кристаллов ЖК1. В этом случае в качестве пространственного модулятора 3 света используется комбинация слоя жидких кристаллов ЖК2 и поляризатора П3 на стороне, обращенной к пользователю. Это отличается от традиционной схемы, при которой пространственный модулятор света реализуется с помощью первого поляризатора между дисплеем и слоем жидких кристаллов, самого слоя жидких кристаллов и второго поляризатора после слоя жидких кристаллов. Таким образом, удается добиться снижения общих размеров системы 1 отображения (не показана на Фиг. 3а) (за счет уменьшения числа поляризаторов, используемых в составе пространственного модулятора 3 света).

(2) В другом варианте осуществления, схематически показанном на Фиг. 3б, в качестве дисплея мобильного устройства 3 используется органический светодиодный (OLED) дисплей 8. В этом случае в качестве пространственного модулятора 3 света используется упомянутая выше стандартная схема: первый поляризатор П4 - слой жидких кристаллов ЖК - второй поляризатор П5.

Как показано на Фиг. 2, оптическая линза 4 расположена после пространственного модулятора 3 света и перед соответствующим глазом пользователя системы 1 отображения. Аналогичная оптическая линза также расположена перед другим глазом пользователя. Совокупность этих линз образуется оптическое линзовое устройство.

Значения прозрачности пикселей пространственного модулятора 3 света, а также значения интенсивностей пикселей дисплея мобильного устройства 2 настраиваются посредством управляющих сигналов, подаваемых с процессора или контроллера (не показан), дополнительно входящего в состав системы 1 отображения. Эта настройка будет подробно описана ниже при описании способа функционирования системы 1 отображения.

Вышеописанные конструктивные элементы системы 1 отображения, в частности, мобильное устройство 2 и пространственный модулятор 3 света, показанные на Фиг. 2, заключены в корпусе или кожухе 5 (см. Фиг. 4), выполненном из любого подходящего материала, такого как пластик, композитный материал и т.д. При этом для обеспечения возможности крепления системы 1 отображения на голове пользователя может применяться специальное средство крепления, реализованное, например, в виде кожаного ремня 6, который присоединен к корпусу или кожуху 5. В другом варианте осуществления корпус или кожух может быть сам выполнен в виде очков или шлема виртуальной реальности.

Далее будет подробно описана работа системы 1 отображения, в частности, пояснены операции, выполняемые упомянутым процессором или контроллером, со ссылкой на Фиг. 5.

Сначала упомянутый процессор или контроллер принимает набор видов реальной или виртуальной сцены (этап Э1), например, игральных костей, показанных на Фиг. 2. Каждый вид сцены характеризуется определенным углом просмотра сцены, как было пояснено выше со ссылкой на Фиг. 1. Набор видов сцены можно формировать заранее с помощью пленоптической камеры, такой, например, как Lytro Illum, а затем сохранять в памяти мобильного устройства 2. В таком случае упомянутый процессор или контроллер может быть выполнен с возможностью доступа к памяти мобильного устройства 2 для извлечения набора видов упомянутой сцены для осуществления последующей обработки. В другом варианте осуществления упомянутый процессор или контроллер может сам выполнять формирование набора видов сцены с использованием программы рендеринга. Такие программы широко известны в данной области техники и включают в себя, например, программу LightPack, разработанную в Стэнфордском Университете (см. - http://graphics.stanford.edu/software/lightpack/).

Далее, на этапе Э2, упомянутый процессор или контроллер формирует матрицу видов в соответствии с геометрическими параметрами системы (расстояние между дисплеем мобильного устройства и пространственным модулятором света, фокусное расстояние линзы, расстояние от линзы до дисплея и модулятора).

При формировании матрицы видов предпочтительно следовать двупараметрическому представлению светового поля, предложенному Левоем и Ханраханом в 1996 г. (SIGGRAPH 1996). Обозначим световое поле в этом представлении как L(x, y, u, v) - см. Фиг. 6 (на которой показаны две плоскости светового поля xy и uv). Простое геометрическое рассмотрение (см. Фиг. 7) показывает, что целочисленные координаты (отсчитываемые от угла дисплея или модулятора) точек пересечения луча с изображениями дисплея и модулятора и их виртуальными образами вычисляются следующим образом:

(1) (2)

Здесь k=1, 2, где 1 и 2 соответствуют модулятору и дисплею, соответственно, «+» и «-» в «±» также соответствуют модулятору и дисплею, соответственно, M_1,2 - коэффициенты увеличения виртуального образа модулятора и дисплея, p_1,2 - размеры пикселя модулятора и дисплея, соответственно, W и H - физические ширина и высота изображения вида в плоскости xy светового поля (положение ее и расстояния d_k подбираются так, чтобы достигнуть наилучшего качества изображения), d_СП - расстояние от плоскости зрачка до плоскости светового поля, скобки «» означают взятие целочисленной части числа.

Задача факторизации светового поля состоит в том, чтобы разложить L(x, y, u, v) в произведение прозрачности модулятора t(x₁, y₁) и яркости дисплея l(x₂, y₂) - т.е. получить

(3)

где x_1,2, y_1,2 выражаются через x,y,u,v посредством уравнений (1), (2).

Такая тензорная факторизация сложна, поэтому авторы настоящего изобретения решили свести ее к более простой задаче - матричной факторизации. Для этого векторизуем t и l в вектора a и b следующим образом:

(4)

(5)

где

где - ширина изображений модулятора и дисплея, соответственно (k=1, 2), измеренная числом пикселей по оси .

Значение светового поля L(x, y, u, v) помещается в элемент матрицы видов , так что уравнение (3) теперь может быть записано в виде

После этого упомянутый процессор или контроллер приступает к формированию настроечной матрицы, представляющей собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов (этап Э3). Другими словами, элемент (i, j) настроечной матрицы получается при прохождении луча света через j-ый пиксель дисплея мобильного устройства 2 и через i-ый пиксель пространственного модулятора 3 света (см. поясняющие формулы ниже). Если обозначить матрицу видов как Т, а вектора, характеризующие прозрачность и яркость - как a и b, соответственно, тогда вышеупомянутая близость матриц означает, что Т ≈ ab^T (где надстрочный символ «Т» означает транспонирование). Такую задачу оптимизации можно решать различными способами, однако авторы настоящего изобретения пришли к выводу, что наилучшим способом является взвешенный итеративный метод одноранговой невязки (WRRI) (см. следующие документы уровня техники: HO, N.-D., Nonnegative Matrix Factorization Algorithms and Applications, PhD thesis, Universit´e catholique de Louvain, 2008; и HEIDE et al., Cascaded displays: spatiotemporal superresolution using offset pixel layers, ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2014, Volume 33, Issue 4, July 2014). Т.к. количество видов ограничено, необходимо ограничить число элементов, участвующих в минимизации, для этого вводится весовая матрица W так, чтобы Т ≈ Wab^T, причем матрица W имеет весовые коэффициенты там, куда были «уложены» виды сцены, и нули в остальных местах. Задача оптимизации продолжается до тех пор, пока не будут найдены такие компоненты векторов a и b, при которых достигается наилучшая близость матрицы видов и настроечной матрицы. Суть задачи оптимизации в следующем:

где - L₂-норма, так что , а - поэлементное умножение, которое продолжается до тех пор, пока не будут найдены такие компоненты векторов a и b, при которых достигается наилучшая близость матрицы видов и настроечной матрицы.

В тех случаях, когда имеется совпадение центров пикселей дисплея мобильного устройства 2 и пространственного модулятора 3 света, в те элементы матрицы W, которые соответствуют видам (т.е. имеют те i, j, где уложены T_ij из видов), помещаются единицы, в остальные элементы помещаются нули. Когда такого совпадения нет, то матрицу T и W следует формировать с использованием барицентрических координат, чтобы избежать в дальнейшем искажений на видах сцены. Пример такого формирования показан на Фиг. 8, на которой, λ и μ - координаты обозначенной крестиком точки (центра пикселя) в плоскости пространственного модулятора 3 света. w₀₀, w₀₁, w₁₀, и w₁₁ - величины, которые распределяются между четырьмя элементами, характеризующимися координатами , , . Сумма w₀₀, w₀₁, w₁₀, и w₁₁ равна 1, так что можно сказать, что единичный вес распределяется между четырьмя соседними элементами. При формировании матрицы видов в этом подходе необходимо соответствующие значения пикселя повторить четыре раза в четырех соответствующих элементах.

Следует заметить, что возможен альтернативный подход. При формировании матрицы видов значения светового поля распределяются с соответствующими весами между четырьмя элементами, характеризующимися координатами , , в соответствии с барицентрическими координатами. В этом случае весовая матрица W будет содержать единицы в элементах, соответствующих ненулевым элементам матрицы видов T, и нули во всех остальных элементах.

Как только компоненты векторов a и b найдены, упомянутый процессор или контроллер осуществляет настройку значений интенсивности l пикселей дисплея мобильного устройства 2 в соответствии с компонентами векторa b и настройку значений прозрачности t пикселей пространственного модулятора 3 света в соответствии с компонентами вектора a (этап Э4) - см. формулы (4) и (5), показывающие связь между a, b и t, l выше. Это позволяет достичь (приближенно) такого светового поля от сцены, которое бы пользователь наблюдал в действительности, т.е. обеспечивается 3D-эффект при просмотре сцены.

В одном варианте осуществления упомянутый процессор или контроллер выполнен с дополнительной возможностью осуществления предварительной обработки каждого вида сцены перед тем, как осуществлять этапы Э2-Э4. Эта обработка направлена на улучшение деталей на видах сцены и заключается в следующем. Заданный вид сцены (детали на котором требуется усилить) сегментируется на перекрывающиеся блоки, состоящие из групп пикселей дисплея мобильного устройства 2. Далее для каждого блока выполняют следующие действия:

- преобразуют цвет каждого пикселя в цветовую модель YUV («Y» - компонент яркости, «U» и «V» - цветоразностные компоненты);

- выделяют для каждого пикселя только компонент яркости Y;

- объединяют компонент яркости Y всех пикселей в канал яркости Y;

- применяют преобразование Фурье в отношении канала яркости для получения спектра Фурье;

- применяют оконную функцию Гаусса для сглаживания спектра на его границах;

- осуществляют поиск деталей и усиливают их в спектре Фурье, используя анализ согласованности фаз; и

- осуществляют обратное преобразование Фурье для получения нового канала яркости Y'.

Суть упомянутого выше анализа согласованности фаз заключается в следующем. Как известно, значения в спектре Фурье - это комплексные числа. Они характеризуются модулем и аргументом (фазой). Другими словами, их можно представить как 2-мерные векторы с длиной, равной модулю, и направлением, равным фазе. Поиск деталей заключается в выделении именно таких векторов, направленных в одну сторону (с некоторым разбросом), а усиление деталей заключается в увеличении длины найденных векторов (увеличении величины модуля).

После перечисленных выше действий объединяют все обработанные таким образом блоки, при этом вновь применяя оконную функцию Гаусса для обеспечения бесшовного наложения блоков. Далее объединяют для каждого пикселя новый компонент Y' с первоначальными компонентами U и V в цветовую модель Y'UV и преобразуют цветовую модель Y'UV в цветовую модель RGB для получения заданного вида сцены в цветовой модели RGB.

Дополнительные аспекты изобретения станут очевидными после рассмотрения чертежей и представленного описания вариантов осуществления настоящего изобретения. Специалисту в данной области техники будет понятно, что возможны другие варианты осуществления настоящего изобретения, и что некоторые элементы настоящего изобретения могут быть изменены в ряде аспектов, не отступая от идеи изобретения. Таким образом, чертежи и описание должны рассматриваться в качестве иллюстрации, а не ограничения. В приложенной формуле изобретения упоминание элементов в единственном числе не исключает наличия множества таких элементов, если в явном виде не указано иное.

Изобретение относится к области формирования изображения. Технический результат заключается в формировании изображения высокого качества и устранении конфликтов вергенции и аккомодации. Система отображения реальной или виртуальной сцены, содержащая корпус, в котором размещены мобильное устройство с дисплеем, пространственный модулятор света, расположенный перед дисплеем мобильного устройства, по меньшей мере один процессор, соединенный с мобильным устройством и пространственным модулятором света, и оптическое линзовое устройство, расположенное после пространственного модулятора света и перед глазами пользователя. 2 н. и 10 з.п. ф-лы, 9 ил.

1. Система отображения реальной или виртуальной сцены, содержащая корпус, в котором размещены мобильное устройство с дисплеем, пространственный модулятор света, расположенный перед дисплеем мобильного устройства, по меньшей мере один процессор, соединенный с мобильным устройством и пространственным модулятором света, и оптическое линзовое устройство, расположенное после пространственного модулятора света и перед глазами пользователя, при этом:

- дисплей мобильного устройства имеет пиксели, выполненные с возможностью испускания лучей света, характеризующих упомянутую реальную или виртуальную сцену;

- пространственный модулятор света имеет пиксельную структуру с настраиваемой окрашенной прозрачностью, выполненную с возможностью пропускания испускаемых лучей света, причём пиксельная структура содержит по меньшей мере один поляризатор на стороне, обращённой к пользователю;

- упомянутый по меньшей мере один процессор выполнен с возможностью:

(a) получения набора видов упомянутой сцены, причем каждый вид упомянутой сцены характеризуется определенным углом просмотра упомянутой сцены;

(б) формирования матрицы видов в соответствии с геометрическими параметрами системы;

(в) формирования настроечной матрицы, представляющей собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов;

(г) настройки значений интенсивности пикселей дисплея мобильного устройства в соответствии с компонентами вектор-столбца и настройки значений прозрачности пикселей пространственного модулятора света в соответствии с компонентами вектор-строки, тем самым обеспечивая 3D-эффект при просмотре упомянутой сцены.

2. Система по п. 1, в которой дисплей мобильного устройства является жидкокристаллическим дисплеем или органическим светодиодным дисплеем.

3. Система по п. 1, в которой пространственный модулятор света дополнительно содержит слой жидких кристаллов.

4. Система по п. 1, в которой мобильное устройство представляет собой одно из следующего: мобильный или сотовый телефон, планшетный компьютер, портативный цифровой плеер.

5. Система по п. 1, дополнительно содержащая средство крепления, выполненное с возможностью фиксации системы на голове пользователя.

6. Система по п. 1, в которой корпус выполнен в виде шлема или очков виртуальной реальности.

7. Система по п. 1, в которой упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью использования взвешенного итеративного метода одноранговой невязки (WRRI) для упомянутого подбора компонент вектор-столбца и вектор-строки.

8. Система по п. 7, в которой упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью:

- вычисления и использования весовой матрицы при применении метода WRRI, чтобы избежать в дальнейшем искажений на изображении.

9. Система по п. 1, в которой упомянутый по меньшей мере один процессор выполнен с дополнительной возможностью осуществления предварительной обработки каждого вида упомянутой сцены, направленной на улучшение четкости деталей на этом виде, путем:

- сегментации заданного вида упомянутой сцены на перекрывающиеся блоки, состоящие из групп пикселей дисплея мобильного устройства;

- для каждого блока:

- преобразования цвета каждого пикселя в цветовую модель YUV, где «Y» - компонент яркости, «U» и «V» - цветоразностные компоненты;

- выделения для каждого пикселя только компонент яркости Y;

- объединения компонент яркости Y всех пикселей в канал яркости Y;

- применения преобразования Фурье в отношении канала яркости для получения спектра Фурье;

- применения оконной функции Гаусса для сглаживания спектра на его границах;

- поиска деталей и усиления их в спектре Фурье, используя анализ согласованности фаз; и

- осуществления обратного преобразования Фурье для получения нового канала яркости Y';

- объединения всех обработанных таким образом блоков, при этом вновь применяя оконную функцию Гаусса для обеспечения бесшовного наложения блоков;

- объединения для каждого пикселя нового компонента Y' с первоначальными компонентами U и V в цветовую модель Y'UV; и

- преобразования цветовой модели Y'UV в цветовую модель RGB и получения заданного вида упомянутой сцены в цветовой модели RGB.

10. Система по п. 1, в которой набор видов упомянутой сцены заранее получен с помощью пленоптической камеры и сохранен в памяти мобильного устройства, при этом упомянутый по меньшей мере один процессор выполнен с возможностью доступа к памяти мобильного устройства для извлечения набора видов упомянутой сцены для осуществления последующих операций (б)-(г).

11. Система по п. 1, в которой упомянутый по меньшей мере один процессор выполнен с возможностью получения набора видов упомянутой сцены с использованием программы рендеринга.

12. Способ функционирования системы отображения реальной или виртуальной сцены по любому из пп. 1-12, содержащий этапы, на которых:

(a) получают посредством упомянутого по меньшей мере одного процессора набор видов требуемой реальной сцены, причем каждый вид сцены характеризуется определенным углом просмотра сцены;

(б) формируют матрицу видов в соответствии с геометрическими параметрами системы;

(в) формируют настроечную матрицу, представляющую собой произведение вектор-столбца, характеризующего значения прозрачности пикселей пространственного модулятора света, на вектор-строку, характеризующую значения интенсивностей пикселей дисплея мобильного устройства, причем компоненты вектор-столбца и вектор-строки подбираются таким образом, чтобы настроечная матрица приблизительно совпадала с матрицей видов (г), настраивают значения интенсивности пикселей дисплея мобильного устройства в соответствии с компонентами вектор-столбца и настраивают значения прозрачности пикселей пространственного модулятора света в соответствии с компонентами вектор-строки, тем самым обеспечивая 3D-эффект при просмотре упомянутой сцены.