СПОСОБ И УСТРОЙСТВО ОТОБРАЖЕНИЯ С ОПТИМИЗАЦИЕЙ ПЕРЕРАСПРЕДЕЛЕНИЯ ПИКСЕЛЕЙ Российский патент 2019 года по МПК G06T5/00 H04N3/22 G02B27/01 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение в целом относится к устройству отображения с оптимизацией перераспределения пикселей. Устройство отображения может быть носимым пользователем устройством отображения, таким как закрепляемое на голове устройство отображения (HMD - head mounted display (HMD)), но не ограничено таким видом устройства отображения.

УРОВЕНЬ ТЕХНИКИ

Такие HMD-устройства, главным образом, составляют модуль отображения (LCD-устройство или OLED-устройство, например) и оптика. Данная оптика обычно выполнена с возможностью видоизменения света, как будто он сгенерирован в бесконечности или на конечном, но большом расстоянии (например, гиперфокальном расстоянии глаза человека) от зрителя (для предоставления возможности приспособляемости к экрану, помещенному так близко) и увеличения поля зрения для повышения ощущения погружения.

Эти HMD-устройства могут быть соединены с таким датчиком, как инерционный измерительный блок (inertial measurement unit, IMU) для измерения положения головы пользователя. Благодаря датчику видеосодержимое, предоставляемое пользователю посредством устройства отображения, может зависеть от ориентации его/ее головы, таким образом пользователь может перемещаться в виртуальном мире и испытывать чувство погружения.

В документе US 2012/0154277 A1 раскрыто слежение за положением глаз и головы пользователя для определения фокальной области для пользователя и сведения некоторого участка оптимизированного изображения в фокальную область пользователя. Однако, в документе US 2012/0154277 A1 не рассматриваются какие-либо идеи для оптимизации перераспределения пикселей изображения, подлежащего представлению на устройстве отображения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Согласно одному варианту осуществления настоящего изобретения, предложен способ представления изображения на устройстве отображения. Способ включает в себя этап, на котором видоизменяют изображение посредством применения геометрического преобразования к изображению так, чтобы участок изображения на устройстве отображения был представлен зрителю с более высокой плотностью пикселей по сравнению с остальной частью изображения.

Согласно другому варианту осуществления настоящего изобретения, предложено устройство отображения для представления изображения, содержащее процессор. Процессор выполнен с возможностью видоизменения изображения посредством применения геометрического преобразования к изображению так, чтобы участок изображения на устройстве отображения был представлен зрителю с более высокой плотностью пикселей по сравнению с остальной частью изображения.

Цель и преимущества настоящего изобретения могут быть реализованы и достигнуты посредством элементов и объединений, в частности, указанных в формуле изобретения.

Следует понимать, что как предшествующее общее описание, так и последующее подробное описание являются примерными и объяснительными и не накладывают ограничений на заявленное изобретение.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие варианты осуществления, признаки и преимущества настоящего изобретения станут очевидными из последующего описания совместно с сопроводительными чертежами, на которых:

На Фиг.1 представлена острота зрения в зависимости от углового положения вокруг ямки сетчатки;

На Фиг.2 показан общий обзор согласно одному варианту осуществления настоящего изобретения;

На Фиг.3 показано искажение, применяемое оптическим элементом;

На Фиг.4 показан процесс геометрического преобразования, применяемого к изображению согласно одному варианту осуществления настоящего изобретения;

На Фиг.5 показана конструкция линзы с той же самой функциональностью, что и в исходной системе;

На Фиг.6 показана вся оптическая система HMD-устройства данного варианта осуществления;

На Фиг.7 показано воспринимаемое поле зрения, графически изображенное в зависимости от положения поля на устройстве отображения;

На Фиг.8 схематично показано устройство отображения согласно одному варианту осуществления настоящего изобретения, при этом на Фиг.8(a) показан вид сверху устройства, а на Фиг.8(b) показан вид спереди устройства;

На Фиг.9 показана блок-схема, на которой изображены компоненты модуля управления, изображенного на Фиг.8; и

На Фиг.10 показана блок-схема последовательности операций, на которой изображен пример процесса, выполняемого устройством отображения согласно одному варианту осуществления настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В последующем описании будут описаны различные варианты выполнения примерного варианта осуществления настоящего изобретения. С целью пояснения, частные конфигурации и подробности изложены для предоставления исчерпывающего понимания. Однако специалисту в данной области техники также должно быть очевидно, что настоящее изобретение может быть реализовано без частных подробностей, приведенных в данном документе.

Для содействия пониманию идеи варианта осуществления настоящего изобретения сначала представлены некоторые характеристики зрительной системы человека.

На Фиг.1 представлена острота зрения в зависимости от углового положения вокруг ямки сетчатки, которая приведена со страницы, относящейся к «центральной ямке сетчатки» («fovea centralis») в Википедии. Ямка сетчатки является центральным участком глаза, в котором плотность колбочек является наивысшей. Данный участок представлен только несколькими градусами, при которых острота зрения максимальна. Данная острота быстро уменьшается при увеличении поля зрения (см. Фиг.1). Это означает, что даже если необходимо большое поле зрения для привнесения чувства погружения зрителю, подробности не могут быть восприняты периферическим зрением.

Разрешение устройств отображения, генерирующих изображения благодаря отдельным дискретным пикселям, основано на данной характеристике остроты зрения: в зависимости от расстояния наблюдения пиксели не могут быть восприняты, если их пространственная частота выше разрешающей способности глаза.

Человеческий глаз, в участке ямки сетчатки, может приблизительно отличать две точки, отделенные углом дуги в одну минуту. Это означает, например, что 1920×1080 пикселей 42-ух дюймового HD-экрана (экрана с Высокой Четкостью (High Definition)), имеющего ширину 93 см, могут просматриваться на расстоянии 166 см, с плотностью пикселей в 60 пикселей на градус в своей центральной части, соответствующей приблизительно остроте зрения.

В данном случае будет обсужден пример относительно примерного HMD-устройства, имеющего разрешение в 1280×800 пикселей. В данном примере горизонтальное поле зрения составляет приблизительно 90° (или 110° в зависимости от источников), и теоретическое количество пикселей на глаз составляет 640 (но фактически вероятно ближе к 500): 500 пикселей, распределенных по 90°, образуют плотность пикселей меньшую по сравнению с 5 пикселями на градус. Это в 10 раз меньше того, что требуется для теоремы дискретизации Шеннона-Найквиста для остроты зрения дуги в одну минуту. Даже если следующее поколение данного HMD-устройства будет основано на устройстве отображения с 1920×1080 пикселями, то разрешение должно остаться намного ниже остроты зрения в участке ямки сетчатки.

И наоборот, плотность пикселей в участке периферического зрения слишком высока для восприятия человеческим глазом, поскольку острота зрения сильно уменьшается на зрительной периферии.

В данном раскрытии иллюстративно описано устройство отображения, такое как HMD-устройство, увеличивающее плотность пикселей на некотором участке устройства отображения и уменьшающее данную плотность на периферийных участках данного участка с увеличенной плотностью пикселей. Так как глаза могут перемещаться по содержимому, предоставляемому устройством отображения, то данное увеличение плотности не ограничено чрезвычайно узким участком, соответствующим ямке сетчатки, но применяется к участку, соответствующему средним движениям глаз до движения головой. Это означает, что пользователь может перемещать свой взгляд вокруг участка с информацией с высокой плотностью и наслаждаться чувством погружения благодаря большому полю зрения, предоставляющему разреженную информацию.

В HMD-устройстве, соединенном с инерционным измерительным блоком (IMU), пользователь может двигать своей головой к центру объекта или участка, воспринимаемого с низким разрешением на периферии, для дальнейшего существенно увеличения разрешения на данном объекте или участке.

На доступном в настоящее время HMD-устройстве, таком как HMD-устройство Oculus Rift (очки виртуальной реальности), пиксели, генерируемые устройством отображения, распределяются оптикой почти с постоянной плотностью по всему полю зрения. Так как данная оптика проста, то она вносит сильное подушкообразное искажение, которой должно быть скомпенсировано посредством обработки сигналов через применение обратной деформации к видеосодержимому, подлежащему отображению. Зритель может воспринимать содержимое видеоролика или графическое содержимое с погружением при большом поле зрения, но с плохим разрешением, даже в центральном участке HMD-устройства.

То, что называют «фовеацией» (проецированием изображения в центре сетчатки) известно в области техники получения изображений. Изображения могут быть получены благодаря датчикам с проецированием изображения в центре сетчатки, где плотность фоточувствительных площадок выше в центральном участке датчика, или с помощью стандартных датчиков, относящихся к линзе с проецированием изображения в центре сетчатки.

Формирование изображений с проецированием в центре сетчатки также известно в области техники обработки сигналов, которое охватывает сжатие изображения, передачу изображения или зависящие от взгляда устройства отображения. Для данного последнего применения, отслеживатель глаз обнаруживает, куда смотрит пользователь, и больше информации (частей изображения, содержащих высокие частоты) динамически отображается в данном участке по сравнению с периферией (только низкие частоты, размытость).

В данном раскрытии предложена система, которая сконфигурирована (или выполнена) с возможностью увеличения плотности пикселей в некотором участке на устройстве отображения и уменьшения плотности пикселей в периферийных областях данного участка на устройстве отображения. Однако, следует отметить, что в отличие от изображений с проецированием в центре сетчатки, где подробности (высокие частоты) отображаются в интересующей области, а информация с размытостью (или только низкие частоты) отображается на периферии с постоянной плотностью пикселей, предложенная система видоизменяет плотность пикселей непосредственно.

Перераспределение пикселей может быть видоизменено посредством преобразования T, применяемого оптикой. В данном случае, содержимое, подлежащее отображению, необходимо видоизменить посредством обратного геометрического преобразования T^-1. Затем увеличение плотности пикселей увеличивает воспринимаемую яркость и наоборот. Данное видоизменение яркости необходимо полностью или частично компенсировать посредством устройства отображения или обработки сигналов, применяемой к изображениям, подлежащих отображению.

На Фиг.2 представлен общий обзор согласно одному варианту осуществления настоящего изобретения.

Традиционный оптический элемент видоизменяет свет, как будто он сгенерирован в бесконечности (или на конечном, но большом расстоянии) от зрителя для предоставления возможности приспособляемости глазам зрителя. Он также может увеличить поле зрения устройства отображения для улучшения ощущения погружения зрителем.

В дополнение к традиционному уровню техники в не ограничительном варианте осуществления настоящего изобретения предложено, чтобы оптический элемент применял искажение (как показано на Фиг.3) для видоизменения воспринимаемой плотности пикселей в зависимости от расстояния до центра. Данное расстояние может быть радиальным или осевым согласно горизонтальным осям. Как может быть видно на Фиг.4, искажение, вызываемое оптическим элементом данного варианта осуществления настоящего изобретения, обеспечивает перераспределение пикселей, то есть, постоянная плотность пикселей, отображаемых на устройстве отображения, преобразовывается в видоизмененную плотность пикселей, в которой увеличенная плотность пикселей воспринимается в центральном участке поля зрения.

На Фиг.4 показан процесс геометрического преобразования, применяемого к изображению согласно одному варианту осуществления настоящего изобретения. Перед предоставлением в устройство отображения входное изображение I преобразовывается посредством функции T^-1(I) с сохранением подробностей в центральном участке. Данное преобразование должно соответствовать функции обратного преобразования, применяемой оптическим элементом данного варианта осуществления настоящего изобретения. Оно может быть аппроксимировано, например, посредством полиномиальной функции. Оптический элемент применяет искажение T(I1) для предоставления изображения I зрителю с высокой плотностью информации в центральном участке (вокруг β), который является центром поля зрения (см. Фиг.4).

Плотность пикселей, воспринимаемая зрителем, представлена кривой на Фиг.4. «α» представляет собой положение вокруг β, задавая предельное положение, в котором плотность пикселей увеличена или уменьшена по сравнению с постоянной плотностью пикселей. Данная кривая зависит от оптического преобразования и приводится здесь в качестве примера. Воспринимаемая плотность пикселей может, например, уменьшаться постоянно, вплоть до максимального поля зрения.

Положение β, в котором воспринимаемая плотность находится в максимальном значении, здесь помещено в 1/2 FOV (Field of View (Поля зрения)). Данное положение может меняться, если глаз передвигается, и может отслеживаться системой слежения за глазами на HMD-устройстве. Оптический элемент может сдвигаться слева направо, вверх и вниз в зависимости от вывода из выводимого системой слежения за глазами сигнала для выравнивания области максимальной плотности с оптической осью заданного глаза. Сигнал изображения должен быть видоизменен согласно новым T/T^-1 преобразованиям, связанным с видоизмененной оптической конфигурацией. Когда глаз отслежен и оптический элемент сдвинут соответственно, значение α может быть уменьшено в оптической конструкции, ограниченное расширением ямки сетчатки, но исключающее пределы движения глаз, рассматриваемые в неподвижной конфигурации.

Для сравнения относительной воспринимаемой плотности пикселей на угловой сектор предлагаемое решение должно быть сравнено со стандартным вариантом реализации.

На Фиг.5 показана конструкция линзы с той же самой функциональностью, что и в исходной системе.

Данная оптическая система обладает размерами с общим полем зрения приблизительно в 95°, ширина поля объекта составляет 2×37,5 мм, которая является шириной экрана. На Фиг.5 показана траектория лучей для точки поля вдоль оси, переходного поля и поля по краям. Система выполнена внефокусной в пространстве изображения, и зрачок составляет 4 мм на расстоянии в 10 мм от прогиба последней оптической поверхности. MTF-функция (модуляционно-передаточная функция) в точке поля по краям, конечно, довольно плоха, как это может следовать из несколлимированного красного подпучка, достигающего зрачка. Воспринимаемое поле зрения в пространстве изображения составляет ±29°.

Для видоизменения воспринимаемых угловых плотностей пикселей около плоскости объекта должна быть установлена линза. Такая полевая линза должна проецировать пиксели в центральной части устройства отображения вокруг оптической оси с большей угловой плотностью в пространстве изображения по сравнению с наружными пикселями. Оптическая поверхность с таким свойством является обязательно четной асферикой. Она является симметричной полиномиальной асферической поверхностью вращения, описанной полиномиальным разложением отклонения от сферической поверхности. В модели четной асферической поверхности используются только четные степени радиальной координаты для описания асферичности. Поверхностный прогиб задается следующим образом:

где c является кривизной, r является радиальной координатой в единицах линзы, а k является конической постоянной. Как передняя поверхность полевой линзы должна быть асферической для модулирования по отдельности различных местоположений точек поля, так и задняя поверхность полевой линзы также должна быть асферической для наведения каждого главного луча на входной зрачок оптической системы HMD-устройства данного варианта осуществления.

На Фиг.6 показана вся оптическая система HMD-устройства данного варианта осуществления, которая улучшает плотность углового разрешение около оси. Первая линза является линзой, которая искривляет точки поля до различных угловых плотностей в пространстве изображения. Ее форма кажется сложной, однако она изготовлена из стекла (торговой марки) B 270 компании SCHOTT AG и может спрессовываться в больших объемах и по низким ценам так же как и главная линза, которая также изготовлена из того же самого материала и которая также должна быть спрессована, так как она также обладает двумя асферическими поверхностями.

Рекомендации к линзам следующие:

СВОДКА ДАННЫХ ДЛЯ ПОВЕРХНОСТНЕЙ:

Поверхность Тип Радиус Толщина Стекло Диаметр Конический Комментарий ОБЪЕКТ СТАНДАРТНЫЙ Бесконечность 4,3333 75 0 1 ЧЕТНАЯ АСФЕРИКА 41,44078 4,669471 BK7 61,37206 0 2 ЧЕТНАЯ АСФЕРИКА 6,699356 40,00001 57,869 2,287118 АПЕРТУРНАЯ ДИАФРАГМА СТАНДАРТНЫЙ Бесконечность 0 20 0 4 ЧЕТНАЯ АСФЕРИКА -22,21413 20 BK7 26,72005 0 5 ЧЕТНАЯ АСФЕРИКА -18,07581 10 35,41718 0 ИЗОБРАЖЕНИЕ СТАНДАРТНЫЙ Бесконечность 4 0

ПОДРОБНЫЕ ДАННЫЕ ПОВЕРХНОСТЕЙ:

Поверхность ОБЪЕКТ СТАНДАРТНЫЙ

Поверхность 1 ЧЕТНАЯ АСФЕРИКА

Коэффициент при r^ 2: 0

Коэффициент при r^ 4: -6,9859233e-005

Коэффициент при r^ 6: 2,4668817e-007

Коэффициент при r^ 8: -3,9883699e-010

Коэффициент при r^10: 5,5885882e-013

Коэффициент при r^12: -6,6854249e-016

Коэффициент при r^14: 3,6309444e-019

Коэффициент при r^16: -1,5338173e-023

Поверхность 2 ЧЕТНАЯ АСФЕРИКА

Коэффициент при r^ 2: 0,0028058026

Коэффициент при r^ 4: -2,6206468e-005

Коэффициент при r^ 6: 1,0404351e-008

Коэффициент при r^ 8: 1,903396e-011

Коэффициент при r^10: -6,34717e-015

Коэффициент при r^12: 0

Коэффициент при r^14: 0

Коэффициент при r^16: 0

Поверхность АПЕРТУРНАЯ ДИАФРАГМА СТАНДАРТНЫЙ

Поверхность 4 ЧЕТНАЯ АСФЕРИКА

Коэффициент при r^ 2: 0

Коэффициент при r^ 4: 0,00049344985

Коэффициент при r^ 6: -1,8727954e-005

Коэффициент при r^ 8: 3,8728936e-007

Коэффициент при r^10: -4,8665752e-009

Коэффициент при r^12: 3,6241717e-011

Коэффициент при r^14: -1,4659605e-013

Коэффициент при r^16: 2,4658053e-016

Поверхность 5 ЧЕТНАЯ АСФЕРИКА

Коэффициент при r^ 2: 0

Коэффициент при r^ 4: 0,00019263165

Коэффициент при r^ 6: -4,3484529e-006

Коэффициент при r^ 8: 5,3643851e-008

Коэффициент при r^10: -3,6869579e-010

Коэффициент при r^12: 1,4315606e-012

Коэффициент при r^14: -2,9346767e-015

Коэффициент при r^16: 2,4867346e-018

В качестве побочного преимущества, обеспечиваемого конфигурацией оптической системы, также улучшена MTF-функция.

Наконец, для демонстрации того, что оптическая система, изображенная на Фиг.6, имеет описанную функциональность в данном раскрытии, воспринимаемое поле зрения может быть графически изображено в зависимости от положения поля на устройстве отображения, как показано на Фиг.7. Как можно видеть на Фиг.7, улучшенная система обладает фактически кривой, сформированной подобно теоретической кривой, изображенной на Фиг.4, что в результате приводит к более высокой воспринимаемой плотности пикселей около направления оптической оси.

На Фиг.8 схематично показано устройство отображения согласно одному варианту осуществления настоящего изобретения, причем на Фиг.8(a) показан вид сверху устройства, а на Фиг.8(b) показан вид спереди устройства.

Как показано на Фиг.8, устройство 100 отображения может включать в себя модуль 105 отображения, который может быть LCD-устройством (Жидкокристаллическим Устройством Отображения (Liquid Crystal Display)) с источником света или OLED-устройством (Устройством Отображения на Органических Светодиодах (Organic Light Emitting Display)), например. Крепежные элементы 110, такие как дужки, которые простираются соответственно за уши зрителя для помощи в удержании устройства 100 на месте, закрепляются с обеих сторон устройства 100 отображения. Альтернативно, крепежный элемент 110 может быть растягивающейся лентой для удержания устройства 100 на голове зрителя.

Устройство 100 отображения также включает в себя оптический компонент 120 и привод 115 для перемещения оптического компонента 120. Оптический компонент 120 может содержать два оптических элемента, выполненных так, как описано выше совместно с Фиг.6. Оптический компонент 120 подсоединен к приводу 115 через соединительный элемент 125. Привод 115 закреплен на крепежных элементах 110, и оптический компонент 120 поддерживается соединительным элементом 125 перед модулем 105 отображения. Эти привод 115, оптический компонент 120 и соединительный элемент 125 закрепляются с обеих сторон крепежных элементов 110, соответственно. Благодаря приводам 115, оптические компоненты 120 могут быть перемещены вверх и вниз и слева направо, как указано стрелками, изображенными на Фиг.8(b), соответственно. Следует отметить, что каждый оптический элемент оптического компонента 120 может альтернативно быть выполнен в виде линзы Френеля так, чтобы эти оптические элементы могли иметь более тонкую форму и более малый вес.

Устройство 100 отображения снабжено датчиком 130 слежения за глазами для обнаружения точки взгляда глаз зрителя. Датчик 130 слежения за глазами может быть закреплен на верхней или нижней части модуля 105 отображения, например, для предотвращения какого-либо затенения экрана отображения, которое может быть вызвано датчиком 130. Дополнительно, устройство 100 отображения снабжено датчиком 145 положения, таким как инерционный измерительный блок (IMU), для измерения положения головы зрителя, на которой закреплено устройство 100 отображения.

Устройство 100 отображения дополнительно включает в себя модуль 140 управления для управления модулем 105 отображения, приводами 115, датчиком 130 слежения за глазами и датчиком 145 положения. Модуль 140 управления соединен с этими элементами через проводное или беспроводное соединение. Модуль 140 управления также соединен с внешним устройством (не изображено) через проводное или беспроводное соединение. Внешнее устройство хранит изображения или видеоролики для предоставления в устройство 100 отображения. Изображения или видеоролики предоставляются из внешнего устройства в модуль 140 управления, затем модуль 140 управления представляет принятое изображение или видеоролик на модуле 105 отображения.

Устройство 100 отображения может иметь кожух (не изображен), окружающий периферию модуля 105 отображения, для обеспечения темного пространства в поле зрения зрителя, что может обеспечить зрителю лучшее ощущение погружения.

На Фиг.9 показана блок-схема, на которой изображены компоненты модуля управления, показанного на Фиг.8.

Как показано на Фиг.9, модуль 200 управления содержит интерфейс 210 ввода-вывода и запоминающее устройство 220. Данный интерфейс 210 и запоминающее устройство 220 выполнены с возможностью приема и хранения изображений или видеороликов, подлежащих представлению на модуле 105 отображения (Фиг.8).

Модуль 200 дополнительно содержит процессор 230. Процессор 230 выполняет действия по обнаружению точки взгляда зрителя на основе входных сигналов от датчика 130 слежения за глазами, задействованию приводов 115 в ответ на обнаруженную точку взгляда, представлению изображений или видеороликов, принятых от внешнего устройства, на модуле 105 отображения и прокрутке изображений или видеороликов, отображаемых на модуле 105 отображения в ответ на положение головы зрителя, обнаруженного и введенного датчиком 145 положения.

Процессор 230 дополнительно выполняет действия по видоизменению изображений или видеороликов посредством применения геометрического преобразования T^-1(I), как описано относительно Фиг.4, так чтобы плотность информации изображений или видеороликов в участке вокруг обнаруженной точки взгляда на устройстве 105 отображения (Фиг.8) могла быть увеличена. Процессор 230 может дополнительно применять компенсацию яркости для компенсации изменения яркости в изображениях или видеороликах, которое может быть вызвано геометрическим преобразованием T^-1(I). Запоминающее устройство 220 также выполнено с возможностью хранения по меньшей мере одной программы, подлежащей исполнению процессором 230 для выполнения вышеупомянутых процессов.

На Фиг.10 показана блок-схема последовательности операций, на которой изображен пример процесса, выполняемого устройством отображения согласно одному варианту осуществления настоящего изобретения.

На этапе S10 модуль 140; 200 управления устройства 100 отображения принимает обеспечивающее эффект погружения содержимое изображения или видеоролика от внешнего устройства (не изображено) через свой интерфейс 210 ввода-вывода. Принятое содержимое сохраняется в модуле 230 запоминающего устройства. Обеспечивающее эффект погружения содержимое может быть всем содержимым, доступным для HMD-устройства, для отображения содержимого на 360° (или меньше 360°, но больше того, что может быть отображено экраном отображения HMD-устройства), другими словами, обеспечивающее эффект погружения содержимое может иметь более широкий участок по сравнению с участком экрана отображения HMD-устройства. Благодаря такому обеспечивающему эффект погружения содержимому зритель может быть погружен в виртуальный мир, отображаемый на HMD-устройстве, и может двигать своей головой для выбора части из всего содержимого на 360°, которую зритель хочет видеть.

На этапе S12 положение головы зрителя обнаруживается датчиком 145 положения, затем на этапе S14 часть содержимого на 360°, подлежащая отображению на HMD-устройстве, выбирается процессором 220. Часть содержимого на 360°, которую зритель хочет видеть, соответствует обнаруженному положению головы.

На этапе S16 положение взгляда глаз зрителя, на котором закреплено устройство 100 отображения, определяется датчиком 130 слежения за глазами. Обнаруженная информация выводится из датчика 130 в процессор 220 модуля 200 управления. На основе обнаруженной информации процессор 220 выполняет анализ для задания положения взгляда глаз зрителя на модуле 105 отображения, другими словами, для задания того, какой участок на модуле 105 отображения зритель наблюдает. Следует отметить, что этап S16 может выполняться в течение этапов S10-S14.

Альтернативно, на этапе S16 информация Представляющей Интерес Области (ROI) в содержимом может использоваться для определения положения взгляда глаз зрителя вместо обнаружения положения взгляда датчиком 130 слежения за глазами. В данном случае, участки Представляющей Интерес Области (ROI) в содержимом (каждом изображении или каждом кадре видеоролика) могут быть определены заранее специалистами по тестированию или любым известным выделенным программным обеспечением для анализа Представляющей Интерес Области (ROI) и связаны с содержимым через метаданные, находящиеся в содержимом. Участки Представляющей Интерес Области (ROI) в содержимом могут считаться положениями взгляда, так как зритель наиболее вероятно обратит внимание на участок Представляющей Интерес Области (ROI) в содержимом, и таким образом взгляд будет еще больше привлечен этими Представляющими Интерес Областями (ROI).

На этапе S18 процессор 220 считывает изображение или видеоролик, сохраненный в модуле 230 запоминающего устройства, и видоизменяет это изображение или видеоролик так, чтобы участок, имеющий информацию с более высокой плотностью изображения или видеоролика, мог быть сформирован в заданном положении взгляда на устройстве 105 отображения. Такое видоизменение изображения или видеоролика может быть выполнено посредством применения геометрического преобразования, которое соответствует функции обратного преобразования, применяемой оптическими компонентами 120 (Фиг.4). Затем, процессор 220 представляет видоизмененное содержимое изображения или видеоролика на устройстве 105 отображения.

На этапе S20 процессор 220 управляет приводами 115 для перемещения соответствующих оптических компонентов 120 в ответ на заданное положение взгляда на устройстве 105 отображения так, чтобы зритель мог видеть устройство 105 отображения через оптические компоненты 120. Например, увязка между положениями взглядов на устройстве 105 отображения и их соответственными соответствующими положениями оптических компонентов 120 может быть установлена заранее и сохранена в модуле 230 запоминающего устройства. В данном случае, процессор 220 предписывает приводам 115 переместить оптические компоненты 120 в положение, которое соответствует обнаруженному положению взгляда согласно увязке.

Так как оптические компоненты 120 применяют искажение T(I1), которое скомпенсирует преобразование, выполненное над изображением или видеороликом, представляемом на устройстве 105 отображения, то содержимое изображения или видеоролика, воспринимаемое зрителем через оптические компоненты 120, имеет более высокую плотность информации в положении взгляда по сравнению с периферией положения взгляда.

Этапы с S12 по S20 могут повторяться в течение представления содержимого изображения или видеоролика на устройстве 105 отображения, что обеспечивает возможность изменения участка с плотной информацией в изображении или видеоролике (участка содержимого изображения или видеоролика, имеющего более высокую плотность информации по сравнению с остальной частью содержимого) и положения оптических компонентов 120 в ответ на обнаруженное положение взгляда в реальном времени.

Согласно одному варианту осуществления плотность информации, доступная на участке взгляда на устройстве 105 отображения, может быть значительно увеличена, таким образом больше подробностей может быть предоставлено на данном участке. С другой стороны, так как острота зрения намного ниже в периферическом зрении, то ощущение погружения, привнесенное большим полем зрения, может быть сохранено.

Альтернативно, участок с плотной информацией в изображении или видеоролике и положения оптических компонентов 120 могут быть сделаны неподвижными, например, участок с плотной информацией в изображении или видеоролике может быть сделан неподвижным в центральном участке изображения или видеоролике на устройстве 105 отображения, и положения оптических компонентов 120 могут быть соответствующими положениями. В данном случае, вышеописанные этапы S12 и S16 могут быть опущены.

В другом альтернативном варианте осуществления на этапе S14 процессор 220 может видоизменить изображение или видеоролик, непосредственно принятые от внешнего устройства, и представить видоизмененное изображение или видеоролик на устройстве 105 отображения. В данном случае принятое содержимое изображения или видеоролика могут не сохраняться в модуле 230 запоминающего устройства.

Все примеры и условный язык, приведенные в данном документе, предназначены для пояснительных целей, чтобы помочь читателю понять изобретение и идеи, вносимые автором настоящего изобретения для пополнения уровня техники, и должны рассматриваться как неограниченные такими приведенными частными примерами и условиями, причем набор таких примеров в описании не относится к демонстрации превосходства и несовершенства данного изобретения.

Изобретение относится к вычислительной технике. Технический результат – обеспечение представления изображения на устройстве с оптимизацией перераспределения пикселей. Способ представления изображения на устройстве отображения включает: видоизменение изображения посредством применения геометрического преобразования к участку изображения; и представление изображения, к которому было применено геометрическое преобразование, на устройстве отображения, при этом участок, представленный на устройстве отображения, представляется зрителю через оптический компонент посредством применения обратного преобразования, соответствующего геометрическому преобразованию, которое было применено к изображению так, чтобы участок, к которому было применено геометрическое преобразованием, воспринимался как имеющий более высокую плотность пикселей по сравнению с частями, к которым не было применено геометрическое преобразование. 2 н. и 10 з.п. ф-лы, 10 ил.

1. Способ представления изображения на устройстве (100) отображения, включающий в себя этап, на котором:

видоизменяют изображение посредством применения геометрического преобразования к по меньшей мере одному участку изображения; и

представляют изображение, к которому было применено геометрическое преобразование, на устройстве отображения (S18),

при этом по меньшей мере один участок, представленный на устройстве отображения, представляется зрителю через оптический компонент (120) посредством применения обратного преобразования, соответствующего геометрическому преобразованию, которое было применено к изображению так, чтобы по меньшей мере один участок, к которому было применено геометрическое преобразованием, воспринимался как имеющий более высокую плотность пикселей по сравнению с частями, к которым не было применено геометрическое преобразование.

2. Способ по п. 1, при этом способ дополнительно включает в себя этапы, на которых:

определяют положение взгляда зрителя (S16); и

изменяют участок изображения на устройстве отображения, имеющий более высокую плотность пикселей, и положение оптического компонента в ответ на определенное положение взгляда (S18, S20).

3. Способ по п. 1, в котором положение участка изображения на устройстве отображения, имеющего более высокую плотность пикселей, фиксируется в предварительно определенном положении на устройстве отображения (S18).

4. Способ по любому из пп.1-3, в котором устройство отображения является закрепляемым на голове устройством отображения (HMD).

5. Способ по п. 4, в котором содержимое имеет более широкий участок по сравнению с тем, что может быть отображено на устройстве отображения, и при этом способ дополнительно включает в себя этапы, на которых:

обнаруживают положения головы зрителя (S12); и

выбирают часть изображения, подлежащую отображению на устройстве отображения, в ответ на обнаруженное положение головы (S14).

6. Устройство (100) отображения для представления изображения, содержащее, по меньшей мере, процессор (230), выполненный с возможностью:

видоизменения изображения посредством применения геометрического преобразования к по меньшей мере одному участку изображения; и

представляют изображение, к которому было применено геометрическое преобразование, на устройстве отображения(S18),

при этом по меньшей мере один участок, представленный на устройстве отображения, представляется зрителю через оптический компонент (120), посредством применения обратного преобразования, соответствующего геометрическому преобразованию, которое было применено к изображению так, чтобы по меньшей мере один участок, к которому было применено геометрическое преобразование, воспринимался как имеющий более высокую плотность пикселей по сравнению с частями, к которым не было применено геометрическое преобразование.

7. Устройство отображения по п. 6, при этом устройство отображения дополнительно содержит датчик (130) слежения за глазами, и в котором процессор дополнительно выполнен с возможностью:

определения положения взгляда зрителя совместно с датчиком слежения за глазами; и

изменения участка изображения на устройстве отображения, имеющего более высокую плотность пикселей, и положения оптического компонента в ответ на определенное положение взгляда.

8. Устройство отображения по п. 6, в котором процессор дополнительно выполнен с возможностью:

определения положения взгляда зрителя на основе информации интересующей области, содержащейся в содержимом; и

изменения участка изображения на устройстве отображения, имеющего более высокую плотность пикселей, и положения оптического компонента в ответ на определенное положение взгляда.

9. Устройство отображения по п. 7 или 8, при этом устройство отображения дополнительно содержит привод для перемещения оптического компонента, при этом положение оптического компонента изменяется посредством задействования привода в ответ на определенное положение взгляда.

10. Устройство отображения по п. 6, в котором положение участка изображения на устройстве отображения, имеющего более высокую плотность пикселей, зафиксировано в предварительно определенном положении на устройстве отображения.

11. Устройство отображения по любому из пп. 6-10, при этом устройство отображения является закрепляемым на голове устройством отображения (HMD).

12. Устройство отображения по п. 11, при этом устройство отображения дополнительно содержит датчик (145) положения для обнаружения положения головы зрителя, причем изображение имеет более широкий участок по сравнению с тем, что может быть отображено на устройстве отображения, и при этом процессор дополнительно выполнен с возможностью:

обнаружения положения головы зрителя совместно с датчиком положения; и

выбора части изображения, подлежащей отображению на устройстве отображения, в ответ на обнаруженное положение головы.