СПОСОБ И УСТРОЙСТВО ОБРАБОТКИ ЧАСТИ ВИДЕОСОДЕРЖИМОГО С ПОГРУЖЕНИЕМ В СООТВЕТСТВИИ С ПОЛОЖЕНИЕМ ОПОРНЫХ ЧАСТЕЙ Российский патент 2020 года по МПК H04N13/332 H04N13/111 G02B27/01 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее раскрытие относится к области псевдотактильной обратной связи, особенно при потреблении видеосодержимого с погружением, особенно с головными дисплеями (HMD) или мобильным устройством, таким как, например, планшет или смартфон.

УРОВЕНЬ ТЕХНИКИ

Видеосодержимое с погружением - это видеосодержимое, которое сделано для отображения вокруг пользователя, таким образом, чтобы у пользователя возникало чувство нахождения в середине содержимого. Видеосодержимое с погружением обычно воспроизводится в жеодах или пещерах. В таком устройстве, содержимое полностью проецируется на настенных экранах, и пользователь обнаруживает содержимое, поворачивая свою голову.

Головные дисплеи (HMD) являются устройствами отображения, носимыми на голове или в качестве части шлема, которые имеют маленькую оптику отображения напротив одного глаза (монокулярный HMD) или каждого глаза (бинокулярный HMD). Они преимущественно приспособлены для потребления содержимого с погружением. В таком устройстве отображается только часть видео. Отображаемая часть видеосодержимого обновляется в соответствии с положением головы пользователя посредством, например, встроенного блока измерения движения (включающего в себя гироскоп).

Такие устройства были первоначально предложены несколько десятилетий назад, но недавно, особенно вследствие развития экранов, их цены, а также их функционирование драматически изменилось. Появление таких устройств позволяет пользователю смотреть 4π стерадиан содержимого посредством поворотов головы. Если такой новый функционал может появиться в качестве реального улучшения в плане погружения в содержимое, в то время как пользователь смотрит только на часть содержимого, он/она может не смотреть в направлении, в котором он/она должен (должна) смотреть в данный момент. В самом деле, в то время как пользователь может смотреть вокруг себя, он/она может пропустить некоторые важные моменты повествования, потому что он/она смотрит на другую часть содержимого в тот момент, когда происходит событие повествования.

В соответствии с уровнем техники, известно, что форсирование панорамирования виртуальной камеры, чтобы заставить пользователя смотреть вперед в направлении, в котором он/она должен (должна) смотреть, является очень эффективным решением. Однако хорошо известно, что это решение имеет недостаток, который вызывает у большинства людей тошноту и, как следствие, ухудшает качество опыта пользователя.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Целью настоящего раскрытия является преодоление по меньшей мере одного из этих недостатков уровня техники.

Более конкретно, целью настоящего раскрытия является побудить пользователя смотреть определенную опорную часть видеосодержимого с погружением.

Настоящее раскрытие относится к способу обработки первой части видеосодержимого с погружением, содержащий этапы, на которых:

определяют первое расстояние между упомянутой первой частью и по меньшей мере одной опорной частью видеосодержимого с погружением,

обрабатывают версию упомянутой первой части, называемую ухудшенной версией, причем визуальное ухудшение применяют к упомянутой первой части для получения ухудшенной версии, причем упомянутая ухудшенная версия является визуально ухудшенной по отношению к видеосодержимому, причем чем больше первое расстояние, тем выше уровень визуального ухудшения.

В соответствии с конкретной характеристикой, первую часть разделяют на подчасти, определяют второе расстояние между каждой упомянутой подчастью и упомянутой по меньшей мере опорной частью, причем чем больше второе расстояние, тем выше уровень ухудшения каждой упомянутой подчасти.

Преимущественно, уровень ухудшения увеличивается с течением времени.

В соответствии со специфичной характеристикой, первое расстояние принадлежит к группе расстояний, содержащей:

В соответствии с конкретной характеристикой, первую часть разделяют на подчасти, определяют второе расстояние между каждой упомянутой подчастью и упомянутой по меньшей мере опорной частью, причем чем больше второе расстояние, тем выше уровень ухудшения каждой упомянутой подчасти.

Настоящее раскрытие также относится к устройству, выполненному с возможностью обработки первой части видеосодержимого с погружением, содержащему:

средство определения первого расстояния между упомянутой первой частью и по меньшей мере опорной частью,

средство обработки версии упомянутой первой части, называемой ухудшенной версией, причем упомянутая ухудшенная версия является визуально ухудшенной по отношению к видеосодержимому, причем чем больше упомянутое первое расстояние, тем выше уровень ухудшения.

Преимущественно, устройство дополнительно передает упомянутую ухудшенную версию устройству отображения.

Настоящее раскрытие также относится к устройству, выполненному с возможностью обработки первой части видеосодержимого с погружением, причем устройство содержит по меньшей мере один процессор, выполненный с возможностью:

определять первое расстояние между упомянутой первой частью и по меньшей мере опорной частью,

обрабатывать версию упомянутой первой части, называемую ухудшенной версией, причем упомянутая ухудшенная версия является визуально ухудшенной по отношению к видеосодержимому, причем чем больше упомянутое первое расстояние, тем выше уровень ухудшения.

Опционально, устройство дополнительно содержит передатчик, передающий упомянутую ухудшенную версию устройству отображения.

Настоящее раскрытие также относится к компьютерному программному продукту, содержащему инструкции кода программы для исполнения по меньшей мере одним процессором вышеупомянутого способа обработки части видеосодержимого с погружением, когда программа исполняется на компьютере.

Настоящее раскрытие также относится к (не временному) машиночитаемому носителю, на котором хранятся инструкции для побуждения процессора выполнить по меньшей мере вышеупомянутый способ обработки части видеосодержимого с погружением.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Настоящее раскрытие будет более понятным, и другие конкретные признаки и преимущества появятся при чтении нижеследующего описания, которое делает ссылку на приложенные чертежи, на которых:

Фиг. 1 схематически показывает первую часть видеосодержимого с погружением в соответствии с конкретным осуществлением настоящих принципов;

Фиг. 2 показывает положение первой части на Фиг. 1, положение опорной части внутри видеосодержимого с погружением, и первое расстояние между ними в соответствии с конкретным осуществлением настоящих принципов;

Фиг. 3А и 3В показывают взаимоотношение между первым расстоянием на Фиг. 2 и уровнем ухудшения для применения к первой части на Фиг. 1;

На Фиг. 4 уровень ухудшения на Фиг. 3А и 3В вычисляется для подчастей первой части на Фиг. 1 в соответствии с конкретным осуществлением настоящих принципов;

Фиг. 5 показывает способ обработки первой части на Фиг. 1 в соответствии с первым расстоянием на Фиг. 2 в соответствии с конкретным осуществлением настоящих принципов;

Фиг. 6 схематически показывает структуру системы, выполненной с возможностью обрабатывать первую часть на Фиг. 1, содержащую блок выбора видеочасти и блок ухудшения изображения, в соответствии с конкретным осуществлением настоящих принципов;

Фиг. 7 показывает структуру системы, выполненной с возможностью обрабатывать первую часть на Фиг. 1, в соответствии с конкретным осуществлением;

Фиг. 8 показывает способ обработки части видеосодержимого, реализованный в устройстве обработки на Фиг. 6 или Фиг. 7, в соответствии с конкретным осуществлением.

ПОДРОБНОЕ ОПИСАНИЕ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Изобретение теперь будет описано со ссылкой на чертежи, в которых схожие ссылочные позиции использованы для ссылки на схожие элементы. В нижеследующем описании в целях объяснения многочисленные конкретные подробности указаны для того, чтобы обеспечить надлежащее понимание изобретения. Следует понимать, что осуществления изобретения могут быть реализованы без этих конкретных подробностей.

Настоящие принципы будут описаны со ссылкой на конкретный пример способа обработки первой части видеосодержимого с погружением с помощью устройства частичного отображения, такого как HMD. Визуальное качество первой части ухудшается. По мере того, как уровень визуального ухудшения увеличивается вместе с расстоянием между первой частью и опорной частью, чем ближе к опорной части пользователь повернет свою голову в сторону опорной части, тем лучше будет качество его/ее опыта. Это ухудшение визуального качества опыта пользователя имеет преимущество, чтобы побудить его/ее смотреть в сторону опорной части, менее ухудшенной.

Фиг. 1 показывает конкретное осуществление видеосодержимого с погружением. Видео с погружением и прямоугольные видео имеют различную природу. Содержимое прямоугольного видео может рассматриваться в качестве функции, которая ассоциирует каждую плоскостную координату (х, у) в прямоугольном кадре, расположенном напротив пользователя, с представлением цвета. Видеосодержимое с погружением может рассматриваться в качестве функции, которая ассоциирует каждую полярную координату (θ, ϕ) в сферическом кадре, расположенном вокруг пользователя, с представлением цвета. В обоих случаях видео является временной последовательностью изображений, обычно называемых кадрами. Данные, репрезентативные для кадра, организуют в прямоугольник (10). Для прямоугольных видео преобразование является прямым. Этап обрезания является необходимым, когда прямоугольник данных имеет не такой же размер, как прямоугольник экрана. В случае с видеосодержимым с погружением, необходима функция отображения проекции, чтобы ассоциировать плоскостную координату в прямоугольнике данных с полярной координатой в сфере проекции. На Фиг. 1 режим отображения проекции является цилиндрическим. Видеосодержимое (10) с погружением проецируется в качестве цилиндра вокруг пользователя (11). Пользователь должен вращать свою голову вокруг с целью просмотра содержимого. Его/ее поле видимости не охватывает содержимое целиком. В соответствии с вариантом, режим отображения проекции является сферическим. В другом варианте режим отображения проекции является кубическим.

В случае устройств частичного отображения, таких как HMD, только часть (13) содержимого (10) с погружением отображается. Эта часть, называемая первой частью, соответствует полю видимости пользователя. В любое время пользователь направляет свое устройство в сторону направления (12), которое определяет отображаемую часть видеосодержимого с погружением.

В любое время сессии просмотра, получают по меньшей одну опорную часть видеосодержимого с погружением, эта по меньшей мере одна опорная часть имеет значительный уровень интереса или важности. Такая опорная часть является областью видеоизображения, меньшей, чем содержимое, и обычно меньшей, чем отображаемая часть. Опорная часть представлена благодаря любому известному формату описания двумерной геометрической формы. Например, это двумерная точка, расположенная в опорном кадре видеосодержимого с погружением. Другими примерами форм, используемых для представления таких опорных частей, являются прямоугольники и эллипсы (круги являются частными случаями эллипсов). Прямоугольники, например, описываются одной двумерной точкой, шириной и высотой. Эллипсы, с другой стороны, описываются одним центром и двумя радиусами или двумя центрами и одним радиусом. Описание формы опорной части не ограничено этими примерами, но может быть также описано любым описанием двумерной поверхности, например, как описано в форматах масштабируемой векторной графики (SVG) или языка разметки гипертекста 5 (HTML5).

В соответствии с конкретным примером, создатель содержимого указал, в пределах содержимого, по меньшей мере одну опорную часть на по меньшей мере один интервал времени в качестве события повествования, и он/она хочет, чтобы зритель не пропустил его. То есть он/она хочет побудить зрителя смотреть прямо в направлении этой опорной части. В первом варианте этого примера, набор опорной части является тем же самым от одной сессии просмотра к другой, независимо от того, что известно о пользователе. В соответствии с дополнительным вариантом этого примера, набор опорных частей зависит от профиля пользователя и меняется от одного пользователя к другому. Условия сессии просмотра содержимого, например, время дня, также являются параметрами, которые изменяют набор опорных частей. Другими словами, набор опорных частей для одного видеосодержимого с погружением меняется от одной сессии просмотра к другой.

В соответствии с другим примером, одна или несколько опорных частей определяются регионом алгоритма определения интересов. Такой алгоритм анализирует изображения видео для автоматического формирования некоторых регионов, которые оцениваются как более интересные или более важные для пользователя. Например, такой алгоритм вычисляет карту резкости изображений, чтобы обнаружить в высокой степени резкие области. Другой пример такого алгоритма обнаруживает движение в последовательности изображений, чтобы обнаружить движущиеся объекты. В соответствии с вариантом, параметры алгоритма зависят от профиля пользователя или от условий сессии просмотра. В этом варианте набор опорных частей для одного видеосодержимого с погружением отличается от одной сессии просмотра к другой.

Данные видеосодержимого независимо передаются от сервера или считываются из файла, хранимого на устройстве хранения, таком как диск или карта памяти. Линия связи, используемая для передачи видеосодержимого с погружением, может быть альтернативно проводной (основанная, например, на универсальной стандартной шине (USB) или мультимедийном интерфейсе высокой четкости (HDMI)) или беспроводной (например, Wi-Fi или Bluetooth). Видеосодержимое с погружением может также быть сформировано на ходу путем трехмерного механизма из описания трехмерной сцены в соответствии с положением виртуальной камеры, расположенной в этой трехмерной сцене. В соответствии с этим примером, первая часть (13) соответствует части трехмерной сцены, которую виртуальная камера захватывает в любой момент времени.

В соответствии с примером, описание формы и момента времени опорных частей вставляется альтернативно в видеосодержимое с погружением, в потоковые видеоданные или в видеофайл. В другом варианте кодирования этого примера, это описание обеспечивается вторым сервером или зарегистрировано в отдельном файле.

Фиг. 2 показывает пример видеосодержимого (10) с погружением, на котором часть (13), подлежащая отображению, является окном просмотра. Опорная часть (20) определена вне первой части. В этом примере она принимает форму эллипса. Опорная часть может соответствовать событию повествования, которое еще не случилось. В таком случае настоящие принципы имеют преимущество побудить пользователя смотреть в сторону опорной части при приготовлении происходящего.

Первое расстояние (21) вычисляется между первой частью и опорной частью. В соответствии с примером на Фиг. 2, первое расстояние (21) является евклидовым расстоянием между центрами опорной части, с одной стороны, и центром части, подлежащей отображению, с другой стороны. В соответствии с другим примером, каждая точка первой части связана с каждой точкой опорной части. Расстояние вычисляется для всех этих пар точек и первое расстояние (31) соответствует кратчайшему из них, как показано на Фиг. 3А и 3В. В соответствии с вариантом этого примера, первое расстояние соответствует среднему всех этих расстояний.

Первое расстояние преимущественно вычисляют каждый раз, когда обнаружено движение опорной части или движение отображаемой части. В другом варианте первое расстояние вычисляют более часто, например, для каждого видеокадра.

В соответствии с конкретным осуществлением, несколько опорных частей получают в одно и то же время. В конкретном варианте, первое расстояние является кратчайшим первым расстоянием между каждой опорной частью и первой частью, полученной благодаря одному из примеров, представленных выше. В соответствии с другим вариантом, первое расстояние является средним первых расстояний, полученных с помощью одного из предыдущих примеров.

Визуальное качество первой части ухудшают в соответствии с первым расстоянием. Как показано на Фиг. 3А и 3В, чем больше первое расстояние, тем выше уровень визуального ухудшения. Вследствие этого ухудшается качество опыта пользователя. Это ухудшение визуального качества первой части имеет преимущество побуждения пользователя смотреть в направлении опорной части, менее ухудшенной.

Визуальное ухудшение первой части преимущественно достигается с помощью любого способа визуального ухудшения, известного специалисту в данной области техники. Такой способ визуального ухудшения ухудшает качество визуального опыта пользователя. Визуальное ухудшение имеет параметр уровня. В соответствии с одним вариантом, параметр уровня изменяется от 0,0 (вообще нет изменения) до 1,0 (худшее качество первой части). Примером визуального ухудшения может быть затемнение цвета: цвета изображения не меняются на уровне 0 и постепенно затемняются до черного на уровне 1. Дополнительным примером такого способа является осветление цвета: цвета изображения постепенно осветляются до белого. В соответствии с другими вариантами такого способа визуального ухудшения, насыщение цветов изображения изменяется вверх или вниз. Размытие изображения или зашумление изображения являются другими примерами способа ухудшения изображения. Этот последний пример заключается во введении случайной вариации в информации яркости и/или цвета изображения. Чем больше вариации введено, тем выше уровень зашумления. На уровне 1 объекты, представленные на изображении, больше не могут быть идентифицированы. Пикселизация изображения и несколько способов сжатия изображения являются другими примерами визуального ухудшения. В соответствии с другим вариантом, уровень параметра ухудшения изменяется от 0 до 255 или от -100 до 100, например.

В соответствии с другим осуществлением, уровень ухудшения для данного первого расстояния увеличивается с течением времени. Например, сессия просмотра начинается опорной части, поскольку в данный момент отсутствует событие повествования. Через некоторое время определяют опорную часть, чтобы побудить пользователя смотреть в ее направлении. Если пользователь смотрит в другую сторону, то первое расстояние, называемое dist, является высоким. Уровень ухудшения, называемый lev, вычисляется для этого первого расстояния dist. Первая часть вообще не ухудшается в этот момент. С целью избежать неожиданного скачка в визуальном качестве первой части, в соответствии с этим осуществлением, уровень визуального ухудшения устанавливается в очень низкое значение, например, ноль. Затем уровень визуального ухудшения постепенно увеличивается для этого первого расстояния dist до уровня lev. Когда уровень ухудшения достигает уровня lev, он больше не увеличивается. Например, если выбранный способ ухудшения является затемнением цвета, то первая часть будет становиться темнее и темнее с течением времени для данного первого расстояния dist. Только уменьшение первого расстояния благодаря, например, движению головы пользователя в сторону опорной части ослабит этот эффект.

Фиг. 4 показывает другое осуществление настоящих принципов, в котором первая часть разделена на подчасти. Например, подчасти первой части имеют один пиксельный размер и организованы в регулярную сетку. В соответствии с другим примером, подчасти являются шестигранниками различных размеров. На Фиг. 4 первую часть (13) разделяют на прямоугольные подчасти (например, 40 и 41). Второе расстояние вычисляют для каждой подчасти (например, 42 и 43). Второе расстояние вычисляют путем использования любого способа, использованного для вычисления первого расстояния. На Фиг. 4 подчасть (40) находится дальше от опорной части, чем подчасть (41). Уровень визуального ухудшения является более высоким для подчасти (40), чем для подчасти (41). В этом примере, чем правее и ниже подчасть в первой части (13), тем выше уровень ухудшения. Это создает градиент визуального качества первой части. Это осуществление, самостоятельно или вместе с постепенным увеличением уровня визуального ухудшения, как описано выше, имеет преимущество появления в качестве волны, которая ведет пользователя к направлению его/ее взгляда в сторону менее ухудшенной подчасти первой части и бессознательному повороту его/ее головы в направлении опорной части.

Этот же способ расстояния преимущественно используется для вычисления второго расстояния каждой подчасти с целью сохранения соответствия. В соответствии с вариантом, другой способ вычисления расстояния используется для по меньшей мере двух подчастей. Этот вариант, однако, вызывает несоответствие в наборе расстояний и в уровне ухудшения подчастей.

Фиг. 6 схематически показывает первое аппаратное осуществление устройства (60), выполненного с возможностью обрабатывать первую часть видеосодержимого. Устройство (60) содержит по меньшей мере блок (61) выбора видеочасти, блок (62) ухудшения изображения и контроллер (63). Преимущественно, система соединена с устройством (64) отображения, на которое передается первая часть. В соответствии с конкретным осуществлением, устройство (60) является HMD или планшетом, или смартфоном. В этом случае, одним из контроллеров является система инерционного сенсора HMD. Система инерционного сенсора содержит, например, три гироскопа, один для высоты, один для поворота и один для наклона. В соответствии с другим осуществлением, контроллер содержит по меньшей мере один инерциальный блок измерения (IMU). В другом примере устройство (60) является телевизионной приставкой или персональным компьютером, а контроллер является джойстиком, игровым планшетом, мышью, пультом удаленного управления или клавиатурой. В некоторых вариантах используют камеры для определения положения устройства управления в пространстве. Блок (62) ухудшения изображения выполнен с возможностью принимать и передавать данные, репрезентативные для части видео с погружением, представленные в качестве изображения или последовательности изображений, например, через беспроводную линию связи. В соответствии с другим примером, блок (62) ухудшения изображения выполнен с возможностью принимать и передавать данные по проводной линии связи, например, в соответствии со стандартом USB или HDMI.

Фиг. 7 схематически показывает второе аппаратное осуществление устройства (70). В этом примере устройство (70) содержит следующие элементы, соединенные друг с другом с помощью шины (76) адресов и данных, которая также передает тактовый сигнал:

микропроцессор (71) (или CPU),

графический адаптер (72), содержащий:

несколько блоков графической обработки (или GPU) (720),

графическая память со случайным доступом (GRAM) (721),

энергонезависимая память типа ROM (постоянное запоминающее устройство) (73),

память со случайным доступом или RAM (74),

контроллеры (63) (например, IMU),

одно или несколько устройств (75) I/O (ввода/вывода), такие как, например, тактильный интерфейс, мышь, веб-камера и так далее и

источник питания (77).

Преимущественно, устройство (70) соединено с одним или несколькими устройствами (64) отображения типа экрана дисплея напрямую с графическим адаптером (72) для отображения изображений, вычисленных в графическом адаптере.

Следует отметить, что слово «зарегистрировать», использованное в описании памяти (721), (73) и (74), обозначает в каждом из упомянутых модулей памяти область памяти низкой емкости (некоторые бинарные данные), а также область памяти большой емкости (позволяя хранение целой программы или всех или части данных, репрезентативных для данных, вычисляемых или подлежащих отображению).

Будучи включенным, микропроцессор (71) загружает и исполняет инструкции программы, хранимой в RAM (74).

Память (74) со случайным доступом, главным образом, содержит:

в регистре (740), программу функционирования микропроцессора (71), ответственную за включение устройства (70),

данные (741), представляющие изображение (изображения) видеосодержимого с погружением (например, данные RGB или данные YUV),

информацию (742), представляющую опорные части, связанные с метками времени видеосодержимого.

В соответствии с одним конкретным осуществлением, алгоритмы, реализующие этапы способа, конкретного для настоящего раскрытия, и описанные далее, преимущественно хранятся в памяти GRAM (721) графического адаптера (72), связанного с устройством (70), реализующим эти этапы. Будучи включенным, и как только данные (741) и информация (742) загружены в RAM (74), графические процессоры (720) графического адаптера (72) загружают эти параметры в GRAM (721) и исполняют инструкции этих алгоритмов в форме микропрограмм типа «шейдер», использующих, например, язык HLSL (высокоуровневый язык шейдеров) или GLSL (язык шейдинга OpenGL).

Память (721) со случайным доступом GRAM, главным образом, содержит данные, репрезентативные для отображаемой части видеосодержимого в регистре (7210).

В соответствии с другим вариантом, часть RAM (74) назначают CPU (71) для хранения алгоритмов. Этот вариант, однако, имеет следствием более высокое время задержки при составлении изображения, поскольку данные должны быть переданы от памяти (74) со случайным доступом к графическому адаптеру (72), проходя шину (76), для которой пропускная способность обычно хуже, чем та, которая доступна в графическом адаптере для передачи данных от GPU к GRAM и наоборот.

В соответствии с другим вариантом, источник (77) питания является внешним по отношению к устройству (70).

Фиг. 5 схематически показывает первое осуществление способа, реализованного в устройстве обработки, таком как устройства (60) или (70), в соответствии с неограничивающим преимущественным осуществлением.

Способ принимает два набора данных в качестве ввода: первую часть (13), представляющую часть видеосодержимого с погружением, и опорную часть (20) того же самого видеосодержимого с погружением. Первая часть и опорная часть связаны с описанием их положения и формы внутри опорного кадра видеосодержимого с погружением.

Первый этап (51) состоит в определении первого расстояния между первой частью и опорной частью. В соответствии с преимущественным вариантом, первое расстояние является скалярным значением, нормализованным между 0,0 и 1,0. В соответствии с другим вариантом, первое расстояние измеряется в пикселах или является угловым расстоянием, измеряемым в градусах или в радианах. Результат этапа (51) используется вторым этапом (52). На этапе (52) уровень визуального ухудшения вычисляется в соответствии с обеспеченным первым расстоянием: чем больше первое расстояние, тем выше уровень визуального ухудшения. В соответствии с этим уровнем, изображения первой части визуально ухудшают. Этап (52) использует любой из способов ухудшения визуального качества, описанных выше. На этом этапе получают ухудшенную версию (53) изображения первой части.

Фиг. 8 схематически показывает второе осуществление способа, реализованного в устройстве обработки, таком как устройство (60) или (70), в соответствии с неограничивающим преимущественным осуществлением.

Во время этапа (80) инициализации обновляют различные параметры устройства (60) или (70) обработки. В частности, параметры, специфические для контроллеров, инициализируют любым способом. Например, если устройство (60) или (70) является HMD, самый первый набор из трех углов определяют путем сравнения положения устройства с опорным направлением мира в опорном фиксированном кадре мира. Этот опорный кадр использует, например, горизонтальную и вертикальную ось с азимутом, направленным в сторону Севера, например, или в сторону связанной камеры. Первоначально не определяют опорной части. Другими словами, отсутствует опорная часть, побуждающая пользователя смотреть в сторону самого запуска приложения.

Видеосодержимое с погружением связано с режимом отображения проекции, например, цилиндрическим (как показано на Фиг. 1), кубическим или сферическим. Этот режим отображения проекции определяет опорное направление содержимого в своем собственном опорном кадре. В соответствии с вариантом, устанавливается связь между этим опорным направлением содержимого и опорным направлением мира, выбранным во время этапа (80) инициализации.

Во время этапа (81) выбирают первую часть видеосодержимого в соответствии с параметрами контроллера. Первый раз при исполнении этого этапа используют значения этих параметров по умолчанию. Параметры контроллера используют на этом этапе для определения положения первой части в кадре видеосодержимого с погружением. В осуществлении, в котором дисплей является внутренним элементом устройства (60) или (70), такого как HMD, в соответствии с этим положением, с одной стороны, и характеристиками (например, формой и полем зрения) экранов отображения, с другой, первую часть видеосодержимого с погружением «вырезают» и выбирают. В соответствии с вариантом, этот этап исполняют, когда событие (82) обнаруживает по меньшей мере один из контроллеров. Например, если пользователь использует джойстик для просмотра видеосодержимого с погружением, этап (81) исполняют, когда пользователь управляет своим джойстиком. В соответствии с другим вариантом, если устройство (60) или (70) является HMD, то этап (81) исполняют, когда изменение положения HMD обнаруживается, например, его инерциальным блоком измерения. В соответствии с другим вариантом, этап (81) исполняют более часто, например, для каждого кадра видеосодержимого с погружением. Исполнение этапа (81) автоматически вызывает исполнение следующего этапа (83).

Во время этапа (83), исполняют оба этапа способа, показанного на Фиг. 5. Определяют первое расстояние между первой частью и опорной частью и ухудшают качество первой части. На этом этапе (83) вычисляют уровень ухудшения в соответствии с первым расстоянием: чем больше первое расстояние, тем выше уровень визуального ухудшения. Если опорная часть отсутствует, то первое расстояние устанавливается в ноль. Вследствие этого, изображение вообще не ухудшают. В противном случае, вычисляют первое расстояние между частью, подлежащей отображению, и опорной частью. В соответствии с конкретным примером, это первое расстояние является кратчайшим евклидовым расстоянием в опорном кадре видеосодержимого с погружением между центром, например, центром масс, первой части и центром, в качестве другого примера, центром тяжести, опорной части. В соответствии с другим осуществлением, это первое расстояние является кратчайшим расстоянием между любой точкой первой части и любой точкой опорной части. Как только первое расстояние вычислено, выбирают уровень ухудшения, следуя принципу: чем больше первое расстояние, тем выше уровень ухудшения. Этот выбор зависит от средств, выбранных для визуального ухудшения изображения. В соответствии с одним вариантом, цвет первой части затемняют. В соответствии с другим вариантом, некоторый шум вводится в часть, подлежащую отображению, как показано на Фиг. 3А и 3В. На этапе (83) отображаемую часть визуально ухудшают с использованием выбранного средства ухудшения.

В любое время опорная часть может измениться (84). Такое изменение, например, получают в пределах потока данных содержимого. В соответствии со вторым примером, эту информацию получают от удаленного сервера. В соответствии с третьим примером, опорную часть определяют посредством региона алгоритма определения интереса. В этом примере соответствующую информацию получают благодаря анализу последовательности изображений видеосодержимого с погружением посредством такого алгоритма. Программа для исполнения такого алгоритма обнаружения региона интереса преимущественно хранится в регистре GRAM (621) устройства (70) или, в соответствии с вариантом, загружается в регистр RAM (64). Когда обнаруживают изменение опорной части, исполняют этап (83).

В соответствии с другим осуществлением, уровень ухудшения для данного первого расстояния увеличивается с течением времени. Например, сессия просмотра начинается без опорной части, потому что в этот момент отсутствует событие повествования. Через некоторое время определяют опорную часть, чтобы побудить пользователя смотреть в ее направлении. Если пользователь смотрит в другом направлении, то первое расстояние, называемое dist, является высоким. Вычисляют уровень ухудшения, называемый lev, для этого расстояния dist. Первую часть не ухудшают вообще в этот момент. Чтобы избежать неожиданного скачка в визуальном качестве первой части, в соответствии с этим осуществлением, уровень визуального ухудшения устанавливают равным очень низкому значению, например, нулю. Затем уровень визуального ухудшения постепенно увеличивают для этого первого расстояния dist до уровня lev. Когда уровень ухудшения достиг уровня lev, он больше не увеличивается. Например, если выбранным способом ухудшения является пикселизация, то первая часть будет становиться более и более пикселированной с течением времени для данного первого расстояния dist. Например, когда устройство (60) или (70) является HMD, только движение головы пользователя (то есть событие (63) контроллера) в сторону опорной части может ослабить этот эффект путем запуска этапа (81) и, как следствие, этапа (83).

В соответствии с другим осуществлением, на этапе (83) первую часть разделяют на подчасти. В соответствии с вариантом, подчасти имеют один пиксельный размер и организованы в регулярную сетку. В соответствии с другим вариантом, подчасти являются квадратами различных размеров, причем множество квадратов покрывает всю область видеосодержимого с погружением. Второе расстояние вычисляют для каждой подчасти на этом этапе (83). Второе расстояние определяют посредством использования одного из расстояний, описанных для первого расстояния. В соответствии с одним вариантом, то же самое расстояние используется для вычисления второго расстояния каждой подчасти в целях единообразия. Этот вариант этапа (83) реализуют отдельно или в объединении с вариантом, в котором уровень визуального ухудшения постепенно увеличивается.

Очевидно, что настоящее раскрытие не ограничено настоящим описанными осуществлениями.

В частности, настоящее раскрытие не ограничено способом обработки видеосодержимого с погружением, но также распространяется на любой способ отображения обработанной первой части и на любое устройство, реализующее этот способ отображения. Реализация вычислений, необходимых для формирования первой части и подчастей, также не ограничена реализацией микропрограмм шейдерного типа, но также распространяется на реализацию любого программного типа, например, программ, которые могут быть исполнены микропроцессором типа CPU. Использование способов настоящего раскрытия не ограничено использованием в режиме реального времени, но также распространяется на любое другое использование, например, на обработку, известную как обработку постпроизводства в студии записи.

Реализации, описанные в настоящем документе, могут быть реализованы в, например, способе или процессе, устройстве, программе, потоке данных или сигнале. Даже если обсуждаются только в контексте единой формы реализации (например, обсуждаются только в качестве способа или устройства), реализация описанных признаков может быть также реализована в других формах (например, программы). Устройство может быть реализовано, например, в подходящем аппаратном средстве, программном обеспечении или программно-аппаратном средстве. Способы могут быть реализованы в, например, устройстве, таком как, например, процессор, который относится к устройствам обработки в целом, включающим в себя, например, компьютер, микропроцессор, интегральную схему или устройство с программируемой логикой. Процессоры также включают в себя устройства связи, такие как, например, смартфоны, планшеты, компьютеры, мобильные телефоны, портативные/персональные цифровые помощники (PDA) и другие устройства, которые облегчают передачу информации между конечными пользователями.

Реализации различных способов и признаков, описанных в настоящем документе, могут быть осуществлены во множестве различных оборудований или приложений, в частности, например, оборудовании или приложениях, связанных с кодированием данных, декодированием данных, формированием вида, обработкой текстур и другими видами обработки изображений и связанной информации текстур и/или информации глубины. Примеры такого оборудования включают в себя кодер, декодер, постпроцессор, обрабатывающий вывод из декодера, препроцессор, обеспечивающий ввод на кодер, видеокодер, видеодекодер, видеокодек, веб-сервер, телевизионную приставку, ноутбук, персональный компьютер, сотовый телефон, PDA и другие устройства связи. Следует понимать, что оборудование может быть мобильным и даже установленным на мобильное средство передвижения.

Дополнительно способы могут быть реализованы посредством инструкций, выполняемых процессором, и такие команды (и/или значения данных, полученные реализацией) могут быть сохранены на машиночитаемом носителе, таком как, например, интегральная схема, носитель программного обеспечения или другое устройство хранения, такое как, например, жесткий диск, компактная дискета («CD»), оптический диск (такой как, например, DVD, часто называемым цифровым гибким диском или цифровым видеодиском), память со случайным доступом («RAM») или энергонезависимая память («ROM»). Инструкции могут формировать программу приложения, материально воплощенную на машиночитаемом носителе. Инструкции могут быть, например, в форме аппаратного обеспечения, программно-аппаратного обеспечения, программного обеспечения или комбинации. Инструкции могут быть найдены, например, в операционной системе, отдельном приложении или их комбинации. Процессор может быть характеризован, следовательно, в качестве, например, и устройства, выполненного с возможностью выполнять процесс, и устройства, которое включает в себя машиночитаемый носитель (такой как устройство хранения), имеющий инструкции для выполнения процесса. Дополнительно, машиночитаемый носитель может хранить, в дополнение или вместо инструкций, значения данных, полученные посредством реализации.

Как будет понятно специалисту в данной области техники, реализации могут произвести множество сигналов, отформатированных, чтобы переносить информацию, которая может быть, например, сохранена или передана. Информация может включать в себя, например, инструкции для выполнения способа или данные, полученные посредством одной или нескольких описанных реализаций. Например, сигнал может быть отформатирован для переноса в качестве данных правил для записи или считывания синтаксиса описанного осуществления или переноса в качестве данных фактических синтаксис-значений, записанных описанным осуществлением. Такой сигнал может быть отформатирован, например, в качестве электромагнитной волны (например, использующей часть радиочастоты спектра) или в качестве сигнала опорной полосы частот. Форматирование может включать в себя, например, кодирование потока данных и модулирование несущей с помощью потока закодированных данных. Информация, которую переносит сигнал, может быть, например, аналоговой или цифровой информацией. Сигнал может передаваться по множеству различных проводных или беспроводных линий связи, как это известно. Сигнал может храниться на машиночитаемом носителе.

Описано несколько реализаций. Несмотря на это, следует понимать, что могут быть сделаны различные модификации. Например, элементы различных реализаций могут быть объединены, добавлены, изменены или удалены для получения других реализаций. Дополнительно, специалисту в данной области техники будет понятно, что другие структуры и способы могут быть заменены на те, которые раскрыты, и получившиеся реализации будут выполнять, по меньшей мере, по существу, ту же самую функцию (функции), по меньшей мере, по существу, тем же самым способом (способами), чтобы достичь, по меньшей мере, по существу, того же самого результата (результатов), как и в раскрытых реализациях. Соответственно, эти и другие реализации являются предусмотренными настоящей заявкой.

Изобретение относится к области псевдотактильной обратной связи, особенно при потреблении видеосодержимого с погружением в головных дисплеях (HMD) или мобильных устройствах, которое сделано для отображения вокруг пользователя, таким образом, чтобы у пользователя возникало чувство нахождения в середине содержимого. Техническим результатом является обеспечение пользователя возможностью смотреть определенную опорную часть видеосодержимого с погружением. Предложен способ обработки первой части (13) видеосодержимого (10) с погружением, например части, подлежащей отображению на клиентском устройстве, чтобы побудить пользователя посмотреть в сторону опорной части (20) в видеосодержимом с погружением. Способ содержит этапы: определяют расстояние между первой частью или подчастями первой части (40, 41) и по меньшей мере опорной частью, и обрабатывают визуально ухудшенную версию первой части или ее подчастей, причем чем больше расстояние (42, 43), тем выше уровень визуального ухудшения. 2 н. и 13 з.п. ф-лы, 9 ил.

1. Способ отображения части (13) изображения видеосодержимого (10) с погружением на экране устройства головного дисплея, причем отображаемая часть меньше изображения, причем указанная часть определяется как функция ориентации устройства головного дисплея, причем указанная ориентация определяется из параметров, полученных от по меньшей мере одного контроллера устройства головного дисплея; способ отличается тем, что содержит этапы, на которых:

получают по меньшей мере одну опорную часть упомянутого изображения;

определяют первое расстояние (21, 31) между упомянутой частью (13) и по меньшей мере одной опорной частью (20) изображения;

обрабатывают версию упомянутой первой части (13), называемую ухудшенной версией (53), путем ухудшения визуального качества упомянутой первой части в соответствии с упомянутым первым расстоянием (21, 31), причем чем больше первое расстояние (21, 31), тем выше уровень визуального ухудшения,

отображают упомянутую ухудшенную версию (53) части на упомянутом экране.

2. Способ по п. 1, в котором упомянутую часть (13) разделяют на подчасти (40, 41), определяют второе расстояние (42, 43) между каждой упомянутой подчастью и упомянутой по меньшей мере одной опорной частью (20), причем чем больше второе расстояние (42, 43), тем выше уровень ухудшения каждой упомянутой подчасти (40, 41).

3. Способ по п. 1 или 2, в котором упомянутый уровень ухудшения увеличивается с течением времени.

4. Способ по п. 1 или 2, в котором упомянутое первое расстояние (31) принадлежит к группе расстояний, содержащей: евклидово расстояние между центром упомянутой части и центром упомянутой по меньшей мере опорной части, кратчайшее евклидово расстояние среди набора расстояний между любой точкой упомянутой по меньшей опорной части и любой точкой упомянутой части, среднее евклидово расстояние расстояний между любой точкой упомянутой по меньшей мере опорной части и любой точкой из упомянутой части.

5. Способ по п. 1 или 2, в котором визуальное ухудшение упомянутой первой части принадлежит к группе визуальных ухудшений, содержащих: размытие, снижение или повышение затемнения цветов, снижение или повышение насыщения цветов, зашумление, пикселизацию.

6. Способ по п. 1 или 2, в котором упомянутое первое расстояние (31) определяют в соответствии с несколькими опорными частями.

7. Способ по п. 1 или 2, дополнительно содержащий этап, на котором передают упомянутую ухудшенную версию (53) на устройство отображения.

8. Способ по п. 1 или 2, в котором положение упомянутой первой части (13) управляется пользователем через устройства (63) управления.

9. Устройство (60, 70), выполненное с возможностью отображения части (13) изображения видеосодержимого (10) с погружением на экране устройства головного дисплея, причем отображаемая часть меньше изображения, причем устройство выполнено с возможностью определения упомянутой части как функции ориентации устройства головного дисплея, причем указанная ориентация определяется из параметров, полученных от по меньшей мере одного контроллера устройства головного дисплея, отличающееся тем, что устройство содержит:

средство получения по меньшей мере одной опорной части упомянутого изображения;

процессор, выполненный с возможностью определения первого расстояния между упомянутой частью и по меньшей мере опорной частью,

процессор, выполненный с возможностью обработки версии упомянутой части, называемой ухудшенной версией, путем ухудшения визуального качества упомянутой части в соответствии с упомянутым первым расстоянием, причем чем больше первое расстояние, тем выше уровень ухудшения,

процессор, выполненный с возможностью отображения упомянутой ухудшенной версии части на упомянутом экране.

10. Устройство по п. 9, в котором упомянутую часть разделяют на подчасти, определяют второе расстояние между каждой упомянутой подчастью и упомянутой по меньшей мере одной опорной частью, причем чем больше второе расстояние, тем выше уровень ухудшения каждой упомянутой подчасти.

11. Устройство по п. 9 или 10, в котором упомянутый уровень ухудшения увеличивается с течением времени.

12. Устройство по п. 9 или 10, в котором упомянутое первое расстояние принадлежит к группе средств вычисления расстояний, содержащей: евклидово расстояние между центром упомянутой части и центром упомянутой по меньшей мере опорной части, кратчайшее или среднее евклидово расстояние между любой точкой упомянутой по меньшей мере опорной части и любой точкой упомянутой первой части.

13. Устройство по п. 9 или 10, в котором визуальное ухудшение упомянутой части принадлежит к группе визуальных ухудшений, содержащих: размытие, снижение или повышение затемнения цветов, снижение или повышение насыщения цветов, зашумление, пикселизацию.

14. Устройство по п. 9 или 10, в котором упомянутое первое расстояние определяют в соответствии с несколькими опорными частями.

15. Устройство по п. 9 или 10, дополнительно содержащее передачу упомянутой ухудшенной версии на устройство отображения.