УСТРОЙСТВО И СПОСОБ ФОРМИРОВАНИЯ ДВОИЧНОГО ПОТОКА ДАННЫХ ИЗОБРАЖЕНИЯ Российский патент 2022 года по МПК H04N19/597 H04N19/166 H04N13/161 H04N21/218 H04N21/81 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к формированию двоичного потока данных изображения и, в частности, но не исключительно, к формированию двоичного потока данных изображения, обеспечивающего адаптивное трехмерное представление сцены.

УРОВЕНЬ ТЕХНИКИ

Благодаря непрерывному развитию и введению новых услуг и способов использования и потребления видео в последние годы произошел значительный рост разнообразия и диапазона приложений для изображений и видео.

Например, одной из набирающих все большую популярность услуг является предоставление последовательностей изображений таким образом, чтобы зритель мог активно и динамически взаимодействовать с системой для изменения параметров отрисовки. Весьма привлекательной особенностью многих приложений является возможность изменения эффективного положения обзора и направления обзора (позы обзора) зрителя, чтобы, например, зритель мог перемещаться и «оглядываться вокруг» в представляемой сцене.

Такая функция может, в частности, давать пользователю ощущение виртуальной реальности. Благодаря этому пользователь может (относительно) свободно передвигаться в виртуальной среде и динамически изменять свое положение и направление, в котором он смотрит. Как правило, такие приложения виртуальной реальности основаны на трехмерной модели сцены, причем модель динамически оценивается для обеспечения конкретного запрошенного вида. Данный подход хорошо известен, например, из игровых приложений для компьютеров и консолей, например, из категории шутеров от первого лица.

Также желательно, в частности, для приложений виртуальной реальности, чтобы представляемое изображение было трехмерным изображением. Действительно, для оптимизации погружения зрителя, как правило, предпочтительно, чтобы пользователь ощущал представленную сцену как трехмерную сцену. Ведь ощущение виртуальной реальности предпочтительно должно позволять пользователю выбирать свое собственное положение, точку обзора камеры и момент времени относительно виртуального мира.

Главная проблема в поддержке различных услуг, основанных, в частности, на трехмерных, представлениях сцены, заключается в том, что требуется большой объем данных. Это приводит к высоким требованиям к ресурсам, таким как потребность в больших ресурсах хранилища. Однако во многих ситуациях самым большим ограничением являются не требования к хранению и обработке, а требования к обмену данными. Если требуется, чтобы данные, представляющие сцену, передавались по каналу связи с ограниченной полосой пропускания (будь то внутренний или внешний), крайне желательно попытаться уменьшить объем данных, подлежащих передаче.

Например, во многих ситуациях и многих приложениях может быть использован подход «клиент-сервер», в котором удаленный клиент, исполняющий, например, приложение виртуальной реальности, соединен с центральной службой, которая предоставляет требуемые данные сцены по линии связи с ограниченной полосой пропускания. Однако многовидовое представление будет, как правило, связано с высокой скоростью передачи битов (даже без информации о глубине требуется высокая скорость передачи битов, и в действительности она может быть даже еще выше в этом случае, поскольку потребуются больше видов). Например, воспроизведение виртуальной реальности со свободой движения потребует разных видов сцены при скорости, с которой наблюдатель движется через 3D-пространство. Проблема обеспечения достаточных данных по такому каналу связи весьма сложна для решения на практике.

Для эффективной потоковой передачи информации о 3D-геометрии и текстуре по каналам связи с ограниченной полосой пропускания, в особенности для использования в сетях, таких как Интернет, были предложены несколько форматов. Например, стандарт формата всенаправленного медиа (Omnidirectional MediA Format, OMAF) MPEG будет включать потоковую передачу мозаичных элементов 360-градусного видео (3 степени свободы - Degrees of Freedom, DoF)) с использованием динамической адаптивной потоковой передачи данных по HTTP (MPEG DASH). Ожидается, что будущая версия OMAF будет поддерживать ограниченный параллакс при перемещении (3DoF+).

Как упоминалось, на практике наиболее актуальной проблемой в многовидовом представлении с кодированием глубины часто являются не потребности в хранении, а, скорее, ширина полосы пропускания и задержка передачи. Чтобы восприятие было плавным, изображения должны во время поступать в гарнитуру. Тем не менее, хотя разработанные форматы и кодировки направлены на уменьшение скорости передачи данных, она все еще остается, как правило, основным ограничением для качества изображения и восприятия пользователя, которые могут быть достигнуты на стороне клиента.

Следовательно, усовершенствованный подход к формированию и использованию двоичных потоков данных изображения был бы полезен. В частности, был бы полезен подход, который позволяет улучшать работу, спосбствовать работе, улучшать представление сцены, повышать гибкость, спосбствовать реализации, спосбствовать работе, уменьшать объем данных, снижать требования к ресурсам хранения, распределения и/или обработки данных, улучшать адаптируемость и/или улучшать производительность.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Соответственно, настоящее изобретение направлено предпочтительно на ослабление, смягчение или устранение одного или более из вышеупомянутых недостатков по отдельности или в любой комбинации.

Согласно аспекту настоящего изобретения предложено устройство для формирования двоичного потока данных изображения, содержащее: хранилище для хранения набора частей изображения и связанных данных глубины, представляющих сцену из различных поз обзора; процессор прогнозирования для формирования мер прогнозирования для частей изображения набора частей изображения для поз обзора сцены, причем мера прогнозирования для первой части изображения для первой позы обзора указывает на оценку качества прогнозирования для прогнозирования по меньшей мере части изображения для окна просмотра первой позы обзора на основе первого подмножества частей изображения набора частей изображения, не содержащего первую часть изображения; селектор для выбора второго подмножества частей изображения набора частей изображения в ответ на меры прогнозирования и генератор двоичного потока для формирования двоичного потока изображения, содержащего данные изображения и данные глубины из второго подмножества частей изображения, причем селектор выполнен с возможностью выбора множества смежных частей изображения в ответ на определение того, что множество смежных частей изображения образуют область, имеющую меру прогнозирования ниже первого порогового значения для внутренней части области и меру прогнозирования выше второго порогового значения для пограничной части области.

Настоящее изобретение может обеспечивать улучшенное формирование двоичного потока, обеспечивающее представление сцены, такое как, например, обеспечивающее адаптивное трехмерное представление сцены, например, для приложений виртуальной реальности. Данный подход может обеспечивать снижение сложности во многих ситуациях. Во многих ситуациях он может обеспечить существенное снижение скорости передачи данных для двоичного потока и/или улучшенное качество. Во многих ситуациях может быть достигнут улучшенный компромисс между качеством/скоростью передачи данных.

Мера прогнозирования для части изображения и позы обзора может указывать на качество прогнозирования части изображения для изображения сцены для той позы обзора, в которой выполняют прогнозирование в пределах использования части изображения, для которой определяют меру прогнозирования.

Связанные данные глубины для части изображения могут быть данными глубины, которые указывают на расстояния от точки обзора для части изображения до объектов на части изображения.

В соответствии с дополнительной особенностью настоящего изобретения процессор прогнозирования выполнен с возможностью формирования меры прогнозирования для первой части изображения, как указывающей на качество прогнозирования для прогнозирования первой части изображения.

Это может обеспечить особенно эффективную и высокопроизводительную работу во многих ситуациях и вариантах реализации. Это может обеспечить улучшенную адаптацию двоичного потока к конкретным свойствам сцены и/или использованию двоичного потока.

Мера прогнозирования для первой части изображения может указывать на качество прогнозирования первой части изображения на основе одной или более других частей изображения сохраненного набора частей изображения.

В соответствии с дополнительной особенностью настоящего изобретения первое подмножество частей изображения содержит только части изображения, уже включенные в двоичный поток.

Это может обеспечить особенно эффективную и высокопроизводительную работу во многих ситуациях и вариантах реализации и может, в частности, обеспечить подход, в котором части изображения предоставляют по мере и в случае необходимости дополнительных данных, чтобы приемник двоичного потока синтезировал изображения вида достаточного качества.

В соответствии с дополнительной особенностью настоящего изобретения селектор также выполнен с возможностью выбора второго подмножества частей изображения в ответ на меру видимости для набора частей изображения для целевой позы обзора, причем мера видимости для части изображения указывает, насколько близка часть изображения к окну просмотра для целевой позы обзора.

Это может обеспечить особенно эффективную и высокопроизводительную работу во многих ситуациях и вариантах реализации. Это может обеспечить улучшенную адаптацию формирования двоичного потока к конкретным свойствам сцены и/или использованию двоичного потока.

В соответствии с дополнительной особенностью настоящего изобретения по меньшей мере некоторые из набора частей изображения, хранящегося в хранилище, являются предварительно закодированными частями изображения.

Это может обеспечить особенно эффективный подход и может существенно снизить требования к вычислительным возможностям устройства для формирования двоичного потока. Например, части изображения могут быть закодированы один раз, и затем сохраненные закодированные части изображения могут быть использованы повторно при каждом последующем формировании двоичного потока.

Устройство может быть выполнено с возможностью извлечения закодированных частей изображения из хранилища и включения их в двоичный поток без всякого кодирования изображения или перекодирования части изображения.

В соответствии с дополнительной особенностью настоящего изобретения набор частей изображения содержит грани многогранных проекций сцены для различных поз обзора.

Это может обеспечить особенно эффективную и высокопроизводительную работу во многих ситуациях и вариантах реализации. Это может также обеспечить совместимость со многими другими алгоритмами обработки изображения.

В соответствии с дополнительной особенностью настоящего изобретения части изобретения соответствуют заданному разбиению изображений.

Это может обеспечить улучшенную производительность во многих вариантах реализации и может во многих вариантах реализации обеспечить более эффективный выбор данных, особенно полезных для синтеза вида на основе двоичного потока.

В соответствии с дополнительной особенностью настоящего изобретения устройство также содержит разделитель для формирования по меньшей мере некоторых частей изображения набора частей изображения в ответ на разбиение изображений на основе по меньшей мере одного из значений пикселя изображений и значений глубины для изображений.

Это может обеспечить особенно эффективную и несложную работу во многих ситуациях и вариантах реализации. Это может также обеспечить совместимость со многими другими алгоритмами обработки изображения.

В соответствии с дополнительной особенностью настоящего изобретения по меньшей мере некоторые части изображения набора частей изображения являются частями изображения текстурного атласа изображения, который содержит части текстуры из сеточных и текстурных представлений сцены.

Это может обеспечить особенно эффективную и высокопроизводительную работу во многих ситуациях и вариантах реализации. Это может также обеспечить совместимость со многими другими алгоритмами обработки изображения.

Селектор выполнен с возможностью выбора частей изображения для второго подмножества частей изображения в ответ на целевую позу обзора, принятую от удаленного источника.

Это может обеспечить особенно привлекательную работу во многих вариантах реализации и может, например, сделать возможной систему, в которой устройство может динамически формировать двоичный поток, обеспечивающий наиболее существенную информацию, например, приложению виртуальной реальности, в котором виртуальный наблюдатель перемещается в сцене.

В соответствии с дополнительной особенностью настоящего изобретения селектор выполнен с возможностью выбора множества смежных частей изображения в ответ на определение того, что множество смежных частей изображения образуют область, имеющую меру качества прогнозирования ниже первого порогового значения для внутренней части областей и меру качества прогнозирования выше второго порогового значения для пограничной части области.

Это может обеспечить особенно эффективную и высокопроизводительную работу во многих ситуациях и вариантах реализации.

В соответствии с дополнительной особенностью настоящего изобретения по меньшей мере некоторые части изображения перекрываются.

Это может обеспечить особенно эффективную и высокопроизводительную работу во многих ситуациях и вариантах реализации.

В соответствии с дополнительной особенностью настоящего изобретения процессор прогнозирования выполнен с возможностью формирования меры прогнозирования для первой части изображения в ответ на связанные данные глубины для первой части изображения.

Это может обеспечить особенно полезную меру прогнозирования во многих вариантах реализации и может, например, позволить снизить сложность реализации, которая, тем не менее, позволяет очень точную и эффективную адаптацию.

Согласно аспекту настоящего изобретения предложен способ формирования двоичного потока данных изображения, включающий: хранение набора частей изображения и связанных данных глубины, представляющих сцену из различных поз обзора; формирование мер прогнозирования для частей изображения набора частей изображения для поз обзора сцены, причем мера прогнозирования для первой части изображения для первой позы обзора указывает на оценку качества прогнозирования для прогнозирования по меньшей мере части изображения для окна просмотра первой позы обзора на основе первого подмножества частей изображения набора частей изображения, не содержащего первую часть изображения; выбор второго подмножества частей изображения набора частей изображения в ответ на меры прогнозирования и формирование двоичного потока изображения, содержащего данные изображения и данные глубины из второго подмножества частей изображения, причем выбор включает выбор множества смежных частей изображения в ответ на определение того, что множество смежных частей изображения образуют область, имеющую меру прогнозирования ниже первого порогового значения для внутренней части области и меру прогнозирования выше второго порогового значения для пограничной части области.

Эти и другие аспекты, особенности и/или преимущества настоящего изобретения станут очевидны из вариантов реализации, описанных далее в этом документе, и будут пояснены со ссылкой на данные варианты реализации.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты реализации изобретения будут описаны только на примерах со ссылкой на чертежи, где:

на ФИГ. 1 показан пример элементов системы обработки изображения в соответствии с некоторыми вариантами реализации настоящего изобретения;

на ФИГ. 2 показан пример устройства для формирования двоичного потока в соответствии с некоторыми вариантами реализации настоящего изобретения;

на ФИГ. 3 показан пример сцен и связанных свойств качества прогнозирования;

на ФИГ. 4 показан пример выбора частей привязочного изображения для двоичного потока в соответствии с некоторыми вариантами реализации настоящего изобретения;

на ФИГ. 5 показан пример плиток изображения сцены;

на ФИГ. 6 показан пример выбора частей привязочного изображения для двоичного потока в соответствии с некоторыми вариантами реализации настоящего изобретения;

на ФИГ. 7 показан пример видов сцены; и

на ФИГ. 8 показан пример выбора частей привязочного изображения для двоичного потока в соответствии с некоторыми вариантами реализации настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В следующем описании основное внимание уделяется вариантам реализации настоящего изобретения, которые могут быть применены для формирования потока данных изображения для приложения виртуальной реальности. Однако следует понимать, что настоящее изобретение не ограничивается этим приложением, а может быть применено, например, во многих других приложениях для обработки и отрисовки изображения.

На ФИГ. 1 показан пример системы, которая может реализовать примеры и модификации вариантов реализации идеи изобретения.

В этом примере клиент в виде устройства 101 отрисовки изображения выполнен с возможностью формирования изображений, представляющих сцену с различных точек обзора, т.е. могут быть сформированы изображения, соответствующие разным окнам просмотра для разных поз обзора сцены. Устройство 101 отрисовки изображения выполнено с возможностью приема двоичного потока данных изображения, который содержит части изображения, а также связанную глубину, обеспечивая тем самым частичное трехмерное представление изображения сцены. После этого оно может на основе принятых данных формировать надлежащие изображения, соответствующие данному окну просмотра и позе. В примере двоичный поток данных изображения принимают из устройства 103 формирования двоичного потока, которое действует как удаленный сервер. Устройство 103 формирования двоичного потока выполнено с возможностью предоставления двоичного потока данных изображения через сеть 105, которая может быть, например, Интернетом. В конкретном примере удаленный сервер 103 представляет собой сервер виртуальной реальности, который обеспечивает трехмерные данные изображения, представляющие трехмерную среду для устройства 101 отрисовки изображения для формирования видов, соответствующих, например, виртуальному перемещению пользователя в среде.

В данной области термины расположение или поза используют в качестве общего термина для положения и/или направления/ориентации, а комбинацию положения и/или направления/ориентации, например, объекта, камеры или вида, в действительности обычно называют позой или расположением. Таким образом, указание расположения или позы может включать шесть значений/компонентов/степеней свободы, причем каждые значение/компонент/степень свободы описывают отдельное свойство положения/местоположения или ориентации/направления соответствующего объекта. Конечно, во многих ситуациях расположение или поза могут быть учтены или представлены с использованием меньшего числа компонентов, например, если один или более компонентов считают фиксированными или не относящимися к делу (например, если все объекты считают расположенными на одной и той же высоте и имеющими горизонтальную ориентацию, то полное представление позы объекта могут обеспечить четыре компонента). Далее термин «поза» используется для ссылки на положение и/или ориентацию, которые могут быть представлены от одного до шести значениями (соответствующими максимально возможным степеням свободы). Описание будет сосредоточено на вариантах реализации и примерах, в которых поза имеет максимум степеней свободы, т.е. по три степени свободы каждого из положения и ориентации, дающих в результате в общей сложности шесть степеней свободы (6DoF). Таким образом, поза может быть представлена набором или вектором из шести значений, представляющих шесть степеней свободы и, следовательно, вектор позы может обеспечивать указание трехмерного положения и/или трехмерного направления. Однако понятно, что в других вариантах реализации поза может быть представлена меньшим количеством значений.

Во многих приложениях трехмерное представление изображения сцены, присутствующее на сервере, может быть сформировано из захвата сцены или среды реального мира с использованием, например, воспринимающих глубину камер. Это позволяет захватывать визуальные свойства наряду с трехмерной информацией. Для достаточного захвата сцены принято использовать зачастую очень большое количество захватов, соответствующих разным позам обзора. В некоторых приложениях для обеспечения точного и подробного представления всей сцены из различных поз обзора могут быть использованы несколько сотен или даже тысяч изображений (со связанной информацией о глубине).

Виртуальное представление данных сцены является критическим фактором в обеспечении эффективного восприятия пользователем. Необходимо, чтобы данные, описывающие сцену, обеспечивали точное представление как визуальных свойств, так и пространственных свойств. В то же время крайне важно уменьшать объем данных, необходимых для представления сцены, поскольку во многих приложениях это, как правило, является ограничивающим фактором для качества, которое может быть достигнуто.

В частности, требуется снабжать достаточной информацией устройство 101 отрисовки изображения, чтобы оно могло локально формировать подходящие изображения, соответствующие требуемым позам обзора, например, путем выполнения сдвига точки обзора, как известно специалисту в данной области. Однако в то же время требуется поддерживать небольшим объем передаваемых данных и задержку на низком уровне. Во многих ситуациях ограниченная полоса пропускания связи является ограничивающим фактором в стремлении обеспечить высокое качество восприятия пользователем за счет высокого качества и малой задержки.

Кроме того, преобразование снимков камер, воспринимающих глубину, в представление данных среды/сцены часто является очень сложной задачей и может приводить к ошибкам и артефактам. Например, в некоторых приложениях данные снимков могут быть использованы для разработки трехмерной модели сцены реального мира. Затем путем оценки модели из конкретной точки обзора могут быть сформированы изображения вида для обеспечения пользователя ощущением трехмерной виртуальной реальности. В других приложениях изображения для конкретных окон просмотра или точек обзора могут быть непосредственно сформированы из захваченных изображений и информации о глубине, например, путем выбора одного или более ближайших захваченных изображений и выполнения сдвига точки обзора для приведения в соответствие с требуемой точкой обзора, или, в некоторых случаях, путем непосредственного использования захваченных изображений.

В данном случае сцену представляют в области изображения с помощью набора изображений вместе с данными глубины. Во многих вариантах реализации изображения могут обеспечивать визуальную информацию, отражающую вид данной точки обзора для данной позы обзора, а данные глубины могут представлять глубину пикселей или объектов на изображении. В частности, каждое изображение может соответствовать данному захвату для данной позы обзора для сцены, причем данные глубины представляют собой сопутствующую карту глубины, как известно специалисту в данной области. В некоторых вариантах реализации изображения могут быть изображениями текстурного атласа изображения или текстурных карт, а данные глубины могут быть сетками, обеспечивающими сеточное и текстурное представление сцены, как будет описано подробнее позже.

Устройство 103 формирования двоичного потока может, соответственно, содержать изображения и связанные данные глубины, представляющие сцену из набора поз обзора, и, в частности, изображения и данные глубины могут быть захваченными данными. Устройство 103 формирования двоичного потока, соответственно, хранит представление 3D-сцены в виде набора изображений с глубиной для дискретного набора поз обзора. Позы обзора, для которых такие изображения имеются, также будут называться «привязочными позами обзора», а изображения будут называться «привязочными изображениями вида».

Изображения могут быть далее разделены на части изображения и, как правило, устройство 103 формирования двоичного потока может содержать большой набор частей привязочного изображения для привязочных поз. В некоторых вариантах реализации части изображения могут быть сформированы путем (активной) сегментации или разделения привязочных изображений В других вариантах реализации часть изображения может, например, содержать все данные, имеющиеся для данной привязочной позы, т.е. часть изображения может быть полным изображением для данной привязки.

Устройство 103 формирования двоичного потока, соответственно, содержит (потенциально частичное, но часто по существу полное) трехмерное изображение, представляющее сцену посредством набора частей изображения и связанных карт глубины.

Для каждой части светоинтенсивного/текстурного изображения устройство 103 формирования двоичного потока хранит связанную карту глубины, обеспечивающую информацию о глубине для пикселей частей светоинтенсивного/текстурного изображения. Карта глубины может, как правило, содержать значения глубины, которые указывают на расстояние от данного положения обзора до объекта в направлении обзора, соответствующем позиции значения глубины. Значение глубины может быть, например, тем больше, чем больше расстояния от точки обзора до объекта, или может быть тем меньше, чем больше расстояние от точки обзора до объекта. Значения глубины во многих вариантах реализации предоставляют в виде значений диспаратности.

Предоставление информации как о глубине, так и об изображении (текстуре) может обеспечивать дополнительную информацию, позволяющую улучшать обработку устройством 101 отрисовки изображения. В частности, это может позволить, либо облегчить либо улучшить, формирование других изображений вида для поз обзора, отличных от привязочных поз обзора.

Для облегчения такой обработки желательно, чтобы расстояние между позами обзора было как можно меньше. В частности, большое расстояние между привязочными позами приводит к видимым незаслоненным зонам и требует очень точных карт глубины или сеточных моделей для синтеза промежуточных видов. Блок отрисовки может заполнять незаслоненные зоны путем комбинирования нескольких привязок, но это требует больше ресурсов для передачи, декодирования и отрисовки и имеет тенденцию снижать качество.

Однако небольшое расстояние между привязками приводит к увеличению скорости передачи битов, которая, как правило, особенно высокая для приложений, таких как приложения виртуальной реальности, допускающие свободное перемещение. Причина этого заключается в том, что (в отличие от обычного видео) световое поле с глубиной меняется как функция от трех пространственных измерений. Это означает, что стоимость кодирования фиксированных элементов (не остальной части) высока из-за высокой размерности данных.

В системе на ФИГ. 1 может быть обеспечен улучшенный подход, в котором части изображения и связанные данные глубины адаптивно выбирают и включают в двоичный поток в зависимости от меры прогнозирования.

На ФИГ. 2 показаны примеры некоторых элементов устройства 103 формирования двоичного потока.

В примере устройство 103 формирования двоичного потока содержит хранилище 201, которое хранит набор частей изображения и связанные данные глубины.

Устройство 103 формирования двоичного потока также содержит процессор 203 прогнозирования, который выполнен с возможностью формирования меры прогнозирования для частей изображения набора изображений. Меры прогнозирования могут быть сформированы для поз обзора сцены. Прогнозирование для данной части изображения и позы обзора формируют для того, чтобы указать на качество прогнозирования (всего или части) изображения, которое соответствует окну просмотра для данной позы обзора, на основе подмножества частей изображения, не содержащего часть изображения, для которой формируют меру прогнозирования.

Таким образом, для данной позы обзора и данной части изображения формируют меру прогнозирования, которая отражает, насколько хорошо часть изображения для окна просмотра данной позы просмотра может быть спрогнозирована на основе частей изображения набора за исключением части изображения, для которого формируют меру прогнозирования.

Например, мера прогнозирования может быть сформирована для данной части изображения для позы обзора, которая соответствует текущей целевой позе обзора от клиента. Эта мера прогнозирования может, соответственно, указывать, насколько хорошо изображение для позы обзора может быть спрогнозировано, если данную часть изображения не используют.

В качестве другого примера мера прогнозирования может быть сформирована для данной части изображения для позы обзора данной части изображения Эта мера прогнозирования может, в частности, в таком случае указывать, насколько хорошо может быть спрогнозирована сама данная часть изображения на основе других частей изображения набора сохраненных частей изображения.

Во многих вариантах реализации меры прогнозирования могут быть сформированы для множества или, возможно, всех сохраненных частей изображения, и/или множество мер прогнозирования может быть сформировано для каждой части изображения (соответствующей другим позам обзора). В некоторых вариантах реализации все меры прогнозирования могут быть сформированы один раз и потенциально до запуска конкретного приложения. В некоторых вариантах реализации меры прогнозирования могут формироваться динамически по мере и в случае необходимости.

Процессор 203 прогнозирования соединен с селектором 205, который выполнен с возможностью выбора подмножества частей изображения из набора частей изображения в ответ на меры прогнозирования. Например, селектор 203 может выбирать некоторые части изображения, для которых меры прогнозирования низкие, но не части изображения, для которых меры прогнозирования высокие.

Селектор 205 соединен с генератором 207 двоичного потока, который выполнен с возможностью формирования двоичного потока изображения, содержащего данные изображения и данные глубины из подмножества частей изображения. Однако, если данную часть изображения не выбирают для включения в подмножество (а выбирают для исключения из него), эта часть изображения не будет включена в двоичный поток.

Подмножество частей изображения, из которого формируют меру прогнозирования, может отличаться в разных вариантах осуществления. Например, во многих вариантах реализации оно может содержать части изображения, (только) выбранные из частей изображения, которые уже включены в двоичный поток, и, следовательно, мера прогнозирования для данной позы и части изображения может отражать прогнозирование изображений для этой позы на основе частей изображения, которые уже предоставлены клиенту.

В других вариантах реализации подмножество может, например, быть определено в соответствии с фиксированным требованием. Например, подмножество, используемое для определения меры прогнозирования для данной части изображения для позы части изображения, может быть выбрано как ближайшие N частей изображения.

Также понятно, что в разных вариантах реализации могут быть использованы другие подходы к формированию подмножества частей изображения. Например, в некоторых вариантах реализации может быть использован динамический и последовательный подход. Например, во время работа от клиента может быть принято указание целевой позы обзора. После этого устройство 103 формирования двоичного потока может перейти к формированию меры прогнозирования для позы для каждой части изображения по соседству вокруг этой позы (например, для N ближайших частей изображения), где прогнозирование основывается только на частях изображения, которые уже переданы устройству 101 отрисовки изображения. Затем селектор 205 может выбрать часть изображения, имеющую самую низкую меру прогнозирования, и включить ее в подмножество частей изображения, которые будут (или уже) включены в двоичный поток. Далее может быть определено, указывает ли мера прогнозирования на достаточно высокое качество прогнозирования для данной целевой позы. Если нет, процесс может быть повторен, но на этот раз только что включенную в двоичный поток часть изображения также включают в подмножество базовых частей изображения, используемых для прогнозирования. Таким образом, устройство 103 формирования двоичного потока может итеративно добавлять соседние части изображения до тех пор, пока требуемое целевое окно просмотра не будет спрогнозировано с достаточно высоким качеством.

В некоторых вариантах реализации каждую часть изображения необязательно рассматривают отдельно. Например, в некоторых вариантах реализации может быть сформирована общая мера прогнозирования для части сцены, охватываемой множеством поз и частей изображения (например, на основе учета содержимого/свойств сцены, таких как количество видимых объектов, как будет описано более подробно позже).

Аналогичным образом, выбор необязательно основан на учете только меры прогнозирования для данной части изображения. Например, в некоторых вариантах реализации пространственная плотность выбранных поз для части изображения может зависеть от окрестной меры прогнозирования (как правило, общей для ряда частей изображения). В качестве примера в областях, где меру прогнозирования считают высокой (например, ввиду низкой сложности сцены), части изображения могут быть включены для каждого третьего привязочного положения обзора. В отличие от этого, когда меру прогнозирования считают низкой (например, ввиду высокой сложности сцены), для включения в двоичный поток могут быть выбраны части изображения для всех привязочных положений обзора.

Этот подход может обеспечить адаптированное и улучшенное формирования двоичного потока с пониженной общей скоростью передачи данных, которая, тем не менее, позволяет устройству 101 отрисовки изображения формировать требуемые виды для данных поз просмотра и с требуемым уровнем качества. Данный подход может снизить избыточность в передаваемых данных и тем самым улучшить соотношение между качеством и скоростью передачи битов (ФИГ. 1).

Например, в примере на ФИГ. 3 показаны три иллюстративные сцены разного качества и связанные кривые, указывающие потенциальное качество синтеза вида как функции от количества привязочных изображений, захватывающих сцену.

Простая сцена 301 может иметь внешний вид, который мало изменяется в зависимости от угла и позиции. Она может, например, содержать матовые окрашенные поверхности и иметь небольшие затенения. Для формирования устройством 101 отрисовки изображения множества различных видов этой простой сцены требуются лишь несколько частей привязочного изображения/изображений. В отличие от этого, сложная сцена 303 будет иметь внешний вид, который сильно изменяется в зависимости от угла и позиции. Она, например, может содержать отражающие и металлические элементы или объекты, которые сами себя загораживают, такие как ваза с цветами. Для захвата такой сложной сцены требуется много частей привязочного изображения/изображений, и, соответственно, для формирования других видов устройством 101 отрисовки изображения требуется большое количество частей привязочного изображения. Типичная сцена 305 будет представлять собой комбинацию простых и сложных частей, и захват такой сцены посредством достаточного количества привязок, требуемых для сложной сцены, приведет к большой избыточности. Описанный подход адаптивного выбора подмножества имеющихся частей привязочного изображения для включения в двоичный поток может существенно снизить избыточность данных, включенных в двоичный поток, и тем самым существенно снизить скорость передачи битов без соответствующей потери в конечном качестве. Во многих вариантах реализации этот подход может снизить избыточность путем разбиения привязочных изображений на части и принятия решения о том, какие изображения и части изображения подлежат передаче, на основе прогнозирования.

На ФИГ. 4 показан пример сцены с удаленным фоном 401 и объектом 403 переднего плана. Изображения с глубиной захватывают из диапазона поз 405 обзора, получая в результате набор привязочных изображений/частей изображения для разных поз обзора. В этом примере используют стратегию выборочной передачи, в которой могут быть пропущены целые привязки. Все привязочные изображения изображают фон 401 на большом расстоянии, но привязочные изображения в центре массива содержат объект 403 на близком расстоянии в своем поле зрения. Это обычно приводит к тому, что центральные изображения изменяются существенно больше, чем изображения по направлению к краям (при небольших изменениях точки обзора изображение близкого объекта неправильной формы изменяется существенно больше, чем изображение фона). Поэтому спрогнозировать центральные привязочные изображения на основе соседних привязочных изображений существенно труднее, чем спрогнозировать краевые привязочные изображения на основе соседних привязочных изображений, и, соответственно, мера прогнозирования для центральных изображений существенно ниже, чем для краевых изображений. Соответственно, доля центральных изображений (со связанными картами глубины), включаемых в двоичный поток, больше доли краевых изображений (изображения, включаемые в двоичный поток, на ФИГ. 4 указаны соответствующими закрашенными позами). Таким образом, в данном примере селектор 205 выполнен с возможностью выбора привязочных изображений для включения в двоичный поток путем изменения частоты пространственной выборки в ответ на меры прогнозирования для привязочных изображений (и для поз обзора привязочных изображений).

На ФИГ. 5 показан пример приложения, в котором на устройстве 101 отрисовки изображения формируют равнопрямоугольное изображение для воспроизведения виртуальной реальности. Устройство 103 формирования двоичного потока обеспечивает части изображения, которые используют для формирования равнопрямоугольного изображения и, в частности, части изображения могут соответствовать плиткам изображения. С каждой плиткой также связана карта глубины, которую используют для отрисовки на основе изображения. При изменениях положения и ориентации наблюдателем плитки передают в потоковом режиме с сервера/устройства 103 формирования двоичного потока в приложение зрителя на устройстве 101 отрисовки изображения. Пространственная частота требуемых обновлений привязки с сервера меняется в зависимости от плитки/направления обзора. Это проиллюстрировано на ФИГ. 6, где показана горизонтальная сетка привязочных поз/положений. В данном примере пространственная плотность предоставляемых привязочных изображений меняется для разных плиток равнопрямоугольного изображения в зависимости от вариаций мер прогнозирования для плиток.

Например, как показано на ФИГ. 7, для текущей позы виртуального пользователя три (примыкающие) плитки, T₁, T₂, T₃, равнопрямоугольного изображения/окна просмотра соответствуют слегка отличающимся (примыкающим) интервалам угла обзора. Два из этих интервалов обзора/плиток, T₁, T₂, содержат близкий объект неправильной формы, а T₃ не содержит. Соответственно, устройство 103 формирования двоичного потока может формировать меры прогнозирования для частей изображения, соответствующих плиткам T₁, T₂, T₃, и будет определять более низкую меру прогнозирования для первых двух плиток, T₁, T₂, чем для последней плитки, T₃. Соответственно, оно может далее определить, что для первых двух плиток, T₁, T₂, требуется более высокая плотность пространственной выборки, чем для третьей плитки, T₃. Соответственно, для частей изображения, соответствующих первым двум плиткам, T₁, T₂, все части изображения могут быть включены (соответствует ФИГ. 6a), тогда как для третьей плитки, T₃, включают только каждую третью (в двух направлениях) часть привязочного изображения (соответствует ФИГ. 6b).

В некоторых вариантах реализации определение того, какие привязочные изображения включать в двоичный поток, может выполняться динамически во время работы приложения. В других вариантах реализации может быть выполнено начальное статическое определение на основе анализа, например, сцены, привязочных изображений и/или сохраненных частей изображения.

В некоторых таких вариантах реализации информация о том, какие привязки извлекать с сервера/устройства 103 формирования двоичного потока, и какие привязки прогнозировать в клиенте/устройстве 101 отрисовки изображения, может быть первоначально (при запуске приложения) сообщена клиентской стороне, например, в виде карты вида, которая указывает, какие части изображения будут (или могут быть) сделаны доступными для устройства 101 отрисовки изображения.

Как указано в предыдущих примерах, для определения мер прогнозирования для разных частей изображения и поз могут быть использованы разные подходы и алгоритмы.

Мера прогнозирования может указывать на качество, которое может быть достигнуто вновь синтезируемыми изображениями с использованием основанной на изображении глубины отрисовки (синтеза вида) для данной позы обзора на основе подмножества привязочных изображений, не содержащего привязочное изображение, для которого формируют меру прогнозирования.

Мера прогнозирования может быть определена непосредственно или опосредованно путем рассмотрения признаков или характеристик, которые отражают качество синтезированного изображения или влияют на него.

В некоторых вариантах реализации, где может быть определена более непосредственная мера прогнозирования, это может, например, включать устройство 103 формирования двоичного потока, выполняющее синтез вида части привязочного изображения и сравнивающего фактическую сохраненную часть изображения с синтезированной версией. Если разница небольшая, меру прогнозирования считают высокой. Точнее говоря, мера прогнозирования может быть определена как качество синтеза вида в терминах измеренной среднеквадратичной ошибки, отношения пикового сигнала к шуму (Peak Signal-to-Noise Ratio, PSNR), метрики качества видео (Video Quality Metric, VQM), многомасштабного структурного сходства (Multiscale Structural Similarity, MS-SSIM) или иной метрики части изображения при прогнозировании на основе одной или более соседних частей (обычно в 6DoF-пространстве). Как правило, это прогнозирование выполняют с использованием моделируемых отрисовок части изображения и карты глубины (или текстуры и сетки).

В других вариантах реализации мера прогнозирования может быть сформирована в ответ на рассмотрение свойства сцены. В частности, во многих вариантах реализации мера прогнозирования может быть сформирована в ответ на указание сложности сцены. В частности, мера прогнозирования может быть сформирована на основе данных глубины для части изображения. Например, если данные глубины указывают на присутствие относительно близких одного или более объектов, то можно предположить, что часть изображения содержит объект, который трудно спрогнозировать на основе других частей привязочного изображения для других (обычно близких) поз обзора.

В качестве конкретного примера мера прогнозирования для части изображения может быть сформирована в ответ на минимальную глубину (расстояние от камеры/точки обзора до объекта), которая имеет место на части изображения. Если объекты на части изображения далеко от камеры, то небольшое (6DoF) перемещение наблюдателя не изменит относительную текстуру внутри части изображения. Перемещение приведет к приблизительно аффинному преобразованию всей части изображения. Например, часть изображения повернется, сдвинется или изменит масштаб в целом. Это преобразование обычно очень хорошо прогнозируемо на основе соседних изображений с глубиной на стороне клиента. Такое прогнозирование может, как правило, иметь настолько высокое качество, что синтез вида является достаточным, и в отправке остального сигнала действительно нет необходимости.

Мера прогнозирования часто может быть определена на основе данных глубины, данных изображения или данных глубины и данных изображения. Например, если данные глубины указывают на большую вариацию глубины в сцене/данных глубины для части изображения, например, с относительно частыми и относительно крутыми ступенчатыми изменениями, это можно считать указанием на то, что сцена/текущий вид сложны и более трудны для прогнозирования. Аналогичным образом, если изображение имеет большую вариацию с точки зрения сегментов изображения, имеющих очень сильно отличающиеся визуальные свойства со значительными и внезапными изменениями между сегментами, это можно рассматривать как указание на сложность сцены и, следовательно, на сложность прогнозирования. Напротив, если вариация глубины и/или визуальная вариация невелика, то можно считать, что сцена относительно низкой сложности, и мера прогнозирования может быть повышенной, поскольку вполне вероятно, что можно будет формировать более точные прогнозируемые изображения.

Подход может, например, отражать, что в сценах с относительно большим количеством мелких объектов обычно требуется большее количество захваченных поз, чем для сцен с несколькими объектами или без них, и прогнозирование, соответственно, более трудное.

В некоторых вариантах реализации процессор 203 прогнозирования может, в частности, быть выполнен с возможностью определения меры прогнозирования в ответ на вариацию глубины в данных глубины.

Может быть сформирована оценка вариации глубины, которая имеет тенденцию отражать присутствие (или отсутствие) ряда переходов глубины, соответствующих наличию относительно большого количества разных объектов на разной глубине. Это может быть достигнуто, например, путем выявления сегментов на основе переходов глубины на карте глубины и последующего определения количества найденных сегментов. Понятно, что для определения подходящих мер вариации глубины могут быть использованы многие другие подходы.

В некоторых вариантах реализации процессор 203 прогнозирования выполнен с возможностью определения меры прогнозирования в ответ на расстояния до объектов, указанных посредством данных глубины для части изображения. В частности, мера прогнозирования может увеличиваться с увеличением расстояния до объектов.

Это может свидетельствовать о том, что сцена может считаться менее сложной, когда объекты относительно далеки от камеры, поскольку это, как правило, обеспечивает улучшенную видимость различных аспектов и приводит к меньшим изменениям при изменении позы обзора. Это также обычно приводит меньшему загораживанию объектом других частей сцены. Следовательно, прогнозирование будет, как правило, более точным.

Аналогичным образом, сцена может считаться более сложной, когда объекты относительно близки к камере, поскольку это требует более подробных снимков для точного отражения вариаций в объекте и помимо всего приводит к тому, что объект обычно загораживает более значительную часть сцены, поэтому требуются дополнительные привязочные позы, чтобы можно было увидеть то, что заслонено. Это может привести к более трудному и неточному прогнозированию.

В некоторых вариантах реализации селектор 205 может быть выполнен также с возможностью выбора частей изображения для включения в двоичный поток в ответ на меру видимости для частей изображения для целевой позы обзора. Целевая поза обзора может, в частности, соответствовать позе обзора, изображение для которой должно быть синтезировано посредством устройства 101 отрисовки изображения и может быть предоставлено динамически из устройства 101 отрисовки изображения, как будет описано позже.

Мера видимости может указывать, видна ли часть изображения для целевой позы обзора, и, в частности, будет ли она в пределах подходящего окна просмотра для целевой позы обзора. В частности, мера видимости для части изображения может указывать, насколько близка эта часть изображения к окну просмотра для целевой позы обзора. Если она достаточно близка или в пределах окна обзора (и, например, мера прогнозирования достаточно низкая), эту часть изображения включают в двоичный поток. Если она слишком далеко от окна просмотра, ее не включают.

Этом может повысить производительность во многих ситуациях. Например, для клиента весьма характерно иметь окна просмотра, которые существенно меньше, чем содержимое. Например, гарнитура может иметь поле обзора лишь в 100 градусов, тогда как содержимое является 360-градусным.

Окно просмотра целевой позы обзора может быть, как правило, таким, для которого, как ожидается, потребуется изображение, чтобы представить окно просмотра. В качестве конкретного примера селектор 205 может руководствоваться следующими правилами для такого будущего окна просмотра:

- Части, которые почти наверняка находятся за пределами будущего окна просмотра, не подлежат передаче.

- Части, которые вряд ли будут внутри будущего окна просмотра и для которых на клиенте будут доступны другие части, передавать не нужно.

- Части, которые видны, но прогнозируемые на основе другой части, которая будет доступна на клиенте, передавать не нужно.

- Для любого трудно прогнозируемого пикселя в изображении, который не наверняка находится за пределами будущего окна просмотра, следует выбрать по меньшей мере одну часть из одной привязки.

В разных вариантах реализации могут быть использованы разные подходы к выбору используемого для прогнозирования подмножества частей изображения, которое образует основу для определения меры прогнозирования для данной комбинации поза/часть изображения. Во многих вариантах реализации используемое для прогнозирования подмножество может быть выбрано просто как возможно заданное количество привязочных изображений или частей изображения, которые наиболее близки к данной позе, поскольку они, как правило, являются лучшими кандидатами для прогнозирования. В других вариантах реализации могут быть использованы более сложные и ресурсоемкие подходы. Например, можно выполнить прогнозирование с учетом разных возможных наборов частей якорного изображения, выбрать лучшее прогнозирование и использовать соответствующий набор частей привязочного изображения.

Во многих вариантах реализации используемое для прогнозирования подмножество частей привязочного изображения ограничивают включением только частей изображения, которые содержатся в двоичном потоке. Как правило, учитываемые части изображения являются частями изображения, которые ранее были включены в двоичный поток, но в некоторых вариантах реализации используемое для прогнозирования подмножество может также включать в себя части изображения, которые еще не были отправлены, но которые были выбраны для включения в двоичный поток (или которые выбирают вместе с текущей частью изображения ввиду пригодности в качестве базовых изображений для прогнозирования).

Такой подход может привести к весьма эффективному формированию двоичного потока, где новые части изображения по существу предоставляют устройству 101 отрисовки изображения тогда, и только тогда, когда устройство 101 отрисовки изображения не в состоянии локально формировать изображение достаточного качества на основе только частей изображения, которые уже доступны устройству 101 отрисовки изображения. В частности, в таких вариантах реализации мера прогнозирования может указывать на качество, которое может быть достигнуто при синтезировании изображения для данной позы на основе только частей привязочного изображения, которые уже присутствуют на клиенте/устройстве 101 отрисовки изображения.

Во многих вариантах реализации устройство 101 отрисовки изображения может быть выполнено с возможностью формирования двоичного потока и выбора частей изображения в ответ на целевую позу обзора, которую принимает устройство 103 формирования двоичного потока от устройства 101 отрисовки изображения. В частности, по мере перемещения виртуального пользователя в виртуальной среде устройство 101 отрисовки изображения может непрерывно передавать указание текущей позы обзора в качестве целевой позы обзора (или, например, может прогнозировать целевую позу обзора для уменьшения задержки).

Устройство 103 формирования двоичного потока может принимать целевую позу обзора от устройства 101 отрисовки изображения и может приступать к выбору подходящих частей изображения для включения в двоичный поток, направляемый устройству 101 отрисовки изображения, на основе целевой позы обзора. В частности, устройство 103 формирования двоичного потока может определять меру прогнозирования для целевой позы обзора, которая указывает, насколько хорошо может быть сформировано изображение для окна просмотра, соответствующего целевой позе обзора, на основе частей изображения, которые уже переданы устройству 101 отрисовки изображения, и которые поэтому уже доступны для синтеза вида/изображения на устройстве 101 отрисовки изображения.

Если мера прогнозирования указывает на достаточно высокое качество прогнозирования, в двоичный поток для текущей целевой позы обзора не добавляют еще одну часть изображения (например, если только буфер частей изображения, подлежащих передаче устройству 101 отрисовки изображения, не достаточно пустой). Однако, если мера прогнозирования указывает на недостаточно высокое качество прогнозирования, в двоичный поток добавляют одну или более частей изображения. В некоторых вариантах реализации может быть использован заданный выбор, например, может быть добавлена ближайшая часть изображения (или части изображения) (и, таким образом, мера прогнозирования может рассматриваться как формируемая для этой (этих) части (частей) изображения). Затем этот подход может быть итерирован по мере включения частей изображения, выбранных в предыдущей итерации в используемом для прогнозирования наборе для текущей итерации. В других вариантах реализации устройство 103 формирования двоичного потока может формировать меру прогнозирования на основе включения других частей изображения и может затем выбирать части изображения, которые приводят к наивысшей мере прогнозирования.

Понятно, что в разных вариантах реализации части изображения могут представлять собой разное. Например, в некоторых вариантах реализации каждая часть изображения может быть захваченным изображением (включающим потенциально целиком полное полусферическое изображение).

Во многих вариантах реализации части изображения могут быть частичными видами, такими как особые сегменты изображения, соответствующие относительно небольшим интервалам угла обзора, таким как, например, в диапазоне от 10° до 45° (например, как в горизонтальном, так и в вертикальном направлении). Например, прямоугольное изображение, соответствующее прямоугольному окну просмотра для данной позы обзора, может быть разделено на множество частей изображения, которые могут быть выбраны по отдельности для включения в двоичный поток (например, плитки в примере на ФИГ. 5).

В некоторых вариантах реализации части изображения могут соответствовать заданному разбиению изображений. Например, в примере на ФИГ. 5 прямоугольное изображение может быть разделено на заданное множество квадратных плиток, причем каждый квадрат соответствует отдельно выбираемой части изображения. В качестве конкретного примера каждая часть изображения может быть изображением блока кодирования, таким как, например, макроблок размером 16×16 пикселей.

Такой подход может сделать возможной реализацию низкой сложности, тем не менее обеспечивающую превосходную производительность.

В некоторых вариантах реализации части изображения (или по меньшей мере некоторые части изображения) могут быть гранями многогранных проекций сцены для разных поз обзора, такими как, например, квадраты в кубической карте или треугольники в икосаэдре.

В частности, для данной точки обзора полусферический вид может быть разделен на набор соответствующих плоских многоугольников, которые вместе образуют полусферическую геометрическую конструкцию. Это во многих вариантах реализации облегчит операции синтеза и, более того, облегчит интегрирование принимаемых новых частей изображения с ранее принятыми или прогнозируемыми частями изображения. По сравнению с равнопрямоугольной проекцией и благодаря плоским граням многогранной проекции изображение дешевле отрисовывать на стандартном графическом процессорном устройстве (Graphics Processing Unit, GPU), поскольку небольшое количество треугольников может точно описать форму, которая связана с проекцией. Для многогранных проекций с достаточным количеством граней (вроде икосаэдральной проекции) среднее искажение проекции ниже, чем для равнопрямоугольной проекции. Кроме того грани обеспечивают естественное разбиение изображения.

В некоторых вариантах реализации устройство 103 формирования двоичного потока может содержать разделитель 209, который выполнен с возможностью формирования по меньшей мере некоторых частей изображения путем разбиения привязочных изображений. В некоторых вариантах реализации это разбиение может быть заданным, например, разделитель 209 может разбивать изображение на плитки правильной формы.

Однако во многих вариантах реализации могут быть сформированы части или сегменты более произвольной формы, и, в частности, формирование частей изображения может быть осуществлено путем сегментации, которая зависит от свойств изображения и/или карты глубины. Это может позволить, например, представлять конкретные объекты разными частями изображения, а фон посредством другой отдельной части изображения и т. д.

Действительно, часто может случиться так, что изображение состоит из фона и нескольких объектов переднего плана. Преимуществом является то, что объект переднего плана плюс периферия фона содержатся в пределах части изображения, поскольку объекты переднего плана, как правило, менее прогнозируемы, чем фоновые объекты. В более общем смысле хорошая для выбора часть изображения имеет низкое внутреннее прогнозирование и высокое прогнозирование возле краев части.

Соответственно, за счет сегментации изображения на подходящие части изображения можно достичь особенно эффективной работы.

Понятно, что может быть использован любой подходящий подход к сегментации изображения, не выходящий за пределы настоящего изобретения. Например, сегменты могут быть сформированы так, чтобы они имели сообразные цвета и/или интенсивности, или соответствовали изображениям распознанных объектов, таких как лица, или, например, сегменты могут быть сформированы так, чтобы они соответствовали зонам, имеющим похожие значения глубины и т.д. Понятно, что специалисту в данной области известно огромное количество алгоритмов и критериев сегментации.

Во многих вариантах реализации селектор 205 выполнен с возможностью выбора множества смежных частей изображения в ответ на определение того, что множество смежных частей изображения образует область, имеющую меру качества прогнозирования ниже первого порогового значения для внутренней части областей и меру качества прогнозирования выше второго пороговго значения для пограничной части области (причем во многих вариантах реализации первое пороговое значение может быть ниже второго порогового значения).

Во многих таких подходах низкое прогнозирование на крае части изображения приведет к выбору и примыкающей части изображения тоже, когда край находится в пределах требуемого окна просмотра. Это может исключить или ослабить артефакты отрисовки на крае части, отрисовываемой с использованием части изображения с низким прогнозированием на крае. Таким образом, части изображения могут быть связаны с образованием групп, которые имеют низкое внутреннее прогнозирование, но которые имеют высокое внешнее (краевое) прогнозирование.

Такой подход может быть проиллюстрирован примером на ФИГ. 8, показывающим разбитое на плитки изображение сферы, где каждая плитка соответствует части изображения. Плитки, которые содержат один и тот же край, проходящий через пиксели с низким прогнозированием, связаны. Любые две части, которые содержат один и тот же край, проходящий через область с низким прогнозированием, имеют критерий связанного выбора, такой что либо передают все части изображения, либо не передают ни одну.

В некоторых вариантах реализации устройство 103 формирования двоичного потока может особо учитывать прогнозирование на краях при определении того, связывать ли части изображения или нет. Однако в других вариантах реализации выбор может быть основан только на учете мер прогнозирования для части изображения в целом. Например, если мера прогнозирования для данной части изображения ниже данного порогового значения (т.е. ее трудно спрогнозировать), все смежные части изображения тоже включают. Данный подход может быть итерирован, в результате чего части изображения включают до тех пор, пока их мера прогнозирования не станет высокой. Это приведет к эффективному формированию более крупной части изображения с низким внутренним прогнозированием и высоким прогнозированием на краях за счет группировки исходных частей изображения.

В некоторых вариантах реализации по меньшей мере некоторые части изображения перекрываются.

Во многих вариантах реализации может оказаться полезным разрешить перекрывающиеся части изображения так, чтобы две смежные части изображения обе содержали данные изображения для перекрывающейся пограничной области. Это может привести к увеличению потребностей в хранении для устройства 103 формирования двоичного потока и может увеличить скорость передачи данных двоичного потока. Однако во многих вариантах реализации это может улучшить эффективность кодирования (например, если блоки кодирования не выровнены с границами между частями изображения). Кроме того, перекрывающиеся области могут существенно облегчить смешивание новой части изображения с другими частями изображения, которые, например, могут быть прогнозируемы или сформированы ранее в устройстве 101 отрисовки изображения.

Хотя в приведенном выше описании основное внимание уделено представлению с использованием стандартных изображений и карт глубины, понятно, что в других вариантах реализации могут быть использованы другие подходы.

Например, изображения могут содержать изображения текстурного атласа, которые содержат текстурные части из сеточных и текстурных представлений сцены. Пример такого представления можно найти, например, в статье A. Collet и др. High-quality streamable free-viewpoint video. ACM Transactions on Graphics (TOG), Proceedings of ACM SIGGRAPH 2015. Том 34, выпуск 4, август 2015.

В таком примере привязочное изображение может соответствовать текстурному атласу, который наиболее подходит для просмотра из положения (области) привязки. Текстурный атлас в сочетании с (непересекающейся) сеткой могут формировать геометрическую модель объекта или сцены. В данном случае часть изображения может, например, быть одной текстурой в таком атласе, который соответствует одной поверхности в сцене.

В качестве конкретного примера сцена может содержать некоторые объекты с низким прогнозированием, например, отражающий объект, такой как металлический светильник или загораживающий сам себя объект, такой как ваза с цветами. Устройство 103 формирования двоичного потока может делить части привязочного изображения на разные уровни. Уровень 0 частей привязочного изображения может содержать все объекты в сцене, включающие в себя фон, поэтому по меньшей мере одна привязка (геометрическая модель) уровня 0 будет передана в потоке. Когда зритель перемещается в пространстве, выбор привязки уровня 0 будет меняться.

Кроме того, для учета угловой зависимости внешнего вида некоторых объектов привязки более высокого уровня могут содержать частичные модели сцены. Даже в этом случае может быть передана только часть такой привязки, исходя из позиции пользователя. Данное решение основано на прогнозирования частей в привязках уровня выше 1.

В некоторых вариантах реализации части изображения (или по меньшей мере некоторые из них) могут быть предварительно закодированы. Таким образом, они могут быть закодированы и сохранены в формате, в котором они могут быть непосредственно включены в двоичный поток без всякой необходимости перекодирования или (повторного) кодирования. Вернее, часть изображения, которая подлежит включению в двоичный поток, может быть просто извлечена из хранилища 201 и добавлена в двоичный поток без операции кодирования. Это может весьма существенно снизить сложность и требования к ресурсам в устройстве 103 формирования двоичного потока и обеспечить очень эффективную работу.

Настоящее изобретение может быть реализовано в любой подходящей форме, включая оборудование, программное обеспечение, встроенное программное обеспечение или любую их комбинацию. Настоящее изобретение необязательно может быть реализовано, по меньшей мере частично, в виде компьютерного программного обеспечения, выполняемого на одном или более процессорах и/или цифровых процессорах сигналов. Элементы и компоненты варианта реализации настоящего изобретения могут быть физически, функционально и логически реализованы любым подходящим образом. В действительности функциональные возможности могут быть реализованы в одном блоке, в множестве блоков или как часть других функциональных блоков. В силу этого настоящее изобретение может быть реализовано в одном блоке или может быть физически или функционально распределено между разными блоками, схемами и процессорами.

Хотя настоящее изобретение было описано в связи с некоторыми вариантами реализации, это не следует рассматривать как ограничение конкретной формой, изложенной в настоящем документе. Скорее, объем настоящего изобретения ограничен только прилагаемой формулой изобретения. Кроме того, хотя может показаться, что признак описан в связи с конкретными вариантами реализации, специалисту в данной области понятно, что различные признаки описанных вариантов реализации могут быть объединены в соответствии с настоящим изобретением. В формуле изобретения термин «содержащий/включающий» не исключает присутствия других элементов или этапов.

Кроме того, хотя множество средств, элементов, схем или этапов способа перечислены по отдельности, они могут быть реализованы, например, с помощью одной схемы, блока или процессора. Далее, хотя отдельные признаки могут быть включены в разные пункты формулы изобретения, они, возможно, могут быть эффективно объединены, а включение в разные пункты формулы изобретения не означает, что комбинация признаков является неосуществимой и/или невыгодной. Кроме того, включение признака в одну категорию пунктов формулы изобретения не означает ограничения этой категорией, а, скорее, указывает на то, что данный признак в равной степени может быть применен к другим категориям пунктов изобретения, когда это уместно. Кроме того, порядок признаков в формуле изобретения не означает конкретного порядка, в котором эти признаки должны прорабатываться, и, в частности, порядок отдельных этапов в формуле изобретения на способ, не означает, что этапы должны выполняться в данном порядке. Скорее, этапы могут выполняться в любом подходящем порядке. Кроме того, упоминания в единственном числе не исключают множественного числа. Поэтому ссылки с использованием грамматических средств указания единственного числа, прилагательных в единственном числе «первый», «второй» и т.д. не исключают множественного числа. Ссылочные позиции в формуле изобретения приведены исключительно в качестве уточняющего примера и не должны трактоваться как ограничивающие объем формулы изобретения каким-либо образом.

Изобретение относится к средствам для формирования двоичного потока данных изображения, обеспечивающего адаптивное трехмерное представление сцены. Технический результат заключается в повышении эффективности формирования потока данных изображения. Хранят набор частей изображения и связанные данные глубины, представляющие сцену из разных поз обзора. Формируют меры прогнозирования для частей изображения, причем мера прогнозирования для первой части изображения для первой позы обзора указывает на оценку качества прогнозирования части изображения для окна просмотра первой позы обзора на основе первого подмножества частей изображения, не содержащего первую часть изображения. Выбирают второе подмножество частей изображения набора частей изображения в ответ на меры прогнозирования. Формируют двоичный поток изображения, содержащий данные изображения и данные глубины из второго подмножества частей изображения. Причем выбор включает выбор множества смежных частей изображения в ответ на определение того, что множество смежных частей изображения образуют область, имеющую меру прогнозирования ниже первого порогового значения для внутренней части области и меру прогнозирования выше второго порогового значения для пограничной части области. 2 н. и 11 з.п. ф-лы, 8 ил.

1. Устройство для формирования двоичного потока данных изображения, содержащее:

хранилище (201) для хранения набора частей изображения и связанных данных глубины, представляющих сцену из разных поз обзора;

процессор (203) прогнозирования для формирования мер прогнозирования для частей изображения набора частей изображения для поз обзора сцены, причем мера прогнозирования для первой части изображения для первой позы обзора указывает на оценку качества прогнозирования для прогнозирования по меньшей мере части изображения для окна просмотра первой позы обзора на основе первого подмножества частей изображения набора частей изображения, не содержащего первую часть изображения;

селектор (205) для выбора второго подмножества частей изображения набора частей изображения в ответ на меры прогнозирования; и

генератор (207) двоичного потока для формирования двоичного потока изображения, содержащего данные изображения и данные глубины из второго подмножества частей изображения;

причем селектор (205) выполнен с возможностью выбора множества смежных частей изображения в ответ на определение того, что множество смежных частей изображения образуют область, имеющую меру прогнозирования ниже первого порогового значения для внутренней части области и меру прогнозирования выше второго порогового значения для пограничной части области.

2. Устройство по п. 1, в котором процессор (203) прогнозирования выполнен с возможностью формирования меры прогнозирования для первой части изображения как указывающей на качество прогнозирования для прогнозирования первой части изображения.

3. Устройство по любому предыдущему пункту, в котором первое подмножество частей изображения содержит только части изображения, уже включенные в двоичный поток.

4. Устройство по любому предыдущему пункту, в котором селектор (205) также выполнен с возможностью выбора второго подмножества частей изображения в ответ на меру видимости для набора частей изображения для целевой позы обзора, причем мера видимости для части изображения указывает, насколько близка часть изображения к окну просмотра для целевой позы обзора.

5. Устройство по любому предыдущему пункту, в котором по меньшей мере некоторые из набора частей изображения, хранящегося в хранилище (201), являются предварительно закодированными частями изображения.

6. Устройство по любому предыдущему пункту, в котором набор частей изображения содержит грани многогранных проекций сцены для различных поз обзора.

7. Устройство по любому предыдущему пункту, в котором части изображения соответствуют заданному разбиению изображений.

8. Устройство по любому предыдущему пункту, также содержащее разделитель (209) для формирования по меньшей мере некоторых частей изображения набора частей изображения в ответ на разбиение изображений на основе по меньшей мере одного из значений пикселя изображений и значений глубины для изображений.

9. Устройство по любому предыдущему пункту, в котором по меньшей мере некоторые части изображения набора частей изображения являются частями изображения текстурного атласа изображения, который содержит части текстуры из сеточных и текстурных представлений сцены.

10. Устройство по любому предыдущему пункту, в котором селектор (205) выполнен с возможностью выбора частей изображения для второго подмножества частей изображения в ответ на целевую позу обзора, принятую из удаленного источника.

11. Устройство по любому предыдущему пункту, в котором по меньшей мере некоторые части изображения перекрыты.

12. Устройство по любому предыдущему пункту, в котором процессор (203) прогнозирования выполнен с возможностью формирования меры прогнозирования для первой части изображения в ответ на связанные данные глубины для первой части изображения.

13. Способ формирования двоичного потока данных изображения, включающий:

хранение набора частей изображения и связанных данных глубины, представляющих сцену из разных поз обзора;

формирование мер прогнозирования для частей изображения набора частей изображения для поз обзора сцены, причем мера прогнозирования для первой части изображения для первой позы обзора указывает на оценку качества прогнозирования для прогнозирования по меньшей мере части изображения для окна просмотра первой позы обзора на основе первого подмножества частей изображения набора частей изображения, не содержащего первую часть изображения;

выбор второго подмножества частей изображения набора частей изображения в ответ на меры прогнозирования; и

формирование двоичного потока изображения, содержащего данные изображения и данные глубины из второго подмножества частей изображения;

причем выбор включает выбор множества смежных частей изображения в ответ на определение того, что множество смежных частей изображения образуют область, имеющую меру прогнозирования ниже первого порогового значения для внутренней части области и меру прогнозирования выше второго порогового значения для пограничной части области.