Сигнал изображения, представляющий сцену Российский патент 2024 года по МПК G06T15/20 H04N13/111 H04N13/282 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к сигналу изображения, представляющему сцену, и, в частности, но не исключительно, к формированию сигнала изображения, представляющего сцену, и рендерингу изображений из этого сигнала изображения как части приложения виртуальной реальности.

УРОВЕНЬ ТЕХНИКИ

Благодаря непрерывному развитию и введению новых услуг и способов использования и потребления видео в последние годы произошел значительный рост разнообразия и диапазона приложений для изображений и видео.

Например, одной из набирающих все большую популярность услуг является предоставление последовательностей изображений таким образом, чтобы зритель мог активно и динамически взаимодействовать с системой для изменения параметров рендеринга.

Весьма привлекательной особенностью многих приложений является возможность изменения эффективного положения обзора и направления обзора зрителя, чтобы, например, зритель мог перемещаться и «осматриваться» в представляемой сцене.

Такая функция может, в частности, давать пользователю ощущение виртуальной реальности.

Благодаря этому пользователь может, например, (относительно) свободно передвигаться в виртуальной среде и динамически изменять свое положение и направление, в котором он смотрит.

Как правило, такие приложения виртуальной реальности основаны на трехмерной модели сцены, причем модель динамически оценивается для обеспечения конкретного запрошенного вида.

Данный подход хорошо известен, например, из игровых приложений для компьютеров и консолей, например, из категории игр-стрелялок от первого лица.

Также желательно, в частности, для приложений виртуальной реальности, чтобы представляемое изображение было трехмерным изображением.

Действительно, для оптимизации погружения зрителя, как правило, предпочтительно, чтобы пользователь ощущал представленную сцену как трехмерную сцену.

Ведь ощущение виртуальной реальности предпочтительно должно позволять пользователю выбирать свое собственное положение, точку обзора камеры и момент времени относительно виртуального мира.

Как правило, приложения виртуальной реальности по своей природе ограничены тем, что они основаны на заранее определенной модели сцены и обычно на искусственной модели виртуального мира.

Часто желательно, чтобы ощущение виртуальной реальности могло быть обеспечено на основе захвата реального мира.

Однако во многих случаях такой подход ограничен или, как правило, требует построения виртуальной модели реального мира из захватываемых данных реального мира.

В таком случае ощущение виртуальной реальности формируется путем оценки этой модели.

Однако современные подходы, как правило, неоптимальные и часто имеют тенденцию предъявлять высокие требования к вычислительным и коммуникационным ресурсам и/или обеспечивать неоптимальное восприятие пользователем, например из-за пониженного качества или ограниченной свободы.

Во многих системах, например, в частности, основанных на сцене реального мира, предоставляют представление изображения сцены, где представление изображения включает в себя изображения и глубину для одной или более точек захвата/точек обзора в сцене.

Представление изображение плюс глубина обеспечивает очень эффективное охарактеризование, особенно сцены реального мира, причем это охарактеризование не только довольно просто формируется путем захвата сцены реального мира, но и очень подходит для рендерера, синтезирующего виды для других точек обзора, отличных от используемых при захвате.

Например, рендерер может быть выполнен с возможностью динамического формирования видов, которые соответствуют текущей локальной позе зрителя.

Например, позу зрителя можно определять динамически, а виды формировать динамически в соответствии с этой позой зрителя на основе предоставляемых изображений и, например карт глубины.

Однако такие представления изображения обычно приводят к очень высокой скорости передачи данных для данного качества изображения.

Чтобы обеспечить хороший захват сцены и, в частности, решить проблему явления заслонения, сцену желательно захватывать из положений захвата, близких друг к другу и покрывающих большой диапазон положений.

Соответственно, требуется относительно большое количество изображений.

Кроме того, окна просмотра захвата для камер часто перекрываются и, следовательно, набор изображений обычно содержит большое количество избыточной информации.

Как правило, эти проблемы не зависят от конкретной конфигурации захвата и, в частности, от того, используются ли линейные или, например, круговые, конфигурации захвата.

Таким образом, в то время как многие из обычных представлений и форматов изображения могут обеспечивать хорошие рабочие характеристики во многих приложениях и услугах, они имеют тенденцию быть неоптимальными по меньшей мере в некоторых обстоятельствах.

Следовательно, был бы полезен усовершенствованный подход к обработке и формированию сигнала изображения, содержащего представление изображения сцены.

В частности, были бы полезны система и/или подход, которые позволяют улучшить работу, повысить гибкость, улучшить восприятие виртуальной реальности, уменьшить скорости передачи данных, повысить эффективность, облегчить распространение, снизить сложность, облегчить реализацию, снизить требования к хранению, повысить качество изображения, улучшить рендеринг, улучшить восприятие пользователем, улучшить компромисс между качеством изображения и скоростью передачи данных и/или улучшить рабочие характеристики и/или работу.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Соответственно, настоящее изобретение направлено на предпочтительно ослабление, смягчение или устранение одного или более из вышеупомянутых недостатков по отдельности или в любой комбинации.

В соответствии с аспектом настоящего изобретения предложено устройство для формирования сигнала изображения, содержащее: приемник для приема множества исходных изображений, представляющих сцену из различных поз обзора; генератор объединенных изображений для формирования множества объединенных изображений из исходных изображений, причем каждое объединенное изображение получают из набора по меньшей мере из двух исходных изображений множества исходных изображений, каждый пиксель объединенного изображения представляет сцену для позы луча, а позы луча для каждого объединенного изображения включают в себя по меньшей мере два различных положения, при этом поза луча для пикселя представляет позу для луча в направлении обзора для пикселя и из положения обзора для пикселя; средство оценки для определения мер качества прогнозирования для элементов множества исходных изображений, причем мера качества прогнозирования для элемента первого исходного изображения указывает разницу между значениями пикселя в первом исходном изображении для пикселей в элементе и прогнозируемыми значениями пикселя для пикселей в элементе, а прогнозируемые значения пикселя являются значениями пикселя, полученными в результате прогнозирования пикселей в элементе из множества объединенных изображений; определитель для определения сегментов исходных изображений, содержащих элементы, для которых мера качества прогнозирования указывает на разницу выше порогового значения; и генератор сигнала изображения для формирования сигнала изображения, содержащего данные изображения, представляющие объединенные изображения, и данные изображения, представляющие сегменты исходных изображений.

Изобретение может обеспечить улучшенное представление сцены и может обеспечить улучшенное качество изображения преобразованных для воспроизведения изображений в зависимости от скорости передачи данных сигнала изображения во многих вариантах изображения и сценариях.

Во многих вариантах реализации может быть обеспечено более эффективное представление сцены, например, позволяющее достигать заданного качества при снижении скорости передачи данных.

Данный подход может обеспечить более гибкий и эффективный подход к рендерингу изображений сцены и может позволить улучшить адаптацию, например, к свойствам сцены.

Этот подход может во многих вариантах реализации использовать представление изображения сцены, пригодное для гибкого, эффективного и высокопроизводительного приложения виртуальной реальности (VR).

Во многих вариантах реализации он может сделать возможным или обеспечить приложение виртуальной реальности с существенно улучшенным компромиссом между качеством изображения и скоростью передачи данных.

Во многих вариантах реализации это может позволить улучшить воспринимаемое качество изображения и/или уменьшить скорость передачи данных.

Данный подход может быть пригодным, например, для широковещательных служб видео, поддерживающих адаптацию к перемещению и повороту головы на приемном конце.

Исходные изображения могут быть, в частности, светоинтенсивными изображениями со связанной информацией о глубине, такой как карты глубины.

Данный подход может, в частности, позволить оптимизировать объединенные изображения соответственно для информации переднего плана и заднего плана с помощью сегментов, обеспечивающих дополнительные данные там, где это особенно уместно.

Генератор сигнала изображения может быть выполнен с возможностью использования более эффективного кодирования объединенных изображений, чем сегментов.

Однако, сегменты могут, как правило, представлять относительно малую долю данных объединенных изображений.

В соответствии с необязательным признаком настоящего изобретения генератор объединенных изображений выполнен с возможностью формирования по меньшей мере первого объединенного изображения множества объединенных изображений посредством синтеза вида пикселей первого объединенного изображения из множества исходных изображений, причем каждый пиксель первого объединенного изображения представляет сцену для позы луча, а позы луча для первого изображения включают в себя по меньшей мере два различных положения.

Это может обеспечить особенно эффективную работу во многих вариантах реализации и может, например, позволить формировать объединенные изображения для поз обзора, которые могут (обычно в сочетании) обеспечить особенно эффективное представление сцены.

В соответствии с необязательным признаком настоящего изобретения скалярное произведение между вертикальным вектором и векторами перекрестного произведения пикселя является неотрицательным по меньшей мере для 90% пикселей первого объединенного изображения, причем вектор перекрестного произведения пикселя для пикселя является перекрестным произведением между направлением луча для пикселя и вектором из центральной точки для различных поз обзора в положение луча для пикселя.

Это может обеспечить особенно эффективное и выгодное формирование объединенных изображений во многих вариантах реализации.

Это может, в частности, обеспечить подход низкой сложности к определению объединенного изображения, который обеспечивает эффективное представление данных заднего плана за счет тенденции обеспечивать вид, смещенный к виду вбок.

В соответствии с необязательным признаком настоящего изобретения генератор объединенных изображений выполнен с возможностью формирования второго объединенного изображения множества объединенных изображений посредством синтеза вида пикселей второго объединенного изображения из множества исходных изображений, причем каждый пиксель второго объединенного изображения представляет сцену для позы луча, а позы луча для первого изображения включают в себя по меньшей мере два различных положения; и при этом скалярное произведение между вертикальным вектором и векторам перекрестного произведения пикселя является неположительными по меньшей мере для 90% пикселей второго объединенного изображения.

Это может обеспечить особенно эффективное и выгодное формирование объединенных изображений во многих вариантах реализации.

Это может, в частности, обеспечить подход низкой сложности к определению объединенного изображения, который обеспечивает эффективное представление данных заднего плана за счет тенденции обеспечивать видов, смещенный к другим видам вбок.

В соответствии с необязательным признаком настоящего изобретения позы луча первого объединенного изображения выбирают так, чтобы они были близкими к границе области, содержащей различные позы обзора множества исходных изображений.

Это может обеспечить эффективную работу во многих вариантах реализации и может, например, обеспечить улучшенную информацию о заднем плане посредством сигнала изображения, тем самым облегчая и/или улучшая синтез вида на основе сигнала изображения.

В соответствии с необязательным признаком настоящего изобретения каждую из поз луча первого объединенного изображения определяют на расстоянии меньше первого расстояния от границы области, содержащей различные позы обзора множества исходных изображений, причем первое расстояние составляет не более 50% от максимального внутреннего расстояния между точками на границе.

Это может обеспечить эффективную работу во многих вариантах реализации и может, например, обеспечить улучшенную информацию о заднем плане посредством сигнала изображения, тем самым облегчая и/или улучшая синтез вида на основе сигнала изображения.

В некоторых вариантах реализации первое расстояние составляет не более 25% или 10% от максимального внутреннего расстояния.

В некоторых вариантах реализации по меньшей мере одну позу обзора объединенного изображения определяют на расстоянии меньше первого расстояния от границы области, содержащей различные позы обзора множества исходных изображений, причем первое расстояние составляет не более 20%, 10% или даже 5% от максимального расстояния между двумя позами обзора из различных поз обзора.

В некоторых вариантах реализации по меньшей мере одну позу обзора объединенных изображений определяют как находящуюся по меньшей мере на минимальном расстоянии от центральной точки различных поз обзора, причем минимальное расстояние составляет по меньшей мере 50%, 75% или даже 90% от расстояния от центральной точки до границы области, содержащей различные позы обзора множества исходных изображений, вдоль линии через центральную точку и по меньшей мере одну позу обзора.

В соответствии с необязательным признаком настоящего изобретения генератор объединенных изображений выполнен с возможностью для каждого пикселя первого объединенного изображения множества объединенных изображений: определения соответствующего пикселя в каждом из исходных изображений вида, для которых соответствующий пиксель присутствует, причем соответствующий пиксель является пикселем, который представляет то же самое направление луча, что и пиксель первого комбинированного изображения; выбора значения пикселя для пикселя первого комбинированного изображения в качестве значения пикселя соответствующего пикселя в исходном изображении вида, для которого соответствующий пиксель представляет луч, имеющий наибольшее расстояние от центральной точки для различных поз обзора, причем это наибольшее расстояние определяют в первом направлении вдоль первой оси, перпендикулярной направлению луча для соответствующего пикселя.

Это может обеспечить особенно эффективное и выгодное формирование объединенных изображений во многих вариантах реализации.

Это может, в частности, обеспечить подход низкой сложности к определению объединенного изображения, который обеспечивает эффективное представление данных заднего плана за счет тенденции обеспечивать вид, смещенный к виду вбок.

В соответствии с необязательным признаком настоящего изобретения определение соответствующих пикселей включает повторную дискретизацию каждого исходного изображения в представление изображения, представляющее по меньшей мере часть поверхности сферы обзора, окружающей позы обзора, и определение соответствующих пикселей как пикселей, имеющих то же самое положение в представлении изображения.

Это может обеспечить особенно эффективное и точное определение соответствующих пикселей.

Поверхность сферы обзора может быть, например, представлена равнопрямоугольным представлением или представлением в виде кубической карты.

Каждый луч сферы обзора может иметь направление луча, а повторная дискретизация исходного изображения может включать установку значения пикселя сферы обзора на значение пикселя исходного изображения с тем же самым направлением луча.

В соответствии с необязательным признаком настоящего изобретения генератор объединенных изображений выполнен с возможностью для каждого пикселя второго объединенного изображения: выбора значения пикселя для пикселя во втором объединенном изображении в качестве значения пикселя соответствующего пикселя в исходном изображении вида, для которого соответствующий пиксель представляет луч, имеющий наибольшее расстояние от центральной точки в направлении, противоположном первому направлению.

Это может обеспечить особенно эффективное и выгодное формирование объединенных изображений во многих вариантах реализации.

Это может, в частности, обеспечить подход низкой сложности к определению объединенного изображения, который обеспечивает эффективное представление данных заднего плана за счет тенденции обеспечивать вид, смещенный к виду вбок.

Кроме того, второе объединенное изображение может дополнять первое объединенное изображение за счет обеспечения видов вбок из противоположного направления, тем самым объединяясь с первым объединенным изображением для обеспечения особенно эффективного представления сцены и, в частности, информации о заднем плане.

В соответствии с необязательным признаком настоящего изобретения генератор объединенных изображений выполнен с возможностью для каждого пикселя третьего объединенного изображения: выбора значения пикселя для пикселя в третьем объединенном изображении в качестве значения пикселя соответствующего пикселя на исходном изображении вида, для которого соответствующий пиксель представляет луч, имеющий наименьшее расстояние от центральной точки.

Это может обеспечить особенно эффективное и выгодное формирование объединенных изображений во многих вариантах реализации.

Третье объединенное изображение может дополнять первое (и второе) объединенное изображение (изображения) за счет обеспечения более фронтального вида сцены, который может обеспечивать улучшенное представление объектов переднего плана в сцене.

В соответствии с необязательным признаком настоящего изобретения генератор объединенных изображений выполнен с возможностью для каждого пикселя четвертого объединенного изображения: выбора значения пикселя для пикселя в четвертом объединенном изображении в качестве значения пикселя соответствующего пикселя в исходном изображении вида, для которого соответствующий пиксель представляет луч, имеющий наибольшее расстояние от центральной точки во втором направлении вдоль второй оси, перпендикулярной направлению луча для соответствующего пикселя, причем первая ось и вторая ось имеют разные направления.

Это может обеспечить особенно эффективное и выгодное формирование объединенных изображений во многих вариантах реализации и может обеспечить улучшенное представление сцены.

В соответствии с необязательным признаком настоящего изобретения генератор объединенных изображений выполнен с возможностью формирования данных о происхождении для первого объединенного изображения, причем данные о происхождении указывают, какое из объединенных изображений является источником для каждого пикселя первого объединенного изображения; а генератор сигнала изображения выполнен с возможностью включения данных о происхождении в сигнал изображения.

Это может обеспечить особенно эффективную работу во многих вариантах реализации.

В соответствии с необязательным признаком настоящего изобретения генератор сигнала изображения выполнен с возможностью включения данных исходных поз обзора в сигнал изображения, причем данные исходных поз обзора указывают различные позы обзора для исходных изображений.

Это может обеспечить особенно эффективную работу во многих вариантах реализации.

В соответствии с аспектом настоящего изобретения предложено устройство для приема сигнала изображения, содержащее: приемник для приема сигнала изображения, при этом сигнал изображения содержит: множество объединенных изображений, причем каждое объединенное изображение представляет данные изображения, полученные из набора по меньшей мере из двух исходных изображений множества исходных изображений, представляющих сцену из различных поз обзора, каждый пиксель объединенного изображения представляет сцену для позы луча, а позы луча для каждого объединенного изображения включают в себя по меньшей мере два разных положения, причем поза луча для пикселя представляет позу для луча в направлении обзора для пикселя и из положения обзора для пикселя; данные изображения для набора сегментов множества исходных изображений, причем сегмент для первого исходного изображения содержит по меньшей мере один пиксель первого исходного изображения, для которого мера качества прогнозирования для прогнозирования сегмента из множества объединенных изображений ниже порогового значения; и процессор для обработки сигнала изображения.

В соответствии с аспектом настоящего изобретения предложен способ формирования сигнала изображения, включающий: прием множества исходных изображений, представляющих сцену из различных поз обзора; формирование множества объединенных изображений из исходных изображений, причем каждое объединенное изображение получают из набора по меньшей мере из двух исходных изображений множества исходных изображений, каждый пиксель объединенного изображения представляет сцену для позы луча, а позы луча для каждого объединенного изображения включают в себя по меньшей мере два различных положения, при этом поза луча для пикселя представляет позу для луча в направлении обзора для пикселя и из положения обзора для пикселя; определение мер качества прогнозирования для элементов множества исходных изображений, причем мера качества прогнозирования для элемента первого исходного изображения указывает разницу между значениями пикселя в первом исходном изображении для пикселей в элементе и прогнозируемыми значениями пикселя для пикселей в элементе, а прогнозируемые значения пикселя являются значениями пикселя, полученными в результате прогнозирования пикселей в элементе из множества объединенных изображений; определение сегментов исходных изображений, содержащих элементы, для которых мера качества прогнозирования указывает на разницу выше порогового значения; и формирование сигнала изображения, содержащего данные изображения, представляющие объединенных изображения, и данные изображения, представляющие сегменты исходных изображений.

В соответствии с аспектом настоящего изобретения предложен способ приема сигнала изображения, включающий: прием сигнала изображения, при этом сигнал изображения содержит: множество объединенных изображений, причем каждое объединенное изображение представляет данные изображения, полученные из набора по меньшей мере из двух исходных изображений множества исходных изображений, представляющих сцену из различных поз обзора, каждый пиксель объединенного изображения представляет сцену для позы луча, а позы луча для каждого объединенного изображения включают в себя по меньшей мере два разных положения, причем поза луча для пикселя представляет позу для луча в направлении обзора для пикселя и из положения обзора для пикселя; данные изображения для набора сегментов множества исходных изображений, причем сегмент для первого исходного изображения содержит по меньшей мере один пиксель первого исходного изображения, для которого мера качества прогнозирования для прогнозирования сегмента из множества объединенных изображений ниже порогового значения; и обработку сигнала изображения.

В соответствии с аспектом настоящего изобретения предложен сигнал изображения, содержащий: множество объединенных изображений, причем каждое объединенное изображение представляет данные изображения, полученные из набора по меньшей мере из двух исходных изображений множества исходных изображений, представляющих сцену из различных поз обзора, каждый пиксель объединенного изображения представляет сцену для позы луча, а позы луча для каждого объединенного изображения включают в себя по меньшей мере два разных положения, причем поза луча для пикселя представляет позу для луча в направлении обзора для пикселя и из положения обзора для пикселя; данные изображения для набора сегментов множества исходных изображений, причем сегмент для первого исходного изображения содержит по меньшей мере один пиксель первого исходного изображения, для которого мера качества прогнозирования для прогнозирования сегмента из множества объединенных изображений ниже порогового значения.

Эти и другие аспекты, признаки и/или преимущества настоящего изобретения станут очевидны из вариантов реализации, описанных далее в этом документе, и будут пояснены со ссылкой на вариант(ы) реализации.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты реализации изобретения будут описаны только на примерах со ссылкой на чертежи, на которых:

На Фиг. 1 показан пример схемы расположения для обеспечения восприятия виртуальной реальности;

На Фиг. 2 показан пример схемы расположения для захвата для сцены;

На Фиг. 3 показан пример схемы расположения для захвата для сцены;

На Фиг. 4 показан пример элементов устройства в соответствии с некоторыми вариантами реализации настоящего изобретения;

На Фиг. 5 показан пример элементов устройства в соответствии с некоторыми вариантами реализации настоящего изобретения;

На Фиг. 6 показан пример выбора пикселей в соответствии с некоторыми вариантами реализации настоящего изобретения; и

На Фиг. 7 показан пример выбора пикселей в соответствии с некоторыми вариантами реализации настоящего изобретения;

На Фиг. 8 показан пример элементов расположения позы луча для объединенного изображения, формируемого в соответствии с некоторыми вариантами реализации настоящего изобретения;

На Фиг. 9 показан пример элементов расположения позы луча для объединенного изображения, формируемого в соответствии с некоторыми вариантами реализации настоящего изобретения;

На Фиг. 10 показан пример элементов расположения позы луча для объединенного изображения, формируемого в соответствии с некоторыми вариантами реализации настоящего изобретения;

На Фиг. 11 показан пример элементов расположения позы луча для объединенного изображения, формируемого в соответствии с некоторыми вариантами реализации настоящего изобретения;

На Фиг. 12 показан пример элементов расположения позы луча для объединенного изображения, формируемого в соответствии с некоторыми вариантами реализации настоящего изобретения; и

На Фиг. 13 показан пример элементов расположения позы луча для объединенного изображения, формируемого в соответствии с некоторыми вариантами реализации настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Виртуальные восприятия, позволяющие пользователю перемещаться в виртуальном мире, становятся все более популярными, и для удовлетворения такого спроса разрабатывают услуги.

Однако предоставление эффективных услуг виртуальной реальности является очень сложной задачей, в частности, если восприятие должно быть основано на захвате окружающей обстановки реального мира, а не на полностью виртуально сформированном искусственном мире.

Во многих приложениях виртуальной реальности определяют входные данные позы зрителя, отражающей позу виртуального зрителя в сцене.

Затем устройство/система/приложение виртуальной реальности формирует одно или более изображений, соответствующих видам и окнам просмотра сцены для зрителя, соответствующего позе зрителя.

Как правило, приложение виртуальной реальности формирует трехмерные выходные данные в виде отдельных изображений вида для левого и правого глаз.

Затем они могу быть представлены пользователю с помощью подходящих средств, обычно таких, как отдельные дисплеи для левого и правого глаз гарнитуры виртуальной реальности (VR).

В других вариантах реализации изображение может быть, например, представлено на автостереоскопическом дисплее (в этом случае может быть сформировано большее количество изображений вида для позы зрителя) или, в действительности, в некоторых вариантах реализации может быть сформировано только одно двумерное изображение (например, с использованием обычного двумерного дисплея).

Входные данные позы зрителя могут быть определены разными путями в разных приложениях.

Во многих вариантах реализации физическое движение пользователя может быть отслежено непосредственно.

Например, камера, производящая съемку области пользователя, может обнаруживать и отслеживать голову (или даже глаза) пользователя.

Во многих вариантах реализации пользователь может носить гарнитуру виртуальной реальности, которая может быть отслежена внешними и/или внутренними средствами.

Например, гарнитура может содержать акселерометры и гироскопы, обеспечивающие информацию о перемещении и повороте гарнитуры и, следовательно, головы.

В некоторых примерах гарнитура виртуальной реальности может передавать сигналы или содержать (например, визуальные) идентификаторы, которые позволяют внешнему датчику определять перемещение гарнитуры виртуальной реальности.

В некоторых системах поза зрителя может быть предоставлена с помощью ручных средств, например, пользователем, вручную управляющим джойстиком или аналогичным средством ввода вручную.

Например, пользователь может вручную перемещать виртуального зрителя вокруг сцены, управляя первым аналоговым джойстиком одной рукой, и управлять вручную направлением, в котором смотрит виртуальный зритель, двигая вручную второй аналоговый джойстик другой рукой.

В некоторых приложениях для формирования входной позы зрителя может быть использовано сочетание ручного и автоматизированного подходов.

Например, гарнитура может отслеживать ориентацию головы, а перемещением/положением зрителя в сцене может управлять пользователь с помощью джойстика.

Формирование изображений основано на подходящем представлении виртуального мира/среды/сцены.

В некоторых приложениях может быть предусмотрена полная трехмерная модель для сцены, а виды сцены из конкретной позы зрителя могут быть определены путем оценки этой модели.

Во многих практических системах сцена может быть представлена представлением изображения, содержащим данные изображения.

Данные изображения могут, как правило, содержать изображения, связанные с одной или более позами захвата или привязочными позами, и, в частности, могут быть включены изображения для одного или более окон просмотра, причем каждое окно просмотра соответствует конкретной позе.

Может быть использовано представление изображения, содержащее одно или более изображений, где каждое изображение представляет вид данного окна обзора для данной позы обзора.

Такие позы или положения обзора, для которых предоставляют данные изображения, часто называют привязочными позами или положениями либо позами или положениями захвата (т.к. данные изображения могут, как правило, соответствовать изображениям, которые захватывают или будут захвачены камерами, расположенными в сцене в положении и ориентации, соответствующими позе захвата).

Многие типичные приложения виртуальной реальности могут на основе такого представления изображения приступать к предоставлению изображений вида, соответствующих окнам просмотра для сцены для текущей позы зрителя, причем изображения динамически обновляются для отражения изменений позы зрителя, и при этом изображения формируются на основе данных изображения, представляющих (возможно) виртуальную сцену/среду/мир.

Приложение может делать это путем выполнения алгоритмов синтеза и сдвига вида, как известно специалисту в данной области.

В данной области техники термины «расположение» и «поза» используются как общий термин для положения и/или направления/ориентации.

Комбинация позиции и направления/ориентации, например, объекта, камеры, головы или вида, может называться позой или расположением.

Таким образом, указание расположения или позы может включать шесть значений/компонентов/степеней свободы, причем каждые значение/компонент/степень свободы описывают отдельное свойство позиции/местоположения или ориентации/направления соответствующего объекта.

Конечно, во многих ситуациях расположение или поза могут быть учтены или представлены с использованием меньшего числа компонентов, например, если один или более компонентов считают фиксированными или не относящимися к делу (например, если все объекты считают расположенными на одной и той же высоте и имеющими горизонтальную ориентацию, то полное представление позы объекта могут обеспечить четыре компонента).

Далее термин «поза» используется для ссылки на позицию и/или ориентацию, которые могут быть представлены от одного до шести значениями (соответствующими максимально возможным степеням свободы).

Многие приложения виртуальной реальности основаны на позе, имеющей максимум степеней свободы, т.е. по три степени свободы для каждого положения и ориентации, дающих в результате в общей сложности шесть степеней свободы.

Таким образом, поза может быть представлена набором или вектором из шести значений, представляющих шесть степеней свободы и, следовательно, вектор позы может обеспечивать указание трехмерной позиции и/или трехмерного направления.

Однако понятно, что в других вариантах реализации поза может быть представлена меньшим количеством значений.

Поза может быть по меньшей мере одним из ориентации и положения.

Значение позы может указывать по меньшей мере одно из значения ориентации и значения положения.

Систему или объект, основанные на обеспечении максимума степеней свободы для зрителя, обычно называют имеющими 6 степеней свободы (6DoF).

Многие системы и объекты обеспечивают только ориентацию или позицию, и их обычно называют имеющими 3 степени свободы (3DoF).

В некоторых системах приложение виртуальной реальности может быть предоставлено зрителю локально, например, с помощью автономного устройства, которое не использует какие-либо удаленные данные или обработку виртуальной реальности, или даже не имеет никакого доступа к ним.

Например, устройство, такое как игровая консоль, может содержать хранилище для хранения данных сцены, вход для приема/формирования позы зрителя и процессор для формирования соответствующих изображений из данных сцены.

В других системах приложение виртуальной реальности может быть реализовано и выполнено удаленно от зрителя.

Например, устройство, локальное для пользователя, может обнаруживать/принимать данные движения/позы, передаваемые удаленному устройству, которое обрабатывает данные для формирования позы зрителя.

После этого удаленное устройство может формировать подходящие изображения вида для позы зрителя на основе данных сцены, описывающих сцену.

Затем изображения вида передают на устройство, локальное для зрителя, где их представляют.

Например, удаленное устройство может непосредственно формировать видеопоток (обычно поток стерео/3D-видео), который непосредственно представляют с помощью локального устройства.

Поэтому в таком примере локальное устройство может не выполнять никакой обработки виртуальной реальности за исключением передачи данных движения и представления принятых видеоданных.

Во многих системах функциональные возможности могут быть распределены между локальным устройством и удаленным устройством.

Например, локальное устройство может обрабатывать принимаемые входные данные и данные датчиков для формирования поз зрителя, которые непрерывно передаются на удаленное устройство виртуальной реальности.

После этого удаленное устройство виртуальной реальности может формировать соответствующие изображения вида и передавать их на локальное устройство для представления.

В других системах удаленное устройство виртуальной реальности может не формировать непосредственно изображения вида, но может выбирать соответствующие данные сцены и передавать их на локальное устройство, которое может затем формировать изображения вида, которые представляют.

Например, удаленное устройство виртуальной реальности может идентифицировать ближайшую точку захвата, выделить соответствующие данные сцены (например, сферическое изображение и данные глубины из точки захвата) и передать их на локальное устройство.

После этого локальное устройство может обработать принятые данные сцены для формирования изображений для конкретной текущей позы обзора.

Обычно поза обзора будет соответствовать позе головы, а ссылки на позу обзора, как правило, могут в равной степени рассматриваться как соответствующие ссылки на позу головы.

Во многих приложениях, особенно для широковещательных служб, источник может передавать данные сцены в виде представления изображения (включая видео) сцены, которое не зависит от позы зрителя.

Например, представление изображения для одной сферы обзора для одного положения захвата может быть передано множеству клиентов.

Отдельные клиенты могут затем локально синтезировать изображения вида, соответствующие текущей позе зрителя.

Приложением, вызывающим особый интерес, является приложение, в котором поддерживается перемещение ограниченной величины, так что представленные виды обновляются вслед за небольшими перемещениями и поворотами, соответствующими по существу статическому зрителю, совершающему только небольшие движения головой и повороты головы.

Например, сидящий зритель может поворачивать свою голову и слегка перемещать ее, причем представляемые виды/изображения адаптируются в соответствии с этими изменениями позы.

Такой подход может обеспечить восприятие, например, видео, с высокой степенью погружения.

Например, зритель, наблюдающий за спортивным соревнованием, может ощущать, что он присутствует в определенном месте на арене.

Преимуществом таких приложений с ограниченной свободой является обеспечение улучшенного восприятия при необязательном точном представлении сцены из множества различных положений и, тем самым, существенное уменьшение требований к захвату.

Аналогичным образом, количество данных, которые необходимо предоставить в рендерер, может существенно уменьшено.

Действительно, во многих сценариях необходимо предоставлять только изображение и, как правило, данные глубины для одной точки обзора, причем локальный рендерер может формировать из этого требуемые виды.

Такой подход может, в частности, быть весьма подходящим для приложений, в которых данные должны передаваться из источника в место назначения по каналу связи с ограниченной полосой пропускания, таких как, например, приложение для широковещания или приложение клиент-сервер.

На Фиг. 1 показан такой пример системы виртуальной реальности, в которой удаленное клиентское устройство 101 виртуальной реальности поддерживает связь с сервером 103 виртуальной реальности, например, через сеть 105, такую как Интернет.

Сервер 103 может быть выполнен с возможностью одновременной поддержки потенциально большого количества клиентских устройств 101.

Сервер 103 виртуальной реальности может, например, поддерживать восприятие широковещания путем передачи сигнала изображения, содержащего представление изображения в виде данных изображения, которые могут быть использованы клиентскими устройствами для локального синтезирования изображений вида, соответствующих надлежащим позам.

Поэтому во многих применениях, таких как показанное на Фиг. 1, может быть желательно захватывать сцену и формировать эффективное представление изображения, которое может быть эффективно включено в сигнал изображения.

После этого сигнал изображения может быть передан различным устройствам, которые могут локально синтезировать виды для других поз обзора, отличных от поз захвата.

Для этого представление изображения может, как правило, включать в себя информацию о глубине, и, например, могут быть предоставлены изображения со связанной глубиной.

Например, карты глубины могут быть получены с использованием стереозахвата в сочетании с оценкой диспаратности или с использованием датчиков дальности, и эти карты глубины могут быть предоставлены вместе со светоинтенсивными изображениями.

Однако особой проблемой для таких подходов является то, что изменение позы обзора может изменить характеристики заслонения с получением в результате сегментов заднего плана, которые не видны на данном захваченном изображении, но становятся видны для другой позы обзора.

Чтобы решить эту проблему, для захвата сцены часто используют относительно большое количество камер.

На Фиг. 2 показан пример захвата круговой 8-видовой многокамерной установкой.

В данном примере камеры обращены наружу.

Как можно увидеть, различные камеры, и, следовательно, различные захваты/исходные изображения, могут иметь видимость различных частей сцены.

Например, область 1 заднего плана видна только из камеры 2.

Однако, как можно увидеть, большая часть сцены видна из множества камер, и, следовательно, создается значительное количество избыточной информации.

На Фиг. 3 показан пример линейного набора камер.

Опять же, камеры обеспечивают информацию о разных частях сцены, например, c1 является единственной камерой, захватывающей область 2, c3 является единственной камерой, захватывающей область 4, а c4 является единственной камерой, захватывающей область 3.

В то же время, некоторые части сцены захватываются более чем одной камерой.

Например, все камеры захватывают переднюю часть объектов fg1 и fg2 переднего плана, причем некоторые камеры обеспечивают более хороший захват, чем другие.

На Фиг. 3 показаны пример A для четырех камер и пример B для двух камер.

Как можно увидеть, четырехкамерная установка обеспечивает более хороший захват сцены (области 4 заднего плана bg), но, конечно, также формирует большее количество данных, содержащих больше избыточных данных.

Недостатком многовидового захвата по отношению к одному центральному виду, очевидно, является увеличенное количество данных изображения.

Другим недостатком является огромное количество формируемых пикселей, т.е. скорость передачи в пикселях, которые должны быть обработаны, и которые должен произвести декодер.

Это также требует повышенных сложности и использования ресурсов для синтеза видов во время воспроизведения.

Далее будет описан конкретный подход, в котором используется более эффективное и менее избыточное представление изображения захваченных видов.

Он направлен на сохранение некоторой пространственной и временной когерентности данных изображения, позволяющих повысить эффективность видеокодеров.

Он уменьшает скорости передачи в битах, скорость передачи в пикселях и сложность синтеза видов на стороне воспроизведения.

Это представление содержит множество объединенных изображений, каждое из которых формируют из двух или более исходных изображений (которые, в частности, могут быть захваченными 3D-изображениями, например, представленными как изображение плюс карта глубины), причем, как правило, рассматривают только часть каждого исходного изображения.

Объединенные изображения могут служить основой для синтеза видов и обеспечивать существенную информацию о сцене.

Объединенные изображения могут быть сформированы со смещением в сторону более внешних видов сцены и, в частности, к границам области захвата.

В некоторых вариантах реализации также могут быть предоставлены одно или более центральных объединенных изображений.

Во многих вариантах реализации каждое из объединенных изображений представляет виды из различных положений обзора, т.е. каждое изображение может содержать по меньшей мере пиксели, которые соответствуют различным позам обзора/захвата/привязки.

В частности, каждый пиксель объединенного изображения может представлять позу луча, соответствующую началу/положению и направлению/ориентации для луча из этого начала/положения, направленного в этом направлении/ориентации и заканчивающегося в точке/на объекте сцены, представляемых значением пикселя для этого пикселя.

По меньшей мере два пикселя объединенного изображения могут иметь разные начала/положения луча.

Например, в некоторых вариантах реализации пиксели объединенного изображения могут быть разделены на N групп, причем все пиксели в группе имеют одного и то же, но отличное от других групп, начало/положение.

N может быть равно двум или больше.

В некоторых вариантах реализации N может быть равно максимальному количеству горизонтальных пикселей в ряде (и/или количеству столбцов в объединенном изображении), и даже в некоторых вариантах реализации N может быть равно количеству пикселей, т.е. все пиксели могут иметь уникальное начало/позу луча.

Таким образом, поза луча для пикселя может представлять начало/положение и/или ориентацию/положение для луча между началом/положением и точкой сцены, представляемой пикселем.

Начало/положение может быть, в частности, положением обзора для пикселя, а ориентация/направление может быть направлением обзора для пикселя.

Она может эффективно представлять луч света, который будет захвачен в положении луча из направления луча для пикселя, и, следовательно, отражает луч света, который представлен значением пикселя.

Таким образом, каждый пиксель может представлять сцену, если смотреть из положения обзора в направлении обзора.

Положение обзора и направление обзора соответственно определяют луч.

Каждый пиксель может иметь связанный луч обзора из положения обзора для пикселя и в направлении обзора для пикселя.

Каждый пиксель представляет сцену для позы луча (обзора), являющейся позой луча из точки/положения обзора для пикселя в направлении обзора.

В частности, пиксель может представлять точку сцены (точку в сцене), в которой луч обзора пересекает объект сцены (включая задний план).

Пиксель может представлять лучи света из точки сцены в положение обзора и в направлении обзора.

Луч обзора может быть лучом из положения обзора в направлении, пересекающем точку сцены.

Кроме того, объединенные изображения дополняют сегментами или фрагментами захваченных видов, которые были идентифицированы как недостаточно хорошо спрогнозированные из объединенных изображений.

Таким образом, определяют некоторое количество, как правило, относительно большое количество, обычно небольших сегментов и включают в специально представленные отдельные части захваченных изображений, которые могут обеспечить информацию об элементах сцены, недостаточно хорошо представленных объединенными изображениями.

Преимуществом такого представления является то, что для различных частей данных изображения, подлежащих передаче, могут быть предусмотрены разные кодирования.

Например, к объединенным изображениям могут быть применены эффективное и сложное кодирование и сжатие, поскольку они обычно составляют наибольшую часть сигнала изображения, тогда как к сегментам часто может быть применено менее эффективное кодирование.

Кроме того, объединенные изображения могут быть сформированы так, чтобы они хорошо подходили для эффективного кодирования, например, за счет формирования таким образом, чтобы они напоминали обычные изображения и тем самым позволяли использовать эффективные подходы к кодированию изображений.

В отличие от этого, свойства сегментов могут меняться значительно сильнее в зависимости от конкретных характеристик изображений, и поэтому их гораздо сложнее кодировать столь же эффективно.

Однако это не проблема, поскольку сегменты обычно дают намного меньше данных изображения.

На ФИГ. 4 показан пример устройства для формирования сигнала изображения, который включает в себя представление множества исходных изображений сцены из различных исходных поз обзора (привязочных поз), как описано выше.

Это устройство будет также упоминаться как передатчик 400 сигнала изображения.

Передатчик 400 сигнала изображения может, например, содержаться в сервере 103 виртуальной реальности, приведенном на Фиг. 1

На ФИГ. 5 показан пример устройства для рендеринга изображений вида на основе принятого сигнала изображения, который включает в себя представление множества изображений сцены.

Устройство может, в частности, принимать сигнал данных изображения, сформированный устройством, приведенным на Фиг. 4, и обрабатывать его для рендеринга изображений для конкретных поз обзора.

Устройство, показанное на Фиг. 5, будет также упоминаться как приемник 500 сигнала изображения.

Приемник 500 сигнала изображения может, например, содержаться в клиентском устройстве 101, приведенном на Фиг. 1

Передатчик 400 сигнала изображения содержит приемник 401 источника изображений, который выполнен с возможностью приема множества исходных изображений сцены.

Исходные изображения могут представлять виды сцены из различных поз обзора.

Исходные изображения обычно могут быть захваченными изображениями, т.е. захваченными камерами многокамерной установки.

Исходные изображения могут, например, содержать изображения из ряда равноудаленных камер захвата или из круга камер.

Во многих вариантах реализации исходные изображения могут быть 3D-изображениями, содержащими 2D-изображения со связанной информацией о глубине.

2D-изображения могут быть, в частности, изображениями вида для окон обзора сцены из соответствующей поз захвата, и 2D-изображение может сопровождаться изображением или картой глубины, содержащей значения глубины для каждого пикселя 2D-изображения.

2D-изображение может быть текстурной картой.

2D-изображение может быть светоинтенсивным изображением.

Значения глубины могут быть, например, значениями диспаратности или значениями расстояния, например, указанными координатой z.

В некоторых вариантах реализации исходное изображение может быть 3D-изображением в виде текстурной карты со связанной 3D-сеткой.

В некоторых вариантах реализации такие представления текстурной картой и сеткой могут быть преобразованы приемником источника изображений в представления изображение плюс глубина перед дальнейшей обработкой передатчиком 400 сигнала изображения.

Приемник 401 источника изображений соответственно принимает множество исходных изображений, которые характеризуют и представляют сцену из различных исходных поз обзора.

Такой набор исходных изображений позволит формировать изображения вида для других поз с использованием алгоритмов, таких как сдвиг вида, как известно специалисту в данной области.

Соответственно, передатчик 400 сигнала изображения выполнен с возможностью формирования сигнала изображения, который содержит данные изображения для исходных изображений, и передает эти данные удаленному устройству для локального рендеринга.

Однако, непосредственная передача всех исходных изображений потребует неосуществимо высокой скорости передачи данных и будет содержать большой объем избыточной информации.

Передатчик 400 сигнала изображения выполнен с возможностью уменьшения скорости передачи данных за счет использования представления изображения, как описано ранее.

В частности, приемник 401 входного источника соединен с генератором 403 объединенных изображений, который выполнен с возможностью формирования множества объединенных изображений.

Объединенные изображения содержат информацию, полученную из множества исходных изображений.

Точный подход к получению объединенных изображений может отличаться между различными вариантами реализации, и позже будут более подробно описаны конкретные примеры.

В некоторых вариантах реализации объединенное изображение может быть сформировано путем выбора пикселей из различных исходных изображений.

В других вариантах реализации в качестве альтернативы или дополнительно объединенные изображения могут формировать одно или более объединенных изображений путем синтеза вида из исходных изображений.

Однако, в то время как каждое объединенное изображение содержит вклад по меньшей мере из двух, а чаще больше, исходных изображений, для каждого объединенного изображения обычно рассматривают только часть отдельных исходных изображений.

Таким образом, для каждого исходного изображения, используемого для формирования данного комбинированного изображения, существуют некоторые пиксели, которые исключают/отбрасывают.

Поэтому значения пикселей, формируемые для конкретного объединенного изображения, не зависят от значений этих пикселей.

Объединенные изображения могут быть сформированы так, что каждое изображение не просто представляет одно положение обзора/захвата/привязки, а, скорее, представляет два или более положений обзора/захвата/привязки.

В частности, начало/положение луча по меньшей мере для некоторых пикселей в одном объединенном изображении будет различным, и, следовательно, одно объединенное изображение может представлять вид сцены из различных направлений.

Соответственно, генератор 403 объединенных изображений может быть выполнен с возможностью формирования множества объединенных изображений из исходных изображений, причем каждое объединенное изображение получают из набора по меньшей мере из двух исходных изображений, и при этом получение первого объединенного изображения, как правило, включает только часть каждого из этих по меньшей мере двух исходных изображений.

Кроме того, каждый пиксель данного объединенного изображения представляет сцену для позы луча, а позы луча для каждого объединенного изображения могут включать в себя по меньшей мере два различных положения.

Генератор 403 объединенных изображений соединен со средством 405 оценки, в которое подают объединенные изображения и исходные изображения.

Средство 405 оценки выполнено с возможностью определения мер качества прогнозирования для элементов исходных изображений.

Элемент может быть отдельным пикселем, а средство 405 оценки может быть выполнено с возможностью определения меры качества прогнозирования для каждого пикселя каждого исходного изображения.

В других вариантах реализации элементы могут содержать множество пикселей, и каждый элемент может быть группой пикселей.

Например, мера качества прогнозирования может быть определена для блоков, например, блоков из 4 × 4 или 16 × 16 пикселей.

Это может снизить степень детализации определяемых сегментов или фрагментов, но может существенно уменьшить сложность обработки и использование ресурсов.

Меру качества прогнозирования для данного элемента формируют так, чтобы она указывала разницу между значениями пикселя в первом исходном изображении для пикселей в элементе и прогнозируемыми значениями пикселя для пикселей в элементе.

Таким образом, элемент может быть образован одним или более пикселями, а мера качества прогнозирования для элемента может указывать разницу между значениями пикселя для этих пикселей на первоначальном исходном изображении и значениями пикселей для пикселей, которые являются результатом прогнозирования на основе объединенных изображений.

Понятно, что в разных вариантах реализации могут быть использованы разные подходы к определению мер качества прогнозирования.

В частности, во многих вариантах реализации средство 405 оценки может переходить к фактическому выполнению прогнозирования каждого исходного изображения из объединенных изображений.

Затем оно может для каждого отдельного изображения и каждого отдельного пикселя определить разницу между первоначальным значением пикселя и прогнозируемым значением пикселя.

Понятно, что может быть использована любая подходящая мера разницы, такая как, например, абсолютная разность, разность квадратных корней из сумм квадратов применительно к компонентам значения пикселя, например, множеству цветовых каналов, и т.д.

Поэтому такое прогнозирование может имитировать прогнозирование/синтезирование вида, которое может быть выполнено приемником 500 сигнала изображения для формирования видов для поз обзора исходных изображений.

Таким образом, меры качества прогнозирования отражают, насколько хорошо приемник объединенных изображений может формировать первоначальные исходные изображения на основе только объединенных изображений.

Прогнозируемое изображение для исходного изображения из объединенных изображений может быть изображением для позы обзора исходного изображения, сформированным посредством синтеза вида из объединенных изображений.

Синтез вида обычно включает сдвиг позы обзора и, как правило, сдвиг положения обзора.

Синтез вида может быть синтезом изображения сдвига вида.

Прогнозирование первого изображения из второго изображения может быть, в частности, синтезом вида изображения при позе обзора первого изображения на основе второго изображения (и его позы обзора).

Таким образом, операция прогнозирования для прогнозирования первого изображения из второго изображения может заключаться в сдвиге позы обзора второго изображения из позы обзора, связанной с позой обзора первого изображения.

Понятно, что в разных вариантах реализации могут быть использованы разные способы и алгоритмы для синтеза и прогнозирования вида.

Во многих вариантах реализации может быть использован алгоритм синтеза/прогнозирования вида, который в качестве входа берет позу обзора синтеза, для которой нужно сформировать синтезированное изображение, и множество входных изображений, каждое из которых связано с отличной от других позой обзора.

Алгоритм синтеза вида может затем сформировать синтезированное изображение для данной позы обзора на основе входных изображений, который могут, как правило, содержать как текстурную карту, так и глубину.

Известен ряд таких алгоритмов, и любой алгоритм может быть использован без ущерба для настоящего изобретения.

В качестве примера такого подхода сначала могут быть сформированы промежуточные синтезированные/прогнозируемые изображения для каждого входного изображения.

Это может быть достигнуто, например, путем формирования сначала сетки для входного изображения на основе карты глубины изображения.

Затем на основе геометрических вычислений сетка может быть деформирована/сдвинута из позы обзора входного изображения в позу обзора синтеза.

Вершины получающейся в результате сетки могут быть затем проецированы на промежуточное синтезированное/прогнозируемое изображение, и на это изображение может быть наложена текстурная карта.

Например, такой процесс может быть реализован с использованием обработки вершин и шейдеров фрагментов, известных, например из стандартных графических конвейеров.

Таким образом, для каждого из входных изображений может быть сформировано промежуточное синтезированное/прогнозируемое изображение (далее в настоящем документе именуемое просто промежуточным прогнозируемым изображением) для позы обзора синтеза.

Промежуточные прогнозируемые изображения могут быть после этого объединены друг с другом, например, посредством взвешенного объединения/суммирования или путем выборочного объединения.

Например, в некоторых вариантах реализации каждый пиксель синтезированного/прогнозируемого изображения для позы обзора синтеза может быть сформирован путем выбора пикселя из промежуточного прогнозируемого изображения, который наиболее удален вперед, или пиксель может быть сформирован путем взвешенного суммирования соответствующего значения пикселя для всех промежуточных прогнозируемых изображений, причем вес для данного промежуточного прогнозируемого изображения зависит от глубины, определенной для пикселя.

Эту операцию объединения также называют операцией смешения.

В некоторых вариантах реализации измерения качества прогнозирования могут быть выполнены без выполнения полного прогнозирования, а, вернее, может быть использована косвенная мера качества прогнозирования.

Например, мера качества прогнозирования может быть определена косвенно путем оценки параметра процесса, вовлеченного в сдвиг вида.

Например, величины геометрического искажения (растяжения), приводящего к примитиву (обычно треугольнику) при выполнении сдвига позы обзора.

Чем больше геометрическое искажение, тем ниже мера качества прогнозирования для любого пикселя, представленного этим примитивом.

Таким образом, средство 405 оценки может определять меры качества прогнозирования для элементов множества исходных изображений, причем мера качества прогнозирования для элемента первого исходного изображения указывает разницу между прогнозируемыми значениями пикселя в элементе, прогнозируемом из множества объединенных изображений, и значениями пикселя в элементе на первом исходном изображении.

Средство 405 оценки соединено с определителем 407, который выполнен с возможностью определения сегментов исходных изображений, содержащих элементы, для которых мера качества прогнозирования указывает разницу выше порогового значения/мера качества прогнозирования, указывающую на качество прогнозирования ниже порогового значения.

Сегменты могут соответствовать отдельным элементам, которые определены средством 405 оценки, и для которых мера качества прогнозирования ниже порогового значения качества.

Однако, во многих вариантах реализации определитель 407 может быть выполнен с возможностью формирования сегментов путем группирования таких элементов, и в действительности группирование может также включать некоторые элементы, для которых мера качества прогнозирования выше порогового значения.

Например, в некоторых вариантах реализации определитель 407 может быть выполнен с возможностью формирования сегментов путем группирования всех смежных элементов, которые имеют меру качества прогнозирования ниже порогового значения качества (далее называемые низкими мерами качества прогнозирования и элементами низкого качества, соответственно).

В других вариантах реализации определитель 407 может быть, например, выполнен с возможностью подбора сегментов данного размера и формы для изображений так, чтобы они включали в себя как можно больше элементов низкого качества.

Определитель 407 соответственно формирует набор сегментов, которые включают в себя элементы низкого качества, и, следовательно, которые не могут быть достаточно точно спрогнозированы из объединенных изображений.

Как правило, эти сегменты будут соответствовать небольшой доле исходных изображений и, следовательно, относительно небольшому количеству данных и пикселей изображения.

Определитель 407 и генератор 403 объединенных изображений соединены с генератором 409 формирования сигнала изображения, который принимает объединенные изображения и сегменты.

Генератор 409 сигнала изображения выполнен с возможностью формирования сигнала изображения, который содержит данные изображения, представляющие объединенные изображения, и данные изображения, представляющие сегменты.

Генератор 409 сигнала изображения может, в частности, кодировать объединенные изображения и сегменты и может, в частности, делать это по-разному и использовать разные алгоритмы и стандарты кодирования для объединенных изображений и для сегментов.

Как правило, объединенные изображения кодируют с использованием эффективных алгоритмов и стандартов кодирования изображения или высокоэффективных алгоритмов и стандартов кодирования видео, если изображения являются кадрами видеосигнала.

Кодирование сегментов может быть, как правило, менее эффективным.

Например, сегменты могут быть объединены в сегментные изображения, причем каждое изображение обычно может содержать сегменты из множества исходных изображений.

Такие объединенные сегментные изображения могут быть затем закодированы с использованием стандартного алгоритма кодирования изображения или видео.

Однако ввиду смешанного и частичного характера таких объединенных сегментных изображений кодирование, как правило, менее эффективно, чем для обычных полных изображений.

В качестве еще одного примера ввиду разреженного характера сегментов они не могут храниться в полных кадрах/изображениях.

В некоторых вариантах реализации сегменты могут быть, например, представлены в виде сеток в 3D-пространстве с использованием языка моделирования виртуальной реальности (Virtual Reality Modeling Language, VRML).

Обычно данные изображения для сегментов могут сопровождаться метаданными, указывающими происхождение сегментов, такое как, например, координаты первоначального изображения и происхождение камеры/исходного изображения.

В одном примере сигнал изображения передают приемнику 500 сигнала изображения, который является частью клиентского устройства 101 виртуальной реальности.

Приемник 500 сигнала изображения содержит приемник 501 сигнала изображения, который принимает сигнал изображения от передатчика 400 сигнала изображения.

Приемник 501 сигнала изображения выполнен с возможностью декодирования сигнала изображения для восстановления объединенных изображений и сегментов.

Приемник 501 сигнала изображения соединен с процессором 503 изображения, который выполнен с возможностью обработки сигнала изображения и, в частности, объединенных изображений и сегментов.

Во многих вариантах реализации процессор 503 изображения может быть выполнен с возможностью синтезирования изображений вида для различных поз обзора на основе объединенных изображений и сегментов.

В некоторых вариантах реализации процессор 503 изображения может сначала приступать к синтезированию исходных изображений.

Затем части синтезированных исходных изображений, сегмент для которых включен в сигнал изображения, могут быть заменены данными изображения, обеспечиваемыми сегментами.

Получающиеся в результате исходные изображения могут быть затем использованы для обычного синтеза изображений.

В других вариантах реализации объединенные изображения и сегменты могут быть использованы непосредственно без предварительного восстановления исходных изображений.

Понятно, что передатчик 400 сигнала изображения и приемник 500 сигнала изображения содержат требуемые функциональные возможности для обмена сигналом изображения, включая функциональные возможности для кодирования, модулирования, передачи, приема и т.д. сигнала изображения.

Понятно, что такие функциональные возможности будут зависеть от предпочтений и требований отдельного варианта реализации, и что такие технологии известны специалисту в данной области и, поэтому для ясности и краткости не будут обсуждаться далее в настоящем документе.

В разных вариантах реализации могут быть использованы разные подходы к формированию объединенных изображений.

В некоторых вариантах реализации генератор 403 объединенных изображений может быть выполнен с возможностью формирования объединенных изображений путем выбора пикселей из исходных изображений.

Например, для каждого пикселя в объединенном изображении генератор 403 объединенных изображений может выбрать один пиксель в одном из исходных изображений.

Изображение и/или карта глубины содержит пиксели, имеющие значения, которые можно рассматривать как представляющие соответствующее свойство изображения (интенсивность/интенсивности света или глубину) сцены вдоль луча, имеющего направление луча (ориентацию) из начала (положения) луча.

Начало луча обычно является позой обзора изображения для изображения, но может в некотором представлении меняться в зависимости от пикселей (таком как, например, всенаправленное стерео, в котором изображение, как таковое, можно рассматривать как имеющее позу обзора, соответствующую центру окружности всенаправленного видео, но при этом каждый пиксель имеет отдельную позу обзора, соответствующую положению на окружности всенаправленного видео).

Направление луча обычно может меняться в зависимости от пикселей, в частности, для изображений, на которых все пиксели имеют одно и то же начало луча (т.е. имеется одна общая поза обзора).

Начало и/или направление луча также часто называют позой луча или позой проецирования луча.

Таким образом, каждый пиксель связан с положением, представляющим собой начало луча/прямой линии.

Каждый пиксель также связан с направлением, являющимся направлением луча/прямой линии из начала.

Соответственно, каждый пиксель связан с лучом/прямой линией, которая определена положением/началом и направлением из этого положения/начала.

Значение пикселя задается соответствующим свойством для сцены в первом пересечении луча для пикселя и объекта сцены (включая задний план).

Таким образом, значение пикселя представляет свойство сцены вдоль луча/прямой линии, начинающейся в положении начала луча и имеющей направление, связанное с пикселем.

Значение пикселя представляет свойство сцены вдоль луча, имеющего позу луча пикселя.

Таким образом, генератор 403 объединенных изображений может для данного первого пикселя в формируемом объединенном изображении определить соответствующие пиксели на исходных изображениях как пиксели, которые представляют то же самое направление луча.

Соответствующие пиксели могут соответственно быть пикселем, который представляет то же самое направление луча, но который имеет отличающиеся положения, поскольку исходные изображения могут соответствовать разным положениям.

Таким образом, в принципе, генератор 403 объединенных изображений может для данного пикселя объединенного изображения определить направление луча и затем определить все пиксели на исходных изображениях, которые имеют такие же (в пределах данного требования подобия) направления луча, и считать их соответствующими пикселями.

Следовательно, соответствующие пиксели будут, как правило, иметь одинаковое направление луча, но разные положения/начала луча.

Виды из разных изображений исходных поз обзора могут быть, например, повторно дискретизированы так, чтобы соответствующие координаты изображения имели соответствующие направления луча.

Например, когда исходные виды представлены в формате частичной равнопрямогольной проекции, их повторно дискретизируют в полную версию на 360°/180°.

Например, можно определить сферу обзора, окружающую всю исходную конфигурацию обзора.

Эту сфера обзора можно разделить на пиксели, причем каждый пиксель имеет направление луча.

Для данного исходного изображения каждый пиксель может быть повторно дискретизирован в представление сферы обзора путем установки значения пикселя сферы обзора для данного направления луча на значение пикселя для пикселя в исходном виде, который имеет то же самое направление луча.

Повторная дискретизация исходных изображений на представление полной поверхности сферы обзора, как правило, приведет к N частично заполненным изображениям, поскольку отдельные изображения обычно имеют ограниченные окна просмотра, где N является количеством исходных изображений.

Однако окна просмотра имеют тенденцию перекрываться, и, соответственно, набор представлений поверхности сферы обзора обычно обеспечивает множество значений пикселя для любого данного направления.

Теперь генератор 403 объединенных изображений может перейти к формированию по меньшей мере одного, но, как правило, множества объединенных изображений путем выбора между соответствующими пикселями.

В частности, может быть сформировано первое объединенное изображение для охвата части сцены.

Например, может быть сформировано объединенное изображение, имеющее заданный размер, для охвата определенной области пикселей в представлениях сферы обзора и описания тем самым этого участка сцены.

В некоторых вариантах реализации каждое из объединенных изображений может охватывать всю сцену и включать в себя всю поверхность сферы обзора.

Для каждого пикселя на первом объединенном изображении генератор 403 объединенных изображений может теперь рассмотреть соответствующие пиксели в представлениях сферы обзора и перейти к выбору пикселей.

В частности, генератор 403 объединенных изображений может сформировать первое объединенное изображение путем выбора значения пикселя для объединенного изображения как значение пикселя для соответствующего пикселя в исходном изображении вида, для которого соответствующих пиксель представляет луч, имеющий наибольшее расстояние от центральной точки в первом направлении вдоль первой оси, перпендикулярной направлению луча для соответствующего пикселя

Расстояние от центральной точки до направления луча может быть определено как расстояние между лучами центральной точки и соответствующим пикселем для пикселя объединенного изображения.

Выбор может быть объяснен с помощью Фиг. 6, которая основана на примере круговой конфигурации исходной позы обзора, имеющей центральную точку C.

В этом примере рассматривается определение пикселя объединенного изображения, имеющего направление луча rc.

Это направление захватывают камеры/исходные виды 1–4, и, таким образом, существуют четыре соответствующих пикселя.

Каждый из этих четырех соответствующих пикселей представляет разные позы и, соответственно, представляет лучи, начинающиеся в разных положениях, как показано.

Соответственно, между этими лучами и лучом rc объединенного изображения существуют расстояния p1–p4 смещения, соответствующие расстоянию между центральной точкой C и лучами, если их продлить назад (до пересечения с осью 601).

На Фиг. 6 также показаны направление/ось 601, перпендикулярные лучу rc.

Теперь генератор 403 объединенных изображений может для первого объединенного изображения выбрать соответствующий пиксель, для которого расстояние луча в этом направлении является наибольшим.

Таким образом, в данном случае значение пикселя объединенного изображения будет выбрано как значение пикселя для камеры/вида 1, поскольку p1 является наибольшим расстоянием в этом направлении.

Как правило, генератор 403 объединенных изображений может далее перейти к определению второго объединенного изображения путем выполнения той же самой операции, но выбирая соответствующие пиксели, которые имеют наибольшее расстояние в противоположном направлении (можно считать, что формирование первого и второго объединенных изображений может быть выполнено путем выбора наибольших положительного и отрицательного расстояний, соответственно, относительно первого направления, если расстояние измеряется как положительное, когда оно в одном направлении с осью, и отрицательное, когда оно в другом направлении).

Таким образом, в данном случае генератор 403 объединенных изображений выберет значение пикселя объединенного изображения как значение пикселя для камеры/вида 4, поскольку p4 является наибольшим расстоянием в этом направлении.

Во многих вариантах реализации генератор 403 объединенных изображений может далее перейти к формированию третьего комбинированного изображения путем выполнения той же самой операции, но выбирая соответствующие пиксели, которые имеют наименьшее расстояние в любом направлении (наименьшее абсолютное расстояние).

Таким образом, в данном случае генератор 403 объединенных изображений выберет значение пикселя объединенного изображения как значение пикселя для камеры/вида 3, поскольку p3 является наименьшим расстоянием.

Таким образом, генератор 403 объединенных изображений может тем самым сформировать три объединенных изображения для одной и той же части сцены (и, возможно, для всей сцены).

Одно из изображений будет соответствовать выбору пикселей, которые обеспечивают большую часть вида вбок сцены в одном направлении, одно, которое представляет большую часть вида вбок сцены из противоположного направления, и одно, которое представляет большую часть центрального вида сцены.

Это может быть проиллюстрировано на Фиг. 7, на которой показаны направления обзора, выбранные из каждых вида/камеры соответственно для центрального объединенного изображения и двух боковых объединенных изображений.

Таким образом, получающиеся в результате изображения обеспечивают очень эффективное представление сцены, причем одно объединенное изображение обычно обеспечивает представление для объектов переднего плана, а другие два объединяются для обеспечения данных, сфокусированных на заднем плане.

В некоторых вариантах реализации генератор 403 объединенных изображений может быть выполнен с возможностью дополнительного формирования одного или более объединенных изображений путем выбора соответствующих пикселей в соответствии с направлением оси, которое перпендикулярно направлению луча, но отличается от ранее использованного направления оси.

Данный подход может подойти для непланарных конфигураций исходной позы обзора (например, трехмерных конфигураций).

Например, для сферической конфигурации исходной позы обзора могут быть рассмотрены более двух плоскостей.

Например, могут быть рассмотрены плоскости под углом 0, 60 и 120 градусов или могут быть рассмотрены две ортогональные плоскости (например, плоскости слева направо и сверху вниз).

В некоторых вариантах реализации объединенные изображения могут быть сформированы путем синтеза/прогнозирования вида из исходных изображений.

Генератор 103 изображений может, в частности, формировать объединенные изображения, представляющие виды сцены из различных положений обзора и, в частности, из различных положений обзора, отличных от положений обзора исходных изображений.

Кроме того, в отличие от обычного синтеза изображений объединенное изображение формируют не для представления вида сцены из одного положения обзора/захвата, а оно может представлять сцену из разных положений обзора даже в пределах одного и того же объединенного изображения.

Таким образом, объединенное изображение может быть сформировано путем формирования значений пикселя для пикселей объединенного изображения посредством синтеза/прогнозирования вида из исходных изображений, но при этом значения пикселя представляют разные положения обзора.

В частности, для данного пикселя на объединенном изображении синтез/прогнозирование вида могут быть выполнены для определения значения пикселя, соответствующего конкретной позе луча для этого пикселя.

Это можно повторить для всех пикселей объединенного изображения, но при этом по меньшей мере некоторые из пикселей имеют позы луча с отличающимся положениями.

Например, одно объединенное изображение может обеспечивать представление сцены на 360°, соответствующее, например, поверхности сферы обзора, которая окружает всю конфигурацию исходной позы обзора.

Однако эти виды различных частей сцены могут быть представлены из разных положений в пределах одного и того же объединенного изображения.

На Фиг. 8 показан пример, на котором объединенное изображение содержит пиксели, представляющие два различных положения луча (и, следовательно, положения обзора пикселя), а именно, первое начало 801 луча, которое используют для пикселей, представляющих одну полусферу, и второе начало 803 луча, представляющее другую полусферу.

Для каждого из этих положений/начал луча предоставляют пиксели с разными направлениями луча, как показано стрелками.

В данном конкретном примере конфигурация исходной позы обзора содержит восемь исходных видов (1–8) в круговом расположении.

Обзор каждой камеры обеспечивает только часть вида, скажем вид на 90°, но с перекрытием между видами.

Для данного пикселя в объединенном изображении может быть связанная поза луча, а значение пикселя для этой позы может быть определено посредством синтеза/прогнозирования вида из этих исходных видов.

В принципе, каждый пиксель объединенного изображения может быть синтезирован по отдельности, но во многих вариантах реализации выполняют объединенный синтез для множества пикселей.

Например, для первого положения 801 может быть синтезировано одно изображение на 180° из исходных изображений (например, с использованием положений 2, 1, 8, 7, 6, 5, 4), и для второго положения 803 может быть синтезировано одно изображение на 180° из исходных изображений (например, с использованием положений 6, 5, 4, 3, 2, 1, 8).

Затем объединением этих изображений может быть сформировано объединенное изображение.

Если синтезированные по отдельности изображения перекрываются, то для формирования объединенного изображения может быть использовано объединение или смешение.

В альтернативном варианте реализации перекрывающиеся части объединенных изображений могут быть подавлены, например, путем присвоения зарезервированного цвета или значения глубины.

Тем самым повышается эффективность кодирования видео.

Во многих вариантах реализации одно или более объединенных изображений могут быть сформированы для представления сцены из точки обзора, обеспечивающей более боковой вид сцены.

Например, на Фиг. 8 центр окружности обзора соответствует центральной точке исходных поз обзора и центру положений начала луча для объединенного изображения.

Однако направления луча для данного начала 801, 803 луча указывают не в преимущественно радиальном направлении, а, скорее, обеспечивают вид вбок сцены.

В частности, в данном примере как первое начало 801 луча, так и второе начало 803 луча обеспечивают виды в направлении влево, т.е. направления луча для обоих лучей указывают влево, если смотреть на начала 801, 803 луча из центральной точки.

Генератор 103 изображений может перейти к формированию второго объединенного изображения, которое представляет другой вид сцены, и, в частности, преимуществом является то, что он может формировать второй вид сцены, который является комплементарным первому виду, но обращен в противоположном направлении.

Например, генератор 103 изображений может сформировать второе объединенное изображение, которое использует те же самые начала луча, но направления луча указывают в противоположном направлении.

Например, генератор 103 изображений может сформировать второе объединенное изображение, соответствующее конфигурации, приведенной на Фиг. 9.

Эти два изображения могут обеспечивать очень эффективное и комплементарное представление сцены, и, как правило, могут обеспечивать улучшенное представление частей заднего плана сцены.

Во многих вариантах реализации объединенное изображение может также включать в себя одно или более изображений, которые формируют для обеспечения более фронтального вида, например, соответствующего конфигурации, приведенной на Фиг. 10.

Такой пример может во многих вариантах реализации обеспечить улучшенное представление передней части объектов переднего плана.

Понятно, что в разных вариантах реализации могут быть использованы разные конфигурации начал луча, и что, в частности, могут быть использованы больше начал луча.

Например, на Фиг. 11 и 12 показаны примеры двух комплементарных конфигураций для формирования обращенных вбок объединенных изображений, причем начала лучей распределены на кривой (в частности, окружности), в данном случае окружающей исходную конфигурацию обзора (часто такую кривую будут выбирать в строгом соответствии с конфигурацией исходных поз обзора).

На фигурах показаны только начала и позы для части окружности/кривой, и понятно, что во многих вариантах реализации будут формировать полный сферический вид или вид на 360°.

Действительно, Фиг. 7 можно рассматривать как иллюстрацию еще одной приведенной в качестве примера конфигурации, в которой формируют три объединенных изображения на основе восьми положений луча на окружности вокруг центральной точки.

Для первого объединенного изображения выбирают радиальные направления окружности, для второго изображения выбирают направления луча под углом 90° вправо к радиусу и для третьего изображения выбирают направления луча под углом 90° влево к радиусу.

Такая комбинация объединенных изображений может обеспечить очень эффективное объединенное представление сцены.

Таким образом, в некоторых вариантах реализации генератор 103 изображений может быть выполнен с возможностью формирования значений пикселя для объединенных изображений для конкретных поз луча путем синтеза вида из исходных изображений.

Позы луча могут быть выбраны по-разному для разных объединенных изображений.

В частности, во многих вариантах реализации позы луча для одного изображения могут быть выбраны так, чтобы они обеспечивали вид вбок сцены из начала луча, а позы луча другого изображения могут быть выбраны так, чтобы они обеспечивали комплементарный вид вбок.

В частности, позы луча для первого объединенного изображения могут быть таковы, что скалярное произведение между вертикальным вектором и векторами перекрестного произведения пикселя является неотрицательным по меньшей мере для 90% (иногда 95% или даже всех) пикселей первого объединенного изображения.

Вектор перекрестного произведения пикселя для пикселя определяют как перекрестное произведение между направлением луча для пикселя и вектором из центральной точки для различных исходных поз обзора в положение луча для пикселя.

Центральная точка для исходных поз обзора может быть сформирована как среднее или срединное положение для исходных поз обзора.

Например, можно усреднить по координате (например, x, y, z) каждой позы, и полученное в результате среднее значение может быть центральной точкой.

Следует отметить, что центральная точка для конфигурации не (обязательно) находится в центре наименьшей окружности/сферы, содержащей исходные позы обзора.

Таким образом, вектор из центральной точки в начало луча для данного пикселя является вектором в пространстве сцены, который определяет расстояние и направление из центральной точки в положение обзора для этого пикселя.

Направление луча может быть представлено (любым) вектором, который имеет то же самое направление, т.е. это может быть вектор из начала луча к точке сцены, представленной пикселем (и, следовательно, может быть также вектор в пространстве сцены).

Перекрестное произведение между такими двумя векторами будет перпендикулярным к ним обоим.

В случае горизонтальной плоскости (в системе координат сцены) направление луча влево (если смотреть из центральной точки) приведет к вектору перекрестного произведения, который имеет направленную вверх компоненту, т.е. имеет положительную z-компоненту, где z указывает высоту.

Вектор перекрестного произведения будут направлен вверх для любого левостороннего вида независимо от начала, например, он будет направлен вверх для всех пикселей/поз луча на Фиг. 8.

И наоборот, для правостороннего вида вектор перекрестного произведения будет направлен вниз для всех поз луча, например, результатом для всех пикселей/поз луча на Фиг. 9 будет отрицательная z-координата.

Скалярное произведение между вертикальным вектором в пространстве сцены и всеми векторами, имеющими положительную z-координату, будет одинаковым, в частности, оно будет положительным для указывающего вверх вертикального вектора и отрицательным для указывающего вниз вертикального вектора.

И наоборот, для отрицательной z-координаты скалярное произведение будет отрицательным для указывающего вверх вертикального вектора и положительным для указывающего вниз вертикального вектора.

Соответственно, скалярное произведение будет иметь один и тот же знак для всех правосторонних поз луча и противоположный знак для всех левосторонних поз луча.

В некоторых сценариях в результате может получиться нулевой вектор или скалярное произведение (например, для полярных точек на окружности обзора), и для таких поз луча знак не будет отличаться ни от левосторонних видов, ни от правосторонних видов.

Понятно, что вышеприведенные соображения справедливы также, с соответствующими поправками, в отношении трехмерного представления, например, когда начала луча расположены на сфере.

Таким образом, в некоторых вариантах реализации по меньшей мере 90%, а в некоторых вариантах реализации по меньшей мере 95% или даже все, пиксели объединенного изображения дают скалярное произведение, которое не отличается знаком, т.е. по меньшей мере такое большое количество пикселей будут иметь вид вбок в одну и ту же сторону.

В некоторых вариантах реализации объединенные изображения могут быть сформированы так, чтобы они имели защитные полосы, или, например, некоторые конкретные краевые пиксели могут иметь конкретные обстоятельства, для которых скалярное произведение может потенциально не удовлетворять этому требованию.

Однако для подавляющего большинства пикселей это требование удовлетворяется, и пиксели обеспечивают соответствующие виды с боку.

Кроме того, во многих вариантах реализации по меньшей мере два объединенных изображения удовлетворяют этим требованиям, но при этом знаки скалярного произведения противоположные.

Таким образом, для одного объединенного изображения по меньшей мере 90% пикселей могут представлять правосторонний вид, а для другого объединенного изображения по меньшей мере 90% пикселей могут представлять левосторонний вид.

Объединенные изображения могут быть сформированы для поз, которые обеспечивают особенно эффективный вид сцены.

Авторы изобретения поняли, что во многих сценариях особенно выгодным может быть формирование объединенных изображений для поз обзора, которые приводят к более боковому виду основной части сцены, а также, что для данной конфигурации исходных видов может быть выгодно формировать по меньшей мере некоторые виды, которые близки к крайним положениями конфигурации, а не близки к центру конфигурации.

Таким образом, во многих вариантах реализации формируют по меньшей мере одно, и обычно по меньшей мере два, объединенных изображения для позу луча, которые близки к границе области, соответствующей конфигурации исходных поз обзора.

В частности, эта область может быть областью пространства (группой или набором точек в пространстве), которая ограничена наибольшим многоугольником, который может быть образован с использованием по меньшей мере некоторых положений обзора в качестве вершин для прямых линий многоугольника.

Многоугольник может быть плоской фигурой, которая ограничена конечной цепочкой отрезков линии, замыкающихся в петлю с образованием замкнутой цепочки или контура, и он может включать в себя одномерную конфигурацию, такую как на Фиг. 2A (известную также как вырожденный многоугольник).

В случае трехмерной конфигурации область может соответствовать наибольшему возможному многограннику, образованному по меньшей мере некоторыми исходными положениями обзора.

Таким образом, область может быть наибольшим многоугольником или многогранником, который может быть образован с использованием по меньшей мере некоторых исходных положений обзора в качестве вершин для линий многоугольника или многогранника.

В качестве альтернативы, область, содержащая различные позы обзора множества исходных изображений может быть наименьшей линией, окружностью или сферой, содержащей все положения обзора.

В частности, область может быть наименьшей сферой, которая содержит все исходные положения обзора.

Таким образом, во многих вариантах реализации позы луча по меньшей мере одного из объединенных изображений выбирают близко к границе области, содержащей конфигурацию исходной позы обзора.

Во многих вариантах реализации по меньшей мере одно положение луча объединенных изображений определяют на расстоянии менее первого расстояния от границы области, причем это первое расстояние не больше 50%, или во многих случаях 25% или 10%, от максимального (внутреннего) расстояния между точками на границе области.

Таким образом, минимальное расстояние от положения позы обзора до границы может быть не более 50%, 25% или 10% от максимального расстояния до границы.

Это может быть проиллюстрировано с помощью Фиг. 13, на которой показаны исходные точки обзора, указанные черными точками.

На Фиг. 13 также показана область, соответствующая наименьшей сфере, которая включает в себя эти точки обзора.

В данном примере конфигурация обзора является планарной двумерной конфигурацией, и рассмотрение сферы сводится к рассмотрению окружности 1301.

На Фиг. 13 также показана поза 1303 луча для объединенного изображения, которая близка к границе сферы/окружности/области.

В частности, минимальное расстояние d_min до границы/края области намного меньше (около 10%) максимального расстояния d_max до границы/края области.

В некоторых вариантах реализации позы луча объединенного изображения могут быть определены на расстоянии меньше первого расстояния от границы области, причем первое расстояние не больше 20%, или частот даже 10% или 5%, от максимального расстояния между двумя исходными позами обзора.

В данном примере, где область определяют как наименьшую сферу/окружность, содержащую все исходные позы обзора, максимальное расстояние между двумя позами обзора равно диаметры сферы/окружности, и, следовательно, поза обзора объединенного изображения может быть выбрана так, чтобы минимальное расстояние d_min удовлетворяло этому требованию.

В некоторых вариантах реализации позы луча объединенного изображения могут быть определены по меньшей мере на минимальном расстоянии от центральной точки различных поз обзора, причем минимальное расстояние составляет по меньшей мере 50%, или частот даже 75% или 90%, от расстояния от центральной точки до границы вдоль линии, проходящей через центральную точку и позу луча.

В некоторых вариантах реализации две позы обзора для объединенных изображений выбирают так, чтобы расстояние между ними составляло по меньшей мере 80%, а иногда даже 90% или 95%, от максимального расстояния между двумя точками пересечения границы линией, проходящей через эти две позы обзора.

Например, если линия проведена через две позы, расстояние между этими двумя позами составляет по меньшей мере 80%, 90% или 95% от расстояния между точками, в которых линия пересекает окружность.

В некоторых вариантах реализации максимальное расстояние между двумя позами луча первого объединенного изображения составляет по меньшей мере 80% от максимального расстояния между точками границы области, содержащей различные позы обзора множества исходных изображений.

Авторы изобретения поняли, что подход с формированием объединенных изображений для положений, близких к границе/краю области, содержащей исходные позы обзора, может быть особенно выгодным, поскольку это обычно обеспечивает больше информации об объектах заднего плана в сцене.

Большинство данных заднего плана обычно захватывают камерами или в областях изображения, которые в основном удалены больше вбок по сравнению с центральной точкой обзора.

Это можно выгодно объединить с более близким к центру объединенным изображением, поскольку оно обычно обеспечивает улучшенную информацию об изображения для объектов переднего плана.

Во многих вариантах реализации генератор 409 сигнала изображения может быть выполнен с возможностью дополнительного включения метаданных для формируемых данных изображения.

В частности, генератор 403 объединенных изображений может формировать данные о происхождении для объединенных изображений, причем данные о происхождении указывают, какое из исходных изображений является источником для отдельных пикселей на объединенных изображениях.

После этого генератор 409 сигнала изображения может включать в себя эти данные в формируемый сигнал изображения.

Во многих вариантах реализации генератор 409 сигнала изображения может включать в себя данные исходных поз обзора, указывающие позы обзора для исходных изображений.

В частности, эти данные могут включать в себя данные, определяющие положение и направление каждого исходного изображения/вида.

Сигнал изображения может, соответственно, содержать метаданные, которые указывают, возможно, отдельно для каждого пикселя, положение и направление, для которого предоставляют значения пикселя, т.е. указание позы луча.

Соответственно, приемник 500 сигнала изображения может быть выполнен с возможностью обработки этих данных для выполнения, например, синтеза вида.

Например, для каждого пикселя трех видов, формируемых путем выбора соответствующих пикселей, метаданные могут содержать указание идентификатора исходного вида.

Это может привести к трем картам меток - одной для центрального вида и двух для боковых видов.

После этого метки могут быть привязаны к конкретным данным позы обзора, содержащим, например, оптику камеры и геометрию многокамерной установки.

Понятно, что в вышеприведенном описании варианты реализации настоящего изобретения изложены для ясности со ссылкой на разные функциональные схемы, блоки и процессоры.

Однако понятно, что может быть использовано любое подходящее распределение функциональных возможностей между разными функциональными схемами, блоками или процессорами без ущерба для настоящего изобретения.

Например, показанные функциональные возможности, подлежащие осуществлению отдельными процессорами или контроллерами, могут быть осуществлены одним и тем же процессором или контроллерами.

Поэтому ссылки на конкретные функциональные блоки или схемы должны рассматриваться только как ссылки на подходящие средства для обеспечения описываемых функциональных возможностей, а не как указание на строгую логическую или физическую структуру или организацию.

Настоящее изобретение может быть реализовано в любой подходящей форме, включая аппаратные средства, программное обеспечение, прошивку или любую их комбинацию.

Настоящее изобретение необязательно может быть реализовано, по меньшей мере частично, в виде компьютерного программного обеспечения, выполняемого на одном или более процессорах и/или цифровых процессорах сигналов.

Элементы и компоненты варианта реализации настоящего изобретения могут быть физически, функционально и логически реализованы любым подходящим образом.

В действительности функциональные возможности могут быть реализованы в одном блоке, в множестве блоков или как часть других функциональных блоков.

В силу этого настоящее изобретение может быть реализовано в одном блоке или может быть физически или функционально распределено между разными блоками, схемами и процессорами.

Хотя настоящее изобретение было описано в связи с некоторыми вариантами реализации, это не следует рассматривать как ограничение конкретной формой, изложенной в настоящем документе.

Напротив, объем настоящего изобретения ограничен только прилагаемой формулой изобретения.

Кроме того, хотя может показаться, что признак описан в связи с конкретными вариантами реализации, специалисту в данной области понятно, что различные признаки описанных вариантов реализации могут быть объединены в соответствии с настоящим изобретением.

В формуле изобретения термин «содержащий/включающий» не исключает присутствия других элементов или этапов.

Кроме того, хотя множество средств, элементов, схем или этапов способа перечислены по отдельности, они могут быть реализованы, например, с помощью одной схемы, блока или процессора.

Далее, хотя отдельные признаки могут быть включены в разные пункты формулы изобретения, они, возможно, могут быть эффективно объединены, а включение в разные пункты формулы изобретения не означает, что комбинация признаков является неосуществимой и/или невыгодной.

Кроме того, включение признака в одну категорию пунктов формулы изобретения не означает ограничения этой категорией, а, напротив, указывает на то, что данный признак в равной степени может быть применен к другим категориям пунктов изобретения, когда это уместно.

Кроме того, порядок признаков в формуле изобретения не означает конкретного порядка, в котором эти признаки должны прорабатываться, и, в частности, порядок отдельных этапов в формуле изобретения на способ, не означает, что этапы должны выполняться в данном порядке.

Напротив, этапы могут выполняться в любом подходящем порядке.

Кроме того, упоминания в единственном числе не исключают множества.

Поэтому ссылки с использованием средств указания единственного числа, прилагательных в единственном числе «первый», «второй» и т.д. не исключают множества.

Ссылочные позиции в формуле изобретения приведены исключительно в качестве уточняющего примера и не должны трактоваться как ограничивающие объем формулы изобретения каким-либо образом.

Изобретение относится к устройству и способам формирования сигнала изображения. Технический результат заключается в повышении скорости передачи данных за счет формирования объединенных изображений. В способе выполняют прием множества исходных изображений, представляющих сцену из разных поз обзора, причем поза обзора содержит положение обзора и направление обзора; формирование множества объединенных изображений из исходных изображений, причем каждое объединенное изображение получают из набора по меньшей мере из двух исходных изображений множества исходных изображений, каждый соответствующий пиксель объединенного изображения представляет свойство сцены в точке пересечения соответствующего луча со сценой, причем луч имеет положение начала и направление, которые вместе определяют позу луча, и причем каждое объединенное изображение включает в себя по меньшей мере два различных пикселя, представляющих позы луча для различных соответствующих положений начала позы луча; определение мер качества прогнозирования для элементов множества исходных изображений, причем мера качества прогнозирования для элемента первого исходного изображения указывает разницу между значениями пикселя в элементе и прогнозируемыми значениями пикселя в элементе, а прогнозируемые значения пикселя являются значениями пикселя, полученными в результате прогнозирования значений пикселя в элементе на основе множества объединенных изображений; определение сегментов исходных изображений, содержащих элементы, для которых мера качества прогнозирования указывает разницу выше порогового значения; и формирование сигнала изображения, содержащего данные изображения, представляющие объединенные изображения, и данные изображения, представляющие сегменты исходных изображений. 4 н. и 12 з.п. ф-лы, 13 ил.

1. Устройство для формирования сигнала изображения, содержащее:

приемник (401) для приема множества исходных изображений, представляющих сцену из разных поз обзора, причем поза обзора содержит положение обзора и направление обзора;

генератор (403) объединенных изображений для формирования множества объединенных изображений из исходных изображений, причем каждое объединенное изображение получают из набора по меньшей мере из двух исходных изображений множества исходных изображений, каждый соответствующий пиксель объединенного изображения представляет свойство сцены в точке пересечения соответствующего луча со сценой, причем луч имеет положение начала и направление, которые вместе определяют позу луча, и причем каждое объединенное изображение включает в себя по меньшей мере два пикселя, представляющих позы луча для различных соответствующих положений начала позы луча;

средство (405) оценки для определения мер качества прогнозирования для элементов множества исходных изображений, причем мера качества прогнозирования для элемента первого исходного изображения указывает разницу между значениями пикселя в элементе и прогнозируемыми значениями пикселя в элементе, а прогнозируемые значения пикселя являются значениями пикселя, полученными в результате прогнозирования значений пикселя в элементе на основе множества объединенных изображений;

определитель (407) для определения сегментов исходных изображений, содержащих элементы, для которых мера качества прогнозирования указывает разницу выше порогового значения; и

генератор (409) сигнала изображения для формирования сигнала изображения, содержащего данные изображения, представляющие объединенные изображения, и данные изображения, представляющие сегменты исходных изображений.

2. Устройство по п. 1, в котором генератор (403) объединенных изображений выполнен с возможностью формирования по меньшей мере первого объединенного изображения множества объединенных изображений посредством синтеза вида пикселей первого объединенного изображения из множества исходных изображений, причем каждый пиксель первого объединенного изображения представляет сцену для позы луча, а позы луча для первого изображения включают в себя позы луча для по меньшей мере двух различных положений начала позы луча.

3. Устройство по п. 2, в котором скалярное произведение между вертикальным вектором и векторами перекрестного произведения пикселя является неотрицательным по меньшей мере для 90% пикселей первого объединенного изображения, причем вектор перекрестного произведения пикселя для пикселя является перекрестным произведением между направлением позы луча для пикселя и вектором из центральной точки для различных поз обзора в положение начала позы луча для пикселя.

4. Устройство по п. 3, в котором генератор (403) объединенных изображений выполнен с возможностью формирования второго объединенного изображения множества объединенных изображений посредством синтеза вида пикселей второго объединенного изображения из множества исходных изображений, причем каждый пиксель второго объединенного изображения представляет сцену для позы луча, а позы луча для второго изображения включают в себя позы луча для по меньшей мере двух различных положений начала позы луча; и

при этом скалярное произведение между вертикальным вектором и векторами перекрестного произведения пикселя является неположительными по меньшей мере для 90% пикселей второго объединенного изображения.

5. Устройство по п. 2, в котором позы луча первого объединенного изображения выбраны так, чтобы они были близкими к границе области, содержащей различные позы обзора множества исходных изображений.

6. Устройство по п. 2 или 3, в котором каждая из поз луча первого объединенного изображения определена на расстоянии меньше первого расстояния от границы области, содержащей различные позы обзора множества исходных изображений, причем первое расстояние составляет не более 50% от максимального внутреннего расстояния между точками на границе.

7. Устройство по любому предыдущему пункту, в котором генератор (403) объединенных изображений выполнен с возможностью для каждого пикселя первого объединенного изображения множества объединенных изображений:

определения соответствующего пикселя в каждом из исходных изображений вида, для которых соответствующий пиксель присутствует, причем соответствующий пиксель является пикселем, который представляет то же самое направление луча, что и пиксель первого объединенного изображения;

выбора значения пикселя для пикселя первого объединенного изображения в качестве значения пикселя соответствующего пикселя в исходном изображении вида, для которого соответствующий пиксель представляет луч, имеющий наибольшее расстояние от центральной точки для различных поз обзора, причем это наибольшее расстояние определяют в первом направлении вдоль первой оси, перпендикулярной направлению луча для соответствующего пикселя.

8. Устройство по п. 7, в котором определение соответствующих пикселей включает повторную дискретизацию каждого исходного изображения в представление изображения, представляющего по меньшей мере часть поверхности сферы обзора, окружающей позы обзора, и определение соответствующих пикселей как пикселей, имеющих то же самое положение в представлении изображения.

9. Устройство по п. 7 или 8, в котором генератор (403) объединенных изображений выполнен с возможностью для каждого пикселя второго объединенного изображения:

выбора значения пикселя для пикселя во втором объединенном изображении в качестве значения пикселя соответствующего пикселя в исходном изображении вида, для которого соответствующий пиксель представляет луч, имеющий наибольшее расстояние от центральной точки в направлении, противоположном первому направлению.

10. Устройство по любому из пп. 7-9, в котором генератор (403) объединенных изображений выполнен с возможностью:

для каждого пикселя третьего объединенного изображения:

выбора значения пикселя для пикселя в третьем объединенном изображении в качестве значения пикселя соответствующего пикселя в исходном изображении вида, для которого соответствующий пиксель представляет луч, имеющий наименьшее расстояние от центральной точки.

11. Устройство по любому из пп. 7-10, в котором генератор (403) объединенных изображений выполнен с возможностью:

для каждого пикселя в четвертом объединенном изображении:

выбора значения пикселя для пикселя в четвертом объединенном изображении в качестве значения пикселя соответствующего пикселя в исходном изображении вида, для которого соответствующий пиксель представляет луч, имеющий наибольшее расстояние от центральной точки во втором направлении вдоль второй оси, перпендикулярной направлению луча для соответствующего пикселя, причем первая ось и вторая ось имеют разные направления.

12. Устройство по любому из пп. 7-11, в котором генератор (403) объединенных изображений выполнен с возможностью формирования данных о происхождении для первого объединенного изображения, причем данные о происхождении указывают, какое из объединенных изображений является источником для каждого пикселя первого объединенного изображения; а генератор (409) сигнала изображения выполнен с возможностью включения данных о происхождении в сигнал изображения.

13. Устройство по любому предыдущему пункту, в котором генератор (403) сигнала изображения выполнен с возможностью включения данных исходных поз обзора в сигнал изображения, причем данные исходных поз обзора указывают различные позы обзора для исходных изображений.

14. Устройство для приема сигнала изображения, содержащее: приемник (501) для приема сигнала изображения, содержащего:

множество объединенных изображений, причем каждое объединенное изображение представляет данные изображения, полученные из набора по меньшей мере из двух исходных изображений множества исходных изображений, представляющих сцену из различных поз обзора, причем поза обзора содержит положение обзора и направление обзора, каждый соответствующий пиксель объединенного изображения представляет свойство сцены в точке пересечения соответствующего луча со сценой, причем луч имеет положение начала и направление, которые вместе определяют позу луча, и причем каждое объединенное изображение включает в себя по меньшей мере два различных пикселя, представляющих позы луча для различных соответствующих положений начала позы луча;

данные изображения для набора сегментов множества исходных изображений, причем сегмент для первого исходного изображения содержит по меньшей мере один пиксель первого исходного изображения, для которого мера качества прогнозирования, относящаяся к прогнозированию значений пикселя в сегменте на основе множества объединенных изображений, ниже порогового значения; и

процессор (503) для обработки сигнала данных.

15. Способ формирования сигнала изображения, включающий:

прием множества исходных изображений, представляющих сцену из разных поз обзора, причем поза обзора содержит положение обзора и направление обзора;

формирование множества объединенных изображений из исходных изображений, причем каждое объединенное изображение получают из набора по меньшей мере из двух исходных изображений множества исходных изображений, каждый соответствующий пиксель объединенного изображения представляет свойство сцены в точке пересечения соответствующего луча со сценой, причем луч имеет положение начала и направление, которые вместе определяют позу луча, и причем каждое объединенное изображение включает в себя по меньшей мере два различных пикселя, представляющих позы луча для различных соответствующих положений начала позы луча;

определение мер качества прогнозирования для элементов множества исходных изображений, причем мера качества прогнозирования для элемента первого исходного изображения указывает разницу между значениями пикселя в элементе и прогнозируемыми значениями пикселя в элементе, а прогнозируемые значения пикселя являются значениями пикселя, полученными в результате прогнозирования значений пикселя в элементе на основе множества объединенных изображений;

определение сегментов исходных изображений, содержащих элементы, для которых мера качества прогнозирования указывает разницу выше порогового значения; и

формирование сигнала изображения, содержащего данные изображения, представляющие объединенные изображения, и данные изображения, представляющие сегменты исходных изображений.

16. Способ обработки сигнала изображения, включающий:

прием сигнала изображения, содержащего:

множество объединенных изображений, причем каждое объединенное изображение представляет данные изображения, полученные из набора по меньшей мере из двух исходных изображений множества исходных изображений, представляющих сцену из различных поз обзора, причем поза обзора содержит положение обзора и направление обзора, каждый соответствующий пиксель объединенного изображения представляет свойство сцены в точке пересечения соответствующего луча со сценой, причем луч имеет положение начала и направление, которые вместе определяют позу луча, и причем каждое объединенное изображение включает в себя по меньшей мере два пикселя, представляющих позы луча для различных соответствующих положений начала позы луча; данные изображения для набора сегментов множества исходных изображений, причем сегмент для первого исходного изображения содержит по меньшей мере один пиксель первого исходного изображения, для которого мера качества прогнозирования, относящаяся к прогнозированию значений пикселя в сегменте на основе множества объединенных изображений, ниже порогового значения; и обработку сигнала изображения.