УСТРОЙСТВО КОДИРОВАНИЯ И СПОСОБ КОДИРОВАНИЯ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ И СПОСОБ ДЕКОДИРОВАНИЯ Российский патент 2020 года по МПК H04N13/279 H04N19/597 

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству кодирования и способу кодирования, а также к устройству декодирования и способу декодирования, и, в частности, к устройству кодирования и способу кодирования, а также к устройству декодирования и способу декодирования, с помощью которых можно получить двухмерные данные изображения точки обзора, соответствующей способу выработки заданного отображаемого изображения, и данные изображения глубины, независимо от точки обзора после захвата изображения.

Уровень техники

В технологии многоракурсного стерео была разработана система передачи, которая записывает, кодирует, передает, декодирует и отображает трехмерные данные, включая трехмерную информацию о положении и двухмерные данные изображения трехмерного объекта, захваченные множеством камер (например, смотри NPL 1). В качестве способа кодирования трехмерных данных может использоваться способ MPEG (фаза экспертной группы по вопросам движущегося изображения) и т.д. (например, смотри NPL 2).

Кроме того, была разработана система передачи, посредством которой как множество частей двухмерных данных изображения различных точек обзора, так и данные изображения глубины, включающие в себя глубины, указывающие на положения пикселей в направлении глубины объекта захвата изображения (в направлении, перпендикулярном плоскости захвата изображения), полученные из множества камер, записываются, кодируются, передаются, декодируются и отображаются в том виде, в котором они присутствуют. В качестве способа кодирования двухмерных данных изображения и данных изображения глубины используются способ кодирования глубины и многоракурсного видео (MVCD), способ усовершенствованного видеокодирования (AVC), способ высокоэффективного видеокодирования (HEVC) и т.д.

Перечень цитируемой литературы

Непатентная литература

NPL 1

Ming Chuang, Pat Sweeney, Don Gillett, Dennis Evseev, David Calabrese, Hugues Hoppe, Adam Kirk, Steve Sullivan, “High-Quality Streamable Free-Viewpoint Video, Alvaro Collet,” Microsoft Corporation

NPL 2

Marius Preda, “MPEG Graphics Compression Model” MPEG document: N9892, May 2008

Сущность изобретения

Технические задачи

Однако в случае, когда трехмерная информация объекта захвата изображения передается в виде трехмерных данных, на приемной стороне требуется блок обработки высокой функции, который обрабатывает трехмерные данные.

Между тем, в случае, когда трехмерная информация объекта захвата изображения передается в виде двухмерных данных изображения и данных изображения глубины, полученных с помощью множества камер, хотя обработка на приемной стороне легче, точки обзора множества камер не обязательно должны быть точками обзора, подходящими для способа выработки заданного отображаемого изображения, и на приемной стороне возникает избыток или дефицит точек обзора.

Настоящее раскрытие было выполнено с учетом такой ситуации, которая была описана выше, и позволяет получать двухмерные данные изображения и данные изображения глубины точек обзора, соответствующих способу выработки заданного отображаемого изображения, независимо от точек обзора после захвата изображения.

Решение проблемы

Устройство кодирования согласно первому аспекту настоящего раскрытия представляет собой устройство кодирования, включающее в себя блок выработки двухмерных данных, который вырабатывает, из трехмерных данных объекта захвата изображения, выработанных из двухмерных данных изображения из множества первых точек обзора, двухмерные данные изображения множества вторых точек обзора, соответствующих способу выработки заданного отображаемого изображения, и данные изображения глубины, указывающие на положение каждого пикселя в направлении глубины объекта захвата изображения по отношению к третьей точке обзора, блок кодирования, который кодирует двухмерные данные изображения множества вторых точек обзора и данные изображения глубины, выработанные двухмерным блоком выработки данных, и блок передачи, который передает двухмерные данные изображения множества вторых точек обзора и данные изображения глубины, кодированные блоком кодирования.

Способ кодирования согласно первому аспекту настоящего раскрытия соответствует устройству кодирования первого аспекта настоящего раскрытия.

В первом аспекте настоящего раскрытия вырабатываются, из трехмерных данных объекта захвата изображения, выработанных из двухмерных данных изображения множества первых точек обзора, двухмерные данные изображения множества вторых точек обзора, соответствующих способу выработки заданного отображаемого изображения, и данные изображения глубины, указывающие на положение каждого пикселя в направлении глубины объекта захвата изображения по отношению к третьей точке обзора. Затем кодируются двухмерные данные изображения множества вторых точек обзора и данные изображения глубины, которые были выработаны, и передаются двухмерные данные изображения множества вторых точек обзора и данные изображения глубины, которые были закодированы.

Устройство декодирования согласно второму аспекту настоящего раскрытия представляет собой устройство декодирования, включающее в себя блок декодирования, который декодирует кодированные данные двухмерных данных изображения из множества первых точек обзора, соответствующих способу выработки заданного отображаемого изображения, и кодированные данные данных изображения глубины, указывающие на положение каждого пикселя в направлении глубины объекта захвата изображения по отношению ко второй точке обзора, блок выработки трехмерных данных, который вырабатывает трехмерные данные объекта захвата изображения, используя двухмерные данные изображения множества первых точек обзора и данные изображения глубины, полученные в результате декодирования блоком декодирования, и блок выработки двухмерных данных, который вырабатывает двухмерные данные изображения в виде данных отображаемого изображения свободной точки обзора на основе трехмерных данных, выработанных блоком трехмерной выработки данных.

Способ декодирования и программа согласно второму аспекту настоящего раскрытия соответствуют устройству декодирования второго аспекта настоящего раскрытия.

Во втором аспекте настоящего раскрытия декодируются кодированные данные двухмерных данных изображения из множества первых точек обзора, соответствующих способу выработки заданного отображаемого изображения, и кодированные данные данных изображения глубины, указывающих на положение каждого из пикселей в направлении глубины объекта захвата изображения по отношению ко второй точке обзора. Затем трехмерные данные объекта захвата изображения вырабатываются с использованием двухмерных данных изображения множества первых точек обзора и данных изображения глубины, полученных в результате декодирования, и двухмерные данные изображения вырабатываются в виде данных отображаемого изображения свободной точки обзора на основе выработанных трехмерных данных.

Следует отметить, что устройство кодирования первого аспекта и устройство декодирования второго аспекта можно осуществить путем запуска программы, исполняемой компьютером.

Кроме того, чтобы осуществить устройство кодирования первого аспекта и устройство декодирования второго аспекта, программа, которая должна исполняться компьютером, может быть предоставлена путем ее передачи через среду передачи или путем ее записи на носитель записи.

Преимущественные эффекты изобретения

Согласно первому аспекту настоящего раскрытия можно выполнить кодирование. Кроме того, согласно первому аспекту настоящего раскрытия двухмерные данные изображения точки обзора, соответствующей способу выработки заданного отображаемого изображения, и данные изображения глубины можно закодировать таким образом, чтобы устройство декодирования могло их получить независимо от точки обзора после захвата изображения.

Согласно второму аспекту настоящего раскрытия можно выполнить декодирование. Кроме того, согласно второму аспекту настоящего раскрытия двухмерные данные изображения точки обзора, соответствующей способу выработки заданного отображаемого изображения, и данные изображения глубины можно получить независимо от точки обзора после захвата изображения.

Следует отметить, что описанные здесь эффекты не обязательно являются ограничительными, и может быть применен любой из эффектов, описанных в настоящем раскрытии.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации первого варианта осуществления системы передачи, в которой применяется настоящее изобретение.

На фиг.2 показана блок-схема, иллюстрирующая пример конфигурации блока преобразования, показанного на фиг.1.

На фиг.3 показан вид, иллюстрирующий пример множества точек обзора, соответствующих способу выработки заданного отображаемого изображения.

На фиг.4 показан вид, иллюстрирующий пример информации, относящейся к камере.

На фиг.5 показана блок-схема последовательности операций, иллюстрирующая процесс кодирования, выполняемый устройством захвата изображения и устройством кодирования, которые показаны на фиг.1.

На фиг.6 показана блок-схема, иллюстрирующая первый пример конфигурации блока преобразования, показанного на фиг.1.

На фиг.7 показана блок-схема, иллюстрирующая второй пример конфигурации блока преобразования, показанного на фиг.1.

На фиг.8 показана блок-схема, иллюстрирующая третий пример конфигурации блока преобразования, показанного на фиг.1.

На фиг.9 показана блок-схема последовательности операций, иллюстрирующая процесс декодирования, выполняемый устройством декодирования, показанным на фиг.1.

На фиг.10 показана блок-схема, иллюстрирующая пример конфигурации второго варианта осуществления системы передачи, в которой применяется настоящее изобретение.

На фиг.11 показана блок-схема, иллюстрирующая пример конфигурации устройства захвата изображения, показанного на фиг.10.

На фиг.12 показан вид, иллюстрирующий пример информации отклонения синхронизма.

На фиг.13 показана блок-схема, иллюстрирующая пример конфигурации устройства кодирования, показанного на фиг.10.

На фиг.14 показана блок-схема последовательности операций, иллюстрирующая процесс кодирования, выполняемый устройством захвата изображения и устройством кодирования, которые показаны на фиг.10.

На фиг.15 показана блок-схема, иллюстрирующая пример конфигурации блока декодирования, показанного на фиг.10.

На фиг.16 показана блок-схема последовательности операций, иллюстрирующая процесс декодирования, выполняемый устройством декодирования, показанным на фиг.10.

На фиг.17 показана блок-схема, иллюстрирующая пример конфигурации третьего варианта осуществления системы передачи, в которой применяется настоящее изобретение.

На фиг.18 показана блок-схема, иллюстрирующая пример конфигурации устройства синтеза, показанного на фиг.17.

На фиг.19 показана блок-схема последовательности операций, иллюстрирующая процесс синтеза, выполняемый устройством синтеза, показанным на фиг.18.

На фиг.20 показана блок-схема, иллюстрирующая пример конфигурации устройства синтеза в четвертом варианте осуществления.

На фиг.21 показан вид, иллюстрирующий процесс выработки данных преобразования координат.

На фиг.22 показан вид, иллюстрирующий пример информации преобразования координат.

На фиг.23 показана блок-схема последовательности операций, иллюстрирующая процесс синтеза, выполняемый устройством синтеза, показанным на фиг.20.

На фиг.24 показана блок-схема, иллюстрирующая пример конфигурации блока преобразования в четвертом варианте осуществления.

На фиг.25 показана блок-схема последовательности операций, иллюстрирующая процесс декодирования, выполняемый устройством декодирования в четвертом варианте осуществления.

На фиг.26 показана блок-схема, иллюстрирующая пример конфигурации устройства синтеза в пятом варианте осуществления.

На фиг.27 показан вид, иллюстрирующий пример информации коррекции цветового сдвига.

На фиг.28 показана блок-схема последовательности операций, иллюстрирующая процесс синтеза, выполняемый устройством синтеза, показанным на фиг.26.

На фиг.29 показана блок-схема, иллюстрирующая пример конфигурации блока преобразования в пятом варианте осуществления.

На фиг.30 показана блок-схема, иллюстрирующая пример аппаратной конфигурации компьютера.

Подробное описание изобретения

Ниже описаны варианты осуществления настоящего раскрытия (которые в дальнейшем упоминаются как варианты осуществления). Следует отметить, что описание приведено в следующем порядке.

1. Первый вариант осуществления: система передачи (фиг.1-9)

2. Второй вариант осуществления: система передачи (фиг.10-16)

3. Третий вариант осуществления: система передачи (фиг.17-19)

4. Четвертый вариант осуществления: система передачи (фиг.20-25)

5. Пятый вариант осуществления: система передачи (фиг.26-29)

6. Шестой вариант осуществления: компьютер (фиг.30)

Первый вариант осуществления

Пример конфигурации первого варианта осуществления системы передачи

На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации первого варианта осуществления системы передачи, в которой применяется настоящее изобретение.

Система 10 передачи, показанная на фиг.1, включает в себя устройство 11 захвата изображения, устройство 12 кодирования, устройство 13 декодирования и устройство 14 отображения. Система 10 передачи вырабатывает и отображает данные отображаемого изображения в соответствии со свободной точкой обзора, используя двухмерные данные изображения и т.д., полученные из устройства 11 захвата изображения.

В частности, устройство 11 захвата изображения из системы 10 передачи включает в себя, например, мультикамеру, средство измерения расстояния и блок обработки изображения. Мультикамера устройства 11 захвата изображения включает в себя множество (например, восемь) камер, которые захватывают двухмерные данные изображения движущихся изображений объекта захвата изображения, которые являются такими же по меньшей мере частично среди камер. Например, средство измерения расстояния предусмотрено в каждой камере и вырабатывает данные изображения глубины точки обзора такие же, как у камеры.

Блок обработки изображения (блок выработки трехмерных данных) из устройства 11 захвата изображения выполняет моделирование методом "видимой оболочки" (Visual Hull) и т.д. с использованием двухмерных данных изображения и данных изображения глубины точек обзора камер, и внутренних параметров и внешних параметров камер для выработки сетки. Блок обработки изображения вырабатывает геометрическую информацию (Геометрию), указывающую на трехмерные положения точек (Вершину), конфигурирующих выработанную сетку и соединения (Многоугольник) точек, и двухмерные данные изображения сетки в виде трехмерных данных объекта захвата изображения и подает трехмерные данные в устройство 12 кодирования.

Подробности способа выработки трехмерных данных из двухмерных данных изображения и данных изображения глубины множества точек обзора описаны, например, в работе Saied Moezzi, Li-Cheng Tai, Philippe Gerard, “Virtual View Generation for 3D Digital Video,” University of California, San Diego or Takeo Kanade and Peter Ranger, P. J. Narayanan, “Virtualized Reality: Constructing Virtual Worlds from Real Scenes”.

Устройство 12 кодирования включает в себя блок 21 преобразования, блок 22 кодирования и блок 23 передачи.

Блок 21 преобразования устройства 12 кодирования устанавливает внутренние параметры и внешние параметры виртуальных камер множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, в качестве параметров камеры. Блок 21 преобразования вырабатывает двухмерные данные изображения и данные изображения глубины множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, из трехмерных данных, поданных из устройства 11 захвата изображения, на основе параметров камеры.

Подробности технологии 3DCG для выработки двухмерных данных изображения и данных изображения глубины множества точек обзора из трехмерных данных описаны, например, в работе Masayuki TANIMOTO, “Aiming for ultimate video communication,” Technical Report of the Proceedings of the Institute of Electronics, Information and Communication Engineers, CS, Communication Method 110(323), 73-78, 2010-11-25 и т.д.

В настоящем описании, хотя предполагается, что точки обзора двухмерных данных изображения и данных изображения глубины сходны друг с другом, точки обзора и количество точек обзора двухмерных данных изображения и данных изображения глубины может отличаться друг от друга. Кроме того, точки обзора и количество точек обзора двухмерных данных изображения и данных изображения глубины может быть таким же или отличаться от точек обзора и количества точек обзора камер устройства 11 захвата изображения.

Блок 21 преобразования извлекает трехмерные данные в области загораживания, которая является невидимой из множества точек обзора, соответствующих способу выработки заданного отображаемого изображения (такие данные в дальнейшем упоминаются как трехмерные данные загораживания) из трехмерных данных, поданных из устройства 11 захвата изображения. Блок 21 преобразования подает двухмерные данные изображения и данные изображения глубины множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, и трехмерные данные загораживания, а также метаданные, включающие в себя информацию, относящуюся к камере, которая представляет собой информацию относительно виртуальных камер, такую как параметры камеры и т.д. точек обзора, в блок 22 кодирования.

Блок 22 кодирования кодирует двухмерные данные изображения, данные изображения глубины и метаданные, поданные из блока 21 преобразования. В качестве способа кодирования можно использовать способ кодирования глубины и многоракурсного видео (MVCD), способ AVC, способ HEVC и т.д.

В случае, когда способом кодирования является способ MVCD, двухмерные данные изображения и данные изображения глубины всех точек обзора кодируются совместно. В результате, вырабатывается одиночный кодированный поток, включающий в себя кодированные данные двухмерных данных изображения и данные изображения глубины и метаданных. В этом случае параметры камеры из метаданных размещаются в ссылке, которая отображает информацию SEI кодированного потока. Между тем, информация, относящаяся к данным изображения глубины из числа метаданных, размещается в информации SEI представления глубины.

С другой стороны, в случае, когда способом кодирования является способ AVC или способ HEVC, данные изображения глубины и двухмерные данные изображения точек обзора кодируются отдельно друг от друга. В результате вырабатываются кодированный поток каждой точки обзора, включающий в себя двухмерные данные изображения и метаданные точки обзора, и кодированный поток каждой точки обзора, включающий в себя кодированные данные данных изображения глубины и метаданные точки обзора. В этом случае, метаданные размещаются, например, в SEI, незарегистрированной пользователем, каждого кодированного потока. Кроме того, метаданные включают в себя информацию, которая ассоциирует кодированный поток и параметр камеры и т.д. друг с другом.

Следует отметить, что информация, которая ассоциирует кодированный поток и параметр камеры или т.п., может быть не включена в метаданные, но в кодированный поток могут быть включены только метаданные, соответствующие кодированному потоку.

Блок 22 кодирования подает кодированный поток в блок 23 передачи. Блок 23 передачи передает кодированный поток, подаваемый из блока 22 кодирования, в устройство 13 декодирования. Следует отметить, что хотя в настоящем описании утверждается, что метаданные размещаются и передаются вместе с кодированным потоком, в иных случаях он может передаваться отдельно от кодированного потока.

Устройство 13 декодирования включает в себя блок 31 приема, блок 32 декодирования и блок 33 преобразования.

Блок 31 приема из устройства 13 декодирования принимает кодированный поток, переданный из блока 23 передачи, и подает кодированный поток в блок 32 декодирования. Блок 32 декодирования декодирует кодированный поток, подаваемый из блока 31 приема, в соответствии со способом, соответствующим способу кодирования, с помощью блока 22 кодирования. Блок 32 декодирования подает двухмерные данные изображения и данные изображения глубины множества точек обзора и метаданных, полученные в результате декодирования, в блок 33 преобразования.

Блок 33 преобразования выбирает, на основе метаданных, поданных из блока 32 декодирования, и способа выработки отображаемого изображения устройства 13 декодирования, двухмерные данные изображения заданной точки обзора или двухмерные данные изображения и данные изображения глубины заданной точки обзора из двухмерных данных изображения и данных изображения глубины множества точек обзора. Блок 33 преобразования вырабатывает данные отображаемого изображения на основе выбранных двухмерных данных изображения заданной точки обзора или выбранных двухмерных данных изображения и данных изображения глубины заданной точки обзора и подает данные отображаемого изображения в устройство 14 отображения.

Устройство 14 отображения включает в себя двухмерный наголовный дисплей, двухмерный монитор, трехмерный наголовный дисплей, трехмерный монитор или т.п. Устройство 14 отображения отображает двухмерным образом или отображает трехмерным образом отображаемое изображение на основе данных отображаемого изображения, поданных из блока 33 преобразования.

Пример конфигурации блока 21 преобразования

На фиг.2 показана блок-схема, иллюстрирующая пример конфигурации блока 21 преобразования, показанного на фиг.1.

Блок 21 преобразования, показанный на фиг.2, включает в себя блок 51 определения положения объекта захвата изображения, блок 52 определения камеры, блок 53 выработки двухмерных данных и блок 54 определения загораживания.

Блок 51 определения положения объекта захвата изображения из блока 21 преобразования определяет трехмерное положение центра объекта захвата изображения трехмерного объекта, соответствующего трехмерным данным, поданным из устройства 11 захвата изображения, показанного на фиг.1, и подает информацию о положении объекта захвата изображения, характеризующую трехмерное положение, в блок 52 определения камеры.

Блок 52 определения камеры определяет, на основе объекта захвата изображения информации о положении, поданной из блока 51 определения положения объекта захвата изображения, параметры камеры множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, и подает параметры камеры в блок 53 выработки двухмерных данных и блок 54 определения загораживания. Кроме того, блок 52 определения камеры вырабатывает информацию, относящуюся к камере, из параметров камеры и т.д. точек обзора и подает информацию, относящуюся к камере в виде метаданных в блок 22 кодирования, показанный на фиг.1.

Блок 53 выработки двухмерных данных выполняет, на основе параметров камеры множества точек обзора, поданных из блока 52 определения камеры, перспективное проецирование трехмерного объекта, соответствующего трехмерным данным для каждой из точек обзора.

В частности, зависимость между матрицей m', соответствующей двухмерным положениям пикселей, и матрицей M, соответствующей трехмерным координатам мировой системы координат, представлена следующим выражением (1) с использованием внутреннего параметра A и внешних параметров R|t камеры.

Математическое выражение 1

Выражение (1) представлено более конкретно выражением (2).

Математическое выражение 2

В выражении (2) (u, v) представляют собой двухмерные координаты на изображении, и f_x и f_y представляют собой фокусные расстояния. Между тем C_x и C_y представляют собой основные точки, r₁₁-r₁₃, r₂₁-r₂₃, r₃₁ и t₁-t₃ представляют собой параметры, и (X, Y, Z) представляют собой трехмерные координаты мировой системы координат.

Соответственно, блок 53 выработки двухмерных данных определяет трехмерные координаты, соответствующие двухмерным координатам каждого пикселя, используя параметры камеры, в соответствии с выражениями (1) и (2), заданными выше.

Кроме того, блок 53 выработки двухмерных данных устанавливает, для каждой точки обзора, двухмерные данные изображения трехмерных координат, соответствующих двухмерным координатам пикселей из трехмерных данных, в виде двухмерных данных изображения пикселей для выработки двухмерных данных изображения, которые ассоциируют двухмерные координаты и данные изображения пикселей. Кроме того, блок 53 выработки двухмерных данных определяет, для каждой точки обзора, глубину каждого пикселя на основе трехмерных координат, соответствующих двухмерным координатам пикселя для выработки данных изображения глубины, которые ассоциируют двухмерные координаты и глубину пикселя. Например, глубина является обратной величиной 1/z положения z в направлении глубины объекта захвата изображения. Блок 53 выработки двухмерных данных подает двухмерные данные изображения и данные изображения глубины каждой точки обзора в блок 22 кодирования.

Блок 54 определения загораживания извлекает, на основе параметров камеры, поданных из блока 52 определения камеры, трехмерные данные загораживания из трехмерных данных, поданных из устройства 11 захвата изображения, и подает извлеченные трехмерные данные загораживания в виде метаданных в блок 22 кодирования.

Пример множества точек обзора, соответствующих способу выработки заданного отображаемого изображения

На фиг.3 показан вид, иллюстрирующий примеры множества точек обзора, соответствующих способу выработки заданного отображаемого изображения.

В примере А, показанном на фиг.3, способ выработки заданного отображаемого изображения представляет собой способ выработки отображаемого изображения заданной точки обзора, с помощью которого отображаемое изображение заданной одной точки обзора отображается двухмерным образом, и способ выработки отображаемого изображения свободной точки обзора, с помощью которого отображаемое изображение свободной точки обзора, которая является произвольной одной точкой обзора, отображается двухмерным образом. В этом случае, как показано в примере А на фиг.3, множество точек обзора, соответствующих способу выработки заданного отображаемого изображения, представляет собой множество (в примере А на фиг.3 восемь) точек 71-78 обзора, находящихся на равном расстоянии друг от друга в одном и том же круге, и направления этих точек 71-78 обзора направлены в центр круга.

На основании вышеизложенного, устройство 13 декодирования может выбрать и подать двухмерные данные изображения одной из точек 71-78 обзора в виде данных отображаемого изображения в устройство 14 отображения таким образом, чтобы устройство 14 отображения могло отображать двухмерным образом отображаемое изображение из точки обзора.

С другой стороны, устройство 13 декодирования может выработать двухмерные данные изображения свободной точки обзора в виде данных отображаемого изображения путем выработки трехмерных данных на основе двухмерных данных изображения и данных изображения глубины точек 71-78 обзора и выполнения перспективного проецирования трехмерного объекта, соответствующего трехмерным данным в свободной точке обзора. Соответственно, устройство 13 декодирования может побудить устройство 14 отображения отображать двухмерным образом отображаемое изображение свободной точки обзора путем подачи выработанных данных отображаемого изображения в устройство 14 отображения.

В примере B, показанном на фиг.3, способ выработки заданного отображаемого изображения представляет собой способ выработки отображаемого изображения заданной точки обзора, способ выработки отображаемого изображения свободной точки обзора, способ выработки трехмерного отображаемого изображения, с помощью которого отображаемое изображение отображается трехмерным образом на основе двухмерных данных изображения двух точек обзора, и способ выработки отображаемого изображения интерполируемой точки обзора, с помощью которого отображаемое изображение точки обзора между двумя точками обзора отображается двухмерным образом.

В этом случае, как показано в примере B на фиг.3, множество точек обзора, соответствующих способу выработки заданного отображаемого изображения, представляет собой, например, множество (в примере B на фиг.3 десять) точек 81-90 обзора, находящихся на равном расстоянии друг от друга в одном и том же круге. Точка 88 обзора и точка 89 обзора лежат на одной прямой по существу в горизонтальном направлении с точкой 87 обзора и точкой 88 обзора. Расстояния между точкой 87 обзора и точкой 89 обзора и между точкой 88 обзора и точкой 90 обзора по существу в горизонтальном направлении соответствуют, например, расстоянию между левым и правым глазами человека. Направления точек 81-90 обзора направлены в центр круга, в котором расположены точки 81-90 обзора.

На основании вышеизложенного, устройство 13 декодирования может побудить устройство 14 отображения отображать двухмерным образом отображаемое изображение одной из точек 81-90 обзора или отображаемое изображение свободной точки обзора, как в случае А на фиг.3. Кроме того, устройство 13 декодирования может побудить устройство 14 отображения отображать трехмерным образом парные отображаемые изображения точки 87 обзора и точки 89 обзора или точки 88 обзора и точки 90 обзора путем выбора двухмерных данных изображения точки 87 обзора и точки 89 обзора в паре или точки 88 обзора и точки 90 обзора в паре в виде данных отображаемого изображения и подачи выбранных данных отображаемого изображения в устройство 14 отображения.

Кроме того, устройство 13 декодирования может интерполировать, на основе двухмерных данных изображения и данных изображения глубины точки 87 обзора и точки 89 обзора в паре или точке 88 обзора и точке 90 обзора в паре, двухмерные данные изображения точки обзора между точками обзора в паре. Соответственно, устройство 13 декодирования может побудить устройство 14 отображения отображать двухмерным образом отображаемое изображение точки обзора между точкой 87 обзора и точкой 89 обзора в паре или между точкой 88 обзора и точкой 90 обзора в паре путем подачи интерполированных двухмерных данных изображения в виде данных отображаемого изображения в устройство 14 отображения.

В случае примеров А и B, показанных на фиг.3, количество способов выработки заданных отображаемых изображений является многочисленным. Соответственно, устройство 13 декодирования может вырабатывать данные отображаемого изображения с помощью одного из способов выработки заданного отображаемого изображения на основе двухмерных данных изображения и данных изображения глубины множества точек обзора, соответствующих способам выработки заданного отображаемого изображения. Поэтому можно сказать, что устройство 12 кодирования может выработать кодированный поток, имеющий возможности масштабирования. Следует отметить, что количество способов выработки заданного отображаемого изображения может быть равно единице.

Кроме того, в случае, когда количество камер устройства 11 захвата изображения больше, чем множество точек обзора, соответствующих способам выработки заданного отображаемого изображения, блок 52 определения камеры может устранить избыточность точек обзора путем определения параметров камеры множества точек обзора, соответствующих способам выработки заданного отображаемого изображения.

Например, в случае, когда, в то время как точки обзора камер устройства 11 захвата изображения представляют собой восемь точек обзора, то есть точки 71-78 обзора, множество точек обзора, соответствующих множеству способов выработки отображаемого изображения, представляет собой четыре точки обзора, то есть точку 71 обзора, точку 73 обзора, точку 75 обзора и точку 77 обзора, блок 52 определения камеры определяет параметры камеры этих четырех точек обзора. Соответственно, избыточность точек обзора в кодированном потоке может быть устранена по сравнению с альтернативным случаем, в котором кодируются все двухмерные данные изображения и все данные изображения глубины точек 71-78 обзора.

Положения множества точек обзора, соответствующих множеству способов выработки отображаемого изображения, не ограничиваются такими же положениями в примере А или B, показанном на фиг.3, но могут быть установлены в произвольные положения. Кроме того, параметр камеры для каждой точки обзора можно описать параметром камеры, например, соответствующим сравнительно маленькому углу обзора. В этом случае, после изменения масштаба изображения можно повысить разрешение отображаемого изображения.

Кроме того, хотя в настоящем описании, даже в случае, когда количество способов выработки заданных отображаемых изображений является многочисленным, вырабатывается кодированный поток множества точек обзора, соответствующих всем способам выработки заданного отображаемого изображения, для каждого из способов выработки заданных отображаемых изображений можно выработать кодированный поток соответствующего множества точек обзора. В этом случае устройство 13 декодирования вырабатывает данные отображаемого изображения, используя кодированный поток, соответствующий непосредственно способу выработки отображаемого изображения.

Кроме того, блок 52 определения камеры может определить множество точек обзора, соответствующих способам выработки заданного отображаемого изображения в соответствии с запросом из устройства 13 декодирования.

Пример информации, относящейся к камере

На фиг.4 показан вид, иллюстрирующий пример информации, относящейся к камере.

В примере, показанном на фиг.4, множество точек обзора, соответствующих способам выработки заданного отображаемого изображения, является точками 81-90 обзора из примера B, показанного на фиг.3.

Как показано на фиг.4, информация, относящаяся к камере, включает в себя внешние параметры R|T, внутренний параметр A, isStereoFlag и ID стереокамеры каждой точки обзора, которые ассоциируются с ID камеры точки обзора.

ID камеры представляет собой ID, уникальный для точки обзора. В примере, показанном на фиг.4, ID камеры обозначены последовательными номерами, которые начинаются с 0, для точек 81-90 обзора. Кроме того, на фиг.4 внешние параметры R|T и внутренний параметр А, чей ID камеры равен i, обозначены Ri|Ti и Ai, соответственно.

isStereoFlag представляет собой флаг, указывающий на то, существует или нет другая точка обзора, лежащая на одной прямой по существу в горизонтальном направлении, и устанавливается на 1 в случае, когда имеется другая точка обзора, лежащая на одной прямой по существу в горизонтальном направлении. В примере, показанном на фиг.4, так как другая точка обзора лежит на одной прямой по существу в горизонтальном направлении с каждой из точек 87-90 обзора, чьи ID камер равняются 6-9, соответственно, isStereoFlag, ассоциированный с каждым ID камер, равным 6-9, равняется 1, как показано на фиг.4.

ID стереокамеры представляет собой ID камеры другой точки обзора, лежащей на одной прямой по существу в горизонтальном направлении, и представляет собой информацию о паре, которая точно определяет две точки обзора, лежащие на одной прямой по существу в горизонтальном направлении. В примере, показанном на фиг.4, так как ID камеры другой точки 89 обзора, лежащей на одной прямой по существу в горизонтальном направлении по отношению к точке 87 обзора, чей ID камеры равняется 6, равен 8, ID стереокамеры, ассоциированный с ID камеры, который равняется 6, равен 8.

Аналогичным образом, так как ID камеры другой точки 90 обзора, лежащей на одной прямой по существу в горизонтальном направлении по отношению к точке 88 обзора, чей ID камеры равняется 7, равен 9, ID стереокамеры, ассоциированный с ID камеры, который равняется 7, равен 9. Кроме того, ID стереокамеры, ассоциированный с ID камеры, который равняется 8, равен 6, и ID стереокамеры, ассоциированный с камерой ID, который равняется 9, равен 7.

Описание процесса, выполняемого устройством захвата изображения и устройством кодирования

На фиг.5 показана блок-схема последовательности операций, иллюстрирующая процесс кодирования, выполняемый устройством 11 захвата изображения и устройством 12 кодирования, которые показаны на фиг.1.

На этапе S11, показанном на фиг.5, устройство 11 захвата изображения захватывает двухмерные данные изображения движущегося изображения с помощью мультикамеры и вырабатывает данные изображения глубины с помощью средства измерения расстояния. На этапе S12 устройство 11 захвата изображения вырабатывает трехмерные данные, используя двухмерные данные изображения и данные изображения глубины, и подает трехмерные данные в устройство 12 кодирования.

На этапе S13 блок 51 определения положения объекта захвата изображения (фиг.2) устройства 12 кодирования определяет трехмерное положение центра объекта захвата изображения трехмерного объекта, соответствующего трехмерным данным, поданным из устройства 11 захвата изображения, и подает информацию о положении объекта захвата изображения, характеризующую трехмерное положение, в блок 52 определения камеры.

На этапе S14 блок 52 определения камеры определяет, на основе объекта захвата изображения информации о положении, поданной из блока 51 определения положения объекта захвата изображения, параметры камеры множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, и подает параметры камеры в блок 53 выработки двухмерных данных и блок 54 определения загораживания. Кроме того, блок 52 определения камеры вырабатывает информацию, относящуюся к камере, показанную на фиг.4, из параметров камеры и т.д. и подает информацию, относящуюся к камере, в виде метаданных в блок 22 кодирования, показанный на фиг.1.

На этапе S15 блок 53 выработки двухмерных данных выполняет, на основе параметров камеры множества точек обзора, поданных из блока 52 определения камеры, перспективное проецирование трехмерного объекта, соответствующего трехмерным данным для каждой точки обзора для того, чтобы определить трехмерные координаты, соответствующие двухмерным координатам каждого пикселя.

На этапе S16 блок 53 выработки двухмерных данных преобразует, для каждой точки обзора, двухмерные данные изображения трехмерных координат каждого пикселя из трехмерных данных в двухмерные данные изображения пикселя для выработки двухмерных данных изображения. Кроме того, блок 53 выработки двухмерных данных определяет, для каждой точки обзора, глубину каждого пикселя на основе трехмерных координат пикселя для выработки данных изображения глубины. Блок 53 выработки двухмерных данных подает двухмерные данные изображения и данные изображения глубины точек обзора в блок 22 кодирования.

На этапе S17 блок 54 определения загораживания извлекает, на основе параметров камеры, поданных из блока 52 определения камеры, трехмерные данные загораживания из трехмерных данных, поданных из устройства 11 захвата изображения, и подает трехмерные данные загораживания в виде метаданных в блок 22 кодирования.

На этапе S18 блок 22 кодирования кодирует двухмерные данные изображения, данные изображения глубины и метаданные, поданные из блока 21 преобразования, и подает кодированный поток, полученный в результате кодирования, в блок 23 передачи.

На этапе S19 блок 23 передачи передает кодированный поток, подаваемый из блока 22 кодирования, в устройство 13 декодирования. Затем обработка заканчивается.

Первый пример конфигурации блока 33 преобразования

На фиг.6 показана блок-схема, иллюстрирующая первый пример конфигурации блока 33 преобразования, показанного на фиг.1.

Блок 33 преобразования, показанный на фиг.6, представляет собой блок 33 преобразования в случае, когда способ выработки отображаемого изображения устройства 13 декодирования, показанный на фиг.1, представляет собой способ выработки отображаемого изображения заданной точки обзора, и включает в себя блок 111 выбора и блок 112 управления отображением.

Блок 111 выбора из блока 33 преобразования распознает камеру ID желаемой одной точки обзора на основе информации, относящейся к камере и поданной из блока 32 декодирования, показанного на фиг.1. Блок 111 выбора выбирает, из двухмерных данных изображения, данных изображения глубины и трехмерных данных загораживания, поданных из блока 32 декодирования, двухмерные данные изображения одной точки обзора, соответствующей распознанному ID камеры. Блок 111 выбора подает двухмерные данные изображения выбранной одной точки обзора в блок 112 управления отображением.

Блок 112 управления отображением подает двухмерные данные изображения одной точки обзора, поданной из блока 111 выбора, в виде данных отображаемого изображения в устройство 14 отображения таким образом, чтобы отображаемое изображение отображалось двухмерным образом на экране устройства 14 отображения.

Следует отметить, что, хотя это не изображено, конфигурация блока 33 преобразования в случае, когда способ выработки отображаемого изображения устройства 13 декодирования является трехмерным способом выработки отображаемого изображения, совпадает с конфигурацией, показанной на фиг.6, за исключением того, что блок 111 выбора выбирает двухмерные данные изображения двух точек обзора, расположенных на одной линии по существу в горизонтальном направлении, на основе информации, относящейся к камере.

В частности, в этом случае блок 111 выбора выбирает двухмерные данные изображения одной точки обзора ID камеры, чей isStereoFlag равен 1 в информации, относящейся к камере, и другой точки обзора ID стереокамеры, соответствующего ID камеры. В результате, в устройство 14 отображения подаются двухмерные данные изображения двух выбранных точек обзора в виде данных отображаемого изображения. Устройство 14 отображения отображает отображаемое изображение для левого глаза на основе двухмерных данных изображения одной точки обзора из данных отображаемого изображения и отображает отображаемое изображение для правого глаза на основе двухмерных данных изображения другой одной точки обзора, тем самым отображая трехмерным образом отображаемое изображение.

Второй пример конфигурации блока 33 преобразования

Фиг.7 показана блок-схема, иллюстрирующая второй пример конфигурации блока 33 преобразования, показанного на фиг.1.

Блок 33 преобразования, показанный на фиг.7, представляет собой блок 33 преобразования в случае, когда способ выработки отображаемого изображения устройства 13 декодирования представляет собой способ выработки отображаемого изображения интерполируемой точки обзора, и включает в себя блок 131 выбора, блок 132 интерполяции и блок 133 управления отображением.

Блок 131 выбора из блока 33 преобразования распознает, на основе информации, относящейся к камере и поданной из блока 32 декодирования, показанного на фиг.1, один из ID камер, которые соответствуют isStereoFlag, который равен 1, и ID стереокамеры, соответствующий одному ID камеры. Блок 131 выбора выбирает, из двухмерных данных изображения, данных изображения глубины и трехмерных данных загораживания изображения, поданных из блока 32 декодирования, двухмерные данные изображения и данные изображения глубины двух точек обзора, соответствующих двум распознанным ID камер, и подает выбранные данные в блок 132 интерполяции.

Блок 132 интерполяции интерполирует, на основе двухмерных данных изображения и данных изображения глубины двух точек обзора, поданных из блока 131 выбора, двухмерные данные изображения точки обзора в положении между двумя точками обзора. Такая технология интерполяции называется визуализацией на основе изображения глубины и описана, например, в публикации международной заявки №WO2014083752. Блок 132 интерполяции подает двухмерные данные изображения интерполированной одной точки обзора в блок 133 управления отображением.

Блок 133 управления отображением подает двухмерные данные изображения одной точки обзора, поданной из блока 132 интерполяции, в виде данных отображаемого изображения в устройство 14 отображения таким образом, чтобы отображаемое изображение отображалось двухмерным образом на экране устройства 14 отображения.

Третий пример конфигурации блока 33 преобразования

На фиг.8 показана блок-схема, иллюстрирующая третий пример конфигурации блока 33 преобразования, показанного на фиг.1.

Блок 33 преобразования, показанный на фиг.8, представляет собой блок 33 преобразования в случае, когда способ выработки отображаемого изображения устройства 13 декодирования представляет собой способ выработки отображаемого изображения свободной точки обзора. Блок 33 преобразования, показанный на фиг.8, включает в себя блок 151 выработки трехмерных данных, блок 152 определения положения объекта захвата изображения, блок 153 определения положения камеры, блок 154 выработки двухмерных данных и блок 155 управления отображением.

Блок 151 выработки трехмерных данных из блока 33 преобразования использует двухмерные данные изображения, данные изображения глубины и параметр камеры, включенный в информацию, относящуюся к камере и поданную из блока 32 декодирования, чтобы выработать трехмерные данные объекта захвата изображения аналогично устройству 11 захвата изображения. Блок 151 выработки трехмерных данных модифицирует выработанные трехмерные данные, используя трехмерные данные загораживания, поданные из блока 32 декодирования. В результате, можно выработать трехмерные данные общей области объекта захвата изображения, включающей в себя область загораживания, которую нельзя выработать только из двухмерных данных изображения и данных изображения глубины. Блок 151 выработки трехмерных данных подает модифицированные трехмерные данные в блок 152 определения положения объекта захвата изображения и блок 154 выработки двухмерных данных.

Блок 152 определения положения объекта захвата изображения определяет трехмерное положение центра объекта захвата изображения из трехмерного объекта, соответствующего трехмерным данным, поданным из блока 151 выработки трехмерных данных, и подает информацию о положении объекта захвата изображения, характеризующую трехмерное положение, в блок 153 определения положения камеры.

Блок 153 определения положения камеры определяет параметр камеры свободной точки обзора на основе информации о положении объекта захвата изображения, поданной из блока 152 определения положения объекта захвата изображения, и подает параметр камеры в блок 154 выработки двухмерных данных.

Блок 154 выработки двухмерных данных вырабатывает, на основе трехмерных данных, поданных из блока 151 выработки трехмерных данных, и параметра камеры свободной точки обзора, поданного из блока 153 определения положения камеры, двухмерные данные изображения в виде данных отображаемого изображения в соответствии со способом выработки отображаемого изображения свободной точки обзора.

В частности, блок 154 выработки двухмерных данных выполняет, на основе параметра камеры свободной точки обзора, перспективное проецирование трехмерного объекта, соответствующего трехмерным данным, чтобы определить трехмерные координаты, соответствующие двухмерным координатам каждого пикселя, аналогично блоку 53 выработки двухмерных данных, показанному на фиг.2. Затем блок 154 выработки двухмерных данных вырабатывает двухмерные данные изображения трехмерных координат, соответствующих двухмерным координатам каждого пикселя, из трехмерных данных в виде данных отображаемого изображения пикселя.

Кроме того, блок 154 выработки двухмерных данных определяет глубину каждого пикселя на основе трехмерных координат, соответствующих двухмерным координатам пикселя для выработки данных изображения глубины. Блок 154 выработки двухмерных данных подает данные отображаемого изображения и данные изображения глубины в блок 155 управления отображением.

Блок 155 управления отображением подает данные отображаемого изображения и данные изображения глубины, поданные из блока 154 выработки двухмерных данных, в устройство 14 отображения. Устройство 14 отображения отображает двухмерным образом отображаемое изображение, например, используя данные отображаемого изображения и данные изображения глубины в качестве облака точек.

Как описано выше, блок 33 преобразования, показанный на фиг.8, вырабатывает трехмерные данные из двухмерных данных изображения и данных изображения глубины множества точек обзора и вырабатывает двухмерные данные изображения и данные изображения глубины из выработанных трехмерных данных на основе параметра камеры заново определенной свободной точки обзора. Соответственно, блок 33 преобразования может изменить коэффициент масштабирования изображения или изменить точки обзора двухмерных данных изображения и данных изображения глубины множества точек обзора, переданных в него из устройства 12 кодирования.

Описание процесса, выполняемого устройством декодирования

На фиг.9 показана блок-схема последовательности операций, иллюстрирующая процесс декодирования, выполняемый устройством 13 декодирования в случае, когда конфигурация блока 33 преобразования, показанная на фиг.1, представляет собой конфигурацию, показанную на фиг.8. Этот процесс декодирования начинается, например, когда кодированный поток передается из устройства 12 кодирования в устройство 13 декодирования.

На этапе S31, показанном на фиг.9, блок 31 приема из устройства 13 декодирования принимает кодированный поток, переданный из блока 23 передачи, и подает кодированный поток в блок 32 декодирования.

На этапе S32 блок 32 декодирования декодирует кодированный поток, подаваемый из блока 31 приема. Блок 32 декодирования подает двухмерные данные изображения и данные изображения глубины множества точек обзора, а также метаданные, полученные в результате декодирования, в блок 33 преобразования.

На этапе S33 блок 151 выработки трехмерных данных (фиг.8) из блока 33 преобразования использует двухмерные данные изображения и данные изображения глубины и параметр камеры, включенные в метаданные, поданные из блока 32 декодирования, чтобы выработать трехмерные данные объекта захвата изображения аналогично устройству 11 захвата изображения.

На этапе S34 блок 151 выработки трехмерных данных модифицирует трехмерные данные, выработанные на этапе S33, используя трехмерные данные загораживания, включенные в метаданные, поданные из блока 32 декодирования. Блок 151 выработки трехмерных данных подает модифицированные трехмерные данные в блок 152 определения положения объекта захвата изображения.

На этапе S35 блок 152 определения положения объекта захвата изображения определяет трехмерное положение центра объекта захвата изображения трехмерного объекта, соответствующего трехмерным данным, поданным из блока 151 выработки трехмерных данных, и подает информацию о положении объекта захвата изображения, характеризующую трехмерное положение, в блок 153 определения положения камеры.

На этапе S36 блок 153 определения положения камеры определяет параметр камеры свободной точки обзора на основе информации о положении объекта захвата изображения, поданной из блока 152 определения положения объекта захвата изображения, и подает параметр камеры в блок 154 выработки двухмерных данных.

На этапе S37 блок 154 выработки двухмерных данных вырабатывает, на основе трехмерных данных и параметра камеры свободной точки обзора, двухмерные данные изображения в виде данных отображаемого изображения в соответствии со способом выработки отображаемого изображения свободной точки обзора.

На этапе S38 блок 154 выработки двухмерных данных определяет глубину каждого пикселя на основе трехмерных координат, соответствующих двухмерным координатам пикселя, чтобы выработать данные изображения глубины. Блок 154 выработки двухмерных данных подает данные отображаемого изображения и данные изображения глубины в блок 155 управления отображением.

На этапе S39 блок 155 управления отображением подает данные отображаемого изображения и данные изображения глубины, поданные из блока 154 выработки двухмерных данных, в устройство 14 отображения.

Таким образом, в системе 10 передачи устройство 11 захвата изображения вырабатывает трехмерные данные из захваченных двухмерных данных изображения множества точек обзора, и устройство 12 кодирования вырабатывает и кодирует двухмерные данные изображения и данные изображения глубины множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, из трехмерных данных. Соответственно, устройство 12 кодирования может кодировать двухмерные данные изображения и данные изображения глубины точки обзора, соответствующей способу выработки заданного отображаемого изображения таким образом, чтобы устройство 13 декодирования могло получить двухмерные данные изображения и данные изображения глубины независимо от точек обзора после формирования изображения.

Кроме того, устройство 13 декодирования принимает и декодирует кодированный поток двухмерных данных изображения и данных изображения глубины множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, переданный в него из устройства 12 кодирования. Соответственно, устройство 13 декодирования может получать двухмерные данные изображения и данные изображения глубины точки обзора, соответствующей способу выработки заданного отображаемого изображения, независимо от точек обзора после формирования изображения.

Кроме того, когда количество способов выработки заданных отображаемых изображений является многочисленным, кодированный поток, выработанный устройством 12 кодирования, может быть воспроизведен с помощью устройства декодирования многочисленными способами выработки отображаемого изображения. Например, как устройство декодирования с низкой функцией, чей способ выработки отображаемого изображения представляет собой способ выработки отображаемого изображения заданной точки обзора, так и другое устройство декодирования с высокой функцией, чей способ выработки отображаемого изображения представляет собой способ выработки изображения свободной точки обзора, позволяют выполнить воспроизведение кодированного потока в соответствии с мощностью собственного устройства.

Второй вариант осуществления

Пример конфигурации второго варианта осуществления системы передачи

На фиг.10 показана блок-схема, иллюстрирующая пример конфигурации второго варианта осуществления системы передачи, в которой применяется настоящее изобретение.

Одинаковые компоненты, показанные на фиг.10 и на фиг.1, обозначены одинаковыми ссылочными позициями. Дублирующее описание будет опущено соответствующим образом.

Конфигурация системы 170 передачи, показанной на фиг.10, отличается от конфигурации системы 10 передачи, показанной на фиг.1, тем, что устройство 11 захвата изображения, устройство 12 кодирования и устройство 13 декодирования заменены на устройство 171 захвата изображения, устройство 172 кодирования и устройство 173 декодирования. В системе 170 передачи двухмерные данные изображения и данные изображения глубины, полученные устройством 171 захвата изображения, кодируются в виде, в котором они присутствуют, и передаются.

В частности, устройство 171 захвата изображения из системы 170 передачи включает в себя мультикамеру 181 и блок 182 обработки изображения. Многочисленные камеры, которые конфигурируют мультикамеру 181 устройства 171 захвата изображения в индивидуальном порядке, захватывают двухмерные данные изображения. Мультикамера +181 подает двухмерные данные изображения, захваченные камерами, в блок 182 обработки изображения.

Блок 182 обработки изображения устанавливает одну из множества камер, конфигурирующих мультикамеру 181 в качестве основной камеры, и устанавливает другие камеры в качестве опорных камер. Блок 182 обработки изображения обнаруживает, на основе двухмерных данных изображения, захваченных основной камерой мультикамеры 181, и двухмерных данных изображения, захваченных опорными камерами, отклонение синхронизма двухмерных данных изображения каждой опорной камеры по отношению к основной камере. Кроме того, блок 182 обработки изображения обнаруживает отклонение синхронизма основной камеры, равное 0. Блок 182 обработки изображения подает информацию отклонения синхронизма, включающую в себя информацию, характеризующую обнаруженные отклонения синхронизма точек обзора камер и информации, относящейся к камере, в устройство 172 кодирования.

Кроме того, блок 182 обработки изображения выполняет стереосопоставление для двухмерных данных изображения, захваченных камерами, чтобы выработать данные изображения глубины камер, и подает данные изображения глубины в устройство 172 кодирования.

Устройство 172 кодирования определяет информацию отклонения синхронизма и информацию, относящуюся к камере и поданную из устройства 171 захвата изображения, в виде метаданных. Устройство 172 кодирования кодирует двухмерные данные изображения и данные изображения глубины камер, поданные из устройства 171 захвата изображения, а также метаданные для выработки кодированного потока аналогично блоку 22 кодирования, показанному на фиг.1. Устройство 172 кодирования (блок передачи) передает выработанный кодированный поток в устройство 173 декодирования.

Конфигурация устройства 173 декодирования отличается от конфигурации устройства 13 декодирования, показанного на фиг.1, тем, что блок 32 декодирования и блок 33 преобразования заменены на блок 191 декодирования и блок 192 преобразования, соответственно.

Блок 191 декодирования устройства 173 декодирования декодирует кодированный поток, подаваемый из блока 31 приема в соответствии со способом, соответствующим способу кодирования, с помощью устройства 172 кодирования. Блок 191 декодирования синхронизирует, на основе информации отклонения синхронизма из метаданных, полученных в результате декодирования, двухмерные данные изображения и данные изображения глубины основной камеры и опорных камер друг с другом и подает синхронизированные данные в блок 192 преобразования. Кроме того, блок 191 декодирования подает информацию, относящуюся к камере, полученную из метаданных, в блок 192 преобразования.

Конфигурация блока 192 преобразования совпадает с конфигурацией блока 33 преобразования, показанного на фиг.1, за исключением того, что трехмерные данные не корректируются с использованием трехмерных данных загораживания, и поэтому их повторное описание будет опущено.

Пример конфигурации устройства захвата изображения

На фиг.11 показана блок-схема, иллюстрирующая пример конфигурации устройства 171 захвата изображения, показанного на фиг.10.

Мультикамера 181 устройства 171 захвата изображения, показанного на фиг.11, включает в себя N (N – множественное число) камер 211-1 – 211-N.

Камеры 211-1 – 211-N расположены таким образом, чтобы например, точки обзора камер 211-1 – 211-N становились точками обзора, соответствующими способу выработки заданного отображаемого изображения. Камеры 211-1 – 211-N по отдельности выполняют захват изображения и подают двухмерные данные изображения движущегося изображения (захваченные данные изображения), полученные в результате захвата изображения, в блок 182 обработки изображения. В последующем описании в случае, когда нет необходимости отличать особым образом камеры 211-1 – 211-N друг от друга, они совместно упоминаются как камеры 211.

Блок 182 обработки изображения включает в себя блок 221 калибровки, блок 222 обнаружения отклонения синхронизма и блок 223 выработки глубины.

Блок 221 калибровки из блока 182 обработки изображения выполняет, для каждой камеры 211, калибровку двухмерных данных изображения, поданных из мультикамеры 181, используя параметр камеры. После калибровки блок 221 калибровки подает двухмерные данные изображения каждой камеры 211 в блок 222 обнаружения отклонения синхронизма. Кроме того, блок 221 калибровки подает информацию, относящуюся к камере, в устройство 172 кодирования, показанное на фиг.10.

Блок 222 обнаружения отклонения синхронизма определяет одну из камер 211-1 – 211-N в качестве основной камеры и определяет оставшиеся камеры 211-1 – 211-N в качестве опорных камер. Блок 222 обнаружения отклонения синхронизма обнаруживает, на основе двухмерных данных изображения основной камеры и двухмерных данных изображения опорных камер, поданных из блока 221 калибровки, отклонение синхронизма двухмерных данных изображения каждой опорной камеры по отношению к основной камере в течение промежутка времени порядка миллисекунды (мс).

В частности, блок 222 обнаружения отклонения синхронизма обнаруживает импульсное освещение, исходя из двухмерных данных изображения основной камеры и двухмерных данных изображения опорных камер. Блок 222 обнаружения отклонения синхронизма обнаруживает разность во времени захвата изображения между двухмерными данными изображения основной камеры и двухмерными данными изображения каждой опорной камеры, от которых обнаруживается импульсное освещение, в виде отклонения синхронизма двухмерных данных изображения опорной камеры.

Отклонение синхронизма двухмерных данных изображения каждой опорной камеры можно выполнить, используя двухмерные данные изображения, с помощью способа, который отличается от способа, с помощью которого обнаруживается импульсное освещение. Кроме того, в случае, когда камера 211 получает аудиоданные вместе с двухмерными данными изображения, отклонение синхронизма двухмерных данных изображения опорной камеры можно обнаружить путем обнаружения отклонения синхронизма аудиоданных опорной камеры по отношению к основной камере.

Блок 222 обнаружения отклонения синхронизма обнаруживает отклонение синхронизма двухмерных данных изображения основной камеры, равное 0. Блок 222 обнаружения отклонения синхронизма подает информацию отклонения синхронизма обнаруженного отклонения синхронизма в устройство 172 кодирования. Кроме того, блок 222 обнаружения отклонения синхронизма подает двухмерные данные изображения каждой камеры 211, поданные из блока 221 калибровки, в блок 223 выработки глубины.

Блок 223 выработки глубины выполняет стереосопоставление для двухмерных данных изображения каждой камеры 211, поданных из блока 222 обнаружения отклонения синхронизма для выработки данных изображения глубины камеры 211. Блок 223 выработки глубины подает двухмерные данные изображения и данные изображения глубины камер 211 в устройство 172 кодирования.

Пример информации отклонения синхронизма

На фиг.12 показан вид, иллюстрирующий пример информации отклонения синхронизма.

В примере, показанном на фиг.12, точки обзора камер 211 представляют собой точки 81-90 обзора из примера B, показанного на фиг.3.

Как показано на фиг.12, информация отклонения синхронизма конфигурируется путем ассоциирования num_units_in_tick, time_scale, Delta_num_units_in_tick и Delta_time_scale каждой камеры 211 с ID камеры точки обзора камеры 211.

num_units_in_tick – это информация, указывающая количество time_units, которое соответствует расстоянию между кадрами, при этом time_unit определяется с помощью time_scale. time_scale – это количество time_units в секунду. Соответственно, частота кадров может быть представлена num_units_in_tick и time_scale.

В примере, показанном на фиг.12, частота кадров камер 211, чьи ID камер принимают значения 0, 1, 4 и 5, равна 60 Гц (59,94 Гц). Соответственно, например, у камер 211, чьи ID камер принимают значения 0, 1, 4 и 5, num_units_in_tick равняется 1001, и time_scale равняется 60000. Между тем частота кадров камер 211, чьи ID камер принимают значения 2, 3 и 6-9, равна 30 Гц (29,97 Гц). Соответственно, например, у камер 211, чьи ID камер принимают значения 2, 3 и 6-9, num_units_in_tick равняется 2002, и time_scale равняется 60000.

Delta_num_units_in_tick представляет собой информацию, указывающую параметр time_units, который соответствует отклонению синхронизма, при этом time_unit определяется с помощью Delta_time_scale. Delta_time_scale представляет собой количество time_units в секунду. Соответственно, отклонение синхронизма можно представить с помощью Delta_num_units_in_tick и Delta_time_scale.

В примере, показанном на фиг.12, камера 211, чей ID камеры равен 0, является основной камерой. Соответственно, параметр Delta_num_units_in_tick, соответствующий ID камеры, который принимает значение 0, равняется 0. Кроме того, в примере, показанном на фиг.12, отклонение синхронизма камер 211, чьи ID камер принимают значения 3, 4, 7 и 9, равняется 0. Соответственно, параметр Delta_num_units_in_tick, соответствующий ID камер, которые принимают значения 3, 4, 7 и 9, также равняется 0.

Кроме того, в примере, показанном на фиг.12, отклонение синхронизма камер 211, чьи ID камер принимают значения 1 и 5, составляет 1/30 (1/29,97) секунды. Соответственно, например, параметр Delta_num_units_in_tick, соответствующий ID камер, которые принимают значения 1 и 5, равняется 2002, и Delta_time_scale равняется 60000. Кроме того, отклонение синхронизма камер 211, чьи ID камер принимают значения 2, 6 и 8, составляет 1/15 (1/14,985) секунды. Соответственно, например, параметр Delta_num_units_in_tick, соответствующий ID камер, которые принимают значения 2, 6 и 8, равняется 4004, и Delta_time_scale равняется 60000.

Следует отметить, что информация отклонения синхронизма может включать в себя общий флаг отклонения синхронизма, указывающий на то, равны или нет отклонения синхронизма всех камер 211, с которыми происходит отклонение синхронизма.

В этом случае, когда отклонения синхронизма всех камер 211, с помощью которых происходит отклонение синхронизма, равны, информация отклонения синхронизма включает в себя общий флаг отклонения синхронизма, указывающий, что отклонения синхронизма всех камер 211, с помощью которых происходит отклонение синхронизма, равны, флаг отклонения синхронизма (информацию о наличии/отсутствии отклонения синхронизма), указывающий на наличие/отсутствие отклонения синхронизма в каждой камере 211, и информацию, характеризующую отклонение синхронизма, общее для всех камер 211, с помощью которых происходит отклонение синхронизма.

С другой стороны, когда отклонения синхронизма всех камер 211, с помощью которых происходит отклонение синхронизма, не равны, информация отклонения синхронизма включает в себя информацию отклонения синхронизма, показанную на фиг.12, и общий флаг отклонения синхронизма, указывающий, что отклонения синхронизма всех камер 211, в которых происходит отклонение синхронизма, не равны.

Пример конфигурации устройства кодирования

На фиг.13 показана блок-схема, иллюстрирующая пример конфигурации устройства 172 кодирования, показанного на фиг.10.

Устройство 172 кодирования, показанное на фиг.13, представляет собой устройство 172 кодирования в случае, когда кодирование выполняется способом AVC или способом HEVC и включает в себя 2N блоков 241-1 – 241-2N кодирования и блок 242 передачи.

Блоки 241-1 – 241-2N кодирования устройства 172 кодирования по отдельности кодируют двухмерные данные изображения или данные изображения глубины камер 211, поданные из устройства 171 захвата изображения в соответствии со способом AVC или способом HEVC, чтобы по отдельности выработать кодированный поток.

Блоки 241-1 – 241-2N кодирования устанавливают информацию, относящуюся к камере, и информацию отклонения синхронизма, поданную из устройства 171 захвата изображения, а также информацию, которая ассоциирует информацию, относящуюся к камере, и информацию отклонения синхронизма с кодированными потоками в виде метаданных. Блоки 241-1 – 241-2N кодирования размещают метаданные в SEI, незарегистрированной пользователем, выработанных кодированных потоков.

Следует отметить, что блоки 241-1 – 241-N кодирования могут размещать только метаданные, соответствующие кодированному потоку, в SEI, незарегистрированной пользователем, кодированного потока. В этом случае информация, которая ассоциирует информацию, относящуюся к камере, и информацию отклонения синхронизма с кодированным потоком не включается в метаданные. Блоки 241-1 – 241-2N кодирования подают кодированные потоки, в которых метаданные размещаются в блоках 242 передачи.

Блок 242 передачи передает кодированные потоки, поданные из блоков 241-1 – 241-2N кодирования, в устройство 173 декодирования, показанное на фиг.10.

Описание процесса, выполняемого устройством захвата изображения и устройства кодирования

На фиг.14 показана блок-схема последовательности операций, иллюстрирующая процесс кодирования, выполняемый устройством 171 захвата изображения и устройством 172 кодирования, которые показаны на фиг.10.

На этапе S51, показанном на фиг.14, камеры 211 (фиг.11) устройства 171 захвата изображения выполняют захват изображения и подают двухмерные данные изображения движущегося изображения, полученного в результате захвата изображения, в блок 182 обработки изображения.

На этапе S52 блок 221 калибровки из блока 182 обработки изображения выполняет, для каждой камеры 211, калибровку двухмерных данных изображения, поданных из мультикамеры 181, используя параметр камеры. После калибровки блок 221 калибровки подает двухмерные данные изображения каждой камеры 211 в блок 222 обнаружения отклонения синхронизма.

На этапе S53 блок 221 калибровки подает информацию, относящуюся к камере, в виде метаданных в устройство 172 кодирования.

На этапе S54 блок 222 обнаружения отклонения синхронизма обнаруживает, для каждой опорной камеры, отклонение синхронизма двухмерных данных изображения опорной камеры по отношению к основной камере на основе двухмерных данных изображения основной камеры и опорной камеры, поданных из блока 221 калибровки. Кроме того, блок 222 обнаружения отклонения синхронизма обнаруживает отклонение синхронизма двухмерных данных изображения основной камеры, равное 0.

На этапе S55 блок 222 обнаружения отклонения синхронизма предоставляет информацию отклонения синхронизма обнаруженных отклонений синхронизма в виде метаданных в устройство 172 кодирования. Кроме того, блок 222 обнаружения отклонения синхронизма подает двухмерные данные изображения камер 211, поданные из блока 221 калибровки, в блок 223 выработки глубины.

На этапе S56 блок 223 выработки глубины выполняет стереосопоставление двухмерных данных изображения соответствующих камер 211, поданных из блока 222 обнаружения отклонения синхронизма, чтобы выработать данные изображения глубины для каждой камеры 211.

На этапе S57 блок 223 выработки глубины подает двухмерные данные изображения и данные изображения глубины камер 211 в устройство 172 кодирования.

На этапе S58 устройство 172 кодирования кодирует двухмерные данные изображения и данные изображения глубины камер 211, поданные в него из устройства 171 захвата изображения, и метаданные для выработки кодированного потока.

На этапе S59 устройство 172 кодирования передает выработанный кодированный поток в устройство 173 декодирования. Затем обработка заканчивается.

Пример конфигурации блока декодирования

На фиг.15 показана блок-схема, иллюстрирующая пример конфигурации блока 191 декодирования, показанного на фиг.10.

В примере, показанном на фиг.15, конфигурация устройства 172 кодирования представляет собой конфигурацию, показанную на фиг.13, и способ кодирования кодированного потока, переданного из устройства 172 кодирования, представляет собой способ AVC или способ HEVC. Блок 191 декодирования, показанный на фиг.15, включает в себя 2N блоков 261-1 – 261-2N декодирования и блок 262 вывода.

Блоки 261-1 – 261-2N декодирования из блока 191 декодирования по отдельности декодируют кодированный поток двухмерных данных изображения и данные изображения глубины камер 211, поданные из блока 31 приема, в соответствии со способом, соответствующим способу AVC или способу HEVC. Блоки 261-1 – 261-2N декодирования подают двухмерные данные изображения или данные изображения глубины камер 211, полученные в результате декодирования, и информацию, относящуюся к камере, и информацию отклонения синхронизма, конфигурирующую метаданные, в блок 262 вывода.

Блок 262 вывода (блок синхронной обработки) подает, для каждой опорной камеры, на основе информации отклонения синхронизма, поданной из блоков 261-1 – 261-2N декодирования, двухмерные данные изображения и данные изображения глубины основной камеры и опорных камер, синхронизированных друг с другом, в блок 192 преобразования, показанный на фиг.10.

Например, в случае, когда параметр num_units_in_tick опорной камеры, включенный в информацию отклонения синхронизма, принимает значение 1001, и параметр Delta_num_units_in_tick принимает значение 2002, и, кроме того, параметры time_scale и Delta_time_scale равны 60000, блок 262 вывода подает двухмерные данные изображения и данные изображения глубины опорной камеры с задержкой на два кадра в блок 192 преобразования. Кроме того, блок 262 вывода подает информацию, относящуюся к камере и поданную из блоков 261-1 – 261-2N декодирования, в блок 192 преобразования.

Поскольку, с учетом вышеизложенного, двухмерные данные изображения и данные изображения глубины камер 211, которые должны быть поданы в блок 192 преобразования, синхронизированы друг с другом, точность выработки трехмерных данных блоком 192 преобразования повышается.

Описание процесса, выполняемого устройством декодирования

На фиг.16 показана блок-схема последовательности операций, иллюстрирующая процесс декодирования, выполняемый устройством 173 декодирования в случае, когда конфигурация блока 192 преобразования, показанного на фиг.10, совпадает с конфигурацией, показанной на фиг.8, за исключением того, что трехмерные данные не скорректированы с использованием трехмерных данных загораживания. Этот процесс декодирования начинается, например, когда кодированный поток передается из устройства 172 кодирования в устройство 173 декодирования.

На этапе S71, показанном на фиг.16, блок 31 приема из устройства 173 декодирования принимает кодированный поток, переданный из устройства 172 кодирования, и подает кодированный поток в блок 191 декодирования.

На этапе S72 блок 191 декодирования декодирует кодированный поток, подаваемый из блока 31 приема, способом, соответствующим способу кодирования, с помощью устройства 172 кодирования.

На этапе S73 блок 191 декодирования подает, для каждой опорной камеры, на основе информации отклонения синхронизма из метаданных, полученных в результате декодирования, двухмерные данные изображения и данные изображения глубины основной камеры и опорной камеры, синхронизированные друг с другом, в блок 192 преобразования. Кроме того, блок 262 вывода подает информацию, относящуюся к камере, из метаданных в блок 192 преобразования.

На этапе S74 блок 192 преобразования вырабатывает трехмерные данные объекта захвата изображения аналогично устройству 11 захвата изображения с использованием двухмерных данных изображения и данных изображения глубины, поданных из блока 191 декодирования, и параметр камеры, включенный в информацию, относящуюся к камере.

Процессы, выполняемые на этапах S75-S79 аналогичны процессам, выполняемым на этапах S35-S39, показанных на фиг.9, соответственно, и поэтому их описание будет опущено.

Как описано выше, так как в системе 170 передачи двухмерные данные изображения и данные изображения глубины, полученные камерами 211, кодируются в том виде, в котором они присутствуют, и передаются, в некоторых случаях синхронизация двухмерных данных изображения и данных изображения глубины камеры 211 может быть недоступной

Однако в системе 170 передачи устройство 171 захвата изображения обнаруживает отклонение синхронизма двухмерных данных изображения камер, и устройство 172 кодирования передает информацию отклонения синхронизма об обнаруженных отклонениях синхронизма вместе с двухмерными данными изображения и данными изображения глубины. Соответственно, устройство 173 декодирования может синхронизировать двухмерные данные изображения и данные изображения глубины камер 211 друг с другом на основе информации отклонения синхронизма. В результате, устройство 173 декодирования может выработать трехмерные данные с высокой точностью, используя двухмерные данные изображения и данные изображения глубины камер N 211, которые синхронизированы друг с другом.

Третий вариант осуществления

Пример конфигурации третьего варианта осуществления системы передачи

На фиг.17 показана блок-схема, иллюстрирующая пример конфигурации третьего варианта осуществления системы передачи, в которой применяется настоящее изобретение.

Одинаковые компоненты, показанные на фиг.17 и на фиг.1, обозначены одинаковыми ссылочными позициями. Дублирующее описание будет опущено соответствующим образом.

Конфигурация системы 280 передачи, показанной на фиг.17, отличается от конфигурации системы 10 передачи, показанной на фиг.1, тем, что вновь предусмотрены устройство 281 захвата изображения, устройство 282 кодирования и устройство 283 синтеза, устройство 13 декодирования заменено на устройство 284 декодирования, и точка обзора двухмерных данных изображения и данных изображения глубины, выработанных устройством 12 кодирования, представляет собой часть множества точек обзора, соответствующих способу выработки заданного отображаемого изображения.

В системе 280 передачи кодированный поток некоторых точек обзора (которые в дальнейшем упоминаются как первая группа точек обзора) из множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, вырабатывается устройством 12 кодирования, в то время как кодированный поток других точек обзора (которые в дальнейшем упоминаются как вторая группа точек обзора) вырабатывается устройством 282 кодирования, и оба кодированных потока синтезируются (объединяются).

В частности, устройство 281 захвата изображения из системы 280 передачи сконфигурировано аналогично устройству 11 захвата изображения, показанному на фиг.1, и по меньшей мере часть его захватывает изображение объекта захвата изображения, который является таким же, как и объект захвата изображения устройства 11 захвата изображения, и подает трехмерные данные объекта захвата изображения в устройство 282 кодирования.

Устройство 282 кодирования включает в себя блок 291 преобразования, сконфигурированный аналогично блоку 21 преобразования, блок 292 кодирования, сконфигурированный аналогично блоку 22 кодирования, и блок 293 передачи, сконфигурированный аналогично блоку 23 передачи. Устройство 282 кодирования вырабатывает двухмерные данные изображения и данные изображения глубины второй группы точек обзора из трехмерных данных, и кодирует и передает выработанные данные в устройство 283 синтеза.

Устройство 283 синтеза принимает кодированный поток первой группы точек обзора (который в дальнейшем упоминается как первый частичный кодированный поток), переданный в него из устройства 12 кодирования, и кодированный поток второй группы точек обзора (который в дальнейшем упоминается как второй частичный кодированный поток), переданный из устройства 282 кодирования. Устройство 283 синтеза обнаруживает отклонение синхронизма второго частичного кодированного потока по отношению к первому частичному кодированному потоку и вырабатывает информацию отклонения синхронизма группы точек обзора, характеризующую отклонение синхронизма второго кодированного потока.

Информация отклонения синхронизма группы точек обзора включает в себя, например, num_units_in_tick и time_scale, характеризующие частоту кадров второй группы точек обзора, и Delta_num_units_in_tick и Delta_time_scale, характеризующие отклонение синхронизма.

Устройство 283 синтеза размещает информацию отклонения синхронизма группы точек обзора в метаданные второго частичного кодированного потока. Устройство 283 синтеза синтезирует второй частичный кодированный поток, в котором размещается информация отклонения синхронизма группы точек обзора, и первый частичный кодированный поток для выработки кодированного потока множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, и передает кодированный поток в устройство 284 декодирования.

Конфигурация устройства 284 декодирования отличается от конфигурации устройства 13 декодирования, показанного на фиг.1, тем, что блок 32 декодирования заменен на блок 301 декодирования. Блок 301 декодирования из устройства 284 декодирования аналогичен блоку 191 декодирования, показанному на фиг.10, за исключением того, что информация отклонения синхронизма заменена на информацию отклонения синхронизма группы точек обзора, и того, что трехмерные данные загораживания из метаданных подаются вместе с соответствующей информацией камеры в блок 33 преобразования, и поэтому описание блока 301 декодирования будет опущено.

Пример конфигурации устройства синтеза

На фиг.18 показана блок-схема, иллюстрирующая пример конфигурации устройства 283 синтеза, показанного на фиг.17.

Устройство 283 синтеза, показанное на фиг.18, включает в себя блок 321 декодирования, другой блок 322 декодирования, блок 323 обнаружения отклонения синхронизма и блок 324 добавления метаданных.

Блок 321 декодирования устройства 283 синтеза принимает первый частичный кодированный поток, переданный из устройства 12 кодирования. Блок 321 декодирования декодирует принятый первый частичный кодированный поток в соответствии со способом, соответствующим способу кодирования (в примере, показанном на фиг.18, MVCD), с помощью блока 22 кодирования для выработки двухмерных данных изображения и данных изображения глубины первой группы точек обзора и метаданных. Блок 321 декодирования подает двухмерные данные изображения одной точки обзора из выработанной первой группы точек обзора в блок 323 обнаружения отклонения синхронизма.

Блок 322 декодирования принимает второй частичный кодированный поток, переданный в него из устройства 282 кодирования. Блок 322 декодирования декодирует принятый второй частичный кодированный поток в соответствии со способом, соответствующим способу кодирования (в примере, показанном на фиг.18, MVCD), с помощью блока 292 кодирования для выработки двухмерных данных изображения и данных изображения глубины второй группы точек обзора и метаданных. Блок 322 декодирования подает двухмерные данные изображения одной точки обзора из выработанной второй группы точек обзора в блок 323 обнаружения отклонения синхронизма.

Блок 323 обнаружения отклонения синхронизма обнаруживает, на основе двухмерных данных изображения, поданных из блока 321 декодирования и блока 322 декодирования, отклонение синхронизма двухмерных данных изображения второй группы точек обзора по отношению к первой группе точек обзора.

Способ обнаружения отклонения синхронизма может быть таким же или отличаться от способа обнаружения отклонения синхронизма во втором варианте осуществления.

Кроме того, для обнаружения отклонения синхронизма, можно использовать не только двухмерные данные изображения, но также и параметр камеры и данные изображения глубины. В этом случае, например, блок 323 обнаружения отклонения синхронизма преобразует двухмерное положение характерной точки двухмерных данных изображения в каждый момент времени одной точки обзора из первой группы точек обзора и одной точки обзора из второй группы точек обзора в трехмерное положение на основе параметра камеры, включенного в информацию, относящуюся к камере. Блок 323 обнаружения отклонения синхронизма обнаруживает разность между моментами времени двухмерных данных изображения, когда разность между трехмерными положениями характерных точек этих двух точек обзора является минимальной как отклонение синхронизма двухмерных данных изображения второй группы точек обзора по отношению к первой группе точек обзора.

Блок 323 обнаружения отклонения синхронизма подает информацию отклонения синхронизма группы точек обзора, характеризующую обнаруженное отклонение синхронизма, в блок 324 добавления метаданных.

Блок 324 добавления метаданных размещает информацию отклонения синхронизма группы точек обзора, поданную из блока 323 обнаружения отклонения синхронизма, в виде метаданных во втором частичном кодированном потоке, переданном в него из устройства 282 кодирования. Блок 324 добавления метаданных синтезирует второй частичный кодированный поток, в котором информация отклонения синхронизма группы точек обзора устанавливается в виде метаданных, и первый частичный кодированный поток, переданный из устройства 12 кодирования. Блок 324 добавления метаданных (блок передачи) передает кодированный поток множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, полученному в результате синтеза, в устройство 284 декодирования.

Описание процесса, выполняемого устройством синтеза

Так как процессы, выполняемые устройством 11 кодирования захвата изображения и устройством 12 кодирования, которые показаны на фиг.17, и устройством 281 захвата изображения и устройством 282 кодирования, аналогичны процессу кодирования, показанному на фиг.5, описание их будет опущено.

На фиг.19 показана блок-схема последовательности операций, иллюстрирующая процесс синтеза, выполняемый устройством 283 синтеза, показанным на фиг.18.

На этапе S91, показанном на фиг.19, блок 321 декодирования устройства 283 синтеза декодирует первый частичный кодированный поток, переданный из устройства 12 кодирования, в соответствии со способом, соответствующим способу кодирования, с помощью блока 22 кодирования. Блок 321 декодирования подает двухмерные данные изображения одной точки обзора из первой группы точек обзора, полученной в результате декодирования, в блок 323 обнаружения отклонения синхронизма.

На этапе S92 блок 322 декодирования декодирует второй частичный кодированный поток, переданный из устройства 282 кодирования в соответствии со способом, соответствующим способу кодирования, с помощью блока 292 кодирования. Блок 322 декодирования подает двухмерные данные изображения одной точки обзора из второй группы точек обзора, полученной в результате декодирования, в блок 323 обнаружения отклонения синхронизма.

На этапе S93 блок 323 обнаружения отклонения синхронизма обнаруживает, на основе двухмерных данных изображения, поданных из блока 321 декодирования и блока 322 декодирования, отклонение синхронизма двухмерных данных изображения второй группы точек обзора по отношению к первой группе точек обзора. Блок 323 обнаружения отклонения синхронизма подает информацию отклонения синхронизма группы точек обзора, характеризующую обнаруженное отклонение синхронизма, в блок 324 добавления метаданных.

На этапе S94 блок 324 добавления метаданных размещает информацию отклонения синхронизма группы точек обзора, поданную из блока 323 обнаружения отклонения синхронизма, в виде метаданных во втором частичном кодированном потоке, переданном из устройства 282 кодирования.

На этапе S95 блок 324 добавления метаданных синтезирует первый частичный кодированный поток, переданный из устройства 12 кодирования, и второй частичный кодированный поток включают в себя информацию отклонения синхронизма группы точек обзора. Блок 324 добавления метаданных подает кодированный поток множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, полученному в результате синтеза, в устройство 284 декодирования, и затем обработка заканчивается.

Процесс декодирования, выполняемый устройством 284 декодирования, аналогичен процессу декодирования, показанному на фиг.16, за исключением того, что информация отклонения синхронизма заменена на информацию отклонения синхронизма группы точек обзора, и того, что также трехмерные данные загораживания вырабатываются в процессе на этапе S72, и после процесса на этапе S74 трехмерные данные модифицируются с использованием трехмерных данных загораживания аналогично тому, как на этапе S34, показанном на фиг.9.

Как описано выше, в системе 280 передачи первый частичный кодированный поток, выработанный устройством 12 кодирования, и второй частичный кодированный поток, выработанный устройством 282 кодирования, синтезируются и передаются в устройство 284 декодирования. Соответственно, в некоторых случаях синхронизация между кодированными потоками для первой группы точек обзора и второй группы точек обзора, которые соответствуют способу выработки заданного отображаемого изображения, полученному в результате синтеза, может быть недоступной.

Однако в системе 280 передачи устройство 283 синтеза декодирует первый частичный кодированный поток и второй частичный кодированный поток один раз и обнаруживает отклонение синхронизма между двухмерными данными изображения для первой группы точек обзора и второй группой точки обзора, полученной в результате декодирования. Затем устройство 283 синтеза передает информацию отклонения синхронизма группы точек обзора, характеризующую обнаруженное отклонение синхронизма, вместе с первым частичным кодированным потоком и вторым частичным кодированным потоком. Соответственно, устройство 284 декодирования может синтезировать двухмерные данные изображения и данные изображения глубины первой группы точек обзора и второй группы точек обзора друг с другом на основе информации отклонения синхронизма группы точек обзора. В результате, устройство 284 декодирования может вырабатывать трехмерные данные с высокой точностью, используя двухмерные данные изображения и данные изображения глубины первой группы точек обзора и второй группы точек обзора, которые находятся в синхронизированном состоянии друг с другом.

Четвертый вариант осуществления

Пример конфигурации устройства синтеза в четвертом варианте осуществления системы передачи

Конфигурация четвертого варианта осуществления системы передачи, в которой применяется настоящее изобретение, совпадает с конфигурацией системы 280 передачи, показанной на фиг.17, за исключением того, что устройство 283 синтеза заменено на устройство 340 синтеза, блок 33 преобразования устройства 284 декодирования заменен на блок 380 преобразования, и информация отклонения синхронизма группы точек обзора заменена на информацию преобразования координат. Соответственно, ниже приведено описание только устройства 340 синтеза и блока 380 преобразования.

На фиг.20 показана блок-схема, иллюстрирующая пример конфигурации устройства 340 синтеза.

Одинаковые компоненты, показанные на фиг.20 и на фиг.18, обозначены одинаковыми ссылочными позициями. Дублирующее описание будет опущено соответствующим образом.

Конфигурация устройства 340 синтеза, показанного на фиг.20, отличается от конфигурации устройства 283 синтеза, показанного на фиг.18, тем, что блок 323 обнаружения отклонения синхронизма и блок 324 добавления метаданных заменены на блок 341 выработки данных преобразования координат и блок 342 добавления метаданных, соответственно. Устройство 340 синтеза не обнаруживает отклонения синхронизма двухмерных данных изображения других точек обзора, но вырабатывает данные преобразования координат для преобразования первой трехмерной системы координат, которая представляет собой трехмерную систему координат первой группы точек обзора, во вторую трехмерную систему координат, которая представляет собой трехмерную систему координат второй группы точек обзора.

В частности, блок 341 выработки данных преобразования координат из устройства 340 синтеза определяет, на основе двухмерных данных изображения первой группы точек обзора, выработанной путем декодирования блоком 322 декодирования, двухмерное положение характерной точки для каждой точки обзора первой группы точек обзора.

Кроме того, блок 341 выработки данных преобразования координат определяет, на основе параметра камеры, двухмерные данные изображения и данные изображения глубины, включенные в информацию, относящуюся к камере, второй группы точек обзора, выработанную путем декодирования, выполняемого блоком 321 декодирования, трехмерного положения характерной точки во второй трехмерной системе координат в соответствии с выражением (1), приведенным выше.

Блок 341 выработки данных преобразования координат вырабатывает, для каждой точки обзора первой группы точек обзора, данные преобразования координат на основе двухмерного положения и трехмерного положения во второй трехмерной системе координат характерной точки. Блок 341 выработки данных преобразования координат подает информацию преобразования координат, включающую в себя данные преобразования координат точек обзора первой группы точек обзора, в блок 342 добавления метаданных.

Блок 342 добавления метаданных размещает информацию преобразования координат, поданную из блока 341 выработки данных преобразования координат, в виде метаданных в первом частичном кодированном потоке, переданном в него из устройства 12 кодирования. Кроме того, блок 342 добавления метаданных синтезирует первый частичный кодированный поток, в котором размещена информация преобразования координат в виде метаданных, и второй частичный кодированный поток, переданный в него из устройства 282 кодирования. Блок 342 добавления метаданных (блок передачи) передает кодированный поток множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, полученному в результате синтеза, в устройство 284 декодирования.

Описание процесса выработки данных преобразования координат

На фиг.21 показан вид, иллюстрирующий процесс выработки данных преобразования координат блоком 341 выработки данных преобразования координат, показанным на фиг.20.

В примере, показанном на фиг.21, первая трехмерная система координат представляет собой систему координат, которая включает в себя оси xA-zA, которые пересекаются перпендикулярно друг другу как оси координат, и вторая трехмерная система координат представляет собой систему координат, которая включает в себя оси xB-ZB, которые пересекаются перпендикулярно друг другу как оси координат, и отличается от первой трехмерной системы координат.

Двухмерное положение PA на изображении, которое захватывается виртуальной камерой 361 одной точки обзора в первой группе точек обзора, характерной точки, чье трехмерное положение в первой трехмерной системе координат представляет собой P1, представлено следующим выражением (3).

Математическое выражение 3

R_camA|t_camA – параметры камеры виртуальной камеры 361 в первой трехмерной системе координат из метаданных первого частичного кодированного потока.

Между тем двухмерное положение P_B на изображении, которое захватывается виртуальной камерой 361, характерной точки, чье трехмерное положение в первой трехмерной системе координат представляет собой P₁, и чье трехмерное положение во второй трехмерной системе координат представляет собой P₁', представлено следующим выражением (4).

Математическое выражение 4

R_camB|t_camB – параметры камеры виртуальной камеры 361 во второй трехмерной системе координат.

Преобразуя выражение (4), трехмерное положение P₁' можно представить с помощью следующего выражения (5).

Математическое выражение 5

Так как двухмерное положение P_A и двухмерное положение P_B являются одинаковыми, подставляя правую часть выражения (3) в двухмерное положение P_B выражения (5), приведенного выше, можно получить следующее выражение (6).

Математическое выражение 6

Выражение (6) является выражением для преобразования трехмерного положения P₁ в первой трехмерной системе координат в трехмерное положение P₁' во второй трехмерной системе координат. Соответственно, блок 341 выработки данных преобразования координат определяет параметры R_con|t_con, представленные тем же способом представления, что и внешний параметр камеры в выражении (6), в качестве данных преобразования координат.

В частности, блок 341 выработки данных преобразования координат определяет, на основе параметра камеры, двухмерных данных изображения и данных изображения глубины второй группы точек обзора, трехмерное положение характерной точки во второй трехмерной системе координат в соответствии с выражением (1), приведенным выше. Кроме того, блок 341 выработки данных преобразования координат определяет, на основе двухмерных данных изображения первой группы точек обзора, двухмерное положение характерной точки для каждой точки обзора первой группы точек обзора.

Затем блок 341 выработки данных преобразования координат подставляет, для каждой точки обзора первой группы точек обзора, трехмерное положение характерной точки во второй трехмерной системе координат в P₁' и определяет внешние параметры R_camB|t_camB виртуальной камеры 361 во второй трехмерной системе координат в соответствии с выражением (4), в котором двухмерное положение подставлено в P_A.

Процесс, описанный выше, называется калибровкой в реальном времени. Подробности калибровки в реальном времени описаны, например, в работе Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Technical Report MSR-TR-98-71, Microsoft Corporation, December 2, 1998 и т.д.

Блок 341 выработки данных преобразования координат определяет данные преобразования координат в соответствии с выражением (6), приведенным выше для каждой точки обзора первой группы точек обзора, используя внешние параметры R_camB|t_camB и внешние параметры R_camB|t_camB.

Пример информации преобразования координат

На фиг.22 показан вид, иллюстрирующий пример информации преобразования координат.

В примере, показанном на фиг.22, ID камеры точек обзора первой группы точек обзора равны 0-3.

Как показано на фиг.22, информация преобразования координат конфигурирована путем ассоциирования, с ID камеры каждой точки обзора первой группы точек обзора, isCorrectionFlag точки обзора и данных преобразования координат.

isCorrectionFlag – флаг, указывающий на то, отличается или нет первая трехмерная система координат, которая является трехмерной системой координат соответствующей точки обзора, от второй трехмерной системы координат, которая становится базисом. isCorrectionFlag равняется 1 в случае, когда указано, что первая трехмерная система координат, которая является трехмерной системой координат соответствующей точки обзора, отличается от второй трехмерной системы координат, которая становится базисом, и равняется 0 в случае, когда указано, что первая трехмерная система координат не отличается.

В четвертом варианте осуществления, так как первая трехмерная система координат и вторая трехмерная система координат отличаются друг от друга, все isCorrectionFlags равняются 1. Кроме того, на фиг.22 данные преобразования координат точки обзора, чей ID камеры равен i, представлены в виде R|t(i).

Следует отметить, что информация преобразования координат может включать в себя общий флаг преобразования координат, указывающий на то, являются или нет данные преобразования координат всех точек обзора первой группы точек обзора одинаковыми. В этом случае, когда данные преобразования координат всех точек обзора первой группы точек обзора являются одинаковыми, информация преобразования координат включает в себя общий флаг преобразования координат (общую информацию преобразования координат), указывающий на то, что данные преобразования координат всех точек обзора первой группы точек обзора являются одинаковыми, и данные преобразования координат являются общими для всех точек обзора первой группы точек обзора. Общий флаг преобразования координат равен 1, например, в случае, когда данные преобразования координат всех точек обзора первой группы точек обзора являются одинаковыми, и равен 0 в случае, когда они являются различными.

Описание процесса, выполняемого устройством синтеза

На фиг.23 показана блок-схема последовательности операций, иллюстрирующая процесс синтеза, выполняемый устройством 340 синтеза, показанным на фиг.20.

Процессы, выполняемые на этапах S111 и S112, показанных на фиг.23, аналогичны процессам, выполняемым на этапах S91 и S92, показанных на фиг.19, соответственно, и поэтому их описание будет опущено.

На этапе S113 блок 341 выработки данных преобразования координат устройства 340 синтеза вырабатывает данные преобразования координат для каждой точки обзора первой группы точек обзора на основе параметра камеры, двухмерных данных изображения и данных изображения глубины второй группы точек обзора и двухмерных данных изображения первой группы точек обзора. Блок 341 выработки данных преобразования координат подает информацию преобразования координат, включающую в себя данные преобразования координат точек обзора первой группы точек обзора, в блок 342 добавления метаданных.

На этапе S114 блок 342 добавления метаданных размещает информацию преобразования координат, поданную из блока 341 выработки данных преобразования координат, в виде метаданных в первом частичном кодированном потоке, переданном из устройства 12 кодирования.

На этапе S115 блок 342 добавления метаданных синтезирует первый частичный кодированный поток, включающий в себя информацию преобразования координат и второй частичный кодированный поток, переданный из устройства 282 кодирования. Блок 342 добавления метаданных передает кодированный поток множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, полученному в результате синтеза, в устройство 284 декодирования. Затем обработка заканчивается.

Пример конфигурации блока преобразования

На фиг.24 показана блок-схема, иллюстрирующая пример конфигурации блока 380 преобразования в случае, когда способ выработки отображаемого изображения устройства 284 декодирования представляет собой способ выработки отображаемого изображения свободной точки обзора.

Одинаковые компоненты, показанные на фиг.24 и на фиг.8, обозначены одинаковыми ссылочными позициями. Дублирующее описание будет опущено соответствующим образом.

Конфигурация блока 380 преобразования, показанного на фиг.24, отличается от конфигурации блока 33 преобразования, показанного на фиг.8, тем, что блок 151 выработки трехмерных данных заменен на блок 381 выработки трехмерных данных.

Блок 381 выработки трехмерных данных включает в себя блок 391 преобразования трехмерного положения, блок 392 преобразования трехмерного положения, блок 393 преобразования координат и блок 394 выработки данных.

Блок 391 преобразования трехмерного положения (первый блок преобразования трехмерного положения) блока 381 выработки трехмерных данных преобразует, на основе параметра камеры из метаданных, двухмерных данных изображения и данных изображения глубины первой группы точек обзора, поданных из блока 301 декодирования, двухмерное положение каждого пикселя двухмерных данных изображения первой точки обзора в трехмерное положение в первой трехмерной системе координат в соответствии с выражением (1), приведенным выше. Блок 391 преобразования трехмерного положения подает трехмерное положение каждого пикселя двухмерных данных изображения первой группы точек обзора в первой трехмерной системе координат и двухмерные данные изображения первой группы точек обзора в блок 393 преобразования координат.

Блок 392 преобразования трехмерного положения (второй блок преобразования трехмерного положения) преобразует, на основе параметра камеры из метаданных, двухмерных данных изображения и данных изображения глубины второй группы точек обзора, поданных из блока 301 декодирования, двухмерное положение каждого пикселя двухмерных данных изображения второй группы точек обзора в трехмерное положение во второй трехмерной системе координат в соответствии с выражением (1), приведенным выше. Блок 392 преобразования трехмерного положения подает трехмерное положение каждого пикселя двухмерных данных изображения второй группы точек обзора во второй трехмерной системе координат и двухмерные данные изображения второй группы точек обзора в блок 394 выработки данных.

Блок 393 преобразования координат преобразует, на основе информации преобразования координат из метаданных, поданных из блока 301 декодирования, трехмерное положение каждого пикселя двухмерных данных изображения первой группы точек обзора, поданной из блока 391 преобразования трехмерного положения, в первой трехмерной системе координат в трехмерное положение во второй трехмерной системе координат. Блок 393 преобразования координат подает трехмерное положение каждого пикселя двухмерных данных изображения первой группы точек обзора во второй трехмерной системе координат и двухмерные данные изображения первой группы точек обзора в блок 394 выработки данных.

Блок 394 выработки данных вырабатывает, на основе трехмерного положения каждого пикселя двухмерных данных изображения первой группы точек обзора и второй группы точек обзора во второй трехмерной системе координат, трехмерные данные объекта захвата изображения из двухмерных данных изображения первой группы точек обзора и второй группы точек обзора.

Блок 394 выработки данных модифицирует выработанные трехмерные данные, используя трехмерные данные загораживания из метаданных, поданных из блока 301 декодирования, и подает модифицированные трехмерные данные в блок 152 определения положения объекта захвата изображения и блок 154 выработки двухмерных данных.

Описание процесса, выполняемого устройством декодирования

На фиг.25 показана блок-схема последовательности операций, иллюстрирующая процесс декодирования, выполняемый устройством 284 декодирования в четвертом варианте осуществления. Этот процесс декодирования начинается, например, когда кодированный поток передается из устройства 340 синтеза в устройство 284 декодирования.

На этапе S131, показанном на фиг.25, блок 31 приема из устройства 284 декодирования принимает кодированный поток, переданный из устройства 283 синтеза.

На этапе S132 блок 301 декодирования декодирует принятый кодированный поток в соответствии со способом, соответствующим способу кодирования, который выполняет блок 22 кодирования и блок 292 кодирования. Блок 301 декодирования подает двухмерные данные изображения, данные изображения глубины и метаданные первой группы точек обзора и второй группы точек обзора, полученные в результате декодирования, в блок 380 преобразования (фиг.24).

На этапе S133 блок 391 преобразования трехмерного положения из блока 380 преобразования определяет, на основе параметра камеры из метаданных, двухмерных данных изображения и данных изображения глубины первой группы точек обзора, трехмерное положение каждого пикселя двухмерных данных изображения первой группы точек обзора в первой трехмерной системе координат. Блок 391 преобразования трехмерного положения подает трехмерное положение каждого пикселя двухмерных данных изображения первой группы точек обзора в первой трехмерной системе координат и двухмерные данные изображения в блок 393 преобразования координат.

На этапе S134 блок 392 преобразования трехмерного положения определяет, на основе параметра камеры из метаданных, двухмерных данных изображения и данных изображения глубины второй группы точек обзора, трехмерное положение каждого пикселя двухмерных данных изображения второй точки обзора во второй трехмерной системе координат. Блок 392 преобразования трехмерного положения подает трехмерное положение каждого пикселя двухмерных данных изображения второй группы точек обзора во второй трехмерной системе координат и двухмерные данные изображения в блок 394 выработки данных.

На этапе S135 блок 393 преобразования координат преобразует, на основе информации преобразования координат из метаданных, поданных из блока 301 декодирования, трехмерные положения в первой трехмерной системе координат, поданные от трехмерной блока 391 преобразования положения, в трехмерные положения во второй трехмерной системе координат. Блок 393 преобразования координат подает трехмерное положение каждого пикселя двухмерных данных изображения первой группы точек обзора во второй трехмерной системе координат и двухмерные данные изображения в блок 394 выработки данных.

На этапе S136 блок 394 выработки данных вырабатывает трехмерные данные объекта захвата изображения из двухмерных данных изображения первой группы точек обзора и второй группы точек обзора на основе трехмерного положения каждого пикселя двухмерных данных изображения первой группы точек обзора и второй группы точек обзора во второй трехмерной системе координат.

Процессы, выполняемые на этапах S137-S142, аналогичны процессам, выполняемым на этапах S34-S39, показанных на фиг.9, соответственно, и поэтому их описание будет опущено.

Следует отметить, что устройство 283 синтеза может не размещать информацию преобразования координат в первом частичном кодированном потоке, но может заменять внешние параметры R_camA|t_camA каждой точки обзора первой группы точек обзора в первой трехмерной системе координат, которая должна быть размещена в первом частичном кодированном потоке, на внешние параметры R_camB|t_camB каждой точки обзора во второй трехмерной системе координат. В этом случае блок 393 преобразования координат не предусмотрен в блоке 381 выработки трехмерных данных, но блок 391 преобразования трехмерного положения непосредственно определяет трехмерное положение во второй трехмерной системе координат, используя внешние параметры R_camB|t_camB вместо внешних параметров R_camA|t_camA.

В случае, когда данные преобразования координат всех точек обзора первой группы точек обзора отличаются друг от друга, предпочтительно заменить внешние параметры R_camA|t_camA на внешние параметры R_camB|t_camB. В случае, когда информация преобразования координат размещается в первом частичном кодированном потоке, так как нет необходимости модифицировать первоначальный первый частичный кодированный поток, обработка облегчается по сравнению с обработкой в альтернативном случае, в котором заменяются внешние параметры.

Кроме того, данные преобразования координат точек обзора первой группы точек обзора представляют собой одно и то же, если масштабы двухмерных данных изображения точек обзора (расстояния между точкой обзора и плоскостью захвата изображения в направлении глубины) являются одинаковыми. Соответственно, в этом случае блок 341 выработки данных преобразования координат может вырабатывать только данные преобразования координат одной точки обзора первой группы точек обзора в качестве данных преобразования координат, общих для точек обзора первой группы точек обзора.

Как описано выше, в четвертом варианте осуществления первый частичный кодированный поток, выработанный устройством 12 кодирования, и второй частичный кодированный поток, выработанный устройством 282 кодирования, синтезируются и передаются в устройство 284 декодирования. Соответственно, трехмерные системы координат кодированных потоков множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, полученному в результате синтеза, могут быть неодинаковыми.

Однако в четвертом варианте осуществления устройство 340 синтеза декодирует первый частичный кодированный поток и второй частичный кодированный поток один раз и вырабатывает данные преобразования координат на основе результата декодирования. Затем устройство 340 синтеза передает информацию преобразования координат, в том числе выработанные данные преобразования координат, вместе с первым частичным кодированным потоком и вторым частичным кодированным потоком. Соответственно, блок 380 преобразования может преобразовать, на основе информации преобразования координат, трехмерное положение каждого пикселя двухмерных данных изображения первой группы точек обзора в первой трехмерной системе координат в трехмерное положение во второй трехмерной системе координат. В результате, блок 380 преобразования может вырабатывать трехмерные данные с высокой точностью из двухмерных данных изображения на основе трехмерного положения каждого пикселя двухмерных данных изображения первой группы точек обзора и второй группы точек обзора в одной и той же первой трехмерной системе координат.

Во втором – четвертом вариантах осуществления в случае, когда точки обзора, соответствующие способу выработки заданного отображаемого изображения двухмерных данных изображения и данных изображения глубины, отличаются друг от друга, обнаружение отклонения синхронизма отдельных точек обзора или выработка данных преобразования координат выполняется на основе двухмерных данных изображения и данных изображения глубины.

Пятый вариант осуществления

Пример конфигурации устройства синтеза в пятом варианте осуществления системы передачи

Конфигурация пятого варианта осуществления системы передачи, в которой применяется настоящее изобретение, совпадает с конфигурацией системы 280 передачи, показанной на фиг.17, за исключением того, что устройство 283 синтеза заменено на устройство 400 синтеза, блок 33 преобразования устройства 284 декодирования заменен на блок 420 преобразования, и информация отклонения синхронизма группы точек обзора заменена на информацию коррекции цветового сдвига. Соответственно, ниже приведено описание только устройства 400 синтеза и блока 420 преобразования.

На фиг.26 показана блок-схема, иллюстрирующая пример конфигурации устройства 400 синтеза.

Одинаковые компоненты, показанные на фиг.26 и на фиг.18, обозначены одинаковыми ссылочными позициями. Дублирующее описание будет опущено соответствующим образом.

Конфигурация устройства 400 синтеза, показанного на фиг.26, отличается от конфигурации устройства 283 синтеза, показанного на фиг.18, на которой блок 323 обнаружения отклонения синхронизма и блок 324 добавления метаданных заменены на блок 401 выработки данных коррекции цветового сдвига и блок 402 добавления метаданных, соответственно. Устройство 400 синтеза не обнаруживает отклонение синхронизма двухмерных данных изображения каждой точки обзора, но вырабатывает данные коррекции цветового сдвига для коррекции цветового сдвига двухмерных данных изображения каждой точки обзора.

В частности, блок 401 выработки данных коррекции цветового сдвига из устройства 400 синтеза определяют одну из точек обзора первой группы точек обзора и второй группы точек обзора в качестве основной точки обзора и определяет другие точки обзора в качестве опорных точек обзора. Блок 401 выработки данных коррекции цветового сдвига вырабатывает, для каждой опорной точки обзора, данные коррекции цветового сдвига для коррекции цветового сдвига двухмерных данных изображения опорной точки обзора по отношению к основной точке обзора на основе двухмерных данных изображения основной точки обзора и опорной точки обзора, выработанных путем декодирования блоком 321 декодирования или блоком 322 декодирования.

В частности, значения RGB (R', G', B'), полученные при выполнении обратной гамма-коррекции для значений RGB (R, G, B) характерной точки из двухмерных данных изображения опорной точки обзора, представлены следующим выражением (7).

Математическое выражение 7

γR, γG и γB являются гамма-значениями R, G и B, соответственно.

Между тем выражение для преобразования значений RGB (R', G', B') в значение RGB (R", G", B"), полученное при выполнении обратной гамма-коррекции для значений RGB (R_c, G_c, B_c) характерной точки, в которой значения RGB опорной точки обзора равны (R, G, B) из двухмерных данных изображения основной точки обзора, представлено с помощью следующего выражения (8).

Математическое выражение 8

a₁₁ to a₁₃, a₂₁ to a₂₃ и a₃₁-a₃₃ представляют собой коэффициенты.

Кроме того, так как значения RGB (R_c, G_c, B_c) являются значениями, полученными при выполнении гамма-коррекции для значений RGB (R", G", B"), они представлены следующим выражением (9).

Математическое выражение 9

С учетом вышеизложенного, блок 401 выработки данных коррекции цветового сдвига извлекает значение RGB (R, G, B) характерной точки из двухмерных данных изображения опорной точки обзора и извлекает значения RGB (R_c, G_c, B_c) характерной точки из двухмерных данных изображения основной точки обзора. Затем блок 401 выработки данных коррекции цветового сдвига вырабатывает, на основе извлеченного значения RGB (R, G, B) и значений RGB (R_c, G_c, B_c), значения гамма γR, γG, γB и коэффициенты a₁₁-a₁₃, a₂₁-a₂₃ и a₃₁-a₃₃, которые требуются тогда, когда значения RGB (R, G, B) необходимо преобразовать в значения RGB (R_c, G_c, B_c) в виде данных коррекции цветового сдвига.

Кроме того, блок 401 выработки данных коррекции цветового сдвига вырабатывает данные коррекции цветового сдвига, с помощью которых значения RGB (R, G, B) и значения RGB (R_c, G_c, B_c) становятся равными друг другу, в виде данных коррекции цветового сдвига для основной точки обзора. Блок 401 выработки данных коррекции цветового сдвига подает информацию коррекции цветового сдвига, включающую в себя выработанные данные коррекции цветового сдвига каждой точки обзора, в блок 402 добавления метаданных.

Блок 402 добавления метаданных размещает информацию коррекции цветового сдвига для первой группы точек обзора из информации коррекции цветового сдвига, поданной из блока 401 выработки данных коррекции цветового сдвига, в виде метаданных в первом частичном кодированном потоке, переданном в него из устройства 12 кодирования. Кроме того, блок 402 добавления метаданных размещает информацию коррекции цветового сдвига второй группы точек обзора из информации коррекции цветового сдвига, поданной в него из блока 401 выработки данных коррекции цветового сдвига, в виде метаданных во втором частичном кодированном потоке, переданном в него из устройства 282 кодирования.

Блок 402 добавления метаданных синтезирует первый частичный кодированный поток и второй частичный кодированный поток, в каждом из которых информация коррекции цветового сдвига размещается в виде метаданных. Блок 402 добавления метаданных (блок передачи) передает кодированный поток множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, полученному в результате синтеза, в устройство 284 декодирования.

Пример информации коррекции цветового сдвига

На фиг.27 показан вид, иллюстрирующий пример информации коррекции цветового сдвига.

В примере, показанном на фиг.27, число из множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, равняется 9.

Как показано на фиг.27, информация коррекции цветового сдвига конфигурируется путем ассоциирования каждого ID камеры всех точек обзора, соответствующих способу выработки заданного отображаемого изображения с параметром isCorrectionFlag и данными коррекции цветового сдвига точки обзора.

isCorrectionFlag – флаг, указывающий на то, происходит ли цветовой сдвиг между соответствующей точкой обзора и основной точкой обзора. isCorrectionFlag равняется 1 в случае, когда указано, что цветовой сдвиг происходит между соответствующей точкой обзора и основной точкой обзора, и равняется 0 в случае, когда указано, что цветовой сдвиг не происходит.

В примере, показанном на фиг.27, точка обзора, чей ID камеры равен 0, является основной точкой обзора, и цветовой сдвиг не происходит между опорными точками обзора, чьи ID камеры принимают значения 1, 2, 4 и 6-9, и основной точкой обзора. Соответственно, параметр isCorrectionFlag, соответствующий ID камер, которые принимают значения 0-2, 4 и 6-9, равняется 0, и данные коррекции цветового сдвига не описываются идентификаторами ID камер соответствующим образом.

Между тем, в примере, показанном на фиг.27, цветовой сдвиг происходит между опорными точками обзора, чьи ID камер принимают значения 3 и 5, и основной точкой обзора. Соответственно, параметр isCorrectionFlag, соответствующий ID камер, которые принимают значения 3 и 5, равняется 1, и данные коррекции цветового сдвига описываются в соответствии с ID камер. На фиг.27 данные коррекции цветового сдвига для каждой точки обзора, чей ID камеры представляет собой i, описаны как P(i).

Следует отметить, что информация коррекции цветового сдвига может включать в себя общий флаг цветового сдвига, указывающий на то, являются или нет данные коррекции цветового сдвига одинаковыми между собой для всех точек обзора, у которых происходит цветовой сдвиг. В этом случае, когда данные коррекции цветового сдвига всех точек обзора, у которых происходит цветовой сдвиг, являются одинаковыми между собой, информация коррекции цветового сдвига включает в себя общий флаг цветового сдвига (общую информацию цветового сдвига), указывающий, что данные коррекции цветового сдвига всех точек обзора, у которых происходит цветовой сдвиг, являются одинаковыми между собой, и данные коррекции цветового сдвига являются общими для всех точек обзора, у которых происходит цветовой сдвиг. Общий флаг цветового сдвига равен 1, например, в случае, когда данные коррекции цветового сдвига всех точек обзора, у которых происходит цветовой сдвиг, являются одинаковыми между собой, и равен 0 в случае, когда данные коррекции цветового сдвига являются различными.

Описание процесса, выполняемого устройством синтеза

На фиг.28 показана блок-схема последовательности операций, иллюстрирующая процесс синтеза, выполняемый устройством 400 синтеза, показанным на фиг.26.

Процессы, выполняемые на этапах S161 и S162, которые показаны на фиг.28, аналогичны процессам, выполняемым на этапах S91 и S92, которые показаны на фиг.19, соответственно, и поэтому их описание будет опущено.

На этапе S163 блок 401 выработки данных коррекции цветового сдвига устройства 400 синтеза вырабатывает, для каждой опорной точки обзора, данные коррекции цветового сдвига для опорной точки обзора на основе двухмерных данных изображения основной точки обзора и опорной точки обзора, выработанных путем декодирования, выполняемого блоком 321 декодирования или блоком 322 декодирования. Кроме того, блок 401 выработки данных коррекции цветового сдвига вырабатывает данные коррекции цветового сдвига, с помощью которых значения RGB (R, G, B) и значения RGB (R_c, G_c, B_c) становятся равными друг другу, в виде данных коррекции цветового сдвига для основной точки обзора. Блок 401 выработки данных коррекции цветового сдвига подает информацию коррекции цветового сдвига, включающую в себя выработанные данные коррекции цветового сдвига для точек обзора, в блок 402 добавления метаданных.

На этапе S164 блок 402 добавления метаданных размещает информацию коррекции цветового сдвига для первой группы точек обзора из информации коррекции цветового сдвига, поданной из блока 401 выработки данных коррекции цветового сдвига, в виде метаданных в первом частичном кодированном потоке, переданном из устройства 12 кодирования.

На этапе S165 блок 402 добавления метаданных размещает информацию коррекции цветового сдвига для второй группы точек обзора из информации коррекции цветового сдвига, поданной из блока 401 выработки данных коррекции цветового сдвига, в виде метаданных во втором частичном кодированном потоке, переданном из устройства 282 кодирования.

На этапе S166 блок 402 добавления метаданных синтезирует первый частичный кодированный поток и второй частичный кодированный поток, в каждом из которых информация коррекции цветового сдвига размещается в виде метаданных. Блок 402 добавления метаданных передает кодированный поток множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, полученному в результате синтеза, в устройство 284 декодирования.

Пример конфигурации блока преобразования

На фиг.29 показана блок-схема, иллюстрирующая пример конфигурации блока 420 преобразования.

Одинаковые компоненты, показанные на фиг.29 и на фиг.8, обозначены одинаковыми ссылочными позициями. Дублирующее описание будет опущено соответствующим образом.

Конфигурация блока 420 преобразования, показанного на фиг.29, отличается от конфигурации блока 33 преобразования, показанного на фиг.8, тем, что блок 421 коррекции цвета выполнен заново.

Блок 421 коррекции цвета из блока 420 преобразования выполняет, на основе информации коррекции цветового сдвига, полученной в результате декодирования блоком 301 декодирования, коррекцию цвета двухмерных данных изображения первой группы точек обзора и второй группы точек обзора в соответствии с приведенными выше выражениями (7)-(9). Следовательно, зависимость между цветом и значениями RGB становится одинаковой среди двухмерных данных изображения всех точек обзора. Блок 421 коррекции цвета подает двухмерные данные изображения первой группы точек обзора и второй группы точек обзора после коррекции цвета и данные изображения глубины первой группы точек обзора и второй группы точек обзора, полученные в результате декодирования блоком 301 декодирования, в блок 151 выработки трехмерных данных.

Процесс декодирования, выполняемый устройством 284 декодирования в пятом варианте осуществления, аналогичен процессу декодирования, показанному на фиг.9, за исключением того, что коррекция цвета блоком 421 коррекции цвета выполняется между этапом S32 и этапом S33.

Как описано выше, в пятом варианте осуществления первый частичный кодированный поток и второй частичный кодированный поток, которые вырабатываются с использованием двухмерных данных изображения, захваченных различными камерами, синтезируются и передаются в устройство 284 декодирования. Соответственно, в некоторых случаях цветовой сдвиг может возникать в кодированном потоке множества точек обзора, соответствующих способу выработки заданного отображаемого изображения, полученному в результате синтеза.

Однако в пятом варианте осуществления устройство 340 синтеза декодирует первый частичный кодированный поток и второй частичный кодированный поток один раз и вырабатывает данные коррекции цветового сдвига для двухмерных данных изображения отдельных точек обзора, полученных в результате декодирования. Затем устройство 340 синтеза передает информацию коррекции цветового сдвига выработанных данных коррекции цветового сдвига вместе с первым частичным кодированным потоком и вторым частичным кодированным потоком. Соответственно, блок 420 преобразования может выполнить коррекцию цветового сдвига двухмерных данных изображения каждой точки обзора первой группы точек обзора и второй группы точек обзора на основе данных коррекции цветового сдвига. В результате, блок 420 преобразования позволяет повысить точность двухмерных данных изображения в трехмерных данных путем выработки трехмерных данных, используя двухмерные данные изображения и данные изображения глубины первой группы точек обзора и второй группы точек обзора, у которых скорректирован цветовой сдвиг.

Кроме того, в пятом варианте осуществления, так как устройство 400 синтеза передает информацию коррекции цветового сдвига, необходимо только разместить информацию коррекции цветового сдвига в качестве метаданных в первом частичном кодированном потоке и втором частичном кодированном потоке. Соответственно, объем обработки, выполняемой устройством 400 синтеза, можно уменьшить по сравнению с альтернативным случаем, в котором первый частичный кодированный поток и второй частичный кодированный поток декодируются и затем повторно кодируются после коррекции цветового сдвига.

Следует отметить, что в пятом варианте осуществления информацию коррекции затемнения по периметру, включающую в себя коэффициент усиления для коррекции затемнения периферии по отношению к центральному участку двухмерных данных изображения для каждой точки обзора или каждой группы точек обзора, можно разместить в виде метаданных в первом частичном кодированном потоке и втором частичном кодированном потоке. В качестве альтернативы, информацию Exif (сменный формат файла изображения) для каждой точки обзора или для каждой группы точек обзора можно разместить в виде метаданных.

Шестой вариант осуществления

Описание компьютера, в котором применяется настоящее раскрытие

Хотя ряд процессов, описанных выше, можно выполнить с помощью аппаратных средств, в иных случаях ряд процессов можно выполнить с помощью программного обеспечения. В случае, когда ряд процессов выполняется с помощью программного обеспечения, программа, которая составляет программное обеспечение, устанавливается на компьютере. В данном случае, в компьютер включены компьютер, входящий в состав аппаратных средств для исключительного использования, персональный компьютер, например, для универсального использования, который может выполнять различные функции путем установки различных программ и т.д.

На фиг.30 показана блок-схема, иллюстрирующая пример аппаратной конфигурации компьютера, который исполняет ряд процессов, описанных выше, с помощью программы.

В компьютере 600 центральный процессор (CPU) 601, постоянное запоминающее устройство (ROM) 602 и оперативное запоминающее устройство (RAM) 603 соединены друг с другом через шину 604.

К шине 604 дополнительно подключен интерфейс 605 ввода/вывода. К интерфейсу 605 ввода/вывода подключены блок 606 ввода, блок 607 вывода, блок 608 хранения данных, блок 609 связи и дисковод 610.

Блок 606 ввода включает в себя, например, клавиатуру, мышь, микрофон и т.д. Блок 607 вывода включает в себя, например, дисплей, динамик и т.д. Блок 608 хранения данных включает в себя жесткий диск, энергонезависимую память или т.п. Блок 609 связи включает в себя сетевой интерфейс или т.п. Дисковод 610 приводит в действие съемный носитель 611, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковая память.

В компьютере 600, сконфигурированном таким образом, как описано выше, CPU 601 загружает программу, хранящуюся, например, в блоке 608 хранения данных, в RAM 603 через интерфейс 605 ввода/вывода и шину 604 и исполняет программу, чтобы выполнить ряд процессов, описанных выше.

Программа, исполняемая компьютером 600 (CPU 601), может быть записана и предоставлена, например, на съемном носителе 611 в качестве носителя пакета программ. Кроме того, программа может быть предоставлена через проводную или беспроводную среду передачи, такую как локальная сеть, Интернет или цифровое спутниковое широковещание.

В компьютере 600 программа может быть установлена в блок 608 хранения данных через интерфейс 605 ввода/вывода путем загрузки съемного носителя 611 в дисковод 610. Кроме того, программа может быть принята через проводную или беспроводную среду передачи с помощью блока 609 связи и установлена в блок 608 хранения данных. В качестве альтернативы, программа может быть установлена заранее в ROM 602 или блок 608 хранения данных.

Следует отметить, что программа, исполняемая компьютером 600, может быть программой, с помощью которой выполняются процессы во временной последовательности в соответствии с порядком, описанным в настоящем описании, или может быть программой, с помощью которой процессы выполняются параллельно или при необходимости с временной синхронизацией, например, при вызове программы или т.п.

Кроме того, в настоящем описании термин "система" означает агрегацию множества составляющих элементов (устройств, модулей (частей) и т.д), и не имеет никакого значения, размещены или нет все составляющие элементы в одном корпусе. Соответственно, множество устройств, размещенных в отдельных корпусах и соединенных друг с другом через сеть, представляет собой систему, и одно устройство, которое включает в себя множество модулей, размещенных в одном корпусе, также является системой.

Следует отметить, что эффекты, описанные в настоящем описании, являются примерными до конца и не являются ограничительными, и могут быть задействованы другие эффекты.

Кроме того, вариант осуществления настоящего раскрытия не ограничивается вариантами осуществления, описанными выше, но может быть изменен различными способами без отклонения от предмета настоящего раскрытия.

Настоящее раскрытие может иметь также следующую конфигурацию.

(1) Устройство кодирования, включающее в себя:

блок выработки двухмерных данных, который вырабатывает, из трехмерных данных объекта захвата изображения, выработанных из двухмерных данных изображения множество первых точек обзора, двухмерные данные изображения множества вторых точек обзора, соответствующие способу выработки заданного отображаемого изображения, и данные изображения глубины, указывающие на положение каждого пикселя в направлении глубины объекта захвата изображения по отношению к третьей точке обзора;

блок кодирования, который кодирует двухмерные данные изображения множества вторых точек обзора и данные изображения глубины, выработанные двухмерным блоком выработки данных; и

блок передачи, который передает двухмерные данные изображения множества вторых точек обзора и данные изображения глубины, кодированные блоком кодирования.

(2) Устройство кодирования по п.(1), в котором

множество первых точек обзора и множество вторых точек обзора отличаются друг от друга.

(3) Устройство кодирования по п.(1) или п.(2), в котором

множество вторых точек обзора находятся на равном расстоянии друг от друга в одном и том же круге.

(4) Устройство кодирования по п.(1) или п.(2), в котором

по меньшей мере две точки обзора из множества вторых точек обзора лежат на одной прямой по существу в горизонтальном направлении.

(5) Устройство кодирования по п.(4), в котором

блок передачи передает информацию, которая точно определяет две точки обзора, лежащие на одной прямой в горизонтальном направлении, из множества вторых точек обзора.

(6) Устройство кодирования по любому пп.(1)-(5), в котором

блок передачи передает трехмерные данные в области загораживания из двухмерных данных изображения множества вторых точек обзора.

(7) Устройство кодирования по любому пп.(1)-(6), в котором

блок выработки двухмерных данных вырабатывает двухмерные данные изображения множества вторых точек обзора из трехмерных данных на основе параметра камеры множества вторых точек обзора и вырабатывает данные изображения глубины на основе параметра камеры третьей точки обзора; и

блок передачи передает параметры камеры множества вторых точек обзора и третьей точки обзора.

(8) Устройство кодирования по любому пп.(1)-(7), в котором

количество способов выработки заданных отображаемых изображений является многочисленным.

(9) Устройство кодирования по любому пп.(1)-(8), в котором

множество вторых точек обзора и третья точка обзора представляют собой одно и то же.

(10) Способ кодирования устройством кодирования, причем способ кодирования включает в себя:

этап выработки двухмерных данных для выработки, из трехмерных данных объекта захвата изображения, выработанных из двухмерных данных изображения множества первых точек обзора, двухмерных данных изображения множества вторых точек обзора, соответствующих способу выработки заданного отображаемого изображения, и данных изображения глубины, указывающих на положение каждого пикселя в направлении глубины объекта захвата изображения по отношению к третьей точке обзора;

этап кодирования для кодирования двухмерных данных изображения множества вторых точек обзора и данных изображения глубины, выработанных в ходе процесса, выполняемого на этапе выработки двухмерных данных; и

этап передачи для передачи двухмерных данных изображения множества вторых точек обзора и данных изображения глубины, кодированных в ходе процесса, выполняемого на этапе кодирования.

(11) Устройство декодирования, включающее в себя:

блок декодирования, который декодирует кодированные данные двухмерных данных изображения из множества первых точек обзора, соответствующих способу выработки заданного отображаемого изображения, и кодированные данные из данных изображения глубины, указывающие на положение каждого пикселя в направлении глубины объекта захвата изображения по отношению ко второй точке обзора;

блок выработки трехмерных данных, который вырабатывает трехмерные данные объекта захвата изображения, используя двухмерные данные изображения множества первых точек обзора и данные изображения глубины, полученные в результате декодирования блоком декодирования; и

блок выработки двухмерных данных, который вырабатывает двухмерные данные изображения в виде данных отображаемого изображения свободной точки обзора на основе трехмерных данных, выработанных блоком трехмерной выработки данных.

(12) Устройство декодирования по п.(11), в котором

множество первых точек обзора находятся на равном расстоянии друг от друга в одном и том же круге.

(13) Устройство декодирования по п.(11), в котором

по меньшей мере две точки обзора из множества первых точек обзора лежат на одной прямой по существу в горизонтальном направлении.

(14) Устройство декодирования по п.(13), дополнительно включающее в себя

блок приема, который принимает информацию, которая точно определяет две точки обзора, лежащие на одной прямой в горизонтальном направлении, из множества первых точек обзора.

(15) Устройство декодирования по любому пп.(11)-(14), в котором

двухмерные данные изображения множества первых точек обзора и данные изображения глубины вырабатываются из трехмерных данных объекта захвата изображения, выработанных из двухмерных данных изображения третьего множества точек обзора.

(16) Устройство декодирования по п.(15), в котором

блок выработки трехмерных данных вырабатывает трехмерные данные объекта захвата изображения, используя двухмерные данные изображения множества первых точек обзора, данные изображения глубины и трехмерные данные области загораживания, из двухмерных данных изображения множества первых точек обзора.

(17) Устройство декодирования по любому пп.(11)-(16), в котором

блок выработки трехмерных данных вырабатывает трехмерные данные объекта захвата изображения на основе параметров камеры множества первых точек обзора и второй точки обзора.

(18) Устройство декодирования по любому пп.(11)-(17), в котором

количество способов выработки заданных отображаемых изображений является многочисленным.

(19) Устройство декодирования по любому пп.(11)-(18), в котором

множество первых точек обзора и вторая точка обзора представляют собой одно и то же.

(20) Способ декодирования устройством декодирования, причем способ декодирования включает в себя:

этап декодирования для декодирования кодированных данных двухмерных данных изображения множества первых точек обзора, соответствующих способу выработки заданного отображаемого изображения, и кодированных данных из данных изображения глубины, указывающих на положение каждого из пикселей в направлении глубины объекта захвата изображения по отношению ко второй точке обзора;

этап выработки трехмерных данных для выработки трехмерных данных объекта захвата изображения с использованием двухмерных данных изображения множества первых точек обзора и данных изображения глубины, полученных в результате декодирования в ходе процесса, выполняемого на этапе декодирования; и

этап выработки двухмерных данных для выработки двухмерных данных изображения в виде данных отображаемого изображения свободной точки обзора на основе трехмерных данных, выработанных в ходе процесса, выполняемого на этапе выработки трехмерных данных.

Перечень ссылочных позиций

11 – устройство захвата изображения, 12 – устройство кодирования, 13 – устройство декодирования, 22 – блок кодирования, 23 – блок передачи, 31 – блок приема, 32 – блок декодирования, 53 – блока выработки двухмерных данных, 151 – блок выработки трехмерных данных, 154 – блок выработки двухмерных данных, 171 – устройство захвата изображения, 172 – устройство кодирования, 173 – устройство декодирования, 192 – блок преобразования, 211-1 – 211-N – камера, 222 – блок обнаружения отклонения синхронизма, 261-1 – 261-2N – блок декодирования, 262 – блок вывода, 282 – устройство кодирования, 283 – устройство синтеза, 284 – устройство декодирования, 292 – блок кодирования, 301 – блок декодирования, 321, 322 – блок декодирования, 323 – блок обнаружения отклонения синхронизма, 324 – блок добавления метаданных, 340 – устройство синтеза, 341 – блок выработки данных преобразования координат, 342 – блок добавления метаданных, 391, 392 – блока преобразования трехмерного положения, 393 – блок преобразования координат, 394 – блок выработки данных, 400 – устройство синтеза, 401 – блок выработки данных коррекции цветового сдвига, 402 – блок добавления метаданных, 421 – блок коррекции цвета

Изобретение относится к кодированию и декодированию, которые позволяют получать двухмерные данные изображения точки обзора. Техническим результатом является обеспечение возможности получать двухмерные данные изображения и данные изображения глубины точек обзора, соответствующих способу выработки заданного отображаемого изображения, независимо от точек обзора после захвата изображения. Предложено устройство кодирования, в котором блок преобразования вырабатывает из трехмерных данных объекта захвата изображения, выработанных из двухмерных данных изображения множества точек обзора, двухмерные данные изображения множества точек обзора, соответствующих способу выработки заданного отображаемого изображения и данным изображения глубины, указывающим на положение каждого пикселя в направлении глубины объекта захвата изображения. Блок кодирования кодирует двухмерные данные изображения и данные изображения глубины, выработанные блоком преобразования. Блок передачи передает двухмерные данные изображения и данные изображения глубины, кодированные блоком кодирования. 4 н. и 15 з.п. ф-лы, 30 ил.

1. Устройство кодирования, содержащее:

блок выработки двухмерных данных, который вырабатывает, из трехмерных данных объекта захвата изображения, двухмерные данные изображения множества первых точек обзора, соответствующие способу выработки заданного отображаемого изображения, и данные изображения глубины, указывающие на положение каждого пикселя в направлении глубины объекта захвата изображения по отношению к второй точке обзора;

блок кодирования, который кодирует двухмерные данные изображения множества первых точек обзора и данные изображения глубины, выработанные двухмерным блоком выработки данных; и

блок передачи, который передает двухмерные данные изображения множества первых точек обзора и данные изображения глубины, кодированные блоком кодирования.

2. Устройство кодирования по п.1, в котором точки обзора из множества первых точек обзора находятся на равном расстоянии друг от друга в одном и том же круге.

3. Устройство кодирования по п.1, в котором по меньшей мере две точки обзора из множества первых точек обзора лежат на одной прямой по существу в горизонтальном направлении.

4. Устройство кодирования по п.3, в котором блок передачи передает информацию, которая точно определяет две точки обзора, лежащие на одной прямой в горизонтальном направлении, из множества первых точек обзора.

5. Устройство кодирования по п.1, в котором блок передачи передает трехмерные данные в области загораживания из двухмерных данных изображения множества первых точек обзора.

6. Устройство кодирования по п.1, в котором блок выработки двухмерных данных вырабатывает двухмерные данные изображения множества первых точек обзора из трехмерных данных на основе параметра камеры множества первых точек обзора и вырабатывает данные изображения глубины на основе параметра камеры второй точки обзора; и

блок передачи передает параметры камеры множества первых точек обзора и второй точки обзора.

7. Устройство кодирования по п.1, в котором количество способов выработки заданных отображаемых изображений является многочисленным.

8. Устройство кодирования по п.1, в котором множество первых точек обзора и вторая точка обзора представляют собой одно и то же.

9. Способ кодирования устройством кодирования, причем способ кодирования содержит:

этап выработки двухмерных данных для выработки, из трехмерных данных объекта захвата изображения, двухмерных данных изображения множества первых точек обзора, соответствующих способу выработки заданного отображаемого изображения, и данных изображения глубины, указывающих на положение каждого пикселя в направлении глубины объекта захвата изображения по отношению ко второй точке обзора;

этап кодирования для кодирования двухмерных данных изображения множества первых точек обзора и данных изображения глубины, выработанных в ходе процесса, выполняемого на этапе выработки двухмерных данных; и

этап передачи для передачи двухмерных данных изображения множества первых точек обзора и данных изображения глубины, кодированных в ходе процесса, выполняемого на этапе кодирования.

10. Устройство декодирования, содержащее:

блок приема, выполненный с возможностью приема кодированных данных двумерных данных изображения из множества первых точек обзора и кодированных данных из данных изображения глубины, характеризующих положение каждого из пикселей в направлении глубины объекта захвата изображения по отношению ко второй точке обзора, выработанной из трехмерных данных объекта захвата изображения;

блок декодирования, выполненный с возможностью декодирования кодированных данных двухмерных данных изображения из множества первых точек обзора и кодированных данных из данных изображения глубины, указывающих на положение каждого пикселя в направлении глубины объекта захвата изображения по отношению ко второй точке обзора;

блок выработки трехмерных данных, выполненный с возможностью выработки трехмерных данных объекта захвата изображения с использованием двухмерных данных изображения множества первых точек обзора и данных изображения глубины, полученных в результате декодирования блоком декодирования; и

блок выработки двухмерных данных, который вырабатывает двухмерные данные изображения в виде данных отображаемого изображения свободной точки обзора на основе трехмерных данных, выработанных блоком трехмерной выработки данных.

11. Устройство декодирования по п.10, в котором множество первых точек обзора находятся на равном расстоянии друг от друга в одном и том же круге.

12. Устройство декодирования по п.10, в котором по меньшей мере две точки обзора из множества первых точек обзора лежат на одной прямой по существу в горизонтальном направлении.

13. Устройство декодирования по п.12, дополнительно содержащее: блок приема, который принимает информацию, которая точно определяет две точки обзора, лежащие на одной прямой в горизонтальном направлении, из множества первых точек обзора.

14. Устройство декодирования по п.10, в котором двухмерные данные изображения множества первых точек обзора и данные изображения глубины вырабатываются из трехмерных данных объекта захвата изображения, выработанных из двухмерных данных изображения третьего множества точек обзора.

15. Устройство декодирования по п.14, в котором блок выработки трехмерных данных вырабатывает трехмерные данные объекта захвата изображения, используя двухмерные данные изображения множества первых точек обзора, данные изображения глубины и трехмерные данные области загораживания, из двухмерных данных изображения множества первых точек обзора.

16. Устройство декодирования по п.10, в котором блок выработки трехмерных данных вырабатывает трехмерные данные объекта захвата изображения на основе параметров камеры множества первых точек обзора и второй точки обзора.

17. Устройство декодирования по п.10, в котором количество способов выработки заданных отображаемых изображений является многочисленным.

18. Устройство декодирования по п.10, в котором множество первых точек обзора и вторая точка обзора представляют собой одно и то же.

19. Способ декодирования устройством декодирования, причем способ декодирования содержит:

этап приема для приема кодированных данных двумерных данных изображения из множества первых точек обзора и кодированных данных из данных изображения глубины, характеризующих положение каждого из пикселей в направлении глубины объекта захвата изображения по отношению ко второй точке обзора, выработанной из трехмерных данных объекта захвата изображения; этап декодирования для декодирования кодированных данных двухмерных данных изображения из множества первых точек обзора и кодированных данных из данных изображения глубины, указывающих на положение каждого из пикселей в направлении глубины объекта захвата изображения по отношению ко второй точке обзора;

этап выработки трехмерных данных для выработки трехмерных данных объекта захвата изображения с использованием двухмерных данных изображения множества первых точек обзора и данных изображения глубины, полученных в результате декодирования в ходе процесса, выполняемого на этапе декодирования; и

этап выработки двухмерных данных для выработки данных изображения в виде данных отображаемого изображения свободной точки обзора на основе трехмерных данных, выработанных в ходе процесса, выполняемого на этапе выработки трехмерных данных.