ОБОРУДОВАНИЕ И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ ПРЕДСТАВЛЕНИЯ СЦЕНЫ Российский патент 2022 года по МПК G06T7/80 H04N13/246 H04N13/271 

Область техники, к которой относится изобретение

Изобретение относится к оборудованию и способу для формирования представления сцены из данных, захваченных посредством множества воспринимающих глубину камер, а в частности, но не исключительно, к формированию изображения для приложения виртуальной реальности из такого представления.

Уровень техники

Традиционно техническая обработка и использование изображений были основаны на двухмерном формировании изображений, но третье измерение все более явно рассматривается в обработке изображений.

Например, были разработаны трехмерные (3D) дисплеи, которые добавляют третье измерение к восприятию просмотра, обеспечивая два глаза зрителя различными видами просматриваемой сцены. Это может быть осуществлено посредством наличия носимых пользователем очков, чтобы разделять два вида, которые отображаются. Однако, поскольку это может считаться неудобным для пользователя, во множестве сценариев является предпочтительным использовать автостереоскопические дисплеи, которые используют средство в дисплее (такое как ступенчатые линзы или барьеры), чтобы разделять виды и отправлять их в различных направлениях, где они индивидуально могут достигать глаз пользователя. Для стереодисплеев требуются два вида, тогда как автостереоскопические дисплеи типично требуют больше видов (как, например, девять видов).

Во множестве вариантов осуществления может быть желательным формировать изображения видов для новых направлений просмотра. Исходя из того что различные алгоритмы известны для формирования таких новых видовых изображений на основе информации изображений и глубины, они имеют тенденцию сильно зависеть от точности предоставленной (или извлеченной) информации глубины.

Фактически, информация трехмерных изображений зачастую предоставляется посредством множества изображений, соответствующих различным направлениям вида для сцены. В частности, видеоконтент, такой как фильмы или телевизионные программы, все в большей степени формируется с возможностью включать в себя некоторую трехмерную информацию. Такая информация может быть захвачена с помощью специализированных 3D- или воспринимающих глубину камер, таких как камеры, которые захватывают два одновременных изображения из слегка сдвинутых позиций камер.

Тем не менее во многих вариантах применения, предоставленные изображения могут не соответствовать непосредственно требуемым направлениям, либо может требоваться больше изображений. Например, для автостереоскопических дисплеев, требуются более двух изображений, и фактически зачастую используются 9-26 видовых изображений.

Чтобы формировать изображения, соответствующие различным направлениям вида, может использоваться обработка сдвига точка обзора. Она типично выполняется посредством алгоритма сдвига вида, который использует изображение для одного направления вида вместе с ассоциированной информацией глубины.

Конкретным примером приложения, которое основывается на обработке трехмерного изображения, является приложение виртуальной реальности. В типичных восприятиях виртуальной реальности изображения видов для правого глаза и левого глаза могут непрерывно формироваться, например, для головной гарнитуры виртуальной реальности, чтобы соответствовать перемещению и изменению ориентации пользователем. Такое формирование динамических видов виртуальной реальности типично основывается на обработке данных 3D-изображений, представляющих данную сцену, соответствующую окружению виртуальной реальности. Например, сервер виртуальной реальности может формировать изображения видов для конкретных видов на основе трехмерной модели или трехмерных изображений, таких как изображения, представленные изображениями интенсивности света и картами глубины, или текстурными картами и глубинными сетками.

Для приложений, таких как приложения виртуальной реальности, последовательность изображений может, например, быть сформирована, чтобы отражать пользовательские виды, когда они изменяются вследствие того, что пользователь виртуально движется или меняет направление просмотра/ориентацию в виртуальном окружении. В некоторых приложениях изображения могут быть сформированы, чтобы отражать изменения в ориентации зрителя, но без поддержки перемещения в области. Видеоизображение, отражающее такой сценарий, часто называется всенаправленным видеоизображением. В других приложениях позиция просмотра движения может также поддерживаться, чтобы отражать виртуальное движение пользователя в окружении виртуальной реальности. Видеоизображение, отражающее такой сценарий, часто называется иммерсивным видеоизображением. Текущий вид пользователя может быть представлен вектором обзора, который описывает релевантные позиционные и относящиеся к направлению параметры для точки обзора.

Для всенаправленного видеоизображения вектор обзора типично описывает ориентацию согласно трем степеням свободы (3DoF), типично посредством предоставления значений поворота вокруг вертикальной, поперечной и продольной осей (или азимута, высоты и наклона) или кватернионного представления.

Для иммерсивного видеоизображения вектор типично описывает и ориентацию, и позицию согласно шести степеням свободы (6DoF), типично посредством предоставления значений для угла поворота относительно вертикальной, поперечной и продольной осей и для трех пространственных измерений.

Однако, отдельной проблемой при попытке разрабатывать и поддерживать гибкие приложения воспроизведения видео и изображений, поддерживающие переменные позиции обзора и/или направления, является то, что они предпочтительно не ограничиваются подмножеством позиций и/или направлений, но все позиции и/или направления идеально поддерживаются. Например, что касается 6DoF-иммерсивного видеоизображения, зритель может просматривать сцену из любой позиции и в любом направлении. Это требует, чтобы 3D-информация была доступна для всех частей сцены и из всех позиций и для всех направлений. Это требование трудно или невозможно удовлетворять во многих практических прикладных задачах, таких как, в частности, приложения, в которых 3D-данные основываются на захватах сцены реального мира.

Сочетание позиции и направления/ориентации объекта представлено в области, типично называемой размещением или расположением. Таким образом, вектор размещения или расположения может содержать шесть значений/компонентов, при этом каждое значение/компонент описывает отдельное свойство позиции/местоположения или ориентации/направления соответствующего объекта. Конечно, в некоторых ситуациях, векторы размещения или расположения могут иметь меньше компонентов, чтобы представлять позицию и ориентацию, например, если один или более компонентов считаются фиксированными (например, если все объекты считаются находящимися на одинаковой высоте и являются уровнем, четыре компонента могут предоставлять полное представление расположения объекта).

Одна из самых трудных задач, которую необходимо решить, заключается в том, как эффективно захватить сцену так, чтобы можно было сгенерировать представление сцены, которое предоставляет достаточную информацию, чтобы предоставлять возможность формирования изображений подходящей точки обзора достаточно высокого качества, все еще предоставляя возможность легкой передачи, сохранения, адаптации и/или обработки представления.

Многие прикладные задачи основываются на захвате сцены реального мира или окружения с помощью воспринимающих глубину камер. Это предоставляет возможность захвата визуальных свойств вместе с трехмерной информацией. Для того чтобы захватывать сцену достаточно точно и полностью, часто применяется использование множества, а зачастую большого числа, камер. В некоторых прикладных задачах 10, 20 или даже более камер используются для обеспечения удовлетворительного захвата.

Использование захваченной информации может отличаться в различных прикладных задачах. Например, в некоторых вариантах осуществления, захваченные данные могут быть использованы для разработки трехмерной модели сцены реального мира. Изображения для просмотра пользователем, снабжаемые впечатлением трехмерной виртуальной реальности, тогда могут быть сформированы посредством оценки модели с конкретной точки обзора. В других прикладных задачах изображения для конкретных областей просмотра или точек обзора могут непосредственно быть сформированы из захваченных изображений и информации глубины, например, посредством выбора одного или более ближайших захваченных изображений и выполнения сдвига точки обзора, чтобы соответствовать желаемой точке обзора.

Типично, калибровка для систем захвата с многовидовыми камерами включает в себя различные аспекты:

Калибровка параметров, которая является свойственной каждому из датчиков камеры:

Фокусное расстояние линзы и модель искажения,

Размер датчика, разрешение, позиция и ориентация

Калибровка параметров, которые являются внешними по отношению к каждой камере, т.е. ориентации и позиции узлов камер относительно друг друга.

В частности, второй момент часто является трудным и критичным. Для того чтобы точно обрабатывать захваченные данные, например, чтобы формировать изображения для желаемых точек обзора, является важным, чтобы воспринимающие глубину камеры, захватывающие сцены, являлись известными с достаточно высокой точностью и достоверностью. В частности, типично требуется, чтобы относительные размещения воспринимающих глубину камер относительно друг друга были точно известны, так что захваченные данные от различных воспринимающих глубину камер могли быть достоверно и точно объединены, либо посредством формирования промежуточной модели, либо непосредственного формирования изображений из множества захваченных изображений. Во многих прикладных задачах требования для определения размещения являются очень требовательными и труднодостижимыми. Например, во многих практических прикладных задачах требуется, чтобы точность по параметрам азимута была около 1°, или предпочтительно даже значительно ниже.

В некоторых прикладных задачах точная информация о размещении может быть обеспечена посредством тщательного, аккуратного и сильно контролируемого позиционирования и ориентации камер с известными параметрами размещения. Например, может быть использована стационарная платформа для воспринимающих глубину камер, где каждая камера фиксируется в известной позиции и с фиксированной ориентацией относительно других камер. Однако такой подход является непрактичным или даже невозможным во многих прикладных задачах. Например, если большое число камер используется, и/или если камеры находятся далеко друг от друга, типично является непрактичным вручную измерять или ограничивать позиции и ориентации до высокой степени точности. Дополнительно, подход не подходит для прикладных задач динамического захвата, например, когда камеры могут динамично добавляться или удаляться из системы захвата, или когда одна или более камер могут быть движущейся камерой.

Было предложено устранять такие проблемы посредством введения автоматического определения позиций отдельных воспринимающих глубину камер. Это может, например, быть осуществлено с помощью особой функциональности определения позиции, включенной в воспринимающие глубину камеры, такой как GPS-функциональность. Однако это не только требует, чтобы датчики камеры глубины включали в себя такую функциональность, что может часто не случаться на практике, но дополнительно имеет склонность предоставлять результаты, которые далеки от достаточно точных, чтобы гарантировать точное определение между различными камерами, особенно для значений ориентации.

Дополнительно было предложено, чтобы информация о размещении могла быть извлечена из захваченной информации. В частности, было предложено, чтобы сопоставление изображения могло быть использовано для нахождения перекрывающихся областей изображения в изображениях с различных камер, и чтобы это могло быть дополнительно использовано для извлечения информации об относительных размещениях камер. Однако подход имеет склонность быть очень интенсивным в вычислительном отношении, поскольку сопоставление изображений должно, в принципе, рассматривать все области изображения относительно всех других областей во всех других захваченных изображениях. Дополнительно, было обнаружено, что подход имеет склонность давать условно оптимальные и типично относительно неточные результаты. Например, трудно предотвращать случайное совпадение между областями изображения, которые не представляют один и тот же объект, а вместо этого различные объекты, которые могут иметь схожие визуальные свойства (или один и тот же объект с очень разных направлений). Такие несоответствия могут приводить в результате к ошибочному определению размещения, которое может приводить в результате к значительным ошибкам при использовании этой информации о размещении, чтобы объединять данные с различных камер.

Следовательно, улучшенный подход для захвата сцен, и, в частности, для определения информации о размещении для захвата воспринимающих глубину камер, будет полезным. В частности, будет полезным подход, который предоставляет возможность улучшенной работы, повышенной гибкости, облегченной реализации, облегченной работы, уменьшенной сложности, уменьшенной потребности в ресурсах, улучшенной точности, более хорошего определения размещения и/или улучшенной производительности.

Сущность изобретения

Следовательно, изобретение предпочтительно нацелено на уменьшение, облегчение или устранение одного или более вышеуказанных недостатков по отдельности или в любой комбинации.

Согласно аспекту изобретения, предоставляется оборудование для формирования представления, по меньшей мере, части сцены из изображений сцены, захваченных посредством множества распределенных воспринимающих глубину камер, оборудование содержит: первый приемник для приема первого изображения, захваченного посредством первой воспринимающей глубину камеры, и первых данных глубины, захваченных посредством первой воспринимающей глубину камеры; детектор для обнаружения свойства позиции изображения для реперной метки в первом изображении, свойство позиции изображения указывает позицию реперной метки в первом изображении, а реперная метка представляет размещение второй воспринимающей глубину камеры изображения, имея предварительно определенное различие размещения относительно второй воспринимающей глубину камеры; процессор размещения для определения вектора относительного размещения, указывающего размещение второй воспринимающей глубину камеры изображения относительно первой воспринимающей глубину камеры, в ответ на свойство позиции изображения, и данные глубины из первых данных глубины для позиции в изображении реперной метки, и предварительно определенного различия размещения, вектор относительного размещения является, по меньшей мере, трехмерным; второй приемник для приема второго изображения, захваченного посредством второй воспринимающей глубину камеры изображения, и вторых данных глубины, захваченных посредством второй воспринимающей глубину камеры изображения; генератор для формирования представления, по меньшей мере, части сцены в ответ на объединение, по меньшей мере, первого изображения и второго изображения на основе вектора относительного размещения.

Изобретение может предоставлять возможность улучшенного и/или облегченного определения размещений воспринимающих глубину камер, захватывающих сцену, тем самым предоставляя возможность улучшенного представления сцены, которая должна быть сформирована. Во многих вариантах осуществления и сценариях может быть выполнено очень точное определение размещения.

Подход в вариантах осуществления может облегчать размещение камер, а в действительности, во многих прикладных задачах точное управление или ограничение на размещение будут не нужны. Система может во многих прикладных задачах быть приспособлена, чтобы автоматически или полуавтоматически адаптироваться к размещениям камер. Значительно облегченная настройка системы захвата может часто быть осуществлена.

Подход может предоставлять возможность динамически изменять конфигурацию захвата, которая должна поддерживаться, например, с помощью камер, динамически вводимых и/или удаляемых, и/или с помощью камер, перемещающихся в окружении.

Подход может во многих вариантах осуществления и сценариях предоставлять возможность более точного и/или полного захвата и представления сцены. Часто значительно более точное объединение информации от различных камер с различными размещениями может быть достигнуто.

Представление может быть представлением данных, описывающим визуальные свойства, по меньшей мере, части сцены. Типично, представление данных может включать в себя трехмерные данные для сцены, такие как, например, информация глубины.

Представление сцены может быть, по меньшей мере, одним из трехмерной модели сцены и набора из одного или более изображений сцены. Набор изображений может соответствовать одному или более изображениям, соответствующим областям просмотра с различных точек обзора. Представления могут быть сформированы, например, как текстурные карты и ассоциированные карты, изображения и потенциально ассоциированные карты глубин, трехмерная структура и данные освещения, и т.д.

Размещение может ссылаться на позицию и/или ориентацию. Вектор относительного размещения может содержать одно или более значений позиции и/или одно или более значений ориентации. Во многих вариантах осуществления вектор размещения может предоставлять трехмерную позицию и/или трехмерное указание направления.

Во многих вариантах осуществления вектор относительного размещения содержит, по меньшей мере, три компонента и/или может типично указывать и относительную позицию, и относительную ориентацию между первой и второй воспринимающими глубину камерами.

Ориентация может быть дана посредством одного или более компонентов, выбранных из компонентов поворота вокруг поперечной, вертикальной, продольной осей или из компонентов азимута, высоты и наклона.

Вектор относительного размещения может указывать перевод между позицией первой воспринимающей глубину камеры и позицией второй воспринимающей глубину камеры. Вектор относительного размещения может указывать направление от первой воспринимающей глубину камеры ко второй воспринимающей глубину камере.

Процессор размещения может быть выполнен с возможностью формировать вектор относительного размещения на основе предположения известного соотношения между реперной меткой и второй воспринимающей глубину камерой. Он может, в частности, формировать вектор относительного размещения на основе предполагаемого соотношения между размещением реперной метки и размещением второй воспринимающей глубину камеры. Процессор размещения может быть выполнен с возможностью формировать вектор относительного размещения на основе предполагаемого соотношения между позицией реперной метки и позицией второй воспринимающей глубину камеры. Процессор размещения может быть выполнен с возможностью формировать вектор относительного размещения на основе предполагаемого соотношения между ориентацией реперной метки и ориентацией второй воспринимающей глубину камеры.

Первая и вторая воспринимающие глубину камеры могут быть выполнены с возможностью иметь перекрытие областей обзора, соответствующих первому изображению и второму изображению.

Первая и вторая воспринимающие глубину камеры могут быть частью системы захвата, содержащей множество пространственно распределенных воспринимающих глубину камер, при этом камеры имеют различные размещения, такие как различные позиции и/или ориентации.

Вектор относительного размещения может указывать сдвиги позиции и/или ориентации или различия между первой и второй воспринимающими глубину камерами. Предварительно определенные различия размещения указывают различие в размещениях реперной метки и размещении второй воспринимающей глубину камеры.

Согласно необязательному отличительному признаку изобретения, генератор выполняется с возможностью формировать представление как изображение сцены из точки обзора, отличной от точек обзора первой воспринимающей глубину камеры и второй воспринимающей глубину камеры.

Подход может предоставлять улучшенное формирование изображение сцены и может, в частности, часто обеспечивать более высокое качество и/или более лучший охват сцены. Различные точки обзора могут иметь различную позицию и/или ориентацию.

Согласно необязательному отличительному признаку изобретения, генератор выполняется с возможностью объединять, по меньшей мере, первое изображение и второе изображение на основе первых данных глубины и вторых данных глубины.

Это может обеспечивать улучшенную производительность во многих вариантах осуществления и может, например, предоставлять, улучшать и/или облегчать сдвиг точки обзора для формирования изображений с различных точек обзора.

Согласно необязательному отличительному признаку изобретения, генератор содержит приемник для приема векторов относительного размещения для множества пар воспринимающих глубину камер; процессор координат для определения размещений воспринимающей глубину камеры в общей системе координат для каждой из множества камер в ответ на векторы относительного размещения, и при этом генератор выполняется с возможностью формировать изображение в ответ на определенные размещения камеры в той же системе координат.

Подход может предоставлять возможность разработки гибкой, но все еще точной системы захвата сцены. В частности, можно предоставлять возможность многим камерам эффективно объединяться в согласованную систему захвата, обеспечивающую улучшенный охват и/или улучшенное качество. Подход может, в частности, облегчать или предоставлять возможность взаимодействия между большим числом камер и дополнительно может эффективно поддерживать изменяющуюся конфигурацию, например, вследствие добавления или удаления камер, или вследствие перемещающихся камер.

Согласно необязательному отличительному признаку изобретения, процессор координат выполняется с возможностью определять размещения воспринимающей глубину камеры в ответ на минимизацию функции стоимости, функция стоимости зависит от различия между векторами относительного размещения и соответствующими векторами размещения, определенными из определенных размещений воспринимающей глубину камеры в общей системе координат.

Это может предоставлять возможность для очень эффективного подхода и может предоставлять возможность эффективного объединения информации об относительном размещении от большого числа камер, чтобы формировать согласующееся представление размещения для системы захвата.

В некоторых вариантах осуществления первоначальные расчетные размещения камеры могут быть определены по данным размещения, определенным, не полагаясь на первое изображение, таким как, например, функциональность GPS-позиционирования.

Согласно необязательному признаку изобретения, оно дополнительно содержит: второй детектор для обнаружения свойства позиции второго изображения для второй реперной метки во втором изображении, свойство позиции второго изображения указывает позицию второй реперной метки во втором изображении, вторая реперная метка представляет размещение первой воспринимающей глубину камеры; и второй процессор размещения для определения второго вектора относительного размещения, указывающего позицию первой воспринимающей глубину камеры изображения относительно второй воспринимающей глубину камеры, в ответ на свойство позиции второго изображения и данных глубины из вторых данных глубины для позиции изображения для второй реперной метки, и второго предварительно определенного различия размещения, второй вектор относительного размещения является, по меньшей мере, трехмерным; и при этом генератор дополнительно выполняется с возможностью формировать представление в ответ на второй вектор относительного размещения.

Это может облегчать и/или улучшать формирование представления сцены.

Согласно необязательному признаку изобретения, визуальное свойство реперной метки указывает идентичность второй воспринимающей глубину камеры, и детектор выполняется с возможностью определять идентичность второй воспринимающей глубину камеры в ответ на визуальное свойство.

Это может облегчать и/или улучшать формирование представления сцены. Можно, в частности, облегчать автоматическое определение конфигурации размещения для систем захвата, содержащих большое число камер.

Генератор может быть выполнен с возможностью связывать второе изображение и вектор относительного размещения в ответ на обнаруженную идентичность. Детектор может быть выполнен с возможностью связывать второе изображение и вектор относительного размещения в ответ на обнаруженную идентичность посредством выбора второго изображения из множества принятых изображений на основе определенной идентичности.

Согласно необязательному признаку изобретения, вектор относительного размещения содержит, по меньшей мере, одно значение ориентации.

Это может обеспечивать улучшенную производительность во многих сценариях. По меньшей мере, одно значение ориентации может быть, по меньшей мере, одним из значения угла поворота вокруг продольной, поперечной, вертикальной осей, азимута, высоты и наклона.

Согласно необязательному признаку изобретения, процессор размещения выполняется с возможностью определять, по меньшей мере, одно значение ориентации в ответ на вращательно непостоянное визуальное свойство реперной метки.

Это может во многих сценариях предоставлять возможность надежного и имеющего низкую сложность определения значения ориентации, в то же время предоставляя возможность использования имеющих относительно низкую сложность реперных меток.

Согласно необязательному признаку изобретения, процессор размещения выполняется с возможностью определять вектор относительного размещения на основе предварительно определенного предположения, что, по меньшей мере, один параметр ориентации является идентичным для первой воспринимающей глубину камеры изображения и второй воспринимающей глубину камеры изображения.

Это может обеспечивать улучшенную производительность во многих сценариях и может облегчать работу в значительной степени посредством уменьшения степеней неопределенности. Процессор размещения может, в частности, быть выполнен с возможностью определять вектор относительного размещения на основе предварительно определенного предположения, что первая воспринимающая глубину камера изображения и вторая воспринимающая глубину камера изображения, обе являются выставленными по уровню/горизонтальными.

Согласно необязательному признаку изобретения, оборудование дополнительно содержит процессор захвата для определения свойства захвата сцены в ответ на вектор относительного размещения, свойство захвата указывает то, как сцена охватывается изображениями, захваченными посредством множества воспринимающих глубину камер; и пользовательский интерфейс для формирования пользовательских выходных данных, указывающих свойство захвата.

Оборудование может обеспечивать обратную связь с пользователем об охвате сцены посредством него, например, помогая пользователю в настройке конфигурации захвата.

Согласно необязательному признаку изобретения, процессор захвата выполняется с возможностью определять, по меньшей мере, одну часть сцены, для которой указание качества захвата указывает пониженное качество, и для формирования пользовательских выходных данных, указывающих размещение для воспринимающей глубину камеры изображения, чтобы захватывать, по меньшей мере, часть сцены.

Оборудование может обеспечивать обратную связь с пользователем, указывающую охват сцены посредством него, например, помогающую пользователю в настройке конфигурации захвата посредством указания полезных позиций для настройки камеры.

Указание качества захвата может, в частности, указывать число камер, которые захватывают различные части сцены. Указание увеличивающегося числа захватывающих камер может указывать увеличивающееся качество. Процессор захвата может, в частности, быть выполнен с возможностью определять, по меньшей мере, одну часть сцены, для которой указание качества захвата указывает, что число камер, захватывающих сцену, ниже порогового значения. Пользовательские выходные данные могут указывать размещение воспринимающей глубину камеры изображения, так что она будет захватывать часть сцены, захватываемую в настоящий момент посредством меньшего по сравнению с пороговым значением количества камер. В некоторых вариантах осуществления пороговое значение может быть одной камерой.

Согласно необязательному признаку изобретения, генератор выполняется с возможностью модифицировать вектор относительного размещения в ответ на сопоставление изображения для первого изображения и второго изображения.

Это может улучшать точность результирующего представления и может улучшать и/или облегчать объединение первого изображения и второго изображения.

Согласно необязательному признаку изобретения, генератор выполняется с возможностью формировать трехмерную модель сцены в ответ на вектор относительного размещения, первое изображение и второе изображение.

Это может обеспечивать улучшенную и/или облегченную работу и/или производительность. Генератор может быть выполнен с возможностью формировать изображение в ответ на анализ трехмерной модели.

Согласно аспекту изобретения, предоставляется способ формирования представления, по меньшей мере, части сцены из изображений сцены, захваченных посредством множества распределенных воспринимающих глубину камер, способ содержит: прием первого изображения, захваченного посредством первой воспринимающей глубину камеры, и первых данных глубины, захваченных посредством первой воспринимающей глубину камеры; обнаружение свойства позиции изображения для реперной метки в первом изображении, свойство позиции изображения указывает позицию реперной метки в первом изображении, а реперная метка представляет размещение второй воспринимающей глубину камеры изображения, имея предварительно определенное различие размещения относительно второй воспринимающей глубину камеры; определение вектора относительного размещения, указывающего размещение второй воспринимающей глубину камеры изображения относительно первой воспринимающей глубину камеры в ответ на свойство позиции изображения и данные глубины из первых данных глубины для позиции в изображении реперной метки, и предварительно определенное различие размещения, вектор относительного размещения является, по меньшей мере, трехмерным; прием второго изображения, захваченного посредством второй воспринимающей глубину камеры изображения, и вторых данных глубины, захваченных посредством второй воспринимающей глубину камеры изображения; и формирование представления, по меньшей мере, части сцены в ответ на объединение, по меньшей мере, первого изображения и второго изображения на основе вектора относительного размещения.

Эти и другие аспекты, признаки и преимущества изобретения должны становиться очевидными и должны истолковываться со ссылкой на описанные далее варианты осуществления.

Краткое описание чертежей

Далее описываются варианты осуществления изобретения только в качестве примера со ссылкой на чертежи, из которых:

Фиг. 1 иллюстрирует пример конфигурации захвата, содержащей множество воспринимающих глубину камер;

Фиг. 2 иллюстрирует пример элементов конфигурации захвата, содержащей множество воспринимающих глубину камер;

Фиг. 3 иллюстрирует пример элементов конфигурации захвата, содержащей множество воспринимающих глубину камер;

Фиг. 4 иллюстрирует пример оборудования в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 5 иллюстрирует пример оборудования в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 6 иллюстрирует пример элементов конфигурации захвата, содержащей множество воспринимающих глубину камер; и

Фиг. 7 иллюстрирует пример оборудования в соответствии с некоторыми вариантами осуществления изобретения.

Подробное описание вариантов осуществления

Последующее описание фокусируется на вариантах осуществления изобретения, применимых для формирования представления данных сцены на основе захватов изображения (включающего в себя видеоизображение) от множества распределенных воспринимающих глубину камер, таких как типично система захвата, содержащая 10, 20 или даже более камер. Однако, будет понятно, что изобретение является применимым к множеству систем захвата, включающих в себя системы только с несколькими воспринимающими к глубине камерами, захватывающими сцену.

Фиг. 1 иллюстрирует пример системы захвата, в которой относительно большое число воспринимающих глубину камер захватывают сцену, которая в примере представляется посредством трехмерных объектов O1-O3. Каждая воспринимающая глубину камера N1-N7 представляется посредством черного треугольника, также указывающего область просмотра/угол обзора камеры. Следует отметить, что, тогда как фиг. 1 иллюстрирует использование восьми камер, значительно большее число может быть использовано во многих практических системах, и, в действительности, иллюстрированные восемь камер могут рассматриваться как представляющие значительно большее число камер.

Воспринимающие глубину камеры в конфигурации захвата также называются узлами конфигурации, и определение информации о размещении (типично со ссылкой на общую систему координат) является известным в качестве регистрации камер/узлов. Типично, регистрация узлов может выполняться на центральном сервере или блоке регистрации, который может собирать информацию о размещении для всех узлов/камер в конфигурации.

В области техники термины "размещение" и "расположение" используются в качестве общего выражения для позиции и/или направления/ориентации. Сочетание позиции и направления/ориентации, например, объекта, камеры, головы или вида может называться расположением или размещением. Таким образом, указание размещения или расположения может содержать шесть значений/компонентов/степеней свободы, при этом каждое значение/компонент типично описывает отдельное свойство позиции/местоположения или ориентации/направления соответствующего объекта. Конечно, во многих ситуациях, размещение или расположение может быть представлено посредством меньшего количества компонентов, например, если один или более компонентов считается фиксированным или неуместным (например, если все объекты рассматриваются как находящиеся на одинаковой высоте и имеют горизонтальную ориентацию, четыре компонента могут предоставлять полное представление расположения объекта). В последующем, термин "расположение" используется, чтобы ссылаться на позицию и/или ориентацию, которая может быть представлена посредством одного-шести значений (соответствующих максимально возможным степеням свободы).

Использование большого числа камер может значительно улучшать захват сцены и может, в частности, предоставлять дополнительную информацию, увеличенный охват и т.д. Это может предоставлять возможность улучшенного формирования представления данных сцены, например, как набора изображений или как трехмерной модели. Однако, для того, чтобы эффективно объединять информацию, предоставленную посредством отдельной камеры, важно, чтобы конкретное размещение каждой камеры было определено точно. Таким образом, регистрационные данные для каждого узла должны быть точными. Во многих вариантах осуществления точность ориентации камер должна, например, быть порядка только 1° или предпочтительно даже меньше. Однако, такое определение размещения и регистрация для многих камер и высокая точность часто являются труднодостижимыми на практике.

Например, в то время как структурная информация трехмерной сцены, такая как, например, измеренная посредством узла времяпролетной или стереокамеры, может быть использована для регистрации множества узлов, типично очень трудно добиваться точных результатов на практике. Например, в примере на фиг. 1, существует сценарий, в котором воспринимающая глубину камера, соответствующая узлу 1 (N1), и воспринимающая глубину камера, соответствующая узлу 2 (N2), могут обе захватывать трехмерную информацию сцены. Для камер в узле 1 и узле 2 калибровка на основе только геометрии сцены может быть возможна с помощью, например, способа регистрации точки, который является устойчивым к аномальным значениям (например, вследствие помехи). Такой способ калибровки может быть использован, чтобы определять матрицу поворота и вектор переноса, который переносит систему координат узла 2 в систему координат узла 1.

Однако такой основанный на сцене подход является трудным при попытке регистрировать узел 1, например, с узлом 3, поскольку камеры для этих узлов смотрят в разные стороны для объектов 1, 2 и 3, что означает, что будет существовать очень ограниченное соответствие отличительных признаков. Следовательно, относительное размещение узла 1 и узла 3 практически является невозможным на основе захвата сцены, поскольку соответствующие отличительные признаки сцены захватываются очень различно посредством двух камер, или, в действительности, могут не быть захвачены посредством одной из камер.

Возможным решением может быть опробовать все пары узлов и посмотреть, насколько успешным является процесс регистрации для каждой пары, а затем использование только тех пар, для которых осуществляется успешная регистрация. На практике, это будет иметь тенденцию приводить в результате к множеству различных проблем, включающих в себя то, что является очень трудным оценивать качество процесса регистрации на основе только точек сцены.

Другим недостатком полагания на структуру сцены является то, что структура 3D-сцены может не быть очень информативной для процесса регистрации и может не предоставлять подходящую информацию для сопоставления различных камер/узлов. Например, если все, что является видимым в каждой области просмотра для камеры, является плоской поверхностью земли или отражающими поверхностями, тогда не существует структуры сцены, чтобы предоставлять возможность определения размещения. Хотя это может быть смягчено только посредством использования текстуры изображения, чтобы определять параметры регистрации, это все еще имеет тенденцию вести к неточной и/или недостоверной регистрации.

Кроме того, такие подходы имеют склонность быть сложными и требовательными к ресурсам и имеют склонность быть неподходящими для динамически изменяющихся конфигураций захвата, например, когда камеры добавляются и удаляются. В частности, они имеют тенденцию быть неподходящими для сценариев захвата, когда используются движущиеся камеры, такие как конфигурации, использующие одну или более камер на дроне. Для многих таких систем регистрация/калибровка должна быть выполнена не только в реальном времени, но также с низкой задержкой (типично в пределах 20 миллисекунд).

Подходом, который может обеспечивать регистрацию/определение размещения, является добавление меток в различных позициях в сцене, так что эти метки могут быть захвачены посредством камер. Пример такого иллюстрируется на фиг. 2, которая может представлять простой пример воспринимающей диапазон системы камер с двумя узлами камер, которые наблюдают сцену, содержащую единственную метку. Оба узла наблюдают общую сцену, включающую в себя метку, но не друг друга. Однако, на основе только показателя глубины метки и знания характерных параметров каждой камеры, камеры не могут быть расположены в общей системе координат, поскольку (1) вращения вокруг векторов переноса являются неизвестными, и (2) угол между векторами переноса является неизвестным. Таким образом, невозможно объединять захваченные 3D-изображения двух камер.

Для того чтобы выполнять регистрацию между узлами 1 и 2, по меньшей мере, три реперных метки должны быть видимы обоим узлам, поскольку существуют три неизвестных параметра. Однако, это может не только делать операцию захвата более трудной и обременительной, требуя большого числа меток, которые должны быть добавлены, но также имеет склонность делать их более назойливыми и заметными.

В последующем конкретный подход будет использован, который может обеспечивать улучшенную производительность во многих вариантах осуществления. В примере, подход не полагается только на структуру сцены, а основывается на использовании реперных меток, которые, в частности, связаны с размещениями воспринимающих глубину камер. Реперная метка может быть объектом, размещенным в области просмотра системы формирования изображения, так что она может появляться в одном или боле созданных изображениях. Реперная метка может быть использована системой в качестве точки отсчета.

В подходе, реперные метки являются не просто метками, которые могут быть обнаружены, и на которые может быть выполнена ссылка в различных изображениях, а скорее представляют позиции воспринимающих глубину камер.

В большинстве вариантов осуществления реперные метки могут быть совместно расположены с воспринимающими к глубине камерами, и, в частности, каждая камера может быть снабжена реперной меткой. Реперная метка может, таким образом, в частности, быть расположена практически в той же позиции, что и воспринимающая глубину камера, и с ориентацией, которая непосредственно отражает ориентацию воспринимающей глубину камеры.

Реперная метка имеет предварительно определенное различие размещения относительно соответствующей воспринимающей глубину камеры. Предварительно определенное различие размещения, таким образом, является известным/предварительно определенным различием между размещением реперной метки и размещением воспринимающей глубину камеры. Предварительно определенное различие размещения может быть сдвигом размещения. Предварительно определенное различие размещения может, в частности, быть предварительно определенным сдвигом позиции (типично в двух или трех измерениях, но в некоторых вариантах осуществления сдвиг позиции может быть только в одном измерении). Предварительно определенное различие размещения может, в частности, быть предварительно определенным сдвигом ориентации (типично в одном, двух или трех измерениях).

Во многих вариантах осуществления реперная метка может быть размещена непосредственно на восприимчивой в глубине камере, и предварительно определенное различие размещения может часто быть нулевым, т.е. размещение реперной метки является таким же, что и размещение воспринимающей глубину камеры. В других вариантах осуществления реперная метка может, например, быть привязана к треножнику, удерживающему камеру, и предварительно определенное различие размещения отражает позиционный и/или поворотный/ориентационный сдвиг между реперной меткой и воспринимающей глубину камерой.

Во многих вариантах осуществления предварительно определенное различие размещения может быть, например, стандартизированным или, в целом, принятым подходом для позиционирования реперных меток относительно воспринимающих глубину камер, например, может быть предписано, что реперные метки позиционируются на камере с той же ориентацией, что и камера (например, прикрепленными к поверхностям, также имеющим линзу воспринимающей глубину камеры.

В других вариантах осуществления предварительно определенное различие размещения может быть определено во время настройки и позиционирования реперных меток. Например, в данном сценарии, пользователь может решать, что реперные метки являются прикрепленными к треножнику под камерой и могут, например, вводить соответствующее значение для предварительно определенного различия смещения в систему для использования в последующем процессе калибровки (например, может быть введено то, что реперные метки прикрепляются на 20 см ниже воспринимающей глубину камеры (линзы)).

Во многих вариантах осуществления реперная метка может быть в жестком совмещении с соответствующей восприимчивой по глубине камерой. Реперная метка может перемещаться совместно с воспринимающей глубину камере, т.е. изменение в размещении воспринимающей глубину камеры будет приводить в результате к соответствующему изменению в размещении реперной метки (и наоборот). Реперная метка может иметь фиксированную позицию и/или ориентацию по отношению/относительно соответствующей воспринимающей глубину камеры. Предварительно определенное различие размещения может в некоторых вариантах осуществления изменяться между сеансами калибровки, но будет известно (или, как предполагается, должно быть известным) перед началом процесса калибровки, который определяет относительное размещение соответствующей воспринимающей глубину камеры на основе реперной метки.

Предварительно определенное различие размещения может, в частности, быть предполагаемым предварительно определенным различием размещения. Например, может быть предписано, что реперные метки должны быть расположены на воспринимающих глубину камерах, и, следовательно, предварительно определенное различие размещения будет указывать это, т.е. может, в частности, быть нулевым. Конечно, возможно, что пользователь (например, неинформированный помощник) может совершить ошибку и, например, поместить реперную метку на треножник, удерживающий камеру. Предварительно определенное различие размещения будет все еще отражать предполагаемое корректное размещение реперной метки, т.е. предварительно определенное различие размещения может все еще быть нулевым, и калибровка будет выполнена с помощью (предполагаемого) предварительно определенного различия размещения. В этом случае предварительно определенное различие размещения, таким образом, отражает правильное различие размещения между реперной меткой и воспринимающей глубину камерой, тогда как фактическое различие может быть другим. Это может приводить в результате к процессу калибровки, определяющему позиции камер (более вероятно), формирующему неправильные, или, по меньшей мере, неточные, расчетные размещения воспринимающих глубину камер. Однако, конечно не является неожиданным то, что ошибочные результаты могут приводить в результате к особому сценарию, в котором ошибка совершается, и предположения и предпосылки, на которых процесс основывается, соответственно не удовлетворяются.

Предварительно определенное различие размещения может, в частности, в некоторых вариантах осуществления быть вектором различия размещения, указывающим смещение между размещением реперной метки и соответствующей воспринимающей глубину камерой. Например, предварительно определенное различие размещения может быть представлено посредством вектора шести значений, указывающим смещение в трех позиционных измерениях и трех измерениях ориентации.

Таким образом, определение размещения для заданной реперной метки соответственно также является определением размещения соответствующей воспринимающей глубину камеры.

Как будет описано более подробно позже, реперная метка может во многих вариантах осуществления быть предназначена так, что она может быть использована как для идентификации каждого узла воспринимающей глубину камеры, так и для точной регистрации каждого узла в единой общей системе координат.

Таким образом, реперная метка может, в частности, быть расположена на или непосредственно рядом с каждой камерой, чтобы идентифицировать и камеру, и размещение камеры. Реперная метка соответственно представляет размещение воспринимающей глубину камеры, связанной с реперной меткой, посредством наличия предварительно определенного различия размещения по отношению к воспринимающей глубину камере. В некоторых вариантах осуществления может быть различие между размещением реперной метки и размещением воспринимающей глубину камеры, но это различие может быть известно системе, поскольку оно является предварительно определенным различием. Соответственно, если различие между размещением реперной метки и размещением воспринимающей глубину камеры является известным, определение размещения реперной метки по своей природе также определяет размещение ассоциированной воспринимающей глубину камеры.

Различные реперные метки с различными свойствами могут быть использованы в различных вариантах осуществления, и реперные метки могут иметь различные формы для обнаружения размещения и идентификации узла, включающие в себя, например:

Сочетание сферы для позиционирования, сочетающейся с (простым) QR-кодом для идентификации.

Сферы изменяющегося размера, где размер используется в качестве идентификатора. Временное усреднение улучшает точность оценки размера сферы.

Сферы изменяющегося размера, цвета и/или рисунка, когда эти вариации внешнего вида используются в качестве идентификатора. Временное суммирование вероятностей идентификации сферы может улучшать точность оценки размера сферы.

Набор реперных меток, как описано выше, когда сочетание меток уникально идентифицирует узел камеры и предоставляет первую из относительной ориентации.

Светоизлучающий диод (LED) с уникальным временным кодом для идентификации. LED может быть белым, RGB или IR в зависимости от того, какой тип датчиков камеры находится в системе камер.

Подход может, в частности, быть использован, чтобы находить относительные размещения между парами воспринимающих глубину камер, а в вариантах осуществления с более значительным числом камер такие относительные размещения могут быть сформированы для множества пар с результирующими относительными размещениями, впоследствии используемыми, чтобы помещать все воспринимающие глубину камеры в общую систему координат.

Подход для пары воспринимающих глубину камер/узлов может быть иллюстрирован посредством фиг. 3. Пример иллюстрирует конфигурацию захвата, состоящую из двух узлов, при этом каждый имеет реперную метку с целью идентификации и регистрации. Две воспринимающие глубину камеры позиционируются так, что узлы находятся на линии взгляда друг друга. Поскольку датчики воспринимающих глубину камер наблюдают друг друга, их относительное размещение может быть определено без необходимости в других внешних метках. Если реперная метка указывает ориентацию камеры, относительная ориентация одной воспринимающей глубину камеры относительно другой может быть определена. Например, возьмем в качестве начальной ориентации, например, 3D-единичный вектор для узла 1, ориентация линии, соединяющей оба узла относительно этого вектора (α1) может быть определена с помощью внутренних параметров для узла 1. Наконец, ориентация узла 2 может быть определена относительно соединительной линии (α2) с помощью характерных параметров для узла 2.

Единственным остающимся неизвестным является общий поворот камер вокруг вектора переноса, т.е. ориентация конфигурации пары камер относительно внешнего окружения/общей системы координат. Однако, посредством точной регулировки уровня узлов камер или добавления внешней реперной метки, это может также быть определено, и размещения обеих воспринимающих глубину камер могут быть определены.

Фиг. 4 иллюстрирует пример оборудования для формирования представления, по меньшей мере, части сцены из изображений сцены, захваченных посредством множества распределенных воспринимающих глубину камер с помощью подхода, описанного выше.

Оборудование содержит первый приемник 401, который выполняется с возможностью принимать первое изображение и ассоциированные первые данные глубины, захваченные посредством первой воспринимающей глубину камеры. Первый приемник 401 может, таким образом, быть выполнен с возможностью принимать первое изображение, захваченное посредством первой воспринимающей глубину камеры и первых данных глубины, захваченных посредством первой воспринимающей глубину камеры. Например, изображение и ассоциированная карта глубин могут быть приняты от стереокамеры (после оценки диспаратности) или диапазонной воспринимающей глубину камеры. Первая воспринимающая глубину камера может, в частности, соответствовать узлу N1 на фиг. 3. Первые данные глубины могут быть любыми данными, указывающими глубину для первого изображения. Первые данные глубины могут быть картой глубин, но могут также быть другими данными глубины, включающими в себя, например, сеточную модель или информацию параллакса, указанную посредством другого изображения.

Аналогично, оборудование содержит второй приемник 403, который выполняется с возможностью принимать второе изображение и ассоциированные вторые данные глубины, захваченные посредством второй воспринимающей глубину камеры. Второй приемник 403 может, таким образом, быть выполнен с возможностью принимать второе изображение, захваченное посредством второй воспринимающей глубину камеры изображений, и вторые данные глубины, захваченные посредством второй воспринимающей глубину камеры изображений. Например, изображение и ассоциированная карта глубины могут быть приняты от стереокамеры (после оценки диспаратности) или диапазонной воспринимающей глубину камеры. Вторая воспринимающая глубину камера может, в частности, соответствовать узлу N2 на фиг. 3. Вторые данные глубины могут быть любыми данными, указывающими глубину для второго изображения. Вторые данные глубины могут быть картой глубины, но могут также быть другими данными глубины, включающими в себя, например, сеточную модель или информацию параллакса, указанную посредством другого изображения.

Оборудование может быть выполнено с возможностью определять вектор относительного размещения, указывающий размещение второй воспринимающей глубину камеры на основе изображения, захваченного посредством первой воспринимающей глубину камеры, и, в частности, на основе обнаружения реперной метки второй воспринимающей глубину камеры в изображении, захваченном посредством первой воспринимающей глубину камеры, и по ассоциированным данным глубины. Вектор параметра позиции отсчета дополнительно основывается на предварительно определенном различии размещения, т.е. определение выполняется на основе предварительно определенного значения размещения реперной метки относительно второй воспринимающей глубину камеры. Во многих вариантах осуществления предварительно определенное различие размещения может быть нулевым, и, таким образом, вектор параметров позиции отсчета может быть определен на основе размещения реперной метки, поскольку размещение реперной метки и размещение воспринимающей глубину камеры является одним и тем же.

Первый приемник 401 соединяется с детектором 405, который выполняется с возможностью обнаруживать свойство позиции изображения для реперной метки в первом изображении. Свойство позиции изображения указывает позицию реперной метки в первом изображении.

Детектор может иметь информацию, относящуюся к визуальным (и возможно глубине) свойствам реперной метки, и может искать изображение для объекта, которое соответствует визуальным (и возможно глубине) свойствам реперной метки. Во многих вариантах осуществления детектор 405 может иметь априори информацию об общих визуальных свойствах потенциальных реперных меток и может, в частности, иметь информацию общих параметров для всех реперных меток. Он может затем искать изображение для объекта, имеющего эти свойства, и если нашел, он будет определять соответствующую позицию изображения. Он может далее переходить к анализу конкретных свойств реперной метки, чтобы идентифицировать, например, ориентацию реперной метки, а также свойство, указывающее идентичность камеры, с которой реперная метка ассоциируется, т.е. в конкретном примере второй воспринимающей глубину камеры.

В некоторых вариантах осуществления детектор 405 может дополнительно рассматривать значения глубины соответствующей карты глубин. Например, реперная метка может иметь известную 3D-геометрию/размер, и обнаружение реперной метки может быть облегчено и/или сделано более точным и/или надежным посредством рассмотрения также карты глубин, и, в частности, если это проявляет характеристики, которые соответствуют характеристикам, ожидаемым для реперной метки.

Может быть присоединен детектор 405, чтобы обнаруживать свойство позиции изображения на основе какой-либо информации, предоставленной посредством первой воспринимающей глубину камеры. Оно может во многих вариантах осуществления быть основано только на первом изображении, но более часто оно может также учитывать информацию глубины, которая может быть представлена посредством диспаратности между различными камерами. В качестве конкретного примера, на основе выходных данных от стереокамеры, детектор 405 может обнаруживать метку в левом и правом изображении с помощью только текстуры и использовать оценку диспаратности на уровне каждой метки, чтобы уменьшать ложные тревоги (сопоставляя шкалу метки с диспаратностью). Одной причиной делать это может быть то, что алгоритм оценки плотной диспаратности полного изображения, который может быть использован для конечного представления сцены, является слишком интенсивным в вычислительном отношении для работы в реальном времени.

Детектор 405 соединяется с процессором 407 размещения, который выполняется с возможностью определять вектор относительного размещения, который указывает размещение второй чувствительной к глубине камеры изображения относительно первой чувствительной к глубине камеры глубины. Процессор 407 размещения дополнительно определяет вектор относительного размещения на основе первых данных глубины.

Определение дополнительно основывается на предварительно определенном различии размещения. Это может быть непосредственным рассмотрением предварительно определенного различия размещения, например, посредством оценочных значений вектора предварительно определенного различия размещения. В других вариантах осуществления предварительно определенное различие размещения может быть фиксированным образом включено в способ определения, например, по всем определенным позициям реперной метки, смещаемым на заданное значение перед дальнейшим использованием. В некоторых вариантах осуществления, предварительно определенное различие размещения является известным как равное нулю и соответствующее размещениям реперной метки и воспринимающей глубину камеры, являющимся одинаковыми. В этом случае, предварительно определенное различие размещения может по своей природе быть включено в определение вектора относительного размещения посредством вектора относительного размещения, определяемого для реперной метки, а затем также используемого для воспринимающей глубину камеры.

В качестве примера, посредством анализа позиции изображения для реперной метки, процессор 407 размещения может определять направление, в котором реперная метка обнаруживается относительно позиции камеры, поскольку она зависит от соответствия между направлениями от камеры и позиций изображения, соответствующих этим камерам. Соответственно, позиция изображения может предоставлять возможность процессору 407 размещения вычислять относительное направление от первой воспринимающей глубину камеры по направлению к реперной метке и, таким образом, второй воспринимающей глубину камере.

Кроме того, на основе первых данных глубины, расчетная глубина объекта изображения, соответствующего реперной метке, может быть определена, и из этого соответствующее расстояние до реперной метки, и, таким образом, второй воспринимающей глубину камеры, может быть определено. Таким образом, относительное направление и расстояние от первой воспринимающей глубину камеры до второй воспринимающей глубину камеры может быть определено.

Дополнительно, если реперная метка является поворотно переменной, т.е. вращение вокруг определенного направления приводит в результате к другому внешнему виду реперной метки для первой воспринимающей глубину камеры, процессор 407 размещения может обнаруживать вращение реперной метки в изображении. Соответственно, можно определять ориентацию второй воспринимающей глубину камеры относительно первой воспринимающей глубину камеры, и, в частности, вращение второй воспринимающей глубину камеры вокруг взаимосоединяющей линии.

Таким образом, в некоторых вариантах осуществления, процессор 407 размещения может быть выполнен с возможностью определять, по меньшей мере, одно значение ориентации в ответ на вращательно переменное визуальное свойство реперной метки. Вращательно переменное визуальное свойство может, например, быть предоставлено как вращательно переменный рисунок на реперной метке, имеющий вращательно неизменную форму.

Процессор 407 размещения может, таким образом, в частности, определять вектор относительного размещения, который определяет и относительную позицию, и относительную ориентацию второй воспринимающей глубину камеры относительно первой воспринимающей глубину камеры. Вектор относительного размещения может, в частности, содержать три значения, указывающих относительную позицию, и одно или более значений, указывающих относительную ориентацию. Ориентация может, например, в некоторых вариантах осуществления быть предоставлена как единственное значение, указывающее относительный поворот второй воспринимающей глубину камеры относительно первой воспринимающей глубину камеры в предварительно определенной плоскости.

Вектор относительного размещения соответственно предоставляет, по меньшей мере, различие трехмерной позиции между первой и второй воспринимающих глубину камер. Кроме того, он будет типично содержать, по меньшей мере, одно значение ориентации для второй камеры.

Процессор 407 размещения может, например, быть выполнен с возможностью определять пространственную позицию для реперной метки в ответ на размещение первой воспринимающей глубину камеры и значение глубины первой позиции реперной метки в первом изображении. Например, пространственная позиция реперной метки может быть определена как позиция первой воспринимающей глубину камеры, сдвинутая на значение глубины в направлении просмотра/ориентации первой глубинной камеры. Вектор относительного размещения может затем быть определен посредством смещения пространственной позиции реперной метки на предварительно определенное различие размещения.

Процессор 407 размещения связывается с генератором 409, который дополнительно связывается с первым приемником 401 и вторым приемником 403. Генератор 409 подает вектор относительного размещения, а также первое и второе изображения и типично также первую и вторую карты глубин.

Генератор 409 выполняется с возможностью формировать представление, по меньшей мере, части сцены в ответ на объединение, по меньшей мере, первого изображения и второго изображения на основе вектора относительного размещения, и типично также на основе первой и второй карт глубин.

Во многих вариантах осуществления представление (часть) сцены может быть представлением изображения, и может, в частности, быть одним или более изображениями, соответствующими области просмотра для заданной точки обзора (или точек обзора). Например, на основе принятого первого и второго изображений и вектора относительного размещения, генератор 105 изображения может формировать изображение, которое показывает сцену с точки обзора между двумя камерами. В таком случае, два изображения могут, например, дополнять друг друга посредством одного изображения, предоставляющего информацию для областей, которые загорожены в другом изображении.

Более обобщенно, вектор относительного размещения может быть использован, чтобы позиционировать первую и вторую воспринимающие глубину камеры в системе координат, в которой точка обзора также предоставлена. Генератор 409 может затем формировать изображение для области просмотра точки обзора посредством сдвига обзора на основе первого и второго изображений и на основе первой и второй карт глубин.

В качестве конкретного примера определения вектора относительного размещения и последующего формирования изображения, обе карты глубин могут сначала быть преобразованы в сетку, например, посредством создания двух треугольников на каждый квадрат 2×2 пикселов карты глубин. Изображения от каждой камеры могут теперь непосредственно служить в качестве текстуры, чтобы синтезировать изображение новой виртуальной точки обзора между двумя камерами захвата. Результатом являются два синхронизированных изображения, каждое из них искажается от другой камеры захвата. Два синтезированных изображения могут быть объединены в конечное изображение посредством анализа результирующих буферов глубины, которые присутствуют в графическом механизме, таком как OpenGL или Vulkan. Анализ буферов глубины после искажения указывает, какой из двух синтезированных видов должен быть использован. Например, если буфер глубины первого синтетического изображения находится близко к камере по сравнению со вторым синтетическим изображением, тогда второе синтетическое изображение должно быть использовано в этом пикселе, поскольку, видимо, изображается незагороженная фоновая текстура.

Во многих вариантах осуществления оборудование может дополнительно быть выполнено с возможностью выполнять также двухстороннюю операцию, т.е. можно определять второй вектор относительного размещения, который указывает относительное размещение первой воспринимающей глубину камеры, как видно из второй воспринимающей глубину камеры. В таком случае, оборудование может соответственно содержать второй детектор, который повторяет операцию детектора 405, но вместо этого пытается обнаружить вторую реперную метку, которая представляет позицию первой воспринимающей глубину камеры во втором изображении. Он может дополнительно содержать второй процессор размещения, который повторяет работу процессора 407 размещения, чтобы определять второй вектор относительного размещения из изображений, данных глубины, предварительно определенного различия размещения для второй реперной метки относительно первой воспринимающей глубину камеры, второй предварительно определенной и обнаруженной позиции изображения во втором изображении. Будет понятно, что второй детектор и второй процессор размещения могут быть реализованы посредством детектора 405 и процессора 407 размещения на фиг. 4, соответственно, повторяющих ту же работу, что и при определении первого вектора относительного размещения, но меняя местами первое и второе изображения, а также первую и вторую карты глубин, и обнаруживая вторую реперную метку вместо первой реперной метки (в случае, когда выполняются поиски отдельных реперных меток).

В таком случае, двухсторонняя операция, таким образом, выполняется с относительными размещениями первой и второй воспринимающих глубину камер, определяемыми как с точки обзора первой воспринимающей глубину камеры, так и с точки обзора второй воспринимающей глубину камеры.

Генератор 409 может в таком варианте осуществления переходить к использованию обоих, первого и второго определенных векторов относительного размещения, чтобы формировать представление и, в частности, изображение для различной точки обзора. В качестве примера, генератор 409 может переходить к определению среднего вектора относительного размещения из первого и второго векторов относительного размещения, и генератор 409 может затем использовать этот средний вектор относительного размещения для формирования изображения.

Как упомянуто ранее, конфигурация захвата может во многих вариантах осуществления включать в себя большое число камер, таких как, например, 10, 20 или даже более 50 камер. В таком сценарии подход, описанный выше для пары камер, может быть повторен для множества пар камер с множеством взаимосвязанных векторов относительного размещения, соответственно сформированных. Эти взаимосвязанные вектора относительного размещения могут затем быть обработаны, чтобы формировать представление сцены, такое как, например, набор изображений или во многих вариантах осуществления модель сцены.

В такой системе оборудование может, например, принимать изображения и карты глубин от всех воспринимающих глубину камер. Оно может затем переходить к выполнению процесса, описанного выше, для всех пар камер. Оно может, в частности, формировать два вектора относительного размещения для каждой пары, каждый на основе каждой камеры пары (или эквивалентно различные направления могут быть обработаны как различные пары, при этом каждая приводит в результате к одному вектору относительного размещения).

В такой системе типично является неизвестным, какие камеры являются видимыми для других камер, и детектор 405 может быть выполнен с возможностью выполнять обработку, чтобы устранять такую неопределенность. Например, для заданной первой воспринимающей глубину камеры, принятое первое изображение может быть обработано для каждой из возможных других камер. Например, каждая камера, выгружающая изображение и карту глубины, может также выгружать описание реперной метки, присоединенной к этой камере. Для первой камеры детектор 405 может затем последовательно обрабатывать первое изображение для всех других камер. Он может, в частности, для заданной камеры искать изображение для реперной метки, имеющей свойства, соответствующие свойствам, сообщенным заданной камерой. Если совпадение не обнаруживается, детектор 405 переходит к следующей камере. Однако, если совпадение обнаруживается, первая камера переходит к формированию вектора относительного размещения, как описано выше. После того как все потенциальные камеры были обработаны, оборудование переходит к следующей камере и повторяет процесс.

Во многих вариантах осуществления детектор 405 может вместо этого искать изображение, чтобы находить любые объекты изображения, которые могут соответствовать реперной метке, например, на основе характерных визуальных (и/или глубины) свойств для реперных меток. Для каждой обнаруженной потенциальной реперной метки детектор 405 может затем переходить к оценке особых свойств реперной метки, которые могут идентифицировать камеру, ассоциированную с реперной меткой. Например, особый рисунок (например, QR-код) может уникально идентифицировать обнаруженную реперную метку/камеру. На основе этого обнаружения оборудование может переходить к идентификации принятого изображения и картам глубин для обнаруженной камеры.

Идентификация может, например, быть разрешена посредством предоставления каждой реперной метке уникального внешнего вида (формы, цвета, рисунка и т.д.) или с помощью активных (например, LED) меток, которые отправляют идентифицирующие коды.

Таким образом, для каждого узла/камеры, поднабор других узлов, которые являются видимыми из камеры, может быть обнаружен, и может затем быть как идентифицирован, так и определено его местоположение. Таким образом, для каждого узла формируется набор векторов относительного размещения, который сопоставляется из этой камеры с другими камерами. В частности, вектор относительного размещения может включать в себя вектор переноса, указывающий различие в позиции, и, кроме того, по меньшей мере, один параметр ориентации/направления может быть включен.

Процесс соответственно приводит в результате к типично большому числу формируемых векторов относительного размещения, которые отражают относительные размещения камер. На основе этих векторов относительного размещения генератор 409 может регистрировать камеры в общей системе координат. Процесс регистрации может для каждого узла, в частности, определять матрицу вращения и вектор переноса, который размещает узлы в общей системе координат.

Как иллюстрировано на фиг. 5, генератор 409 может содержать приемник 501, который принимает все сформированные вектора относительного размещения. Приемник 501 связывается с процессором 503 координат, который выполняется с возможностью определять размещения камеры в общей системе координат на основе векторов относительного размещения. Генератор 409 может затем формировать представление сцены из этой конфигурации. Например, представление может быть предоставлено как сочетание регистрационных данных, т.е. данных, описывающих позицию всех камер в единой системе координат, вместе с принятыми изображениями и картами глубин.

Фиг. 6 иллюстрирует пример того, как третья камера может быть зарегистрирована. В примере, узел 2 и 3 (N2, N3) могут уже быть зарегистрированы, т.е. их размещения могут быть известными. Дополнительно, генератор 409 может знать векторы относительного размещения узла 1 (N1) относительно узлов 2 и 3. Соответственно, генератор 409 знает позицию узла 1 либо от узла 2, либо от узла 3, и 3D-ориентацию узла 1, поскольку узел 1 наблюдает узлы 2 и 3. Таким образом, пример показывает конфигурацию из трех узлов, где узел 1 видит два других узла 2, 3, каждый имеет реперную метку с целью идентификации и регистрации. Поскольку узлы 2 и 3 могут, оба, определять свое размещение относительно узла 1, 3D-данные от всех трех узлов могут быть помещены в общую систему координат. Поскольку узел 1 наблюдает расстояние до обоих узлов 2 и 3, избыточная операция проверки/фильтрации является возможной по определению относительной позиции узлов 2 и 3.

Различные подходы и алгоритмы могут быть использованы для определения размещений воспринимающих глубину камер в общей системе координат. Во многих вариантах осуществления процессор 503 координат может быть выполнен с возможностью выполнять процесс оптимизации соединения, принимающий все векторы относительного размещения во внимание.

В частности, функция стоимости может быть определена, которая зависит от различий между (измеренными) векторами относительного размещения и соответствующими (отрегулированными) векторами относительного размещения, которые получаются в результате размещений узлов в общей системе координат.

В частности, в общей системе координат, отрегулированный вектор размещения между двумя узлами получается в результате назначенных размещений этих двух узлов. Поскольку размещения изменяются, также поступают и отрегулированные вектора относительного размещения, которые указывают различие между назначенными размещениями.

Функция стоимости может включать в себя сравнение этого отрегулированного вектора относительного размещения с соответствующим измеренным вектором относительного размещения, определенным посредством измерений, как описано ранее. Таким образом, отрегулированный вектор относительного размещения, получающийся в результате назначенных размещений двух камер, сравнивается с измеренным вектором относительного размещения для двух камер, и чем больше различие, тем больше значение функции стоимости. Функция стоимости может включать в себя сравнение для каждого из измеренных векторов относительного размещения для всех пар камер.

Процессор 503 координат может затем изменять назначенные размещения, чтобы искать оптимизированное назначение, для которого функция стоимости является минимальной, и соответствующая конфигурация может быть зарегистрирована.

Будет понятно, что различные способы и алгоритмы для такой операции оптимизации будут известны специалисту и, следовательно, для краткости не будут дополнительно описаны в данном документе.

Во многих сценариях оптимизации может содействовать другая информация. Например, первоначальные позиции узлов/камер могут быть назначены на основе другой функциональности, такой как, например, на основе позиционной информации из расчетов GPS-позиции, включенной в каждую камеру.

В некоторых вариантах осуществления процессор 407 размещения может быть выполнен с возможностью определять вектор относительного размещения на основе предварительно определенного предположения, что, по меньшей мере, один параметр ориентации является идентичным для первой воспринимающей глубину камеры и второй воспринимающей глубину камеры изображения. Например, во многих вариантах осуществления, процессор 407 размещения может быть основан на предположении, что первая и вторая камеры, обе позиционируются так, что они выровнены по уровню и являются полностью горизонтальными.

Такой подход может предоставлять возможность процессору 407 размещения уменьшать число неизвестных переменных и, следовательно, может облегчать определение вектора относительного размещения. Более значимо во многих вариантах осуществления, он может облегчать регистрацию узлов в общей системе координат. В частности, он может предоставлять возможность для более эффективного процесса оптимизации, когда, например, более простая функция стоимости может быть использована.

В качестве конкретного примера, предположим, что мы размещаем каждую восприимчивую к глубине камеру на треножнике с фиксированной/номинальной высотой и приблизительно по уровню (например, приблизительному уровню, который измеряется во время размещения с помощью традиционного подхода с пузырьком воздуха в жидкости). Поскольку все камеры находятся приблизительно на одинаковой (известной) высоте над поверхностью земли и приблизительно по уровню, мы можем начинать итеративный алгоритм поиска с двумя из трех углов ориентации, инициализированными в ноль градусов для каждой камеры, а также при заданной высоте. Итеративный алгоритм минимизации стоимости, таким образом, будет ближе к минимуму, и существует меньше неизвестных для определения. Это означает, что конвергенция будет более быстрой. Кроме того, мы можем ограничивать решение, чтобы не заходить слишком далеко от известных априори ориентаций и высоты.

Как ранее описано, во многих вариантах осуществления, система может формировать представление части сцены посредством одного или более изображений, которые, в частности, формируются из захваченных изображений и информации глубины. В действительности, в некоторых вариантах осуществления, представление может просто быть единственным изображением сцены, сформированным из захваченных изображений и карт глубины, и основано на объединениях с помощью регистрационной информации. Например, алгоритм сдвига вида может быть применен к одному изображению с незагороженными областями, заполняемыми из изображений от других камер, выбранных на основе информации о размещении. Таким образом, изображение с точек обзора, отличных от точек обзора камеры, может быть сформировано.

В качестве другого примера, в некоторых вариантах осуществления, генератор 409 может быть выполнен с возможностью формировать трехмерную модель сцены на основе векторов относительного размещения и, в частности, на основе конфигурации всех камер в общей системе координат.

Например, каждое измерение глубины каждой камеры может быть использовано для заполнения предварительно определенного 3D-объема/массива. После этой операции заполнения совокупность непустых пикселов формирует 3D-объемное представление. Позиции на внешней поверхности объема могут преобразовываться в сетку, чтобы представлять 3D-модель.

Распределение функциональности описанного оборудования может быть различным в различных вариантах осуществления в зависимости от предпочтений и требований отдельного варианта осуществления и прикладной задачи.

В некоторых вариантах осуществления оборудование может быть реализовано как автономное центральное устройство или сервер, которому все камеры передают захваченное изображение и информацию глубины. В других вариантах осуществления функциональность может быть распределена в системе захвата. Например, детектор 405 может быть реализован в каждой камере, и обнаруженная позиция изображения может быть сообщена центральному устройству, которое реализует процессор 407 размещения и генератор 409, и которые соответственно переходят к формированию значений вероятности и представлению. В еще одних вариантах осуществления детектор 405 и процессор 407 размещения может быть реализован в каждой воспринимающей глубину камере, и результирующие векторы относительного размещения могут быть переданы центральному генератору 409.

Таким образом, основное описание сфокусировано на сетевой топологии на основе главного устройства, которое собирает все данные и регистрирует камеры. Однако другие альтернативы могут, например, включать в себя следующее:

Каждая камера имеет хранилище для видеоизображений, и вся обработка, включающая в себя калибровку, выполняется в автономном режиме (после записи).

Камеры обмениваются информацией по RF (например, WiFi или Bluetooth) о своих реперных метках и наблюдаемых реперных метках с позициями. Вместе, камеры формируют общую систему координат,

Мобильные камеры (дроны) транслируют изменения позиции.

Как иллюстрировано на фиг. 7, оборудование может в некоторых вариантах осуществления содержать процессор 701 захвата для определения свойства захвата сцены, когда свойство захвата указывает охват сцены изображениями, захваченными посредством множества воспринимающих глубину камер. Свойство захвата может, в частности, указывать качество захвата.

Будет понятно, что указание качества захвата может быть различным в различных вариантах осуществления, и что различные показатели или параметры для оценки качества могут быть использованы в различных вариантах осуществления. В частности, в некоторых вариантах осуществления, указание качества захвата может быть указанием числа камер конфигурации, которые захватывают конкретные части сцены. Например, если, скажем, более пяти камер захватывают конкретную часть сцены, указание качества захвата может указывать, что качество захвата для этой части сцены находится на максимуме. Если камеры не захватывают конкретную часть сцены, указание качества захвата может указывать, что качество захвата для этой части сцены находится на минимуме. Для 1-4 камер, захватывающих часть сцены, указание качества захвата может указывать промежуточные уровни качества. Таким образом, указание качества захвата может отражать число камер, захватывающих различные части сцены, и, таким образом, может отражать, что чем больше камер, которые захватывают часть сцены, тем лучше качество изображения, например, тем ниже риск существования загороженных элементов.

В некоторых вариантах осуществления указание качества захвата может изменяться для различных частей сцены. В некоторых вариантах осуществления единственное значение для указания качества захвата может быть сформировано для сцены в целом, например, как среднее число камер, захватывающих часть сцены, или как фрагмент сцены, который охватывается посредством меньшего количества по сравнению с заданным числом камер.

Процессор 701 захвата связывается с пользовательским интерфейсом 703, который может формировать пользовательские выходные данные, указывающие определенное свойство захвата, и, в частности, указание качества захвата.

В качестве примера низкой сложности, оборудование может содержать дисплей, на котором пользовательский интерфейс 703 может представлять простое указание того, является ли приемлемым или нет общее качество захвата.

В некоторых вариантах осуществления процессор 701 захвата может, в частности, идентифицировать часть сцены, для которых указание качества захвата указывает пониженное качество захвата. Например, он может идентифицировать части сцены, для которых ни одна или только одна камера захватила сцену. Он может затем переходить к отображению этих частей и может указывать размещение для новой воспринимающей глубину камеры, так что это качество может быть улучшено для этой части сцены.

Во многих вариантах осуществления пользовательский интерфейс 703 может дополнительно или альтернативно показывать регистрационную информацию, такую как, в частности, позиции и ориентации воспринимающих глубину камер в общей системе координат.

Таким образом, во многих вариантах осуществления, информация о процессе идентификации и регистрации может быть сделана доступной пользователю, предоставляя возможность регулировки позиции узлов, или добавлений узлов, чтобы улучшать конфигурацию захвата.

Подход может, в частности, быть использован для проверки действительности/производительности заданной настройки камеры.

Например, во время установки системы камер, объекты в сцене могут загораживать реперную метку другой камеры. Это может быть обнаружено автоматически. Также возможно тогда советовать человеку, который устанавливает систему, где размещать следующую камеру, так что все камеры могут быть связаны в цепочку вместе. При наличии такой процедуры возможно автоматически обнаруживать, может ли или нет данная конфигурация узла камеры быть подходящей или нет. Основой для этого обнаружения может быть определение того, предоставляют ли возможность позиция и размещение камер полностью охватывать сцену. Оно может также быть основано на обнаружении того, могут ли все камеры быть зарегистрированы, т.е. могут ли размещения быть определены для всех камер.

Чтобы оператор быстро настроил систему камер, является очень полезным визуализировать какие-либо проблемы с процессом калибровки, и любые возможности улучшения качества посредством перемещения или добавления узлов камер.

Для узлов камер, которые успешно зарегистрированы, возможно воспроизводить их с помощью компьютерной графики. Неопределенности в регистрации могут быть визуализированы с помощью пузырей или линий или других графических элементов, указывающих направление(я) неопределенности. Подходящая визуализация может рисовать усеченный конус камеры. Это может быть очень полезным, поскольку предоставляет оператору информацию о величине перекрывания камер. Неопределенность может быть указана посредством размытия воспроизведения в этом конкретном направлении.

Эта визуализация является боле интуитивной, когда воспроизводится на устройстве, которое также является зарегистрированным, предпочтительно, очках дополненной реальности с большим полем обзора. Устанавливаемое на голову устройство (HMD) может, например, быть оснащено датчиками камеры, чтобы захватывать реперные метки камер. С помощью онлайн-регистрации влияние изменений на системы камер может быть непосредственно видно.

Более усовершенствованный пользовательский интерфейс на основе очков виртуальной реальности или дополненной реальности может визуализировать то, насколько хорошо каждая часть сцены захватывается. Это может подразумевать формирование воспроизведения захваченной 3D-сцены вместе с фактической сценой. Это воспроизведение может затем быть дополнено полезной информацией, такой как:

Тени, чтобы указывать недостаток захвата,

Число датчиков, которые захватывают элемент сцены (если есть),

Заданные свойства поверхности объекта, достаточно ли датчиков захватывают этот объект.

В некоторых вариантах осуществления генератор 409 может дополнительно быть выполнен с возможностью модифицировать вектор относительного размещения, а более конкретно, координату в общей системе координат, после определения на основе реперных меток. В частности, он может применять тонкую регулировку на основе сопоставления изображения между захваченными изображениями.

Например, для первой и второй воспринимающих глубину камер, регистрация на основе реперной метки может приводить в результате к размещению первой и второй камер. Можно затем переходить к сопоставлению первого и второго изображения, принимая во внимание различие в позициях. Например, сдвиг изображения для обоих изображений в общую центральную точку обзора может быть выполнен. В идеале, эти два изображения должны теперь совпадать. Однако, на практике, это не будет именно так, и генератор 409 может в некоторых случаях затем попытаться увидеть, является ли соответствие лучшим для легких изменений в векторах размещения. Если так, модифицированные размещения, получающиеся в результате лучшего соответствия изображений, могут заменять первоначальные размещения, определенные из рассмотрения реперных меток.

Во многих вариантах осуществления подход может быть преимущественно использован в динамической системе захвата, такой как, например, в системе видеозахвата, в которой, например, используются движущиеся видеокамеры. В таких системах синхронизация времени между различными камерами и изображениями может также потребоваться. Это может, например, быть достигнуто посредством данных о размещении, изображений и т.д., имеющих ассоциированные временные коды. Во многих системах все камеры могут, например, быть синхронизированными по времени к общей временной базе, например, на основе GPS или аналогичной синхронизации времени. В таких системах временные коды могут, например, быть использованы, чтобы координировать то, какие изображения используются для данных о размещении для конкретного момента времени и т.д.

Изобретение может реализовываться в любой надлежащей форме, включающей в себя аппаратные средства, программное обеспечение, микропрограммное обеспечение или любую комбинацию вышеозначенного. Необязательно, изобретение может реализовываться, по меньшей мере, частично как вычислительное программное обеспечение, выполняемое на одном или более процессоров данных и/или процессоров цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Действительно, функциональность может быть реализована в одном блоке, во множестве блоков или как часть других функциональных блоков. По существу, изобретение может быть реализовано в одном блоке, или может быть физически и функционально распределено между разными блоками, схемами и процессорами.

Хотя настоящее изобретение описано в связи с некоторыми вариантами осуществления, оно не имеет намерение быть ограниченным конкретной изложенной в данном документе формой. Дополнительно, хотя отличительный признак может выглядеть описанным в соединении с конкретными вариантами осуществления, специалист в области техники поймет, что различные отличительные признаки описанных вариантов осуществления могут быть объединены в соответствии с изобретением. В формуле изобретения, термин "содержащий" не исключает наличия других элементов или этапов.

Кроме того, хотя перечислены индивидуально, множество средств, элементов, схем или этапов способа могут быть реализованы, например, посредством одной схемы, блока или процессора. Дополнительно, хотя отдельные признаки могут быть включены в другие пункты формулы, они возможно могут быть выгодно объединены, и включение в другие пункты формулы не значит, что объединение признаков не является выполнимым и/или полезным. Также включение отличительного признака в одну категорию формулы изобретения не подразумевает ограничения этой категорией, а скорее указывает, что отличительный признак является одинаково применимым к другим категориям формулы изобретения при необходимости. Кроме того, порядок отличительных признаков в формуле изобретения не подразумевает какой-либо конкретный порядок, в котором отличительные признаки должны работать, и, в частности, порядок отдельных этапов в пункте способа не подразумевает, что этапы должны выполняться в этом порядке. Вместо этого, этапы могут выполняться в любом надлежащем порядке. Кроме того, единственные ссылки не исключают множества. Таким образом, ссылки на слова "один", "единственный", "первый", "второй" и т.д. не исключают множества. Ссылочные знаки в формуле изобретения предусматриваются просто в качестве поясняющего примера и не должны истолковываться как ограничивающие рамки формулы изобретения каким-либо образом.

Изобретение относится к области формирования изображений и касается оборудования для формирования представления сцены. Оборудование содержит приемник, принимающий первое изображение и ассоциированные первые данные глубины, захваченные посредством первой воспринимающей глубину камеры. Оборудование также содержит детектор, который обнаруживает свойство позиции изображения для реперной метки в первом изображении. Реперная метка представляет размещение второй воспринимающей глубину камеры изображения. Процессор размещения определяет вектор относительного размещения, указывающий размещение второй камеры относительно первой камеры в ответ на свойство позиции изображения и данные глубины из первых данных глубины для позиции изображения реперной метки. Второй приемник принимает второе изображение и вторые данные глубины, захваченные посредством второй воспринимающей глубину камеры изображения. Генератор формирует представление, по меньшей мере, части сцены в ответ на объединение, по меньшей мере, первого изображения и второго изображения на основе вектора относительного размещения. Технический результат заключается в увеличении точности, уменьшении сложности и повышении гибкости процесса формирования сцены. 2 н. и 13 з.п. ф-лы, 7 ил.

1. Оборудование для формирования представления, по меньшей мере, части сцены из изображений сцены, захваченных посредством множества распределенных воспринимающих глубину камер, оборудование содержит:

первый приемник (401) для приема первого изображения, захваченного посредством первой воспринимающей глубину камеры, и первых данных глубины, захваченных посредством первой воспринимающей глубину камеры;

детектор (405) для обнаружения свойства позиции изображения для реперной метки в первом изображении, причем свойство позиции изображения указывает позицию реперной метки в первом изображении, а реперная метка представляет размещение второй воспринимающей глубину камеры изображения, имея предварительно определенное различие размещения относительно второй воспринимающей глубину камеры;

процессор (407) размещения для определения вектора относительного размещения, указывающего размещение второй воспринимающей глубину камеры изображения относительно первой воспринимающей глубину камеры, в ответ на свойство позиции изображения, и данных глубины из первых данных глубины для позиции изображения реперной метки, и предварительно определенного различия размещения, при этом вектор относительного размещения является, по меньшей мере, трехмерным;

второй приемник (403) для приема второго изображения, захваченного посредством второй воспринимающей глубину камеры изображения, и вторых данных глубины, захваченных посредством второй воспринимающей глубину камеры изображения;

генератор (409) для формирования представления, по меньшей мере, части сцены в ответ на объединение, по меньшей мере, первого изображения и второго изображения на основе вектора относительного размещения.

2. Оборудование по п. 1, в котором генератор (409) выполняется с возможностью формировать представление, чтобы содержать изображение сцены из точки обзора, отличной от точек обзора первой воспринимающей глубину камеры и второй воспринимающей глубину камеры.

3. Оборудование по п. 1, в котором генератор (409) выполняется с возможностью объединять, по меньшей мере, первое изображение и второе изображение на основе первых данных глубины и вторых данных глубины.

4. Оборудование по п. 1, в котором генератор (409) содержит приемник (501) для приема векторов относительного размещения для множества пар воспринимающих глубину камер; процессор (503) координат для определения размещений воспринимающей глубину камеры в общей системе координат для каждой из множества воспринимающих глубину камер в ответ на векторы относительного размещения, и при этом генератор (409) выполняется с возможностью формировать изображение в ответ на определенные размещения камер в одной и той же системе координат.

5. Оборудование по п. 4, в котором процессор (503) координат выполняется с возможностью определять размещения воспринимающей глубину камеры в ответ на минимизацию функции стоимости, функция стоимости зависит от различия между векторами относительного размещения и соответствующими векторами размещения, определенными из определенных размещений воспринимающей глубину камеры в общей системе координат.

6. Оборудование по любому предшествующему пункту, дополнительно содержащее:

второй детектор для обнаружения свойства позиции второго изображения для второй реперной метки во втором изображении, свойство позиции второго изображения указывает позицию второй реперной метки во втором изображении, вторая реперная метка представляет размещение первой воспринимающей глубину камеры изображения посредством наличия второго предварительно определенного различия размещения относительно первой воспринимающей глубину камеры; и

второй процессор размещения для определения второго вектора относительного размещения, указывающего позицию первой воспринимающей глубину камеры изображения относительно второй воспринимающей глубину камеры, в ответ на свойство позиции второго изображения и данные глубины из вторых данных глубины для позиции изображения второй реперной метки, и второго предварительно определенного различия размещения, второй вектор относительного размещения является, по меньшей мере, трехмерным; и при этом генератор (409) дополнительно выполняется с возможностью формировать представление в ответ на второй вектор относительного размещения.

7. Оборудование по любому предшествующему пункту, в котором визуальное свойство реперной метки указывает идентичность второй воспринимающей глубину камеры, и детектор (405) выполняется с возможностью определять идентичность второй воспринимающей глубину камеры в ответ на визуальное свойство.

8. Оборудование по любому предшествующему пункту, в котором вектор относительного размещения содержит, по меньшей мере, одно значение ориентации.

9. Оборудование по п. 8, в котором процессор (407) размещения выполняется с возможностью определять, по меньшей мере, одно значение ориентации в ответ на вращательно переменное визуальное свойство реперной метки.

10. Оборудование по любому предыдущему пункту, в котором процессор (407) размещения выполняется с возможностью определять вектор относительного размещения на основе предварительно определенного предположения, что, по меньшей мере, один параметр ориентации является идентичным для первой воспринимающей глубину камеры изображения и второй воспринимающей глубину камеры изображения.

11. Оборудование по любому предшествующему пункту, дополнительно содержащее процессор (701) захвата для определения свойства захвата сцены в ответ на вектор относительного размещения, свойство захвата указывает, как сцена охватывается изображениями, захваченными посредством множества воспринимающих глубину камер; и пользовательский интерфейс (703) для формирования пользовательских выходных данных, указывающих свойство захвата.

12. Оборудование по п. 11, в котором процессор (701) захвата выполняется с возможностью определять, по меньшей мере, одну часть сцены, для которой указание качества захвата указывает пониженное качество, и для формирования пользовательских выходных данных, указывающих размещение для воспринимающей глубину камеры изображения, чтобы захватывать, по меньшей мере, часть сцены.

13. Оборудование по любому предшествующему пункту, в котором генератор (409) выполняется с возможностью модифицировать вектор относительного размещения в ответ на соответствие изображения для первого изображения и второго изображения.

14. Оборудование по любому предыдущему пункту, в котором генератор (409) выполняется с возможностью формировать трехмерную модель сцены в ответ на вектор относительного размещения, первое изображение и второе изображение.

15. Способ формирования представления, по меньшей мере, части сцены из изображений сцены, захваченных посредством множества распределенных воспринимающих глубину камер, при этом способ содержит этапы, на которых:

принимают первое изображение, захваченное посредством первой воспринимающей глубину камеры, и первые данные глубины, захваченные посредством первой воспринимающей глубину камеры;

обнаруживают свойство позиции изображения для реперной метки в первом изображении, свойство позиции изображения указывает позицию реперной метки в первом изображении, а реперная метка представляет размещение второй воспринимающей глубину камеры изображения посредством наличия предварительно определенного различия размещения относительно второй воспринимающей глубину камеры;

определяют вектор относительного размещения, указывающий размещение второй воспринимающей глубину камеры изображения относительно первой воспринимающей глубину камеры, в ответ на свойство позиции изображения, и данные глубины из первых данных глубины для позиции изображения реперной метки, и предварительно определенное различие размещения, вектор относительного размещения является, по меньшей мере, трехмерным;

принимают второе изображение, захваченное посредством второй воспринимающей глубину камеры изображения, и вторые данные глубины, захваченные посредством второй воспринимающей глубину камеры изображения; и

формируют представление, по меньшей мере, части сцены в ответ на объединение, по меньшей мере, первого изображения и второго изображения на основе вектора относительного размещения.