УСТРОЙСТВО ФОРМИРОВАНИЯ, СПОСОБ ФОРМИРОВАНИЯ И ПРОГРАММА ДЛЯ ТРЕХМЕРНОЙ МОДЕЛИ Российский патент 2021 года по МПК G06T7/55 H04N5/232 

Уровень техники

Область техники

[0001] Настоящее изобретение относится к формированию трехмерной модели объекта в изображении.

Предшествующий уровень техники

[0002] Традиционно, в качестве способа оценки трехмерной формы объекта посредством использования изображения с несколькими точками обзора, захваченного синхронно из различных точек обзора посредством множества камер, известен способ, называемый "способом пересечения визуальных объемных величин" (PTL 1, NPL 1). Фиг. 1A–1C являются схемами, показывающими базовые принципы способа пересечения визуальных объемных величин. Из изображения, полученного посредством захвата определенного объекта, изображение с маской, представляющее двумерный силуэт объекта, получается на поверхности считывания изображений (фиг. 1A). В таком случае, рассматривается пирамидальная форма, распространяющаяся в трехмерное пространство таким образом, что каждая сторона протягивается из центра захвата изображений камеры и проходит через каждую точку на контуре изображения с маской (фиг. 1B). Эта пирамидальная форма называется целевой "визуальной объемной величиной" посредством релевантной камеры. Дополнительно, посредством нахождения общей области множества визуальных объемных величин, т.е. пересечения визуальных объемных величин, находится трехмерная форма (трехмерная модель) объекта (фиг. 1C). Как описано выше, в оценке формы посредством способа пересечения визуальных объемных величин, трехмерная форма объекта оценивается посредством проецирования точки дискретизации в пространстве, имеющем вероятность того, что объект существует, на изображение с маской, и верификации того, включена или нет проецируемая точка в изображение с маской, общее для множества точек обзора.

Список библиографических ссылок

Патентные документы

[0003] PTL 1. Выложенный патентный документ Японии номер 2014–10805

Непатентный документ

[0004] NPL 1. Laurentini A.: "The Visual Hull Concept for Silhouette–Based Image Understanding", IEEE Transcriptions Pattern Analysis and Machine Intelligence, издание 16, номер 2, стр. 150–162, февраль 1994 года

Сущность изобретения

Проблемы, разрешаемые изобретением

[0005] В способе пересечения визуальных объемных величин, описанном выше, для изображения с маской необходимо допускать корректное представление силуэта целевого объекта, и в случае, если силуэт на изображении с маской является некорректным, трехмерная форма, которая формируется, также является некорректной. Например, в случае, если предотвращается захват части человека, которая представляет собой целевой объект, посредством стационарного объекта, такого как конструкция, которая существует перед человеком, и в силу этого часть силуэта человека, представленного посредством изображения с маской, потеряна, дефект возникает в трехмерной модели, которая формируется. Дополнительно, в случае, если изображение с маской, часть силуэта которого потеряна, не используется, геометрическая точность трехмерной модели, которая получается, уменьшается. В частности, в случае, если часть, захват которой предотвращается посредством конструкции, является относительно небольшой, желательно использовать даже изображение с маской, часть силуэта которого потеряна в максимально возможной степени, поскольку можно получать трехмерную модель с высокой геометрической точностью посредством использования изображения с маской.

[0006] Настоящее изобретение осуществлено с учетом вышеописанных проблем, и его задача заключается в том, чтобы предотвращать возникновение дефекта в трехмерной модели, которая формируется даже в случае, если существует конструкция и т.п., которая предотвращает захват части целевого объекта, в сцене захвата изображений.

Средство решения проблемы

[0007] Устройство формирования согласно настоящему изобретению включает в себя: первое средство получения для получения первой информации области, указывающей область объекта во множестве изображений, полученных посредством захвата изображений из множества направлений захвата изображений; второе средство получения для получения второй информации области, указывающей область конструкции, имеющую вероятность предотвращения захвата объекта в случае захвата изображений, по меньшей мере, из одного направления захвата изображений из множества направлений захвата изображений; и средство формирования для формирования данных трехмерной формы, соответствующих объекту, на основе как первой информации области, указывающей область объекта, полученную посредством первого средства получения, так и второй информации области, указывающей область конструкции, полученную посредством второго средства получения.

Преимущества изобретения

[0008] Согласно настоящему изобретению, появляется возможность формировать трехмерную модель с высоким качеством, в которой отсутствует дефект, либо степень дефекта уменьшается, даже в случае, если существует конструкция и т.п., которая предотвращает захват части целевого объекта, в сцене захвата изображений.

[0009] Дополнительные признаки настоящего изобретения должны становиться очевидными из нижеприведенного описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

[0010] Фиг. 1A–1C являются схемами, показывающими базовые принципы способа пересечения визуальных объемных величин;

Фиг. 2A является блок–схемой, показывающей конфигурацию системы формирования изображений с виртуальной точкой обзора, и фиг. 2B является схемой, показывающей пример компоновки каждой камеры, конфигурирующей матрицу камер;

Фиг. 3 является функциональной блок–схемой, показывающей внутреннюю конфигурацию устройства формирования трехмерных моделей согласно первому варианту осуществления;

Фиг. 4 является блок–схемой последовательности операций способа, показывающей последовательность операций обработки формирования трехмерных моделей согласно первому варианту осуществления;

Фиг. 5A–5H являются схемой, показывающей пример изображения, захваченного посредством каждой камеры;

Фиг. 6A–6H являются схемой, показывающей пример маски конструкции;

Фиг. 7A–7H являются схемой, показывающей пример маски переднего плана;

Фиг. 8A–8H являются схемой, показывающей пример интегрированной маски;

Фиг. 9 является схемой, показывающей пример интегрированной трехмерной модели, которая формируется на основе интегрированной маски;

Фиг. 10 является схемой, показывающей пример трехмерной модели, которая формируется посредством использования только маски переднего плана посредством традиционного способа;

Фиг. 11 является блок–схемой последовательности операций способа, показывающей последовательность операций обработки формирования трехмерных моделей согласно второму варианту осуществления;

Фиг. 12A является схемой, показывающей интегрированную трехмерную модель, которая формируется на основе интегрированной маски, фиг. 12B является схемой, показывающей трехмерную модель конструкции, которая формируется только на основе маски конструкции, и фиг. 12C являются схемой, показывающей трехмерную модель только переднего плана, полученную из различия между интегрированной трехмерной моделью на фиг. 12A и трехмерной моделью конструкции на фиг. 12B;

Фиг. 13A–13C являются схемой, показывающей пример вокселов, конфигурирующих трехмерную модель согласно третьему варианту осуществления;

Фиг. 14 является схемой, показывающей пример компоновки камер системы формирования изображений с виртуальной точкой обзора согласно третьему варианту осуществления;

Фиг. 15 является схемой, показывающей пример функциональной конфигурации устройства формирования трехмерных моделей согласно третьему варианту осуществления;

Фиг. 16 является блок–схемой последовательности операций способа, показывающей процедуру обработки, выполняемую посредством устройства формирования трехмерных моделей согласно третьему варианту осуществления;

Фиг. 17A–17E являются схемами, показывающими примеры захваченных изображений, захваченных посредством множества камер согласно третьему варианту осуществления;

Фиг. 18A–18E являются схемой, показывающей пример изображения с маской конструкции согласно третьему варианту осуществления;

Фиг. 19A–19E являются схемой, показывающей пример изображения с маской переднего плана согласно третьему варианту осуществления;

Фиг. 20A–20E являются схемой, показывающей пример изображения с интегрированной маской, полученного посредством интегрирования изображения с маской переднего плана и изображения с маской конструкции согласно третьему варианту осуществления;

Фиг. 21 является схемой, показывающей воксельное пространство, которое представляет собой цель формирования трехмерной модели системы спортивного стадиона согласно третьему варианту осуществления;

Фиг. 22 является схемой, показывающей количество истинных определений/количество ложных определений согласно третьему варианту осуществления;

Фиг. 23 является схемой, показывающей пример трехмерной модели, которая формируется посредством применения определения на основе пороговых значений количества ложных определений согласно третьему варианту осуществления;

Фиг. 24 является схемой, показывающей пример трехмерной модели, которая формируется посредством применения определения на основе пороговых значений количества ложных определений и определения на основе пороговых значений количества истинных определений согласно третьему варианту осуществления;

Фиг. 25 является схемой, показывающей трехмерную модель в случае, если возникает дефект;

Фиг. 26 является схемой, показывающей пример функциональной конфигурации устройства формирования трехмерных моделей согласно четвертому варианту осуществления;

Фиг. 27 является блок–схемой последовательности операций способа, показывающей процедуру обработки, выполняемую посредством устройства формирования трехмерных моделей согласно четвертому варианту осуществления;

Фиг. 28 является схемой, показывающей компоновку камер системы формирования изображений с виртуальной точкой обзора и пример переднего плана согласно четвертому варианту осуществления;

Фиг. 29 является схемой, показывающей количество истинных/ложных определений согласно четвертому варианту осуществления;

Фиг. 30 является схемой, показывающей функциональный блок устройства формирования трехмерных моделей согласно пятому варианту осуществления;

Фиг. 31 является схемой, показывающей последовательность операций обработки устройства формирования трехмерных моделей согласно пятому варианту осуществления;

Фиг. 32 является схемой, показывающей количество истинных/ложных определений без суммирования весового коэффициента и с суммированием весового коэффициента согласно пятому варианту осуществления;

Фиг. 33 является схемой, показывающей функциональный блок устройства формирования трехмерных моделей согласно шестому варианту осуществления;

Фиг. 34 является схемой, показывающей последовательность операций обработки устройства формирования трехмерных моделей согласно шестому варианту осуществления; и

Фиг. 35 является схемой, показывающей количество определений для конструкции/количество ложных определений согласно шестому варианту осуществления.

Подробное описание вариантов осуществления

[0011] Далее, со ссылкой на прилагаемые чертежи, подробно поясняется настоящее изобретение в соответствии с вариантами осуществления. Конфигурации, показанные в нижеприведенных вариантах осуществления, являются просто примерными, и настоящее изобретение не ограничено схематично показанными конфигурациями.

Первый вариант осуществления

[0012] В настоящем варианте осуществления, поясняется аспект, в котором трехмерная модель, в которой отсутствует дефект, либо степень дефекта уменьшается, формируется для переднего плана посредством использования, в дополнение к двумерному силуэту переднего плана в сцене захвата изображений, изображения с маской, включающего в себя двумерный силуэт конструкции, которая предотвращает захват, по меньшей мере, ее части. В этом аспекте, формируется трехмерная модель, включающая в себя конструкцию и т.п., которая предотвращает захват части переднего плана. В настоящем описании изобретения, "передний план" означает движущийся объект, существующий в захваченном изображении, который перемещается в случае, если захват изображений выполняется во временных рядах из идентичного угла (абсолютная позиция которого может изменяться), и который может наблюдаться из виртуальной точки обзора. Дополнительно, "конструкция" означает стационарный объект, существующий в захваченном изображении, который не перемещается в случае, если захват изображений выполняется во временных рядах из идентичного угла (абсолютная позиция которого не изменяется, т.е. в состоянии покоя), и который имеет вероятность предотвращения захвата переднего плана. Трехмерная модель, упоминаемая здесь, представляет собой данные, представляющие трехмерную форму.

[0013] В нижеприведенном пояснении, предполагается случай, в котором предотвращается захват части переднего плана (движущегося объекта), такого как игрок и мяч, посредством конструкции (стационарного объекта), такой как футбольные ворота, во время формирования изображения с виртуальной точкой обзора посредством рассмотрения футбольного матча в качестве сцены захвата изображений. Изображение с виртуальной точкой обзора представляет собой видеоизображение, которое формируется конечным пользователем и/или назначенным оператором и т.п., свободно управляющим позицией и ориентацией виртуальной камеры, и также называется "изображением со свободной точкой обзора", "изображением с произвольной точкой обзора" и т.п. Дополнительно, изображение с виртуальной точкой обзора, которое формируется, и изображение с несколькими точками обзора, которое представляет собой источник изображения с виртуальной точкой обзора, могут представлять собой движущееся изображение или неподвижное изображение. В каждом варианте осуществления, поясненном ниже, в качестве примера поясняется случай, в котором трехмерная модель для формирования изображения с виртуальной точкой обзора движущегося изображения формируется посредством использования изображения с несколькими точками обзора движущегося изображения.

[0014] В настоящем варианте осуществления, пояснение приводится при условии, что футбол рассматривается в качестве сцены захвата изображений, и футбольные ворота, установленные постоянно, представляют собой конструкцию, но это не ограничено. Например, также может быть возможным обрабатывать угловой флажок в качестве конструкции, и в случае, если студия в помещении рассматривается в качестве сцены захвата изображений, также можно обрабатывать мебельные принадлежности или подставку в качестве конструкции. Таким образом, любой стационарный объект может обрабатываться в качестве конструкции при условии, что ее неподвижное состояние или состояние, близкое к неподвижному состоянию, продолжается.

[0015] Конфигурация системы

Фиг. 2A является блок–схемой, показывающей пример конфигурации системы формирования изображений с виртуальной точкой обзора, включающей в себя устройство формирования трехмерных моделей согласно настоящему варианту осуществления. Система 100 формирования изображений с виртуальной точкой обзора включает в себя матрицу 110 камер, включающую в себя множество камер, устройство 120 управления, устройство 130 отделения переднего плана, устройство 140 формирования трехмерных моделей и устройство 150 рендеринга. Устройство 120 управления, устройство 130 отделения переднего плана, устройство 140 формирования трехмерных моделей и устройство 150 рендеринга реализуются посредством CPU, который выполняет обработку вычислений, либо общего компьютера (оборудования обработки информации), включающего в себя запоминающее устройство и т.п., сохраняющее результаты обработки вычислений, программы и т.п.

[0016] Фиг. 2B является схемой, показывающей компоновку всего восьми камер 211–218, конфигурирующих матрицу 110 камер на схеме высоты птичьего полета в случае, если поле 200 просматривается непосредственно сверху. Каждая из камер 211–218 устанавливается на предварительно определенной высоте от земли таким образом, что она окружает поле 200, и получает данные изображений с несколькими точками обзора из различных точек обзора посредством захвата позиции перед одними из ворот, из множества углов. На дерновом поле 200, нарисована футбольная площадка 210 (фактически, посредством белых линий), а в ее левой стороне, размещены футбольные ворота 202. Дополнительно, метка x 203 перед футбольными воротами 202 указывает общее направление в зоне прямой видимости (точку взгляда) камер 211–218, и окружность 204 с пунктирными линиями указывает область, в которой каждая из камер 211–218 может выполнять захват изображений с точкой 203 взгляда в качестве центра. В настоящем варианте осуществления, позиция представляется в системе координат, в которой один угол поля 200 рассматривается в качестве начала координат, направление длинной стороны – в качестве оси X, направления короткой стороны – в качестве оси Y, а направление высоты – в качестве оси Z. Данные изображения с несколькими точками обзора, полученного посредством каждой камеры из матрицы 110 камер, отправляются в устройство 120 управления и устройство 130 отделения переднего плана. На фиг. 2A, каждое из камер 211–218, устройства 120 управления и устройства 130 отделения переднего плана соединяются посредством звездообразной топологии, но также может приспосабливаться кольцевая топология посредством гирляндного соединения либо шинная топология. Дополнительно, на фиг. 2B, описывается пример, в котором число камер равно восьми, но число камер может составлять меньше восьми или больше восьми.

[0017] Устройство 120 управления формирует параметры камеры и маску конструкции и предоставляет их в устройство 140 формирования трехмерных моделей. Параметры камеры включают в себя внешние параметры, представляющие позицию и ориентацию (направление в зоне прямой видимости) каждой камеры, и внутренние параметры, представляющие фокусную длину и угол обзора (область захвата изображений) линзы, включенной в каждую камеру, и получаются посредством калибровки. Калибровка представляет собой обработку для того, чтобы находить взаимосвязь соответствия между точкой в трехмерной системе мировых координат, полученной посредством использования множества изображений, в которых захватывается конкретный шаблон, такой как шахматная доска, и двумерной точкой, соответствующей ей. Маска конструкции представляет собой изображение с маской, представляющее двумерный силуэт конструкции, существующей в каждом захваченном изображении, полученном посредством каждой из камер 211–218. Изображение с маской представляет собой опорное изображение, которое указывает то, что представляет собой целевую часть извлечения в захваченном изображении, и двоичное изображение, представленное посредством 0 и 1. В настоящем варианте осуществления, футбольные ворота 202 обрабатываются в качестве конструкции, и силуэтное изображение, указывающее область футбольных ворот 202 (двумерный силуэт) в изображении, захваченном посредством каждой камеры из предварительно определенной позиции и под предварительно определенным углом, представляет собой маску конструкции. В качестве захваченного изображения, которое представляет собой источник маски конструкции, может быть возможным использовать изображение, захваченное во время, когда игрок и т.п., который представляет собой передний план, не существует, к примеру, во время до или после игры либо во время в течение перерыва между таймами. Тем не менее, предусмотрен случай, в котором изображение, захваченное заранее или впоследствии, не является соответствующим, поскольку захват изображений затрагивается посредством варьирования солнечного света, например, на открытом воздухе. В таком случае, как этот, например, также может быть возможным получать захваченное изображение, которое представляет собой источник маски конструкции, посредством исключения игроков и т.п. из предварительно определенного числа кадров (например, последовательных кадров, соответствующих десяти секундам) движущегося изображения, в котором захватываются игроки и т.п. В этом случае, можно получать маску конструкции на основе изображения, которое приспосабливает среднее каждого пиксельного значения в каждом кадре.

[0018] Устройство 130 отделения переднего плана выполняет обработку, чтобы определять передний план, соответствующий игрокам и мячу на поле 200, как отличающийся от фоновой области за исключением области переднего плана для каждого из захваченных изображений из множества точек обзора, которые вводятся. Для определения области переднего плана, используется фоновое изображение, подготовленное заранее (может представлять собой идентичное захваченное изображение, которое представляет собой источник маски конструкции). В частности, отличие от фонового изображения находится для каждого захваченного изображения, и область, соответствующая отличию, указывается в качестве области переднего плана. Вследствие этого, формируется маска переднего плана, указывающая область переднего плана для каждого захваченного изображения. В настоящем варианте осуществления, двоичное изображение, представляющее пиксел, принадлежащий области переднего плана, представляющей игроков и мяч, посредством "0", и пиксел, принадлежащий фоновой области за исключением переднего плана, посредством "1", формируется в качестве маски переднего плана.

[0019] Устройство 140 формирования трехмерных моделей формирует трехмерную модель объекта на основе параметров камеры и изображения с несколькими точками обзора. Ниже описываются подробности устройства 140 формирования трехмерных моделей. Данные сформированной трехмерной модели выводятся в устройство 150 рендеринга.

[0020] Устройство 150 рендеринга формирует изображение с виртуальной точкой обзора на основе трехмерной модели, принимаемой из устройства 140 формирования трехмерных моделей, параметров камеры, принимаемых из устройства 120 управления, изображения переднего плана, принимаемого из устройства 130 отделения переднего плана, и фонового изображения, подготовленного заранее. В частности, позиционная взаимосвязь между изображением переднего плана и трехмерной моделью находится из параметров камеры, и посредством преобразования изображения переднего плана, соответствующего трехмерной модели, формируется изображение с виртуальной точкой обзора в случае, если интересующий объект просматривается из произвольного угла. Таким образом, например, можно получать изображение с виртуальной точкой обзора решающей сцены перед воротами, в которые игрок забил гол.

[0021] Конфигурация системы формирования изображений с виртуальной точкой обзора, показанная на фиг. 2A, представляет собой пример, и конфигурация не ограничена этим. Например, один компьютер может включать в себя функции множества устройств (например, устройства 130 отделения переднего плана, устройства 140 формирования трехмерных моделей и т.п.). Альтернативно, также может быть возможным проектировать конфигурацию, в которой модуль каждой камеры принудительно имеет функцию устройства 130 отделения переднего плана, и из каждой камеры, подаются захваченное изображение и его данные маски переднего плана.

[0022] Устройство формирования трехмерных моделей

Фиг. 3 является функциональной блок–схемой, показывающей внутреннюю конфигурацию устройства 140 формирования трехмерных моделей согласно настоящему варианту осуществления. Устройство 140 формирования трехмерных моделей включает в себя модуль 310 приема данных, модуль 320 хранения масок конструкции, модуль 330 комбинирования масок, модуль 340 преобразования координат, модуль 350 формирования трехмерных моделей и модуль 360 вывода данных. Далее подробно поясняется каждый модуль.

[0023] Модуль 310 приема данных принимает параметры камеры для каждой камеры, конфигурирующей матрицу 110 камер, и маску конструкции, представляющую двумерный силуэт конструкции, существующей в сцене захвата изображений, из устройства 120 управления. Дополнительно, модуль 310 приема данных принимает захваченное изображение (изображение с несколькими точками обзора), полученное посредством каждой камеры из матрицы 110 камер, и данные маски переднего плана, представляющей двумерный силуэт переднего плана, существующего в каждом захваченном изображении, из устройства 130 отделения переднего плана. Из принимаемых данных, маска конструкции доставляется в модуль 320 хранения масок конструкции, маска переднего плана – в модуль 330 комбинирования масок, изображение с несколькими точками обзора – в модуль 340 преобразования координат, и параметры камеры – в модуль 340 преобразования координат и модуль 350 формирования трехмерных моделей, соответственно.

[0024] Модуль 320 хранения масок конструкции сохраняет маску конструкции в RAM и т.п. и предоставляет маску конструкции в модуль 330 комбинирования масок по мере необходимости.

[0025] Модуль 330 комбинирования масок считывает маску конструкции из модуля 320 хранения масок конструкции и комбинирует ее с маской переднего плана, принимаемой из модуля 310 приема данных, и в силу этого формирует изображение с маской, интегрирующее обе маски в одну маску (в дальнейшем в этом документе называемую "интегрированной маской"). Сформированная интегрированная маска отправляется в модуль 350 формирования трехмерных моделей.

[0026] Модуль 340 преобразования координат преобразует изображение с несколькими точками обзора, принимаемое из модуля 310 приема данных, из системы координат камеры в систему мировых координат на основе параметров камеры. Посредством этого преобразования координат, каждое захваченное изображение, точка обзора которого отличается друг от друга, преобразуется в информацию, представляющую то, какую область каждое захваченное изображение указывает в трехмерном пространстве.

[0027] Модуль 350 формирования трехмерных моделей формирует трехмерную модель объекта, включающую в себя конструкцию, в сцене захвата изображений посредством способа пересечения визуальных объемных величин посредством использования изображения с несколькими точками обзора, преобразованного в систему мировых координат, и интегрированной маски, соответствующей каждой камере. Данные сформированной трехмерной модели объекта выводятся в устройство 150 рендеринга через модуль 360 вывода данных.

[0028] Обработка формирования трехмерной модели

Фиг. 4 является блок–схемой последовательности операций способа, показывающей последовательность операций обработки формирования трехмерных моделей согласно настоящему варианту осуществления. Эта последовательность обработки реализуется посредством CPU, включенного в устройство 140 формирования трехмерных моделей, загружающего предварительно определенную программу, сохраненную на носителе хранения данных, таком как ROM и HDD, в RAM и выполняющего программу. Далее пояснение приводится согласно последовательности операций на фиг. 4.

[0029] Во–первых, на этапе 401, модуль 310 приема данных принимает маску конструкции, представляющую двумерный силуэт конструкции (здесь, футбольных ворот 202) в случае, если конструкция просматривается из каждой из камер 211–218, и параметры камеры для каждой камеры из устройства 120 управления. Фиг. 5A–5H показывают изображение, захваченное посредством каждой из камер 211–218, конфигурирующих матрицу 110 камер. Здесь, один игрок (вратарь) выходит перед футбольными воротами 202 на футбольной площадке 201. Затем, в каждом захваченном изображении на фиг. 5A, фиг. 5B и фиг. 5H, футбольные ворота 202 существуют между камерой и игроком, и в силу этого часть игрока скрывается посредством футбольных ворот 202. Из каждого захваченного изображения на фиг. 5A–5H, соответственно, получается маска конструкции, в которой область представляется посредством двух значений, к примеру, область футбольных ворот 202 равна 1 (белый цвет), и область за исключением области футбольных ворот 202 равна 0 (черный цвет). Фиг. 6A–6H показывают маску конструкции, соответствующую каждому захваченному изображению на фиг. 5A–5H.

[0030] Затем, на этапе 402, модуль 310 приема данных принимает маску переднего плана, указывающую двумерный силуэт переднего плана (здесь, игроков и мяча) в изображении, захваченном посредством каждой из камер 211–218, из устройства 130 отделения переднего плана наряду с изображением с несколькими точками обзора, которое представляет собой источник маски переднего плана. Фиг. 7A–7H показывают маску переднего плана, соответствующую каждому захваченному изображению на фиг. 5A–5H. Устройство 130 отделения переднего плана извлекает область, которая изменяется во времени между изображениями, захваченными из идентичного угла с передним планом, и в силу этого на каждом из фиг. 7A, фиг. 7B и фиг. 7H, область части игрока, скрытой посредством футбольных ворот 202, не извлекается в качестве области переднего плана. Данные принимаемой маски переднего плана отправляются в модуль 330 комбинирования масок.

[0031] Затем, на этапе 403, модуль 330 комбинирования масок выполняет обработку, чтобы считывать данные маски конструкции из модуля 320 хранения масок конструкции и комбинировать считанную маску конструкции и маску переднего плана, принимаемую из модуля 310 приема данных. Эта комбинация представляет собой обработку вычислений для того, чтобы находить логическое "OR" для каждого пиксела маски переднего плана и маски конструкции, обе из которых представляются посредством двух значений (белого цвета и черного цвета). Фиг. 8A–8H показывают интегрированную маску, полученную посредством комбинирования каждой маски конструкции, показанной на фиг. 6A–6H, и каждой маски переднего плана, показанной на фиг. 7A–7H. В полной интегрированной маске, дефект не наблюдается в силуэте игрока.

[0032] Затем, на этапе 404, модуль 350 формирования трехмерных моделей формирует трехмерную модель посредством использования способа пересечения визуальных объемных величин на основе интегрированной маски, полученной на этапе 403. Вследствие этого, модель (в дальнейшем в этом документе называемая "интегрированной трехмерной моделью"), представляющая трехмерную форму переднего плана и конструкции, существующих в общей области захвата изображений для множества изображений, захваченных из различных точек обзора. В случае настоящего варианта осуществления, формируется интегрированная трехмерная модель, включающая в себя футбольные ворота 202, в дополнение к игроку и мячу. Формирование интегрированной трехмерной модели выполняется, в частности, посредством процедуры следующим образом. Во–первых, подготавливаются данные объемных величин, в которых трехмерное пространство на поле 200 заполнено кубами (вокселами), имеющими предварительно определенный размер. Значение воксела, конфигурирующего данные объемных величин, представляется посредством 0 и 1, и "1" указывает область, вносящую долю в образование формы, а "0" указывает область, не вносящую долю в образование формы, соответственно. Далее, трехмерные координаты воксела преобразуются из системы мировых координат в систему координат камеры посредством использования параметров камеры (позиции для установки, направления в зоне прямой видимости и т.п.) каждой из камер 211–218. Затем в случае, если конструкция и передний план, указываемые посредством интегрированной маски, существуют в системе координат камеры, формируется модель, представляющая трехмерную форму конструкции и переднего плана посредством вокселов. Также может быть возможным представлять трехмерную форму посредством набора точек (облака точек), указывающих центр воксела, вместо самого воксела. Фиг. 9 показывает интегрированную трехмерную модель, которая формируется на основе интегрированной маски, показанной на фиг. 8A–8H, и символ 901 соответствует трехмерной форме игрока, который представляет собой передний план, и символ 902 соответствует трехмерной форме футбольных ворот 202, которые представляют собой конструкцию. Как описано выше, в интегрированной маске, отсутствует дефект в силуэте игрока, который представляет собой передний план, и в силу этого дефект не возникает также в полной интегрированной трехмерной модели. Фиг. 10 показывает трехмерную модель, которая формируется с использованием только маски переднего плана посредством традиционного способа. Как описано выше, в маске переднего плана, показанной на фиг. 7A, фиг. 7B и фиг. 7H, часть игрока не представляется в качестве области переднего плана, и в силу этого часть становится дефектом в сформированной трехмерной модели. Посредством способа настоящего варианта осуществления, посредством использования изображения с маской, комбинирующего маску переднего плана и маску конструкции, появляется возможность исключать возникновение дефекта в части трехмерной модели переднего плана.

[0033] Выше приводится контент обработки формирования трехмерных моделей согласно настоящему варианту осуществления. В случае, если формируется изображение с виртуальной точкой обзора движущегося изображения, трехмерная модель для каждого кадра формируется посредством многократного выполнения обработки на каждом этапе, описанной выше в единицах кадров. Тем не менее, необходимо выполнять только прием и сохранение маски конструкции (этап 401) только непосредственно после начала последовательности операций, и их можно опускать для второго и последующих кадров. Дополнительно, в случае, если захват изображений выполняется в идентичном местоположении захвата изображений посредством изменения даты, также может быть возможным выполнять прием и сохранение маски конструкции только в первый раз и сохранять ее в RAM и т.п. и использовать сохраненную маску конструкции в следующий и в последующие разы.

[0034] Как описано выше, согласно настоящему варианту осуществления, даже в случае, если существует конструкция, которая скрывает объект, который представляет собой передний план, можно формировать высокоточную трехмерную модель без дефекта на переднем плане, либо в которой степень дефекта уменьшается.

Второй вариант осуществления

[0035] В первом варианте осуществления, формируется трехмерная модель переднего плана без дефекта, либо в которой степень дефекта уменьшается, которая включает в себя конструкцию, существующую в сцене захвата изображений. Далее поясняется аспект в качестве второго варианта осуществления, в котором формируется трехмерная модель только с передним планом, из которой удаляется конструкция, и в которой отсутствует дефект, либо в которой степень дефекта уменьшается. Пояснение контента, общего с контентом первого варианта осуществления, такого как конфигурация системы, опускается или упрощается, и далее поясняются главным образом отличающиеся аспекты.

[0036] Конфигурация устройства 140 формирования трехмерных моделей настоящего варианта осуществления также является по существу идентичной конфигурации первого варианта осуществления (см. фиг. 3), но отличается в следующих аспектах.

[0037] Во–первых, считывание маски конструкции для модуля 320 хранения масок конструкции выполняется не только посредством модуля 330 комбинирования масок, но также и посредством модуля 350 формирования трехмерных моделей. Стрелка с пунктирной линией на фиг. 3 указывает это. Затем, в модуле 350 формирования трехмерных моделей, в дополнение к формированию интегрированной трехмерной модели переднего плана и конструкции с использованием интегрированной маски, также выполняется формирование трехмерной модели только конструкции с использованием маски конструкции. Затем, посредством нахождения различия между интегрированной трехмерной моделью сформированной на основе интегрированной маски, и трехмерной моделью конструкции, сформированной на основе маски конструкции, извлекается трехмерная модель только переднего плана без дефекта, либо в которой степень дефекта уменьшается.

Обработка формирования трехмерной модели

[0038] Фиг. 11 является блок–схемой последовательности операций способа, показывающей последовательность операций обработки формирования трехмерных моделей согласно настоящему варианту осуществления. Последовательность обработки реализуется посредством CPU, включенного в устройство 140 формирования трехмерных моделей, загружающего предварительно определенную программу, сохраненную на носителе хранения данных, таком как ROM и HDD, в RAM и выполняющего программу. Далее пояснение приводится согласно последовательности операций на фиг. 11.

[0039] Этапы 1101–1104 соответствуют этапам 401–404, соответственно, в последовательности операций на фиг. 4 первого варианта осуществления, и отсутствуют различия, и в силу этого пояснение опускается.

[0040] На этапе 1105, который выполняется далее, модуль 350 формирования трехмерных моделей считывает маску конструкции из модуля 320 хранения масок конструкции и формирует трехмерную модель конструкции посредством способа пересечения визуальных объемных величин.

[0041] Затем, на этапе 1106, модуль 350 формирования трехмерных моделей находит различие между комбинированной трехмерной моделью переднего плана и конструкции, сформированной на этапе 1104, и трехмерной моделью конструкции, сформированной на этапе S1105, и извлекает трехмерную модель только переднего плана. Здесь, также может быть возможным находить отличие от интегрированной трехмерной модели после расширения трехмерной модели конструкции, например, на 10% в трехмерном пространстве. Вследствие этого, можно надежно удалять часть, соответствующую конструкции, из интегрированной трехмерной модели. В это время, также может быть возможным расширять только часть трехмерной модели конструкции. Например, также может быть возможным определять часть, которая расширяется в соответствии с областью таким образом, что сторона стороны площадки 210 не расширяется, и только противоположная сторона площадки 210 расширяется в случае футбольных ворот 202, поскольку вероятность того, что игрок существует в пределах футбольной площадки 201, является существенной. Дополнительно, также может быть возможным изменять коэффициент расширения (коэффициент расширения), в соответствии с тем, насколько на значительном расстоянии объект, который представляет собой передний план, такой как игрок и мяч, находится от конструкции. Например, в случае, если объект, который представляет собой передний план, расположен в позиции на значительном расстоянии от конструкции, коэффициент расширения увеличивается таким образом, что трехмерная модель конструкции удаляется надежно. Дополнительно, посредством уменьшения коэффициента расширения в случае, если объект, который представляет собой передний план, расположен в позиции рядом с конструкцией, предотвращается ошибочное удаление части трехмерной модели переднего плана. Также может быть возможным линейно изменять коэффициент расширения в это время в соответствии с расстоянием от переднего плана или определять коэффициент расширения пошагово посредством предоставления одного или множества расстояний в качестве опорных элементов.

[0042] Фиг. 12A показывает интегрированную трехмерную модель, сформированную на основе интегрированной маски, идентичную интегрированной трехмерной модели на фиг. 9, описанной ранее. Фиг. 12B показывает трехмерную модель конструкции, сформированную только на основе маски конструкции. Затем, фиг. 12C показывает трехмерную модель только переднего плана, полученную из различия между интегрированной трехмерной моделью на фиг. 12A и трехмерной моделью конструкции на фиг. 12B.

[0043] Выше приводится контент обработки формирования трехмерных моделей согласно настоящему варианту осуществления. В случае, если формируется изображение с виртуальной точкой обзора движущегося изображения, трехмерная модель для каждого кадра формируется посредством многократного выполнения обработки на каждом этапе, описанной выше в единицах кадров. Тем не менее, необходимо выполнять только прием и сохранение маски конструкции (этап 1101) и формирование трехмерной модели конструкции (этап 1105) только непосредственно после начала последовательности операций, и их можно опускать для второго и последующих кадров. Дополнительно, в случае, если захват изображений выполняется в идентичном местоположении захвата изображений посредством изменения даты, также может быть возможным выполнять прием и сохранение маски конструкции и формирования трехмерной модели конструкции только в первый раз и сохранять их в RAM и т.п. и использовать их в следующий и в последующие разы. Как описано выше, согласно настоящему варианту осуществления, даже в случае, если существует конструкция, которая скрывает объект, который представляет собой передний план, можно формировать трехмерную модель только переднего плана, которая не включает в себя конструкцию и является высокоточной.

Третий вариант осуществления

[0044] В первом и втором вариантах осуществления, трехмерная модель только переднего плана формируется посредством вычитания трехмерной модели конструкции из интегрированной трехмерной модели переднего плана и конструкции. Далее поясняется аспект в качестве третьего варианта осуществления, в котором трехмерная модель только переднего плана находится посредством подсчета того, в какое изображение с маской включен воксел для каждого воксела, конфигурирующего интегрированную трехмерную модель переднего плана и конструкции (или для каждой предварительно определенной области), и удаления части, подсчитанное значение которой меньше или равно пороговому значению, из интегрированной трехмерной модели.

[0045] В настоящем варианте осуществления, сначала, для каждой из множества частичных областей, конфигурирующих трехмерное пространство, определяется то, удовлетворяется или нет такое условие, что число камер, для которых частичная область включена в область переднего плана, указывающую область целевого объекта в захваченном изображении множества камер, меньше или равно первому пороговому значению. В качестве первого порогового значения, произвольное значение, меньшее общего числа камер, задается с учетом позиции для установки, направления в зоне прямой видимости и т.п. каждой камеры. Затем, трехмерная модель целевого объекта, включающая в себя частичную область, для которой не определяется то, что удовлетворяется условие.

[0046] Способ представления трехмерной модели

Фиг. 13A показывает один кубический воксел. Фиг. 13B показывает набор вокселов, представляющих целевое пространство формирования трехмерных моделей. Как показано на фиг. 13B, воксел представляет собой мельчайшую частичную область, конфигурирующую трехмерное пространство. Затем фиг. 13C показывает пример, в котором набор вокселов трехмерной модели четырехугольной пирамиды формируется посредством удаления вокселов в области, отличной от четырехугольной области пирамиды, из набора на фиг. 13B, который представляет собой набор вокселов целевого пространства. В настоящем варианте осуществления, поясняется пример, в котором трехмерное пространство и трехмерная модель сконфигурированы посредством кубических вокселов, но это не ограничено, и трехмерное пространство и трехмерная модель могут быть сконфигурированы посредством облака точек и т.п.

[0047] Конфигурация системы

Блок–схема, показывающая пример конфигурации системы формирования изображений с виртуальной точкой обзора, включающей в себя устройство формирования трехмерных моделей согласно настоящему варианту осуществления, является идентичной системе формирования изображений с виртуальной точкой обзора, показанной на фиг. 2A, и в силу этого пояснение опускается.

[0048] Матрица 110 камер представляет собой группу оборудования захвата изображений, включающую в себя множество камер 110a–110z, и захватывает объект из множества углов и выводит изображения в устройство 130 отделения переднего плана и устройство 120 управления. Предполагается, что камеры 110a–110z, устройство 130 отделения переднего плана и устройство 120 управления соединяются посредством звездообразной топологии, но могут соединяться посредством топологии кольца, шины и т.п. посредством гирляндного соединения. Матрица 110 камер размещается на периферии спортивного стадиона, например, как показано на фиг. 14, и выполняет захват изображений синхронно с точкой взгляда на поле, общей для всех камер из множества углов. Тем не менее, также может быть возможным задавать множество точек взгляда, к примеру, точку взгляда, в которую принудительно обращены половина камер, включенных в матрицу 110 камер, и другую точку взгляда, в которую принудительно обращены остальные камеры.

[0049] Здесь, передний план представляет собой предварительно определенный целевой объект (объект, который представляет собой цель, для которой трехмерная модель формируется на основе захваченных изображений), который обеспечивает просмотр из произвольного угла в виртуальной точке обзора, и в настоящем варианте осуществления, означает человека, существующего на поле спортивного стадиона. С другой стороны, фон представляет собой область за исключением переднего плана и, в настоящем варианте осуществления, означает весь спортивный стадион (поле, зрительскую трибуну и т.п.). Тем не менее, передний план и фон не ограничены этими примерами. Дополнительно, предполагается, что изображение с виртуальной точкой обзора в настоящем варианте осуществления включает в себя все изображения, представляющие внешний вид из виртуальной точки обзора, в которой камера не устанавливается, а не только изображения, представляющие внешний вид с точки обзора, которая может указываться свободно.

[0050] Устройство 120 управления вычисляет параметры камеры, указывающие позицию и ориентацию камер 110a–110z, из изображений, захваченных синхронно посредством матрицы 110 камер, и выводит вычисленные параметры камеры в устройство 140 формирования трехмерных моделей. Здесь, параметры камеры включают в себя внешние параметры и внутренние параметры. Внешние параметры включают в себя матрицу вращения и матрицу трансляции и указывают позицию и ориентацию камеры. Внутренние параметры включают в себя информацию относительно фокусной длины, оптического центра и т.п. камеры и указывают угол обзора камеры, размер датчика изображений и т.п.

[0051] Обработка для того, чтобы вычислять параметр камеры, называется "калибровкой". Можно находить параметр камеры посредством использования взаимосвязи соответствия между точками в трехмерной системе мировых координат, полученными посредством использования множества изображений, полученных посредством захвата конкретного шаблона, например, такого как шахматная доска, и двумерными точками, соответствующими им.

[0052] Устройство 120 управления вычисляет изображение с маской конструкции, указывающее область конструкции, имеющую вероятность перекрытия перед передним планом в изображениях, захваченных посредством камер 110a–110z, и выводит информацию относительно вычисленного изображения с маской конструкции. В настоящем варианте осуществления, конструкция представляет собой стационарный объект, установленный в целевом пространстве захвата изображений, и в качестве примера, футбольные ворота обрабатываются в качестве конструкции, и изображение, указывающее область ворот в изображении, захваченном посредством каждой камеры, представляет собой изображение с маской конструкции.

[0053] Устройство 130 отделения переднего плана идентифицирует область, в которой человек на поле существует, в качестве переднего плана, и фоновую область за исключением переднего плана из изображений, захваченных посредством множества камер, которые вводятся из матрицы 110 камер, и выводит изображение с маской переднего плана, указывающее область переднего плана. В качестве способа идентификации области переднего плана, можно использовать способ идентификации области, в которой имеется различие между фоновым изображением, сохраненным заранее, и захваченным изображением, в качестве изображения переднего плана либо способ идентификации области движущегося объекта в качестве области переднего плана.

[0054] Здесь, изображение с маской представляет собой опорное изображение, представляющее конкретную часть, требуемую для извлечения из захваченного изображения и двоичного изображения, представленного посредством 0 и 1. Например, изображение с маской переднего плана указывает область, в которой передний план, например, такой как игрок, существует в захваченном изображении, и изображение, в котором пиксел, указывающий область переднего плана, представляется посредством 1, а пиксел, отличный от переднего плана, посредством 0, при разрешении, идентичном разрешению захваченной области. Тем не менее, формат изображения с маской не ограничен этим и может представлять собой любую информацию, указывающую область конкретного объекта в захваченном изображении.

[0055] Устройство 140 формирования трехмерных моделей имеет функцию в качестве оборудования обработки информации, которое формирует трехмерную модель посредством использования множества захваченных изображений, захваченных посредством множества камер. Во–первых, устройство 140 формирования трехмерных моделей принимает параметры камеры и информацию относительно изображения с маской конструкции из устройства 120 управления и принимает изображение с маской переднего плана из устройства 130 отделения переднего плана. Затем устройство 140 формирования трехмерных моделей формирует изображение с интегрированной маской, указывающее интегрированную область посредством интегрирования изображения с маской конструкции и изображения с маской переднего плана. Дополнительно, устройство 140 формирования трехмерных моделей определяет то, следует или нет удалять каждый воксел, на основе числа камер, для которых каждый воксел (фактически, точка, соответствующая вокселу, и это применяется далее) в пространстве, которое представляет собой цель формирования трехмерной модели переднего плана, не включен в изображение с интегрированной маской, и числа камер, для которых каждый воксел включен в изображение с маской переднего плана. Затем, на основе оставшихся вокселов после удаления вокселов, определенных как подлежащие удалению, трехмерная модель переднего плана формируется посредством, например, способа пересечения визуальных объемных величин и выводится в устройство 150 рендеринга.

[0056] Устройство 150 рендеринга принимает трехмерную модель из устройства 140 формирования трехмерных моделей и принимает изображение, указывающее передний план, из устройства 130 отделения переднего плана. Дополнительно, устройство 150 рендеринга выполняет окрашивание посредством нахождения позиционной взаимосвязи между изображением, указывающим передний план, и трехмерной моделью из параметров камеры и вставки изображения переднего плана, соответствующего трехмерной модели, и в силу этого формирует изображение с виртуальной точкой обзора в случае, если трехмерная модель наблюдается с произвольной точки обзора. В изображение с виртуальной точкой обзора, может быть включено изображение фона. Таким образом, также может быть возможным для устройства 150 рендеринга формировать изображение с виртуальной точкой обзора в случае, если фон и передний план просматриваются из заданной точки обзора посредством задания модели фона, модели переднего плана и позиции точки обзора в трехмерном пространстве.

[0057] Функциональная конфигурация устройства формирования трехмерных моделей

Согласно вышеописанному, со ссылкой на фиг. 15, в дальнейшем поясняется функциональная конфигурация устройства формирования трехмерных моделей согласно настоящему варианту осуществления. Устройство 140 формирования трехмерных моделей включает в себя приемный модуль 155, модуль 101 хранения масок конструкции, модуль 102 хранения параметров камеры, модуль 103 интеграции масок, модуль 104 преобразования координат, модуль 105 определения нахождения внутри/за пределами маски, модуль 106 задания пороговых значений, модуль 107 формирования моделей переднего плана и модуль 108 вывода.

[0058] Приемный модуль 155 принимает параметры камеры для каждой камеры, конфигурирующей матрицу 110 камер, и изображение с маской конструкции, указывающее область конструкции, из устройства 120 управления. Дополнительно, приемный модуль 155 принимает изображение, захваченное посредством каждой камеры из матрицы 110 камер, и изображение с маской переднего плана, указывающее область переднего плана в изображении, из устройства 130 отделения переднего плана при каждом захвате изображений.

[0059] Модуль 101 хранения масок конструкции сохраняет изображение с маской конструкции, принимаемое посредством приемного модуля 155. Изображение с маской конструкции представляет собой фиксированное изображение в соответствии с позицией камеры.

[0060] Модуль 102 хранения параметров камеры сохраняет внешние параметры, указывающие позицию и/или ориентацию каждой камеры, которые захватываются посредством матрицы 110 камер, и внутренние параметры, указывающие фокусную длину и/или размер изображения, в качестве параметров камеры.

[0061] Модуль 103 интеграции масок формирует изображение с интегрированной маской посредством интегрирования изображения с маской переднего плана, принимаемого из устройства 130 отделения переднего плана каждый раз, когда захват изображений выполняется посредством матрицы 110 камер, и изображения с маской конструкции, сохраненного в модуле 101 хранения масок конструкции. Ниже описываются подробности способа интеграции изображения с маской переднего плана и изображения с маской конструкции.

[0062] Модуль 104 преобразования координат вычисляет позицию и угол обзора каждого захваченного изображения в системе мировых координат на основе параметров камеры, сохраненных в модуле 102 хранения параметров камеры, и преобразует их в информацию, представляющую то, какую захваченную область в трехмерном пространстве указывает каждое захваченное изображение.

[0063] Модуль 105 определения нахождения внутри/за пределами маски определяет, в случае, если число камер, для которых каждый воксел в целевом воксельном пространстве включен внутри изображения с маской переднего плана, меньше или равно пороговому значению, необходимость удалять воксел. Дополнительно, модуль 105 определения нахождения внутри/за пределами маски определяет, в случае, если число камер, для которых каждый воксел в целевом воксельном пространстве не включен внутри изображения с интегрированной маской, больше или равно другому пороговому значению, необходимость удалять воксел.

[0064] Модуль 106 задания пороговых значений задает каждое пороговое значение для определения того, следует или нет удалять воксел, посредством модуля 105 определения нахождения внутри/за пределами маски. Это пороговое значение может задаваться в соответствии с пользовательской операцией для устройства 140 формирования трехмерных моделей или может задаваться автоматически посредством модуля 106 задания пороговых значений. Модуль 107 формирования моделей переднего плана удаляет вокселы, определенные как подлежащие удалению посредством модуля 105 определения нахождения внутри/за пределами маски вокселов в целевом воксельном пространстве, и формирует трехмерную модель на основе оставшихся вокселов. Модуль 108 вывода выводит трехмерную модель, сформированную посредством модуля 107 формирования моделей переднего плана, в устройство 150 рендеринга.

[0065] Фиг. 16 является блок–схемой последовательности операций способа, показывающей процедуру обработки, выполняемую посредством устройства формирования трехмерных моделей согласно настоящему варианту осуществления.

[0066] На S1601, приемный модуль 155 принимает изображение с маской конструкции каждой камеры, конфигурирующей матрицу 110 камер, из устройства 120 управления. Здесь, в дальнейшем поясняется пример захваченного изображения и изображения с маской конструкции. Фиг. 17A–17E показывают примеры пяти захваченных изображений, захваченных посредством пяти камер, конфигурирующих часть матрицы 110 камер. Здесь, один человек существует на поле, и ворота существуют на поле в качестве конструкции, и на фиг. 17B, фиг. 17C и фиг. 17D, ворота, которые представляют собой конструкцию, существуют перед человеком, и в силу этого часть человека скрывается. Фиг. 18A–18E показывают изображение с маской конструкции, соответствующее каждому захваченному изображению, показанному на фиг. 17A–17E. Изображение с маской конструкции показано как двоичное изображение, в котором область ворот, которые представляют собой конструкцию, равна 1 (белый цвет), и область за исключением конструкции равна 0 (черный цвет).

[0067] На S1602, приемный модуль 155 принимает изображение с маской переднего плана, указывающее область переднего плана, из устройства 130 отделения переднего плана. Здесь, в дальнейшем поясняется пример изображения с маской переднего плана. Фиг. 19A–19E показывают изображение с маской переднего плана, соответствующее каждому захваченному изображению, показанному на фиг. 17A–17E. Устройство 130 отделения переднего плана извлекает область, которая изменяется во времени в качестве области переднего плана, и в силу этого область части человека, которая скрывается посредством ворот, извлекается в качестве области переднего плана так, как показано на фиг. 19B, фиг. 19C и фиг. 19D. Дополнительно, на фиг. 19E, часть ноги человека, которая не изменяется во времени, извлекается в качестве области переднего плана.

[0068] На S1603, модуль 103 интеграции масок формирует изображение с интегрированной маской посредством интегрирования изображения с маской конструкции и изображения с маской переднего плана, принимаемых на S1601 и S1602. Фиг. 20A–20E показывают пример изображения с интегрированной маской, которое представляет собой результаты интегрирования изображения с маской конструкции, показанного на каждом из фиг. 18A–18E, и изображения с маской переднего плана, показанного на каждом из фиг. 19A–19E. Изображение с интегрированной маской вычисляется посредством "OR" (логической суммы) изображения с маской переднего плана и изображения с маской конструкции, оба из которых представляются посредством двух значений.

[0069] На S1604, модуль 105 определения нахождения внутри/за пределами маски выбирает один воксел, который еще не выбирается из целевого воксельного пространства.

[0070] На S1605, модуль 105 определения нахождения внутри/за пределами маски подсчитывает число камер, для которых выбранный один воксел не включен внутри области маски изображения с интегрированной маской каждой камеры (в дальнейшем в этом документе называемое "количеством ложных определений").

[0071] На S1606, модуль 105 определения нахождения внутри/за пределами маски определяет то, больше или равно либо нет количество ложных определений пороговому значению. В случае, если количество ложных определений больше или равно пороговому значению, можно определять то, что выбранный один воксел не представляет собой ни передний план, ни конструкцию, и в силу этого обработка переходит к S1607. Вследствие этого, можно удалять множество вокселов, которые, очевидно, представляют собой непередний план. С другой стороны, в случае, если количество ложных определений меньше порогового значения, можно определять то, что выбранный один воксел представляет собой передний план или конструкцию, и в силу этого обработка переходит к S1608.

[0072] На S1607, модуль 107 формирования моделей переднего плана удаляет выбранный один воксел из целевого воксельного пространства. На S1608, модуль 105 определения нахождения внутри/за пределами маски подсчитывает число камер, для которых выбранный один воксел включен внутри области маски изображения с маской переднего плана каждой камеры (в дальнейшем в этом документе называемое "количеством истинных определений").

[0073] На S1609, модуль 105 определения нахождения внутри/за пределами маски определяет то, меньше или равно либо нет количество истинных определений другому пороговому значению. В случае, если количество истинных определений меньше или равно другому пороговому значению, можно определять то, что выбранный один воксел представляет собой конструкцию, и в силу этого обработка переходит к S1607, и выбранный пиксел удаляется из целевого воксельного пространства. С другой стороны, в случае, если количество истинных определений превышает другое пороговое значение, можно определять то, что выбранный один воксел представляет собой передний план, и в силу этого выбранный один воксел не удаляется из целевого воксельного пространства.

[0074] На S1610, модуль 105 определения нахождения внутри/за пределами маски определяет то, завершена или нет обработка для всех вокселов в целевом воксельном пространстве. В случае, если обработка завершена для всех вокселов, обработка переходит к S1611. С другой стороны, в случае, если обработка не завершена для всех вокселов, обработка возвращается на S1604, и следующий один воксел выбирается из числа вокселов, еще не выбранных, и далее выполняется идентичная обработка.

[0075] На S1611, модуль 107 формирования моделей переднего плана формирует трехмерную модель переднего плана посредством использования оставшихся вокселов после того, как определение удаления вокселов выполняется для целевого воксельного пространства.

[0076] На S1612, модуль 108 вывода выводит трехмерную модель переднего плана, сформированного посредством модуля 107 формирования моделей переднего плана, в устройство 150 рендеринга. Вышеуказанная последовательность обработки выполняется для каждого кадра, захваченного посредством каждой камеры.

[0077] Здесь, в дальнейшем поясняется пример формирования трехмерной модели посредством рассмотрения системы формирования изображений с виртуальной точкой обзора, которая захватывает спортивный стадион посредством 16 камер, показанных на фиг. 14, в качестве примера. Фиг. 21 является схемой, показывающей воксельное пространство, которое представляет собой цель формирования трехмерных моделей системы спортивного стадиона согласно настоящему варианту осуществления, и кубоидная область, указываемая посредством сеток, представляет целевое воксельное пространство.

[0078] Фиг. 22 показывает пример количества ложных определений/количества истинных определений и результатов определения вокселов для человека, ноги человека, головы человека, ворот и другой области, соответственно, в качестве переднего плана, переднего плана, не обнаруженного посредством части камер, переднего плана, скрытого посредством конструкции, конструкции и непереднего плана в случае, если спортивный стадион захватывается посредством 16 камер, показанных на фиг. 14. Здесь, предполагается, что одна камера неудачно выполняет извлечение переднего плана ноги человека, и голова человека скрывается посредством ворот, которые представляют собой конструкцию, на трех камерах, и они извлекаются в качестве переднего плана посредством устройства 130 отделения переднего плана.

[0079] В случае, если пороговое значение количества ложных определений составляет фиксированное значение в 10 при определении на S1606, количество ложных определений воксела, расположенного в другой области, равно 16 и превышает пороговое значение, и в силу этого воксел удаляется. Как результат этого, например, формируется трехмерная модель, включающая в себя передний план и конструкцию, как показано на фиг. 23. Здесь, фиг. 23 является схемой, показывающей пример трехмерной модели, сформированной посредством применения определения на основе пороговых значений количества ложных определений.

[0080] Дополнительно, в случае, если пороговое значение (другое пороговое значение) количества истинных определений составляет фиксированное значение в 5 при определении на S1609, количество истинных определений воксела, расположенного в области ворот, которые представляют собой конструкцию, равно 0 и меньше или равно пороговому значению, и в силу этого воксел удаляется. С другой стороны, количество истинных определений вокселов, расположенных в областях человека, ноги человека и головы, равно 16, 15 и 13, соответственно, что превышает второе пороговое значение, и в силу этого вокселы не удаляются.

[0081] Таким образом, как показано на фиг. 22, передний план (человек), передний план (нога), часть которого не обнаруживается, и передний план (голова), скрытый посредством конструкции, определяются в качестве воксела, который должен оставаться, и конструкция (ворота) и непередний план (другая область) определяются в качестве воксела, который должен удаляться. Следовательно, из воксельного набора целевого пространства, показанного на фиг. 21, в завершение формируется, например, трехмерная модель человека без дефекта, как показано на фиг. 24 Здесь, фиг. 24 является схемой, показывающей пример трехмерной модели, сформированной посредством применения определения на основе пороговых значений количества ложных определений и определения на основе пороговых значений количества истинных определений.

[0082] В отличие от этого, фиг. 25 показывает пример, в котором трехмерная модель формируется посредством способа пересечения визуальных объемных величин с использованием только изображения с маской переднего плана, показанного на фиг. 19A–19E. На фиг. 19A, весь человек захватывается, но в захваченных изображениях, показанных на фиг. 19B, фиг. 19C и фиг. 19D, часть головы человека скрывается посредством ворот, которые представляют собой конструкцию. Дополнительно, в захваченном изображении, показанном на фиг. 19E, нога человека извлекается в качестве переднего плана. Вследствие этого, также в сформированной трехмерной модели, часть становится дефектом.

[0083] Как пояснено выше, в настоящем варианте осуществления, для каждого воксела в пространстве, которое представляет собой цель, для которой формируется трехмерная модель целевого объекта (переднего плана), определяется то, меньше или равно либо нет число камер, для которых целевой воксел включен в изображение с маской переднего плана, указывающее область переднего плана, пороговому значению (пороговому значению количества истинных определений), и в случае, если число меньше или равно пороговому значению, воксел удаляется.

[0084] Согласно настоящему варианту осуществления, даже в случае, если имеется дефект в изображении с маской переднего плана, указывающем область целевого объекта (переднего плана), можно исключать дефект в трехмерной модели, которая должна формироваться, для целевого объекта (переднего плана) и повышать качество трехмерной модели.

[0085] Дополнительно, изображение с интегрированной маской формируется посредством интегрирования изображения с маской переднего плана и изображения с маской конструкции, и в случае, если число камер, для которых целевой воксел не включен в изображение с интегрированной маской, больше или равно пороговому значению (количеству ложных определений), определяется необходимость удалять воксел. Вследствие этого, можно удалять множество вокселов, которые, очевидно, представляют собой непередний план, и в силу этого появляется возможность повышать скорость обработки на постстадии.

Четвертый вариант осуществления

[0086] В третьем варианте осуществления, описанном выше, то, находится или нет воксел внутри диапазона захвата изображений (внутри угла обзора) из каждой камеры, не определяется, и в силу этого имеется вероятность того, что воксел, указывающий передний план, удаляется ошибочно в случае, если воксел находится за пределами диапазона захвата изображений на множестве камер. Например, в случае, если спортивный стадион захватывается посредством компоновки камер, как показано на фиг. 14, число камер, для которых воксел, расположенный в области человека, расположенного около ворот на противоположной стороне точки взгляда, включен внутри диапазона захвата изображений, равно трем, и в силу этого количество истинных определений равно 3. В это время, в случае, если пороговое значение количества истинных определений равно 5, воксел удаляется, поскольку количество истинных определений меньше порогового значения. Следовательно, аспект поясняется в качестве четвертого варианта осуществления, в котором трехмерная модель формируется таким образом, что передний план, расположенный с разнесением от точки взгляда, не удаляется посредством задания порогового значения на основе результатов определения нахождения внутри/за пределами угла обзора. В настоящем варианте осуществления, посредством вычисления порогового значения количества истинных определений на основе числа камер, для которых воксел включен внутри диапазона захвата изображений (угла обзора), ошибочное удаление воксела, указывающего передний план, исключается даже в случае, если воксел разнесен от точки взгляда.

[0087] Функциональная конфигурация устройства формирования трехмерных моделей

Со ссылкой на фиг. 26, в дальнейшем поясняется функциональная конфигурация устройства формирования трехмерных моделей согласно настоящему варианту осуществления. Устройство 140 формирования трехмерных моделей согласно настоящему варианту осуществления дополнительно включает в себя модуль 109 определения нахождения внутри/за пределами угла обзора и модуль 260 вычисления пороговых значений, в дополнение к приемному модулю 155, модулю 101 хранения масок конструкции, модулю 102 хранения параметров камеры, модулю 103 интеграции масок, модулю 104 преобразования координат, модулю 105 определения нахождения внутри/за пределами маски, модулю 106 задания пороговых значений, модулю 107 формирования моделей переднего плана и модулю 108 вывода. Базовая конфигурация системы формирования изображений с виртуальной точкой обзора является идентичной базовой конфигурации первого–третьего вариантов осуществления, и в силу этого пояснение опускается. Дополнительно, приемный модуль 155, модуль 101 хранения масок конструкции, модуль 102 хранения параметров камеры, модуль 103 интеграции масок, модуль 104 преобразования координат, модуль 105 определения нахождения внутри/за пределами маски, модуль 106 задания пороговых значений, модуль 107 формирования моделей переднего плана и модуль 108 вывода, конфигурирующие устройство 140 формирования трехмерных моделей, являются идентичными модулям третьего варианта осуществления, и в силу этого пояснение опускается.

[0088] Модуль 109 определения нахождения внутри/за пределами угла обзора определяет то, находится или нет каждый воксел в целевом воксельном пространстве в пределах диапазона захвата изображений каждой камеры, на основе параметров камеры для каждой камеры.

[0089] Модуль 260 вычисления пороговых значений вычисляет значение, полученное посредством умножения числа камер, для которых определяется то, что каждый воксел находится в пределах диапазона захвата изображений, на предварительно определенный коэффициент в качестве порогового значения количества истинных определений. Например, в случае, если число камер, для которых определенный воксел в пределах диапазона захвата изображений, равно пяти, и предварительно определенный коэффициент составляет 60%, пороговое значение количества истинных определений для воксела вычисляется 3. Пороговое значение, вычисленное посредством модуля 260 вычисления пороговых значений, выводится в модуль 106 задания пороговых значений, и модуль 106 задания пороговых значений задает пороговое значение, вводимое из модуля 260 вычисления пороговых значений, в качестве порогового значения количества истинных определений.

[0090] В случае, если число камер, для которых определенный воксел находится в пределах диапазона захвата изображений, меньше предварительно определенного числа, считается, что точность трехмерной модели, которая должна формироваться, уменьшается, и обработка не требуется, и в силу этого также может быть возможным проектировать конфигурацию, в которой пороговое значение задается равным предварительно определенному значению в случае, если число таких камер меньше предварительно определенного числа.

[0091] Фиг. 27 является блок–схемой последовательности операций способа, показывающей процедуру обработки, выполняемую посредством устройства формирования трехмерных моделей согласно настоящему варианту осуществления. Каждый фрагмент обработки на S2701–S2704 является идентичным каждому фрагменту обработки на S1601–S1604 в последовательности операций на фиг. 16 третьего варианта осуществления, и в силу этого пояснение опускается.

[0092] На S2705, модуль 109 определения нахождения внутри/за пределами угла обзора определяет то, включен или нет один воксел, выбранный на S2704, внутри угла обзора каждой камеры на основе параметров камеры для каждой камеры.

[0093] На S2706, модуль 105 определения нахождения внутри/за пределами маски подсчитывает число камер, для которых выбранный один воксел не включен внутри области маски изображения с интегрированной маской каждой камеры, и для которых выбранный один воксел включен внутри угла обзора (в дальнейшем в этом документе называемое "количеством ложных определений").

[0094] Каждый фрагмент обработки на S2707–S2709 является идентичным каждому фрагменту обработки на S1606–S1608 в последовательности операций на фиг. 16, описанной ранее, и в силу этого пояснение опускается.

[0095] На S2710, модуль 260 вычисления пороговых значений вычисляет пороговое значение количества истинных определений на основе числа камер, для которых выбранный один воксел включен внутри угла обзора. Модуль 106 задания пороговых значений задает пороговое значение количества истинных определений, вычисленное посредством модуля 260 вычисления пороговых значений.

[0096] Каждый фрагмент обработки на S2711–S2714 является идентичным каждому фрагменту обработки на S1609–S1612 в последовательности операций на фиг. 16, описанной ранее, и в силу этого пояснение опускается. Выше приводится последовательность обработки в последовательности операций на фиг. 27.

[0097] Здесь, фиг. 28 показывает способ, которым спортивный стадион, включающий в себя передний план A, указываемый посредством черной точки в позиции рядом с точкой взгляда, указываемой посредством метки x на фиг. 28, и передний план B, указываемый посредством черной точки в позиции на значительном расстоянии от точки взгляда, захватываются посредством 16 камер так, как показано на фиг. 14. Предполагается, что передний план A находится внутри угла обзора всех 16 камер, и передний план B находится внутри угла обзора только трех камер 110k, 110l и 110m.

[0098] Дополнительно, фиг. 29 показывает пример количества ложных определений/количества истинных определений каждого из воксела в позиции переднего плана A рядом относительно точки взгляда и воксела в позиции переднего плана B на значительном расстоянии от точки взгляда в компоновке камер, показанной на фиг. 28. Предполагается, что пороговое значение количества ложных определений составляет фиксированное значение в 10, и пороговое значение количества истинных определений составляет 70% от числа камер, для которых воксел включен внутри угла обзора.

[0099] Воксел, расположенный на переднем плане A рядом с точкой взгляда, включен в изображение с интегрированной маской всех 16 камер, и в силу этого не существуют камеры, для которых воксел находится за пределами изображения с интегрированной маской. Следовательно, число камер, для которых воксел находится за пределами изображения с интегрированной маской, и для которых воксел находится внутри угла обзора, равно нулю, и в силу этого количество ложных определений равно 0.

[0100] Дополнительно, число камер, для которых воксел, расположенный на переднем плане A рядом с точкой взгляда, включен внутри угла обзора, также равно 16, и в силу этого пороговое значение количества истинных определений равно 11,2, что составляет 70% от 16. Затем воксел, расположенный на переднем плане A рядом с точкой взгляда, находится в изображении с маской переднего плана всех камер, и количество истинных определений равно 16, и подсчитанное значение больше или равно пороговому значению (11,2), и в силу этого воксел не удаляется.

[0101] Воксел в позиции переднего плана B на значительном расстоянии от точки взгляда, находится за пределами угла обзора 13 камер (13 камер за исключением камер 110k, 110l и 110m) и внутри угла обзора трех камер (камер 110k, 110l и 110m). Дополнительно, воксел находится в изображении с интегрированной маской трех камер (камера 110k, 110l и 110m). Следовательно, число камер, для которых воксел находится за пределами изображения с интегрированной маской, и для которых воксел находится внутри угла обзора, равно нулю, и в силу этого количество ложных определений равно 0.

[0102] Дополнительно, число камер, для которых воксел, расположенный на переднем плане B на значительном расстоянии от точки взгляда, включен внутри угла обзора, равно трем, и в силу этого пороговое значение количества истинных определений равно 2,1, что составляет 70% от 3. Затем воксел, расположенный на переднем плане B на значительном расстоянии от точки взгляда, находится в изображении с маской переднего плана трех камер, и количество истинных определений равно 3, и подсчитанное значение больше или равно пороговому значению (2,1), и в силу этого воксел не удаляется.

[0103] Как описано выше, посредством задания порогового значения количества истинных определений на основе числа камер, для которых целевой воксел включен внутри угла обзора, можно формировать трехмерную модель для переднего плана, который находится на значительном расстоянии от точки взгляда, и в случае, если число камер, для которых целевой воксел находится внутри угла обзора, является небольшим. Следовательно, появляется возможность формировать трехмерную модель, подавляющую степень дефекта даже для переднего плана на значительном расстоянии от точки взгляда.

[0104] В третьем и четвертом вариантах осуществления, описанных выше, поясняется аспект, в котором только камеры, для которых воксел включен в изображение с маской переднего плана, подсчитываются в качестве количества истинных определений каждого воксела. Тем не менее, в этом случае, воксел, расположенный в позиции переднего плана, который скрывается посредством конструкции на множестве камер, может удаляться, поскольку количество истинных определений не превышает пороговое значение. Следовательно, аспект поясняется в качестве пятого варианта осуществления, в котором трехмерная модель без дефекта формируется даже в случае, если предотвращается захват переднего плана посредством конструкции на множестве камер.

[0105] В настоящем варианте осуществления, даже в случае, если целевой воксел находится за пределами изображения с маской переднего плана, при условии, что целевой воксел включен в изображение с маской конструкции, воксел имеет вероятность выступания в качестве переднего плана, и в силу этого дефект переднего плана исключается посредством суммирования значения, полученного посредством умножения числа камер, для которых определяется то, что воксел включен в изображение с маской конструкции, на значение весового коэффициента, с количеством истинных определений.

[0106] В частности, сначала значение весового коэффициента задается на основе числа камер, для которых целевой воксел включен в изображение с маской конструкции. Затем в случае, если сумма числа камер, для которых целевой воксел включен в изображение с маской переднего плана, и значения, полученного посредством умножения числа камер, для которых целевой воксел включен в изображение с маской конструкции, на значение весового коэффициента, меньше или равна пороговому значению количества истинных определений, определяется необходимость удалять воксел.

[0107] Функциональная конфигурация устройства формирования трехмерных моделей

Со ссылкой на фиг. 30, в дальнейшем поясняется функциональная конфигурация устройства формирования трехмерных моделей согласно настоящему варианту осуществления. Устройство 140 формирования трехмерных моделей согласно настоящему варианту осуществления дополнительно включает в себя модуль 300 задания весовых коэффициентов, в дополнение к конфигурации устройства формирования трехмерных моделей четвертого варианта осуществления.

[0108] Модуль 300 задания весовых коэффициентов задает значение, которое суммируется с количеством истинных определений в случае, если целевой воксел определяется как находящийся в изображении с маской конструкции, в качестве значения весового коэффициента для каждой камеры. Это значение весового коэффициента является эквивалентным значению, указывающему вероятность воксела, расположенного на переднем плане, и в настоящем варианте осуществления, значение весового коэффициента для каждой камеры задается равным 0,5. Затем значение, полученное посредством умножения числа камер, для которых целевой воксел определяется как находящийся в изображении с маской конструкции, на 0,5, что составляет значение весового коэффициента для каждой камеры, суммируется с количеством истинных определений.

[0109] Фиг. 31 является блок–схемой последовательности операций способа, показывающей процедуру обработки, выполняемую посредством устройства формирования трехмерных моделей согласно настоящему варианту осуществления.

[0110] Каждый фрагмент обработки на S3101–S3104 является идентичным каждому фрагменту обработки на S2701–S2704 в последовательности операций на фиг. 27 четвертого варианта осуществления. Дополнительно, каждый фрагмент обработки на S3105–S3108 является идентичным каждому фрагменту обработки на S2706–S2709 в последовательности операций на фиг. 27, описанной ранее. Дополнительно, каждый фрагмент обработки на S3109 и S3110 является идентичным каждому фрагменту обработки на S2705 и S2710 в последовательности операций на фиг. 27, описанной ранее.

[0111] На S3111, модуль 105 определения нахождения внутри/за пределами маски подсчитывает число камер, для которых выбранный один воксел включен внутри области маски изображения с маской конструкции каждой камеры.

[0112] На S3112, модуль 300 задания весовых коэффициентов суммирует значение, полученное посредством умножения числа камер, для которых выбранная маска включена внутри области маски изображения с маской конструкции, на 0,5, что составляет значение весового коэффициента для каждой камеры, с количеством истинных определений, вычисленным на S3108. Каждый фрагмент обработки на S3113–S3116 является идентичным каждому фрагменту обработки на S2711–S2714 в последовательности операций на фиг. 27, описанной ранее. Выше приводится последовательность обработки в последовательности операций на фиг. 31.

[0113] Здесь, фиг. 32 показывает пример количества истинных определений в случае, если отсутствует суммирование весового коэффициента, и пример количества истинных определений в случае, если предусмотрено суммирование весового коэффициента согласно настоящему варианту осуществления для воксела, расположенного в определенной области переднего плана.

[0114] Предполагается, что этот воксел находится внутри угла обзора всех 16 камер, число камер, для которых целевой воксел включен в изображение с маской переднего плана, равно семи, и число камер, для которых целевой воксел включен в изображение с маской конструкции, равно девяти. В этом случае, число камер, для которых воксел находится за пределами изображения с интегрированной маской, равно нулю (общее число камер 16–7–9). Следовательно, число камер, для которых воксел находится за пределами изображения с интегрированной маской, и для которых воксел находится внутри угла обзора, равно нулю, и в силу этого количество ложных определений равно 0.

[0115] В случае, если отсутствует суммирование весового коэффициента, число камер, для которых целевой воксел включен в изображение с маской переднего плана, равно семи, и в силу этого количество истинных определений равно 7. Предполагается, что пороговое значение количества истинных определений составляет 70% от числа камер, для которых целевой воксел включен внутри угла обзора. В таком случае, пороговое значение составляет 11,2 (16×0,7), и количество истинных определений (7) < пороговое значение (11,2), и количество истинных определений меньше или равно пороговому значению, и в силу этого воксел удаляется.

[0116] С другой стороны, в случае, если предусмотрено суммирование весового коэффициента, число камер, для которых целевой воксел включен в изображение с маской переднего плана, равно семи, и в силу этого количество истинных определений аналогично равно 7, и значение весового коэффициента суммируется с ним. Число камер, для которых целевой воксел включен в изображение с маской конструкции, равно девяти, и значение весового коэффициента для каждой камеры равно 0,5, и в силу этого 9×0,5=4,5 суммируется в качестве значения весового коэффициента. Количество истинных определений после того, как значение весового коэффициента суммируется, равно 11,5, и количество истинных определений (11,5) > порогового значения (11,2), и количество истинных определений превышает пороговое значение, и в силу этого воксел рассматривается в качестве переднего плана и не удаляется.

[0117] В настоящем варианте осуществления, предполагается случай, в котором предусмотрена одна конструкция, но в случае, если предусмотрено множество различных конструкций, имеющих вероятность перекрытия переднего плана, также может быть возможным задавать значение весового коэффициента, отличающееся для каждого вида изображения с маской конструкции, и суммировать значение на основе значения весового коэффициента с количеством истинных определений. Например, для изображения с маской конструкции электронных рекламных щитов, установленных таким образом, что они окружают спортивное поле спортивного стадиона, электронные рекламные щиты являются большим и с большой вероятностью должны перекрывать передний план, и в силу этого вероятность включения переднего плана становится существенной, и в силу этого значение весового коэффициента для каждой камеры задается равным 0,5. Дополнительно, для изображения с маской конструкции ворот, значение весового коэффициента для каждой камеры задается равным 0,3. Считается, что вероятность того, что электронные рекламные щиты перекрывают передний план (человека), превышает вероятность для ворот, поскольку электронные рекламные щиты больше ворот, и отсутствуют зазоры в электронных рекламных щитах, и в силу этого значение весового коэффициента для электронных рекламных щитов задается как значение, большее значения весового коэффициента для ворот.

[0118] Дополнительно, также может быть возможным задавать различное значение весового коэффициента в соответствии с позицией воксела, сценой, размером и формой области маски, областью спортивного стадиона в качестве цели захвата изображений и т.п.

[0119] Как пояснено выше, в настоящем варианте осуществления, определение на основе пороговых значений выполняется после суммирования весового коэффициента на основе числа камер, для которых целевой воксел включен внутри области маски изображения с маской конструкции, с количеством истинных определений. Вследствие этого, даже в случае, если предотвращается захват переднего плана посредством конструкции на множестве камер, можно реализовывать формирование трехмерной модели без дефекта.

[0120] Как описано выше, согласно первому–пятому вариантам осуществления, даже в случае, если существует конструкция, которая скрывает объект, который представляет собой передний план, можно формировать высокоточную трехмерную модель только переднего плана без включения конструкции.

Шестой вариант осуществления

[0121] Далее поясняется аспект в качестве шестого варианта осуществления, в котором число камер, для которых целевой воксел включен в изображение с маской конструкции, используется вместо числа камер, для которых целевой воксел включен в изображение с маской переднего плана (количества истинных определений), используемое в третьем варианте осуществления. В третьем варианте осуществления, для трехмерной модели, сформированной на основе изображения с маской переднего плана и изображения с маской конструкции, изображение с маской переднего плана обновляется каждый раз, и определяется то, включен или нет воксел, конфигурирующий трехмерную модель, в изображение с маской переднего плана, и в силу этого предусмотрен случай, в котором обработка усложняется. Следовательно, формирование трехмерной модели переднего плана, не включающей в себя конструкцию, выполняется посредством подсчета числа камер, для которых целевой воксел включен в фиксированное изображение с маской конструкции для трехмерной модели, сформированной на основе изображения с маской переднего плана и изображения с маской конструкции.

[0122] Функциональная конфигурация и аппаратная конфигурация устройства формирования трехмерных моделей

Фиг. 33 является схемой, показывающей конфигурацию устройства 140 формирования трехмерных моделей в настоящем варианте осуществления. Конфигурация устройства 140 формирования трехмерных моделей в настоящем варианте осуществления является практически идентичной конфигурации третьего варианта осуществления, и в силу этого пояснение блока, который выполняет идентичную обработку, опускается. Устройство 140 формирования трехмерных моделей согласно настоящему варианту осуществления включает в себя модуль 3300 определения нахождения внутри/за пределами маски вместо модуля 105 определения нахождения внутри/за пределами маски. Модуль 3300 определения нахождения внутри/за пределами маски подсчитывает число камер, для которых каждый воксел в целевом воксельном пространстве включен в изображение с интегрированной маской и в область изображения с маской конструкции, определяет то, следует или нет удалять целевой воксел, посредством определения на основе пороговых значений и выводит результаты определения в модуль 107 формирования моделей переднего плана. Аппаратная конфигурация устройства 140 формирования трехмерных моделей настоящего варианта осуществления является идентичной аппаратной конфигурации на фиг. 15, и в силу этого пояснение опускается.

[0123] Фиг. 34 является блок–схемой последовательности операций способа, показывающей процедуру обработки, выполняемую посредством устройства 140 формирования трехмерных моделей в настоящем варианте осуществления. Каждый фрагмент обработки на S3401–S3407 и S3410–S3412 является идентичным каждому фрагменту обработки на S1601–S1607 и S1610–S1612, поясненных со ссылкой на фиг. 16 в третьем варианте осуществления, и в силу этого пояснение опускается, и поясняются главным образом обязательные части.

[0124] На S3406, модуль 3300 определения нахождения внутри/за пределами маски определяет то, больше или равно либо нет количество ложных определений пороговому значению. В случае, если количество ложных определений меньше порогового значения, можно определять то, что выбранный воксел представляет собой передний план или конструкцию, и в силу этого обработка переходит к S3408.

[0125] На S3408, модуль 3300 определения нахождения внутри/за пределами маски подсчитывает число камер, для которых пиксел или область, соответствующая выбранному одному вокселу, включена внутри области маски изображения с маской конструкции каждой камеры (в дальнейшем в этом документе называемое "количеством определений для конструкции").

[0126] На S3409, модуль 3300 определения нахождения внутри/за пределами маски определяет то, больше или равно либо нет количество определений для конструкции пороговому значению. В случае, если количество определений для конструкции больше или равно пороговому значению, можно определять то, что выбранный воксел представляет собой конструкцию, и в силу этого обработка переходит к S3407, и выбранный воксел удаляется из целевого воксельного пространства. С другой стороны, в случае, если количество определений для конструкции меньше порогового значения, можно определять то, что выбранный воксел представляет собой передний план, и в силу этого выбранный воксел не удаляется из целевого воксельного пространства.

[0127] Здесь, в дальнейшем поясняется пример формирования трехмерной модели посредством рассмотрения системы формирования изображений с виртуальной точкой обзора, которая захватывает спортивный стадион посредством 16 камер, показанных на фиг. 14 в качестве примера. Фиг. 35 показывает пример количества определений для конструкции/количества ложных определений и результатов определения вокселов для человека, ноги человека, головы человека, ворот и другой области, соответственно, в качестве переднего плана, переднего плана, не обнаруженного посредством части камер, переднего плана, скрытого посредством конструкции, конструкции и непереднего плана в системе формирования изображений с виртуальной точкой обзора, показанной на фиг. 14. Здесь, предполагается, что одна камера неудачно выполняет извлечение переднего плана ноги человека, и голова человека скрывается посредством ворот, которые представляют собой конструкцию, на трех камерах, и они извлекаются в качестве переднего плана посредством устройства 130 отделения переднего плана.

[0128] В случае, если пороговое значение количества ложных определений составляет фиксированное значение в 10 при определении на S3404, количество ложных определений воксела, расположенного в другой области за исключением человека, ноги, головы и стойки ворот, которая представляет собой конструкцию, равно 16 и превышает пороговое значение, и в силу этого воксел удаляется. Трехмерная модель, сформированная посредством применения определения на основе пороговых значений количества ложных определений, является идентичной трехмерной модели, показанной на фиг. 23, описанной ранее.

[0129] Дополнительно, в случае, если пороговое значение количества определений для конструкции составляет фиксированное значение 3 при определении, показанном на S3408, количество определений для конструкции воксела, расположенного в области ворот, которые представляют собой конструкцию, равно 5 и больше или равно пороговому значению, и в силу этого воксел удаляется. С другой стороны, количество определений для конструкции каждого из вокселов, расположенных в областях человека, ноги человека и головы, равно 0 и меньше порогового значения, и в силу этого вокселы не удаляются. Следовательно, формируется трехмерная модель человека без дефекта, как показано на фиг. 24, описанном ранее.

[0130] Посредством вышеуказанной обработки, можно реализовывать формирование трехмерной модели без дефекта даже в случае, если предотвращается захват переднего плана посредством конструкции посредством определения на основе пороговых значений числа камер, для которых этот целевой воксел включен внутри маски конструкции (количества определений для конструкции).

[0131] Другие варианты осуществления

Также можно реализовывать настоящее изобретение посредством обработки, чтобы предоставлять программу, которая реализует одну или более функций вышеописанных вариантов осуществления, в систему или оборудование через сеть либо носитель хранения данных и инструктировать одному или более процессоров в компьютере системы или оборудования считывать и выполнять программу. Дополнительно, также можно реализовывать настоящее изобретение посредством схемы (например, ASIC), которая реализует одну или более функций.

[0132] Выше поясняется настоящее изобретение со ссылкой на варианты осуществления, но разумеется, что настоящее изобретение не ограничено вариантами осуществления, описанными выше. Объем прилагаемой формулы изобретения должен соответствовать самой широкой интерпретации, так что он заключает в себе все такие модификации и эквивалентные конструкции и функции. Настоящее изобретение не ограничено вышеописанными вариантами осуществления, и может вноситься множество изменений и модификаций без отступления от сущности и объема настоящего изобретения. Следовательно, чтобы опубликовывать объем настоящего изобретения, прилагается нижеприведенная формула изобретения.

[0133] Данная заявка притязает на приоритет заявки на патент (Япония) № 2017–239891, поданной 14 декабря 2017 года, заявки на патент (Япония) № 2018–089467, поданной 7 мая 2018 года, и заявки на патент (Япония) № 2018–209196, поданной 6 ноября 2018, которые настоящим полностью цитируются по ссылке.

Изобретение относится к средствам формирования трехмерной формы объекта. Техническим результатом является повышение точности формирования данных трехмерной формы, соответствующей объекту. Устройство формирования данных трехмерной формы объекта содержит: первое средство получения для получения первой информации области, указывающей область объекта во множестве изображений, полученных посредством захвата изображения из множества направлений захвата изображения; второе средство получения для получения второй информации области, указывающей область конструкции, имеющую вероятность перекрытия объекта в случае захвата изображения из по меньшей мере одного направления захвата изображения из множества направлений захвата изображения; и средство формирования для формирования данных трехмерной формы, соответствующих объекту и конструкции, на основе как первой информации области, указывающей область объекта, полученную посредством первого средства получения, так и второй информации области, указывающей область конструкции, полученную посредством второго средства получения, и для удаления данных трехмерной формы, соответствующих конструкции, из сформированных данных трехмерной формы, соответствующих объекту и конструкции. 3 н. и 19 з.п. ф-лы, 86 ил.

1. Устройство формирования данных трехмерной формы объекта, содержащее:

первое средство получения для получения первой информации области, указывающей область объекта во множестве изображений, полученных посредством захвата изображения из множества направлений захвата изображения;

второе средство получения для получения второй информации области, указывающей область конструкции, имеющую вероятность перекрытия объекта в случае захвата изображения из по меньшей мере одного направления захвата изображения из множества направлений захвата изображения; и

средство формирования для формирования данных трехмерной формы, соответствующих объекту и конструкции, на основе как первой информации области, указывающей область объекта, полученную посредством первого средства получения, так и второй информации области, указывающей область конструкции, полученную посредством второго средства получения, и для удаления данных трехмерной формы, соответствующих конструкции, из сформированных данных трехмерной формы, соответствующих объекту и конструкции.

2. Устройство формирования по п. 1, в котором:

первая информация области представляет собой изображение, указывающее область объекта, и

вторая информация области представляет собой изображение, указывающее область конструкции.

3. Устройство формирования по п. 2, дополнительно содержащее:

средство комбинирования для комбинирования изображения, указывающего область объекта, и изображения, указывающего область конструкции, при этом:

средство формирования формирует данные трехмерной формы, соответствующие объекту и конструкции, на основе изображения, комбинированного посредством средства комбинирования.

4. Устройство формирования по п. 3, в котором:

средство комбинирования формирует изображение, указывающее как область объекта, так и область конструкции, на основе изображения, указывающего область объекта, и изображения, указывающего область конструкции.

5. Устройство формирования по п. 1, в котором:

средство формирования:

формирует данные трехмерной формы, соответствующие конструкции, на основе второй информации области, полученной из второго средства получения; и

формирует данные трехмерной формы, соответствующие объекту, не включающие в себя данные трехмерной формы, соответствующие конструкции, на основе сформированных данных трехмерной формы, соответствующих конструкции, и данные трехмерной формы, соответствующие объекту и конструкции.

6. Устройство формирования по п. 5, в котором:

средство формирования формирует данные трехмерной формы, соответствующие объекту, не включающие в себя данные трехмерной формы, соответствующие конструкции, на основе данных трехмерной формы, соответствующих объекту и конструкции, и данных трехмерной формы, соответствующих конструкции, по меньшей мере часть которой расширяется.

7. Устройство формирования по п. 6, в котором:

средство формирования определяет часть конструкции, которая расширяется, для данных трехмерной формы, соответствующих конструкции, в соответствии с областью в трехмерном пространстве, в котором существует конструкция.

8. Устройство формирования по п. 6 или 7, в котором:

средство формирования определяет коэффициент расширения для данных трехмерной формы, соответствующих конструкции, в соответствии с расстоянием между конструкцией и объектом в трехмерном пространстве, в котором существует конструкция.

9. Устройство формирования по п. 8, в котором:

средство формирования увеличивает коэффициент расширения для данных трехмерной формы, соответствующих конструкции, по мере того, как расстояние между конструкцией и объектом увеличивается.

10. Устройство формирования по п. 1, в котором:

объект представляет собой движущийся объект, позиция которого может изменяться в каждом изображении в случае, если захват изображения выполняется во временных рядах из идентичного направления захвата изображения.

11. Устройство формирования по п. 1, в котором:

объект представляет собой по меньшей мере одно из человека и мяча.

12. Устройство формирования по п. 1, в котором:

конструкция представляет собой объект, неподвижное состояние которого длится.

13. Устройство формирования по п. 1, в котором:

по меньшей мере одно из футбольных ворот и углового флажка, используемых в футбольном матче, представляют собой конструкцию.

14. Устройство формирования по п. 1, в котором:

конструкция представляет собой объект, установленный в предварительно определенной позиции.

15. Устройство формирования по п. 1, в котором:

по меньшей мере часть конструкции устанавливается на поле, на котором человек, который представляет собой объект, участвует в игре.

16. Устройство формирования по п. 1, в котором:

конструкция представляет собой указанный объект.

17. Способ формирования данных трехмерной формы объекта, содержащий:

первый этап получения, на котором получают первую информацию области, указывающую область объекта во множестве изображений, полученных посредством захвата изображения из множества направлений захвата изображения;

второй этап получения, на котором получают вторую информацию области, указывающую область конструкции, имеющую вероятность перекрытия объекта в случае захвата изображения из по меньшей мере одного направления захвата изображения из множества направлений захвата изображения; и

этап формирования, на котором формируют данные трехмерной формы, соответствующие объекту и конструкции, на основе как первой информации области, указывающей область объекта, полученную на первом этапе получения, так и второй информации области, указывающей область конструкции, полученную на втором этапе получения, и удаляют данные трехмерной формы, соответствующие конструкции, из сформированных данных трехмерной формы, соответствующих объекту и конструкции.

18. Способ по п. 17, в котором:

первая информация области представляет собой изображение, указывающее область объекта, и

вторая информация области представляет собой изображение, указывающее область конструкции.

19. Способ по п. 18, дополнительно содержащий:

этап комбинирования, на котором комбинируют изображение, указывающее область объекта, и изображение, указывающее область конструкции, при этом:

на этапе формирования, данные трехмерной формы, соответствующие объекту и конструкции, формируются на основе изображения, комбинированного на этапе комбинирования.

20. Невременный компьютерно-читаемый носитель хранения данных, хранящий программу для выполнения компьютером способа по п. 17 или 18.

21. Устройство формирования по п. 1, в котором:

средство формирования определяет элемент, соответствующий конструкции, из числа элементов, формирующих сформированные данные трехмерной формы, соответствующие объекту и конструкции, и

средство формирования удаляет определенный элемент, соответствующий конструкции, из сформированных данных трехмерной формы, соответствующих объекту и конструкции.

22. Устройство формирования по п. 1, в котором:

средство формирования определяет элемент, соответствующий конструкции, из числа элементов, формирующих сформированные данные трехмерной формы, соответствующие объекту и конструкции, на основе нескольких изображений конструкции, включая область, соответствующую элементу, формирующему сформированные данные трехмерной формы, соответствующие объекту и конструкции, и

средство формирования удаляет определенный элемент, соответствующий конструкции, из сформированных данных трехмерной формы, соответствующих объекту и конструкции.