УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ И НОСИТЕЛЬ ХРАНЕНИЯ Российский патент 2020 года по МПК G06T15/20 G06T19/00 

Уровень техники

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к технологии формирования изображения из виртуальной точки обзора на основе изображений, захваченных из множества точек обзора.

Описание предшествующего уровня техники

[0002] В последние годы, привлекает внимание технология, которая формирует контент виртуальной точки обзора посредством выполнения синхронного захвата изображения во множестве точек обзора путем установки множества камер в различных позициях и с помощью множества изображений, полученных посредством захвата изображений. Согласно технологии формирования контента виртуальной точки обзора из множества изображений, например, становится возможным обзор выделенной сцены в футболе или баскетболе со множества углов, и, следовательно, является возможным предоставление пользователю более сильного ощущения присутствия при живом выступлении.

[0003] Для того, чтобы формировать и просматривать изображение виртуальной точки обзора, может потребоваться обработка изображения, такая как концентрация данных изображения, захваченных посредством множества камер, на сервере или т.п., формирование трехмерной модели на сервере или т.п. и воспроизведение. Выложенный японский патентный документ № 2008-15756 описывает технологию формирования изображения с произвольной точки обзора в реальном пространстве, близком к реальности, из изображений множества камер посредством регулировки параметра камеры и изображений в соответствии с каждой локальной областью, полученной посредством деления реального пространства.

[0004] Однако, с помощью технологии выложенного японского патентного документа № 2008-15756, описанного выше, изображение виртуальной точки обзора формируется с помощью изображений множества камер, и, следовательно, существует такая проблема, что объем данных изображений, требуемых для формирования изображения виртуальной точки обзора, становится очень большим.

Сущность изобретения

[0005] Настоящее изобретение предоставляет технологию, приспособленную для получения изображения виртуальной точки обзора, в то же время уменьшая объем данных.

[0006] Устройство обработки изображений согласно одному аспекту настоящего изобретения является устройством обработки изображений, включающим в себя: первый модуль формирования, сконфигурированный, чтобы формировать данные трехмерной формы, указывающие форму объекта, на основе, по меньшей мере, одного из множества изображений, захваченных с различных направлений посредством множества устройств захвата изображений; второй модуль формирования, сконфигурированный, чтобы формировать информацию цвета, указывающую цвет каждого элемента данных трехмерной формы, на основе данных трехмерной формы, сформированных посредством первого модуля формирования, и множества изображений; и модуль записи, сконфигурированный, чтобы записывать данные трехмерной формы и информацию цвета в модуль хранения в ассоциации друг с другом в качестве материальных данных для формирования изображения виртуальной точки обзора, соответствующего информации виртуальной точки обзора, указывающей виртуальную точку обзора.

[0007] Дополнительные признаки настоящего изобретения станут очевидны из последующего описания примерных вариантов осуществления со ссылкой на приложенные чертежи.

Краткое описание чертежей

[0008] Фиг. 1 - это схема, показывающая пример конфигурации системы обработки изображений;

[0009] Фиг. 2 - это схема, показывающая пример пространства реальных координат;

[0010] Фиг. 3 - это схема, показывающая пример данных объектной трехмерной модели;

[0011] Фиг. 4 - это блок-схема, показывающая пример функциональной конфигурации внешнего сервера;

[0012] Фиг. 5 - это схема, показывающая пример данных информации цвета по объектной трехмерной модели;

[0013] Фиг. 6 - это схема, показывающая пример соответствия между точками объектной трехмерной модели, камерами и информацией цвета;

[0014] Фиг. 7 - это блок-схема последовательности операций, показывающая пример процедуры получения данных;

[0015] Фиг. 8 - это блок-схема последовательности операций, показывающая пример процедуры формирования информации цвета;

[0016] Фиг. 9 - это схема для объяснения способа выбора камеры и способа формирования информации цвета;

[0017] Фиг. 10 - это блок-схема, показывающая пример функциональной конфигурации внутреннего сервера;

[0018] Фиг. 11 - это блок-схема последовательности операций, показывающая пример процедуры формирования изображения виртуальной точки обзора;

[0019] Фиг. 12 - это блок-схема, показывающая пример функциональной конфигурации внешнего сервера;

[0020] Фиг. 13 - это блок-схема последовательности операций, показывающая пример процедуры получения данных;

[0021] Фиг. 14 - это блок-схема последовательности операций, показывающая пример процедуры формирования информации коррекции цвета;

[0022] Фиг. 15 - это схема, объясняющая способ выбора камеры и способ формирования информации коррекции цвета;

[0023] Фиг. 16 - это схема, показывающая пример данных информации коррекции цвета по объектной трехмерной модели;

[0024] Фиг. 17 - это блок-схема, показывающая пример функциональной конфигурации внутреннего сервера;

[0025] Фиг. 18 - это схема для объяснения способа обработки коррекции цвета;

[0026] Фиг. 19 - это блок-схема последовательности операций, показывающая пример процедуры формирования изображения виртуальной точки обзора;

[0027] Фиг. 20 - это блок-схема, показывающая пример функциональной конфигурации внешнего сервера; и

[0028] Фиг. 21 - это схема, показывающая пример аппаратной конфигурации внешнего сервера.

Описание вариантов осуществления

[0029] В последующем, варианты осуществления настоящего изобретения объясняются со ссылкой на чертежи. Отметим, что компоненты, описанные в вариантах осуществления, являются просто примерными и не предназначены, чтобы ограничивать собой рамки настоящего изобретения. Дополнительно, все сочетания компонентов, объясненных в вариантах осуществления, необязательно являются необходимыми для способа, чтобы решать проблему, и возможно выполнять различные виды модификации и изменения в рамках сути настоящего изобретения, описанной в рамках формулы изобретения.

[0030] В настоящем описании буква в конце символа используется, чтобы идентифицировать каждую отдельную конфигурацию в конфигурациях одинакового типа. В случае, когда описание предоставляется посредством пропуска буквы в конце символа, предполагается, что описание предоставляется, без различения, в частности, каждой индивидуальной конфигурации друг от друга.

Первый вариант осуществления

Конфигурация системы

[0031] Фиг. 1 - это схема, показывающая пример конфигурации системы обработки изображений согласно настоящему варианту осуществления. Система 100 обработки изображений настоящего варианта осуществления имеет аспект, в котором множество камер и микрофонов устанавливается в сооружении, например, таком как спортивная арена (стадион) и концертный зал, и выполняется захват изображения и сбор звуков. Система 100 обработки изображений имеет системы 110a-110z датчиков, вычислительный сервер 200 изображений, контроллер 300, коммутирующий концентратор 180 и терминал 190 конечного пользователя.

[0032] Контроллер 300 имеет станцию 310 управления и UI (пользовательский интерфейс) 330 для управления виртуальной камерой. Допустимо для станции 310 управления выполнять управление для каждого блока (сервера, устройства и т.п.), конфигурирующего систему 100 обработки изображений, через сети 310a, 310b, 310c, 180a и 180b и шлейфовые подключения 170a-170y. Например, станция 310 управления выполняет управление рабочим состоянием каждого блока, управление настройкой параметров и т.п. Вышеописанная сеть может быть GbE (гигабитный Ethernet) или 10 GbE в соответствии со стандартом IEEE, который является Ethernet (зарегистрированная торговая марка), или может быть сконфигурирован посредством объединения межсоединения Infiniband, промышленного Ethernet и т.п. Дополнительно, сеть не ограничивается такими типами и может быть другим типом сети.

[0033] Системы 110a-110z датчиков передают 26 наборов изображений и голосов из системы 110z датчиков вычислительному серверу 200 изображений. В системе 100 обработки изображений настоящего варианта осуществления системы 110a-110z датчиков соединяются в шлейфовое соединение. Благодаря этому, изображение и голос, полученные в каждой системе датчиков, передаются последовательно системе датчиков на стороне ниже по потоку, которая соединена шлейфом. Затем, из самой нижней по потоку системы 110z датчиков, изображения и голоса, соответствующие 26 наборам, передаются вычислительному серверу 200 изображений через сеть 108b и коммутирующий концентратор 180. Применяя конфигурацию шлейфового соединения, возможно уменьшать число соединительных кабелей и нагрузку по электромонтажным работам. Конфигурация сети может быть конфигурацией сети типа "звезда", в которой каждая система 110 датчиков соединяется с коммутирующим концентратором 180, и передача и прием данных между системами 110 датчиков выполняются через коммутирующий концентратор 180. На фиг. 1, хотя объяснение предоставлено посредством взятия 26 наборов в качестве числа систем датчиков в качестве примера, это является просто примером, и число систем датчиков не ограничивается этим.

[0034] В настоящем варианте осуществления, пока не изложено отдельно, объяснение предоставляется при предположении, что формулировка "изображение" включает в себя понятие движущегося изображения и неподвижного изображения. Т.е., возможно для системы 100 обработки изображений настоящего варианта осуществления обрабатывать как неподвижные изображения, так и движущиеся изображения. Дополнительно, в настоящем варианте осуществления, хотя, главным образом, объясняется пример, в котором в контент виртуальной точки обзора, предоставленный посредством системы 100 обработки изображений, включены изображение виртуальной точки обзора и звук виртуальной точки прослушивания, контент виртуальной точки обзора не ограничивается ими. Например, может также быть возможным для контента виртуальной точки обзора не включать в себя голос. Дополнительно, например, голос, включенный в контент виртуальной точки обзора, может быть голосом, собранным посредством микрофона, наиболее близкого к позиции виртуальной точки обзора, или может быть создан из голосов, собранных посредством множества микрофонов. Кроме того, предполагается, что, в основном, и изображение, и голос обрабатываются, хотя описание для голоса частично пропускается в настоящем варианте осуществления для упрощения объяснения.

[0035] Система 110 датчиков имеет микрофон 111, камеру 112, плоскоконическую головку 113, внешний датчик 114 и адаптер 120 камеры. Каждая система 110 датчиков имеет одну камеру 112. Как описано выше, система 100 обработки изображений имеет множество камер 112 для захвата объекта с множества направлений. Камера 112 и адаптер 120 камеры могут быть сконфигурированы в один модуль. Дополнительно, может также быть возможным для внешнего сервера 230 иметь, по меньшей мере, часть функций адаптера 120 камеры. В случае, когда, например, гиродатчик используется в качестве внешнего датчика 114, возможно получать информацию, указывающую вибрацию.

[0036] Здесь объясняется работа адаптера 120 камеры. Адаптер 120 камеры имеет функцию разделения захваченного изображения, захваченного посредством камеры 112, на изображение переднего плана и изображение заднего плана. Например, адаптер 120 камеры разделяет захваченное изображение (далее в данном документе также иногда описывается как изображение), захваченное посредством камеры 112, на изображение переднего плана, полученное посредством извлечения объекта, который выполняет действие (движущийся объект), например, игрока, и изображение заднего плана для объекта, неподвижное состояние которого или состояние, близкое к неподвижному состоянию, продолжается, например, газона. Здесь предполагается, что человек, такой как игрок, берется в качестве объекта (переднего плана). Объект (переднего плана) может быть мячом. Затем, адаптер 120 камеры выводит изображение переднего плана и изображение заднего плана, отделенные друг от друга, другому адаптеру 120 камеры на стороне ниже по потоку, который последовательно соединен. Способ разделения на изображение переднего плана и изображение заднего плана не ограничивается способом различения заднего плана, и является возможным применять публично известный способ. Неподвижный объект ссылается на объект, неподвижное состояние или почти неподвижное состояние которого продолжается.

[0037] Изображение переднего плана, включающее в себя объект, и изображение заднего плана, оба формируются посредством каждого из адаптеров 120a-120z камер, передаются последовательно адаптеру камеры на стороне ниже по потоку и выводятся на вычислительный сервер 200 изображений из самого нижнего по потоку адаптера 120z камеры. Благодаря этому, в вычислительном сервере 200 изображений, изображение переднего плана и изображение заднего плана, оба формируемые из захваченного изображения каждой камеры 112, концентрируются.

[0038] Далее объясняются конфигурация и работа вычислительного сервера 200 изображений. Вычислительный сервер 200 изображений настоящего варианта осуществления выполняет обработку для данных, полученных от системы 110z датчиков. Вычислительный сервер 200 изображений имеет внешний сервер 230, базу данных 250 (далее в данном документе, также описываемую как DB иногда), внутренний сервер 270 и сервер 290 времени.

[0039] Сервер 290 времени имеет функцию распределения сигнала времени и синхронизации и распределяет сигнал времени и синхронизации системам 110a-110z датчиков через коммутирующий концентратор 180. Адаптеры 120a-120z камер, принявшие сигнал времени и синхронизации, внешне синхронизируют камеры 112a-112z на основе сигнала времени и синхронизации и выполняют синхронизацию изображений (кадров). Т.е., сервер 290 времени синхронизирует моменты захвата изображения для множества камер 112. Вследствие этого, возможно, чтобы система 100 обработки изображений формировала изображение виртуальной точки обзора на основе множества изображений, захваченных в один и тот же момент времени, и, следовательно, возможно пресекать снижение качества изображения виртуальной точки обзора вследствие сдвига в моменте захвата изображения. В настоящем варианте осуществления, хотя предполагается, что сервер 290 времени управляет синхронизацией времени множества камер 112, это не ограничивается, и может также быть возможным, чтобы каждая камера 112 или каждый адаптер 120 камеры выполнял обработку для синхронизации времени независимо.

[0040] Внешний сервер 230 получает изображение переднего план и изображение заднего плана, оба формируются из захваченного изображения каждой камеры 112, от системы 110z датчиков. Затем, внешний сервер 230 формирует трехмерную модель (данные трехмерной формы), представляющую трехмерную форму объекта, с помощью полученного изображения переднего плана. В качестве способа формирования трехмерной модели упоминается, например, способ, называемый визуальным каркасом. В способе визуального каркаса трехмерное пространство, в котором трехмерная модель существует, делится на небольшие кубы. Затем, куб проецируется на силуэт изображения переднего плана каждой камеры, и в случае, когда куб не включается в область силуэта, по меньшей мере, для одной камеры, куб удаляется, и эта обработка повторяется, и кубы, которые остаются, формируются в качестве трехмерной модели.

[0041] Способ формирования трехмерной модели не ограничивается способом визуального каркаса, и может быть использован другой способ. В настоящем варианте осуществления предполагается, что трехмерная модель представляется облаком точек, имеющим позиционную информацию по x, y и z в трехмерном пространстве в пространстве реальных координат, уникально указывающем целевое пространство для захвата изображения. Трехмерная модель не ограничивается моделью, представленной облаком точек, и может быть представлена посредством другого формата данных и, например, может быть представлена посредством модели полигональной сетки, сконфигурированной посредством простых выпуклых многоугольных поверхностей, таких как треугольник и прямоугольник, или может быть представлена посредством вокселов или т.п. Внешний сервер 230 хранит изображение заднего плана, сформированное из захваченного изображения каждой камеры 112 и сформированную объектную трехмерную модель, описанную выше, в DB 250. Предполагается, что информация, указывающая контур формы трехмерной модели, также хранится вместе. Для упрощения объяснения, объяснение предоставляется, предполагая, что контурная информация является информацией, представляющей контур посредством кубоида, окружающего внешнюю сторону формы трехмерной модели. Контурная информация не ограничивается этой формой, и любая форма может быть принята, пока она окружает внешнюю сторону формы трехмерной модели.

[0042] Т.е., внешний сервер 230 имеет функцию в качестве устройства формирования данных, которое формирует материальные данные для формирования изображения виртуальной точки обзора, которое должно быть описано позже подробно, и сохраняет сформированные материальные данные в DB 250. Дополнительно, внешний сервер 230 также имеет функцию формирования информации цвета по каждому элементу объектной трехмерной модели из изображения, захваченного камерой, которая должна быть описана позже подробно, и сохранения сформированной информации цвета в DB 250.

[0043] Внутренний сервер 270 принимает указание виртуальной точки обзора от UI 330 управления виртуальной камерой, считывает соответствующие данные изображения и голосовые данные из DB 250 на основе принятой точки обзора и формирует изображение виртуальной точки обзора, выполняя обработку воспроизведения. Т.е., внутренний сервер 270 имеет функцию в качестве устройства формирования изображения виртуальной точки обзора, которое формирует изображение виртуальной точки обзора на основе захваченного изображения (изображения множества точек обзора), захваченного множеством камер 112, и информации о точке обзора. Затем, внутренний сервер 270 предоставляет сформированное изображение виртуальной точки обзора терминалу 190 конечного пользователя. Изображение виртуальной точки обзора в настоящем варианте осуществления является контентом, включающим в себя изображение виртуальной точки обзора, полученное в случае, когда объект захватывается из виртуальной точки обзора. Другими словами, может быть также сказано, что изображение виртуальной точки обзора является изображением в случае, когда предполагается, что изображение захватывается в позиции и в направлении в указанной точке обзора. Виртуальная точка обзора может быть указана пользователем или может быть автоматически указана на основе результатов или т.п. анализа изображения. Т.е., в изображении виртуальной точки обзора, изображение произвольной точки обзора (изображение виртуальной точки обзора) соответствует точке обзора, указанной произвольно пользователем.

[0044] Конфигурация вычислительного сервера 200 изображений не ограничивается этим. Например, по меньшей мере, два из внешнего сервера 230, DB 250 и внутреннего сервера 270 могут быть сконфигурированы в один модуль. Дополнительно, по меньшей мере, один из внешнего сервера 230, DB 250 и внутреннего сервера 270 может быть включен во множество. Кроме того, устройство, отличное от вышеописанных устройств, может быть включено в произвольной позиции в вычислительный сервер 200 изображений. Кроме того, может также быть возможным для терминала 190 конечного пользователя и UI 330 управления виртуальной камерой иметь, по меньшей мере, часть функций вычислительного сервера 200 изображений.

[0045] Изображение виртуальной точки обзора, сформированное внутренним сервером 270, передается от внутреннего сервера 270 терминалу 190 конечного пользователя. Вследствие этого, возможно для пользователя, который управляет терминалом 190 конечного пользователя, просматривать изображение и слушать голос в соответствии с указанной точкой обзора. В качестве дополнения, хотя, главным образом, объясняется пример, в котором голосовые данные (аудиоданные) включены в контент виртуальной точки обзора в настоящем варианте осуществления, голосовые данные необязательно должны содержаться. Дополнительно, может также быть возможным, чтобы внутренний сервер 270 передавал изображение виртуальной точки обзора терминалу 190 конечного пользователя с помощью протокола MPEG-DASH после сжатия и кодирования изображения виртуальной точки обзора стандартным способом, представленным посредством H.264 и HEVC. Кроме того, может также быть возможным передавать изображение виртуальной точки обзора в несжатом состоянии терминалу 190 конечного пользователя. В этом случае, первое, в котором выполняются сжатие и кодирование, предполагает смартфон и планшет в качестве терминала 190 конечного пользователя, а второе предполагает дисплей, приспособленный для отображения несжатого изображения. Т.е., возможно переключать форматы изображения в соответствии с типом терминала 190 конечного пользователя. Кроме того, протокол передачи изображений не ограничивается MPEG-DASH, и также возможно использовать HLS (HTTP-потоковое вещание) или другой способ передачи.

[0046] Станция 310 управления задает заранее трехмерную модель стадиона, представляющую стадион, для которого изображение виртуальной точки обзора должно быть сформировано посредством трехмерной модели, и сохраняет в DB 250. Дополнительно, станция 310 управления выполняет калибровку во время установки камеры. В частности, маркер устанавливается на целевой области захвата изображения, и посредством захваченного изображения каждой камеры 112 получаются позиция и ориентация в реальных координатах и фокусное расстояние каждой камеры. Информация о полученной позиции, ориентации и фокусном расстоянии каждой камеры сохраняется в DB 250 в качестве информации о камере (параметр камеры). Трехмерная модель стадиона и информация о каждой камере, обе сохраненные в DB 250, считываются посредством внутреннего сервера 270 и используются во время формирования изображения виртуальной точки обзора во внутреннем сервере 270. Дополнительно, информация о каждой камере считывается внешним сервером 230 и используется во время формирования объектной трехмерной модели во внешнем сервере 230.

[0047] Система 100 обработки изображений в настоящем варианте осуществления не ограничивается физической конфигурацией, объясненной выше, и может быть сконфигурирована логически.

[0048] Далее объясняются подробная конфигурация и работа внешнего сервера 230. Внешний сервер 230 имеет функцию в качестве устройства формирования данных, которое формирует материальные данные для формирования изображения виртуальной точки обзора для изображения заднего плана, объектную трехмерную модель и т.п. и сохраняет в DB 250, и детали которого объясняются.

[0049] Сначала, соотношение между пространством реальных координат, представляющее целевое пространство захвата изображения камеры, камерой и объектной трехмерной моделью, которая является целью захвата изображения камеры, объясняется со ссылкой на фиг. 2 и фиг. 3.

[0050] Фиг. 2 - это схема, показывающая пример пространства реальных координат. Пространство реальных координат является пространством, представляющим, например, цель захвата изображения в трехмерном пространстве. Фиг. 3 - это схема, показывающая пример данных объектной трехмерной модели. Объектная трехмерная модель, упоминаемая здесь, является данными, представляющими трехмерную форму объекта. На фиг. 2 предполагается, что пространство реальных координат задается для футбольного поля 22 по центру на стадионе 21 в качестве цели. В настоящем варианте осуществления предполагается, что пространство реальных координат является пространством, в котором центр центрального круга 23 принимается за начало отсчета координат, направление в направлении длинной стороны футбольного поля 22 (горизонтальное направление на фиг. 2) принимается в качестве x-оси, направление в направлении короткой стороны принимается в качестве y-оси, а вертикальное направление (направление высоты) принимается в качестве z-оси. В настоящем варианте осуществления, хотя футбольное поле принимается в качестве цели, цель может быть любым объектом, и цель не ограничивается в частности.

[0051] Хотя камеры не показаны схематично на фиг. 2, предполагается, что касается каждой камеры, задаются параметры камеры, представляющие позицию координат камеры в пространстве реальных координат, углы поворота (по горизонтали, по вертикали) камеры, фокусное расстояние и центр изображения.

[0052] Как показано на фиг. 3, объектная трехмерная модель представляется совокупностью точек (далее в данном документе облаком точек), имеющих значения координат x, y и z в пространстве реальных координат, в котором существует модель. Здесь, хотя предполагается, что координата представляется числовым значением в единицах мм, координата не ограничивается координатой, представленной числовым значением в этих единицах измерения.

Конфигурация внешнего сервера 230

[0053] Фиг. 4 - это блок-схема, показывающая пример функциональной конфигурации внешнего сервера 230.

[0054] Модуль 231 ввода изображения принимает изображение переднего плана и изображение заднего плана, оба формируются из захваченного изображения каждой камеры, от системы 110 датчиков через коммутирующий концентратор 180. Модуль 231 ввода изображения выводит принятое изображение заднего плана в модуль 234 записи данных и, с другой стороны, выводит принятое изображение переднего плана в модуль 232 формирования модели и модуль 233 формирования информации цвета, соответственно.

[0055] Модуль 232 формирования модели формирует объектную трехмерную модель на основе изображения переднего плана, введенного из модуля 231 ввода информации, и параметров камеры, заданных заранее. Модуль 232 формирования модели выводит сформированную объектную трехмерную модель в модуль 233 формирования информации цвета и модуль 234 записи данных, соответственно.

[0056] Модуль 233 формирования информации цвета определяет цвет для каждой точки (координаты точки) объектной трехмерной модели на основе объектной трехмерной модели в изображении переднего плана и формирует информацию цвета по объектной трехмерной модели. Информация цвета по объектной трехмерной модели является информацией, в которой каждая точка объектной трехмерной модели и информация цвета ассоциируются друг с другом, и, например, как показано на фиг. 5, информацией, в которой ID каждой координаты точки объектной трехмерной модели и RGB-значение ассоциируются друг с другом. ID координаты точки является ID, который определяется независимо для каждой точки объектной трехмерной модели в одном кадре. Например, для точек объектной трехмерной модели, существующей в одном кадре, ID предоставляется в возрастающем порядке от 0. Дополнительно, ID камеры, указанный посредством ID каждой координаты точки, указывает ID камеры, захватившей изображение, используемое для формирования информации цвета по этой точке. ID каждой камеры является числом, предоставленным независимо в системе. Здесь, хотя информация цвета по объектной трехмерной модели принимается как RGB-значение, любой формат может быть принят, пока возможно представлять цвет и яркость, и, например, может быть принят формат YCbCr, представляющий яркость и цветовое различие.

[0057] Соответствие между точкой объектной трехмерной модели, камерой и информацией цвета объясняется со ссылкой на фиг. 6. Фиг. 6 - это схема в случае, когда стадион, на котором камеры 112a-112p и сферический объект 400 размещаются, рассматривается непосредственно сверху, и показывает пример соответствия между точкой объектной трехмерной модели, камерой и информацией цвета. Камеры 112a-112p размещаются вокруг объекта 400, так, чтобы быть обращенными в сторону объекта 400 и иметь различные точки обзора, и ID камеры предоставляется каждой из камер 112a-112p.

[0058] Предполагается, что внимание фокусируется на точке 4000 из точек, формирующих объект 400, и изображение, используемое для формирования информации цвета по точке 4000, является изображением камеры 112h. В этом случае, информация цвета формируется посредством RGB-значения пиксела 421, соответствующего точке 4000, из изображения 420 камеры 112h. Т.е., точка 4000 проецируется на изображение 420 камеры 112h, и соответствующий пиксел 421 указывается, и информация цвета формируется посредством RGB-значения пиксела 421. Аналогично, в случае, когда предполагается, что изображение, используемое для формирования информации цвета по точке 4001, является изображением камеры 112i, информация цвета формируется посредством RGB-значения пиксела 431, соответствующего точке 4001, из изображения 430 камеры 112i.

[0059] Подробности способа формирования информации цвета по объектной трехмерной модели, такого как способ выбора камеры и способ формирования информации цвета, будут описаны позже.

[0060] Обратимся к фиг. 4. Модуль 234 записи данных записывает изображение заднего плана, объектную трехмерную модель и информацию цвета об объектной трехмерной модели, которые вводятся из каждого из модулей, в DB 250 в единицах камер и в единицах кадров.

(Пример процедуры получения данных)

[0061] Далее, пример процедуры получения материальных данных для формирования изображения виртуальной точки обзора, которая выполняется во внешнем сервере 230, объясняется со ссылкой на фиг. 7.

[0062] Фиг. 7 - это блок-схема последовательности операций, показывающая пример процедуры получения данных. В частности, фиг. 7 - это блок-схема последовательности операций, показывающая процедуру с момента, когда внешний сервер 230 принимает данные от системы 110 датчиков, до тех пор, когда различные виды данных записываются в DB 250. В последующем, в соответствии с блок-схемой последовательности операций, объясняется последовательность обработки. В последующем объяснении последовательности операций символ "S" представляет этап. Предполагается, что внешний сервер 230 получает заранее параметры камеры, например, из DB 250 или т.п.

[0063] На этапе S701 модуль 231 ввода изображения принимает изображение переднего плана и изображение заднего плана от системы 110 датчиков через коммутирующий концентратор 180. Модуль 231 ввода изображения выводит принятое фоновое изображение в модуль 234 записи данных и выводит принятое изображение переднего плана в модуль 232 формирования модели и модуль 233 формирования информации цвета.

[0064] На этапе S702 модуль 232 формирования модели формирует объектную трехмерную модель с помощью способа визуального каркаса или т.п. на основе изображения переднего плана, введенного из модуля 231 ввода изображения, и параметров камеры, заданных заранее. Затем, модуль 232 формирования модели выводит сформированную объектную трехмерную модель в модуль 233 формирования информации цвета и модуль 234 записи данных.

[0065] На этапе S703 модуль 233 формирования информации цвета формирует информацию цвета по объектной трехмерной модели на основе объектной трехмерной модели и изображения переднего плана, которые вводятся, и параметров камеры, заданных заранее. Затем, модуль 233 формирования информации цвета выводит информацию цвета по объектной трехмерной модели в модуль 234 записи данных. Подробности примера процедуры формирования информации цвета объектной трехмерной модели будут описаны позже.

[0066] На этапе S704 модуль 234 записи данных записывает объектную трехмерную модель, информацию цвета по объектной трехмерной модели и изображение заднего плана, которые вводятся, в DB 250.

[0067] Вышеописанное является последовательностью операций получения материальных данных для формирования изображения виртуальной точки обзора во внешнем сервере 230.

(Подробности этапа S703)

[0068] Далее, подробности этапа S703, т.е., примера процедуры формирования информации цвета, выполняемой в модуле 233 формирования информации цвета, объясняются со ссылкой на фиг. 8.

[0069] Фиг. 8 - это блок-схема последовательности операций, показывающая пример процедуры формирования информации цвета. В последующем, в соответствии с блок-схемой последовательности операций, объясняется последовательность обработки.

[0070] На этапе S801 модуль 233 формирования информации цвета получает пиксел, соответствующий координатам точки в изображении, захваченном камерой, посредством геометрического вычисления на основе параметров камеры, заданных заранее, и координаты точки объектной трехмерной модели. В частности, модуль 233 формирования информации цвета проецирует каждую точку объектной трехмерной модели на изображение, захваченное камерой, и получает координаты пиксела, соответствующего каждой из точек. Т.е., на этапе S801, из изображения камеры, извлекается пиксел, соответствующий координатам точки объектной трехмерной модели.

[0071] На этапе S802 модуль 233 формирования информации цвета получает расстояние между точкой объектной трехмерной модели и камерой на основе параметров камеры и координат точки объектной трехмерной модели.

[0072] На этапе S803 модуль 233 формирования информации цвета получает ближайшую точку объектной трехмерной модели на основе расстояния, полученного на этапе S802 для каждого пиксела изображения каждой камеры, которое получается на этапе S801. Затем, модуль 233 формирования информации цвета регистрирует ближайшую точку в качестве соответствующего пиксела для формирования информации цвета по объектной трехмерной модели для пиксела. Т.е., для всех точек объектной трехмерной модели, пиксел, который может становиться информацией цвета по объектной трехмерной модели, извлекается из изображения каждой камеры и регистрируется в качестве соответствующего пиксела.

[0073] После этого, на этапе S804-S809, для всех точек объектной трехмерной модели, выполняется обработка для формирования информации цвета для каждого пиксела. Т.е., на этапе S804, циклическая обработка начинается для всех точек объектной трехмерной модели.

[0074] На этапе S805, для соответствующего пиксела, зарегистрированного на этапе S803, определяется, действительно или нет число камер, захвативших изображение, в котором существует соответствующий пиксел, равно двум или более. Т.е., для соответствующего пиксела, зарегистрированного на этапе S803, определяется, действительно или нет соответствующий пиксел существует в изображениях двух или более камер.

[0075] В случае, когда соответствующий пиксел, зарегистрированный для точки объектной трехмерной модели, существует в изображении одной камеры (S805: Нет), информация цвета формируется из значения пиксела для соответствующего пиксела, существующего в изображении камеры (S806). В случае, когда число соответствующих пикселов, существующих в изображении камеры, равно лишь одному, значение пиксела для соответствующего пиксела формируется в качестве информации цвета, а в случае, когда число соответствующих пикселов, существующих в изображении камеры, равно двум или более, среднее значение для значений пикселов множества соответствующих пикселов формируется в качестве информации цвета.

[0076] С другой стороны, в случае, когда соответствующий пиксел, зарегистрированный для точки объектной трехмерной модели, существует в изображениях двух или более камер (множество камер) (S805: Да), одна целевая камера для формирования информации цвета выбирается (S807). Способ выбора камеры будет описан позже. Затем, на основе значения пиксела для соответствующего пиксела, существующего в изображении выбранной камеры, формируется информация цвета (S808). После этого, обработка переходит к этапу S809, и в случае, когда обработка для всех точек завершается, циклическая обработка с этапа S804 по этап S809 завершается, и обработка для формирования информации цвета заканчивается, в результате. Информация цвета, сформированная на этапе S806 и S808, сохраняется в ассоциации с точкой на этапе S704, описанном выше.

[0077] Здесь, способ выбора камеры и способ формирования информации цвета объясняются со ссылкой на фиг. 9.

[0078] Фиг. 9 - это схема в случае, когда стадион, на котором 16 камер размещаются вокруг объекта (объектной трехмерной модели), рассматривается с высоты птичьего полета непосредственно сверху. Случай, когда обработка для формирования информации цвета выполняется для точки 4000 из точек, формирующих объект 400, объясняется, в частности. Предполагается, что обработка на этапах S801-S803 выполняется и для точки 4000 объекта 400, камеры, захватившие изображение, в котором соответствующий пиксел существует, являются пятью камерами, окрашенными в черный цвет, т.е., камерами 112f-112j.

[0079] Сначала, из камер, захвативших изображение, в котором соответствующий пиксел существует, выбираются две камеры, расположенные на самых отдаленных сторонах. Здесь, две камеры, расположенные на самых отдаленных сторонах, ссылаются на камеры, расположенные на двух концах в круговом направлении в случае, когда направление, в котором множество камер являются соседними друг с другом с целевой точкой 4000 захвата изображения в качестве центра, принимается в качестве кругового направления. В примере на фиг. 9 камера 112f и камера 112j соответствуют двум камерам, расположенным на самых отдаленных сторонах.

[0080] Далее, биссектриса угла θ, сформированного сегментом, соединяющим камеру 112f и точку 4000, и сегментом, соединяющим камеру 112j и точку 4000, устанавливается, и камера, ближайшая к позиции, через которую биссектриса проходит, выбирается в качестве камеры, используемой для формирования информации цвета. Т.е., камера, обращенная к элементу объекта, выбирается в качестве целевой камеры для формирования информации цвета. В примере на фиг. 9 выбирается камера 112h. В случае, когда число камер, захвативших изображение, в котором существует соответствующий пиксел, равно двум или более, камера с наивысшим приоритетом выбирается в соответствии с приоритетом, определенным заранее, и здесь, например, приоритет является высоким в порядке от камеры 112a, камеры 112b, …, и камеры 112p.

[0081] В случае, когда только один соответствующий пиксел существует в изображении камеры, значение пиксела для соответствующего пиксела формируется в качестве информации цвета, а в случае множества соответствующих пикселов, существующих в изображении камеры, среднее значение для значений пикселов из множества соответствующих пикселов формируется в качестве информации цвета (S808). Здесь, RGB-значение соответствующего пиксела 421 в случае, когда точка 4000 проецируется на изображение 420 камеры 112h, формируется в качестве информации цвета.

[0082] Значение пиксела, выбранного таким образом, сохраняется в ассоциации с точкой.

[0083] Здесь, хотя вышеописанный способ формирования информации цвета объясняется в качестве примера, другой способ может быть использован, и способ не ограничивается вышеописанным способом формирования информации цвета. Например, может также быть возможным выбирать множество камер и принимать среднее значение в качестве информации цвета, или может также быть возможным принимать среднее значение для значений пикселов для пикселов за исключением пикселов, значения которых значительно отличаются в случае, когда существует множество соответствующих пикселов.

[0084] Как и выше, описывается способ хранения объектной трехмерной модели и информации цвета о ней в DB 250.

[0085] В последующем, описывается способ формирования изображения виртуальной точки обзора посредством считывания объектной трехмерной модели и информации цвета о ней, которые сохранены. Т.е., объясняются подробная конфигурация и работа внутреннего сервера 270.

Конфигурация внутреннего сервера 270

[0086] Фиг. 10 - это блок-схема, показывающая пример функциональной конфигурации внутреннего сервера 270.

[0087] Модуль 271 ввода точки обзора принимает ввод информации виртуальной точки обзора пользователем, не показанным схематично, через терминал 190 конечного пользователя, UI 330 управления виртуальной камерой или т.п. и выводит информацию виртуальной точки обзора в модуль 272 получения данных и модуль 274 формирования изображения виртуальной точки обзора. Информация виртуальной точки обзора является информацией, включающей в себя время, в которое изображение виртуальной точки обзора захватывается виртуальной камерой, которая не существует фактически, и которая, как предполагается, должна быть размещена в виртуальной точке обзора, позицию виртуальной точки обзора (виртуальной камеры), ориентацию виртуальной камеры, угол обзора виртуальной камеры, фокусное расстояние и т.п.

[0088] Модуль 272 получения данных получает объектную трехмерную модель и информацию цвета о ней, относящиеся к объекту, который оценивается как рассматриваемый из виртуальной камеры в виртуальной точке обзора, которая не существует фактически, из DB 250 на основе входной информации виртуальной точки обзора. Т.е., модуль 272 получения данных получает объектную трехмерную модель и информацию цвета о ней, относящиеся к объекту, оцениваемому как существующий в пределах угла обзора виртуальной камеры, размещенной в виртуальной точке обзора. Модуль 272 получения данных выводит полученные данные, т.е., объектную трехмерную модель и информацию цвета о ней, в модуль 273 окрашивания. Дополнительно, модуль 272 получения данных получает изображение заднего плана из DB 250 и выводит полученное изображение заднего плана в модуль 274 формирования изображения виртуальной точки обзора.

[0089] Модуль 273 окрашивания придает цвет, основанный на информации цвета по объектной трехмерной модели, соответствующей точке объектной трехмерной модели, точке и формирует цветную объектную трехмерную модель. Модуль 273 окрашивания выводит сформированную цветную объектную трехмерную модель в модуль 274 формирования изображения виртуальной точки обзора.

[0090] Модуль 274 формирования изображения виртуальной точки обзора формирует изображение переднего плана и изображение заднего плана, которые рассматриваются из виртуальной камеры в виртуальной точке обзора, на основе информации виртуальной точки обзора, цветной объектной трехмерной модели и изображения заднего плана, которые вводятся, и формирует изображение виртуальной точки обзора посредством их сочетания. Модуль 274 формирования изображения виртуальной точки обзора передает сформированное изображение виртуальной точки обзора терминалу 190 конечного пользователя.

(Пример процедуры формирования изображения виртуальной точки обзора)

[0091] Далее, пример процедуры формирования изображения виртуальной точки обзора, выполняемой во внутреннем сервере 270, объясняется со ссылкой на фиг. 11.

[0092] Фиг. 11 - это блок-схема последовательности операций, показывающая пример процедуры формирования изображения виртуальной точки обзора. В последующем, в соответствии с блок-схемой последовательности операций, объясняется последовательность обработки.

[0093] На этапе S1101 модуль 271 ввода точки обзора принимает ввод информации виртуальной точки обзора пользователем, непоказанным схематично, через терминал 190 конечного пользователя или т.п. Затем, модуль 271 ввода точки обзора выводит принятую информацию виртуальной точки обзора в модуль 272 получения данных и модуль 274 формирования изображения виртуальной точки обзора.

[0094] На этапе S1102 модуль 272 получения данных получает объектную трехмерную модель и информацию цвета по ней из DB 250 на основе входной информации виртуальной точки обзора и выводит их в модуль 273 окрашивания. Дополнительно, модуль 272 получения данных получает изображение заднего плана из DB 250 на основе входной информации виртуальной точки обзора и выводит изображение заднего плана в модуль 274 формирования изображения виртуальной точки обзора. В частности, модуль 272 получения данных получает, на основе времени, указанного посредством информации виртуальной точки обзора, объектную трехмерную модель и информацию цвета по ней, которые формируются из изображения переднего плана, соответствующего захваченному изображению в это время, и выводит их. Дополнительно, модуль 272 получения данных получает изображение заднего плана, соответствующее захваченному изображению в это время, на основе времени, указанного посредством информации виртуальной точки обзора, и выводит изображение заднего плана.

[0095] На этапе S1103 модуль 273 окрашивания придает цвет (значение пиксела) соответствующего пиксела каждой точке объектной трехмерной модели на основе объектной трехмерной модели и информации цвета, которые вводятся, и формирует цветную объектную трехмерную модель. Дополнительно, модуль 273 окрашивания выводит цветную объектную трехмерную модель в модуль 274 формирования изображения виртуальной точки обзора.

[0096] На этапе S1104 модуль 274 формирования изображения виртуальной точки обзора формирует изображение виртуальной точки обзора на основе информации виртуальной точки обзора, изображения заднего плана и цветной объектной трехмерной модели, которые вводятся из каждого блока. В частности, модуль 274 формирования изображения виртуальной точки обзора формирует изображение заднего плана в случае, когда изображение заднего плана захватывается посредством виртуальной камеры, которая, как предполагается, должна быть размещена в виртуальной точке обзора, на основе изображения заднего плана, введенного из модуля 272 получения данных, и трехмерной модели стадиона, заданной заранее. Предполагается, что трехмерная модель стадиона является сетчатой моделью, имеющей позицию координат в пространстве реальных координат. Цветная трехмерная модель стадиона формируется посредством формирования изображения текстуры в соответствии с каждой ячейкой из изображения заднего плана посредством преобразования трехмерных координат и присоединения изображения текстуры на основе параметров камеры для каждой камеры и трехмерной модели стадиона, которые задаются заранее. Дополнительно, изображение заднего плана формируется посредством проецирования трехмерной модели стадиона, существующей в пространстве реальных координат, на координаты изображения камеры в виртуальной точке обзора на основе информации о позиции, ориентации и т.п. камеры в виртуальной точке обзора.

[0097] Дополнительно, модуль 274 формирования изображения виртуальной точки обзора формирует изображение переднего плана в случае, когда изображение переднего плана захватывается посредством виртуальной камеры, которая, как предполагается, должна быть размещена в позиции виртуальной точки обзора, на основе цветной объектной трехмерной модели, введенной из модуля 273 окрашивания. В частности, модуль 274 формирования изображения виртуальной точки обзора формирует изображение переднего плана, проецируя точку, имеющую цвет из цветной объектной трехмерной модели, существующей в пространстве реальных координат, на координаты изображения камеры в виртуальной точке обзора на основе информации о позиции, ориентации и т.п. камеры в виртуальной точке обзора.

[0098] Модуль 274 формирования изображения виртуальной точки обзора объединяет сформированное изображение заднего плана и сформированное изображение переднего плана и формирует изображение виртуальной точки обзора. Затем, модуль 274 формирования изображения виртуальной точки обзора передает сформированное изображение виртуальной точки обзора терминалу 190 конечного пользователя.

[0099] Хотя объяснение приводится с помощью модуля 233 формирования информации цвета, сконфигурированного для формирования информации цвета по облаку точек объектной трехмерной модели, модуль 233 формирования информации цвета не ограничивается этим. Например, в случае, когда объектная трехмерная модель является сетчатой моделью, также возможно конфигурировать модуль формирования информации цвета, сконфигурированный для формирования информации цвета, имеющей цвет, соответствующий пикселу ячейки для каждой ячейки объектной трехмерной модели.

[0100] Из вышеупомянутого, согласно настоящему варианту осуществления, хотя изображение переднего плана не сохраняется в DB, информация цвета по каждому элементу объектной трехмерной модели сохраняется в DB. Возможно формировать изображение виртуальной точки обзора с помощью сохраненной информации цвета по объектной трехмерной модели. Следовательно, становится возможным получать изображение виртуальной точки обзора, в то же время уменьшая объем данных.

[0101] Например, предполагается, что число камер равно 30, размер изображения равен 3840 × 2160, формат изображения является 8-битным RGB, число точек объектной трехмерной модели равно 1000000, и координаты точек модели представляются 32 битами.

[0102] С помощью традиционного способа размер изображения переднего плана равен 1920 × 1080 × 3 × 8 × 30=1492992000 (битов)=186,624 (МБ).

[0103] Согласно настоящему варианту осуществления, информация цвета по объектной трехмерной модели формируется вместо изображения переднего плана. Размер информации цвета по объектной трехмерной модели равен 1000000 × 3 × 32=96000000 (битов)=12 (МБ).

[0104] Следовательно, согласно настоящему варианту осуществления, в условиях, описанных ранее, возможно уменьшать размер данных приблизительно до 1/15 размера из традиционного примера.

Второй вариант осуществления

[0105] Система обработки изображения согласно настоящему варианту осуществления объясняется в последующем.

[0106] В настоящем варианте осуществления описывается способ, в котором информация коррекции цвета по объектной трехмерной модели, чей цвет корректируется, формируется на основе изображений множества камер, в дополнение к информации цвета по объектной трехмерной модели, сформированная информация коррекции цвета сохраняется в DB, и цвет корректируется в соответствии с виртуальной точкой обзора.

[0107] Фиг. 12 - это блок-схема, показывающая пример функциональной конфигурации внешнего сервера 230 в настоящем варианте осуществления. В настоящем варианте осуществления одинаковый символ предоставляется тому же блоку, что и блоку первого варианта осуществления, и его объяснение пропускается соответственно.

[0108] Модуль 235 ввода изображения выводит изображение переднего плана в модуль 237 формирования информации коррекции цвета, в дополнение к функции модуля 231 ввода изображения, объясненной в первом варианте осуществления.

[0109] Модуль 236 формирования модели выводит объектную трехмерную модель в модуль 237 формирования информации коррекции цвета, в дополнение к функции модуля 232 формирования модели, объясненной в первом варианте осуществления.

[0110] Модуль 237 формирования информации коррекции цвета формирует информацию коррекции цвета для каждой точки объектной трехмерной модели на основе изображения переднего плана, введенной из модуля 235 ввода изображения, и объектной трехмерной модели, введенной из модуля 236 формирования модели. Подробности способа формирования информации коррекции цвета будут описаны позже. Модуль 237 формирования информации коррекции цвета выводит сформированную информацию коррекции цвета по объектной трехмерной модели в модуль 238 записи данных.

[0111] Модуль 238 записи данных записывает информацию коррекции цвета по объектной трехмерной модели в DB 250, в дополнение к функции модуля 234 записи данных, объясненной в первом варианте осуществления.

(Пример процедуры получения данных)

[0112] Далее, пример процедуры получения материальных данных для формирования изображения виртуальной точки обзора, которая выполняется во внешнем сервере 230 настоящего варианта осуществления, объясняется со ссылкой на фиг. 13.

[0113] Фиг. 13 - это блок-схема последовательности операций, показывающая пример процедуры получения данных. В частности, блок-схема последовательности операций показывает процедуру с момента, когда внешний сервер 230 принимает данные от системы 110 датчиков, до тех пор, когда различные виды данных записываются. В последующем, в соответствии с блок-схемой последовательности операций, объясняется последовательность обработки. Предполагается, что внешний сервер 230 получает заранее параметры камеры, например, из DB 250 или т.п.

[0114] На этапе S1301 модуль 235 ввода изображения принимает изображение переднего плана и изображение заднего плана от системы 110 датчиков через коммутирующий концентратор 180. Модуль 235 ввода изображения выводит принятое изображение заднего плана в модуль 238 записи данных. Дополнительно, модуль 235 ввода изображения выводит принятое изображение переднего плана в модуль 236 формирования модели, модуль 233 формирования информации цвета и модуль 237 формирования информации коррекции цвета.

[0115] На этапе S1302 модуль 236 формирования модели формирует объектную трехмерную модель с помощью способа визуального каркаса или т.п. на основе изображения переднего плана, введенного из модуля 235 ввода изображения, и параметров камеры, заданных заранее. Затем, модуль 236 формирования модели выводит сформированную объектную трехмерную модель в модуль 233 формирования информации цвета, модуль 237 формирования информации коррекции цвета и модуль 238 записи данных.

[0116] На этапе S703 модуль 233 формирования информации цвета выполняет ту же обработку, что и обработка первого варианта осуществления.

[0117] На этапе S1304 модуль 237 формирования информации коррекции цвета формирует информацию коррекции цвета для каждой точки объектной трехмерной модели на основе объектной трехмерной модели, изображений переднего плана множества камер и параметров камеры, заданных заранее. Модуль 237 формирования информации коррекции цвета выводит сформированную информацию коррекции цвета по объектной трехмерной модели в модуль 238 записи данных. Подробности обработки формирования информации коррекции цвета по объектной трехмерной модели будут описаны позже.

[0118] На этапе S1305 модуль 238 записи данных записывает объектную трехмерную модель, информацию цвета по ней, информацию коррекции цвета по объектной трехмерной модели и изображение заднего плана, которые вводятся, в DB 250.

[0119] Вышеописанное является последовательностью операций получения материальных данных для формирования изображения виртуальной точки обзора во внешнем сервере 230.

(Подробности этапа S1304)

[0120] Далее, пример процедуры формирования информации коррекции цвета, выполняемой в модуле 237 формирования информации коррекции цвета, который является подробностями этапа S1304, объясняется со ссылкой на фиг. 14.

[0121] Фиг. 14 - это блок-схема последовательности операций, показывающая пример процедуры формирования информации коррекции цвета. В последующем, в соответствии с блок-схемой последовательности операций, объясняется последовательность обработки. Этапы S1401-S1403 являются такими же, что и обработка на этапах S801-S803 обработки формирования информации цвета в первом варианте осуществления, и, следовательно, их объяснение пропускается.

[0122] На этапе S1404-S1409, для всех точек объектной трехмерной модели, обработка для формирования информации коррекции цвета выполняется для каждой точки. Т.е., на этапе S1404, циклическая обработка начинается для всех точек объектной трехмерной модели.

[0123] На этапе S1405, для соответствующего пиксела, зарегистрированного на этапе S1403, определяется, действительно или нет число камер, захвативших изображение, в котором существует соответствующий пиксел, равно двум или более. Т.е., для соответствующего пиксела, зарегистрированного на этапе S1403, определяется, действительно или нет соответствующий пиксел существует в изображениях двух или более камер.

[0124] В случае, когда соответствующий пиксел, зарегистрированный для целевой точки, для которой информация коррекции цвета по объектной трехмерной модели формируется, существует в изображении одной камеры (Нет на этапе S1405), формирование информации коррекции цвета по объектной трехмерной модели не выполняется (этап S1406). Дополнительно, может также быть возможным предоставлять информацию, указывающую, что не существует информация коррекции цвета. Причиной является то, что информация цвета формируется на основе изображения камеры в обработке модуля 233 формирования информации цвета и для точки, требуется лишь определять цвет только по информации цвета, и информация коррекции цвета по объектной трехмерной модели не является необходимой.

[0125] С другой стороны, в случае, когда соответствующий пиксел, зарегистрированный для целевой точки, для которой информация коррекции цвета по объектной трехмерной модели формируется, существует в изображениях двух или более камер (множества камер) (Да на этапе S1405), целевая камера, для которой информация коррекции цвета формируется, выбирается (S1407).

[0126] Здесь, способ выбора камеры и способ формирования информации коррекции цвета объясняются со ссылкой на фиг. 15.

[0127] Фиг. 15 - это схема в случае, когда стадион, на котором 16 камер размещаются вокруг объекта (объектной трехмерной модели), рассматривается с высоты птичьего полета непосредственно сверху. Объясняется, в частности, случай, когда обработка для формирования информации коррекции цвета выполняется для точки 4000 из точек, формирующих объект 400. Предполагается, что обработка на этапах S1400-S1403 выполняется и для точки 4000 объекта 400, камеры, захватившие изображение, в котором соответствующий пиксел существует, являются пятью камерами 112f-112j, окрашенными в черный цвет.

[0128] Как и в случае с примером процедуры формирования информации цвета, из камер, захвативших изображение, в котором соответствующий пиксел существует, выбираются две камеры, расположенные на самых отдаленных сторонах. Здесь, камеры, расположенные на самых отдаленных сторонах, ссылаются на камеры, расположенные на двух концах в круговом направлении в случае, когда направление, в котором множество камер являются соседними друг с другом с целевой точкой 400 захвата изображения в качестве центра, принимается в качестве кругового направления. В примере на фиг. 15 камера 112f и камера 112j соответствуют двум камерам, расположенным на самых отдаленных сторонах. Здесь, в случае, когда число камер, захвативших изображение, в котором соответствующий пиксел существует, равно двум, выбираются две камеры.

[0129] Обратимся к фиг. 14. На этапе S1408, на основе соответствующего пиксела, существующего в изображении выбранной камеры, формируется информация коррекции цвета по объектной трехмерной модели. В случае, когда только один соответствующий пиксел существует в изображении камеры, значение пиксела для соответствующего пиксела формируется в качестве информации коррекции цвета, а в случае множества соответствующих пикселов, существующих в изображении камеры, среднее значение для значений пикселов из множества соответствующих пикселов формируется в качестве информации коррекции цвета. После этого, обработка переходит к этапу S1409, а в случае, когда обработка для всех точек из данных трехмерной формы завершена, циклическая обработка на этапах S1404-S1409 завершается, и обработка для формирования информации коррекции цвета заканчивается, в результате. Информация коррекции цвета, сформированная на этапе S1406 и S1408, сохраняется в ассоциации с точкой на этапе S1305, описанном выше.

[0130] Таким образом, информация коррекции цвета сохраняется как информация коррекции цвета, в которой RGB-значение, которое является значением пиксела для соответствующего пиксела, выбранного таким образом, и ID камеры для камеры, захватившей изображение, в котором соответствующий пиксел существует, ассоциируются друг с другом. Здесь, информация коррекции цвета по объектной трехмерной модели является информацией, указывающей коррекцию цвета каждой точки объектной трехмерной модели, и, например, как показано на фиг. 16, RGB-значение и ID камеры ассоциируются с точкой объектной трехмерной модели и сохраняются. Дополнительно, ID каждой координаты точки является ID, который определяется независимо для каждой точки в одном кадре. Например, точкам, существующим в одном кадре, ID предоставляется в возрастающем порядке от нуля. Дополнительно, ID камеры, указанный посредством ID каждой координаты точки, указывает ID для камеры, захватившей изображение, используемое для формирования информации коррекции цвета по точке. Информация коррекции цвета по объектной трехмерной модели указывает информацию цвета, используемую для коррекции цвета этой точки. В качестве информации коррекции цвета по ID камеры и объектной трехмерной модели две части информации сохраняются в случае, когда две камеры выбираются, и одна часть информации сохраняется в случае, когда одна камера выбирается. В примере на фиг. 15 информация коррекции цвета 1 по объектной трехмерной модели, которая является первой информацией коррекции цвета по точке 4000, формируется на основе значения пиксела для соответствующего пиксела 441, существующего в изображении 440 камеры 112f. Информация коррекции цвета 2 по объектной трехмерной модели, которая является второй информацией коррекции цвета, формируется на основе значения пиксела для соответствующего пиксела 451, существующего в изображении 450 камеры 112j.

[0131] В настоящем варианте осуществления, хотя вышеописанный способ выбора камеры объясняется в качестве примера, другой способ может быть использован, и способ не ограничивается вышеописанным способом выбора камеры. Например, может также быть возможным выбирать две камеры, между которыми существует различие в значении z-координаты, на основе позиционной информации камеры, выбирать две камеры, различие которых является большим, в соответствии со значениями пикселов изображений камер, и т.д.

[0132] Дополнительно, хотя объясняется случай, когда число выбранных камер равно двум, число выбранных камер не ограничивается двумя, и число выбранных камер может быть тремя или более. Кроме того, хотя объясняется случай, когда существует один соответствующий пиксел, может быть два или более соответствующих пиксела. Например, может также быть возможным сохранять все значения пикселов для соответствующих пикселов в качестве информации коррекции цвета по объектной трехмерной модели. Может также быть возможным использовать способ выбора камеры для изменения числа выбранных камер в соответствии с различием в значении пиксела таким образом, что чем большим является различие, тем больше камер выбирается, и чем меньшим является различие, тем меньше камер выбирается.

[0133] Дополнительно, хотя способ сохранения RGB-значения объясняется в качестве способа сохранения информации цвета по объектной трехмерной модели и информации коррекции цвета по объектной трехмерной модели, другой способ может быть использован, и способ сохранения не ограничивается вышеописанным способом сохранения. Например, может также быть возможным использовать способ, в котором Y, Cb и Cr сохраняются в качестве информации цвета по объектной трехмерной модели, и только Y-компонент из Y, Cb и Cr сохраняется в качестве информации коррекции цвета по объектной трехмерной модели, и только изменение в яркости, такое как отражение солнечного света, корректируется.

[0134] Как и выше, описывается способ хранения объектной трехмерной модели и информации цвета о ней в DB 250.

[0135] В последующем, описывается способ формирования изображения виртуальной точки обзора посредством считывания объектной трехмерной модели, информации цвета о ней и информации коррекции цвета о ней, которые сохраняются. Т.е., объясняются подробная конфигурация и работа внутреннего сервера 270.

Конфигурация внутреннего сервера 270

[0136] Фиг. 17 - это блок-схема, показывающая пример функциональной конфигурации внутреннего сервера 270.

[0137] Модуль 275 ввода точки обзора принимает ввод информации виртуальной точки обзора пользователем, непоказанным схематично, через терминал 190 конечного пользователя, UI 330 управления виртуальной камерой или т.п. Модуль 275 ввода точки обзора выводит принятую информацию виртуальной точки обзора в модуле 276 получения данных, модуль 274 формирования изображения виртуальной точки обзора и модуль 277 коррекции цвета.

[0138] Модуль 276 получения данных получает объектную трехмерную модель, информацию цвета по ней и информацию коррекции цвета по ней, которые относятся к объекту, оцениваемому как рассматриваемый из виртуальной камеры в виртуальной точке обзора, которая не существует в действительности, из DB 250 на основе входной информации виртуальной точки обзора. Т.е., модуль 276 получения данных получает объектную трехмерную модель, информацию цвета по ней и информацию коррекции цвета по ней, которые относятся к объекту, оцениваемому как существующий в пределах угла обзора виртуальной камеры, размещенной в виртуальной точке обзора. Модуль 276 получения данных выводит полученные данные, т.е., объектную трехмерную модель, информацию цвета по ней и информацию коррекции цвета по ней, в модуль 277 коррекции цвета. Дополнительно, модуль 276 получения данных получает изображение заднего плана из DB 250 и выводит полученное изображение заднего плана в модуль 274 формирования изображения виртуальной точки обзора.

[0139] Модуль 277 коррекции цвета корректирует информацию цвета по объектной трехмерной модели на основе объектной трехмерной модели, информации цвета по ней, информации коррекции цвета по ней и информации виртуальной точки обзора. Дополнительно, модуль 277 коррекции цвета выводит информацию цвета по объектной трехмерной модели после коррекции в модуль 273 окрашивания.

[0140] Здесь, обработка коррекции цвета посредством модуля 277 коррекции цвета объясняется со ссылкой на фиг. 18.

[0141] Модуль 277 коррекции цвета получает позицию камеры, для которой каждая часть информации должна быть сформирована, в соответствии с ID камеры, ассоциированным с информацией цвета по объектной трехмерной модели и информацией коррекции цвета по объектной трехмерной модели, и параметрами камеры, заданными заранее.

[0142] Фиг. 18 - это схема для объяснения способа обработки коррекции цвета. В частности, фиг. 18 показывает позиционное соотношение между камерами, выполнившими получение, и точкой 4000 объекта и является видом с высоты птичьего полета для камер, используемых для получения информации цвета по объектной трехмерной модели и информации коррекции цвета по объектной трехмерной модели. Хотя z-ось также принимается во внимание первоначально, здесь, для упрощения, объяснение предоставляется по плоскости оси x-y.

[0143] Здесь, объясняется пример, в котором точка 4000 принимается в качестве цели, для которой информация цвета корректируется. Предполагается, что камера, захватившая изображение, которое является целью, для которой информация цвета формируется в точке 4000, является камерой (далее в данном документе также называемой целевой камерой для информации цвета) 510. Дополнительно, предполагается, что камеры, захватившие изображение, которое является целью, для которой информация коррекции цвета формируется в точке 4000, являются камерами (далее в данном документе также называемыми целевыми камерами для информации коррекции цвета) 520 и 521. Кроме того, предполагается, что виртуальные камеры, указывающие ту же позицию, что и виртуальная точка обзора, указанная пользователем, являются виртуальными камерами 500 и 501.

[0144] Сначала, объясняется случай, когда виртуальная камера 500 располагается между целевой камерой 510 для информации цвета и целевой камерой 520 для информации коррекции цвета. Т.е., объясняется случай, когда виртуальная камера 500 располагается в области, окруженной целевой камерой 510 для информации цвета, целевой камерой 520 для информации коррекции цвета и точкой 4000.

[0145] Угол, сформированный нормалью, соединяющей виртуальную камеру 500 и точку 4000, и нормалью, соединяющей целевую камеру 510 для информации цвета и точку 4000, принимается в качестве угла θ1, а угол, сформированный нормалью, соединяющей виртуальную камеру 500 и точку 4000, и нормалью, соединяющей целевую камеру 520 для информации коррекции цвета и точку 4000, принимается в качестве угла θ2. Т.е., угол, сформированный нормалью, соединяющей виртуальную камеру 500 и точку 4000, которая является элементом объекта, и направлением захвата изображения целевой камеры 510 для информации цвета, принимается в качестве угла θ1, и угол, сформированный нормалью и направлением захвата изображения целевой камеры 520 для информации коррекции цвета, принимается в качестве угла θ2.

[0146] Дополнительно, информация цвета принимается как R1, G1 и B1, а информация коррекции цвета, ассоциированная с целевой камерой 520, принимается как R2, G2 и B2. В таком случае, информация цвета R1', G1' и B1' после коррекции получается посредством операционных уравнений (1)-(3) ниже.

Математическое уравнение 1

R1'=R1 × θ2/(θ1+θ2)+R2 × θ1/(θ1+θ2) ··· (1)

Математическое уравнение 2

G1'=G1 × θ2/(θ1+θ2)+G2 × θ1/(θ1+θ2) ··· (2)

Математическое уравнение 3

B1'=B1 × θ2/(θ1+θ2)+B2 × θ1/(θ1+θ2) ··· (3)

[0147] Т.е., в соответствии с величиной угла, сформированного нормалью, соединяющей виртуальную камеру 500 и точку 4000, и направлением захвата изображения целевой камеры 510 для информации цвета, и величиной угла, сформированного нормалью и направлением захвата изображения целевой камеры 520 для информации коррекции цвета, задается весовой коэффициент информации цвета и информации коррекции цвета.

[0148] Дополнительно, аналогично виртуальной камере 501, в случае, когда виртуальная камера располагается под углом за пределами целевых камер 520 и 521 для информации коррекции цвета во время просмотра из целевой камеры 510 для информации цвета, информация цвета задается следующим образом. Т.е., в случае, когда виртуальная камера 501 располагается в области за пределами области, окруженной целевой камерой 520 для информации коррекции цвета, целевой камерой 521 для информации коррекции цвета и точкой 4000, информация цвета задается следующим образом. Информация коррекции цвета, ассоциированная с целевой камерой 520 для информации коррекции цвета, ближайшей к виртуальной камере 501 принимается в качестве информации цвета после коррекции. Т.е., задаются R1'=R2, G1'=G2 и B1'=B2.

[0149] Вышеописанная обработка коррекции выполняется для всех точек объектной трехмерной модели, и информация цвета корректируется. Здесь, в случае, когда информация коррекции цвета является только Y-компонентом, аналогично тому, как описано выше, трудно получать только Y-компонент на основе угла, сформированного посредством целевой камеры. Причиной является то, что во внешнем виде цвет (цветовое различие) объекта не изменяется, и внешний вид зависит от интенсивности луча света.

[0150] В настоящем варианте осуществления, хотя способ, который использует угол, объясняется в качестве примера способа коррекции цвета, другой способ может быть использован, и способ не ограничивается вышеописанным способом коррекции цвета. Например, также может быть возможным использовать способ выполнения коррекции цвета в соответствии с весовым коэффициентом посредством выполнения взвешивания по расстоянию между точкой и камерой, и т.п.

(Пример процедуры формирования изображения виртуальной точки обзора)

[0151] Далее, пример процедуры формирования изображения виртуальной точки обзора, выполняемой во внутреннем сервере 270, объясняется со ссылкой на фиг. 19.

[0152] Фиг. 19 - это блок-схема последовательности операций, показывающая пример процедуры формирования изображения виртуальной точки обзора. В последующем, в соответствии с блок-схемой последовательности операций, объясняется последовательность обработки.

[0153] На этапе S1901 модуль 275 ввода точки обзора принимает ввод информации виртуальной точки обзора пользователем, непоказанным схематично, через терминал 190 конечного пользователя или т.п. Затем, модуль 275 ввода точки обзора выводит принятую информацию виртуальной точки обзора в модуле 276 получения данных, модуль 274 формирования изображения виртуальной точки обзора и модуль 277 коррекции цвета.

[0154] На этапе S1902 модуль 276 получения данных получает объектную трехмерную модель, информацию цвета по ней и информацию коррекции цвета по ней из DB 250 на основе входной информации виртуальной точки обзора и выводит их в модуль 277 коррекции цвета. Дополнительно, модуль 276 получения данных получает изображение заднего плана из DB 250 на основе входной информации виртуальной точки обзора и выводит изображение заднего плана в модуль 274 формирования изображения виртуальной точки обзора. В частности, на основе времени, указанного посредством информации виртуальной точки обзора, модуль 276 получения данных получает и выводит объектную трехмерную модель, сформированную из изображения переднего плана, соответствующего захваченному изображению в это время, информацию цвета по ней и информацию коррекции цвета по ней. Дополнительно, на основе времени, указанного посредством информации виртуальной точки обзора, модуль 276 получения данных получает и выводит изображение заднего плана, соответствующее захваченному изображению в это время.

[0155] На этапе S1903 модуль 277 коррекции цвета корректирует информацию цвета по объектной трехмерной модели на основе входной информации виртуальной точки обзора, информации цвета по объектной трехмерной модели и информации коррекции цвета по объектной трехмерной модели. Затем, модуль 277 коррекции цвета выводит объектную трехмерную модель и информацию коррекции цвета по объектной трехмерной модели в модуль 273 окрашивания.

[0156] На этапе S1904 модуль 273 окрашивания формирует цветную объектную трехмерную модель, придавая цвет (значение пиксела) соответствующего пиксела каждой точке объектной трехмерной модели на основе входной объектной трехмерной модели и информации цвета по объектной трехмерной модели после коррекции. Дополнительно, модуль 273 окрашивания выводит цветную объектную трехмерную модель в модуль 274 формирования изображения виртуальной точки обзора.

[0157] На этапе S1905, как и в первом варианте осуществления, модуль 274 формирования изображения виртуальной точки обзора формирует изображение виртуальной точки обзора на основе информации виртуальной точки обзора, изображения заднего плана и цветной объектной трехмерной модели, которые вводятся из каждого блока.

[0158] Из вышесказанного, согласно настоящему варианту осуществления, хотя изображение переднего плана не сохраняется в DB, информация коррекции цвета сохраняется, в дополнение к информации цвета по каждому элементу объектной трехмерной модели. Благодаря этому, возможно формировать изображение виртуальной точки обзора с помощью информации цвета по объектной трехмерной модели и информацию коррекции цвета по ней, которые сохраняются. В результате этого, становится возможным получать изображение виртуальной точки обзора, в то же время уменьшая объем данных, которые должны быть сохранены в DB, в дополнение к пресечению ухудшения качества изображения.

[0159] Например, предполагается, что число камер равно 30, размер изображения равен 3840 × 2160, формат изображения является 8-битным RGB, число точек объектной трехмерной модели равно 1000000, и координаты точек модели представляются 32 битами.

[0160] С помощью традиционного способа размер изображения переднего плана равен 1920 × 1080 × 3 × 8 × 30=1492992000 (битов)=186,624 (МБ).

[0161] Согласно настоящему варианту осуществления, вместо изображения переднего плана, информация цвета по объектной трехмерной модели и информация коррекции цвета по объектной трехмерной модели формируются. Размер информации цвета по объектной трехмерной модели равен 1000000 × 3 × 32=96000000 (битов)=12 (МБ).

[0162] Размер информации коррекции цвета по объектной трехмерной модели равен 1000000 × 3 × 32 × 2=192 000 000 (битов)=24 (МБ).

[0163] Сумма информации цвета по объектной трехмерной модели и информации коррекции цвета по объектной трехмерной модели равна 36 (МБ).

[0164] Следовательно, согласно настоящему варианту осуществления, в условиях, описанных ранее, возможно уменьшать размер данных приблизительно до 1/5 размера в традиционном примере.

Третий вариант осуществления

[0165] Система обработки изображения согласно настоящему варианту осуществления объясняется ниже.

[0166] До сих пор, способ сохранения изображения переднего плана, отделенного от захваченного изображения камеры объяснялся в качестве традиционного примера, способ сохранения информации цвета по объектной трехмерной модели объяснялся в качестве первого варианта осуществления, и, дополнительно, способ сохранения информации коррекции цвета по объектной трехмерной модели объяснялся в качестве второго варианта осуществления.

[0167] В настоящем варианте осуществления описывается способ динамического переключения вышеописанных способов хранения в соответствии с величиной объема данных. Благодаря этому, становится возможным сохранять данные соответствующего размера данных в соответствии с ограничениями на область записи в DB.

[0168] Сначала, каждый способ, описанный выше, сравнивается с точки зрения качества изображения и размера данных. Со способом сохранения изображения переднего плана, который является традиционным примером, качество изображения является высоким, и размер данных является большим. В отличие от этого, со способом сохранения только информации цвета по объектной трехмерной модели, который является первым вариантом осуществления, хотя качество изображения является низким, размер данных является небольшим. Со способом сохранения информации коррекции цвета по объектной трехмерной модели, который является вторым вариантом осуществления, качество изображения и размер данных являются такими, которые соответствуют средним точкам между традиционным примером и первым вариантом осуществления.

[0169] Фиг. 20 - это блок-схема, показывающая пример функциональной конфигурации внешнего сервера 230 в настоящем варианте осуществления. В настоящем варианте осуществления одинаковый символ предоставляется тому же блоку, что и блоку первого и второго вариантов осуществления, и его объяснение пропускается соответственно.

[0170] Функции модуля 235 ввода изображения, модуля 236 формирования модели, модуля 233 формирования информации цвета и модуля 237 формирования информации коррекции цвета являются такими же, что и функции внешнего сервера 230, показанного на фиг. 12, и, следовательно, их объяснение пропускается. Адресат вывода функциональных блоков 235, 236, 233 и 237 изменяется с модуля записи данных на модуль 239 определения формата сохранения.

[0171] Модуль 239 определения формата сохранения сравнивает пороговое значение (справочное значение), заданное заранее, и размер данных для входных данных, определяет формат сохранения в соответствии с результатами сравнения и выводит данные в модуль 240 записи данных в определенном формате.

[0172] Здесь, формат сохранения принимает, например, следующие три формата.

(1) объектная трехмерная модель, изображение заднего плана, изображение переднего плана

(2) объектная трехмерная модель, изображение заднего плана, информация цвета по объектной трехмерной модели, информация коррекции цвета по объектной трехмерной модели

(3) объектная трехмерная модель, изображение заднего плана, информация цвета по объектной трехмерной модели

[0173] Например, предполагается, что размер данных, которые могут быть записаны в качестве данных, соответствующих одному кадру, заданный заранее, равен 10 МБ. В этом случае, предполагается, что приоритет является высоким в порядке (1), (2) и (3), и формат, который не превышает размер данных, которые могут быть записаны, выбирается. Т.е., приоритет для (1), (2) и (3) удовлетворяет следующему соотношению: приоритет для (1) > приоритета для (2) > приоритета для (3). Предполагается, что размер данных объектной трехмерной модели равен 5 МБ, размер изображения переднего плана равен 10 МБ, размер изображения заднего плана равен 1 МБ, размер информации цвета по объектной трехмерной модели равен 1 МБ, и размер информации коррекции цвета по объектной трехмерной модели равен 2 МБ. В формате (1) сохранения объектная трехмерная модель, изображение переднего плана и изображения заднего плана записываются, и, следовательно, суммарный размер данных равен 16 МБ, и это превышает пороговое значение 10 МБ. В формате (2) сохранения объектная трехмерная модель, изображение заднего плана, информация цвета по объектной трехмерной модели и информация коррекции цвета по объектной трехмерной модели записываются, и, следовательно, суммарный размер данных равен 9 МБ и является числовым значением меньше порогового значения 10 МБ. Следовательно, выбирается формат (2) сохранения. Модуль 239 определения формата сохранения выбирает релевантные данные из входных данных в соответствии с выбранным форматом сохранения и выводит выбранные данные в модуль 240 записи данных. В формате (3) сохранения записываются объектная трехмерная модель, изображение заднего плана и информация цвета по объектной трехмерной модели, и, следовательно, суммарный размер данных равен 7 МБ. Хотя размер данных в формате (3) сохранения является размером, который не превышает пороговое значение, приоритет является низким по сравнению с приоритетом формата (2) сохранения, и, следовательно, формат (3) сохранения не выбирается.

[0174] Модуль 240 записи данных записывает данные, введенные из модуля 239 определения формата сохранения, в DB 250. Т.е., в случае, когда размер данных для данных, введенных в модуль 239 определения формата сохранения, не превышает пороговое значение, модуль 240 записи данных записывает изображение переднего плана в DB 250, и в случае, когда размер данных для данных, введенных в модуль 239 определения формата сохранения, превышает пороговое значение, модуль 240 записи данных не записывает изображение переднего плана в DB 250.

[0175] Из вышесказанного, согласно настоящему варианту осуществления, возможно записывать данные в оптимальном формате, принимая во внимание область записи данных, и возможно сохранять записываемые данные наивысшего качества изображения.

[0176] Следом за вышесказанным, конфигурация аппаратных средств каждого устройства, конфигурирующего настоящий вариант осуществления, объясняется более подробно. Как описано выше, в настоящем варианте осуществления, главным образом, объясняется пример случая, когда внешний сервер 230 реализует аппаратные средства, такие как FPGA и/или ASIC, и аппаратные средства выполняют каждую часть обработки, описанной выше. Это также являются одинаковым с различными устройствами в системе 110 датчиков, адаптере 120 камеры, DB 250, внутреннем сервере 270, сервере 290 времени и контроллере 300. Отметим, что также может быть возможным, по меньшей мере, для одного из вышеописанных устройств выполнять обработку настоящего варианта осуществления посредством программной обработки с помощью, например, CPU, GPU, DSP или т.п.

[0177] Фиг. 21 - это схема, показывающая пример конфигурации аппаратных средств внешнего сервера 230 для реализации функциональной конфигурации, показанной на фиг. 4, посредством программной обработки. Устройства, такие как адаптер 120 камеры, DB 250, внутренний сервер 270, сервер 290 времени, станция 310 управления, UI 330 управления виртуальной камерой и терминал 190 конечного пользователя, могут иметь конфигурацию аппаратных средств на фиг. 21. Внешний сервер 230 имеет CPU 2301, ROM 2302, RAM 2303, вспомогательное запоминающее устройство 2304, модуль 2305 отображения, операционный модуль 2306, модуль 2307 связи и шину 2308.

[0178] CPU 2301 управляет всем внешним сервером 230 с помощью компьютерных программ и данных, сохраненных в ROM 2302 или RAM 2303. ROM 2302 сохраняет программы и параметры, которые не должны изменяться. RAM 2303 временно сохраняет программы и данные, предоставляемые из вспомогательного запоминающего устройства 2304, данные, предоставляемые извне через модуль 2307 связи и т.п. Вспомогательное запоминающее устройство 2304 включает в себя, например, накопитель на жестком диске и т.п. и хранит данные контента неподвижного изображения и движущегося изображения.

[0179] Модуль 2305 отображения включает в себя, например, жидкокристаллический дисплей и т.п. и отображает GUI (графический пользовательский интерфейс), чтобы пользователь управлял внешним сервером 230 и т.п. Операционный модуль 2306 включает в себя, например, клавиатуру, мышь и т.п. и вводит различные инструкции в CPU 2301 при приеме операции пользователя. Модуль 2307 связи выполняет обмен данными с внешним устройством, таким как адаптер 120 камеры и DB 250. Например, в случае, когда внешний сервер 230 соединяется с внешним устройством проводом, LAN-кабель или т.п. соединяется с модулем 2307 связи. В случае, когда внешний сервер 230 имеет функцию, чтобы выполнять беспроводной обмен данными с внешним устройством, модуль 2307 связи включает в себя антенну. Шина 2308 соединяет каждый модуль внешнего сервера 230 и передает информацию.

[0180] Может также быть возможным выполнять, например, часть обработки внешнего сервера 230 посредством FPGA и реализовать другую часть обработки посредством программной обработки с помощью CPU. Дополнительно, также представляется возможным конфигурировать каждый компонент внешнего сервера 230, показанного на фиг. 21, посредством единственной электронной схемы или посредством множества электронных схем. Например, также представляется возможным то, что внешний сервер 230 включает в себя множество электронных схем, работающих как CPU 2301. Посредством множества электронных схем, выполняющих обработку в качестве CPU 2301 параллельно, возможно улучшать скорость обработки внешнего сервера 230.

[0181] Дополнительно, в настоящем варианте осуществления, хотя модуль 2305 отображения и операционный модуль 2306 существуют внутри внешнего сервера 230, также представляется возможным то, что внешний сервер 230 не включает в себя, по меньшей мере, один из модуля 2305 отображения и операционного модуля 2306. Кроме того, по меньшей мере, один из модуля 2305 отображения и операционного модуля 2306 может существовать за пределами внешнего сервера 230 в качестве другого устройства, и CPU 2301 может работать в качестве модуля управления отображением, сконфигурированного, чтобы управлять модулем 2305 отображения, и в качестве модуля управления работой, сконфигурированного, чтобы управлять операционным модулем 2306.

[0182] Это также является одинаковым с другими устройствами в системе 100 обработки изображений. Дополнительно, например, также представляется возможным то, что адаптер 120 камеры, DB 250, внутренний сервер 270 и сервер 290 времени не включают в себя модуль 2305 отображения и станция 310 управления, UI 330 управления виртуальной камерой и терминал 190 конечного пользователя включают в себя модуль 2305 отображения. В вышеописанном варианте осуществления, главным образом, объясняется пример случая, когда система 100 обработки изображения устанавливается в сооружении, таком как спортивная арена и концертный зал. В качестве другого примера сооружения упомянем, например, парк аттракционов, парк, гоночный трек, велотрек, казино, бильярд, каток, лыжный курорт, жилой дом и т.п. Дополнительно, событие, происходящее в различных сооружениях, может быть событием, происходящим внутри, или событием, происходящим снаружи. Кроме того, сооружение в настоящем варианте осуществления включает в себя сооружение, сконструированное временно (в течение ограниченного периода).

(Другие варианты осуществления)

[0183] Вариант(ы) осуществления настоящего изобретения может также быть реализован посредством компьютера системы или устройства, которое считывает и выполняет компьютерно-исполняемые инструкции (например, одну или более программ), записанных на носителе хранения (который может также называться более полно как "невременный компьютерно-читаемый носитель хранения"), чтобы выполнять функции одного или более из вышеописанных варианта(ов) осуществления, и/или которое включает в себя одну или более схем (например, специализированную интегральную микросхему (ASIC)) для выполнения функций одного или более из вышеописанного варианта(ов) осуществления, и посредством способа, выполняемого компьютером системы или устройством, например, посредством считывания и выполнения компьютерных исполняемых инструкций с носителя хранения, чтобы выполнять функции одного или более из вышеописанных варианта(ов) осуществления и/или управлять одной или более схем, чтобы выполнять функции одного или более из вышеописанных варианта(ов) осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (CPU), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров, чтобы считывать и исполнять компьютерные исполняемые инструкции. Компьютерно-исполняемые инструкции могут быть предоставлены компьютеру, например, из сети или с носителя хранения информации. Носитель хранения информации может включать в себя, например, одно или более из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), хранилища распределенных вычислительных систем, оптического диска (такого как компакт-диск (CD), цифровой многофункциональный диск (DVD) или диск Blu-ray (BD)™), устройства флэш-памяти, карты памяти и т.п.

[0184] Согласно настоящему варианту осуществления становится возможным получать изображение виртуальной точки обзора, в то же время уменьшая объем данных.

[0185] В то время как настоящее изобретение было описано со ссылкой на примерные варианты осуществления, должно быть понятно, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Рамки нижеследующей формулы изобретения должны соответствовать самой широкой интерпретации, так, чтобы охватывать все такие модификации и эквивалентные структуры и функции.

Изобретение относится к технологии формирования изображения из виртуальной точки обзора на основе изображений, захваченных из множества точек обзора. Техническим результатом является обеспечение возможности получения изображения виртуальной точки обзора, в то же время уменьшая объем данных. В устройстве обработки изображений данные трехмерной формы, указывающие форму объекта, формируются на основе по меньшей мере одного из множества изображений, захваченных с различных направлений посредством множества устройств захвата изображения. Информация цвета, указывающая цвет каждого элемента данных трехмерной формы, формируется на основе сформированных данных трехмерной формы и множества изображений. Данные трехмерной формы и информация цвета ассоциируются друг с другом и записываются в модуль хранения в качестве материальных данных для формирования изображения виртуальной точки обзора, соответствующего информации виртуальной точки обзора, указывающей виртуальную точку обзора. 3 н. и 16 з.п. ф-лы, 21 ил.

1. Устройство обработки изображений, содержащее:

первый модуль формирования, сконфигурированный, чтобы формировать данные трехмерной формы, указывающие форму объекта, на основе по меньшей мере одного из множества изображений, захваченных с различных направлений посредством множества устройств захвата изображений;

второй модуль формирования, сконфигурированный, чтобы формировать информацию цвета, указывающую цвет каждого элемента данных трехмерной формы, на основе данных трехмерной формы, сформированных посредством первого модуля формирования и множества изображений; и

модуль записи, сконфигурированный, чтобы записывать данные трехмерной формы и информацию цвета в модуль хранения в ассоциации друг с другом в качестве материальных данных для формирования изображения виртуальной точки обзора, соответствующего информации виртуальной точки обзора, указывающей виртуальную точку обзора.

2. Устройство обработки изображений по п. 1, в котором

второй модуль формирования формирует значение пиксела для пиксела изображения, которое соответствует элементу данных трехмерной формы, в качестве информации цвета.

3. Устройство обработки изображений по п. 2, в котором

второй модуль формирования формирует информацию цвета из изображения устройства захвата изображения, выбранного на основе расстояния между элементом объекта и устройством захвата изображения, захватившим изображение, включающее в себя элемент объекта.

4. Устройство обработки изображений по п. 3, в котором

второй модуль формирования формирует информацию цвета из изображения устройства захвата изображения, выбранного из двух устройств захвата изображения, углы которых, сформированные с элементом объекта, являются большими по сравнению с другими из устройств захвата изображения, расстояние которых является таким же.

5. Устройство обработки изображений по п. 4, в котором

второй модуль формирования формирует информацию цвета из изображения устройства захвата изображения, обращенного к элементу объекта.

6. Устройство обработки изображений по п. 3, в котором

второй модуль формирования формирует, в случае, когда два или более устройств захвата изображения имеют одинаковое расстояние, информацию цвета из изображения устройства захвата изображения, чей приоритет, предоставленный устройству захвата изображения, является высоким.

7. Устройство обработки изображений по п. 2, в котором

второй модуль формирования формирует, в случае, когда существует множество пикселов изображения, соответствующих элементу данных трехмерной формы, среднее значение для значений пикселов для множества пикселов в качестве информации цвета.

8. Устройство обработки изображений по п. 1, содержащее:

третий модуль формирования, сконфигурированный, чтобы формировать информацию коррекции цвета для коррекции цвета каждого элемента данных трехмерной формы на основе сформированных данных трехмерной формы и множества изображений, при этом

модуль записи записывает информацию коррекции цвета в модуль хранения в качестве материальных данных посредством ассоциирования информации коррекции цвета с данными трехмерной формы и информацией цвета.

9. Устройство обработки изображений по п. 8, в котором

третий модуль формирования формирует информацию коррекции цвета из изображения устройства захвата изображения, выбранного на основе расстояния между элементом объекта и устройством захвата изображения, захватившим изображение, включающее в себя элемент объекта.

10. Устройство обработки изображений по п. 9, в котором

третий модуль формирования формирует информацию коррекции цвета из изображения выбранного устройства захвата изображения с двумя устройствами захвата изображения, углы которых, сформированные элементом объекта, являются большими по сравнению с другими, выбираемыми из устройств захвата изображения, расстояние которых является таким же.

11. Устройство обработки изображений по п. 8, в котором

третий модуль формирования формирует, в случае, когда существует множество пикселов изображения, соответствующего элементу объекта, среднее значение для значений пикселов для множества пикселов в информации коррекции цвета.

12. Устройство обработки изображений по п. 1, в котором

модуль записи не записывает изображение переднего плана, сформированное из множества изображений, захваченных посредством множества устройств захвата изображения, и включающее в себя объект, в модуль хранения и записывает изображение заднего плана, не включающее в себя объект, в модуль хранения.

13. Устройство обработки изображений по п. 12, содержащее:

модуль получения данных, сконфигурированный, чтобы получать данные трехмерной формы, информацию цвета по данным трехмерной формы и изображение заднего плана из модуля хранения на основе информации виртуальной точки обзора, указывающей виртуальную точку обзора;

модуль окрашивания, сконфигурированный, чтобы формировать данные цветной трехмерной формы посредством окрашивания каждого элемента полученных данных трехмерной формы на основе полученной информации цвета по данным трехмерной формы; и

четвертый модуль формирования, сконфигурированный, чтобы формировать изображение виртуальной точки обзора, соответствующее информации виртуальной точки обзора, с помощью сформированных данных цветной трехмерной формы и изображения заднего плана.

14. Устройство обработки изображений по п. 13, в котором

модуль получения данных получает информацию коррекции цвета для коррекции информации цвета, включенной в материальные данные, из модуля хранения,

устройство обработки информации дополнительно включает в себя модуль коррекции цвета, сконфигурированный, чтобы корректировать информацию цвета по данным трехмерной формы на основе данных трехмерной формы, информации цвета, информации коррекции цвета и информации виртуальной точки обзора, которые получены, и

модуль окрашивания формирует данные цветной трехмерной формы на основе информации цвета по данным трехмерной формы, скорректированной посредством модуля коррекции цвета.

15. Устройство обработки изображений по п. 14, в котором

весовой коэффициент информации цвета и информации коррекции цвета изменяется на основе информации виртуальной точки обзора.

16. Устройство обработки изображений по п. 15, в котором

в случае, когда виртуальная точка обзора находится в области, окруженной целевым устройством захвата изображения для формирования каждой из информации цвета и информации коррекции цвета и элементом данных трехмерной формы, весовой коэффициент информации цвета и информации коррекции цвета задается в соответствии с величиной угла, сформированного линией, соединяющей виртуальную точку обзора и элемент данных трехмерной формы, и направлением захвата изображения целевого устройства захвата изображения для формирования каждой из информации цвета и информации коррекции цвета.

17. Устройство обработки изображений по п. 15, в котором

модуль окрашивания формирует данные цветной трехмерной формы с помощью информации коррекции цвета, соответствующей целевому устройству захвата изображения для формирования информации коррекции цвета, которое находится близко к виртуальной точке обзора, в случае, когда виртуальная точка обзора находится за пределами области, окруженной целевым устройством захвата изображения для формирования каждой из информации цвета и информации коррекции цвета и элементом данных трехмерной формы.

18. Способ обработки изображений, содержащий этапы, на которых

формируют данные трехмерной формы, указывающие форму объекта, на основе по меньшей мере одного из множества изображений, захваченных с различных направлений посредством множества устройств захвата изображения;

формируют информацию цвета, указывающую цвет каждого элемента данных трехмерной формы, на основе сформированных данных трехмерной формы и множества изображений; и

записывают данные трехмерной формы и информацию цвета в модуль хранения в ассоциации друг с другом в качестве материальных данных для формирования изображения виртуальной точки обзора, соответствующего информации виртуальной точки обзора, указывающей виртуальную точку обзора.

19. Невременный компьютерно-читаемый носитель хранения, хранящий программу для инструктирования компьютеру выполнять способ обработки изображений, содержащий:

формирование данных трехмерной формы, указывающих форму объекта, на основе по меньшей мере одного из множества изображений, захваченных с различных направлений посредством множества устройств захвата изображения;

формирование информации цвета, указывающей цвет каждого элемента данных трехмерной формы, на основе сформированных данных трехмерной формы и множества изображений; и

запись данных трехмерной формы и информации цвета в модуль хранения в ассоциации друг с другом в качестве материальных данных для формирования изображения виртуальной точки обзора, соответствующего информации виртуальной точки обзора, указывающей виртуальную точку обзора.