УСТРОЙСТВО ДЛЯ УПРАВЛЕНИЯ ОТОБРАЖЕНИЕМ, СПОСОБ УПРАВЛЕНИЯ ОТОБРАЖЕНИЕМ И НОСИТЕЛЬ ХРАНЕНИЯ Российский патент 2020 года по МПК H04N7/18 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству для управления отображением, способу управления отображением и носителю хранения.

Уровень техники

[0002] В последние годы, особое внимание было уделено технологии, в которой множество устройств для захвата изображений устанавливаются в различных позициях, и множество устройств для захвата изображения синхронно захватывают изображения субъекта. С помощью изображений, захваченных из множества точек обзора, получаются не только изображения, которые видны из позиций установки устройств для захвата изображений, но формируется изображение виртуальной точки обзора, которое видно из произвольной точки обзора.

[0003] Изображение виртуальной точки обзора, основанное на множестве изображений точек обзора, может быть сформировано и просмотрено, например, следующим образом. Сначала, изображения, захваченные посредством множества устройств для захвата изображений, собираются в устройстве для формирования изображения, таком как сервер. Устройство для формирования изображения затем выполняет обработку, такую как воспроизведение, на основе виртуальной точки обзора с помощью изображений, захваченных посредством множества устройств для захвата изображений, чтобы формировать изображение виртуальной точки обзора, и отображает изображение виртуальной точки обзора на пользовательском терминале обзора.

[0004] Эффективное представление контента, когда рассматривается из точки обзора, указанной создателем контента изображения, может быть произведено посредством формирования изображения виртуальной точки обзора, когда рассматривается из точки обзора, из захваченных изображений футбольного или баскетбольного матча. Пользователь, который просматривает контент, может свободно изменять точку обзора с помощью контроллера, планшетного устройства или т.п., предусмотренного для терминала просмотра. В ответ, устройство для формирования изображения формирует изображение виртуальной точки обзора, как видно из точки обзора. Таким образом, пользователь может смотреть игру из своей желаемой точки обзора. Таким образом, в службе, использующей изображение виртуальной точки обзора, пользователь может чувствовать себя, как если бы он был фактически на месте действия, что не достигается посредством традиционного захваченного изображения, точка обзора которого не может быть свободно изменена.

[0005] Японская выложенная патентная заявка № 2014–236896 описывает технологию, в которой пользователю предоставляется возможность выбирать желаемую точку обзора на основе одного или более изображений, и изображение виртуальной точки обзора формируется из изображений и информации о выбранной точке обзора. Эта патентная заявка также описывает UI (пользовательский интерфейс), используемый пользователем, чтобы выбирать желаемую точку обзора.

Сущность изобретения

Техническая задача

[0006] Однако, существует вероятность, что пользователь не может легко узнать состояния составляющих элементов системы, которая формирует изображение виртуальной точки обзора.

[0007] Например, в случае, когда, по меньшей мере, одно из множества устройств для захвата изображений ломаются или не в состоянии нормально захватывать изображение или не в состоянии выводить захваченное изображение, может возникать такая проблема, как снижение качества изображения виртуальной точки обзора. Кроме того, в случае, когда параметры формирования изображения, указывающие диапазон формирования изображения, условие экспозиции и/или т.п., не задаются надлежащим образом в каждом из множества устройств для захвата изображений, может также возникать такая проблема, как снижение качества изображения виртуальной точки обзора. Однако, если пользователь может улавливать состояния этих устройств для захвата изображений, является возможным выполнять исправления или задавать параметры формирования изображения, и, таким образом, является возможным снижать возникновение таких проблем, как снижение качества изображения виртуальной точки обзора. Отметим, что составляющие элементы не ограничиваются устройствами для формирования изображений. Например, сервер, который формирует изображение виртуальной точки обзора, коммутатор, маршрутизатор, сетевой кабель и т.п., включенные в систему для формирования изображения виртуальной точки обзора, и т.п. могут также быть составляющими элементами.

[0008] Принимая во внимание проблемы, описанные выше, задачей настоящего изобретения является предоставление технологии для предоставления возможности пользователю легко узнавать состояние составляющего элемента системы, сконфигурированной для формирования изображения виртуальной точки обзора.

Решение проблемы

[0009] Настоящее изобретение предоставляет устройство для управления отображением, сконфигурированное, чтобы выполнять управление отображением, так, чтобы отображать информацию о множестве устройств для захвата изображений, сконфигурированных, чтобы захватывать изображения для формирования изображения виртуальной точки обзора, включающее в себя средство получения, сконфигурированное, чтобы получать информацию о множестве устройств для захвата изображений, и средство управления отображением, сконфигурированное, чтобы побуждать блок отображения отображать информацию о соединении связи множества устройств для захвата изображений для передачи изображения, захваченного посредством каждого из множества устройств для захвата изображений, на основе информации, полученной средством получения.

Краткое описание чертежей

[0010] Фиг. 1 – это схема, иллюстрирующая конфигурацию системы отображения.

Фиг. 2 – это схема, иллюстрирующая компоновку устройств для захвата изображений.

Фиг. 3 – это схема, иллюстрирующая конфигурацию аппаратных средств устройства для захвата изображения.

Фиг. 4 – это схема, иллюстрирующая первый пример функциональной конфигурации устройства для захвата изображения.

Фиг. 5 – это блок–схема последовательности операций, иллюстрирующая первый пример работы устройства для захвата изображения.

Фиг. 6A – это схема, иллюстрирующая данные изображения переднего плана и данные изображения заднего плана.

Фиг. 6B – это схема, иллюстрирующая данные изображения переднего плана и данные изображения заднего плана.

Фиг. 6C – это схема, иллюстрирующая данные изображения переднего плана и данные изображения заднего плана.

Фиг. 7 – это схема, иллюстрирующая конфигурацию аппаратных средств устройства.

Фиг. 8 – это схема, иллюстрирующая первый пример функциональной конфигурации устройства для формирования изображения.

Фиг. 9 – это блок–схема последовательности операций, иллюстрирующая работу устройства для формирования изображения.

Фиг. 10 – это схема, иллюстрирующая первый пример функциональной конфигурации устройства для отображения информации.

Фиг. 11 – это блок–схема последовательности операций, иллюстрирующая первый пример работы устройства для отображения информации.

Фиг. 12 – это схема, иллюстрирующая пример данных, сохраненных в блоке хранения данных устройства для отображения информации.

Фиг. 13 – это схема, иллюстрирующая пример данных, сохраненных в блоке хранения данных устройства для отображения информации.

Фиг. 14 – это схема, иллюстрирующая пример данных, сохраненных в блоке хранения данных устройства для отображения информации.

Фиг. 15 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства для отображения информации.

Фиг. 16 – это блок–схема последовательности операций, иллюстрирующая процесс, выполняемый посредством блока формирования UI устройства для отображения информации.

Фиг. 17 – это схема, иллюстрирующая пример изображения для отображения, сформированного посредством блока формирования UI устройства для отображения информации.

Фиг. 18 – это схема, иллюстрирующая пример изображения для отображения, сформированного посредством блока формирования UI устройства для отображения информации.

Фиг. 19 – это схема, иллюстрирующая пример изображения для отображения, сформированного посредством блока формирования UI устройства для отображения информации.

Фиг. 20 – это схема, иллюстрирующая пример изображения для отображения, сформированного посредством блока формирования UI устройства для отображения информации.

Фиг. 21 – это схема, иллюстрирующая пример изображения для отображения, сформированного посредством блока формирования UI устройства для отображения информации.

Фиг. 22 – это схема, иллюстрирующая пример изображения для отображения, сформированного посредством блока формирования UI устройства для отображения информации.

Фиг. 23A – это схема, иллюстрирующая пример изображения для отображения, указывающего процесс, выполняемый посредством блока формирования UI устройства для отображения информации.

Фиг. 23B – это схема, иллюстрирующая пример изображения для отображения, указывающего процесс, выполняемый посредством блока формирования UI устройства для отображения информации.

Фиг. 24 – это схема, иллюстрирующая пример процесса рисования слоя, выполняемого посредством блока формирования UI устройства для отображения информации.

Фиг. 25 – это блок–схема последовательности операций, иллюстрирующая процесс, выполняемый посредством устройства для отображения информации.

Фиг. 26 – это схема, иллюстрирующая пример отображаемого изображения для переключения отображения блока формирования UI устройства для отображения информации.

Фиг. 27A – это схема, иллюстрирующая пример, указывающий состояние устройства для захвата изображения на изображении для отображения.

Фиг. 27B – это схема, иллюстрирующая пример, указывающий состояние устройства для захвата изображения на изображении для отображения.

Фиг. 27C – это схема, иллюстрирующая пример, указывающий состояние устройства для захвата изображения на изображении для отображения.

Фиг. 27D – это схема, иллюстрирующая пример, указывающий состояние устройства для захвата изображения на изображении для отображения.

Фиг. 27E – это схема, иллюстрирующая пример, указывающий состояние устройства для захвата изображения на изображении для отображения.

Фиг. 28 – это схема, иллюстрирующая пример перечисляемого описания состояний устройств для захвата изображений на изображении для отображения.

Фиг. 29 – это блок–схема последовательности операций, иллюстрирующая процесс отображения, выполняемый посредством устройства для отображения информации.

Фиг. 30 – это схема, иллюстрирующая пример перечисляемого описания состояний устройств для захвата изображений.

Фиг. 31 – это концептуальная схема, иллюстрирующая операцию переключения списочного вида.

Фиг. 32 – это схема, иллюстрирующая пример операционного UI для управления устройством для захвата изображения.

Фиг. 33 – это схема, иллюстрирующая пример операционного UI для управления устройством для захвата изображения.

Фиг. 34 – это схема, иллюстрирующая модифицированный пример функциональной конфигурации устройства для отображения информации.

Фиг. 35 – это блок–схема последовательности операций, иллюстрирующая пример процесса отображения изображения, выполняемого посредством устройства для отображения информации.

Фиг. 36 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства для отображения информации.

Фиг. 37 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства для отображения информации.

Фиг. 38 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства для отображения информации.

Фиг. 39 – это блок–схема последовательности операций, иллюстрирующая процесс настройки устройства для захвата изображения с помощью операционного UI для устройства для отображения информации.

Фиг. 40 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства для отображения информации.

Фиг. 41 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства для отображения информации.

Фиг. 42 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства для отображения информации.

Фиг. 43 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства для отображения информации.

Фиг. 44 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства для отображения информации.

Описание вариантов осуществления

[0011] Варианты осуществления описываются ниже со ссылкой на чертежи. Варианты осуществления описываются ниже посредством примера для случая, когда изображение, которое моделирует стадион, отображается, и, кроме того, на этом изображении моделируемого стадиона, информация отображается, чтобы указывать, по меньшей мере, одно из следующего: позицию установки каждого устройства для захвата изображения; соотношение сетевого соединения между устройствами для захвата изображений; и соотношение между каждым устройством для захвата изображения и целевой областью формирования изображения.

[0012] Фиг. 1 – это схема, иллюстрирующая пример конфигурации системы отображения согласно настоящему варианту осуществления. Система отображения согласно настоящему варианту осуществления включает в себя систему 100 захвата изображений, включающую в себя множество устройств 100–1, 100–2, … и 100–M для захвата изображений, устройство 200 для формирования изображения, пользовательский терминал 300, устройство 400 для отображения информации и устройство 500 для распространения. Соответствующие устройства соединяются с возможностью обмена данными друг с другом через передающий кабель для передачи изображения и управляющей информации. Конкретные примеры передающего кабеля включают в себя ETHERNET (зарегистрированный товарный знак), такой как GBE (Gigabit Ethernet), 10GBE или т.п. согласно стандарту IEEE. Однако, передающий кабель не ограничивается ими, и другой тип кабеля может быть использован. Каждое устройство может выполнять беспроводную связь.

[0013] Система 100 захвата изображения включает в себя M устройств для захвата изображений (устройства 100–1, 100–2, … и 100–M для захвата изображений). Далее в данном документе, когда описание является общим, а не о конкретном устройстве захвата изображения, устройства 100–1, 100–2, … и 100–M для захвата изображений будут, в общем, называться устройством 100–X для захвата изображений. Отметим, что M, N (описанные позже) и X, каждое, принимают целое значение.

[0014] Устройства 100–X для захвата изображений, расположенные рядом друг с другом (например, устройство 100–1 для захвата изображения и устройство 100–2 для захвата изображения) взаимосвязываются через передающий кабель. Устройство 100–X для захвата изображения передает захваченное изображение и информацию о состоянии устройства 100–X для захвата изображения устройству 200 для формирования изображения и устройству 400 для отображения изображения. Отметим, что информация о состоянии будет описана позже. На фиг. 1 устройство 100–1 для захвата изображения взаимосвязывается с устройством 100–2 для захвата изображения. Устройство 100–2 для захвата изображения также взаимосвязывается с другим устройством для захвата изображения (не показано), расположенным рядом с устройством 100–2 для захвата изображения, также как устройством 100–1 для захвата изображения. Устройство 100–N для захвата изображения взаимосвязывается с устройствами для захвата изображений (не показаны), расположенными рядом с устройством 100–N для захвата изображения. Устройство 100–N для захвата изображения также взаимосвязывается с устройством 500 для распространения. Хотя в примере, показанном здесь, устройства для захвата изображений соединяются цепочкой, устройства для захвата изображений могут быть соединены в другой форме соединения, такой как соединение звездой или т.п. В настоящем варианте осуществления существуют две таких группы соединений. Т.е., другая группа является соединением системы захвата изображения, включающей в себя устройство 100–(N+1) захвата изображения с устройством 100–M захвата изображений, соединенным аналогичным образом. Число групп соединений не ограничивается двумя, и число групп соединений может быть одной или тремя или более.

[0015] Устройства 100–X для захвата изображений располагаются так, чтобы окружать стадион, такой как футбольное поле или специальный субъект. Фиг. 2 – это схема, иллюстрирующая пример компоновки устройств 100–X для захвата изображений. В примере, показанном на фиг. 2, множество устройств 100–X для захвата изображений размещаются так, что весь или часть стадиона 210, такого как футбольное поле, изображается посредством множества устройств 100–X для захвата изображений.

[0016] Множество устройств 100–X для захвата изображений являются, например, цифровыми камерами и выполняют формирование изображения в одно и то же время на основе сигнала синхронизации от устройства синхронизации (не показано). Изображения, захваченные посредством устройств 100–X для захвата изображений, передаются устройству 200 для формирования изображения и устройству 400 для отображения информации через передающий кабель и устройство 500 для распространения. Устройства 100–X для захвата изображений могут быть камерами, сконфигурированными, чтобы захватывать фотоизображения, камерами, сконфигурированными, чтобы захватывать движущиеся изображения, или камерами, сконфигурированными, чтобы захватывать как фотоизображения, так и движущиеся изображения. В настоящем варианте осуществления, термин "изображение" будет использован, чтобы описывать как фотоизображения, так и движущиеся изображения, пока не отмечено иное.

[0017] Устройство 200 для формирования изображения взаимосвязывается с устройствами 100–X для захвата изображений через устройство 500 для распространения. Устройство 200 для формирования изображения также взаимосвязывается с пользовательским терминалом 300 и устройством 400 для отображения информации. Устройство 200 для формирования изображения накапливает изображения, захваченные посредством устройств 100–X для захвата изображений. Когда устройство 200 для формирования изображения принимает информацию виртуальной точки обзора на основе работы пользовательского терминала 300, устройство 200 для формирования изображения формирует изображение виртуальной точки обзора, соответствующее информации виртуальной точки обзора, с помощью изображений, захваченных посредством множества устройств 100–X для захвата изображений. Устройство 200 для формирования изображения передает сформированное изображение виртуальной точки обзора пользовательскому терминалу 300. Отметим, что информация виртуальной точки обзора включает в себя, по меньшей мере, информацию о позиции и информацию о направлении. Информация о позиции является информацией, указывающей относительную позицию относительно предварительно определенной позиции, такой как центр стадиона 210 (например, позиции в продольном направлении, поперечном направлении и вертикальном направлении относительно предварительно определенной позиции). Отметим, что информация о позиции может быть информацией, указывающей абсолютные координаты. Информация о направлении является информацией, указывающей направление от предварительно определенной позиции (например, угол от каждой оси в трехмерной ортогональной системе координат, имеющей точку начала отсчета, определенную в предварительно определенной позиции, и имеющей оси в продольном направлении, поперечном направлении и вертикальном направлении). Отметим, что информация о направлении может быть информацией, указывающей абсолютное направление. Информация виртуальной точки обзора является информацией, указывающей позицию точки обзора и направление линии взгляда, на основе которой необходимо формировать изображение виртуальной точки обзора. Информация виртуальной точки обзора также является информацией, указывающей позицию и ориентацию виртуальной камеры, посредством которой изображение виртуальной точки обзора захватывается.

[0018] Устройство 200 для формирования изображения является, например, серверным устройством и имеет функцию базы данных (описанную позже в качестве блока 202 хранения изображения) и функцию обработки изображения (описанную позже в качестве блока 203 формирования изображения виртуальной точки обзора). База данных, используемая устройством 200 для формирования изображения, сохраняет заранее изображение, в качестве данных изображения заднего плана, полученные посредством формирования изображения места проведения соревнований в состоянии, когда не существует конкретного субъекта, такого как игрок, например, как в состоянии, прежде чем соревнование начинается. Данные изображения заднего плана используются в процессе разделения переднего–заднего плана для извлечения конкретного субъекта из захваченного изображения.

[0019] Пользовательский терминал 300 имеет контроллер для управления. Пользовательский терминал 300 принимает инструкцию, чтобы изменять позицию виртуальной точки обзора или направления линии взгляда, или инструкцию, чтобы переключать точку обзора, на основе управления в контроллере пользователем, и пользовательский терминал 300 передает сигнал передачи, указывающий содержимое принятой инструкции устройству 200 для формирования изображения. Пользовательский терминал 300 отображает изображение виртуальной точки обзора, принятое от устройства 200 для формирования изображения, на экране отображения, предусмотренном на пользовательском терминале 300. Изображение виртуальной точки обзора может быть фотоизображением или движущимся изображением. Пользовательский терминал 300 является, например, PC (персональным компьютером) или планшетным устройством. Контроллер включает в себя, например, по меньшей мере, одно из мыши, клавиатуры, шестиосного контроллера и сенсорной панели.

[0020] Устройство 400 для отображения информации взаимосвязывается с устройствами 100–X для захвата изображений и устройством 200 для формирования изображения через устройство 500 для распространения. Устройство 400 для отображения информации принимает захваченные изображения, захваченные посредством устройств 100–X для захвата изображений, и информацию о состоянии устройств 100–X для захвата изображений и отображает их на экране отображения (блоке 404 отображения), описанном позже. Кроме того, устройство 400 отображения информации получает, из базы данных, позиции установки устройств 100–X для захвата изображений, соотношение соединения между устройствами для захвата изображений, информацию о группе, к которой устройства для захвата изображений принадлежат, и т.п., и отображает полученную информацию на экране дисплея. Устройство 400 для отображения информации также принимает информацию о состоянии устройства 200 для формирования изображения и отображает ее на экране дисплея. Информация, отображенная на устройстве 400 для отображения информации, просматривается человеком, ответственным за наблюдение. Человек, ответственный за наблюдение, регулярно наблюдает состояния системы 100 захвата изображения и устройства 200 для формирования изображения на основе захваченных изображений или т.п., отображенных на экране дисплея устройства 400 для отображения информации.

[0021] Устройство 500 для распространения распространяет захваченные изображения, принятые от устройств 100–X для захвата изображений, устройству 200 для формирования изображения и устройству 400 для отображения информации.

[0022] Далее, пример конфигурации устройства 100–X для захвата изображения описывается ниже. Фиг. 3 – это схема, иллюстрирующая пример конфигурации аппаратных средств устройства 100–X для захвата изображения. Оптическая система 301 формирования изображения (система оптической линзы) фокусирует свет от субъекта так, чтобы формировать изображение на датчике 302 изображения. Датчик 302 изображения преобразует свет, формирующий изображение, в электрический сигнал и выводит результирующий электрический сигнал в A/D–преобразователь 303. A/D–преобразователь 303 преобразует входной электрический сигнал в цифровой сигнал и выводит преобразованный цифровой сигнал в схему 304 обработки изображения. Датчик 302 изображения является устройством фотоэлектрического преобразования, которое преобразует оптический сигнал изображения, сформированного на принимающей свет поверхности, в электрический сигнал для каждого принимающего свет пиксела в соответствующей позиции.

[0023] Системный контроллер 308 включает в себя, например, CPU (центральный процессор), ROM (постоянное запоминающее устройство), RAM (оперативное запоминающее устройство) и т.п. Системный контроллер 308 управляет устройствами 100–X для захвата изображений, выполняя компьютерную программу, сохраненную в ROM.

[0024] Схема 304 обработки изображения выполняет различную обработку изображения по цифровому сигналу (сигналу изображения), вводимому из A/D–преобразователя 303. Обработка изображения включает в себя, например, регулировку баланса белого, корректировку цвета и корректировку гаммы. Сигнал изображения, подвергнутый обработке изображения посредством схемы 304 обработки изображения, сохраняется на носителе 307 хранения или отображается посредством устройства 305 для отображения. Схема 304 обработки изображения извлекает субъекта, такого как игрок, из изображения, захваченного во время соревнования на стадионе 210, среди захваченных изображений, введенных из блока 102 формирования изображения.

[0025] Схема 306 управления оптической системой формирования изображения приводит в действие линзу или т.п., включенную в оптическую систему 301 формирования изображения, на основе управляющего сигнала от системного контроллера 308. Отметим, что иллюстрированная конфигурация устройства 100–X для захвата изображения является просто примером. Конфигурация необязательно должна включать в себя все эти элементы и может включать в себя другой элемент. Например, устройство 305 для отображения не является неотъемлемым компонентом устройства 100–X для захвата изображения.

[0026] Фиг. 4 – это схема, иллюстрирующая пример функциональной конфигурации устройства 100–X для захвата изображения согласно настоящему варианту осуществления. Фиг. 5 – это блок–схема последовательности операций, иллюстрирующая пример работы устройства 100–X для захвата изображения согласно настоящему варианту осуществления. Например, каждый раз, когда захваченное изображение получается посредством устройства 100–X для захвата изображения, выполняется процесс, показанный в блок–схеме последовательности операций на фиг. 5. Отметим, что процесс, показанный в блок–схеме последовательности операций на фиг. 5, реализуется системным контроллером 308 посредством вычисления информации и управления различными частями аппаратных средств. Отметим, что, по меньшей мере, часть этапов блок–схемы последовательности операций на фиг. 5 может быть выполнена посредством специализированных аппаратных средств. Специализированные аппаратные средства могут быть, например, ASIC или FPGA.

[0027] Как показано на фиг. 4, устройство 100–X для захвата изображения включает в себя блок 101 линзы, блок 102 формирования изображения, блок 103 разделения переднего–заднего плана, блок 104 хранения информации о состоянии, блок 105 вывода, блок 106 управления и блок 107 ввода управляющего сигнала. Они взаимосвязываются через внутреннюю шину 108 и могут передавать и принимать данные взаимно под управлением блока 106 управления. Блок 101 линзы на фиг. 4 соответствует оптической системе 301 формирования изображения и схеме 306 управления оптической системой формирования изображения на фиг. 3, а блок 102 формирования изображения на фиг. 4 соответствует датчику 302 изображения и A/D–преобразователю 303 на фиг. 3. Обработка, которая должна быть выполнена посредством блока 103 разделения переднего–заднего плана на фиг. 4, выполняется посредством схемы 304 обработки изображения на фиг. 3. Функции блока 104 хранения информации о состоянии, блока 105 вывода, блока 106 управления и блока 107 ввода управляющего сигнала на фиг. 4 реализуются посредством системного контроллера 308 на фиг. 3. Процесс, показанный на фиг. 5, реализуется посредством системного контроллера 308 на фиг. 3 посредством считывания различных программ, сохраненных на носителе 307 хранения, и выполнения их для управления различными элементами. Пример конфигурации каждого элемента описывается подробно ниже.

[0028] Блок 101 линзы размещается в переднем каскаде блока 102 формирования изображения и фокусирует падающий свет от цели формирования изображения на блоке 102 формирования изображения, так, чтобы формировать изображение на нем. Блок 101 линзы является регулируемым с точки зрения масштабирования и фокуса линзы. Блок 102 формирования изображения выполняет операцию экспонирования по падающему свету изображения, сформированного посредством блока 101 линзы, и преобразует его в электрический сигнал. Кроме того, блок 102 формирования изображения также выполняет обработку сигнала, такую как корректировка потери выходного сигнала от датчика и корректировка изменения в оптических характеристиках линзы, по преобразованному сигналу. Кроме того, блок 102 формирования изображения преобразует захваченное изображение в формат, такой как RAW, JPEG (Объединенная группа экспертов в области фотографии) или BMP (растровое изображение) на основе результата обработки сигнала. Захваченное изображение выводится в блок 103 разделения переднего–заднего плана. В настоящем варианте осуществления захваченное изображение получается, как описано выше (S501).

[0029] Блок 103 разделения переднего–заднего плана извлекает конкретного субъекта, такого как игрок, из изображения, захваченного во время соревнования на стадионе 210, среди захваченных изображений, введенных из блока 102 формирования изображения, и выводит его в качестве "данных изображения переднего плана" в блок 105 вывода, расположенный на последующей стадии (S502). Кроме того, блок 103 разделения переднего–заднего плана выводит изображение, полученное посредством формирования изображения сцены стадиона 210 в состоянии, в котором субъект не присутствует, например, когда соревнование начинается, в блок 105 вывода в качестве "данных изображения заднего плана" (S502). Отметим, что блок 103 разделения переднего–заднего плана может выводить изображение, оставшееся после того, как конкретный субъект удаляется из захваченного изображения в блок 105 вывода в качестве данных изображения заднего плана. Далее в данном документе, захваченное изображение, еще неподвергшееся разделению переднего–заднего плана, называется "изображением с предварительным разделением переднего–заднего плана", чтобы отличать его от "данных изображения переднего плана" и "данных изображения заднего плана".

[0030] Фиг. 6 – это концептуальная схема, иллюстрирующая примеры "данных изображения с предварительно разделенным передним и задним планом", "данных изображения переднего плана" и "данных изображения заднего плана". Фиг. 6A является схемой, иллюстрирующей пример "данных изображения с предварительно разделенным передним и задним планом". В этом примере, данные изображения с предварительно разделенным передним и задним планом являются захваченным изображением, включающим в себя двух игроков 611 и 612, футбольный мяч 620 и футбольные ворота 630 на футбольном поле стадиона 210. Фиг. 6B является схемой, иллюстрирующей пример "данных изображения переднего плана". На фиг. 6B, в качестве примера, два игрока 611 и 612 и футбольный мяч 620 извлечены в качестве "данных изображения переднего плана". Каждый из них рассматривается как "данные изображения переднего плана". Т.е., на фиг. 6B, сформированы три части данных изображения переднего плана. В настоящем варианте осуществления, "данные изображения переднего плана" рассматриваются как прямоугольные данные (см. прерывистую линию на фиг. 6B). Фиг. 6C является схемой, иллюстрирующей пример "данных изображения заднего плана". Объект, почти неимеющий зависящего от времени изменения во время соревнования, такой как футбольные ворота 630, рассматривается как "данные изображения заднего плана".

[0031] В качестве способа разделения изображения переднего плана для конкретного субъекта предоставляется возможность использовать способ обработки изображения, включающий в себя процесс извлечения объекта. Извлечение объекта выполняется посредством извлечения различия между захваченным изображением и фоновым изображением. Изображение переднего плана может быть изображением не только игрока, играющего в игру, но также, например, другого конкретного человека (например, по меньшей мере, одного из запасных игроков, тренера и судьи). Изображение переднего плана может быть изображением объекта, такого как мяч или ворота, для которых шаблон изображения является предварительно определенным. Другим способом обнаружения изображения переднего плана может быть, например, обнаружение движущегося объекта.

[0032] Блок 104 хранения информации о состоянии хранит информацию о состоянии устройства 100–X для захвата изображения и выводит информацию в блок 105 вывода, когда изменение в состоянии происходит (S503). Информация о состоянии включает в себя, по меньшей мере, одно из следующего:

– Состояние соединения связи (соединено, разъединено и т.д.) устройства 100–X для захвата изображения

– Состояние формирования изображения (в середине операции формирования изображения, в операции подготовки, в операции выключения питания, в операции включения питания и т.д.) устройства 100–X для захвата изображения

– Операционное состояние (операция масштабирования, операция фокусирования, настройка ирисовой диафрагмы и т.д.) устройства 100–X для захвата изображения

– Состояние вывода (вывод "данных изображения переднего плана" или "данных изображения заднего плана" в устройство 200 для формирования изображения и т.д.) устройства 100–X для захвата изображения

– Состояние ошибки (нормальное, погрешность температуры, погрешность линзы и т.д.) устройства 100–X для захвата изображения

– Конфигурация устройства для захвата изображения (с точки зрения использования платформы камеры, микрофона, объектива с переменным фокусным расстоянием и т.д.)

– Параметры формирования изображения устройства для захвата изображения (значение апертуры (ирис), скорость затвора, баланс белого, значение экспозиции, чувствительность ISO, масштабирование, фокус, ND–фильтр, режим формирования изображения и т.д.)

[0033] Информация о состоянии может быть информацией, указывающей, на какой стадии в цепочке устройство 100–X для формирования изображения располагается, адресной информацией или информацией, указывающей конфигурацию сети, такую как сетевой идентификатор для принадлежащей сети.

[0034] Блок 105 вывода выводит "данные изображения переднего плана" или "данные изображения заднего плана", выведенные из блока 103 разделения переднего–заднего плана, в устройство 200 для формирования изображения и устройство 400 для отображения информации с предварительно определенной частотой кадров через устройство 500 для распространения (S504). Блок 105 вывода также выводит информацию о состоянии, выведенную из блока 104 хранения информации о состоянии, в устройство 400 для отображения информации через другое устройство 100–X для захвата изображения и устройство 500 для распространения (S504). Вывод выполняется, когда изменение происходит в одном из состояний, или когда устройство 100–X для захвата изображения активизируется. Блок 105 вывода может выводить данные время от времени согласно частоте кадров, с которой устройство 100–X для захвата изображения захватывает изображения.

[0035] Блок 106 управления выдает инструкцию управления каждому блоку устройства 100–X захвата изображения на основе управляющей информации от блока 107 ввода управляющего сигнала или блока пользовательского I/F (интерфейса) (не показан). Например, когда блок 106 управления принимает параметр регулировки для регулировки экспозиции, такой как ирис или регулировка ISO, от блока пользовательского I/F или блока 107 ввода управляющего сигнала, блок 106 управления выполняет управление экспозицией в блоке 102 формирования изображения.

[0036] Блок 107 ввода управляющего сигнала принимает управляющий сигнал от устройства 400 для отображения информации, описанного позже, и выводит управляющий сигнал блоку 106 управления. Управляющий сигнал от устройства 400 для отображения информации может быть сигналом для настройки параметров формирования изображения. Например, параметры формирования изображения включают в себя параметры, относящиеся к масштабу, фокусу, ирису, ISO, скорости затвора, переключению ND–фильтра и т.п.

[0037] Отметим, что часть конфигурации иллюстрированного устройства 100–X для захвата изображения может быть реализована в другом устройстве. Например, блок 103 разделения переднего–заднего плана может быть реализован в устройстве, отличном от устройства 100–X для захвата изображения. Блок 105 вывода может быть реализован в другом устройстве, которое может выводить данные, полученные от устройства 100–X для захвата изображения.

[0038] Далее, примеры конфигураций устройства 200 для формирования изображения, устройства 400 для отображения информации и пользовательского терминала 300 описываются ниже. Фиг. 7 – это схема, иллюстрирующая примеры конфигураций устройства 200 для формирования изображения, устройства 400 для отображения информации и пользовательского терминала 300. Устройство 7000 (пользовательский терминал 300, устройство 200 для формирования изображения или устройство 400 для отображения информации) включает в себя блок 700 контроллера, операционный блок 709 и устройство 710 для отображения.

[0039] Блок 700 контроллера включает в себя CPU 701. CPU 701 запускает OS (операционную систему) с помощью программы начальной загрузки, сохраненной в ROM 702. CPU 701 выполняет, в этой OS, прикладную программу, сохраненную на HDD (накопителе на жестком диске) 704. CPU 701 реализует различные процессы посредством выполнения прикладных программ. RAM 703 используется в качестве рабочей области для CPU 701. HDD 704 хранит прикладные программы и т.п.

[0040] CPU 701 взаимосвязывается с ROM 702, RAM 703, I/F 705 операционного блока, I/F 706 блока отображения и I/F 707 связи через системную шину 708. I/F 705 операционного блока является интерфейсом с операционным блоком 709. I/F 705 операционного блока передает, в CPU 701, информацию, введенную пользователем через операционный блок 709. Операционный блок 709 включает в себя, например, мышь, клавиатуру и т.п. I/F 706 блока отображения выводит данные изображения, которые должны быть отображены на устройстве 710 для отображения, в устройство 710 для отображения. Устройство 710 для отображения включает в себя компьютерный дисплей. I/F 707 связи является, например, Ethernet (зарегистрированный товарный знак) интерфейс для выполнения обмена данными, и соединяется с передающим кабелем. I/F 707 связи вводит и выводит информацию от или к внешнему устройству через передающий кабель. I/F 707 связи может быть схемой или антенной для выполнения беспроводной связи. Устройство 7000 может также выполнять управление отображением, чтобы отображать изображение на внешнем устройстве 710 для отображения, подключенном через кабель или сеть. В этом случае, устройство 7000 реализует управление отображением посредством вывода данных для отображения в устройство 710 для отображения. Отметим, что все элементы, показанные на фиг. 7, необязательно требуются в устройстве 200 для формирования изображения или устройстве 400 для отображения информации. Например, в устройстве 200 для формирования изображения, устройство 710 для отображения не является неотъемлемым элементом.

[0041] Фиг. 8 – это схема, иллюстрирующая пример функциональной конфигурации устройства 200 для формирования изображения согласно настоящему варианту осуществления. Фиг. 9 – это блок–схема последовательности операций, иллюстрирующая пример работы устройства 200 для формирования изображения согласно настоящему варианту осуществления. Устройство 200 для формирования изображения включает в себя, как показано на фиг. 8, блок 201 ввода изображения, блок 202 хранения изображения, блок 203 формирования изображения виртуальной точки обзора, блок 204 вывода, блок 205 управления и блок 206 пользовательского ввода. Они взаимосвязываются через внутреннюю шину 207 и могут передавать и принимать данные взаимно под управлением блока 205 управления. Отметим, что блок 201 ввода изображения на фиг. 8 соответствует I/F 707 связи на фиг. 7, блок 206 пользовательского ввода на фиг. 8 соответствует I/F 705 операционного блока на фиг. 7, и блок 204 вывода на фиг. 8 соответствует I/F 706 отображения и I/F 707 связи на фиг. 7. Блок 202 хранения изображения на фиг. 8 соответствует ROM 702, RAM 703 и HDD 704 на фиг. 7, и блок 205 управления соответствует CPU 701. Процесс, показанный на фиг. 9 реализуется посредством CPU 701 на фиг. 7 посредством считывания различных программ, сохраненных в ROM 702, и выполнения их для управления различными элементами. Пример каждого элемента описывается подробно ниже. Отметим, что, по меньшей мере, часть этапов блок–схемы последовательности операций на фиг. 9 может быть выполнена посредством специализированных аппаратных средств. Специализированные аппаратные средства могут быть, например, ASIC или FPGA.

[0042] Блок 201 ввода изображения вводит "данные изображения переднего плана" и "данные изображения заднего плана", выведенные из устройства 100–X для захвата изображения, с различными предварительно определенными частотами кадров через устройство 500 для распределения (S901). Блок 201 ввода изображения выводит входные "данные изображения переднего плана" и "данные изображения заднего плана" в блок 202 хранения изображения. В случае, когда "данные изображения переднего плана" и "данные изображения заднего плана", выводимые из устройства 100–X для захвата изображения, не вводятся, этап S902 пропускается, и последовательность обработки переходит к этапу S903, описанному позже.

[0043] Блок 202 хранения изображения является базой данных и хранит "данные изображения переднего плана" и "данные изображения заднего плана", вводимые из блока 201 ввода изображения (S902). Блок 202 хранения изображения выводит "данные изображения переднего плана" и "данные изображения заднего плана", указанные посредством блока 203 формирования изображения виртуальной точки обзора, описанного позже, в блок 203 формирования изображения виртуальной точки обзора.

[0044] Блок 203 формирования изображения виртуальной точки обзора определяет, была ли введена информация о виртуальной точке обзора из блока 205 управления (S903). Пример способа формирования информации виртуальной точки обзора будет описан позже. В случае, когда результат определения указывает, что информация о виртуальной точке обзора не введена из блока 205 управления, последовательность обработки возвращается к этапу S901. С другой стороны, когда информация о виртуальной точке обзора вводится из блока 205 управления, блок 203 формирования изображения виртуальной точки обзора получает "данные изображения переднего плана" и "данные изображения заднего плана", соответствующие информации о виртуальной точке обзора, из блока 202 хранения (S904).

[0045] Затем, блок 203 формирования изображения виртуальной точки обзора формирует изображение виртуальной точки обзора, соединяя "данные изображения переднего плана" и "данные изображения заднего плана", полученные от блока 202 хранения изображения посредством обработки изображения, и выводит изображение виртуальной точки обзора в блок 105 вывода (S905).

[0046] В качестве способа формирования изображения виртуальной точки обзора, например, может быть применено воспроизведение на основе модели (воспроизведение на основе модели: MBR). MBR является способом формирования изображения виртуальной точки обзора с помощью трехмерной модели, сформированной на основе множеств захваченных изображений, полученных посредством захвата объекта со множества направлений. В частности, MBR является технологией формирования изображения, которое будет видно из виртуальной точки обзора, с помощью трехмерной формы (модели) целевой сцены, полученной посредством способа реконструкции трехмерной формы, такого как способ пересечения визуального объема или мультивидового стереоизображения (MVS). Способ формирования изображения виртуальной точки обзора не ограничивается способом, использующим MBR. Например, способ воспроизведения, отличный от MBR, такой как воспроизведение на основе изображения, может быть использован.

[0047] Блок 204 вывода преобразует изображение виртуальной точки обзора, введенное из блока 203 формирования изображения виртуальной точки обзора, в передаваемый сигнал, который может быть передан пользовательскому терминалу 300, и выводит передаваемый сигнал (S906).

[0048] Как описано выше, пользовательский терминал 300 принимает инструкцию изменять позицию виртуальной точки обзора или направление линии взгляда или инструкцию переключать точку обзора, на основе управления, пользователем, в контроллере, соединенном с пользовательским терминалом 300. Пользовательский терминал 300 передает передаваемый сигнал, указывающий содержимое инструкции, устройству 200 для формирования изображения. Блок 206 пользовательского ввода преобразует передаваемый сигнал, принятый через пользовательский терминал 300 вышеописанным способом, в обрабатываемую информацию о виртуальной точке обзора. Блок 206 пользовательского ввода затем выводит информацию о виртуальной точке обзора в блок 205 управления.

[0049] Блок 205 управления выдает управляющую инструкцию различным элементам устройства 200 для формирования изображения на основе информации о виртуальной точке обзора, предоставленной от блока 206 пользовательского ввода. Например, когда информация, относящаяся к виртуальной точке обзора, принимается от блока 206 пользовательского ввода, информация передается блоку 203 формирования изображения виртуальной точки обзора в качестве управляющей информации. Как описано выше, когда информация о виртуальной точке обзора вводится, блок 203 формирования изображения виртуальной точки обзора формирует и выводит изображение виртуальной точки обзора.

[0050] Отметим, что часть конфигурации иллюстрированного устройства 200 для формирования изображения может быть реализована в другом устройстве. Например, блок 202 хранения изображения и блок 203 формирования изображения виртуальной точки обзора могут быть сконфигурированы как отдельные устройства.

[0051] Пользовательский терминал 300 принимает позицию и направление виртуальной точки обзора от пользователя и отображает, на экране дисплея пользовательского терминала 300, изображение виртуальной точки обзора согласно позиции и направлению виртуальной точки обзора, принятым от пользователя через устройство 200 для формирования изображения. Таким образом, пользователь просматривает контент из точки обзора на основе его/ее действия. Как описано выше, пользовательский терминал 300 является, например, PC (персональным компьютером) или планшетным устройством, а контроллер является, например, мышью, клавиатурой, шестиосным контроллером или сенсорной панелью. С их помощью пользователь управляет виртуальной точкой обзора, чтобы отображать изображение виртуальной точки обзора как видимое из произвольной точки обзора на экране дисплея, предусмотренном на пользовательском терминале 300.

[0052] Далее, пример конфигурации устройства 400 для отображения информации описывается ниже. Фиг. 10 – это схема, иллюстрирующая пример функциональной конфигурации устройства 400 для отображения информации согласно настоящему варианту осуществления. Фиг. 11 – это блок–схема последовательности операций, иллюстрирующая пример работы устройства 400 для отображения информации согласно настоящему варианту осуществления. Устройство 400 для отображения информации является примером устройства для отображения, которое отображает состояния устройств 100–X для захвата изображений и/или устройства 200 для формирования изображения на основе информации, сохраненной в блоке 401 хранения данных, описанном позже, и информации, полученной посредством блока 405 получения состояния. Устройство 400 для отображения информации включает в себя блок 401 хранения данных, блок 402 считывания данных, блок 403 формирования UI, блок 404 отображения, блок 405 получения состояния, блок 406 управления, блок 407 пользовательского ввода и блок 408 вывода управляющего сигнала. Они взаимосвязываются через внутреннюю шину 409 и могут передавать и принимать данные взаимно под управлением блока 406 управления. Отметим, что блок 401 хранения данных на фиг. 10 соответствует HDD 704 на фиг. 7, а блок 402 считывания данных, блок 403 формирования UI и блок 406 управления на фиг. 10 соответствуют CPU 701 на фиг. 7. Блок 405 получения состояния и блок 408 вывода управляющего сигнала на фиг. 10 соответствует I/F 707 связи на фиг. 7, и блок 404 отображения на фиг. 10 соответствует I/F отображения и устройству 710 для отображения. Отметим, что процесс, показанный на фиг. 11, и процессы, описанные позже, выполняемые посредством устройства 400 отображения информации, реализуются посредством CPU 701, показанного на фиг. 7, посредством считывания различных программ, сохраненных в ROM 702, и выполнения их для управления различными элементами. Пример конфигурации каждого элемента описывается подробно ниже. Отметим, что, по меньшей мере, часть этапов процессов, показанных на фиг. 11, или процессов, выполняемых посредством устройства 400 для отображения информации согласно блок–схемам последовательностей, описанным позже, могут быть выполнены посредством специализированных аппаратных средств. Специализированные аппаратные средства могут быть, например, ASIC или FPGA.

[0053] Блок 401 хранения данных хранит данные, необходимые для блока 403 формирования UI, чтобы отображать UI. Данные включают в себя, по меньшей мере, одно из следующего:

– Данные о компоновке стадиона 210

– Идентификационную информацию, идентифицирующую устройство 100–X для захвата изображения

– Информацию о группе соединений по группе, к которой устройство 100–X для захвата изображения принадлежит

– Приемник соединения для устройства 100–X для захвата изображения

– Зону установки устройства 100–X для захвата изображения

– Информацию о координатах установки устройства 100–X для захвата изображения

– Целевую область формирования изображения, которая должна быть захвачена посредством устройства 100–X для захвата изображения

– Информацию о координатах центра целевой области формирования изображения, которая должна быть захвачена посредством устройства 100–X для захвата изображения

– Информацию об эффективной области для целевой области формирования изображения, которая должна быть захвачена посредством устройства 100–X для захвата изображения

– Информацию об области для области установки устройства 100–X для захвата изображения

[0054] Фиг. 12 иллюстрирует пример данных, сохраненных в блоке 401 хранения данных. В данных, показанных на фиг. 12, например, "устройство 100–1 для захвата изображения" принадлежит группе соединений связи, названной "L1", и взаимосвязывается с "устройством 100–2 для захвата изображения" и устанавливается в координатах (x1, y1) в области, названной "R1". Информация о координатах установки является информацией о координатах XY, в которых предварительно определенная позиция (например, центр стадиона 210) задана в качестве начала координат.

[0055] Фиг. 13 иллюстрирует другой пример данных, сохраненных в блоке 401 хранения данных. Координаты центра области (информация, указывающая координаты центра целевой области формирования изображения, показанной на фиг. 12) являются информации о координатах XY, в которой предварительно определенная позиция (например, центр стадиона 210) задан в качестве начала координат. Отметим, что группа устройств 100–X для захвата изображения, который захватывает изображения общей целевой области формирования изображения, задается так, что ее оптическая ось направлена к позиции, указанной координатами центра области. Т.е., центр изображения, захваченного посредством какого–либо одного из устройств 100–X для захвата изображений, захватывающих одну и ту же целевую область формирования изображения, находится в позиции, указанной посредством одних и тех же координат центра области для любых устройств 100–X для захвата изображений. Информация об эффективной области указывает область, определенную радиусом от координат центра. Изображение виртуальной точки обзора формируется с помощью изображений, захваченных посредством устройств 100–X для захвата изображения, которые захватывают общую целевую область формирования изображения.

[0056] Фиг. 14 иллюстрирует другой пример данных, сохраненных в блоке 401 хранения данных. Координаты вершин включают в себя информацию о координатах, по меньшей мере, для трех или более вершин, и область, окруженная этой информацией о координатах, является областью для области установки.

[0057] Блок 401 хранения данных может получать эти части информации через операцию ввода, выполняемую пользователем, или может получать их на основе информации о состоянии, предоставленной от устройств 100–X для захвата изображений. Отметим, что блок 401 хранения данных не должен быть расположен в устройстве 400 для отображения информации, но может быть расположен во внешнем устройстве для хранения. Блок 401 хранения данных, который хранит информацию, относящуюся к устройству 100–X для захвата изображения, может быть расположен индивидуально в каждом устройстве 100–X для захвата изображения.

[0058] Блок 402 считывания данных считывает различные данные из блока 401 хранения данных и выводит данные в блок 403 формирования UI (S1101). Блок 403 формирования UI формирует UI–изображение, которое является информацией, указывающей состояние системы или устройства 100–X для захвата изображения, на основе данных, выведенных из блока 402 считывания данных, и информации о состоянии, выведенной из блока 405 получения состояния (S1102). Отметим, что информация о состоянии и примеры изображений UI будут описаны позже. Блок 403 формирования UI выводит сформированное изображение UI в качестве изображения для отображения в блок 404 отображения.

[0059] Блок 404 отображения включает в себя буфер кадров и панель отображения. Блок 404 отображения сохраняет (перезаписывает) изображение для отображения, выведенное из блока 403 формирования UI, в буфере кадров. Блок 404 отображения считывает изображение для отображения, сохраненное в буфере кадров, с предварительно определенной частотой обновления и отображает считанное изображение на панели отображения (S1103). Панель отображения является, например, жидкокристаллической панелью или органической EL–панелью.

[0060] Блок 405 получения состояния получает информацию о состоянии каждого устройства 100–X для захвата изображения и информацию о состоянии устройства 200 для формирования изображения и выводит информацию о состоянии в блок 403 формирования UI. Когда изменение произошло в информации о состоянии, блок 403 формирования UI обновляет сформированное изображение UI (S1104, S1105).

[0061] Блок 406 управления выдает управляющую инструкцию различным блокам устройства 400 для отображения информации на основе операционной информации, предоставленной через блок 407 пользовательского ввода. Например, когда блок 406 управления принимает операционную информацию, указывающую инструкцию переключения типа изображения для отображения от блока 407 пользовательского ввода, блок 406 управления преобразует операционную информацию в соответствующий тип изображения для отображения и передает его блоку 403 формирования UI. Пример конкретного содержимого изображения для отображения будет описан позже.

[0062] Блок 407 пользовательского ввода принимает операционную информацию, введенную из контроллера (не показан), и выводит операционную информацию в блок 406 управления. Контроллер является, например, по меньшей мере, одним из клавиатуры, мыши и сенсорной панели. Блок 408 вывода управляющего сигнала выводит управляющий сигнал, предоставленный от блока 406 управления, наружу. Адресатом вывода является, например, устройство 100–X для захвата изображения. Управляющий сигнал является, например, сигналом для настройки параметров формирования изображения с точки зрения масштаба, фокуса, ириса, ISO, скорости затвора, переключения ND–фильтра и т.п., устройства 100–X для захвата изображения.

[0063] (Описание отображения компоновки стадиона)

Фиг. 15 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства 400 для отображения информации согласно настоящему варианту осуществления. На фиг. 15, информация, описанная ниже, отображается на информации (1201), указывающей стадион 210.

– Область установки, где устройство 100–X для захвата изображения установлено (например, область, обозначенная как 1202)

– Устройство 100–X для захвата изображения и позиция его установки (например, круги, обозначенные как 1203)

– Соотношение соединения и состояние соединения между устройствами 100–X для захвата изображения (например, линия, обозначенная как 1204)

– Целевая область формирования изображения (например, заштрихованная круглая область, обозначенная как 1205)

– Центральная точка целевой области формирования изображения (например, шестиугольник, обозначенный как 1206)

– Целевая область формирования изображения, которая должна быть захвачена посредством устройства 100–X для захвата изображения (например, пунктирная линия, обозначенная как 1207)

[0064] На фиг. 15 устройство 400 для отображения информации отображает состояние соединения между устройством 200 для формирования изображения или устройством 400 для отображения информации и устройством 100–X для захвата изображения. Отметим, что в зависимости от ситуации, устройство 400 для отображения информации, устройство 200 для формирования изображения и/или т.п. могут быть установлены в фургоне внестудийного вещания или т.п., расположенном снаружи стадиона, и, таким образом, на фиг. 15, устройство 400 для отображения информации, устройство 200 для формирования изображения и/или т.п. описываются как фургон внестудийного вещания.

[0065] Устройство 400 для отображения информации отображает информацию способом, который показан на фиг. 15, и, таким образом, пользователь может улавливать, с первого взгляда, отображаемую информацию, связанную с системой захвата изображения, включающей в себя множество устройств для захвата изображения. Кроме того, устройство 400 для отображения информации является приспособленным для отображения того, где соответствующие устройства для захвата изображений располагаются, и как они соединяются друг с другом. Кроме того, например, когда ошибка связи возникает в линии 1204 канала связи, устройство 400 для отображения информации скрывает эту линию 1204. Кроме того, например, устройство 400 для отображения информации отображает информацию так, что круг 1203, указывающий устройство 100–X для захвата изображения, приспособленное для захвата изображения, отличается от круга 1203, указывающего устройство 100–X для захвата изображения, которое находится в состоянии отказа или в операции регулировки, и, таким образом, которое не является приспособленным для захвата изображения. Устройство 400 для отображения информации может скрывать круг 1203, соответствующий устройству 100–X для захвата изображения, которое находится в состоянии, в котором оно не является приспособленным для захвата изображения. Устройство 400 для отображения информации может отображать ошибку, когда данные, сохраненные в блоке 401 хранения данных, не согласуются с данными, указанными посредством информации о состоянии, полученной от устройства 100–X для захвата изображения. Например, когда отношение соединения между устройствами 100 для захвата изображения, сохраненными в блоке 401 хранения данных, отличаются от фактического отношения соединения между устройствами 100–X для захвата изображения, указанными посредством информации о состоянии, отображается предупреждение. Это делает возможным для пользователя легко идентифицировать устройство для захвата изображения, имеющего отказ, и легко улавливать, где оно расположено. Устройство 400 для отображения информации отображает информацию, указывающую целевую область формирования изображения каждого из множества устройств для захвата изображений, и, таким образом, является возможным для пользователя улавливать позицию виртуальной точки обзора, которая имеет проблему, когда устройство для захвата изображения имеет поломку. Устройство 400 для отображения информации отображает информацию, указывающую целевую область формирования изображения каждого из множества устройств для захвата изображений, и, таким образом, является возможным для пользователя определять, может или нет система захвата изображений захватывать изображения, из которых необходимо формировать корректное изображение виртуальной точки обзора.

[0066] Отметим, что устройство 400 для отображения информации не должно отображать всю информацию, показанную в качестве примера на фиг. 15, но может отображать только часть информации. Т.е., устройство 400 для отображения информации может отображать, по меньшей мере, один из множества типов информации, включающей в себя информацию о позициях установки устройств 100–X для захвата изображений, информацию о соединении связи между устройствами 100–X для захвата изображений и информацию о целевых областях формирования изображений устройств 100–X для захвата изображений. Например, посредством отображения информации, указывающей позиции установки устройств 100–X для захвата изображений, устройство 400 для отображения информации системы 100 захвата изображений может способствовать пользователю легко улавливать, в какой области и как много устройств для захвата изображений системы 100 захвата изображений располагаются. Кроме того, устройство 400 для отображения информации может предоставлять возможность пользователю легко улавливать конфигурацию сети посредством отображения информации, относящейся к соединению связи между устройствами для захвата изображений. Посредством отображения информации, относящейся к соединению связи между устройствами 100–X для захвата изображений, становится возможным для пользователя, когда возникает отказ сети, легко идентифицировать устройство 100–X для захвата изображения, на которое повлиял отказ, и немедленно предпринимать действие, такое как ремонт. Кроме того, устройство 400 для отображения информации может предоставлять возможность пользователю легко улавливать область формирования изображения, на которую нацелено каждое из множества устройств для захвата изображений системы 100 захвата изображений, посредством отображения информации о целевых областях формирования изображений для устройств 100–X для захвата изображений. Отображение информации о целевых областях формирования изображений устройств 100–X для захвата изображений делает возможным для пользователя легко определять, хорошо ли выполняется формирование изображения с множеством точек обзора с различных углов, необходимого для формирования изображения виртуальной точки обзора. Фиг. 16 иллюстрирует последовательность обработки, выполняемую посредством блока 403 формирования UI устройства 400 для отображения информации, чтобы формировать изображение для отображения на фиг. 15. Фиг. 17–22 иллюстрируют конкретные изображения для отображения, изображенные посредством каждого процесса в последовательности операций. Отметим, что порядок обработки не ограничивается примером, показанным на фиг. 17–22. Процесс, показанный на фиг. 16 и процессы отображения, описанные позже, реализуются посредством CPU 701 на фиг. 7 посредством считывания различных программ, сохраненных в ROM 702, и выполнения их для управления различными элементами. Пример конфигурации каждого элемента описывается подробно ниже. Отметим, что, по меньшей мере, часть этапов блок–схемы последовательности операций на фиг. 16 или процессов отображения, описанных позже, могут быть выполнены посредством специализированных аппаратных средств. Специализированные аппаратные средства могут быть, например, ASIC или FPGA.

[0067] Блок 403 формирования UI изображает данные компоновки стадиона 210, выводимые из блока 402 считывания данных (S1401, Фиг. 17). Блок 403 формирования UI изображает данные компоновки стадиона 210, выводимые из устройства 100–X для захвата изображения (S1402, Фиг. 18). В настоящем примере существуют четыре области установки (R1, R2, R3 и R4). Эти области основываются на информации о координатах, показанной на фиг. 14. После этого, блок 403 формирования UI размещает устройства 100–X для захвата изображений в соответствующих принадлежащих областях установки (S1403, Фиг. 19). Они основываются на области установки и информации о координатах установки, показанных на фиг. 12. После этого, блок 403 формирования UI изображает соотношение соединения между устройствами 100–X для захвата изображений (S1404, Фиг. 20). В этом примере, существуют две группы соединений (L1, L2). Они основываются на информации о группе соединений и информации об адресате соединения, показанной на фиг. 12. Блок 403 формирования UI может динамически формировать изображение для отображения, указывающее сетевое соединение системы 100 захвата изображений на основе информации о состоянии, полученной от системы 100 захвата изображений. Блок 403 формирования UI может отображать ошибку, когда сформированное сетевое соединение системы 100 захвата изображений отличается от правильной конфигурации сети, сохраненной заранее. После этого, блок 403 формирования UI рисует области, которые должны быть изображены посредством соответствующих устройств 100–X для захвата изображений (S1405, Фиг. 21). В настоящем примере существуют две целевые области формирования изображения. Каждая из них имеет центральную точку (1206) области формирования изображения и эффективную область (1205) области формирования изображения. Эффективная область указывает область, подходящую для формирования изображения виртуальной точки обзора. Они основываются на информации, показанной на фиг. 13. Отметим, что, как описано позже, изображения, показанные на фиг. 17–22, изображаются на различных слоях. После этого, блок 403 формирования UI соединяет их с помощью линии, функционирующей в качестве информации, указывающей ассоциацию между каждым устройством 100–X для захвата изображения и целевой областью формирования изображения (S1406, Фиг. 22). В случае, когда существует большое число устройств 100–X для захвата изображений в одной и той же области, тогда, как показано на фиг. 23A, существует вероятность того, что линия (1207–2) между устройством 100–X для захвата изображения (1203–2) и целевой областью формирования изображения пересекается с другим устройством 100–X для захвата изображения (1203–1). Блок 403 формирования UI проверяет, происходит ли такое пересечение (S1407). Когда пересечение обнаруживается, блок 403 формирования UI повторно размещает позицию изображения устройства 100–X для захвата изображения, имеющего пересечение с позицией в той же самой области, так что пересечение не возникает (1408). Т.е., устройство 400 для отображения информации управляет отображением, так что пересечение не возникает между линиями, соединяющими информацию, указывающую устройства 100–X для захвата изображений, и центральной точкой целевой области формирования изображения. Это делает возможным для пользователя легко узнавать целевую область формирования изображения каждого устройства 100–X для захвата изображения. Однако, позиция устройства 100–X для захвата изображения может не быть перемещена.

[0068] (Слои отображения и переключение отображения посредством пользовательского действия)

Когда блок 403 формирования UI графически представляет изображение для отображения согласно последовательности процесса, показанной на фиг. 16, изображение для отображения делится на слои на основе информации на фиг. 12–14. Отметим, что слои являются множеством областей хранения, имеющими такой же размер, что и буфер кадров, включенный в блок 403 формирования UI, а более конкретно, слои формируются в части RAM 703 на фиг. 7. Блок 403 формирования UI формирует изображение для отображения, показанное на фиг. 15, накладывая множество слоев графического представления.

[0069] В частности, последующее графически представляется на соответствующих слоях графического представления.

– Стадион 210 (S1401, иллюстрированный на фиг. 17)

– Каждая область (S1402, иллюстрированная на фиг. 18)

– Каждое устройство 100–X для захвата изображения (S1403, иллюстрированное на фиг. 19)

– Каждая область соединения (S1404, иллюстрированная на фиг. 20)

– Каждая целевая область формирования изображения (S1405, иллюстрированная на фиг. 21)

– Линия, соединяющая между собой устройства 100–X для захвата изображений и целевые области формирования изображения (S1406, иллюстрированная на фиг. 22)

[0070] Как описано выше, существуют четыре области установки устройств для захвата изображений согласно настоящему варианту осуществления, т.е., R1, R2, R3 и R4. Следовательно, на этапе S1402, используются четыре слоя. Существуют две группы L1 и L2 соединений. Следовательно, на этапе S1403, используются два слоя. Фиг. 24 показывает пример изображения обработки графического представления слоя, выполняемого посредством блока 403 формирования UI. Стадион 210, соответствующий 1201 на фиг. 17, графически представляется на самом низшем слое, а слои соответствующих областей накладываются на него. Соединения между соответствующими устройствами 100–X для захвата изображений и соответствующими минимальными областями формирования изображения рисуются на слое и накладываются поверх. Порядок наложения слоев может быть изменен надлежащим образом. Отметим, что не всегда является необходимым накладывать множество слоев. Например, изображение для отображения, такое как изображение, показанное на фиг. 15, может быть сформировано посредством добавления содержимого, показанного на фиг. 18–22, к изображению, показанному на фиг. 17. Однако, изображение множества слоев отдельно делает возможным легко переключать изображение для отображения. Дополнительное подробное описание предоставляется ниже.

[0071] Фиг. 25 иллюстрирует последовательность обработки для переключения изображения для отображения, изображенное на фиг. 15, согласно операционной информации, введенной через блок 407 пользовательского ввода. Когда операционная информация вводится через контроллер, такой как клавиатура, блок 407 пользовательского ввода выводит информацию в блок 406 управления (S2501). Когда блок 406 управления принимает операционную информацию, блок 406 управления определяет содержимое, которое должно быть отображено или не отображено на основе операционной информации, и выводит инструкцию переключения отображения, указывающую определение о содержимом, в блок 403 формирования UI (S2502). Блок 406 управления сохраняет заранее содержимое, которое должно быть отображено или не отображено для каждой части операционной информации.

[0072] Например, когда клавиша "A" нажимается на клавиатуре, операционная информация имеет содержимое, указывающее, что камеры, принадлежащие группе L1 соединений, должны быть отображены. Когда блок 403 формирования UI принимает инструкцию переключения отображения, блок 403 формирования UI добавляет или удаляет соответствующий слой изображения и накладывает оставшиеся слои изображения. Блок 403 формирования UI выводит результат в блок 404 отображения (S2503).

[0073] Фиг. 26 иллюстрирует пример изображения UI, полученного в результате обработки, показанной на фиг. 25. Оно является результатом выполнения переключения отображения, так, чтобы отображать только устройства 100–X для захвата изображений, принадлежащие группе L1 соединений. Процесс, показанный на фиг. 25, может управлять устройством 400 для отображения информации, чтобы отображать информацию только об устройствах 100–X для захвата изображений, установленных в области R1. Процесс на фиг. 25 может управлять устройством 400 для отображения информации, чтобы отображать информацию только о произвольном устройстве 100–X для захвата изображения. Процесс на фиг. 25 может управлять устройством 400 для отображения информации, чтобы отображать информацию только об устройствах 100–X для захвата изображений, в которых задана общая целевая область формирования изображения.

[0074] В примерах, описанных выше, предполагается в качестве примера, что пользователь выбирает слои, которые должны быть отображены. Однако, настоящее изобретение не ограничивается этим, и устройство 400 для отображения информации может автоматически выбирать слои, которые должны быть отображены. Например, когда устройство 400 для отображения информации принимает информацию, указывающую, что, по меньшей мере, одно из устройств в системе находится в состоянии, в котором проблема может возникать в создании изображения виртуальной точки обзора, устройство 400 для отображения информации может выводить всплывающее предупреждение. В этом случае, также как вывод всплывающего предупреждения, устройство 400 для отображения информации может автоматически выбирать и отображать слой, подходящий для отображения состояния, в котором устройство имеет проблему, вынуждающую быть трудным создание изображения виртуальной точки обзора. Это делает возможным для пользователя понимание того, что существует вероятность того, что ухудшение качества или другие проблемы могут возникать в изображении виртуальной точки обзора, и предпринимать действие.

[0075] Как описано выше, устройство 400 для отображения информации надлежащим образом объединяет или удаляет слои в отображении состояния системы захвата изображений. Следовательно, даже когда система захвата изображений имеет множество устройств для захвата изображений, устройство 400 для отображения информации является приспособленным для отображения только состояния желаемой группы устройств для захвата изображений, что делает возможным обеспечения лучшей видимости. Кроме того, также как представление изображения на послойной основе, блок 403 формирования UI является приспособленным для изменения цвета фона каждого слоя. Например, когда устройство 400 для отображения информации располагается в фургоне внестудийного вещания, в котором освещение является низким, цвет фона может быть основан на черном цвете, чтобы улучшать видимость. В случае, когда устройство 400 для отображения информации располагается во внешнем окружении, где освещенность является высокой, фон на основе белого может быть использован, чтобы обеспечивать хорошую видимость. Хотя в примерах, описанных выше, предполагается в качестве примера, что слой, который должен быть отображен, выбирается, вся или часть информации, показанной на фиг. 15, может устойчиво отображаться без выполнения выбора.

[0076] (Описание состояний отображения устройств 100–X для захвата изображений)

Фиг. 27 показывает пример состояния устройства 100–X для захвата изображения, отображенного в изображении для отображения, показанном на фиг. 15. Когда блок 405 получения состояния устройства 400 для отображения информации, получающий информацию о состоянии по устройству 100–X для захвата изображения от блока 104 хранения информации о состоянии устройства 100–X для захвата изображения, блок 405 получения состояния выводит информацию о состоянии в блок 403 формирования UI. Блок 403 формирования UI обновляет отображение устройства 100–X для захвата изображения в изображении для отображения на фиг. 15 на основе информации о состоянии. Более конкретно, в примере, показанном на фиг. 27, часть устройств 100–X для захвата изображений в некоторой группе соединений (1204) отображается. Например, состояния устройств 100–X для захвата изображений, которые могут быть отображены, включают в себя следующее:

– Состояние, в котором устройства 100–X для захвата изображений соединяются с возможностью обмена данными с устройством 400 для отображения информации или другим устройством 100–X для захвата изображения (2401 на фиг. 27A)

– Состояние, в котором устройства 100–X для захвата изображений не соединяются с возможностью обмена данными с устройством 400 для отображения информации или другим устройством 100–X для захвата изображения (2402 на фиг. 27A)

[0077] В дополнение к состояниям, показанным на фиг. 27A, устройство 400 для отображения информации также отображает состояние самого устройства 100–X для захвата изображения.

– Устройство 100–X для захвата изображения находится в состоянии ошибки (2403 на фиг. 27B)

– Устройство 100–X для захвата изображения находится в состоянии предупреждения (2404 на фиг. 27B)

– Устройство 100–X для захвата изображения находится в обойденном состоянии (2405 на фиг. 27B)

[0078] Состояние ошибки является состоянием, в котором ненормальность возникает в температуре внутри устройства 100–X для захвата изображения или оптической линзе. Состояние ошибки может быть состоянием, в котором устройство 100–X для захвата изображения может не выполнять формирование изображения, или проблема может возникать в формировании изображения. Состояние предупреждения является состоянием, в котором состояние ошибки вероятно должно возникнуть, хотя не существует проблемы в работе, но увеличение произошло в температуре на конкретную величину, или отклонение произошло в синхронизации с внешним устройством синхронизации (не показано) на конкретную величину. Обойденное состояние является состоянием, в котором устройство 100–X для захвата изображения не используется, а только его состояние соединения поддерживается. Обойденное состояние может быть состоянием, в котором устройству 100–X для захвата изображения не предоставляется возможность выполнять формирование изображения или обработку изображения, а только выполняет передачу данных.

[0079] В дополнение к состояниям, показанным на фиг. 27A и 27B, устройство 400 для отображения информации также отображает состояния конфигурации устройства 100–X для захвата изображения.

– Объектив с переменным фокусным расстоянием присоединяется к устройству 100–X для захвата изображения (2406 на фиг. 27C)

– Микрофон для приема звука присоединяется к устройству 100–X для захвата изображения (2407 на фиг. 27C)

– Платформа камеры присоединяется к устройству 100–X для захвата изображения (2408 на фиг. 27C)

[0080] Кроме того, в дополнение к состояниям, показанным на фиг. 27A, 27B и 27C, устройство 400 для отображения информации также отображает состояния вывода устройств 100–X для захвата изображений.

– "Данные изображения переднего плана" и "данные изображения заднего плана", захваченные посредством устройства 100–X для захвата изображения, выводятся в устройство 200 для формирования изображения и устройство 400 для отображения информации с предварительно определенной частотой кадров через устройство 500 для распространения (2409 на фиг. 27D).

[0081] В случае, когда существуют множество адресатов вывода, которым устройства 100–X для захвата изображения выводят данные, и/или существует множество частот вывода кадров, устройство 400 для отображения информации может отображать информацию, указывающую их. Устройство 400 для отображения информации может отображать информацию, связанную с качеством изображения, выводимого посредством устройства 100–X для захвата изображения (такую как размер данных, размер изображения, формат файла и т.д.).

[0082] В дополнение к состояниям, показанным на фиг. 27A, 27B, 27C и 27D, устройство 400 для отображения информации также отображает механические состояния устройств 100–X для захвата изображений.

– Объектив с переменным фокусным расстоянием устройства 100–X для захвата изображения находится в работе (2410 на фиг. 27E)

[0083] Состояния также включают в себя работу платформы камеры и операцию автофокусировки.

[0084] Примеры отображаемых состояний устройства 100–X для захвата изображения были описаны выше. Однако, отображаемые состояния не ограничиваются этими примерами. Например, состояние синхронизации между каждым устройством 100–X для захвата изображения и устройством для синхронизации могут быть отображены. В дополнение к информации о состоянии, описанной выше, содержимое настройки, выполненной в каждом устройстве для захвата изображения, состояние завершения операции и/или т.п. может также быть отображено.

[0085] В примерах, описанных выше, состояния устройств 100–X для захвата изображений указываются значками, такими как 2401–2410, показанными на фиг. 27. Однако, состояние каждого устройства 100–X для захвата изображения может быть отображено с помощью сообщения. Из различных частей информации, указывающей состояние каждого устройства 100–X для захвата изображения, ее элементы являются выбираемыми. Кроме того, может быть выбираемым то, отображать ли состояние каждого устройства 100–X для захвата изображения. Устройство 400 для отображения информации может отображать информацию, указывающую состояние конкретного устройства 100–X для захвата изображения, соответствующего позиции курсора, которым управляет пользователь, чтобы выдавать инструкцию. Устройство 400 для отображения информации может отображать информацию, указывающую состояние конкретного устройства 100–X для захвата изображения, соответствующего операции инструкции, выполненной пользователем, на сенсорной панели. Устройство 400 для отображения информации может отображать параметр формирования изображения, заданный в устройстве 100–X для захвата изображения, в качестве информации, указывающей состояние устройства 100–X для захвата изображения. Устройство 400 для отображения информации может отдельно отображать предупреждение в случае, когда устройство 100–X для захвата изображения находится в состоянии, в котором трудно формировать изображение виртуальной точки обзора, такое как состояние ошибки, состояние предупреждения, состояние невозможного обмена данными или состояние, в котором данные могут не быть выведены. В случае, когда устройство 100–X для захвата изображения находится в состоянии, в котором существует проблема с созданием изображения виртуальной точки обзора, устройство 400 для отображения информации может отображать предупреждение с помощью изображения, цвета или сообщения. В случае, когда некоторая часть, которая не ограничивается устройствами 100–X для захвата изображения, системы имеет проблему, которая может вызывать трудность формирования изображения виртуальной точки обзора, устройство 400 для отображения информации может отображать предупреждающее сообщение, такое как "Система находится в состоянии, которое может вызывать проблему с изображением виртуальной точки обзора. Проверьте настройки как можно скорее и исправьте проблему.", тем самым, предоставляя предупреждение и приглашая исправить проблему.

[0086] Согласно настоящему варианту осуществления, устройство 400 для отображения информации отображает информацию, указывающую состояния устройств 100–X для захвата изображений, которая отображается, как показано на фиг. 27, что предоставляет возможность пользователю улавливать информацию, связанную с системой захвата изображений, включающей себя множество устройств для захвата изображений. Кроме того, устройство 400 для отображения информации предоставляет возможность пользователю легко улавливать, какое устройство для захвата изображения, в каком состоянии находится. Кроме того, например, устройство 400 для отображения информации идентифицируемым образом отображает устройство 100–X для захвата изображения, в котором ошибка возникает в формировании изображения, и, таким образом, пользователь может понимать устройство 100–X для захвата изображения, в котором возникает ошибка.

[0087] (Описание списочного вида для обзора групп)

Фиг. 28 иллюстрирует другой пример, в котором состояния устройств 100–X для захвата изображений, указанные в изображении для отображения на фиг. 15, показаны в форме списка. Более конкретно, Фиг. 28 показывает список, указывающий обзор состояний одной или более групп устройств 100–X для захвата изображений, которые настраиваются для захвата изображений конкретных целевых областей формирования изображения (1205 и 1206) (соединенных посредством линий). Далее в данном документе, эта группа называется группой целевой области формирования изображения. Списочный вид, показанный на фиг. 28, называется списочным видом для обзора состояния группы.

[0088] Например, содержимое списка для обзора группы для группы целевой области формирования изображения включает в себя следующее:

– Состояние соединения (соединено/не соединено) между устройствами для захвата изображений в группе целевой области формирования изображения

– Состояние ошибки (произошло/не произошло) каждого устройства для захвата изображения в группе целевой области формирования изображения

– Состояние предупреждения (произошло/не произошло) каждого устройства для захвата изображения в группе целевой области формирования изображения

– Состояние обхода (обойдено/не обойдено) каждого устройства для захвата изображения в группе целевой области формирования изображения

– Конфигурация каждого устройства для захвата изображения в группе целевой области формирования изображения (с точки зрения использования платформы камеры, микрофона и т.д.)

– Состояние вывода (выводит/не выводит) каждого устройства для захвата изображения в группе целевой области формирования изображения

– Состояние механической работы (работает/не работает) каждого устройства для захвата изображения в группе целевой области формирования изображения

[0089] Они являются таким же содержимым, что и содержимое, показанное в примере на фиг. 27. В списочном виде, показанном на фиг. 28, следующее также отображается.

– Значение ISO каждого из устройств для захвата изображений в группе целевой области формирования изображения

– Значение ириса каждого из устройств для захвата изображений в группе целевой области формирования изображения

– Значение скорости затвора каждого из устройств для захвата изображений в группе целевой области формирования изображения

– Значение фильтра ND (нейтральной плотности) каждого из устройств для захвата изображений в группе целевой области формирования изображения

[0090] Фиг 29 является блок–схемой последовательности операций процесса отображения списка для обзора состояния группы, показанного на фиг. 28, посредством блока 405 получения состояния и блока 403 формирования UI устройства 400 для отображения информации. Процесс этой блок–схемы последовательности операций начинается, когда предварительно определенная операция пользователя принимается. Блок 405 получения состояния получает информацию о состоянии, связанную с устройствами 100–X для захвата изображения, от блока 104 хранения информации о состоянии для всех устройств 100–X для захвата изображений и выводит результат в блок 403 формирования UI (S2901, S2902). Блок 403 формирования UI идентифицирует устройства 100–X для захвата изображений, принадлежащие группе целевой области формирования изображения, которая должна быть отображена в форме списка (S2903), и сравнивает информацию о состоянии друг с другом (S2904). В случае, когда информация о состоянии является идентичной для всех устройств 100–X для захвата изображений, информация о состоянии отображается (S2905). Если существует различие в информации о состоянии среди одного или более устройств 100–X для захвата изображений, предупреждение отображается (S2906). В примерах, показанных на фиг. 28, отображаемые предупреждения включают в себя состояние ошибки группы V2 целевой области формирования изображения и значение ириса для группы V1 целевой области формирования изображения. Они указывают, что ошибка произошла в одном или более устройствах 100–X для захвата изображений, или что значение ириса отличается от значения для других устройств 100–X для захвата изображений. Хотя в примере, показанном на фиг. 28, предупреждения указываются с помощью меток звездочек, предупреждения могут быть указаны посредством другой информации. Например, предупреждение может быть предоставлено посредством отображения сообщения, такого как "Существует различие в состоянии экспозиции между устройствами для захвата изображений в группе целевой области формирования изображения, и, таким образом, проблема может возникать в изображении виртуальной точки обзора". Предупреждение может быть предоставлено посредством отображения цвета или изображения, указывающего предупреждение.

[0091] Как описано выше, согласно настоящему варианту осуществления, список для обзора состояния целевой группы формирования изображения, связанный с группой целевой области формирования изображения, отображается. Таким образом, является возможным побуждать пользователя легко распознавать вероятность того, что изображение виртуальной точки обзора может иметь проблему вследствие различия в состоянии экспозиции между устройствами для захвата изображений, используемыми для захвата множества изображений для использования в формировании изображения виртуальной точки обзора, и побуждать пользователя предпринимать действие.

[0092] (Описание списочного вида подробностей группы)

Фиг. 30 показывает пример, в котором состояния соответствующих устройств 100–X для захвата изображений, принадлежащих к группе V2 целевой области формирования изображения, показанной на фиг. 28, отображаются в форме списка (этот списочный вид называется списочным видом подробностей состояния группы). В отличие от списочного вида для обзора состояния группы, списочный вид подробностей состояния группы указывает состояние каждого устройства 100–X для захвата изображения, принадлежащего к группе. Следовательно, когда предупреждение обнаруживается в списочном виде для обзора состояния группы, конкретное местоположение для предупреждения может быть идентифицировано посредством переключения вида на списочный вид подробностей состояния группы. Фиг. 30 указывает, что устройство 100–2 для захвата изображения имеет погрешность температуры, и, таким образом, предупреждение отображается на фиг. 28. Устройство 400 для отображения информации не должно отображать всю информацию, описанную на фиг. 30, но может отображать некоторую часть информацию.

[0093] Фиг. 31 иллюстрирует операцию, посредством блока 403 формирования UI, чтобы переключать вид между списочным видом для обзора состояния группы и списочным видом для подробностей состояния группы. Блок 403 формирования UI переключает вид между списочным видом для обзора состояния группы и списочным видом для подробностей состояния группы на основе операционной информации (операция переключения вида), введенной через блок 407 пользовательского ввода. Например, когда устройство 400 для отображения информации отображает список для обзора состояния группы целевой области формирования изображения, если действие щелчка или инструкция в позиции, соответствующей "V2", которая является идентификационной информацией группы целевой области формирования изображения, принимается от пользователя, устройство 400 для отображения информации переключает вид на списочный вид подробностей состояния группы. С другой стороны, когда устройство 400 для отображения информации отображает список подробностей состояния группы, если действие щелчка или инструкция в позиции, соответствующей значку сообщения "возврат" (не показан), принимается, устройство 400 для отображения информации переключает вид на списочный вид для обзора состояния целевой группы формирования изображения.

[0094] Выше был описан пример, в котором состояния устройств 100–X для захвата изображений отображаются в виде списка группы целевой области формирования изображения. Отметим, что отображаемое содержимое не ограничивается содержимым, описанным в примере. Состояние синхронизации между каждым устройством 100–X для захвата изображения и устройством синхронизации может быть отображено. В дополнение к информации о состоянии, описанной выше, содержимое настройки, выполненной в каждом устройстве для захвата изображения, состояние завершения операции и/или т.п. может также быть отображено. Группа не ограничивается группой целевой области формирования изображения. Список может быть отображен для каждой группы соединения, или каждая область установки может быть обработана как группа, и список может быть отображен для каждой группы области установки.

[0095] (Описание операционного UI)

Фиг. 32 и 33 являются схемами, каждая из которых показывает пример операционного UI для управления устройством 100–X для захвата изображения, отображенным посредством устройства 400 для отображения информации согласно настоящему варианту осуществления. Фиг. 32 показывает UI для приема инструкции для управления отдельным устройством 100–X для захвата изображения, отображенным посредством устройства 400 для отображения информации. Устройство 400 для отображения информации передает, устройствам 100–X для захвата изображений, информацию для настройки параметров формирования изображения устройств 100–X для захвата изображения и управления устройствами 100–X для захвата изображений в соответствии с действием пользователя.

С помощью операционного UI является возможным задавать, по меньшей мере, масштабирование устройства 100–X для захвата изображения, ISO для определения условия экспозиции, ирис, скорость затвора и ND–фильтр.

Кроме того, когда устройство 100–X для захвата изображения имеет платформу камеры, является возможным задавать PAN (панорама) и TILT (наклон).

[0096] Фиг. 33 является изображением управления для совместного управления всеми устройствами 100–X для захвата изображений, принадлежащих группе целевой области формирования изображения. По изображению управления возможно задавать, по меньшей мере, ISO, ирис, скорость затвора и ND–фильтр, которые определяют условие экспозиции. Как описано выше, устройство 400 для отображения информации может принимать настройки и действия множества устройств для захвата изображений, принадлежащих группе целевой области формирования изображения, от пользователя и отражать их на устройствах для захвата изображений.

[0097] Фиг. 39 – это блок–схема последовательности операций, показывающая процесс, чтобы побуждать устройство 400 для отображения информации отображать операционный UI и отражать настройки, принятые от пользователя, на устройстве 100–X для захвата изображения. Устройство 400 для отображения информации определяет, было ли принято действие пользователя для указания устройства 100–X для захвата изображения, которое должно управляться посредством операционного UI (S4001).

[0098] На этапе S4001 определяется, например, было или нет выполнено действие для отображения операционного UI на круге 1203, когда слой для отображения информации об устройствах 100–X для захвата изображений отображается, как показано на фиг. 15. В этом случае, устройство 100–X для захвата изображения, соответствующее кругу 1203, по которому выполняется действие, определяется в качестве устройства 100–X для захвата изображения, которое должно быть отображено в качестве целевого устройства для операционного UI. Кроме того, определяется, выполняется или нет действие для отображения операционного UI по целевой области 1205 или 1206 формирования изображения, когда слой представления для отображения целевой области формирования изображения отображается, как показано на фиг. 15. В этом случае, устройства 100–X для захвата изображений, принадлежащие группе целевой области формирования изображения, соответствующей целевой области формирования изображения, по которой выполняется действие, определяется в качестве устройств 100–X для захвата изображений, которые должны быть отображены в качестве целевых устройств для операционного UI.

[0099] Кроме того, определяется, выполняется или нет действие для отображения операционного UI по линии 1204, указывающей группу соединения, когда слой представления для отображения группы соединения отображается, как показано на фиг. 15. В этом случае, устройства 100–X для захвата изображений, принадлежащие группе соединений, соответствующей группе соединений, по которой действие выполняется, определяются в качестве устройств 100–X для захвата изображений, которые должны быть отображены в качестве целевых устройств для операционного UI.

[0100] Кроме того, определяется, выполняется или нет действие для отображения операционного UI по группе V1 или V2 целевой области формирования изображения, когда списочный вид для обзора состояния группы отображается, как показано на фиг. 28. В этом случае, устройства 100–X для захвата изображений, принадлежащие группе целевой области формирования изображения, соответствующей целевой группе формирования изображения, по которой выполняется действие, определяются в качестве устройств 100–X для захвата изображений, которые должны быть отображены в качестве целевых устройств для операционного UI.

[0101] Также определяется, было или нет выполнено действие для отображения операционного UI по одному из устройств 100–1 по 100–n для захвата изображений, когда списочный вид подробностей состояния группы отображается, как показано на фиг. 30. В этом случае, устройство 100–X для захвата изображения, по которому действие выполняется, определяется в качестве устройства 100–X для захвата изображения, которое должно быть отображено в качестве целевого устройства для операционного UI.

[0102] Когда действие для указания устройства 100–X для захвата изображения, которое должно управляться посредством операционного UI, принимается, устройство 400 для отображения информации отображает операционный UI, как показано на фиг. 32 или Фиг. 33 (S4002). Устройство 400 для отображения информации определяет, было или нет пользовательское действие для настройки или управления устройством для захвата изображения принято через операционный UI (S4003). Когда пользовательское действие для настройки или управления устройством для захвата изображения принимается через операционный UI, устройство 400 для отображения информации передает инструкцию для отражения настройки или управления на устройстве для захвата изображения (S4004). Когда устройство 400 для отображения информации передает инструкцию на этапе S4004, устройство 400 для отображения информации выполняет определение относительно того, отражена ли инструкция или не принята, на основе информации, принятой от устройства 100–X для захвата изображения, которому инструкция была передана, относительно того, была ли инструкция отражена в устройствах 100–X для захвата изображений (S4005). В случае, когда определяется на этапе S4005, что инструкция была отражена в устройстве 100–X для захвата изображения, устройство 400 для отображения информации обновляет информацию, с тем, чтобы указывать, что инструкция была отражена в устройстве 100–X для захвата изображения, и с тем, чтобы указывать настройку или информацию об операции на устройстве 100–X для захвата изображения, и устройство 400 для отображения информации отображает обновленную информацию (S4006). С другой стороны, в случае, когда определяется на этапе S4005, что инструкция не отражается в устройстве 100–X для захвата изображения, устройство 400 для отображения информации отображает ошибку (S4007).

[0103] В настоящем варианте осуществления, как описано выше, устройство 400 для отображения информации отображает множество устройств 100–X для захвата изображений, соотношение соединения, область установки и целевую область формирования изображения на карте стадиона 210, так что они связываются. Кроме того, состояние каждого устройства 100–X для захвата изображения также отображается вместе. Таким образом, даже если число устройств 100–X для захвата изображений увеличивается, пользователь может улавливать с первого взгляда состояние системы, такое как состояние соединения, состояние установки и диапазон влияния для формирования изображения.

[0104] Кроме того, в настоящем варианте осуществления, является возможным надлежащим образом добавлять или удалять желаемую информацию в или из отображаемой в настоящее время информации, так что, например, только группа соединения или только группа целевой области формирования изображения или т.п. отображается. Таким образом, даже если число устройств 100–X для захвата изображения или число групп соединения увеличивается, предоставляется возможность отображать только конкретную группу.

[0105] Кроме того, в настоящем варианте осуществления, является возможным проверять состояние в единицах измерения групп соединений или групп целевой области формирования изображения. Когда изображение виртуальной точки обзора формируется, если проблема возникает в устройстве 100–X для захвата изображений, принадлежащем группе целевой области формирования изображения, это оказывает значительное влияние на его формирование. Настоящий вариант осуществления предоставляет возможность понимать степень такого влияния на формирование изображения виртуальной точки обзора.

[0106] Кроме того, в настоящем варианте осуществления, параметры формирования изображения, такие как ISO и ирис устройств 100–X для захвата изображений, могут управляться в единицах измерения групп соединений или групп целевой области формирования изображения. Если изменение происходит в условиях внешнего освещения во время формирования изображения, то, во многих случаях, условия экспозиции одинаково задаются в одно и то же условие экспозиции для такой группы целевой области формирования изображения, изображающей одну и ту же целевую область. В этом случае, управление может быть выполнено одинаково в единицах измерения групп целевой области формирования изображения, и, таким образом, является возможным быстро изменять настройки устройств 100–X для захвата изображений, с тем, чтобы добиваться настроек, подходящих для формирования изображения виртуальной точки обзора.

[0107] (Модификации)

Далее, описывается модификация вышеописанного варианта осуществления. В модифицированном примере, захваченное изображение, выводимое из устройства 100–X для захвата изображения, накладывается и отображается на UI. Это делает возможным более легко улавливать состояние устройства 100–X для захвата изображения.

[0108] Фиг. 34 является схемой, показывающей пример функциональной конфигурации устройства 400 для отображения информации согласно модификации. Устройство 400 для отображения информации согласно модификации включает в себя блок 601 хранения данных, блок 602 считывания данных, блок 603 формирования UI, блок 604 отображения, блок 605 получения состояния, блок 606 управления, блок 607 пользовательского ввода, блок 608 вывода управляющего сигнала и блок 610 получения изображения. Они взаимосвязываются через внутреннюю шину 609 и могут передавать и принимать данные взаимно под управлением блока 606 управления. Функциональная конфигурация, показанная на фиг. 34, является такой же, что и функциональная конфигурация, показанная на фиг. 10, за исключением блока 610 получения изображения, и, таким образом, ее описание пропускается. Блок 610 получения изображения получает захваченное изображение, выводимое из каждого устройства 100–X для захвата изображения, и выводит полученное изображение в блок 603 формирования UI.

[0109] Фиг. 35 – это блок–схема последовательности операций, иллюстрирующая пример процесса отображения изображения, выполняемого посредством устройства 400 для отображения информации. Дополнительное описание предоставляется ниже, предполагающее, что устройство 400 для отображения информации отображает информацию, показанную на фиг. 15. Устройство 400 для отображения информации получает операционную информацию для выбора устройства 100–X для захвата изображения. Устройство 400 для отображения информации принимает действие выбора, выполняемое пользователем (человеком, отвечающим за наблюдение) для выбора устройства 100–X для захвата изображения (1203), группы соединений (1204), целевой области формирования изображения (1205, 1206) или области установки (1202) из отображенных на UI. Когда пользователь (человек, отвечающий за наблюдение) выбирает устройство 100–X для захвата изображения с помощью контроллера, такого как клавиатура и мышь, блок 607 пользовательского ввода выводит операционную информацию, указывающую выбор, в блок 606 управления (S3501). Блок 606 управления идентифицирует выбранное устройство 100–X для захвата изображения, или группу, или область на основе операционной информации и изображения для отображения (S3502). Блок 606 управления затем получает изображение, захваченное посредством идентифицированного устройства 100–X для захвата изображения или устройства 100–X для захвата изображения, включенного в группу или область, посредством блока 610 получения изображения и выводит изображение в блок 603 формирования UI (S3503). Блок 603 формирования UI отображает входное изображение, захваченное посредством устройства 100–X для захвата изображения, так, чтобы накладывать его на изображение для отображения (S3504). В случае, когда изображение является движущимся изображением, этапы S3503 и S3504 выполняются циклически (S3505).

[0110] Фиг. 36–38 являются схемами, каждая показывает пример операционного UI для отображения захваченного изображения, отображаемого посредством устройства 400 для отображения информации наложенным образом. Фиг. 36 показывает пример для случая, когда пользователь (человек, отвечающий за наблюдение) выбирает отдельные устройства 100–X для захвата изображения на изображении для отображения. Изображение, захваченное посредством выбранного устройства 100–X для захвата изображения, отображается. Фиг. 37 показывает пример, где выбирается центральная точка целевой области формирования изображения на изображении для отображения. Список изображений всех устройств 100–X для захвата изображений, принадлежащих выбранной целевой области формирования изображения, отображается. Фиг. 38 показывает пример, в котором выбирается группа соединений на изображении для отображения. Список изображений всех устройств 100–X для захвата изображений, принадлежащих выбранной группе соединений, отображается.

[0111] В следующем примере, описанном ниже, направляющее указание для проверки позиции устройства 100–X для захвата изображения, направляющее указание для проверки условия экспозиции и направляющее указание для проверки фокуса дополнительно отображаются, так, чтобы быть наложенными на захваченное изображение, отображаемое посредством устройства 400 для отображения информации, показанного на фиг. 36–38. Фиг. 40 показывает пример, в котором центральный указатель, который является направляющим указанием для проверки позиции устройства 100–X для захвата изображения, отображается на захваченном изображении. Пользователю предоставляется возможность проверять, правильно ли устройство 100–X для захвата изображения установлено, проверяя направляющее указание, показанное на фиг. 40, для проверки позиции устройства 100–X для захвата изображения.

[0112] Фиг. 41 показывает пример, в котором линейка 4101 экспозиции, которая является направляющим указанием для проверки состояния экспозиции устройства 100–X для захвата изображения, отображается на захваченном изображении. Линейка 4101 экспозиции, показанная на фиг. 41, является направляющим указанием, указывающим, действительно ли величина экспозиции, заданная в устройстве 100–X для захвата изображения, больше или меньше надлежащей экспозиции, измеренной посредством датчика экспозиции устройства 100–X для захвата изображения. Линейка 4101 экспозиции является, например, регулируемой линейкой. На линейке 4101 экспозиции нулевой масштаб указывает правильную экспозицию. Область, в которой ползунок сдвигается в положительном направлении, является областью переэкспонирования. Область, в которой ползунок сдвигается в отрицательном направлении, является областью недоэкспонирования. Когда устройство 400 для отображения информации принимает, от пользователя, действие, чтобы изменять позицию ползунка линейки 4101 экспозиции, устройство 400 для отображения информации может передавать информацию для побуждения устройств 100–X для захвата изображения выполнять корректировку экспозиции согласно действию. Пользователю предоставляется возможность проверять, правильно ли настроена величина экспозиции в устройстве 100–X для захвата изображения, посредством проверки захваченного изображения и направляющего указания, показанного на фиг. 41, для проверки условия экспозиции, заданного в устройстве 100–X для захвата изображения.

[0113] Фиг. 42 иллюстрирует пример, в котором указание 4201 состояния фокусировки для проверки состояния фокусировки устройства 100–X для захвата изображения отображается на захваченном изображении. Указание 4201 состояния фокусировки, показанное на фиг. 42, является направляющим указанием для указания позиции внутри фокуса устройства 100–X для захвата изображения и для регулировки фокуса. В указании 4201 состояния фокусировки, показанном на фиг. 42, горизонтальная ось указывает информацию о позиции фокусирующей линзы. Позиция в фокусе устройства 100–X для захвата изображения изменяется, когда фокусирующая линза перемещается. В указании 4201 состояния фокусировки, показанном на фиг. 42, вертикальная ось указывает информацию о частоте захваченного изображения как функцию информации о позиции фокусирующей линзы. Чем более правильной является позиция в фокусе, тем выше частота захваченного изображения. Позиция линзы, в котором захваченное изображение имеет наивысшую частоту, обозначается "пиковым значением". Текущая позиция линзы обозначается "текущим значением". Когда "пиковое значение" и "текущее значение" отклоняются, захваченное изображение очень вероятно должно размываться. Когда устройство 400 для отображения информации принимает операцию, выполняемую по указанию 4201 состояния фокусировки пользователем, чтобы изменять текущее значение, устройство 400 для отображения информации может передавать информацию для побуждения устройства 100–X для захвата изображения изменять позицию фокусирующей линзы согласно действию. Пользователю предоставляется возможность проверять, правильно ли настроена позиция в фокусе в устройстве 100–X для захвата изображения, посредством проверки захваченного изображения и направляющего указания, показанного на фиг. 42, для проверки указания состояния фокусировки устройства 100–X для захвата изображения.

[0114] Фиг. 43 иллюстрирует пример UI, в котором центральный указатель, показанный на фиг. 40, и линейка экспозиции, показанная на фиг. 41, накладываются на список изображений устройств 100–X для захвата изображений, показанных на фиг. 37 или фиг. 38. Устройство 400 для отображения информации может передавать инструкцию корректировки экспозиции соответствующему устройству 100–X для захвата изображения, когда одна из линеек экспозиции задействуется. Как описано выше, посредством отображения списка информации, указывающей состояние устройств 100–X для захвата изображений вместе с захваченными изображениями, пользователь может улавливать позиции и условия экспозиции множества устройств для захвата изображений точно сразу. На фиг. 43, указание состояния фокусировки, показанное на фиг. 42, может быть дополнительно наложено. Отметим, что форма отображения вышеописанных направляющих указаний является просто примером, и направляющие указания могут быть отображены в других формах, таких как символ или числовое значение. В модификации, как описано выше, изображение, захваченное посредством выбранного устройства 100–X для захвата изображения, или изображения, захваченные посредством всех устройств 100–X для захвата изображений, принадлежащих целевой области формирования изображения или группе соединений, отображаются. Таким образом, фактические захваченные изображения, выведенные посредством устройств 100–X для захвата изображений, связанных с областью или группой, могут также быть проверены, и состояние системы может быть точно уловлено.

[0115] Другой пример модификации описывается ниже со ссылкой на фиг. 44. Фиг. 44 – это схема, иллюстрирующая пример изображения для отображения, отображаемого посредством устройства 400 для отображения информации. Отличие от изображения для отображения, описанного выше со ссылкой на фиг. 15, описывается подробно ниже. На фиг. 44, 4401–4404 указывают, что увеличительная линза присоединяется к каждому соответствующему устройству 100–X для захвата изображения. На фиг. 44 область, изображенная посредством устройств 100–X (4401–4404) для захвата изображений с объективом с переменным фокусным расстоянием, присоединенным к ним, и, таким образом, имеющих относительно небольшой угол обзора, обозначается сплошной линией или толстой линией, которая отличается от способа обозначения устройств 100–X для захвата изображений без присоединенного объектива с переменным фокусным расстоянием. Как описано выше, посредством отображения изображения для отображения, включающего в себя информацию об угле обзора устройства 100–X для захвата изображения, как иллюстрировано в качестве примера на фиг. 44, пользователь может легко улавливать различие в угле обзора между множеством устройств 100–X для захвата изображений. Отметим, что информация об угле обзора каждого из множества устройств 100–X для захвата изображения может быть отображена в других формах, таких как символы или числовые значения.

[0116] В вышеописанных вариантах осуществления описание было сфокусировано на случае, когда информация об устройствах 100–X для захвата изображений отображается в качестве примера, но не ограничения. Т.е., устройство 400 для отображения информации согласно настоящему варианту осуществления может также отображать состояние устройства, связанного с системой для формирования изображения виртуальной точки обзора, в дополнение к или вместо устройств 100–X для захвата изображений. Примеры устройств, связанных с системой для формирования изображения виртуальной точки обзора, могут включать в себя сетевые устройства, такие как коммутаторы, маршрутизаторы и/или т.п., устройство 200 для формирования изображения и устройство для синхронизации, и состояния этих устройств могут быть отображены посредством устройства 400 для отображения информации. Т.е., устройство 400 для отображения информации может отображать изображение, указывающее состояние компонента системы для формирования изображения виртуальной точки обзора. В примере, описанном выше, описание фокусируется на случае, когда в качестве примера, но не ограничения, устройство 400 для отображения информации обнаруживает возникновение изменения в информации о состоянии на основе информации о состоянии, предоставленной от устройств 100–X для захвата изображений. Например, когда информация о состоянии не была принята от устройства 100–X для захвата изображений в течение предварительно определенного времени, может быть определено, что изменение в состоянии этого устройства 100–X для захвата изображения произошло.

[0117] Также отметим, что компоненты, описанные в вышеописанных вариантах осуществления, являются просто примерами, и рамки настоящего изобретения не ограничиваются ими. Все сочетания составляющих элементов, описанных выше в вариантах осуществления, необязательно являются необходимыми в качестве средства для решения проблем. Различные модификации и изменения являются возможными в рамках настоящего изобретения, описанных в формуле изобретения. Например, в вышеописанных вариантах осуществления, может быть предоставлена возможность отображать только часть изображения для отображения, описанного выше, заменять часть изображения для отображения другой информацией и/или накладывать дополнительную информацию на изображение для отображения.

[0118] (Другие варианты осуществления)

Настоящее изобретение может также быть реализовано посредством предоставления программы для реализации одной или более функций варианта осуществления системе или устройству через сеть или носитель хранения и считывания и выполнения программы посредством одного или более процессоров в компьютере, расположенном в системе или устройстве. Настоящее изобретение может также быть реализовано посредством схемы (например, ASIC или т.п.), сконфигурированной, чтобы реализовывать одну или более функций. Программа может быть предоставлена посредством компьютерно–читаемого носителя xранения, на котором программа хранится.

[0119] Настоящее изобретение не ограничивается вышеописанными вариантами осуществления, но различные изменения и модификации могут быть выполнены без отступления от духа и рамок настоящего изобретения. Соответственно, последующая формула присоединяется, чтобы раскрывать рамки настоящего изобретения.

[0120] Эта заявка испрашивает преимущество японской патентной заявки № 2017–123318, поданной 23 июня 2017 года, и японской патентной заявки № 2018–022067, поданной 9 февраля 2018 года, которые, таким образом, содержатся по ссылке в данном документе во всей своей полноте.

Изобретение относится к устройству для управления отображением, способу управления отображением и носителю хранения. Техническим результатом является предоставление технологии для предоставления возможности пользователю узнавать состояние составляющего элемента системы, сконфигурированной для формирования изображения виртуальной точки обзора для предотвращения снижения качества изображения виртуальной точки обзора. Результат достигается тем, что устройство управления отображением предназначено для отображения информации, связанной с множеством устройств формирования изображения, которые захватывают изображения для формирования изображений виртуальной точки обзора, упомянутое устройство управления отображением характеризуется содержанием: средства получения для получения информации, связанной с множеством устройств формирования изображения; и средства управления отображением для выполнения управления отображением, чтобы отображать, на блок отображения, информацию, связанную с соединением связи множества устройств формирования изображения, которая предназначена для передачи изображений, захваченных посредством каждого из множества устройств формирования изображений, управление отображением выполняется на основе информации, полученной средством получения. 5 н. и 18 з.п. ф-лы, 51 ил.

1. Устройство для управления отображением, содержащее:

средство формирования, сконфигурированное, чтобы формировать изображение, указывающее на том же экране состояние коммуникационного соединения между множеством устройств для захвата изображений, которые сконфигурированы, чтобы соединяться в соединение в последовательно-приоритетную цепочку, которые сконфигурированы, чтобы получать захваченные изображения посредством захвата изображений, чтобы формировать изображение виртуальной точки обзора, и которые сконфигурированы, чтобы передавать через соединение в последовательно-приоритетную цепочку изображение субъекта, которое должно быть извлечено из захваченных изображений, позиции, в которых множество устройств для захвата изображений установлены, и информацию для идентификации устройства для захвата изображений, направленного на предварительно определенную область; и

средство управления отображением, сконфигурированное, чтобы побуждать блок отображения отображать изображение, сформированное средством формирования.

2. Устройство для управления отображением по п. 1, при этом множество устройств для захвата изображений включает в себя средство получения, сконфигурированное, чтобы получать захваченные изображения посредством захвата изображений, и средство извлечения, сконфигурированное, чтобы извлекать изображение субъекта из захваченных изображений, полученных средством получения.

3. Устройство для управления отображением по п. 1, при этом субъект является движущимся объектом.

4. Устройство для управления отображением по п. 1, при этом субъект включает в себя по меньшей мере одно из человека и мяча.

5. Устройство для управления отображением, содержащее:

средство формирования, сконфигурированное, чтобы формировать изображение, указывающее на том же экране состояние коммуникационного соединения между множеством устройств для захвата изображений, которые сконфигурированы, чтобы соединяться в соединение в последовательно-приоритетную цепочку, которые сконфигурированы, чтобы получать захваченные изображения посредством захвата изображений, чтобы формировать изображение виртуальной точки обзора, и которые сконфигурированы, чтобы передавать захваченные изображения через соединение в последовательно-приоритетную цепочку позиции, в которых устройства для захвата изображений установлены, и информацию для идентификации устройства для захвата изображений, направленного на предварительно определенную область; и

средство управления отображением, сконфигурированное, чтобы побуждать блок отображения отображать изображение, сформированное средством формирования.

6. Устройство для управления отображением по п. 5, при этом средство управления отображением побуждает блок отображения отображать захваченное изображение, полученное посредством по меньшей мере одного из множества устройств для захвата изображений, вместе с изображением, сформированным средством формирования.

7. Устройство для управления отображением по п. 6, при этом средство управления отображением побуждает блок отображения отображать по меньшей мере одно из информации об ориентации по меньшей мере одного из множества устройств для захвата изображений, информации о фокусе и информации об экспозиции, наложенную на захваченное изображение, захваченное посредством по меньшей мере одного из множества устройств для захвата изображений.

8. Устройство для управления отображением по любому пункту из пп. 1-7, при этом изображение, сформированное средством формирования, указывает состояние коммуникационного соединения между множеством устройств для захвата изображений позиции, в которых множество устройств для захвата изображений установлены, и информацию для идентификации устройства для захвата изображения, направленного на предварительно определенную область.

9. Устройство для управления отображением по п. 1, дополнительно содержащее средство управления, сконфигурированное, чтобы управлять отображением/сокрытием по меньшей мере одного из элементов отображения, включающих в себя состояние коммуникационного соединения между множеством устройств для захвата изображений, на основе действия пользователя.

10. Устройство для управления отображением по п. 1,

при этом каждое из множества устройств для захвата изображений направлено на одну из множества областей, которые должны быть изображены, и

при этом изображение, сформированное средством формирования, указывает информацию для идентификации устройства для захвата изображений, направленного на одну из множества областей, которые должны быть изображены, в качестве информации для идентификации устройства для захвата изображений, направленного на предварительно определенную область.

11. Устройство для управления отображением по п. 1, при этом изображение, сформированное средством формирования, указывает направления формирования изображений для множества устройств для захвата изображений как информацию для идентификации устройства для захвата изображений, направленного на предварительно определенную область.

12. Устройство для управления отображением по п. 11, при этом направления формирования изображений указываются посредством линейных сегментов.

13. Устройство для управления отображением по п. 12, при этом средство формирования формирует изображение так, что линейный сегмент, указывающий направление формирования изображения первого устройства для захвата изображений из множества устройств для захвата изображений, и линейный сегмент, указывающий направление формирования изображений второго устройства для захвата изображений, отличного от первого устройства для захвата изображений из множества устройств для захвата изображений, не пересекаются друг с другом.

14. Устройство для управления отображением по п. 1, при этом средство формирования формирует изображение, в котором графические элементы, указывающие состояния множества устройств для захвата изображений, размещаются в позициях, соответствующих позициям, в которых множество устройств для захвата изображений установлены.

15. Устройство для управления отображением по п. 14, при этом графические элементы, указывающие состояние каждого из множества устройств для захвата изображений, указывают по меньшей мере одно из состояния вывода данных каждого из множества устройств для захвата изображений и ошибочного состояния каждого из множества устройств для захвата изображений.

16. Устройство для управления отображением по п. 1, дополнительно содержащее средство передачи, сконфигурированное, чтобы передавать информацию для настройки параметра формирования изображения по меньшей мере одного из множества устройств для захвата изображений по меньшей мере одному из множества устройств для захвата изображений.

17. Устройство для управления отображением по п. 1, при этом изображение, сформированное средством формирования, дополнительно указывает параметр формирования изображения, заданный по меньшей мере в одном из множества устройств для захвата изображений.

18. Устройство для управления отображением по п. 16, при этом параметр формирования изображения является по меньшей мере одним из апертуры, скорости затвора, ISO-чувствительности и увеличения.

19. Устройство для управления отображением по п. 1, дополнительно содержащее средство определения, сконфигурированное, чтобы определять, что по меньшей мере одно из множества устройств для захвата изображений находится в ошибочном состоянии, в котором по меньшей мере одно из множества устройств для захвата изображений является неспособным выводить данные, по меньшей мере одно из множества устройств для захвата изображений не подключено или по меньшей мере одно из множества устройств для захвата изображений является неспособным захватывать изображение,

при этом средство управления отображением выполнено с возможностью побуждать блок отображения отображать предупреждение в соответствии с результатом определения средством определения.

20. Устройство для управления отображением по п. 1, при этом изображение, сформированное средством формирования, дополнительно указывает информацию об угле обзора по меньшей мере одного из множества устройств для захвата изображений.

21. Способ управления отображением, содержащий этапы, на которых:

формируют изображение, указывающее на том же экране состояние коммуникационного соединения между множеством устройств для захвата изображений, которые сконфигурированы, чтобы соединяться в соединение в последовательно-приоритетную цепочку, которые сконфигурированы, чтобы получать захваченные изображения посредством захвата изображений, чтобы формировать изображение виртуальной точки обзора, и которые сконфигурированы, чтобы передавать через соединение в последовательно-приоритетную цепочку изображение субъекта, которое должно быть извлечено из захваченных изображений, позиции, в которых множество устройств для захвата изображений установлены, и информацию для идентификации устройства для захвата изображений, направленного на предварительно определенную область; и

побуждают блок отображения отображать сформированное изображение.

22. Способ управления отображением, содержащий этапы, на которых:

формируют изображение, указывающее на том же экране состояние коммуникационного соединения между множеством устройств для захвата изображений, которые сконфигурированы, чтобы соединяться в соединение в последовательно-приоритетную цепочку, которые сконфигурированы, чтобы получать захваченные изображения посредством захвата изображений, чтобы формировать изображение виртуальной точки обзора, и которые сконфигурированы, чтобы передавать захваченные изображения через соединение в последовательно-приоритетную цепочку, позиции, в которых устройства для захвата изображений установлены, и информацию для идентификации устройства для захвата изображений, направленного на предварительно определенную область; и

побуждают блок отображения отображать сформированное изображение.

23. Компьютерно–читаемый носитель xранения, хранящий программу для побуждения компьютера выполнять способ управления отображением по п. 21 или 22.