УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СИСТЕМА ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И НОСИТЕЛЬ ДАННЫХ Российский патент 2019 года по МПК G06T15/20 H04N13/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к технологии для формирования изображения с виртуальной точки обзора.

ПРЕДПОСЫЛКИ СОЗДАНИЯ

[0002] В последнее время внимание привлекла технология захвата субъекта с множества точек обзора путем установки множества камер в разных позициях и формирования изображения с виртуальной точки обзора или трехмерной модели с использованием множества изображений с точек обзора, полученных путем захвата. Согласно технологии формирования изображения с виртуальной точки обзора из множества изображений с точек обзора, которая, например, описана выше, поскольку сцена ключевого момента в футболе или баскетболе может просматриваться с различных углов, можно обеспечивать пользователю весьма реалистичное восприятие по сравнению с обычным изображением.

[0003] В PTL 1 описано, что качество изображения с виртуальной точки обзора улучшается за счет сокращения блоков визуализации в граничной области объекта на изображении в случае, когда изображение с виртуальной точки обзора подлежит формированию путем объединения изображений, захваченных с множества точек обзора, друг с другом.

БИБЛИОГРАФИЯ

Патентный источник

[0004] PTL 1: выложенная заявка на японский патент № 2013-223008

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Техническая проблема

[0005] Однако, согласно технологии предшествующего уровня техники, понятно, что в ряде случаев изображение с виртуальной точки обзора в соответствии с множеством разных требований в отношении качества изображения не может формироваться. Например, в случае, когда формированию подлежит только изображение с виртуальной точки обзора, имеющее высокое качество изображения, понятно, что увеличивается время обработки, относящееся к формированию, и существует опасность того, что становится трудно удовлетворить желание пользователя, который хотел бы просматривать изображение с виртуальной точки обзора в реальном времени, несмотря на низкое качество изображения. С другой стороны, в случае, когда формированию подлежит только изображение с виртуальной точки обзора, имеющее низкое качество изображения, существует опасность того, что становится трудно удовлетворить желание пользователя, который отдает приоритет высокому качеству изображения с виртуальной точки обзора над свойством реального времени.

[0006] Настоящее изобретение сделано ввиду вышеописанной проблемы и нацелено на формирование изображения с виртуальной точки обзора в соответствии с множеством разных требований в отношении качества изображения.

Решение проблемы

[0007] Для решения вышеописанной проблемы, устройство обработки изображений согласно настоящему изобретению включает, например, следующую конфигурацию. Таким образом, устройство обработки изображений включает в себя средство приема для приема инструкции на формирование изображения с виртуальной точки обзора на основе захваченных изображений, захваченных с соответственно разных направлений множеством камер, и информации о точке обзора в соответствии с указанием виртуальной точки обзора, и средство управления для управления средством формирования в соответствии с инструкцией на формирование, принятой средством приема, таким образом, что средством формирования на основе захваченных изображений и информации о виртуальной точке обзора формируются первое изображение с виртуальной точки обзора для пользователя, предназначенное для указания виртуальной точки обзора, и второе изображение с виртуальной точки обзора, формируемое на основе указания пользователем виртуальной точки обзора, причем второе изображение с виртуальной точки обзора имеет более высокое качество изображения, чем первое изображение с виртуальной точки обзора.

Преимущественные эффекты изобретения

[0008] Согласно настоящему изобретению, можно формировать изображение с виртуальной точки обзора в соответствии с множеством разных требований в отношении качества изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Фиг. 1 - пояснительная схема для описания конфигурации системы 10 обработки изображений.

Фиг. 2 - пояснительная схема для описания аппаратной конфигурации устройства 1 обработки изображений.

Фиг. 3 - блок-схема последовательности операций для описания одного режима работы устройства 1 обработки изображений.

Фиг. 4 - пояснительная схема для описания конфигурации отображающего экрана устройством 3 отображения.

Фиг. 5 - блок-схема операций для описания одного режима работы устройства 1 обработки изображений.

Фиг. 6 - блок-схема операций для описания одного режима работы устройства 1 обработки изображений.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Конфигурация системы

[0010] Далее с помощью чертежи будут описаны варианты осуществления настоящего изобретения. Сначала с помощью фиг.1 будет описана конфигурация системы 10 обработки изображений, которая формирует и выводит изображение с виртуальной точки обзора. Система 10 обработки изображений согласно настоящему варианту осуществления включает в себя устройство 1 обработки изображений, группу 2 камер, устройство 3 отображения и устройство 4 отображения.

[0011] Следует отметить, что изображение с виртуальной точки обзора согласно настоящему варианту осуществления является изображением, полученным в случае, когда субъект (предмет) захватывается с виртуальной точки обзора. Другими словами, изображение с виртуальной точки обзора является изображением, представляющим событие в указанной точке обзора. Виртуальная точка обзора (мнимая точка обзора) может быть указана пользователем или также может быть автоматически указана на основе результата анализа изображения или т.п. Таким образом, изображение с виртуальной точки обзора включает изображение с произвольной точки обзора (изображение со свободной точки обзора), соответствующей точке обзора, произвольно указанной пользователем. Кроме того, изображение, соответствующее точке обзора, указанной пользователем из множества возможностей, и изображение, соответствующее точке обзора, автоматически указанной устройством, также включены в изображение с виртуальной точки обзора. Следует отметить, что, согласно настоящему варианту осуществления, в целом будет описан случай, когда изображение с виртуальной точки обзора является движущимся изображением, но изображение с виртуальной точки обзора также может быть неподвижным изображением.

[0012] Группа 2 камер включает в себя множество камер, и каждая из камер захватывает субъект с соответственно разных направлений. Согласно настоящему варианту осуществления, каждая из множества камер, включенных в группу 2 камер, подключена к устройству 1 обработки изображений и передает захваченное изображение, параметр каждой камеры и т.п. на устройство 1 обработки изображений. Однако следует отметить, что конфигурация этим не ограничивается, и множество камер, включенных в группу 2 камер может сообщаться друг с другом, и любая из камер, включенных в группу 2 камер, может передавать изображения, захваченные множеством камер, параметры множества камер и т.п. на устройство 1 обработки изображений. Кроме того, вместо захваченных изображений, любая из камер, включенных в группу 2 камер, может передавать изображение на основе захвата группой 2 камер, такое как изображение, формируемое на основе различия между изображениями, захваченными множеством камер.

[0013] Устройство 3 отображения принимает указание виртуальной точки обзора для формирования изображения с виртуальной точки обзора и передает информацию в соответствии с указанием на устройство 1 обработки изображений. Например, устройство 3 отображения включает в себя блок ввода, такой как джойстик, поворотный переключатель, сенсорную панель, клавиатуру или мышь, и при этом пользователь (оператор) указывает виртуальную точку обзора, оперирует блоком ввода для указания виртуальной точки обзора. Пользователь, согласно настоящему варианту осуществления, является оператором, который оперирует блоком ввода устройства 3 отображения, указывая виртуальную точку обзора, или зрителем, который наблюдает изображение с виртуальной точки обзора, отображаемое устройством 4 отображения, и при этом пользователь просто упоминается в случае, когда оператор и зритель особенно неотличимы друг от друга. Согласно настоящему варианту осуществления, в целом будет описан случай, когда зритель отличается от оператора, но конфигурация этим не ограничивается, и зритель и оператор могут быть одним и тем же пользователем. Следует отметить, что, согласно настоящему варианту осуществления, информация в соответствии с указанием виртуальной точки обзора, которая передается от устройства 3 отображения на устройство 1 обработки изображений, является информацией о виртуальной точке обзора, указывающей позицию и ориентацию виртуальной точки обзора. Однако следует отметить, что конфигурация этим не ограничивается, и информация в соответствии с указанием виртуальной точки обзора может быть информацией, указывающей содержание, определенное в соответствии с виртуальной точкой обзора, такое как форма или ориентация субъекта на изображении с виртуальной точки обзора, и устройство 1 обработки изображений может формировать изображение с виртуальной точки обзора на основе вышеописанной информации в соответствии с указанием виртуальной точки обзора.

[0014] Кроме того, устройство 3 отображения отображает изображение с виртуальной точки обзора, формируемое и выводимое устройством 1 обработки изображений на основе изображений на основе захвата группой 2 камер и указания виртуальной точки обзора, принятой устройством 3 отображения. В соответствии с этим, оператор может осуществлять указание виртуальной точки обзора, наблюдая изображение с виртуальной точки обзора, отображаемое на устройстве 3 отображения. Следует отметить, что, согласно настоящему варианту осуществления, устройство 3 отображения, которое отображает изображение с виртуальной точки обзора, выполнено с возможностью приема указания виртуальной точки обзора, но конфигурация этим не ограничивается. Например, устройство, которое принимает указание виртуальной точки обзора, и устройство отображения, которое отображает изображение с виртуальной точки обзора оператору, указывающему виртуальную точку обзора, могут быть отдельными устройствами.

[0015] Устройство 3 отображения также выполняет инструкцию на формирование для запуска формирования изображения с виртуальной точки обзора в отношении устройства 1 обработки изображений на основе действия оператора. Следует отметить, что инструкция на формирование этим не ограничивается и может быть инструкцией, согласно которой устройство 1 обработки изображений резервирует формирование изображения с виртуальной точки обзора таким образом, что генерация изображения с виртуальной точки обзора начинается, например, в заданное время. Кроме того, инструкция на формирование может быть инструкцией на резервирование таким образом, что генерация изображения с виртуальной точки обзора начинается в случае, когда происходит, например, заданное событие. Следует отметить, что устройство, которое выполняет инструкцию на формирование изображения с виртуальной точки обзора в отношении устройства 1 обработки изображений, может быть устройством, отличным от устройства 3 отображения, и пользователь может напрямую вводить инструкцию на формирование в отношении устройства 1 обработки изображений.

[0016] Устройство 4 отображения отображает изображение с виртуальной точки обзора, формируемое устройством 1 обработки изображений на основе указания виртуальной точки обзора оператором, который использовал устройство 3 отображения в отношении пользователя (зрителя), отличного от оператора, который указывает виртуальную точку обзора. Следует отметить, что система 10 обработки изображений может включать в себя множество устройств 4 отображения, и множество устройств 4 отображения может отображать, соответственно, разные изображения с виртуальных точек обзора. Например, в систему 10 обработки изображений могут быть включены устройство 4 отображения, которое отображает изображение с виртуальной точки обзора (изображение в прямом эфире), транслируемое в прямом эфире, и устройство 4 отображения, которое отображает изображение с виртуальной точки обзора (изображение не в прямом эфире), транслируемое после записи.

[0017] Устройство 1 обработки изображений включает в себя блок 100 получения информации с камер, блок 110 получения информации о виртуальной точке обзора (далее блок 110 получения точки обзора), блок 120 формирования изображения и блок 130 вывода. Блок 100 получения информации с камер получает изображения, основанные на захвате группой 2 камер, внешние параметры и внутренние параметры соответствующих камер, включенных в группу 2 камер, и т.п. из группы 2 камер, подлежащие выводу на блок 120 формирования изображения. Блок 110 получения точки обзора получает информацию в соответствии с указанием виртуальной точки обзора оператором от устройства 3 отображения, выводимую на блок 120 формирования изображения. Блок 110 получения точки обзора также принимает инструкцию на формирование изображения с виртуальной точки обзора устройством 3 отображения. Блок 120 формирования изображения формирует выводимое на блок 130 вывода изображение с виртуальной точки обзора на основе изображений, основанных на захвате (результатах захвата), полученных блоком 100 получения информации с камер, информации в соответствии с указанием, полученным блоком 110 получения точки обзора, и инструкции на формирование, принятой блоком 110 получения точки обзора. Блок 130 вывода выводит изображение с виртуальной точки обзора, сформированное блоком 120 формирования изображения, на внешнее устройство, такое как устройство 3 отображения или устройство 4 отображения.

[0018] Следует отметить, что, согласно настоящему варианту осуществления, устройство 1 обработки изображений формирует множество изображений с виртуальной точки обзора, отличающихся качеством изображения, выводимых в пункты назначения вывода в соответствии с соответствующими изображениями с виртуальной точки обзора. Например, изображение с виртуальной точки обзора, имеющее низкое качество изображения с коротким временем обработки, относящимся к формированию, выводится на устройство 4 отображения, наблюдаемое зрителем, которому требуется изображение с виртуальной точки обзора в режиме реального времени (с низкой задержкой). С другой стороны, изображение с виртуальной точки обзора, имеющее высокое качество изображения с долгим временем обработки, относящееся к формированию, выводится на устройство 4 отображения, наблюдаемое зрителем, которому требуется изображение с виртуальной точки обзора, имеющее высокое качество изображения. Следует отметить, что задержка согласно настоящему варианту осуществления соответствует периоду от момента захвата группой 2 камер до момента отображения основанного на захвате изображения с виртуальной точки обзора. Однако следует отметить, что определение задержки этим не ограничивается, и, например, временная разница между временем реального мира и временем, соответствующим отображаемому изображению, может задаваться в качестве задержки.

[0019] Далее с помощью фиг. 2 будет описана аппаратная конфигурация устройства 1 обработки изображений. Устройство 1 обработки изображений включает в себя CPU 201 (ЦП - центральный процессор), ROM 202 (ПЗУ), RAM 203 (ОЗУ), вспомогательное устройство 204 хранения, блок 205 отображения, операционный блок 206, блок 207 связи и шину 208. CPU 201 управляет устройством 1 обработки изображений в целом путем использования компьютерных программ и данных, хранящихся в ROM 202 или RAM 203. Следует отметить, что устройство 1 обработки изображений может включать в себя GPU (графический процессор), и GUI может осуществлять по меньшей мере часть обработки с помощью CPU 201. В ROM 202 хранятся программы и параметры, которые не требуют изменений. В RAM 203 временно хранятся программы и данные, поступающие из вспомогательного устройства 204 хранения, данные, поступающие извне через блок 207 связи и т.п. Вспомогательное устройство 204 хранения образовано, например, жестким диском или т.п. и служит для хранения данных содержания, таких как неподвижное изображение и движущееся изображение.

[0020] Блок 205 отображения образован, например, жидкокристаллическим дисплеем или т.п. и отображает GUI (графический пользовательский интерфейс), позволяющий пользователю оперировать устройством 1 обработки изображений и т.п. Операционный блок 206 образован, например, клавиатурой, мышью или т.п. и принимает операции пользователя и вводит различные инструкции в CPU 201. Блок 207 связи осуществляет связь с внешним устройством, таким как группа 2 камер, устройство 3 отображения или устройство 4 отображения. Например, в случае, когда устройство 1 обработки изображений подключено к внешнему устройству проводами, к блоку 207 связи подключен кабель LAN или т.п. Следует отметить, что в случае, когда устройство 1 обработки изображений включает в себя функцию беспроводной связи с внешним устройством, блок 207 связи снабжен антенной. Шина 208 передает информацию за счет соединения соответствующих блоков устройства 1 обработки изображений друг с другом.

[0021] Следует отметить, что, согласно настоящему варианту осуществления, блок 205 отображения и операционный блок 206 существуют внутри устройства 1 обработки изображений, но также может применяться конфигурация, в которой устройство 1 обработки изображений не снабжено по меньшей мере одним из блока 205 отображения и операционного блока 206. Кроме того, по меньшей мере один из блока 205 отображения и операционного блока 206 может существовать вне устройства 1 обработки изображений как другое устройство, и CPU 201 может действовать как блок управления отображением, который управляет блоком 205 отображения, и блок управления операциями, который управляет операционным блоком 206.

Блок-схема операций

[0022] Далее с помощью фиг. 3 будет описан один режим работы устройства 1 обработки изображений. Обработка, проиллюстрированная на фиг. 3, начинается, когда блок 110 получения точки обзора осуществляет прием инструкции на формирование изображения с виртуальной точки обзора, и повторяется периодически (например, в каждом кадре в случае, когда изображение с виртуальной точки обзора является движущимся изображением). Однако следует отметить, что момент начала обработки, проиллюстрированной на фиг. 3, не ограничивается вышеописанным моментом. Обработка, проиллюстрированная на фиг. 3, реализуется, когда CPU 201 загружает программы, хранящиеся в ROM 202, в RAM 203 для выполнения. Следует отметить, что по меньшей мере часть обработки, проиллюстрированной на фиг. 3, может реализовываться специальным аппаратным обеспечением, отличным от CPU 201.

[0023] В блок-схеме, проиллюстрированной на фиг. 3, S2010 и S2020 соответствуют обработке получения информации, а S2030 - S2050 соответствуют обработке формирования и вывода изображения с виртуальной точки обзора (изображения для указания) оператору для указания виртуальной точки обзора. Кроме того, S2070 - S2100 соответствуют обработке для формирования и вывода изображения в прямом эфире. S2110 - S2130 соответствуют обработке формирования и вывода изображения не в прямом эфире. Далее будут описаны детали процессов на соответствующих этапах.

[0024] На этапе S2010 блок 100 получения информации с камер получает захваченные изображения от соответствующих камер, основанных на захвате группой 2 камер, и внешние параметры, и внутренние параметры соответствующих камер. Внешний параметр является информацией относительно позиции и ориентации камеры, а внутренний параметр является информацией относительно фокусного расстояния и центра изображения камеры.

[0025] На этапе S2020 блок 110 получения точки обзора получает информацию о виртуальной точке обзора в качестве информации в соответствии с указанием виртуальной точки обзора оператором. Согласно настоящему варианту осуществления, информация о виртуальной точке обзора соответствует внешнему параметру и внутреннему параметру виртуальной камеры, которая захватывает субъект с виртуальной точки обзора, а для формирования одного кадра изображения с виртуальной точки обзора необходима одна часть информации о виртуальной точке обзора.

[0026] На этапе S2030 блок 120 формирования изображения оценивает трехмерную форму объекта, соответствующего субъекту, на основе изображений, захваченных группой 2 камер. Объектом, соответствующим субъекту, является, например, человек, движущийся объект или т.п., который существует в диапазоне захвата группы 2 камер. Блок 120 формирования изображения вычисляет различия между захваченными изображениями, полученными от группы 2 камер, и ранее полученными фоновыми изображениями, соответствующими соответствующим камерам для формирования силуэтных изображений, в которых извлекается часть (область переднего плана), соответствующая объекту в захваченном изображении. Затем блок 120 формирования изображения использует силуэтные изображения, соответствующие соответствующим камерам, и параметры соответствующих камер для оценивания трехмерной формы объекта. Например, для оценки трехмерной формы используется метод визуальной оболочки. В результате этой обработки получается 3D-группа точек (набор точек с трехмерными координатами), которая представляет трехмерную форму объекта, соответствующего субъекту. Следует отметить, что способ вывода трехмерной формы объекта из захваченных группой 2 камер изображений этим не ограничивается.

[0027] На этапе S2040 блок 120 формирования изображения осуществляет визуализацию 3D-группы точек и 3D-модели фона на основе полученной информации о виртуальной точке обзора и формирует изображение с виртуальной точки обзора. 3D-модель фона является, например, моделью CG, такой как стадион, где установлена группа 2 камер, и создается заранее для сохранения в системе 10 обработки изображений. На изображении с виртуальной точки обзора, сформированном до этого путем обработки, соответствующая объекту область и область фона соответственно отображаются в заданных цветах (например, едином цвете). Следует отметить, что обработка для осуществления визуализации 3D-группы точек и 3D-модель фона уже известна в области игр и кино, и известен способ быстрого осуществления обработки, такой как способ осуществления обработки путем использования GPU. По этой причине изображение с виртуальной точки обзора, формируемое при обработке до этапа S2040, может быстро формироваться в соответствии с захватом группой 2 камер и указанием оператором виртуальной точки обзора.

[0028] На этапе S2050 блок 130 вывода выводит изображение с виртуальной точки обзора, сформированное на этапе S2040 блоком 120 формирования изображения, на устройство 3 отображения оператору для указания виртуальной точки обзора. Здесь с помощью фиг. 4 будет описана конфигурация отображающего экрана 30 устройства 3 отображения. Отображающий экран 30 образован областью 310, областью 320 и областью 330. Например, изображение с виртуальной точки обзора, формируемое в качестве изображения для указания, отображается в области 310, изображение с виртуальной точки обзора, формируемое в качестве изображения в прямом эфире, отображается в области 320, и изображение с виртуальной точки обзора, формируемое в качестве изображения не в прямом эфире, отображается в области 330. Таким образом, изображение с виртуальной точки обзора, сформированное на этапе S2040 и выведенное на этапе S2050, отображается в области 310. Затем оператор осуществляет указание виртуальной точки обзора, наблюдая экран области 310. Следует отметить, что достаточно, чтобы устройство 3 отображения отображало по меньшей мере изображение для указания и не обязательно отображало изображение в прямом эфире и изображение не в прямом эфире.

[0029] На этапе S2060 блок 120 формирования изображения определяет, осуществляется ли обработка формирования изображения с виртуальной точки обзора, имеющего более высокое качество изображения, чем изображение с виртуальной точки обзора, сформированное на этапе S2040. Например, в случае, когда необходимо только изображение, имеющее низкое качество изображения, для указания виртуальной точки обзора, процесс не переходит к этапу S2070, и обработка заканчивается. С другой стороны, в случае, когда необходимо изображение, имеющее более высокое качество изображения, процесс переходит к этапу S2070, и обработка продолжается.

[0030] На этапе S2070 блок 120 формирования изображения дополнительно повышает точность модели формы объекта (3D-группы точек), которая оценивается на этапе S2030, например, путем использования метода фотографической оболочки. В частности, благодаря проецированию соответствующих точек 3D-группы точек на захваченные изображения соответствующих камер и оцениванию степеней совпадения цветов на соответствующих захваченных изображениях, производится определение, является ли точка точкой, необходимой для представления формы субъекта. Например, в отношении некоторой точки в 3D-группе точек, разброс пиксельного значения которой в пункте назначения проекции (изображения) превышает порог, определяется, что точка не является корректной в качестве точки, представляющей форму субъекта, и эта точка удаляется из 3D-группы точек. Эта обработка осуществляется в отношении всех точек в 3D-группе точек для повышения точности модели формы объекта. Следует отметить, что способ повышения точности модели формы объекта этим не ограничивается.

[0031] На этапе S2080 блок 120 формирования изображения выполняет обработку для окрашивания 3D-группы точек, в которой точность повышается на этапе S2070, и ее проецирование в координаты виртуальной точки обзора, формируя изображение переднего плана, соответствующего области переднего плана, и обработку для формирования фонового изображения, если смотреть с виртуальной точки обзора. Затем блок 120 формирования изображения перекрывает изображение переднего плана на сформированное фоновое изображение, формируя изображение с виртуальной точки обзора в качестве изображения в прямом эфире.

[0032] Здесь будет описан пример способа формирования изображения переднего плана (изображения области, соответствующей объекту) изображения с виртуальной точки обзора. Обработка окрашивания 3D-группы точек выполняется для формирования изображения переднего плана. Обработка окрашивания состоит из определения видимости точки и вычислительной обработки цвета. При определении видимости можно идентифицировать камеры, которые могут осуществлять захват в отношении соответствующих точек из взаимных местоположений между соответствующими точками в 3D-группе точек и множеством камер, включенных в группу 2 камер. Затем в отношении соответствующих точек, точка проецируется на изображение, захваченное камерой, которая может захватывать эту точку, и цвет пикселя в пункте назначения проекции задается как цвет точки. В случае, когда некоторая точка захватывается множеством камер, точка проецируется на захваченные множеством камер изображения, и получают пиксельные значения в пункте назначения проекции, так что цвет точки определяется путем вычисления среднего из пиксельных значений. Когда визуализация окрашенной таким образом 3D-группы точек осуществляется с помощью технологии визуализации CG предшествующего уровня техники, можно формировать изображение переднего плана изображения с виртуальной точки обзора.

[0033] Далее будет описан пример способа формирования фонового изображения для изображения с виртуальной точки обзора. Сначала задаются вершины 3D-модели фона (например, соответствующие краям стадиона точки). Затем эти вершины проецируются на системы координат двух камер (заданных как первая камера и вторая камера) вблизи виртуальной точки обзора и систему координат виртуальной точки обзора. Кроме того, первая проекционная матрица между виртуальной точкой обзора и первой камерой и вторая проекционная матрица между виртуальной точкой обзора и второй камерой вычисляются путем использования соответствующих точек виртуальной точки обзора и первой камеры и соответствующих точек виртуальной точки обзора и второй камеры. Затем захваченное первой камерой изображение и захваченное второй камерой изображение проецируются на соответствующие пиксели фонового изображения путем использования первой проекционной матрицы и второй проекционной матрицы, и вычисляется среднее из пиксельных значений в пункте назначения проекции, так что определяются пиксельные значения фонового изображения. Следует отметить, что пиксельные значения фонового изображения можно определять из захваченных тремя или более камерами изображений аналогичным способом.

[0034] Цветное изображение с виртуальной точки обзора может формироваться путем наложения изображения переднего плана на полученное таким образом фоновое изображение изображения с виртуальной точки обзора. Таким образом, изображение с виртуальной точки обзора, сформированное на этапе S2080, имеет более высокое качество изображения, чем изображение с виртуальной точки обзора, сформированное на этапе S2040, в отношении числа градаций цветов. Напротив, число градаций цветов, включенных в изображение с виртуальной точки обзора, сформированное на этапе S2040, меньше числа градаций цветов, включенных в изображение с виртуальной точки обзора, сформированное на этапе S2080. Следует отметить, что способ добавления цветовой информации к изображению с виртуальной точки обзора этим не ограничивается.

[0035] На этапе S2090 блок 130 вывода выводит изображение с виртуальной точки обзора, сформированное на этапе S2080 блоком 120 формирования изображения, на устройство 3 отображения и устройство 4 отображения как изображение в прямом эфире. Изображение, выводимое на устройство 3 отображения, отображается в области 320 и может просматриваться оператором, а изображение, выводимое на устройство 4 отображения, может просматриваться зрителем.

[0036] На этапе S2100 блок 120 формирования изображения определяет, осуществляется ли обработка формирования изображения с виртуальной точки обзора, имеющего более высокое качество изображения, чем изображение с виртуальной точки обзора, сформированное на этапе S2080. Например, в случае, когда изображение с виртуальной точки обзора обеспечено только для трансляции в прямом эфире в отношении зрителя, процесс не переходит к этапу S2110, и обработка заканчивается. С другой стороны, в случае, когда изображение, имеющее более высокое качество изображения, подлежит трансляции зрителю после записи, процесс переходит к этапу S2110, и обработка продолжается.

[0037] На этапе S2110 блок 120 формирования изображения дополнительно повышает точность модели формы объекта, генерируемой на этапе S2070. Согласно настоящему варианту осуществления, повышение точности реализуется путем удаления изолированной точки модели формы. При удалении изолированной точки, сначала в отношении набора вокселей (3D-группы точек), вычисленной фотографической оболочкой, проверяется, существует ли еще один воксель в окружении соответствующих вокселей. В случае, когда в окружении не существует вокселя, определяется, что воксель является изолированной точкой, и воксель удаляется из набора вокселей. Когда обработка, аналогичная осуществляемой на этапе S2080, выполняется путем использования модели формы, из которой таким образом удалена изолированная точка, формируется изображение с виртуальной точки обзора, в котором достигается более высокая точность формы объекта, чем в изображении с виртуальной точки обзора, сформированном на этапе S2080.

[0038] На этапе S2120 блок 120 формирования изображения применяет сглаживающую обработку к границе между областью переднего плана изображения с виртуальной точки обзора, формируемого на этапе S2110, и областью фона и корректирует изображение таким образом, что граничная область отображается плавно.

[0039] На этапе S2130 блок 130 вывода выводит изображение с виртуальной точки обзора, сформированное блоком 120 формирования изображения на этапе S2120, на устройство 3 отображения и устройство 4 отображения в качестве изображения не в прямом эфире. Изображение не в прямом эфире, выводимое на устройство 3 отображения, отображается в области 330.

[0040] Путем вышеописанной обработки устройство 1 обработки изображений формирует изображение с виртуальной точки обзора в качестве изображения для указания оператором, чтобы указать виртуальную точку обзора, и изображение в прямом эфире, соответствующее изображению с виртуальной точки обзора, имеющее более высокое качество изображения, чем изображение для указания, которое подлежит отображению в отношении зрителя, на основе одного набора захваченных изображений и информации о виртуальной точке обзора. Здесь изображение в прямом эфире формируется на основе указания виртуальной точки обзора оператором. В частности, изображение в прямом эфире является изображением с виртуальной точки обзора, соответствующим виртуальной точке обзора, определенной в соответствии с операцией указания оператором в отношении изображения для указания. Кроме того, устройство 1 обработки изображений также формирует изображение не в прямом эфире, соответствующее изображению с виртуальной точки обзора, имеющему более высокое качество изображения, чем изображение в прямом эфире. Затем устройство 1 обработки изображений выводит сформированные изображение в прямом эфире и изображение не в прямом эфире на устройство 4 отображения таким образом, что изображение в прямом эфире отображается до того, как отображается изображение не в прямом эфире. Устройство 1 обработки изображений также выводит сформированное изображение для указания на устройство 3 отображения таким образом, что изображение для указания отображается на устройстве 3 отображения до отображения на устройстве 4 отображения изображения в прямом эфире.

[0041] В соответствии с этим, устройство 4 отображения может отображать изображение для указания, имеющее низкое качество изображения, изображение в прямом эфире, транслируемое в прямом эфире, которое имеет более высокое качество изображения, чем изображение для указания, и изображение не в прямом эфире, подлежащее трансляции после записи, которое имеет еще более высокое качество изображения, чем изображение в прямом эфире. Следует отметить, что устройство 4 отображения также может отображать только одно из изображения в прямом эфире и изображения не в прямом эфире, и в вышеописанном случае устройство 1 обработки изображений выводит изображение с виртуальной точки обзора, пригодное для устройства 4 отображения. Кроме того, устройство 3 отображения может отображать три типа изображений с виртуальной точки обзора, в том числе изображение с виртуальной точки обзора, имеющее низкое качество изображения, в качестве изображения для указания, изображение с виртуальной точки обзора, имеющее среднее качество изображения, в качестве изображения в прямом эфире, и изображение с виртуальной точки обзора, имеющее высокое качество изображения, в качестве изображения не в прямом эфире. Следует отметить, что достаточно также, когда устройство 3 отображения не отображает по меньшей мере любое из изображения в прямом эфире и изображения не в прямом эфире.

[0042] Таким образом, устройство 1 обработки изображений выводит изображение для указания на устройство 3 отображения для пользователя, чтобы указывать виртуальную точку обзора. Затем устройство 1 обработки изображений выводит по меньшей мере любое изображения из в прямом эфире и изображения не в прямом эфире, которые имеют более высокое качество изображения, чем изображение для указания, на устройство 4 отображения для отображения изображения с виртуальной точки обзора, формируемого на основе указания виртуальной точки обзора пользователем. В соответствии с этим, можно удовлетворять требованиям как оператора, который желает отображать изображение с виртуальной точки обзора с низкой задержкой для указания виртуальной точки обзора, так и зрителя, который желает просматривать изображение с виртуальной точки обзора, имеющее высокое качество изображения.

[0043] Следует отметить, что в вышеописанной обработке изображение с виртуальной точки обзора формируется на основе изображений, основанных на захвате группой 2 камер, и информации в соответствии с указанием виртуальной точки обзора, а изображение с виртуальной точки обзора, имеющее высокое качество изображения, формируется на основе результата обработки формирования. По этой причине полный объем обработки может уменьшаться по сравнению со случаем, когда независимыми процессами формируются соответственно изображение с виртуальной точки обзора, имеющее низкое качество изображения, и изображение с виртуальной точки обзора, имеющее высокое качество изображения. Однако следует отметить, что независимыми процессами также могут формироваться изображение с виртуальной точки обзора, имеющее низкое качество изображения, и изображение с виртуальной точки обзора, имеющее высокое качество изображения. Кроме того, в случае, когда изображение с виртуальной точки обзора отображается на дисплее, установленном в месте проведения соревнования или месте проведения концерта, или транслируется в прямом эфире, в соответствии со случаем, когда нет необходимости трансляции изображения после записи, устройство 1 обработки изображений не осуществляет обработку для формирования изображения не в прямом эфире. В соответствии с этим можно уменьшить объем обработки для формирования изображения не в прямом эфире, имеющего высокое качество изображения.

[0044] Кроме того, устройство 1 обработки изображений может формировать изображение для воспроизведения, подлежащее отображению после захвата, вместо изображения в прямом эфире, подлежащего трансляции в прямом эфире, или помимо изображения в прямом эфире. Например, изображение для воспроизведения отображается на дисплее в месте проведения соревнования в течение тайма или по окончании матча в случае, когда целью захвата группой 2 камер является матч, такой как футбольный, в месте проведения соревнования. Изображение для воспроизведения имеет более высокое качество изображения, чем изображение для указания, и также формируется с таким качеством изображения, что формирование может завершаться до окончания матча или тайма, подлежащего отображению.

[0045] Далее с помощью фиг. 5 будет описан еще один режим работы устройства 1 обработки изображений. Согласно режиму работы, описанному выше с помощью фиг. 3, изображение с виртуальной точки обзора, имеющее высокое качество изображения, формируется путем дополнительного осуществления обработки нового типа после формирования изображения с виртуальной точки обзора, имеющего низкое качество изображения. С другой стороны, в режиме работы, который будет описан ниже с помощью фиг. 5, повышение качества изображения с виртуальной точки обзора реализуется путем увеличения числа камер, используемых для формирования изображения с виртуальной точки обзора. В нижеследующем объяснении описание части, аналогичной обработке на фиг. 3, будет пропущено.

[0046] Обработка, проиллюстрированная на фиг. 5, начинается в момент, когда блок 110 получения точки обзора осуществляет прием инструкции на формирование изображения с виртуальной точки обзора. Однако, следует отметить, что момент начала обработки по фиг. 5 этим не ограничивается. На этапах S2010 и S2020 устройство 1 обработки изображений получает изображения, захваченные соответствующими камерами из группы 2 камер и информацию о виртуальной точке обзора путем обработки, аналогичной той, которая описана на фиг. 3.

[0047] На этапе S4030 блок 120 формирования изображения задает число камер, соответствующих захваченным изображениям, используемым для формирования изображения с виртуальной точки обзора. Здесь блок 120 формирования изображения задает число камер таким образом, что обработка на этапах S4050 - S4070 завершается за время обработки, меньшее или равное заданному порогу (например, время, соответствующее одному кадру, в случае, когда изображение с виртуальной точки обзора является движущимся изображением). Например, предполагается, что обработка на этапах S4050 - S4070 выполняется путем использования заранее захваченных изображений от 100 камер, и время обработки составляет 0,5 секунды. В этом случае, когда желательно, чтобы обработка на этапах S4050 - S4070 завершалась за 0,016 секунды в соответствии с одним кадром изображения с виртуальной точки обзора, где частота кадров равна 60 Гц (кадр в секунду), количество камер задается как 3.

[0048] Следует отметить, что в случае, когда продолжение формирования изображения определяется на этапе S4080 после вывода изображения с виртуальной точки обзора путем обработки на этапах S4050 - S4070, процесс возвращается к этапу S4030, и повторно задается число используемых камер. Здесь допустимое время обработки продлевается таким образом, что подлежит формированию изображение с виртуальной точки обзора, имеющее более высокое качество изображения, чем ранее выведенное изображение с виртуальной точки обзора, и в соответствии с этим увеличивается число камер. Например, число используемых камер, соответствующих захваченным изображениям, задается как 20, так что обработка на этапах S4050 - S4070 подлежит завершению за время обработки, меньшее или равное 0,1 секунды.

[0049] На этапе S4040 блок 120 формирования изображения выбирает камеры, соответствующие используемым захваченным изображениям, из группы 2 камер в соответствии с числом камер, заданным на этапе S4030, для формирования изображения с виртуальной точки обзора. Например, в случае, когда из 100 камер выбираются 3 камеры, выбираются камера, ближайшая к виртуальной точке обзора, и 34-я камера, и 67-я камера, отсчитанные от указанной камеры.

[0050] Кроме того, после однократного формирования изображения с виртуальной точки обзора, в случае, когда обработка осуществляется во второй раз путем увеличения числа используемых захваченных изображений, поскольку точность модели формы, оцененная при обработке в первый раз, дополнительно увеличивается, выбирается камера, отличная от камеры, выбранной при первой обработке. В частности, в случае выбора из 100 камер 20 камер, сначала выбирается камера, ближайшая к виртуальной точке обзора, из камер, не выбранных при первой обработке, и камера выбирается на интервалах из каждых пяти камер. При этом камера, уже выбранная при первой обработке, пропускается, и выбирается следующая камера. Следует отметить, что, например, в случае, когда изображение с виртуальной точки обзора, имеющее наивысшее качество изображения, формируется в качестве изображения не в прямом эфире, выбираются все камеры, включенные в группу 2 камер, и обработка на этапах S4050 - S4070 выполняется путем использования захваченных изображений из соответствующих камер.

[0051] Следует отметить, что используемый способ выбора камер, соответствующих захваченным изображениям, этим не ограничивается. Например, при выборе может отдаваться приоритет камере вблизи виртуальной точки обзора. В этом случае точность оценки формы фоновой области, которая не видна с виртуальной точки обзора, при оценке формы объекта, соответствующего субъекту, снижается, но точность оценки формы области переднего плана, которая видна с виртуальной точки обзора, повышается. Таким образом, качество изображения в области, легко просматриваемой зрителем на изображении с виртуальной точки обзора, может предпочтительно повышаться.

[0052] На этапе S4050 блок 120 формирования изображения выполняет обработку оценки формы объекта путем использования изображения, захваченного камерой, выбранной на этапе S4040. Обработка здесь является, например, комбинацией обработки на этапе S2030 на фиг. 3 (визуальной оболочки) и обработки на этапе S2070 (фотографической оболочки). Обработка визуальной оболочки включает в себя обработку для вычисления логического произведения визуальных объемов множества используемых камер, соответствующих множеству захваченных изображений. Кроме того, обработка фотографической оболочки включает в себя обработку для проецирования соответствующих точек модели формы на множество захваченных изображений и вычисление согласованности пиксельных значений. По этой причине, по мере уменьшения числа используемых камер, соответствующих захваченным изображениям, точность оценки формы снижается, а время обработки сокращается.

[0053] На этапе S4060 блок 120 формирования изображения выполняет обработку визуализации. Описанная здесь обработка аналогична обработке на этапе S2080 на фиг. 3 и включает в себя обработку окрашивания для 3D-группы точек и обработку формирования для фонового изображения. Как обработка окрашивания для 3D-группы точек, так и обработка формирования для фонового изображения включают в себя обработку для определения цвета путем вычисления с использованием пиксельных значений точек, соответствующих множеству захваченных изображений. По этой причине, по мере уменьшения числа используемых камер, соответствующих захваченным изображениям, точность визуализации снижается, а время обработки сокращается.

[0054] На этапе S4070 блок 130 вывода выводит изображение с виртуальной точки обзора, сформированное блоком 120 формирования изображения на этапе S4060, на устройство 3 отображения или устройство 4 отображения.

[0055] На этапе S4080 блок 120 формирования изображения определяет, осуществляется ли обработка формирования изображения с виртуальной точки обзора, имеющего более высокое качество изображения, чем изображение с виртуальной точки обзора, сформированное на этапе S4060. Например, в случае, когда изображение с виртуальной точки обзора, сформированное на этапе S4060, является изображением для оператора, чтобы указывать виртуальную точку обзора, и дополнительно подлежит формированию изображение в прямом эфире, процесс возвращается к этапу S4030, и изображение с виртуальной точки обзора в качестве изображения в прямом эфире формируется путем увеличения числа используемых камер. Кроме того, в случае, когда изображение не в прямом эфире дополнительно формируется после формирования изображения в прямом эфире, изображение с виртуальной точки обзора в качестве изображения не в прямом эфире формируется путем дополнительного увеличения числа камер. Таким образом, поскольку число камер, соответствующих захваченным изображениям, используемых для формирования изображения с виртуальной точки обзора в качестве изображения в прямом эфире, больше, чем число камер, соответствующих захваченным изображениям, используемых для формирования изображения с виртуальной точки обзора в качестве изображения для указания, изображение в прямом эфире имеет более высокое качество изображения, чем изображение для указания. Аналогично, поскольку число камер, соответствующих захваченным изображениям, используемых для формирования изображения с виртуальной точки обзора в качестве изображения не в прямом эфире, больше, чем число камер, соответствующих захваченным изображениям, используемых для формирования изображения с виртуальной точки обзора в качестве изображения в прямом эфире, изображение не в прямом эфире имеет более высокое качество изображения, чем изображение в прямом эфире.

[0056] Следует отметить, что на этапе S4080, в случае, когда определяется, что изображение с виртуальной точки обзора, имеющее более высокое качество изображения, чем у ранее сформированного изображения с виртуальной точки обзора, формировать не нужно, или в случае, когда определяется, что изображение с виртуальной точки обзора, имеющее более высокое качество изображения, не может формироваться, обработка заканчивается.

[0057] Путем вышеописанной обработки, устройство 1 обработки изображений может формировать множество изображений с виртуальной точки обзора, в которых качество изображения повышается ступенчато в соответственно надлежащие моменты времени для вывода. Например, можно формировать изображение для указания с малой задержкой путем ограничения числа камер, используемых для формирования изображения с виртуальной точки обзора, до такого количества, что обработка формирования может завершаться за установленное время обработки. Кроме того, в случае, когда должны быть сформированы изображение в прямом эфире и изображение не в прямом эфире, можно формировать изображения с более высоким качеством изображения, когда обработка формирования осуществляется путем увеличения числа используемых камер.

[0058] Далее с помощью фиг. 6 будет описан еще один режим работы устройства 1 обработки изображений. Согласно режиму работы, описанному выше с помощью фиг. 5, при увеличении числа камер, используемых для формирования изображения с виртуальной точки обзора, реализуется повышение качества изображения с виртуальной точки обзора. С другой стороны, согласно режиму работы, который будет описан ниже с помощью фиг. 6, повышение качества изображения с виртуальной точки обзора реализуется путем ступенчатого увеличения разрешения изображения с виртуальной точки обзора. В нижеследующем объяснении описания части, аналогичной обработке на фиг. 3 или фиг. 5, будет пропущено. Следует отметить, что согласно режиму работы, который будет описан ниже, число пикселей формируемого изображения с виртуальной точки обзора обычно задается как 4K (3840×2160), и разрешение изображения с виртуальной точки обзора регулируется в зависимости от того, осуществляется ли вычисление пиксельного значения для каждого большого блока пикселей или каждого небольшого блока пикселей. Однако, следует отметить, что конфигурация этим не ограничивается, и разрешение может регулироваться путем изменения числа пикселей формируемого изображения с виртуальной точки обзора.

[0059] Обработка, проиллюстрированная на фиг. 6, начинается в момент, когда блок 110 получения точки обзора осуществляет прием инструкции на формирование изображения с виртуальной точки обзора. Однако, следует отметить, что момент начала обработки по фиг. 6 этим не ограничивается. На этапах S2010 и S2020 устройство 1 обработки изображений получает изображения, захваченные соответствующими камерами из группы 2 камер, и информацию о виртуальной точке обзора путем обработки, аналогичной описанной на фиг. 3.

[0060] На этапе S5030 блок 120 формирования изображения задает разрешение формируемого изображения с виртуальной точки обзора. Здесь блок 120 формирования изображения задает такое разрешение, что обработка на этапах S5050 и S4070 завершается за время обработки, меньшее или равное заданному порогу. Например, предполагается, что обработка на этапах S5050 и S4070 выполняется в случае, когда ранее сформировано изображение с виртуальной точки обзора, имеющее разрешение 4K, и время обработки задается как 0,5 секунды. В этом случае, когда желательно, чтобы обработка на этапах S5050 и S4070 завершалась за 0,016 секунды, что соответствует одному кадру изображения с виртуальной точки обзора, где частота кадров равна 60 Гц, разрешение должно составлять 0,016/0,5=1/31,25 от 4K или ниже. Ввиду вышеизложенного, когда вертикальное и горизонтальное разрешения изображения с виртуальной точки обзора соответственно составляют 1/8 разрешения 4K, число блоков пикселей, где должно вычисляться пиксельное значение, становится 1/64, и обработка может завершаться менее чем за 0,016 секунды.

[0061] Следует отметить, что в случае, когда на этапе S4080 определено, что генерация изображения продолжается после вывода изображения с виртуальной точки обзора путем обработки на этапах S5050 и S4070, процесс возвращается к этапу S5030, и разрешение задается повторно. Здесь допустимое время обработки продлевается таким образом, что формируется изображение с виртуальной точки обзора, имеющее более высокое качество изображения, чем ранее выведенное изображение с виртуальной точки обзора, и разрешение увеличивается в соответствии с этим. Например, когда вертикальное и горизонтальное разрешения соответственно задаются как 1/4 разрешения 4K, обработка на этапах S5050 и S4070 может завершаться за время обработки, меньшее или равное 0,1 секунды. На этапе S5040 блок 120 формирования изображения определяет позицию пикселя, где нужно вычислять пиксельное значение на изображении с виртуальной точки обзора в соответствии с разрешением, заданным на этапе S5030. Например, в случае, когда разрешение изображения с виртуальной точки обзора задается как 1/8 разрешения 4K, пиксельные значения соответственно вычисляются для каждых восьми пикселей по вертикали и по горизонтали. Затем такое же пиксельное значение, как для пикселя (x,y), задается для пикселей, существующих между пикселем (x,y) и пикселем (x+8,y+8), где вычисляется пиксельное значение.

[0062] Кроме того, после однократного формирования изображения с виртуальной точки обзора, в случае, когда обработка во второй раз осуществляется путем увеличения разрешения, пиксельное значение вычисляется путем пропуска пикселя, где в первый раз вычислено пиксельное значение. Например, в случае, когда разрешение задается как 1/4 разрешения 4K, вычисляется пиксельное значение пикселя (x+4, y+4), и такое же пиксельное значение, как для пикселя (x+4, y+4), задается для пикселей, существующих между пикселем (x+4, y+4) и пикселем (x+8, y+8). Таким образом, когда число пикселей, где вычисляется пиксельное значение, увеличивается, разрешение изображения с виртуальной точки обзора может увеличиваться до максимального разрешения 4K.

[0063] На этапе S5050 блок 120 формирования изображения осуществляет обработку окрашивания для изображения с виртуальной точки обзора путем вычисления пиксельного значения пикселя в положении, определенном на этапе S5040. В качестве способа вычисления пиксельного значения можно использовать, например, способ визуальной оболочки на основе изображений. Так как в соответствии с этим способом пиксельное значение вычисляется для каждого пикселя, поскольку меньше число пикселей, в которых нужно вычислять пиксельное значение, то есть поскольку ниже разрешение изображения с виртуальной точки обзора, время обработки сокращается.

[0064] На этапе S4070 блок 130 вывода выводит изображение с виртуальной точки обзора, сформированное блоком 120 формирования изображения на этапе S5050, на устройство 3 отображения или устройство 4 отображения.

[0065] На этапе S4080 блок 120 формирования изображения определяет, осуществляется ли обработка формирования изображения с виртуальной точки обзора, имеющего более высокое качество изображения, чем изображение с виртуальной точки обзора, сформированное на этапе S5050. Например, в случае, когда изображение с виртуальной точки обзора, сформированное на этапе S5050, является изображением для оператора, чтобы указывать виртуальную точку обзора, и дополнительно подлежит формированию изображение в прямом эфире, процесс возвращается к этапу S5030, и формируется изображение с виртуальной точки обзора, имеющее увеличенное разрешение. Кроме того, после того, как сформировано изображение в прямом эфире и дополнительному формированию подлежит изображение не в прямом эфире, в качестве изображения не в прямом эфире формируется изображение с виртуальной точки обзора, в котором дополнительно увеличено разрешение. Таким образом, поскольку изображение с виртуальной точки обзора в качестве изображения в прямом эфире имеет более высокое разрешение, чем изображение с виртуальной точки обзора в качестве изображения для указания, изображение в прямом эфире имеет более высокое качество изображения, чем изображение для указания. Аналогично, поскольку изображение с виртуальной точки обзора в качестве изображения не в прямом эфире имеет более высокое разрешение, чем изображение с виртуальной точки обзора в качестве изображения в прямом эфире, изображение не в прямом эфире имеет более высокое качество изображения, чем изображение в прямом эфире.

[0066] Следует отметить, что на этапе S4080 в случае, когда определяется, что не нужно формировать изображение с виртуальной точки обзора, имеющее более высокое качество изображения, чем у ранее сформированного изображения с виртуальной точки обзора, или в случае, когда определяется, что не может формироваться изображение с виртуальной точки обзора, имеющее более высокое качество изображения, обработка заканчивается.

[0067] Путем вышеописанной обработки устройство 1 обработки изображений может формировать множество изображений с виртуальной точки обзора, в которых разрешение повышается ступенчато в соответственно надлежащие моменты времени для вывода. Например, можно формировать изображение для указания с малой задержкой путем задания разрешения изображения с виртуальной точки обзора таким образом, что обработка формирования может завершаться за заданное время обработки. Кроме того, в случае, когда подлежат формированию изображение в прямом эфире и изображение не в прямом эфире, можно формировать изображения с более высоким качеством изображения, когда обработка формирования осуществляется путем увеличения разрешения.

[0068] Как описано выше, устройство 1 обработки изображений осуществляет обработку изображений для улучшения качества изображения с виртуальной точки обзора, формируя изображение, имеющее высокое качество изображения (например, изображение не в прямом эфире). Устройство 1 обработки изображений также формирует изображение, имеющее низкое качество изображения (например, изображение в прямом эфире), путем обработки, выполняемой за время обработки, меньшее или равное заданному порогу, соответствующему частичной обработке, включенной в обработку изображений. В соответствии с этим, могут формироваться и отображаться как изображение с виртуальной точки обзора, отображаемое с задержкой, меньшей или равной заданному времени, так и изображение с виртуальной точки обзора, имеющее высокое качество изображения.

[0069] Следует отметить, что в объяснении фиг. 6 предполагается, что оценивается параметр формирования (разрешение) для завершения обработки формирования за время обработки, меньшее или равное заданному порогу, и изображение с виртуальной точки обзора формируется с помощью оцененного параметра формирования. Однако следует отметить, что конфигурация этим не ограничивается, и устройство 1 обработки изображений может ступенчато улучшать качество изображения с виртуальной точки обзора и выводить уже сформированное изображение с виртуальной точки обзора в момент времени, когда время обработки достигает заданного порога. Например, в случае, когда изображение с виртуальной точки обзора, разрешение которого составляет 1/8 разрешения 4K, уже сгенерировано, а изображение с виртуальной точки обзора, разрешение которого составляет 1/4 разрешения 4K, не завершено в момент времени, когда время обработки достигает заданного порога, может выводиться изображение с виртуальной точки обзора, разрешение которого составляет 1/8. Кроме того, может выводиться изображение с виртуальной точки обзора, в котором посередине осуществляется обработка повышения разрешения от разрешения 1/8 до разрешения 1/4.

[0070] Согласно настоящему варианту осуществления, в основном описан случай, когда блок 120 формирования изображения, включенный в устройство 1 обработки изображений, управляет формированием изображения с виртуальной точки обзора на основе изображений, полученных блоком 100 получения информации с камер, и информации о виртуальной точке обзора, полученной блоком 110 получения точки обзора, и формирует множество изображений с виртуальной точки обзора, имеющих разные качества изображения. Однако, следует отметить, что конфигурация этим не ограничивается, и функция для управления формированием изображения с виртуальной точки обзора и функция для фактического формирования изображения с виртуальной точки обзора могут быть включены в соответственно разные устройства.

[0071] Например, устройство формирования (не показано), которое имеет функцию блока 120 формирования изображения и формирует изображение с виртуальной точки обзора, также может существовать в системе 10 обработки изображений. Затем устройство 1 обработки изображений может управлять формированием изображения с виртуальной точки обзора устройством формирования на основе изображений, полученных блоком 100 получения информации с камер, и информации, полученной блоком 110 получения точки обзора. В частности, устройство 1 обработки изображений передает захваченные изображения и информацию о виртуальной точке обзора на устройство формирования и выполняет инструкцию для управления формированием изображения с виртуальной точки обзора. Затем устройство формирования, основываясь на принятых захваченных изображениях и информации о виртуальной точке обзора, формирует первое изображение с виртуальной точки обзора и второе изображение с виртуальной точки обзора, которое подлежит отображению раньше, чем первое изображение с виртуальной точки обзора, причем второе изображение с виртуальной точки обзора имеет более низкое качество изображения, чем первое изображение с виртуальной точки обзора. Здесь первое изображение с виртуальной точки обзора является, например, изображением не в прямом эфире, а второе изображение с виртуальной точки обзора является, например, изображением в прямом эфире. Однако, следует отметить, что цель использования первого изображения с виртуальной точки обзора и второго изображения с виртуальной точки обзора этим не ограничивается. Следует отметить, что устройство 1 обработки изображений может осуществлять управление таким образом, что первое изображение с виртуальной точки обзора и второе изображение с виртуальной точки обзора формируются соответственно разными устройствами формирования. Кроме того, устройство 1 обработки изображений может осуществлять управление выводом для управления пунктом назначения вывода изображения с виртуальной точки обзора устройством формирования и моментом вывода и пр.

[0072] Кроме того, устройство формирования может включать в себя функции блока 110 получения точки обзора и блока 120 формирования изображения, и устройство 1 обработки изображений может управлять формированием изображения с виртуальной точки обзора устройством формирования на основе изображений, полученных блоком 100 получения информации с камер. Здесь изображения, полученные блоком 100 получения информации с камер, являются изображениями, основанными на захвате, такими как изображения, захваченные группой 2 камер, и изображения, генерируемые на основе различий между множеством захваченных изображений. Кроме того, устройство формирования может включать в себя функции блока 100 получения информации с камер и блока 120 формирования изображения, и устройство 1 обработки изображений может управлять формированием изображения с виртуальной точки обзора устройством формирования на основе изображений, полученных блоком 110 получения точки обзора. Здесь изображения, полученные блоком 110 получения точки обзора, являются информацией в соответствии с указанием виртуальной точки обзора, такой как информация, указывающая содержимое, определенное в соответствии с виртуальной точкой обзора, такое как форма или ориентация субъекта на изображении с виртуальной точки обзора, и информация о виртуальной точке обзора. Таким образом, устройство 1 обработки изображений может получать информацию, относящуюся к формированию изображения с виртуальной точки обзора, включающего в себя по меньшей мере одно из изображений на основе захвата, и информацию в соответствии с указанием виртуальной точки обзора, и управлять формированием изображения с виртуальной точки обзора на основе полученной информации.

[0073] Кроме того, например, устройство формирования, которое существует в системе 10 обработки изображений, может включать в себя функции блока 100 получения информации с камер, блока 110 получения точки обзора и блока 120 формирования изображения, и устройство 1 обработки изображений может управлять формированием изображения с виртуальной точки обзора устройством формирования на основе информации, относящейся к формированию изображения с виртуальной точки обзора. Информация, относящаяся к формированию изображения с виртуальной точки обзора, в этом случае включает в себя, например, по меньшей мере любой из параметров в отношении качества изображения первого изображения с виртуальной точки обзора и параметров в отношении качества изображения второго изображения с виртуальной точки обзора, которые формируются устройством формирования. Конкретные примеры параметров в отношении качества изображения включают в себя число камер, соответствующих захваченным изображениям, используемых для формирования изображения с виртуальной точки обзора, разрешение изображения с виртуальной точки обзора, допустимое время в качестве времени обработки, относящегося к формированию изображения с виртуальной точки обзора и пр. Устройство 1 обработки изображений получает эти параметры в отношении качества изображения, например, на основе ввода оператором и управляет устройством формирования на основе параметров, полученных путем передачи параметров на устройство формирования, или т.п. В соответствии с этим, оператор может формировать множество изображений с виртуальной точки обзора, имеющих взаимно различные желаемые качества изображения.

[0074] Как описано выше, устройство 1 обработки изображений принимает инструкцию на формирование изображения с виртуальной точки обзора на основе изображений, основанных на захвате субъекта с соответственно разных направлений множеством камер, и информации в соответствии с указанием виртуальной точки обзора. Затем устройство 1 обработки изображений осуществляет управление в соответствии с принятой инструкцией на формирование таким образом, что первое изображение с виртуальной точки обзора, подлежащее выводу на первое устройство отображения, и второе изображение с виртуальной точки обзора, подлежащее выводу на второе устройство отображения, формируются на основе изображений, основанных на захвате, и информации в соответствии с указанием виртуальной точки обзора. Здесь второе изображение с виртуальной точки обзора является изображением с виртуальной точки обзора, имеющим более высокое качество изображения, чем первое изображение с виртуальной точки обзора. В соответствии с этим, например, также в случае, когда существуют как пользователь, который желает просматривать изображение с виртуальной точки обзора в режиме реального времени, так и пользователь, который отдает приоритет высокому качеству изображения с виртуальной точки обзора над свойством реального времени, можно формировать изображение с виртуальной точки обзора, пригодное для своевременного осуществления отображения.

[0075] Следует отметить, что согласно настоящему варианту осуществления описан случай, когда градация цвета, разрешение и число камер, соответствующих захваченным изображениям, используемых для формирования изображения с виртуальной точки обзора, регулируются как качество изображения с виртуальной точки обзора, но другие параметры могут регулироваться как качество изображения. Кроме того, может регулироваться одновременно множество параметров в отношении качества изображения.

[0076] Настоящее изобретение также может быть реализовано путем обработки, в которой программа, которая реализует одну или более функций вышеописанных вариантов осуществления, загружается в систему или устройство через сеть или носитель данных, и один или более процессоров в компьютере системы или устройства считывает и выполняет программу. Кроме того, настоящее изобретение может быть реализовано с помощью цепи (например, ASIC или т.п.), которая реализует одну или более функций. Кроме того, программа может быть записана на предусматриваемый считываемый компьютером носитель записи.

[0077] Настоящее изобретение не ограничивается вышеописанными вариантами осуществления, и могут быть выполнены различные модификации и изменения без выхода за рамки и объем настоящего изобретения. Таким образом, чтобы сделать объем настоящего изобретения общедоступным, прилагается следующая формула изобретения.

[0078] По этой заявке испрашивается приоритет японской патентной заявки № 2016-211905, поданной 28 октября 2016 г., которая тем самым включена сюда посредством ссылки во всей своей полноте.

Изобретение относится к технологии для формирования изображения с виртуальной точки обзора. Техническим результатом является формирование изображения с виртуальной точки обзора в соответствии с множеством разных требований в отношении качества изображения. Система содержит блок получения изображений, выполненный с возможностью получения изображений, основанных на захвате с множества направлений множеством камер, блок получения информации, выполненный с возможностью получения информации о точке обзора, указывающей виртуальную точку обзора, и блок формирования, выполненный с возможностью формирования изображений с виртуальной точки обзора на основе изображений, полученных блоком получения изображений, и информации о точке обзора, полученной блоком получения информации, причем блок формирования выполнен с возможностью формирования первого изображения с виртуальной точки обзора, выводимого на устройство отображения, которое отображает пользователю изображение для указания виртуальной точки обзора, а также выполнен с возможностью формирования второго изображения с виртуальной точки обзора, выводимого в пункт назначения вывода, отличный от устройства отображения, путем использования по меньшей мере одного из данных, формируемых в процессе формирования первого изображения с виртуальной точки обзора путем обработки изображений с использованием множества изображений, полученных блоком получения изображений, и первого изображения с виртуальной точки обзора, причем второе изображение с виртуальной точки обзора имеет более высокое качество изображения, чем первое изображение с виртуальной точки обзора. 3 н. и 17 з.п. ф-лы, 6 ил.

1. Система обработки изображений, содержащая:

блок получения изображений, выполненный с возможностью получения изображений, основанных на захвате с множества направлений множеством камер;

блок получения информации, выполненный с возможностью получения информации о точке обзора, указывающей виртуальную точку обзора; и

блок формирования, выполненный с возможностью формирования изображений с виртуальной точки обзора на основе изображений, полученных блоком получения изображений, и информации о точке обзора, полученной блоком получения информации, причем блок формирования выполнен с возможностью формирования первого изображения с виртуальной точки обзора, выводимого на устройство отображения, которое отображает пользователю изображение для указания виртуальной точки обзора, а также выполнен с возможностью формирования второго изображения с виртуальной точки обзора, выводимого в пункт назначения вывода, отличный от устройства отображения, путем использования по меньшей мере одного из данных, формируемых в процессе формирования первого изображения с виртуальной точки обзора путем обработки изображений с использованием множества изображений, полученных блоком получения изображений, и первого изображения с виртуальной точки обзора, причем второе изображение с виртуальной точки обзора имеет более высокое качество изображения, чем первое изображение с виртуальной точки обзора.

2. Система обработки изображений по п. 1,

в которой второе изображение с виртуальной точки обзора выводится на по меньшей мере одно из другого устройства отображения, отличного от устройства отображения, которое отображает пользователю изображение для указания виртуальной точки обзора, и устройства хранения.

3. Система обработки изображений по п. 1, дополнительно содержащая:

блок вывода, выполненный с возможностью вывода первого изображения с виртуальной точки обзора и второго изображения с виртуальной точки обзора, формируемых блоком формирования,

причем момент времени вывода блоком вывода первого изображения с виртуальной точки обзора опережает момент времени вывода блоком вывода второго изображения с виртуальной точки обзора.

4. Система обработки изображений по п. 1, дополнительно содержащая:

блок управления выводом, выполненный с возможностью управления выводом первого изображения с виртуальной точки обзора и второго изображения с виртуальной точки обзора, формируемых блоком формирования, таким образом, что первое изображение с виртуальной точки обзора выводится на устройство отображения, а второе изображение с виртуальной точки обзора выводится на другое устройство отображения, отличное от упомянутого устройства отображения.

5. Система обработки изображений по п. 1,

в которой информация о точке обзора, полученная блоком получения информации, указывает виртуальную точку обзора, указанную действием пользователя, в соответствии с отображением изображения на устройстве отображения.

6. Система обработки изображений по п. 1,

в которой блок формирования формирует второе изображение с виртуальной точки обзора путем осуществления обработки изображения для повышения качества изображения в отношении изображения с виртуальной точки обзора, сформированного на основе изображений, основанных на захвате, и информации о точке обзора, и формирует первое изображение с виртуальной точки обзора путем осуществления обработки, выполняемой за время обработки, более короткое или равное порогу, причем обработка соответствует частичной обработке, включенной в обработку для формирования второго изображения с виртуальной точки обзора из изображения с виртуальной точки обзора.

7. Система обработки изображений по п. 1,

в которой первое изображение с виртуальной точки обзора является изображением, представляющим форму объекта, захваченного по меньшей мере одной из множества камер, и

в которой второе изображение с виртуальной точки обзора является изображением, представляющим форму объекта, а также цвет объекта, который не представлен в первом изображении с виртуальной точки обзора.

8. Система обработки изображений по п. 1,

в которой качество изображения, относящееся к изображению с виртуальной точки обзора, формируемому блоком формирования, является числом градаций цвета, включенного в изображение с виртуальной точки обзора.

9. Система обработки изображений по п. 1,

в которой качество изображения, относящееся к изображению с виртуальной точки обзора, формируемому блоком формирования, является разрешением изображения с виртуальной точки обзора.

10. Система обработки изображений по п. 1, дополнительно содержащая:

блок приема, выполненный с возможностью приема инструкции на формирование изображения с виртуальной точки обзора,

причем блок формирования формирует первое изображение с виртуальной точки обзора и второе изображение с виртуальной точки обзора в соответствии с инструкцией на формирование, принятой блоком приема.

11. Система обработки изображений по п. 1,

в которой блок формирования формирует первое изображение с виртуальной точки обзора, второе изображение с виртуальной точки обзора и третье изображение с виртуальной точки обзора, имеющее более высокое качество изображения, чем второе изображение с виртуальной точки обзора, на основе изображений, основанных на захвате, которые получены блоком получения изображения, и информации о точке обзора, полученной блоком получения информации.

12. Система обработки изображений по п. 11,

в которой второе изображение с виртуальной точки обзора является изображением с виртуальной точки обзора, транслируемым в прямом эфире, и

в которой третье изображение с виртуальной точки обзора является изображением с виртуальной точки обзора, транслируемым после записи.

13. Система обработки изображений по п. 1,

в которой блок формирования формирует второе изображение с виртуальной точки обзора путем использования изображений, соответствующих большему числу камер, чем число камер, соответствующих изображениям, используемым для формирования первого изображения с виртуальной точки обзора.

14. Система обработки изображений по п. 1, дополнительно содержащая:

блок вывода, выполненный с возможностью вывода параметра, относящегося к качеству изображения с виртуальной точки обзора, на блок формирования,

причем блок формирования формирует первое изображение с виртуальной точки обзора и второе изображение с виртуальной точки обзора на основе параметра, относящегося к качеству изображения с виртуальной точки обзора, которое выводится из блока вывода.

15. Система обработки изображений по п. 14,

в которой параметр, относящийся к качеству изображения, включает по меньшей мере одно из числа камер, соответствующих захваченным изображениям, используемым для формирования изображения с виртуальной точки обзора, разрешения изображения с виртуальной точки обзора и допустимого времени в качестве времени обработки, относящегося к формированию изображения с виртуальной точки обзора.

16. Система обработки изображений по п. 1,

в которой блок формирования формирует второе изображение с виртуальной точки обзора, имеющее больший объем обработки, относящийся к формированию, чем первое изображение с виртуальной точки обзора.

17. Способ обработки изображений, содержащий:

этап получения изображений, на котором получают изображения, основанные на захвате с множества направлений множеством камер;

этап получения информации, на котором получают информацию о точке обзора, указывающую виртуальную точку обзора; и

этап формирования, на котором формируют изображения с виртуальной точки обзора на основе изображений, полученных на этапе получения изображений, и информации о точке обзора, полученной на этапе получения информации, причем этап формирования включает формирование первого изображения с виртуальной точки обзора, выводимого на устройство отображения, которое отображает пользователю изображение для указания виртуальной точки обзора, а также формирование второго изображения с виртуальной точки обзора, выводимого в пункт назначения вывода, отличный от устройства отображения, путем использования по меньшей мере одного из данных, формируемых в процессе формирования первого изображения с виртуальной точки обзора путем обработки изображений с использованием множества изображений, полученных на этапе получения изображений, и первого изображения с виртуальной точки обзора, причем второе изображение с виртуальной точки обзора имеет более высокое качество изображения, чем первое изображение с виртуальной точки обзора.

18. Способ обработки изображений по п. 17,

в котором второе изображение с виртуальной точки обзора является изображением с виртуальной точки обзора, отображаемым на аудиторию, отличную от пользователя, который указывает виртуальную точку обзора.

19. Способ обработки изображений по п. 17, дополнительно содержащий:

этап вывода, на котором выводят первое изображение с виртуальной точки обзора и второе изображение с виртуальной точки обзора, формируемые на этапе формирования,

причем момент времени вывода первого изображения с виртуальной точки обзора на этапе вывода опережает момент времени вывода второго изображения с виртуальной точки обзора на этапе вывода.

20. Носитель данных, который хранит программу, предписывающую компьютеру выполнять способ обработки изображений, причем способ обработки изображений содержит:

этап получения изображений, на котором получают изображения, основанные на захвате с множества направлений множеством камер;

этап получения информации, на котором получают информацию о точке обзора, указывающую виртуальную точку обзора; и

этап формирования, на котором формируют изображения с виртуальной точки обзора на основе изображений, полученных на этапе получения изображений, и информации о точке обзора, полученной на этапе получения информации, причем этап формирования включает формирование первого изображения с виртуальной точки обзора, выводимого на устройство отображения, которое отображает пользователю изображение для указания виртуальной точки обзора, и также формирование второго изображения с виртуальной точки обзора, выводимого в пункт назначения вывода, отличный от устройства отображения, путем использования по меньшей мере одного из данных, формируемых в процессе формирования первого изображения с виртуальной точки обзора путем обработки изображения с использованием множества изображений, полученных на этапе получения изображения, и первого изображения с виртуальной точки обзора, причем второе изображение с виртуальной точки обзора имеет более высокое качество изображения, чем первое изображение с виртуальной точки обзора.