УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ И НОСИТЕЛЬ ДАННЫХ Российский патент 2020 года по МПК G06T15/20 G06T19/00 

Предпосылки создания

Область техники, к которой относится изобретение

[0001] Настоящее раскрытие относится к изображению с виртуальной точки обзора, формируемому на основе множества захваченных изображений, полученных множеством устройств формирования изображения.

Описание предшествующего уровня техники

[0002] Существует методика для выполнения синхронного формирования изображения с нескольких точек обзора с помощью множества устройств формирования изображения (камер), установленных в различных позициях и формирующих не только изображения, захваченные с позиций установки устройств формирования изображения, но также изображение с виртуальной точки обзора, точки обзора которого могут быть необязательно изменены, с помощью множества изображений, полученных путем синхронного формирования изображений. Изображение с виртуальной точки обзора формируется блоком обработки изображения, таким как сервер, путем сбора изображений, захваченных множеством устройств формирования изображения, формирования трехмерной модели и выполнения процесса воспроизведения. Сформированное изображение с виртуальной точки обзора затем передается пользовательскому терминалу для просмотра.

[0003] Например, изображение с виртуальной точки обзора, соответствующей точкам обзора, установленным пользователем, формируется из изображений, полученных путем захвата спортивного мероприятия, в результате чего пользователь может смотреть игру с желаемых пользователем точек обзора. В выложенной японской патентной заявке № 2014-215828 обсуждается методика, в которой совместное использование виртуальных точек обзора, указанных пользователем, с другими пользователями предоставляет возможность пользователю просматривать изображение с виртуальной точки обзора с ощущением чувства единства с другими пользователями. В выложенной японской патентной заявке № 2014-215828 дополнительно обсуждается методика отображения информации для определения (идентификации) виртуальных точек обзора, указанных множеством пользователей.

[0004] Например, в изображении с виртуальной точки обзора, формируемом из изображений, полученных путем захвата изображения спортивного мероприятия, если могут быть определены сцена или объект (например, игрок) в качестве объекта внимания, к которому пользователь имеет высокую степень внимания, возможно использовать изображение с виртуальной точки обзора для различных применений, таких как создание изображения ключевого момента, которое удовлетворяет множество пользователей. Однако, даже если информация для определения виртуальных точек обзора, указанных множеством пользователей, в определенный момент времени получается с помощью методики, обсужденной в выложенной японской патентной заявке № 2014-215828, нелегко определять сцену или объект в качестве объекта внимания из этой информации. Аналогичная проблема сохраняется не только в случае, когда целью просмотра является спортивное мероприятие, относящееся к изображению с виртуальной точки обзора, но также в случае, когда целью просмотра является другое событие, такое как концерт, относящийся к изображению с виртуальной точки обзора.

Сущность изобретения

[0005] Согласно одному или более аспектам настоящего изобретения, устройство обработки информации включает в себя блок получения, выполненный с возможностью получать информацию о точках обзора, относящуюся к виртуальным точкам обзора, соответствующую изображениям с виртуальных точек обзора, сформированным на основе множества захваченных изображений, полученных множеством устройств формирования изображения, выполняющих захват изображения со множества направлений, блок обнаружения, выполненный с возможностью обнаруживать объект, включенный в по меньшей мере какое-либо из множества захваченных изображений и включенный в поле обзора, соответствующее виртуальной точке обзора, идентифицированной на основе информации о точках обзора, полученной блоком получения, и блок вывода, выполненный с возможностью, исходя из результата обнаружения блока обнаружения, ассоциированного с множеством виртуальных точек обзора, идентифицированных на основе информации о точках обзора, полученной блоком получения, выводить информацию, ассоциированную с множеством виртуальных точек обзора, поле обзора которых включает в себя один и тот же объект.

[0006] Дополнительные признаки настоящего раскрытия сущности станут очевидными из последующего описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

[0007] Фиг. 1 - это схема, иллюстрирующая пример конфигурации системы обработки изображений согласно одному или более аспектам настоящего раскрытия.

[0008] Фиг. 2 - это вид в перспективе, иллюстрирующий пример, где множество виртуальных камер установлены согласно одному или более аспектам настоящего раскрытия.

[0009] Фиг. 3 - это вид с высоты птичьего полета, иллюстрирующий пример, где множество виртуальных камер установлены согласно одному или более аспектам настоящего раскрытия.

[0010] Фиг. 4 - это блок-схема последовательности операций, иллюстрирующая обработку, касающуюся анализа информации виртуальных камер и формирования информации представления, с помощью устройства обработки информации согласно одному или более аспектам настоящего раскрытия.

[0011] Фиг. 5 - это схема, иллюстрирующая пример представления результата анализа информации виртуальных камер согласно одному или более аспектам настоящего раскрытия.

[0012] Фиг. 6 - это вид в перспективе, иллюстрирующий пример, где множество виртуальных камер установлены согласно одному или более аспектам настоящего раскрытия.

[0013] Фиг. 7 - это вид с высоты птичьего полета, иллюстрирующий пример, где установлено множество виртуальных камер.

[0014] Фиг. 8 - это блок-схема последовательности операций, иллюстрирующая обработку, касающуюся анализа информации виртуальных камер и формирования информации представления, с помощью устройства обработки информации согласно одному или более аспектам настоящего раскрытия.

[0015] Фиг. 9 - это схема, иллюстрирующая пример результата анализа информации виртуальных камер согласно одному или более аспектам настоящего раскрытия.

[0016] Фиг. 10A и 10B - это схемы, каждая из которых иллюстрирует пример представления результата анализа информации виртуальных камер согласно одному или более аспектам настоящего раскрытия.

[0017] Фиг. 11 - это блок-схема последовательности операций, иллюстрирующая обработку, касающуюся формирования изображения ключевого момента, с помощью устройства обработки информации согласно одному или более аспектам настоящего раскрытия.

[0018] Фиг. 12 - это схема, иллюстрирующая пример конфигурации аппаратных средств устройства обработки информации согласно одному или более аспектам настоящего раскрытия.

Подробное описание вариантов осуществления

[0019] Примерные варианты осуществления настоящего раскрытия будут описаны подробно ниже со ссылкой на сопровождающие чертежи. Настоящее раскрытие, однако, не ограничивается этими примерными вариантами осуществления, но может быть модифицировано и изменено различными способами в рамках настоящего раскрытия, описанными в прилагаемой формуле изобретения.

Конфигурация системы обработки изображений

[0020] Фиг. 1 - это схема, иллюстрирующая общую конфигурацию системы 100 обработки изображений согласно примерному варианту осуществления настоящего изобретения. Система 100 обработки изображений является системой, предназначенной для, исходя из изображений, полученных путем формирования изображений множеством устройств формирования изображений, и указанных виртуальных точек обзора, формирования изображения с виртуальных точек обзора, представляющего поля обзора с указанных виртуальных точек обзора. Изображение с виртуальной точки обзора согласно настоящему примерному варианту осуществления также называется видеоизображением со свободной точки обзора. Изображение с виртуальной точки обзора, однако, не ограничивается изображением, соответствующим точкам обзора, свободно (необязательно) указываемым пользователем. Примеры изображения с виртуальной точки обзора также включают в себя изображение, соответствующее точкам обзора, выбранным пользователем среди множества вариантов. В настоящем примерном варианте осуществления главным образом описывается случай, когда виртуальные точки обзора указываются действием пользователя. Альтернативно, виртуальные точки обзора могут быть автоматически указаны системой 100 обработки изображений на основе результата анализа изображений. В настоящем примерном варианте осуществления главным образом описывается случай, когда изображение с виртуальной точки обзора является движущимся изображением. Альтернативно, изображение с виртуальной точки обзора, подлежащее обработке системой 100 обработки изображений, может быть фотоизображением (неподвижным изображением).

[0021] Система 100 обработки изображений включает в себя блок 1 хранения изображения с множества точек обзора (далее здесь "блок 1 хранения изображения"), блок 2 хранения информации о субъекте (далее здесь "блок 2 хранения информации"), устройство 3 обработки информации и пользовательские терминалы 4a-4z. На фиг. 1 в качестве примеров с устройством 3 обработки информации соединено 26 пользовательских терминалов 4a-4z. Однако, число пользовательских терминалов, соединенных с устройством 3 обработки информации, не ограничивается этим. Далее здесь, пока не описано иное, 26 пользовательских терминалов 4a-4z будут называться "пользовательскими терминалами 4" без различия. Аналогично, пока не описано иное, функциональные блоки в каждом пользовательском терминале 4 будут также называться "блоком 401 связи терминала", "блоком 402 отображения информации", "блоком 403 указания пути виртуальной камеры" (далее здесь "блок 403 указания пути") и "блоком 404 передачи пользовательской информации" без различия.

[0022] Блок 1 хранения изображения сохраняет изображения (изображения с множества точек обзора), полученные с помощью целевой области отображения, изображаемой со множества различных направлений с помощью множества устройств формирования изображения. Целевая область формирования изображения включает в себя заданный объект (объект переднего плана), например, певца, музыканта-инструменталиста, актера и декорацию/реквизит или игрока и мяч в случае спортивного мероприятия. Множество устройств формирования изображения устанавливают вокруг целевой области формирования изображения и выполняют синхронное формирование изображений. Таким образом, по меньшей мере какое-либо из множества захваченных изображений, получаемых множеством устройств формирования изображений, включает в себя заданный объект в целевой области формирования изображения. Изображения, сохраненные в блоке 1 хранения изображения, могут быть множеством самих захваченных изображений или могут быть изображениями, полученными путем обработки изображений, выполняемой по множеству захваченных изображений.

[0023] Блок 2 хранения информации сохраняет информацию, касающуюся цели формирования изображения. В частности, блок 2 хранения информации сохраняет информацию о трехмерной модели (далее здесь "модели заднего плана (фона)") относительно объекта в качестве заднего плана (объекте фона) в изображении с виртуальной точки обзора, таком как сцена концертного зала, поле стадиона или зрительный зал. Блок 2 хранения информации дополнительно сохраняет информацию трехмерной модели о каждом объекте переднего плана в естественном состоянии, в том числе характерную информацию, необходимую для индивидуального распознавания или распознавания ориентации объекта переднего плана, и трехмерную пространственную информацию, указывающую диапазон, где могут быть заданы виртуальные точки обзора. Естественное состояние относится к состоянию, когда на поверхность объекта переднего плана наиболее легко смотреть. Например, если объект переднего плана является человеком, естественное состояние может быть положением стоя, когда четыре конечности человека являются вытянутыми. Кроме того, блок 2 хранения информации сохраняет информацию, касающуюся сцены, относящуюся к цели формирования изображения, такую как информация планирования времени, относящаяся к началу представления и повороту сцены, или запланированные события, такие как сольная партия и действие или начало матча и перерыв между таймами. От блока 2 хранения информации может не требоваться сохранять все вышеупомянутые порции информации и может требоваться удерживать только по меньшей мере какую-либо из вышеупомянутых порций информации.

[0024] Устройство 3 обработки информации включает в себя блок 301 формирования изображения с виртуальной точки зрения (далее здесь "блок 301 формирования изображения"), блок 302 вычисления пути виртуальной камеры (далее здесь "блок 302 вычисления пути") и блок 303 анализа информации виртуальной камеры (далее здесь "блок 303 анализа"). Устройство 3 обработки информации дополнительно включает в себя блок 304 формирования информации представления (далее здесь "блок 304 формирования информации"), блок 305 отображения информации, блок 306 управления пользовательской информацией (далее здесь "блок 306 управления информацией") и блок 307 связи устройства.

[0025] Блок 301 формирования изображения формирует информацию трехмерной модели (далее здесь "модели переднего плана") для объекта(ов) переднего плана на основе изображений с множества точек обзора, полученных от блока 1 хранения изображений. Затем блок 301 формирования изображения выполняет, для сформированных моделей переднего плана и модели заднего плана, полученных от блока 2 хранения информации, сопоставление на текстурных изображениях в соответствии с путями виртуальной камеры, полученными от блока 302 вычисления пути. Блок 301 формирования изображения затем выполняет воспроизведение, тем самым формируя изображение с виртуальной точки обзора. Формируемое изображение с виртуальной точки обзора соответствует путям виртуальной камеры и передается на пользовательские терминалы 4 через блок 307 связи устройства. В этом процессе формирования, со ссылкой на характерную информацию об объектах переднего плана, хранимую в блоке 2 хранения информации, блок 301 формирования изображения идентифицирует объекты переднего плана и ассоциирует индивидуальные идентификаторы (ID) (далее здесь "ID объектов переднего плана") объектов переднего плана с моделями переднего плана. Альтернативно, пользователь системы 100 обработки изображения может визуально идентифицировать сформированные модели переднего плана и вручную ассоциировать ID объектов переднего плана с моделями переднего плана. Блок 301 формирования изображения формирует информацию элемента субъекта, относящуюся к элементам переднего плана, включенным в изображение с виртуальной точки обзора, исходя из характерной информации об объектах переднего плана. Элементы переднего плана относятся к элементам (частям), включенным в некоторый объект переднего плана. Например, если объект переднего плана является человеком, элементы переднего плана являются частями тела человека, такими как передняя сторона лица, затылок, передняя сторона туловища, спина и правая рука. Кроме того, информация об элементе субъекта включает в себя информацию, указывающую множество ID (далее здесь "ID элементов переднего плана"), позиции и ориентацию элементов переднего плана, включенных в создаваемое изображение с виртуальной точки обзора (захватываемое виртуальными камерами). Блок 301 формирования изображения передает ID объектов переднего плана и информацию об элементе субъекта в блок 303 анализа.

[0026] Блок 302 вычисления пути получает временно непрерывную информацию виртуальной камеры (информацию о точке обзора) на основе информации инструкции, соответствующей действию пользователя в блоке 403 указания пути каждого пользовательского терминала 4, или информации, полученной от блока 303 анализа. Блок 302 вычисления пути затем задает пути виртуальной камеры, которые являются путями перемещения виртуальных камер, соответствующих формируемому изображению с виртуальной точки обзора. Информация с виртуальной камеры включает в себя позицию (местоположение) и ориентацию каждой виртуальной камеры (каждой виртуальной точки обзора). Информация виртуальной камеры может дополнительно включать информацию, касающуюся угла обзора и фокусного расстояния виртуальной камеры. Кроме того, каждая порция информации виртуальной камеры включает номер кадра, назначенный изображениям с множества точек обзора, и информацию о времени, ассоциированную с временным кодом, с тем, чтобы было возможно идентифицировать (определить), какому моменту захваченной сцены соответствует упомянутая информация. При вычислении информации виртуальной камеры, со ссылкой на трехмерную пространственную информацию, полученную от блока 2 хранения информации, блок 302 вычисления пути задает пути виртуальной камеры в диапазоне, где виртуальные точки обзора являются задаваемыми.

[0027] Блок 303 анализа анализирует цель привлечения внимания пользователей, которые указывают пути виртуальной камеры, на основе ID объектов переднего плана и информации о рассматриваемом элементе, принятой от блока 301 формирования изображения, и информации виртуальной камеры, принятой от блока 302 вычисления пути. Примеры цели привлечения внимания включают объект переднего плана, на который вероятно обращает внимание множество пользователей, и сцену, на которой концентрируются линии визирования виртуальных камер множества пользователей.

[0028] Блок 304 формирования информации формирует информацию на основе результата анализа блока 303 анализа. Примеры информации, сформированной блоком 304 формирования информации, включают графические данные и текстовые данные, в которых результат анализа визуализируется таким образом, что пользователь может интуитивно улавливать результат анализа. Альтернативно, информация, сформированная блоком 304 формирования информации, может быть, например, изображением ключевого момента, полученным путем редактирования, которое удовлетворяет множество пользователей, таким как изображение, полученное за счет захвата сцен, на которых концентрируются линии визирования виртуальных камер множества пользователей. Анализ, осуществляемый блоком 303 анализа, и формирование информации, осуществляемое блоком 304 формирования информации, будут описаны подробно ниже.

[0029] Блок 305 отображения информации отображает различные типы информации, касающейся управления системой 100 обработки изображений, информации, принятой от пользовательских терминалов 4, и информации представления, сформированной блоком 304 формирования информации. Информация представления, сформированная блоком 304 формирования информации, может быть выведена в блок хранения устройства 3 обработки информации или внешнее устройство, или информация, полученная за счет информации представления, обрабатываемая позже, может быть представлена пользователю. Устройство 3 обработки информации может представлять по меньшей мере часть информации, сформированной блоком 304 формирования изображения, пользователю, не отображая изображение через блок 305 отображения информации, но воспроизводя звук через динамик (не проиллюстрирован).

[0030] Блок 306 управления информацией принимает пользовательскую информацию, такую как ID пользователя, касающуюся пользователя, управляющего каждым пользовательским терминалом 4, от блока 404 передачи пользовательской информации пользовательского терминала 4 через блок 401 связи терминала и блок 307 связи устройства и сохраняет пользовательскую информацию. Блок 306 управления информацией управляет изображением и различными порциями информации, такими как информация о пути камеры, передаваемая и принимаемая между устройством 3 обработки информации и пользовательским терминалом 4 таким способом, что ассоциация между информацией и ID пользователя сохраняется даже во время различных процессов, выполняемыми в устройстве 3 обработки информации. Это может реализовывать выполнение различных процессов и обмена различными порциями информации с множеством пользовательских терминалов 4.

[0031] Блок 307 связи устройства передает и принимает изображение, звук и текстовые данные, подлежащие обмену между устройством 3 обработки информации и пользовательскими терминалами 4 по сети (не проиллюстрирована), и информацию инструкции, такую как указания путей виртуальной камеры, отправляемые из пользовательских терминалов 4, когда формируется изображение с виртуальной точки обзора. Согласно инструкции от блока 306 управления информацией, блок 307 связи устройства определяет партнера(ов) по связи, связанных с передачей и приемом этих порций информации.

[0032] Каждый пользовательский терминал 4 включает в себя блок 401 связи терминала, блок 402 отображения изображения, блок 403 указания пути и блок 404 передачи пользовательской информации. Блок 401 связи терминала передает и принимает различные порции информации к и от блока 307 связи устройства для устройства 3 обработки информации, как описано выше. Блок 402 отображения изображения отображает изображение с виртуальной точки обзора и информацию представления, полученную от устройства 3 обработки информации.

[0033] Блок 403 указания пути принимает действие пользователя, указывающее путь виртуальной камеры, и передает информацию инструкции на основе этого действия блоку 302 вычисления пути устройства 3 обработки информации через блок 401 связи терминала и блок 307 связи устройства. Здесь пользователь необязательно может быть должен точно указывать все порции информации виртуальной камеры для всего периода изображения с виртуальной точки обзора, который пользователь желает просматривать. Например, также возможно вводить инструкции на основе различных точек обзора в такой ситуации, когда пользователь хочет просматривать изображение с виртуальной точки обзора, которое привлекает внимание к конкретному певцу или игроку, когда пользователь хочет просматривать изображение в некотором диапазоне вокруг мяча или когда пользователь хочет просматривать изображение участка, где происходит событие, которому пользователь должен уделить больше внимания. В случае, когда какая-либо из этих инструкций вводится, блок 403 указания пути передает информацию инструкции, и блок 302 вычисления пути устройства 3 обработки информации формирует информацию виртуальной камеры на основе этой инструкции. Альтернативно, блок 403 указания пути может автоматически указывать путь виртуальной камеры и передавать информацию инструкции, соответствующую указанию. Блок 404 передачи пользовательской информации назначает пользовательскую информацию, такую как ID пользователя, информации, передаваемой от блока 401 связи терминала блоку 307 связи устройства.

[0034] Конфигурация системы 100 обработки изображения не ограничивается тем, что иллюстрировано на фиг. 1. Например, блок 1 хранения изображения или блок 2 хранения информации могут быть включены в устройство 3 обработки информации. Дополнительно, блок 301 формирования изображения или блок 305 отображения информации могут быть включены в устройство, отличное от устройства 3 обработки информации.

[0035] Далее, со ссылкой на фиг. 12, описывается конфигурация аппаратных средств устройства 3 обработки информации. Устройство 3 обработки информации включает в себя центральный процессор (CPU) 1101, постоянное запоминающее устройство (ROM) 1102, оперативное запоминающее устройство (RAM) 1103, внешнее запоминающее устройство 1104, блок 1105 отображения, операционный блок 1106, интерфейс (I/F) 1107 связи и шину 1108.

[0036] CPU 1101 управляет всем устройством 3 обработки информации с помощью компьютерной программы и данных, сохраненных в ROM 1102 или RAM 1103. Альтернативно, устройство 3 обработки информации может включать в себя одно или более специализированных аппаратных устройств, отличных от CPU 1101, и упомянутые одно или более специализированных аппаратных устройств могут выполнять по меньшей мере часть обработки CPU 1101. Примеры специализированных аппаратных устройств включают в себя специализированную интегральную схему (ASIC), программируемую пользователем вентильную матрицу (FPGA) и цифровой сигнальный процессор (DSP). ROM 1102 хранит программу и параметр, который не должен изменяться. RAM 1103 временно хранит программу и данные, поступившие с внешнего запоминающего устройства 1104, и данные, поступившие извне через I/F 1107 связи. Внешнее запоминающее устройство 1104 включает в себя, например, накопитель на жестком диске и хранит различные типы данных, такие как данные изображений, звуковые данные и информацию о пути виртуальной камеры.

[0037] Блок 1105 отображения включает в себя, например, жидкокристаллический дисплей или светоизлучающий диод (LED) и отображает графический пользовательский интерфейс (GUI), чтобы пользователь управлял устройством 3 обработки информации. Операционный блок 1106 включает в себя, например, клавиатуру, мышь и сенсорную панель. Операционный блок 1106 воспринимает действие пользователя и вводит различные инструкции в CPU 1101. I/F 1107 связи используется для связи с внешним устройством, таким как каждый пользовательский терминал 4. В случае, когда, например, устройство 3 обработки информации соединяется проводным образом с внешним устройством, кабель связи соединяется с I/F 1107 связи. В случае, когда устройство 3 обработки информации имеет функцию беспроводной связи с внешним устройством, I/F 1107 связи включает в себя антенну. Шина 1108 соединяет компоненты устройства 3 обработки информации и передает информацию.

[0038] В настоящем примерном варианте осуществления блок 1105 отображения и операционный блок 1106 предусматриваются в устройстве 3 обработки информации. Альтернативно, устройство 3 обработки информации может не включать в себя по меньшей мере блок 1105 отображения и операционный блок 1106. Еще альтернативно, по меньшей мере один из блока 1105 отображения и операционного блока 1106 может быть предусмотрен в качестве другого устройства снаружи устройства 3 обработки информации, и CPU 1101 может работать в качестве блока управления отображением для управления блоком 1105 отображения или блока управления работой для управления операционным блоком 1106.

Анализ объекта внимания

[0039] Ниже с помощью конкретного примера предоставляется описание процесса, в котором устройство 3 обработки информации побуждает блок 303 анализа анализировать информацию виртуальной камеры и побуждает блок 304 формирования информации формировать информацию представления на основе результата анализа.

[0040] Фиг. 2 иллюстрирует поля обзора виртуальных камер C1-C4 (Cu; u=1-4), индивидуально указанных для четырех пользователей (ID пользователей являются u; u=1-4) с помощью соответствующего одного из пользовательских терминалов 4 в некоторое время T во время формирования изображения. Фиг. 3 - это схематичный вид сверху для фиг. 2. Область A является целевой областью анализа, которая является, в целевой области формирования изображения, целью для анализа информации виртуальной камеры. Область A является, например, трехмерным пространством, имеющим высоту в диапазоне, где со сцены в качестве цели формирования изображения дается представление. Целевая область анализа может быть задана на основе пользовательского действия на устройстве 3 обработки информации или может быть задана блоком 303 анализа на основе информации виртуальной камеры. Область B является диапазоном, где могут устанавливаться виртуальные камеры Cu. Фиг. 2 и 3 иллюстрируют объекты P-X переднего плана, такие как певцы и танцоры. Здесь ID объектов переднего плана для объектов P-X переднего плана также являются P-X соответственно, которые являются такими же ссылочными номерами, что и ссылочные номера на фиг. 3.

[0041] Со ссылкой на фиг. 4 предоставляется описание обработки, касающейся анализа информации виртуальной камеры и формирования информации представления, как иллюстрировано в примерах на фиг. 2 и 3. Обработка, проиллюстрированная на фиг. 4, начинается в момент времени, когда в устройство 3 обработки информации вводится инструкция анализировать информацию виртуальной камеры или формировать информацию представления. Эта инструкция может быть предоставлена с помощью пользовательского действия, выполняемого на устройстве 3 обработки информации, или может быть введена из пользовательского терминала(ов) 4. Момент начала обработки, проиллюстрированной на фиг. 4, однако, не ограничивается этим. Обработка, проиллюстрированная на фиг. 4, реализуется посредством CPU 1101, загружающего программу, сохраненную в ROM 1102, в RAM 1103 и выполняющего эту программу. По меньшей мере часть обработки, проиллюстрированной на фиг. 4, может быть реализована одним или более специализированными аппаратными устройствами, отличными от CPU 1101. То же применяется к обработке, проиллюстрированной на блок-схеме последовательности операций на фиг. 8 (описана ниже).

[0042] Сначала, на этапе S1000 инициализируются различные параметры, используемые для обработки на фиг. 4. Более конкретно, задаются число виртуальных камер Cu (umax) в качестве целей анализа и период формирования изображения (Tmax) в качестве цели анализа, выбирается одна из виртуальных камер Cu в качестве целей анализа (u=1), и указывается время начала периода формирования изображения в качестве цели (T=0). Виртуальные камеры Cu в качестве цели анализа и период в качестве цели анализа могут быть определены на основе действия пользователя или могут быть определены автоматически. Например, что касается виртуальных камер Cu, все виртуальные камеры, указанные пользовательскими терминалами 4, соединенными с устройством 3 обработки информации, когда выполняется анализ, могут быть определены в качестве целей анализа, или виртуальные камеры, указанные в прошлом пользовательскими терминалами 4, соединенными с устройством 3 обработки информации, могут быть определены в качестве целей анализа. Устройство 3 обработки информации может определять, в качестве целей анализа, виртуальные камеры, соответствующие пользователю(ям), имеющим конкретные атрибуты, на основе информации, управляемой блоком 306 управления информацией.

[0043] На этапе S1001 блок 303 анализа получает от блока 301 формирования изображения ID объекта переднего плана и информацию рассматриваемого элемента об объекте переднего плана, включенном в поле обзора выбранной виртуальной камеры Cu в указанное время T. На этапе S1002 блок 303 анализа добавляет к числу N счета субъекта (первоначальное значение на этапе S1000 равно нулю), назначенному элементу переднего плана, соответствующему информации рассматриваемого элемента (элемента переднего плана, включенного в поле обзора виртуальной камеры Cu). Чтобы определить, какой объект переднего плана включен в поле обзора виртуальной камеры Cu, может быть использован результат определения, выполненного, когда блок 301 формирования изображения формирует изображение с виртуальной точки обзора в соответствии с виртуальной камерой Cu. Однако, способ обнаружения объекта переднего плана, включенного в поле обзора виртуальной камеры Cu, не ограничивается этим. Альтернативно, блок 303 анализа может выполнять определение на основе информации о местоположении одного или более объектов переднего плана, полученной на основе изображений с множества точек обзора, и информации виртуальной камеры, полученной блоком 302 вычисления пути. Еще альтернативно, блок 303 анализа может анализировать изображение с виртуальной точки обзора, сформированное блоком 301 формирования изображения и соответствующее виртуальной камере Cu, тем самым определяя объект, включенный в изображение с виртуальной точки обзора, т.е. объект, включенный в поле обзора виртуальной камеры Cu.

[0044] На этапе S1003 блок 303 анализа определяет, выполняются ли процессы этапов S1001 и S1002 по всем виртуальным камерам Cu в качестве целей анализа (действительно ли u=umax). Если существует виртуальная камера Cu, которая еще не была обработана (Нет на этапе S1003), обработка переходит к этапу S1004. На этапе S1004 выбирается другая виртуальная камера Cu (u=u+1), и обработка возвращается к этапу S1001. Таким образом, вышеописанный подсчет субъектов на этапах S1001 и S1002 выполняется для всех виртуальных камер Cu в качестве целей анализа.

[0045] На этапе S1005 блок 303 анализа определяет, выполняются ли процессы этапов S1001-S1004 по всему анализируемому периоду формирования изображений (действительно ли T=Tmax). Если существует время T, которое еще не было обработано (Нет на этапе S1005), обработка переходит к этапу S1006. На этапе S1006 указывается следующее время T (T=T+ΔT), и обработка возвращается к этапу S1001. Таким образом, вышеописанный подсчет субъектов на этапах S1001-S1004 выполняется в течение всего анализируемого периода формирования изображений.

[0046] В результате процессов этапов S1001-S1006, для каждого элемента переднего плана, получается число N счета субъекта, пропорциональное числу виртуальных камер Cu, поля обзора которых включают в себя элемент переднего плана и время T. На этапе S1007 полученное число N счета субъекта умножается на относительную важность D. Относительная важность D указывает степень важности каждого элемента переднего плана и необязательно определяется заранее. Например, в случае, когда объект переднего плана является человеком, относительная важность D может быть определена так, что чем ближе к лицу элемент переднего плана (часть тела) находится, тем больше относительная важность D. На этапе S1008 для каждого объекта переднего плана блок 303 анализа суммирует взвешенные подсчитанные числа N × D для множества элементов переднего плана, включенных в объект переднего плана. Этот суммарный результат ΣND является баллом M субъекта, указывающим степень внимания объекту переднего плана.

[0047] Далее, на этапе S1009 блок 304 формирования информации определяет способ отображения для отображения элементов переднего плана, соответствующих числам N счета субъектов. Более конкретно, способом цветной тепловой карты, цвета отображения элементов переднего плана определяются в порядке красного для элемента переднего плана, имеющего наибольшее число N счета субъекта, оранжевого, желтого и зеленого для промежуточных чисел N счета субъекта, и синего для элемента переднего плана, имеющего наименьшее число N счета субъекта, в соответствии с правилом ступенчатого изменения, определенным заранее. Способ отображения для отображения элементов переднего плана, однако, не ограничивается этим. Способ отображения может быть любым способом отображения, предоставляющим возможность идентификации элементов переднего плана, числа N счета субъекта которых отличаются друг от друга на некоторое число или более. Например, элемент переднего плана, имеющий число N счета субъекта=0, может быть бесцветным, или величина каждого числа N счета субъекта может быть представлена тенью единственного оттенка или различием текстуры. Кроме того, по результату определения цветов отображения всех элементов переднего плана пограничный процесс для устранения линий границ между элементами переднего плана может быть выполнен таким образом, чтобы границы между цветами были плавными. Еще, кроме того, число N счета субъекта может быть отображено как оно есть в качестве числового значения рядом с каждым элементом переднего плана. Эти способы представления могут быть объединены вместе.

[0048] На этапе S1010 блок 304 формирования изображения формирует информацию о рейтинге субъекта. Сначала блок 304 формирования информации применяет цвета отображения, определенные на этапе S1009, к модели естественного состояния объекта переднего плана, полученной от блока 2 хранения информации. В этом окрашивании модель естественного состояния может быть полупрозрачно окрашена многослойным образом, так что оригинальный цвет и дизайн объекта переднего плана и видимость детализированной формы объекта переднего плана сохраняются. Затем блок 304 формирования информации формирует изображение для отображения этой окрашенной модели объекта переднего плана вместе с графикой и текстом, указывающими рейтинг в порядке ранжирования, соответствующем вышеописанному баллу M субъекта. Сформированное изображение отображается в блоке 305 отображения информации. Фиг. 5 иллюстрирует пример изображения, отображенного в это время.

[0049] На фиг. 5, для иллюстративных причин величина каждого числа N счета субъекта представляется тенью цвета, и границы в отображении плавно корректируются. Однако, различные варианты являются применимыми, как описано выше. Поскольку модель объекта переднего плана является трехмерной моделью, ориентация объекта может быть способна свободно изменяться. Хотя модель естественного состояния объекта переднего плана отображается на фиг. 5, модель объекта переднего плана в любой момент, такая как модель объекта переднего плана в момент, когда число N счета субъекта для объекта переднего плана наиболее колеблется, может быть отображена с помощью способа, как на фиг. 5. Такое отображение представляет возможность пользователю, смотрящему на дисплей, легко улавливать не только то, какому объекту переднего плана уделяется внимание, но также в какой сцене внимание уделяется объекту переднего плана. Кроме того, информация, сформированная блоком 304 формирования информации и представленная пользователю, может быть должна лишь включать в себя информацию, соответствующую результату определения для определения объекта, включенного в поле обзора каждой из множества виртуальных камер, и не ограничивается отображением рейтинга, как на фиг. 5. Например, может быть отображено изображение, в котором объекты переднего плана в изображении с виртуальной точки обзора конкретной сцены в периоде формирования изображения окрашиваются в соответствии с числами N счета субъектов. Альтернативно, числовые значения, соответствующие числам N счет субъектов, могут быть отображены на изображении с виртуальной точки обзора. Вышеописанные примеры различных типов информации представления основываются на числе виртуальных камер Cu, поля обзора которых включают в себя один и тот же объект. Это предоставляет возможность пользователю легко улавливать степень внимания каждому объекту. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, может быть представлена информация, просто указывающая, включен ли заданный объект в поле обзора какой-либо из множества виртуальных камер.

[0050] Это является последовательностью операций, касающейся анализа информации виртуальной камеры и представления информации. Другими словами, это является последовательностью операций, в которой цель внимания пользователей анализируется путем определения того, на какой элемент направлено больше виртуальных камер, и какой объект переднего плана включает в себя этот элемент, и результат анализа визуализируется.

[0051] В вышеприведенном описании, если каждый элемент переднего плана включен в поле обзора некоторой виртуальной камеры в некоторый момент, единица одинаково добавляется к числу N счета субъекта. Способ подсчета, однако, не ограничивается этим. Блок 303 анализа может выполнять подсчет, определяя объект, включенный в диапазон в поле обзора, соответствующий позиции и ориентации виртуальной камеры, идентифицированной (определенной) на основе информации виртуальной камеры. Этот диапазон в поле обзора виртуальной камеры не ограничивается диапазоном, соответствующим полю обзора виртуальной камеры (диапазоном изображения с виртуальной точки обзора, соответствующего виртуальной камере). Например, значение может быть добавлено к счету субъекта для объекта, включенного в часть диапазона, соответствующего полю обзора виртуальной камеры, такого как заданный диапазон в поле обзора виртуальной камеры и близко к центру поля обзора, и значение может не быть добавлено к счету субъекта для объекта, содержащегося за пределами заданного диапазона. Дополнительно, на основе позиции или ориентации элемента переднего плана, значение, которое должно быть добавлено к числу N счета субъекта, может быть отличным от единицы. Например, значение может быть добавлено к числу N счета субъекта для элемента переднего плана так, что чем ближе к передней стороне элемента переднего плана находится ориентация виртуальной камеры, т.е. когда вектор направления виртуальной камеры и вектор направления элемента переднего плана непосредственно противостоят друг другу, добавляемое значение увеличивается. Альтернативно, значение может быть добавлено к числу N счета субъекта элемента переднего плана так, что чем ближе к виртуальной камере находится позиция элемента переднего плана, тем больше число. Еще альтернативно, значение может быть добавлено к числу N счета субъекта для элемента переднего плана так, что чем ближе к центру поля обзора виртуальной камеры находится позиция элемента переднего плана или чем ближе к сфокусированной позиции виртуальной камеры находится позиция элемента переднего плана, тем больше значение. Дополнительно, в случае, когда пользователь не указывает конкретную информацию виртуальной камеры, но предоставляет инструкцию, указывающую, что пользователь хочет просматривать изображение с виртуальной точки обзора, в котором внимание уделяется конкретному объекту переднего плана, к числу N счета субъекта для объекта переднего плана может быть добавлено особенно большое значение. Таким образом, ясное намерение пользователя о просмотре конкретного объекта переднего плана может быть отражено в результате анализа. В то время как некоторые правила добавления для числа N счета субъекта были описаны выше, настоящее раскрытие не ограничивается ими. Альтернативно, множество правил добавления могут быть объединены вместе.

[0052] В вышеприведенном описании число N счета субъекта вычисляется для каждой части объекта переднего плана (для каждого элемента переднего плана), и информация отображается так, что может быть уяснена степень внимания к каждой части. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, весь объект переднего плана может быть однородно окрашен на основе балла M субъекта для объекта переднего плана. Еще альтернативно, окрашивание может не выполняться, а балл M субъекта для каждого объекта переднего плана и информация на основе балла M субъекта могут быть просто отображены в виде текста. В случае, когда каждый элемент переднего плана не кодируется цветом, число N счета субъекта в обработке, проиллюстрированной на фиг. 4, может также быть вычислено для каждого объекта переднего плана. Например, в случае, когда в целевую область формирования изображения включен человек, тогда вместо выполнения подсчета путем определения того, содержатся ли части тела человека в поле обзора виртуальной камеры, подсчет может быть выполнен путем определения того, включен ли человек в поле обзора виртуальной камеры. Если подсчет выполняется таким образом для каждого объекта, возможно уменьшить объем обработки по сравнению со случаем, когда подсчет выполняется для каждого элемента переднего плана. Устройство 3 обработки информации может переключать вышеупомянутые различные способы отображения на основе инструкции, предоставленной пользователем и введенной в устройство 3 обработки информации, или атрибута пользователя.

Анализ привлекающей внимание сцены

[0053] В вышеприведенном описании был описан пример, когда путем анализа идентифицируется (определяется) объект, которому множество пользователей уделяют больше внимания, чем другим объектам, и представляется информация, обеспечивающая возможность идентификации объекта внимания. В отличие от этого, ниже предоставляется описание примера, когда путем анализа идентифицируется (определяется) время, когда линии визирования множества виртуальных камер концентрируются на некотором диапазоне, т.е. сцене, которой множество пользователей уделяют больше внимания, и представляется информация, обеспечивающая возможность идентификации привлекающей внимание сцены. В последующем описании процессы и цели, аналогичные процессам и целям в вышеописанной последовательности обработки, касающейся анализа объекта внимания, обозначаются теми же ссылочными номерами и не описываются.

[0054] Фиг. 6 иллюстрирует поля обзора виртуальных камер C1-C4 (Cu; u=1-4), индивидуально указанных четырьмя пользователями (ID пользователей являются u; u=1-4) с помощью пользовательских терминалов 4 в некоторое время T во время формирования изображения. Фиг. 7 - это схематичный вид сверху для фиг. 6. Фиг. 6 и 7 отличаются от фиг. 2 и 3 тем, что область A в качестве целевой области анализа на фиг. 6 и 7 делится на заданное число блоков в трех направлениях в трехмерной системе XYZ координат. В последующем описании разделенные блоки называются блоками, на которые область A разделяется. Размеры и число разделенных блоков задаются заранее в устройстве 3 обработки информации, но могут быть заданы на основе пользовательского действия.

[0055] Со ссылкой на фиг. 8 предоставляется описание последовательности обработки, касающейся анализа информации виртуальной камеры и формирования информации представления, как иллюстрировано в примерах на фиг. 6 и 7. Момент начала обработки, проиллюстрированной на фиг. 8, аналогичен моменту начала обработки на фиг. 4. Отличия от фиг. 4 главным образом описываются ниже.

[0056] Сначала, на этапе S2000 инициализируются различные параметры, используемые для обработки на фиг. 8. На этапе S2001 блок 303 анализа получает от блока 301 формирования изображения информацию об элементе субъекта, касающуюся элемента переднего плана для объекта переднего плана, включенного в поле обзора виртуальной камеры Cu. На этапе S2002 блок 303 анализа определяет, присутствует ли разделенный блок, включающий по меньшей мере часть элемента переднего плана, соответствующего информации об элементе субъекта (элементе переднего плана, включенном в поле обзора виртуальной камеры Cu). Если соответствующий разделенный блок присутствует (Да на этапе S2002), тогда на этапе S2003 блок 303 анализа добавляет единицу к числу N'(T) счета субъекта (первоначальное значение на этапе S2000 равно нулю) в момент времени T, назначенный разделенному блоку. Если соответствующий разделенный блок отсутствует на этапе S2002 (Нет на этапе S2002), процесс этапа S2003 не выполняется, и обработка переходит к этапу S2004.

[0057] Посредством процессов этапов S2004-S2005 вышеупомянутый подсчет субъекта выполняется по всем виртуальным камерам Cu в качестве целей анализа. В результате для каждого разделенного блока получается число N'(T) счета субъекта, соответствующего числу виртуальных камер Cu, поля обзора которых включают в себя разделенный блок. Фиг. 9 иллюстрирует примеры чисел N'(T) счета субъекта для разделенных блоков в некоторое время T. В то время как фиг. 9 для легкости описания иллюстрирует числа счета в схематичном виде сверху, аналогичном виду на фиг. 7, на практике подсчет субъектов выполняется по каждому из разделенных блоков в трехмерном пространстве, как иллюстрировано на фиг. 6. Затем, посредством этапов S2006 и S2007, такой подсчет субъектов выполняется по каждому разделенному блоку для каждого времени T, включенного в период формирования изображения (T=0 по Tmax) в качестве цели анализа.

[0058] На этапе S2008 блок 304 формирования информации идентифицирует (определяет) из чисел N'(T) счета субъектов блоков в каждое время T, вычисленных блоком 303 анализа, максимальное число N'max(T) счета, которое является максимальным значением для чисел N'(T) счета субъектов во время T. Другими словами, максимальное число N'max(T) счета является числом N'(T) счета субъекта разделенного блока, на котором точки обзора большинства виртуальных камер Cu концентрируются во время (момент) T. Затем блок 304 формирования информации формирует информацию с максимальным числом N'max(T) счета, наносимым на график, горизонтальная ось которого является временем T. В это время блок 304 формирования информации может добавлять на ось времени событие, которое происходит во время формирования изображения, такое как удар или гол, или временной график, полученный от блока 2 хранения информации, такой как начало матча и перерыв. Сформированное изображение отображается в блоке 305 отображения информации. Фиг. 10A иллюстрирует пример отображенного изображения.

[0059] На фиг. 10A отображаются вычисленное максимальное число N'max(T) счета, линия, указывающая пороговое значение для максимального числа N'max(T) счета, и информация, относящаяся ко времени возникновения события. Информация, касающаяся времени возникновения каждого события, может быть вручную введена после формирования изображения или может быть создана с помощью сцены, автоматически определяемой из изображения, полученного путем формирования изображения. Альтернативно, пороговое значение для максимального числа N'max(T) счета может быть вручную задано пользовательским действием или может быть задано автоматически. Например, пороговое значение может быть задано на основе среднего значения для максимальных чисел N'max(T) счета во всем периоде формирования изображения в качестве цели. Кроме того, информация, сформированная блоком 304 формирования информации, может быть не только примером по фиг. 10A, когда плавная линия соединяет максимальные числа N'max(T) счета в соответствующие моменты времени, но также любой информацией, касающейся времени или периода, когда присутствует представляющая интерес область, включенная в диапазон в полях обзора множества виртуальных камер. Например, информация, сформированная блоком 304 формирования информации, может быть в форме точечного графика или столбчатой диаграммы или может быть в форме, в которой числовое значение, указывающее степень внимания в каждое время, отображается в виде текста. В качестве еще одного примера, величина степени внимания может быть представлена с помощью полосы по оси времени, имеющей некоторую ширину, окрашенную способом цветной тепловой карты, или окраска может быть объединена с вышеописанными другими представлениями.

[0060] Информация, сформированная блоком 304 формирования информации, может не обязательно указывать максимальные числа N'max(T) счета во все моменты времени. Например, информация, сформированная блоком 304 формирования информации, может быть должна включать в себя только информацию, указывающую один или более моментов времени или периодов в периоде формирования изображения, таких как время или период, когда максимальное число N'max(T) счета превышает пороговое значение, или время или период, когда максимальное число N'max(T) счета падает ниже порогового значения. В качестве еще одного примера, информация, сформированная блоком 304 формирования информации, может указывать время, когда максимальное число N'max(T) счета является наибольшим, или время, когда максимальное число N'max(T) счета является наименьшим. Кроме того, в изображении с виртуальной точки обзора для конкретной сцены в периоде формирования изображения может быть отображены информация, указывающая, имеет ли сцена высокую степень внимания (превышает ли максимальное число N'max(T) счета пороговое значение), или числовое значение, соответствующее максимальному числу N'max(T) счета.

[0061] Это является последовательностью операций для анализа информации виртуальной камеры и представления информации. Т.е. это является последовательностью операций, в которой цель внимания пользователей анализируется путем определения того, на какой элемент направлено больше виртуальных камер, и какой объект переднего плана включает в себя элемент, и результат анализа визуализируется.

[0062] Как и в вышеприведенном описании, касающемся анализа объекта внимания, блок 303 анализа может выполнять определение по объекту, включенному не только во все поле обзора виртуальной камеры, но также по объекту, включенному в диапазон, соответствующий позиции и ориентации виртуальной камеры, с выполнением подсчета. Значение, добавляемое к каждому счету, может не быть постоянным. В вышеприведенном описании со ссылкой на фиг. 8 идентифицируется (определяется) элемент переднего плана, включенный в поля обзора виртуальных камер, и подсчет субъекта выполняется по каждому разделенному блоку на основе идентифицированного элемента переднего плана. Однако, подсчет может быть выполнен не по каждому элементу переднего плана, а по каждому объекту переднего плана. Другими словами, может быть идентифицирован (определен) объект переднего плана, включенный в поля обзора виртуальных камер, и к числу счета субъекта для разделенного блока, включающего по меньшей мере часть объекта переднего плана может быть добавлено значение.

[0063] Блок 303 анализа может просто добавлять значение к числу счета субъекта для разделенного блока, включенного в поля обзора виртуальных камер, независимо от позиции объекта переднего плана. Другими словами, блок 303 анализа может выполнять определение по области, включенной в поле обзора каждой из множества виртуальных камер, среди области, включенной в по меньшей мере какой-либо из диапазонов формирования изображения множества устройств формирования изображения, выполняя подсчет. На основе результата определения блока 303 анализа блок 304 формирования информации может формировать информацию, указывающую один или более моментов времени, включенных в период формирования изображения и определенных на основе числа виртуальных камер, поля обзора которых перекрывают друг друга. С помощью такого способа, например, возможно формировать информацию, указывающую время, когда та же область включается в поля обзора стольких же или более виртуальных камер, чем пороговое значение, т.е. информацию, указывающую время, когда линии визирования множества виртуальных камер концентрируются на одной и той же представляющей интерес области. Позиция объекта переднего плана не должна определяться с помощью этого способа. Таким образом, возможно формировать информацию с помощью небольшого объема обработки. Вышеупомянутое пороговое значение может быть значением, заданным заранее в устройстве 3 обработки информации на основе, например, пользовательского действия, или может быть значением, определенным на основе результата определения блока 303 анализа, такого как значение на основе среднего значения числа камер, поля обзора которых перекрывают друг друга в периоде формирования изображения. Автоматическое определение порогового значения на основе результата определения может экономить усилия для ручной установки порогового значения в случае, когда число виртуальных камер в качестве целей определения субъекта изменяется.

[0064] С другой стороны, с помощью способа выполнения подсчета субъекта по разделенному блоку, соответствующему заданному объекту, как описано со ссылкой на фиг. 8, предоставляет возможность блоку 304 формирования информации формировать информацию, указывающую время, когда линии визирования множества устройств формирования изображения концентрируются на одном и том же объекте. Таким образом, менее вероятно идентифицировать (определять) в качестве привлекающей внимание сцены время, когда в поля обзора множества виртуальных камер случайно попадает область, в которой объект переднего плана отсутствует и к которой внимание особо не уделяется. Таким образом, возможно представлять информацию, дополнительно соответствующую фактической степени внимания.

Формирование изображения ключевого момента

[0065] В вышеприведенном описании был описан пример, когда идентифицируется (определяется) объект или сцена в качестве цели, к которой множество пользователей, которые указывают виртуальные камеры, уделяют большее внимание, и представляется информация, обеспечивающая возможность идентификации цели внимания. Способ использования результата идентификации цели внимания, однако, не ограничивается представлением вышеупомянутой информации. Ниже предоставляется описание примера, когда изображение ключевого момента формируется с помощью результата идентификации цели внимания.

[0066] Со ссылкой на фиг. 11 предоставляется описание обработки, касающейся формирования изображения ключевого момента, с помощью устройства 3 обработки информации. Обработка, проиллюстрированная на фиг. 11, начинается в момент времени, когда в устройство 3 обработки информации вводится инструкция формировать изображение ключевого момента, после того как заканчивается обработка, проиллюстрированная на фиг. 8. Эта инструкция может быть предоставлена с помощью пользовательского действия, выполняемого на устройстве 3 обработки информации, или может быть введена с каждого пользовательского терминала 4. Момент начала обработки, проиллюстрированной на фиг. 11, однако, не ограничивается этим.

[0067] На этапе S3000 блок 303 анализа определяет период в качестве цели формирования изображения ключевого момента в периоде, когда формирование изображения выполняется на основе информации, сформированной при обработке на фиг. 8, такой как вычисленное максимальное число N'max(T) счета. Более конкретно, блок 303 анализа идентифицирует период, когда максимальное число N'max(T) счета превышает пороговое значение N'th. Блок 303 анализа затем устанавливает идентифицированный период в качестве целевого периода формирования изображения ключевого момента. В это время только период, когда N'th < N'max(T) продолжается в течение заданного интервала или более, может быть определен в качестве цели формирования. Альтернативно, даже если период, когда продолжается N'th < N'max(T), является коротким, но если период включает в себя время, когда N'max(T) является очень большим, в качестве цели формирования может быть определен период, включающий в себя заданное время перед и после этого времени. Еще альтернативно, время T, когда получается N'th < N'max(T), может также быть соответственно включено в цель формирования, так что каждая сцена для изображения ключевого момента начинается и заканчивается естественным образом. Фиг. 10B иллюстрирует примеры периода в качестве цели формирования изображения ключевого момента в случае, когда получается максимальное число N'max(T) счета, как иллюстрировано на фиг. 10A. На фиг. 10B затененный участок указывает период, идентифицированный в качестве цели формирования.

[0068] На этапе S3001 блок 301 формирования изображения формирует изображение с виртуальной точки обзора, соответствующее целевому периоду формирования изображения ключевого момента, который является частичным периодом в периоде формирования изображения. В частности, блок 303 анализа формирует информацию, указывающую позицию разделенного блока, число N'(T) счета субъекта которого является большим в каждое время в целевом периоде формирования, определенном на этапе S3000 (позиция, включенная в поля обзора стольких же виртуальных камер или больше, чем пороговое значение). Затем блок 303 анализа передает сформированную информацию блоку 302 вычисления пути. Блок 302 вычисления пути затем вычисляет новые пути виртуальной камеры, поля обзора которой включают позицию этого блока, и блок 301 формирования изображения формирует изображение с виртуальной точки обзора, соответствующее вычисленным путям виртуальной камеры. Способ задания путей виртуальной камеры, соответствующих изображению с виртуальной точки обзора, для изображения ключевого момента, сформированного на этапе S3001, не ограничивается этим. Например, с помощью вышеупомянутого результата анализа объекта внимания, блок 302 вычисления пути может задавать пути виртуальной камеры для захвата изображения с передней стороны элемента переднего плана, число N счета субъекта которого является наибольшим, или объекта переднего плана, балл M субъекта которого является наибольшим в целевом периоде формирования. Альтернативно, блок 302 вычисления пути может извлекать часть, соответствующую целевому периоду формирования, из путей виртуальной камеры, указанных пользовательскими терминалами 4 в прошлом, и использовать извлеченную часть в качестве путей виртуальной камеры для формирования изображения ключевого момента. В таком случае, среди путей виртуальной камеры, указанных в прошлом, блок 302 вычисления пути может выбирать путь виртуальной камеры, поле обзора которой включает в себя объект внимания в целевом периоде формирования изображения ключевого момента, и использовать выбранный путь виртуальной камеры. В качестве путей виртуальной камеры для формирования изображения ключевого момента могут быть использованы заранее заданные пути виртуальной камеры.

[0069] На этапе S3002 блок 304 формирования информации принимает изображение с виртуальной точки обзора, сформированное блоком 301 формирования изображения на этапе S3000, и формирует дополнительную информацию, касающуюся изображения с виртуальной точки обзора. Дополнительная информация указывает, например, событие, соответствующее целевому периоду формирования изображения ключевого момента, название объекта переднего плана, включенного в изображение с виртуальной точки обзора, временной график и степень внимания к сцене или объекту. Добавляемая информация, однако, не ограничивается этим. Блок 304 формирования информации затем формирует изображение ключевого момента, полученное путем объединения изображения с виртуальной точки обзора с этими порциями дополнительной информации. Конкретная дополнительная информация, объединяемая с изображением с виртуальной точки обзора, может быть автоматически определена устройством 3 обработки информации или может быть определена на основе пользовательского действия, выполненного на устройстве 3 обработки информации. Блок 304 формирования информации может редактировать сформированное изображение ключевого момента на основе пользовательского действия. Сформированное и отредактированное изображение ключевого момента отображается в блоке 305 отображения информации. Сформированное и отредактированное изображение ключевого момента может быть передано на пользовательские терминалы 4.

[0070] Это является последовательностью операций, касающихся формирования изображения ключевого момента. Таким образом, пользователь может легко формировать изображение ключевого момента, включающее в себя сцену, которой множество пользователей уделяет внимание, без большого затруднения. В вышеприведенном описании устройство 3 обработки информации выполняет как идентификацию (определение) сцены или объекта в качестве цели внимания, так и формирование изображения ключевого момента. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, устройство 3 обработки информации может выводить информацию, касающуюся привлекающей внимание сцены или привлекающего внимание объекта, на внешнее устройство, и другое устройство, которое получает информацию, может формировать изображение ключевого момента. В вышеприведенном описании, на основе результата определения привлекающей внимание сцены с помощью обработки, проиллюстрированной на фиг. 8, устройство 3 обработки информации формирует изображение ключевого момента, включающее привлекающую внимание сцену. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, исходя из результата определения объекта внимания с помощью обработки, проиллюстрированной на фиг. 4, устройство 3 обработки информации может формировать изображение ключевого момента, включающее объект внимания.

[0071] В настоящем примерном варианте осуществления, главным образом был описан случай, когда степень внимания пользователей на основе указания виртуальных камер анализируется для каждого элемента переднего плана или каждого разделенного блока. Альтернативно, блок 303 анализа может комбинировать эти анализы. Например, балл M субъекта для каждого объекта переднего плана вычисляется для каждого короткого промежутка времени, и изменения со временем балла M субъекта представляются накладываемым образом на информацию, иллюстрированную на фиг. 10A, тем самым представляя информацию, которая предоставляет возможность легко улавливать корреляцию между заслуживающей внимание сценой и объектом внимания.

[0072] При формировании информации представления блок 304 формирования информации может устанавливать категорию пользователя на основе пользовательской информации, полученной от блока 306 управления информацией, и формировать информацию представления на основе этой категории пользователя. Возможные примеры категории пользователя включают в себя различные категории, такие как возраст, пол, родной город, текущее место жительства, эмпирическое значение и любимую команду в конкретном виде спорта и эмпирическое значение в работе виртуальной камеры. Например, в случае, когда степень внимания относительно каждой категории пользователя отображается в качестве информации представления на основе категории пользователя, отображение относительно каждой категории может быть способно переключаться. Степени внимания относительно всех категорий могут отображаться одновременно, в то время как степень внимания относительно каждой категории может быть приспособлена различаться с помощью цветового кодирования или различия в текстуре. Альтернативно, само название категории пользователя может быть отображено в виде текста вместе со степенью внимания.

[0073] В настоящем примерном варианте осуществления устройство 3 обработки информации определяет цель внимания с помощью множества путей виртуальной камеры, соответствующих множеству пользователей. Другими словами, множество виртуальных точек обзора, идентифицированных (определенных) на основе информации виртуальной камеры, используемой для определения цели внимания, включает в себя множество виртуальных точек обзора, соответствующих множеству пользователей, а также включает в себя множество виртуальных точек обзора, соответствующих множеству различных моментов времени. Настоящее раскрытие, однако, не ограничивается этим. Альтернативно, устройство 3 обработки информации может определять объект или область, которой пользователь уделяет внимание в течение длительного времени, на основе пути виртуальной камеры, соответствующего единственному пользователю. Еще альтернативно, на основе множества виртуальных точек обзора, соответствующих множеству пользователей в некоторый единый момент времени, устройство 3 обработки информации может определять объект или область, которой в это время уделяет внимание множество пользователей.

[0074] Как описано выше, устройство 3 обработки информации согласно настоящему примерному варианту осуществления получает информацию виртуальной камеры, касающуюся виртуальных камер, соответствующих изображению с виртуальной точки обзора, сформированному на основе множества захваченных изображений, полученных множеством устройств формирования изображения. Устройство 3 обработки информации определяет объект, включенный в по меньшей мере какое-либо из множества захваченных изображений, а также включенный в диапазон в полях обзора виртуальных камер, идентифицированных (определенных) на основе информации виртуальной камеры. Устройство 3 обработки информации представляет информацию на основе результата определения, касающегося множества виртуальных камер, идентифицированных (определенных) с помощью множества порций информации виртуальной камеры. Согласно конфигурации, которая описана выше, возможно легко идентифицировать (определять) цель внимания пользователей, которые указывают виртуальные камеры, в отношении изображения с виртуальной точки обзора.

[0075] Согласно вышеупомянутым примерным вариантам осуществления, возможно легко идентифицировать (определять) цель внимания пользователей, которые указывают виртуальные точки обзора, в отношении изображения с виртуальной точки обзора.

Другие варианты осуществления

[0076] Вариант(ы) осуществления настоящего раскрытия также может быть реализован с помощью компьютера системы или устройства, которое считывает и выполняет исполняемые компьютером инструкции (например, одну или более программ), записанные на носителе данных (который также более полно может называться "невременным считываемым компьютером носителем данных"), выполняя функции одного или более вышеописанных вариантов осуществления, и/или которое включает в себя одну или более схем (например, специализированную интегральную схему (ASIC)) для выполнения функций одного или более вышеописанных вариантов осуществления, и с помощью способа, осуществляемого компьютером системы или устройства, например, путем считывания и выполнения исполняемых компьютером инструкций из носителя хранения данных, для выполнения функций одного или более вышеописанных вариантов осуществления, и/или путем управления одной или более схем для выполнения функций одного или более вышеописанных вариантов осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (CPU), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров для считывания и исполнения исполняемых компьютером инструкций. Исполняемые компьютером инструкции могут быть предоставлены компьютеру, например, из сети или носителя данных. Носитель данных может включать в себя, например, одно или более из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), хранилища распределенных вычислительных систем, оптического диска (такого как компакт-диск (CD), цифровой многофункциональный диск (DVD) или диск Blu-ray (BD)™), устройства флэш-памяти, карты памяти и т.п.

[0077] В то время как настоящее раскрытие было описано со ссылкой на примерные варианты осуществления, объем последующей формулы изобретения должен соответствовать самой широкой интерпретации для охвата всех таких модификаций и эквивалентных структур и функций.

Изобретение относится к средствам формирования изображения. Техническим результатом является обеспечение определения цели внимания пользователей. Устройство обработки информации включает в себя блок получения, выполненный с возможностью получать информацию о точках обзора, относящуюся к виртуальным точкам обзора, соответствующую изображениям с виртуальных точек обзора, сформированным на основе множества захваченных изображений, полученных множеством устройств формирования изображения, выполняющих захват изображения со множества направлений, блок обнаружения, выполненный с возможностью обнаруживать объект, включенный в по меньшей мере какое-либо из множества захваченных изображений и включенный в поле обзора, соответствующее виртуальной точке обзора, идентифицированной на основе упомянутой информации о точках обзора, полученной блоком получения, и блок вывода, выполненный с возможностью, исходя из результата обнаружения блока обнаружения, ассоциированного с множеством виртуальных точек обзора, идентифицированных на основе упомянутой информации о точках обзора, полученной блоком получения, выводить информацию, ассоциированную с числом виртуальных точек обзора, поля обзора которых включают в себя один и тот же объект. 6 н. и 14 з.п. ф-лы, 13 ил.

1. Устройство обработки информации, содержащее:

блок получения, выполненный с возможностью получать информацию о точках обзора, относящуюся к виртуальным точкам обзора, соответствующую изображениям с виртуальных точек обзора, сформированным на основе множества захваченных изображений, полученных множеством устройств формирования изображения, выполняющих захват изображения со множества направлений;

блок обнаружения, выполненный с возможностью обнаруживать объект, включенный в по меньшей мере какое-либо из множества захваченных изображений и включенный в поле обзора, соответствующее виртуальной точке обзора, идентифицированной на основе упомянутой информации о точках обзора, полученной блоком получения; и

блок вывода, выполненный с возможностью, исходя из результата обнаружения блока обнаружения, ассоциированного со множеством виртуальных точек обзора, идентифицированных на основе упомянутой информации о точках обзора, полученной блоком получения, выводить информацию, ассоциированную с числом виртуальных точек обзора, поля обзора которых включают в себя один и тот же объект.

2. Устройство обработки информации по п. 1, в котором, исходя из информации о местоположении, относящейся к одному или более заданным объектам, включенным в по меньшей мере какое-либо из множества захваченных изображений, и упомянутой информации о точках обзора, полученной блоком получения, блок обнаружения обнаруживает объект в полях обзора виртуальных точек обзора.

3. Устройство обработки информации по п. 1, в котором, исходя из изображения с виртуальных точек обзора, соответствующего виртуальным точкам обзора, идентифицированным на основе упомянутой информации о точках обзора, полученной блоком получения, блок обнаружения обнаруживает объект в полях обзора виртуальных точек обзора.

4. Устройство обработки информации по п. 1, при этом обнаруживаемый блоком обнаружения объект является человеком или частью тела человека.

5. Устройство обработки информации по п. 1, в котором блок обнаружения обнаруживает объект, находящийся на заданном участке в диапазоне, соответствующем полям обзора, соответствующим виртуальным точкам обзора, идентифицированным на основе упомянутой информации о точках обзора.

6. Устройство обработки информации по п. 1, в котором блок вывода выводит информацию, ассоциированную с числом виртуальных точек обзора, поля обзора которых включают в себя один и тот же объект, среди множества виртуальных точек обзора, соответствующих множеству пользователей и соответствующих одному и тому же моменту времени.

7. Устройство обработки информации по п. 1, в котором блок вывода выводит информацию, ассоциированную с числом виртуальных точек обзора, поля обзора которых включают в себя один и тот же объект, среди множества виртуальных точек обзора, соответствующих множеству различных моментов времени.

8. Устройство обработки информации, содержащее:

блок получения, выполненный с возможностью получать информацию о точках обзора, относящуюся к виртуальным точкам обзора, соответствующую изображениям с виртуальных точек обзора, сформированным на основе множества захваченных изображений, полученных множеством устройств формирования изображения, выполняющих захват изображения со множества направлений;

блок обнаружения, выполненный с возможностью обнаруживать область, включенную в по меньшей мере какой-либо из диапазонов формирования изображений множества устройств формирования изображения и включенную в поле обзора, соответствующее виртуальной точке обзора, идентифицированной на основе упомянутой информации о точках обзора, полученной блоком получения; и

блок вывода, выполненный с возможностью, исходя из результата обнаружения блока обнаружения, ассоциированного со множеством виртуальных точек обзора, идентифицированных на основе упомянутой информации о точках обзора, полученной блоком получения, выводить информацию, указывающую один или более моментов времени или периодов, когда присутствует представляющая интерес область, включенная во множество полей обзора, соответствующих множеству виртуальных точек обзора, при этом упомянутые один или более периодов находятся в периоде формирования изображения множества устройств формирования изображения.

9. Устройство обработки информации по п. 8, при этом информация, выводимая из блока вывода, включает в себя информацию для идентификации момента времени или периода, когда одна и та же представляющая интерес область, включенная в по меньшей мере какой-либо из диапазонов формирования изображения множества устройств формирования изображения, включена в поля обзора стольких же виртуальных точек обзора или более виртуальных точек обзора, чем пороговое значение.

10. Устройство обработки информации по п. 9, при этом пороговое значение включает заранее определенное значение или значение, определенное на основе упомянутого результата обнаружения блока обнаружения.

11. Устройство обработки информации по п. 8, дополнительно содержащее блок формирования изображения, выполненный с возможностью, исходя из выводимой из блока вывода информации, формировать изображение с виртуальных точек обзора, соответствующее частичному периоду, включенному в период формирования изображения и идентифицированному на основе упомянутой информации.

12. Устройство обработки информации по п. 9, дополнительно содержащее блок формирования изображения, выполненный с возможностью, исходя из выводимой из блока вывода информации, формировать изображение с виртуальных точек обзора, соответствующее частичному периоду, включенному в период формирования изображения и идентифицированному на основе упомянутой информации, при этом изображение с виртуальных точек обзора включает изображение области, включенной в поля обзора стольких же виртуальных точек обзора или более виртуальных точек обзора, чем пороговое значение.

13. Устройство обработки информации по п. 8, в котором блок вывода выводит информацию, указывающую момент времени или период, когда присутствует представляющая интерес область, и событие, соответствующее этому моменту времени или периоду.

14. Устройство обработки информации по п. 8, в котором блок обнаружения обнаруживает область, включенную в заданный участок в диапазоне, соответствующем полям обзора, соответствующим виртуальным точкам обзора, идентифицированным на основе упомянутой информации о точках обзора.

15. Устройство обработки информации по п. 8, в котором блок вывода выводит информацию, относящуюся к моменту времени или периоду, когда присутствует представляющая интерес область, включенная во множество областей обзора, соответствующих множеству виртуальных точек обзора, соответствующих множеству пользователей и соответствующих одному и тому же моменту времени.

16. Устройство обработки информации по п. 8, в котором блок вывода выводит информацию, относящуюся к моменту времени или периоду, когда присутствует представляющая интерес область, включенная во множество областей обзора, соответствующих множеству виртуальных точек обзора, соответствующих множеству различных моментов времени.

17. Способ обработки информации, содержащий этапы, на которых:

получают информацию о точках обзора, относящуюся к виртуальным точкам обзора, соответствующую изображениям с виртуальных точек обзора, сформированным на основе множества захваченных изображений, полученных множеством устройств формирования изображения, выполняющих захват изображения со множества направлений;

обнаруживают объект, включенный в по меньшей мере какое-либо из множества захваченных изображений и включенный в поля обзора, соответствующие виртуальной точке обзора, идентифицированной на основе полученной информации о точках обзора; и

выводят, исходя из результата обнаружения, ассоциированного со множеством виртуальных точек обзора, идентифицированных на основе полученной информации о точках обзора, информацию, ассоциированную с числом виртуальных точек обзора, поля обзора которых включают в себя один и тот же объект.

18. Способ обработки информации, содержащий этапы, на которых:

получают информацию о точках обзора, относящуюся к виртуальным точкам обзора, соответствующую изображениям с виртуальных точек обзора, сформированным на основе множества захваченных изображений, полученных множеством устройств формирования изображения, выполняющих захват изображения со множества направлений;

обнаруживают область, включенную в по меньшей мере какой-либо из диапазонов формирования изображения множества устройств формирования изображения и включенную в поле обзора, соответствующее виртуальной точке обзора, идентифицированной на основе полученной информации о точках обзора; и

выводят, исходя из результата обнаружения, ассоциированного со множеством виртуальных точек обзора, идентифицированных на основе полученной информации о точках обзора, информацию, указывающую один или более моментов времени или периодов, когда присутствует представляющая интерес область, включенная во множество полей обзора, соответствующих множеству виртуальных точек обзора, при этом упомянутые один или более периодов находятся в периоде формирования изображения множества устройств формирования изображения.

19. Невременный носитель данных, который хранит программу, предназначенную для побуждения компьютера выполнять способ обработки информации, содержащий этапы, на которых:

получают информацию о точках обзора, относящуюся к виртуальным точкам обзора, соответствующую изображениям с виртуальных точек обзора, сформированным на основе множества захваченных изображений, полученных множеством устройств формирования изображения, выполняющих захват изображения со множества направлений;

обнаруживают объект, включенный в по меньшей мере какое-либо из множества захваченных изображений и включенный в поле обзора, соответствующее виртуальным точкам обзора, идентифицированным на основе полученной информации о точках обзора; и

выводят, исходя из результата обнаружения, ассоциированного со множеством виртуальных точек обзора, идентифицированных на основе полученной информации о точках обзора, информацию, ассоциированную с числом виртуальных точек обзора, поля обзора которых включают в себя один и тот же объект.

20. Невременный носитель данных, который хранит программу, предназначенную для побуждения компьютера выполнять способ обработки информации, содержащий этапы, на которых:

получают информацию о точках обзора, относящуюся к виртуальным точкам обзора, соответствующую изображениям с виртуальных точек обзора, сформированным на основе множества захваченных изображений, полученных множеством устройств формирования изображения, выполняющих захват изображения со множества направлений;

обнаруживают область, включенную в по меньшей мере какой-либо из диапазонов формирования изображения множества устройств формирования изображения и включенную в поле обзора, соответствующее виртуальной точке обзора, идентифицированной на основе полученной информации о точках обзора; и

выводят, исходя из результата обнаружения, ассоциированного со множеством виртуальных точек обзора, идентифицированных на основе полученной информации о точках обзора, информацию, указывающую один или более моментов времени или периодов, когда присутствует представляющая интерес область, включенная во множество полей обзора, соответствующих множеству виртуальных точек обзора, при этом упомянутые один или более периодов находятся в периоде формирования изображения множества устройств формирования изображения.