СПОСОБ И СИСТЕМА ДЛЯ ВИЗУАЛИЗАЦИИ ОБЪЕКТА НА ВИРТУАЛЬНОМ ВИДЕ Российский патент 2020 года по МПК G06T7/20 G06T15/30 G06T15/40 G06T19/20 

РОДСТВЕННЫЕ ЗАЯВКИ

Настоящая заявка испрашивает конвенционный приоритет заявки на патент США № 15/385191, поданной 20 декабря 2017, полное содержание которой полностью включено в настоящую заявку по ссылке.

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к виртуальным средам и системе и способу для визуализации взаимодействия с объектом на виртуальном виде виртуальной камеры. Настоящее изобретение также относится к компьютерночитаемому носителю и устройству для визуализации объекта на виртуальном виде.

УРОВЕНЬ ТЕХНИКИ

При управлении физической камерой в физическом мире, оператор камеры может видеть другие физические объекты (например, людей на поле) вокруг физической камеры и может постараться не сталкиваться с этими физическими объектами. Дополнительно, люди на поле могут видеть физическую камеру и оператора камеры и могут постараться не сталкиваться с камерой или оператором. В системе, где оператор камеры управляет виртуальной камерой, являющейся камерой, которая существует виртуально в виртуальной реконструкции физического мира, такие возможности отсутствуют.

Задачей системы виртуальной камеры является захват съемочного материала камеры, имитирующей физическую камеру, но без практических проблем, связанных с наличием физической камеры в непосредственной близости от объектов в реальном мире. Физическая камера может при некоторых обстоятельствах мешать тому, что происходит на сцене. Цель системы виртуальной камеры состоит в том, чтобы воспользоваться преимуществами виртуальной камеры при сохранении визуальных характеристик физической камеры. Например, система виртуальной камеры может быть способна по желанию оператора камеры заполнить поле зрения интересным объектом.

Системы виртуальной камеры обычно связаны с плоскостями отсечения, например, с близкой плоскостью отсечения и удаленной плоскостью отсечения. Плоскости отсечения обычно ориентированы параллельно плоскости изображения виртуальной камеры и расположены близко к виртуальной камере в случае близкой плоскости отсечения и далеко по расстоянию в случае удаленной плоскости отсечения. Плоскости отсечения обеспечивают ограничения на поле зрения виртуальной камеры и определяют, где многоугольники сетки объекта становятся видимыми виртуальной камере и визуализируются ею. Расстояние до близкой плоскости отсечения устанавливается таким образом, чтобы позволить приближать объект к виртуальной камере и при этом обеспечить, чтобы объект не казался сильно искаженным. На практике, оператору камеры трудно узнать это расстояние и удерживать интересный объект точно перед близкой плоскостью отсечения. Часто, объект на виде виртуальной камеры сталкивается с близкой плоскостью отсечения и сетка объекта рассекается, когда объект проходит через плоскость отсечения. Виртуальная камера в результате визуализирует только участок сетки объекта и при этом также визуализирует участок внутренней части сетки объекта. Столкновение объекта с плоскостью отсечения является нежелательным результатом, особенно если система виртуальной камеры предназначена для создания реалистичного съемочного материала камеры.

Люди в физическом мире не способны воспринимать положение виртуальной камеры и в результате могут свободно сталкиваться с виртуальными камерами. То же самое истинно для оператора камеры, управляющего виртуальной камерой. Оператор камеры, вероятно, управляющий виртуальной камерой через экран монитора, будет иметь меньший уровень знания контекста и не сможет воспринимать объекты вокруг виртуальной камеры. Недостаточное знание контекста означает, что объекты могут проходить сквозь виртуальную камеру сзади. Объекты сначала находятся вне поля зрения оператора камеры и мгновенно заполняют поле зрения виртуальной камеры, когда объекты проходят близкую плоскость отсечения виртуальной камеры. Проникновение объекта, мгновенно заполняющего поле зрения виртуальной камеры, вызывает прерывание при попытках сформировать другой объект в поле зрения виртуальной камеры.

Существует потребность в решении проблемы, связанной с виртуальными объектами, визуально рассекаемыми плоскостью отсечения. Существует также потребность в способе уменьшения дезорганизующих закрытий, вызываемых объектами, внезапно появляющимися в кадре вблизи виртуальной камеры.

Индустрия видеоигр испытывала подобные проблемы, и были разработаны стандартные способы решения проблем, описанных выше. Один известный способ реализует вокруг объектов радиус столкновения, гарантирующий, что объекты вообще не будут сталкиваться друг с другом. Использование радиуса столкновения приводит к тому, что камера отскакивает от объектов, когда они сталкиваются с камерой; при этом нежелательно перестраивается композиция оператора камеры. Другой известный способ обеспечивает постепенное исчезновение изображения объекта, когда объект проходит пороговое расстояние вокруг камеры. Этот способ обрабатывает все объекты одинаково, так что объекты, проходящие сквозь камеру спереди, будут постепенно исчезать на том же расстоянии, что и объекты, проходящие сквозь камеру сзади.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задачей настоящего изобретения является по существу устранение или по меньшей мере сглаживание по меньшей мере одного недостатка существующих систем.

Один аспект настоящего раскрытия обеспечивает способ генерирования видеоизображения виртуального вида, причем способ содержит этапы, на которых: определяют эффект перехода, подлежащий применению к объекту в поле зрения виртуальной камеры, на основе траектории объекта и положения вдоль траектории объекта; и генерируют видеоизображение виртуального вида с видимостью объекта, модифицированной на основе определенного эффекта перехода, для отображения на устройстве отображения.

В некоторых аспектах, траектория является предсказанной траекторией.

В некоторых аспектах, эффект перехода является одним из эффектов отображения, неотображения, постепенного появления изображения, постепенного исчезновения изображения, прозрачности, преобразования цвета, перехода цветов, яркости, насыщения, текстуры, и стиля объекта.

В некоторых аспектах, эффект перехода определяют на основе других объектов на виртуальном виде.

В некоторых аспектах, этап определения эффекта перехода дополнительно содержит этап, на котором определяют изменение меры закрытия объекта с течением времени.

В некоторых аспектах, мера закрытия является оценкой закрытия виртуального вида объектом.

В некоторых аспектах, изменение меры закрытия определяют на основе траектории объекта.

В некоторых аспектах, изменение меры закрытия определяют на пообъектной основе, если более чем один объект находится на виртуальном виде.

В некоторых аспектах, меру закрытия определяют на основе размера объекта относительно виртуального вида.

В некоторых аспектах, эффект перехода определяют на основе типа объекта.

В некоторых аспектах, эффект перехода определяют на основе положения объекта относительно плоскости отсечения, связанной с виртуальным видом.

В некоторых аспектах, эффект перехода определяют на основе интервала времени, в течение которого объект находится на виртуальном виде.

В некоторых аспектах, эффект перехода определяют посредством сравнения интервала времени, в течение которого объект находится на виртуальном виде, с порогом.

В некоторых аспектах, эффект перехода применяют на основе меры закрытия, удовлетворяющей порогу.

В некоторых аспектах, эффект перехода применяют, когда мера закрытия удовлетворяет первому порогу, и заканчивают применять, когда мера закрытия удовлетворяет второму порогу.

В некоторых аспектах, эффект перехода применяют на основе меры закрытия, удовлетворяющей по меньшей мере одному порогу, и упомянутый по меньшей мере один порог модифицируют на основе взаимодействия объекта с другим объектом на виртуальном виде.

В некоторых аспектах, эффект перехода является визуальным эффектом.

В некоторых аспектах, предсказывают положение объекта вдоль траектории объекта в поле зрения.

Другой аспект настоящего раскрытия обеспечивает невременный компьютерночитаемый носитель, на котором запомнена программа, для генерирования видеоизображения виртуального вида, причем программа содержит: код для определения эффекта перехода, подлежащего применению к объекту в поле зрения виртуальной камеры, на основе траектории объекта и положения вдоль траектории объекта; и код для генерирования видеоизображения виртуального вида с видимостью объекта, модифицированной на основе определенного эффекта перехода, для отображения на устройстве отображения.

Другой аспект настоящего раскрытия обеспечивает устройство для генерирования видеоизображения виртуального вида, причем устройство выполнено с возможностью: определять эффект перехода, подлежащий применению к объекту в поле зрения виртуальной камеры, на основе траектории объекта и положения вдоль траектории объекта; и генерировать видеоизображение виртуального вида с видимостью объекта, модифицированной на основе определенного эффекта перехода, для отображения на устройстве отображения.

Другой аспект настоящего раскрытия обеспечивает систему, содержащую: множество устройств захвата изображений; и память для запоминания данных и компьютерночитаемый носитель; и процессор, связанный с памятью, для выполнения компьютерной программы, причем процессор имеет связь с множеством устройств захвата изображений через сеть, причем программа имеет команды для: определения эффекта перехода, подлежащего применению к объекту в поле зрения виртуальной камеры, на основе траектории объекта и положения вдоль траектории объекта; и генерирования видеоизображения виртуального вида с видимостью объекта, модифицированной на основе определенного эффекта перехода, для отображения на устройстве отображения.

Другой аспект настоящего раскрытия обеспечивает компьютерно-реализуемый способ визуализации объекта на виртуальном виде, причем способ содержит этапы, на которых: определяют изменение меры закрытия объекта с течением времени, причем мера закрытия является оценкой закрытия виртуального вида объектом, причем изменение меры закрытия определяют на основе траектории объекта; определяют эффект перехода для объекта на основе изменения меры закрытия, причем эффект перехода является визуальным эффектом; и применяют определенный эффект перехода для визуализации объекта, причем определенный эффект перехода применяют согласно положению объекта, когда объект перемещается вдоль траектории.

В некоторых аспектах, траектория является предсказанной траекторией.

В некоторых аспектах, эффект перехода является одним из эффектов отображения, неотображения, постепенного появления изображения, постепенного исчезновения изображения, прозрачности, преобразования цвета, перехода цветов, яркости, насыщения, текстуры, и стиля объекта.

В некоторых аспектах, эффект перехода определяют на основе других объектов на виртуальном виде.

В некоторых аспектах, изменение меры закрытия определяют на пообъектной основе, если более чем один объект находится на виртуальном виде.

В некоторых аспектах, меру закрытия определяют на основе размера объекта относительно виртуального вида.

В некоторых аспектах, эффект перехода определяют на основе типа объекта.

В некоторых аспектах, эффект перехода определяют на основе положения объекта относительно плоскости отсечения, связанной с виртуальным видом.

В некоторых аспектах, эффект перехода определяют на основе интервала времени, в течение которого объект находится на виртуальном виде.

В некоторых аспектах, эффект перехода определяют посредством сравнения интервала времени, в течение которого объект находится на виртуальном виде, с порогом.

В некоторых аспектах, эффект перехода применяют на основе меры закрытия, удовлетворяющей порогу.

В некоторых аспектах, эффект перехода применяют, когда мера закрытия удовлетворяет первому порогу, и заканчивают применять, когда мера закрытия удовлетворяет второму порогу.

В некоторых аспектах, эффект перехода применяют на основе меры закрытия, удовлетворяющей по меньшей мере одному порогу, и упомянутый по меньшей мере один порог модифицируют на основе взаимодействия объекта с другим объектом на виртуальном виде.

Другой аспект настоящего раскрытия обеспечивает невременный компьютерночитаемый носитель, на котором запомнена программа, для визуализации объекта на виртуальном виде, причем программа содержит: код для определения изменения меры закрытия объекта с течением времени, причем мера закрытия является оценкой закрытия виртуального вида объектом, причем изменение меры закрытия определяют на основе траектории объекта; код для определения эффекта перехода для объекта на основе изменения меры закрытия, причем эффект перехода является визуальным эффектом; и код для применения определенного эффекта перехода для визуализации объекта, причем определенный эффект перехода применяют согласно положению объекта, когда объект перемещается вдоль траектории.

Другой аспект настоящего раскрытия обеспечивает устройство для визуализации объекта на виртуальном виде, причем устройство выполнено с возможностью: определять изменение меры закрытия объекта с течением времени, причем мера закрытия является оценкой закрытия виртуального вида объектом, причем изменение меры закрытия определяют на основе траектории объекта; определять эффект перехода для объекта на основе изменения меры закрытия, причем эффект перехода является визуальным эффектом; и применять определенный эффект перехода для визуализации объекта, причем определенный эффект перехода применяют согласно положению объекта, когда объект перемещается вдоль траектории.

Другой аспект настоящего раскрытия обеспечивает систему, содержащую: множество устройств захвата изображений; и память для запоминания данных и компьютерночитаемый носитель; и процессор, связанный с памятью, для выполнения компьютерной программы, причем процессор имеет связь с множеством устройств захвата изображений через сеть, причем программа имеет команды для: генерирования виртуального вида с использованием данных, принимаемых от множества устройств захвата изображений; определения изменения меры закрытия объекта на виртуальном виде с течением времени, причем мера закрытия является оценкой закрытия виртуального вида объектом, причем изменение меры закрытия определяют на основе траектории объекта; определения эффекта перехода для объекта на основе изменения меры закрытия, причем эффект перехода является визуальным эффектом; и применения определенного эффекта перехода для визуализации объекта, причем определенный эффект перехода применяют согласно положению объекта, когда объект перемещается вдоль траектории.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Один или несколько вариантов осуществления настоящего изобретения будут теперь описаны со ссылкой на нижеследующие чертежи, на которых:

Фиг. 1 показывает пример системы сетевых видеокамер, окружающих спортивный стадион, причем видеокамеры передают видеоданные в систему обработки;

Фиг. 2 показывает пример виртуальной камеры;

Фиг. 3 показывает схематичную блок-схему последовательности операций способа визуализации объекта на виртуальном виде согласно одному иллюстративному варианту осуществления;

Фиг. 4 показывает схематичную блок-схему последовательности операций способа определения меры закрытия, используемой в способе фиг. 3;

Фиг. 5 показывает иллюстративный график, показывающий профиль закрытия объекта в поле зрения виртуальной камеры;

Фиг. 6А-6D показывают пример применения эффекта перехода на основе меры закрытия, когда объект приближается спереди к виртуальной камере;

Фиг. 7А-7D показывают пример применения эффекта перехода на основе меры закрытия, когда объект приближается сзади к виртуальной камере;

Фиг. 8А-8D показывают альтернативный пример применения эффекта перехода на основе меры закрытия, когда объект приближается сзади к виртуальной камере;

Фиг. 9А-9D показывают иллюстративный сценарий применения эффекта перехода на основе меры закрытия, когда объект приближается перпендикулярно полю зрения виртуальной камеры и находится близко к виртуальной камере;

Фиг. 10А-10D показывают иллюстративный сценарий применения эффекта перехода на основе меры закрытия, когда объект приближается перпендикулярно полю зрения виртуальной камеры и находится далеко от виртуальной камеры;

Фиг. 11А-11D показывают иллюстративный сценарий применения эффекта перехода на основе меры закрытия, когда объект перемещается поперек поля зрения виртуальной камеры и находится далеко от виртуальной камеры;

Фиг. 12А-12D показывают иллюстративный сценарий визуализации объекта, когда два объекта взаимодействуют перед виртуальной камерой; и

Фиг. 13А и 13В образуют схематичную блок-схему компьютерной системы общего назначения, в которой могут быть применены на практике описанные системы.

ПОДРОБНОЕ ОПИСАНИЕ, ВКЛЮЧАЮЩЕЕ В СЕБЯ НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Настоящее раскрытие относится к виртуальным средам и к тому, как виртуальные объекты взаимодействуют с полем зрения виртуальной камеры, когда виртуальные объекты находятся близко к виртуальной камере и к близкой плоскости отсечения. Описанные системы относятся к обеспечению возможности закрытия объектами больших участков поля зрения, если будет определено, что закрытие отражает вероятное намерение оператора камеры.

Системы, описанные здесь, предназначены для использования в контексте арены для выступлений, показанной в качестве примера на фиг. 1. Как показано на фиг. 1, система 100 включает в себя арену 110, центром которой, как предполагается, является игровое поле, которое приблизительно является прямоугольным, овальным или круглым, что позволяет окружить арену 110 одним или несколькими кольцами камер 120A - 12X. Как видно на фиг. 1, арена 110 включает в себя единственное кольцо камер 120A - 120X. Каждая из множества камер 120A - 120X расположена в заданном местоположении относительно арены 110. В описанных системах, ареной 110 является поле, однако в других системах арена 110 может быть сценой для исполнения музыкальных произведений, театром, местом проведения общественных или частных мероприятий. Поле 110, в примере фиг. 1, содержит по меньшей мере один объект 140. Объект 140 может быть человеком или группой людей, мячом, транспортным средством или любой конструкцией.

Камеры 120A - 120X, показанные на фиг. 1, синхронизированы для приобретения кадров в одинаковые моменты времени таким образом, чтобы все точки на поле 110 захватывались одновременно с большого числа точек наблюдения. В некоторых вариантах, полное кольцо камер 120A - 120X, показанных на фиг. 1, не используют, а вместо этого используют некоторые подмножества полного периметра арены 110. Системы, которые не используют полное кольцо камер, могут быть предпочтительными, когда заранее известно, что некоторые точки наблюдения будут не нужны.

Видеокадры, захватываемые камерами 120A - 120X, подвергают обработке и временному запоминанию вблизи одной из камер, например, камеры 120А, перед тем, как они будут доступны через сетевое соединение 1321 (см. фиг. 13А) для блока 1305 обработки (см. фиг. 13А и 13В). Блок 1305 обработки принимает входные данные управления от контроллера 180, который задает положение, ориентацию, масштабирование и, возможно, другие имитируемые характеристики камер для виртуальной камеры 150 в пределах поля 110. Контроллером 180 обычно управляет пользователь системы 100, и может использоваться любой контроллер, пригодный для установки параметров камер 120A - 120X. Как видно на фиг. 13А, блок 1305 обработки выполнен внутри компьютерного модуля 1301. Однако в альтернативных реализациях, отдельный блок обработки видеоданных может быть использован для реализации описанных систем.

Блок 1305 обработки, также называемый процессором, выполнен с возможностью синтезировать или генерировать заданный виртуальный вид 190 камеры на основе потоков видеоданных, доступных для получения блоком 1305 обработки от камер 120A-120X, окружающих поле 110.

Фраза «виртуальная камера» относится к камере, имеющей функциональность, получаемую вычислительным методом. Функциональность получают вычислительным методом посредством способов, таких как интерполяция между физическими камерами (такими как камеры 120A-120X), или посредством визуализации смоделированной трехмерной (3D) сцены, создаваемой с использованием данных от физических камер (120A-120X), окружающих сцену, а не просто посредством выходных данных какой-либо единственной физической камеры. Виртуальная камера относится к визуализации виртуального вида, например, последовательности видеокадров, с использованием пиксельных данных, получаемых от одной или нескольких физических камер. Виртуальный вид относится к полю зрения виртуальной камеры. Физические камеры 120A - 120X могут быть любыми устройствами захвата изображений, способными захватывать изображение или видеоданные, например, цифровыми камерами или видеокамерами. Камеры 120A - 120X предпочтительно являются камерами с высоким разрешением, пригодными для генерирования широковещательных видеоданных, например, для спортивных широковещательных передач.

Входные данные о местоположении виртуальной камеры могут быть сгенерированы человеком - оператором виртуальной камеры и могут быть основаны на входных данных от устройства пользовательского интерфейса, такого как джойстик, компьютерная мышь, такая как мышь 1303 на фиг. 13А, или подобного контроллера, такого как контроллер 180, в том числе специальных контроллеров, содержащих множественные компоненты ввода. Альтернативно, положение виртуальной камеры может быть сгенерировано полностью автоматически на основе анализа хода игры. Также возможны конфигурации с гибридным управлением, посредством которых некоторые аспекты позиционирования камер управляются человеком-оператором, а другие аспекты позиционирования камер управляются автоматизированным алгоритмом. Например, грубое позиционирование может быть реализовано человеком-оператором, а точное позиционирование, включающее в себя стабилизацию и сглаживание траектории, может быть реализовано автоматизированным алгоритмом, выполняемым на процессоре 1305.

Блок 1305 обработки выполнен с возможностью обеспечивать синтез кадров, который предназначен для визуализации вида виртуальной камеры, с использованием способов визуализации на основе изображения, известных в данной области техники. Способы визуализации на основе изображения основаны на дискретизации пиксельных данных из набора камер известной геометрической системы и объединения дискретизированной пиксельной информации в синтезированный кадр. Дополнительно к основанной на отсчетах визуализации требуемого кадра, блок 1305 обработки может быть также выполнен с возможностью выполнять синтез, трехмерное (3D) моделирование, ретуширование или интерполяцию областей, когда требуется скрыть недостатки дискретизации для создания кадров с высококачественным визуальным видом. Процессор 1305 может быть также выполнен с возможностью обеспечивать обратную связь в форме качества кадров или полноты покрытия камеры для требуемой точки наблюдения таким образом, чтобы устройство-контроллер 180, генерирующее управляющий сигнал положения камеры, мог знать практические ограничения системы 100 обработки. Потоки видеоданных для виртуального вида 190, создаваемого или визуализируемого блоком 1305 обработки, могут быть затем обеспечены для режиссерского пульта (не показан). Потоки видеоданных редактируют вместе на режиссерском пульте для образования широковещательных видеоданных. Альтернативно, потоки видеоданных могут транслироваться в неотредактированном виде или запоминаться для последующей компиляции.

Гибкость, обеспечиваемая системой 100, описанной выше, имеет дополнительный набор проблем, не предполагавшихся ранее в широковещательных передачах, таких как спортивные репортажи. Например, виртуальная камера 150 может свободно менять положение и/или ориентацию на поле 110 без необходимости того, чтобы физический объект или оператор камеры находился в конкретном положении. Дополнительно, как описано выше, может происходить отсечение объекта на виртуальном виде.

Как описано выше, некоторые известные способы, относящиеся к виртуальным камерам, определяют пороговое расстояние для предотвращения отсечения. Посредством определения порогового расстояния трудно одновременно решить проблемы обеспечения заполнения интересным объектом поля зрения и предотвращения приближения объекта сзади к виртуальной камере и заполнения им поля зрения и закрытия любых возможных интересных объектов.

Фиг. 13А и 13В показывают компьютерную систему 1300 общего назначения, в которой могут быть применены на практике различные описанные системы.

Как видно на фиг. 13А, компьютерная система 130 включает в себя: компьютерный модуль 1301; устройства ввода, такие как клавиатура 1302, указывающее устройство-мышь 1303, сканер 1326, камера 1327, и микрофон 1380; и устройства вывода, включающие в себя принтер 1315, устройство 1314 отображения и громкоговорители 1317. Внешнее приемопередающее устройство-модулятор-демодулятор 1316 (модем) может быть использовано компьютерным модулем 1301 для установления двусторонней связи с сетью 1320 связи через соединение 1321. Сеть связи 1320 может быть глобальной сетью (wide-area network - WAN), такой как Интернет, сотовой телекоммуникационной сетью, или частной WAN. Если соединение 1321 является телефонной линией, то модем 1316 может быть традиционным модемом коммутируемой линии передачи. Альтернативно, если соединение 1321 является соединением с высокой пропускной способностью (например, кабелем), то модем 1316 может быть широкополосным модемом. Беспроводной модем также может быть использован для беспроводного соединения с сетью 1320 связи.

Компьютерный модуль 1301 обычно включает в себя по меньшей мере один блок 1305 обработки и блок 1306 памяти. Например, блок 1306 памяти может иметь полупроводниковую память с произвольным доступом (random access memory - RAM) и полупроводниковое постоянное запоминающее устройство (read only memory - ROM). Компьютерный модуль 1301 также включает в себя некоторое количество интерфейсов ввода/вывода (input/output - I/O), включающих в себя: интерфейс 1307 аудио-видеоданных, который соединяется с устройством 1314 отображения видеоданных, громкоговорителями 1317 и микрофоном 1380; I/O интерфейс 1313, который соединяется с клавиатурой 1302, мышью 1303, сканером 1326, камерой 1327, контроллером 1805 и, необязательно, джойстиком или другим устройством взаимодействия с человеком (не показано); и интерфейс 1308 для внешнего модема 1316 и принтера 1315. В некоторых реализациях, модем 1316 может быть встроен в компьютерный модуль 1301, например, в интерфейс 1308. Компьютерный модуль 1301 также имеет локальный сетевой интерфейс 1311, который позволяет осуществлять связь компьютерной системы 1300 через соединение 1323 с сетью 1322 локальной связи, известной как локальная сеть (Local Area Network - LAN). Как показано на фиг. 13А, сеть 1322 локальной связи может также связываться с глобальной сетью 1320 через соединение 1324, которое обычно может включать в себя так называемое устройство с «межсетевым экраном» или устройство с подобной функциональностью. Локальный сетевой интерфейс 1311 может содержать Ethernet-плату, беспроводную схему Bluetooth^® или беспроводную схему IEEE 802.11; однако, для интерфейса 1311 на практике могут применяться и интерфейсы многих других типов.

I/O интерфейсы 1308 и 1313 могут обеспечивать последовательную и/или параллельную соединяемость, причем первая обычно реализуется согласно стандартам универсальной последовательной шины (Universal Serial Bus - USB) и имеет соответствующие USB-соединители (не показаны). Обеспечены запоминающие устройства 1309, которые обычно включают в себя накопитель 1310 на жестких дисках (hard disk drive - HDD). Также могут быть использованы другие запоминающие устройства, такие как накопитель на гибком диске и накопитель на магнитной ленте (не показан). Накопитель 1312 на оптическом диске обычно выполнен с возможностью функционировать в качестве энергонезависимого источника данных. Портативные запоминающие устройства, такие как оптические диски (например, диски CD-ROM, DVD, Blu ray Disc), USB-RAM, портативные внешние накопители на жестких дисках, и гибкие диски, например, могут быть использованы в качестве подходящих источников данных для системы 1300.

Компоненты 1305-1313 компьютерного модуля 1301 обычно устанавливают связь через соединительную шину 1304 таким образом, чтобы обеспечить в результате общепринятый режим работы компьютерной системы 1300, известный специалистам в данной области техники. Например, процессор 1305 соединен с системной шиной 1304 с использованием соединения 1318. Подобным образом, память 1306 и накопитель 1312 на оптическом диске соединены с системной шиной 1304 соединениями 1319. Примеры компьютеров, на которых описанные системы могут быть применены на практике, включают в себя компьютерные системы IBM-PC и совместимые устройства, Sun Sparcstations, Apple Mac^TM и подобные компьютерные системы.

Описанные способы могут быть реализованы с использованием компьютерной системы 1300, в которой процессы фиг. 3 и 4, описанные ниже, могут быть реализованы в виде одной или нескольких прикладных программ 1333, выполняемых в компьютерной системе 1300. В частности, этапы способов фиг. 3 и 4 реализуются командами 1331 (см. фиг. 13В) в программном средстве 1333, которое выполняется в компьютерной системе 1300. Команды 1331 программного средства могут быть образованы в виде одного или нескольких кодовых модулей, каждый из которых предназначен для выполнения одной или нескольких задач. Программное средство может также подразделяться на две отдельные части, причем первая часть и соответствующие кодовые модули выполняют описанные способы, а вторая часть и соответствующие кодовые модули управляют пользовательским интерфейсом между первой частью и пользователем.

Программное средство может быть запомнено на компьютерночитаемом носителе, включающем в себя, например, запоминающие устройства, описанные ниже. Программное средство загружается в компьютерную систему 1300 с компьютерночитаемого носителя и затем выполняется компьютерной системой 1300. Компьютерночитаемый носитель, на котором записано такое программное средство или компьютерная программа, является компьютерным программным продуктом. Использование компьютерного программного продукта в компьютерной системе 1300 предпочтительно осуществляет устройство для реализации описанных систем.

Программное средство 1333 обычно запоминается в HDD 1310 или памяти 1306. Программное средство загружается в компьютерную систему 1300 с компьютерночитаемого носителя и выполняется компьютерной системой 1300. Таким образом, например, программное средство 1333 может быть запомнено на оптически считываемом дисковом запоминающем устройстве 1325 (например, CD-ROM), которое считывается накопителем 1312 на оптическом диске. Компьютерночитаемый носитель, на котором записано такое программное средство или компьютерная программа, является компьютерным программным продуктом. Использование компьютерного программного продукта в компьютерной системе 1300 предпочтительно осуществляет устройство для реализации описанных способов.

В некоторых примерах, прикладные программы 1333 могут поставляться пользователю в закодированном на одном или нескольких CD-ROM 1325 виде и считываться посредством соответствующего накопителя 1312, или альтернативно могут считываться пользователем из сетей 1320 или 1322. Более того, программное средство может быть также загружено в компьютерную систему 1300 с других компьютерночитаемых носителей. Компьютерночитаемые запоминающие носители относятся к любому невременному материальному запоминающему носителю, который обеспечивает записанные команды и/или данные для выполнения и/или обработки компьютерной системой 1300. Примеры таких запоминающих носителей включают в себя гибкие диски, магнитную ленту, CD-ROM, DVD, диск Blu-ray^TM, накопитель на жестких дисках, ROM или интегральную схему, USB-память, магнитно-оптический диск, или компьютерночитаемую карту, такую как PCMCIA-карта и т.п., независимо от того, являются ли такие устройства внутренними или внешними по отношению к компьютерному модулю 1301. Примеры переходных или нематериальных компьютерночитаемых сред передачи данных, которые могут также участвовать в обеспечении программного средства, прикладных программ, команд и/или данных для компьютерного модуля 1301, включают в себя каналы радиосвязи или каналы инфракрасной связи, а также сетевое соединение с другим компьютером или сетевым устройством, и Интернет или интрасети, в том числе передачи по электронной почте и информацию на веб-сайтах и т.п.

Вторая часть прикладных программ 1333 и соответствующие кодовые модули, упомянутые выше, могут быть выполнены для реализации одного или нескольких графических пользовательских интерфейсов (graphical user interface - GUI), подлежащих визуализации или, иначе, представляемых на устройстве 1314 отображения. Обычно, посредством управления клавиатурой 1302 и мышью 1303, пользователь компьютерной системы 1300 и приложения может управлять интерфейсом функционально адаптируемым способом для обеспечения управляющих команд и/или входных данных для приложений, связанных с GUI. Также могут быть реализованы другие формы функционально адаптируемых пользовательских интерфейсов, такие как аудио-интерфейс, использующий речевые подсказки, выводимые через громкоговорители 1317, и пользовательские речевые команды, вводимые через микрофон 1380.

Фиг. 13В является подробной схематичной блок-схемой процессора 1305 и «памяти» 1334. Память 1334 представляет собой логическое объединение всех модулей памяти (в том числе HDD 1309 и полупроводниковой памяти 1306), к которым может получать доступ компьютерный модуль 1301 на фиг. 13А.

Когда исходно включается электропитание компьютерного модуля 1301, выполняется программа 1350 самотестирования при включении электропитания (power-on self-test - POST). POST-программа 1350 обычно запоминается в ROM 1349 полупроводниковой памяти 1306 фиг. 13А. Аппаратное устройство, такое как ROM 1349, запоминающее программное средство, иногда называют аппаратно-программным средством. POST-программа 1350 проверяет аппаратные средства в компьютерном модуле 1301 для обеспечения правильного функционирования и обычно проверяет процессор 1305, память 1334 (1309, 1306), и модуль 1351 основного системного программного средства ввода-вывода (basic input-output systems software (BIOS), который также обычно запоминается в ROM 1349, для правильной работы. После успешного выполнения POST-программы 1350, BIOS 1351 активирует накопитель 1310 на жестких дисках фиг. 13А. Активация накопителя 1310 на жестких дисках вызывает выполнение посредством процессора 1305 программы 1352 начальной загрузки, которая постоянно находится (является резидентной) на накопителе 1310 на жестких дисках. Это приводит к загрузке операционной системы 1352 в RAM-память 1306, после чего начинает работать операционная система 1353. Операционная система 1353 является приложением системного уровня, выполняемым процессором 1305 для выполнения различных функций высокого уровня, в том числе управления процессором, управления памятью, управления устройствами, управление запоминающими устройствами, интерфейсом прикладных программ, и общим пользовательским интерфейсом.

Операционная система 1353 управляет памятью 1334 (1309, 1306) для обеспечения того, чтобы каждый процесс или приложение, выполняющиеся на компьютерном модуле 1301, имели достаточную память для их выполнения, без конфликтов с памятью, выделенной для другого процесса. Дополнительно, другие типы памяти, доступные в системе 1300 фиг. 13А, должны использоваться правильно, чтобы каждый процесс мог выполняться эффективно. Соответственно, объединенная память 1334 не предназначена для иллюстрации того, как выделяются конкретные сегменты памяти (если не указано иное), а напротив, предназначена для обеспечения общего обзора памяти, доступной для компьютерной системы 1300, и общего обзора того, как она используется.

Как показано на фиг. 13В, процессор 1305 включает в себя некоторое количество функциональных модулей, в том числе блок 1339 управления, арифметико-логическое устройство 1340 (arithmetic logic unit - ALU), и локальную или внутреннюю память 1348, иногда называемую кэш-памятью. Кэш-память 1348 обычно включает в себя некоторое количество запоминающих регистров 1344-1346 в секции регистров. Одна или несколько внутренних шин 1341 функционально соединяют эти функциональные модули. Процессор 1305 обычно также имеет один или несколько интерфейсов 1342 для установления связи с внутренними устройствами через системную шину 1304 с использованием соединения 1318. Память 1334 соединена с шиной 1304 с использованием соединения 1319.

Прикладная программа 1333 включает в себя последовательность команд 1331, которые могут включать в себя команды условного ветвления и цикла. Программа 1333 может также включать в себя данные 1332, которые используются при выполнении программы 1333. Команды 1331 и данные 1332 запоминаются в ячейках 1328, 1329, 1330 и 1335, 1336, 1337 памяти, соответственно. В зависимости от относительного размера команд 1331 и ячеек 1328-1330 памяти, конкретная команды может быть запомнена в единственной ячейке памяти, что показано командой, показанной в ячейке 1330 памяти. Альтернативно, команда может быть сегментирована на некоторое количество частей, каждая из которых запоминается в отдельной ячейке памяти, что показано сегментами команды, показанными в ячейках 1328 и 1329 памяти.

В общем, для процессора 1305 обеспечивают набор команд, которые выполняются в нем. Процессор 1305 ожидает последующих входных данных, на которые процессор 1305 реагирует посредством выполнения другого набора команд. Каждые входные данные могут быть обеспечены от одного или нескольких из некоторого количества источников и включают в себя данные, генерируемые одним или несколькими из устройств 1302, 1303 ввода, данные, принимаемые от внешнего источника через одну или несколько сетей 1320, 1302, данные, извлекаемые из одного или нескольких запоминающих устройств 1306, 1309, или данные, извлекаемые из запоминающего носителя 1325, вставленного в соответствующее устройство 1312 считывания данных, как показано на фиг. 13А. Выполнение набора команд может в некоторых случаях приводить к выводу данных. Выполнение может также включать в себя запоминание данных или переменных в памяти 1334.

Описанные системы используют входные переменные 1354, которые запоминаются в памяти 1334 в соответствующих ячейках 1355, 1356, 1357 памяти. Описанные системы создают выходные переменные 1361, которые запоминаются в памяти 1334 в соответствующих ячейках 1362, 1363, 1364 памяти. Промежуточные переменные 1358 могут запоминаться в ячейках 1359, 1360, 1366 и 1367 памяти.

Со ссылкой на процессор 1305 фиг. 13В, регистры 1344, 1345, 1346, арифметико-логическое устройство 1340 (ALU), и блок 1339 управления работают вместе для выполнения последовательностей микро-операций, необходимых для выполнения циклов «считывания, декодирования, и выполнения» для каждой команды в наборе команд, образующем программу 1333. Каждый цикл считывания, декодирования, и выполнения содержит:

операцию считывания, которая считывает или читает команду 1331 из ячейки 1328, 1329, 1330 памяти;

операцию декодирования, в которой блок 1339 управления определяет, какая команды была считана; и

операция выполнения, в которой блок 1339 управления и/или ALU 1340 выполняет команду.

После этого может быть выполнен дополнительный цикл считывания, декодирования, и выполнения для следующей команды. Подобным образом может быть выполнен цикл запоминания, посредством которого блок 1339 управления запоминает или записывает некоторое значение в ячейку 1332 памяти.

Каждый этап или подпроцесс в процессах фиг. 3 и 4 связан с одним или несколькими сегментами программы 1333 и выполняется секцией 1344, 1345, 1347 регистров, ALU 1340, и блоком 1339 управления в процессоре 1305, работающими вместе для выполнения циклов считывания, декодирования, и выполнения для каждой команды в наборе команд для указанных сегментов программы 1333.

Описанные способы могут быть альтернативно реализованы в специальном аппаратном средстве, таком как одна или несколько интегральных схем, выполняющих функции или подфункции фиг. 3 и 4. Такое специальное аппаратное средство может включать в себя графические процессоры, цифровые сигнальные процессоры, или один или несколько микропроцессоров и соответствующих устройств памяти.

Фиг. 2 является ортографическим описанием виртуальной камеры 210 (подобной виртуальной камере 150), используемой в описанных системах. Виртуальная камера 210 имеет поле 250 зрения. Поле 250 зрения ограничено краями 220, близкой плоскостью 230 отсечения и удаленной плоскостью 240 отсечения. Объекты, которые входят в поле 250 зрения, становятся видимыми для виртуальной камеры 210. Близкая плоскость 230 отсечения установлена на некоторой глубине вблизи виртуальной камеры 210, в то время как удаленная плоскость 240 отсечения установлена на некоторой глубине относительно далеко от камеры 210. Даже в случае, когда виртуальная камера 210 имеет удаленную плоскость 240 отсечения, описанные системы относятся к близкой плоскости 230 отсечения. Для легкости нахождения ссылок, все нижеследующие изображения показывают виртуальные камеры, например, виртуальную камеру 210, относительно только близкой плоскости отсечения, например, близкой плоскости 230 отсечения.

Объекты, перемещающиеся вокруг поля 110, могут входить в поле 250 зрения виртуальной камеры 210 с любого направления, о чем может быть неизвестно оператору камеры, и вызывать закрытия, дезорганизующие синхронизацию оператором камеры кадров заданного интересного объекта.

Описанные системы относятся к способу визуализации объекта на виртуальном виде на основе определенной меры закрытия, получаемой на основании траектории объекта и поля зрения виртуальной камеры. Применение эффекта перехода к объекту обеспечивает то, что виртуальная камера не визуализирует объект, когда объект отсекается близкой плоскостью отсечения. При определении меры закрытия, описанные системы позволяют применять к объектам, которые дезорганизующе закрывают поле зрения, эффект перехода, который уменьшает дезорганизующее закрытие. В контексте настоящего раскрытия, дезорганизующее закрытие относится к закрытию потенциально интересного объекта или к закрытию более чем заданной части поля зрения, например, 50% поля зрения.

Фиг. 3 показывает способ 300 визуализации объекта в поле зрения виртуальной камеры. Способ 300 обычно реализуется в виде одного или нескольких модулей приложения 1333, запоминаемых на накопителе 1310 на жестких дисках и выполняемых под управлением процессора 1305.

Способ 300 начинается с этапа 310 получения. На этапе 310, получают данные, отражающие поле 220 зрения виртуальной камеры 210. Данные о поле зрения получают на основании построения виртуальной камеры процессором 1305 с использованием видеоданных, принимаемых от физических камер 120A - 120X, в примере фиг. 1e. Данные о поле зрения обновляют для отражения изменений, осуществляемых в отношении параметров физических камер 120A - 120X оператором камеры, с использованием входных данных от контроллера 180, если это применимо.

Способ 300, выполняемый процессором 1305, переходит от этапа 310 к этапу 320 получения. На этапе 320, получают данные о положении объекта на поле 110. В одной системе, объектом является человек, находящийся на спортивном поле. В других системах, объект не является человеком, но может быть мячом или транспортным средством или объектом некоторого другого типа. Один из способов получения данных о положении объекта обеспечивается посредством следящего устройства (не показано), прикрепленного к объекту. Следящее устройство содержит GPS- приемник, который может передавать координаты объекта в центральное местоположение посредством беспроводного соединения, например, IEEE 802.11 или RFID. В альтернативной системе, данные о положении могут быть получены из восстановления видеокадров, например, с использованием массива камер 120A-120X и соответствующих видов. Приложение 1333 использует оптическое распознавание символов (optical character recognition - OCR) для извлечения идентифицирующих признаков объекта, таких как имена и номера игроков. В альтернативной системе, данные о положении могут быть получены на основании построенной трехмерной модели. Система 100 может быть исходно запущена, когда арена является пустой, для обеспечения исходных данных. После входа объектов на арену и их представления в трехмерной модели, разница между текущей трехмерной моделью и исходной трехмерной моделью будет указывать на положение объектов. В других системах, приложение 1333 руководствуется набором правил, основанных на размере объекта, скорости перемещения, и положении, для классификации типов объектов, идентифицированных в модели. Например, относительно малый объект, который быстро перемещается на арене и выше нее, классифицируется как мяч, а объект среднего размера, высотой, приблизительно, 1,7 м, который перемещается по земле, классифицируется как человек.

Способ 300, выполняемый процессором 1305, переходит от этапа 320 к этапу 330 определения. На этапе 330, определяют траекторию объекта. Существуют реализации для определения траектории объекта. В одной системе, приложение 133 генерирует виртуальную реконструкцию ранее захваченного события (воспроизведение), где перемещения объекта являются известными. В другой системе, приложение 133 генерирует виртуальную реконструкцию в режиме реального времени (живое изображение), где траектория объекта является предсказанной траекторией. Предсказанную траекторию, например, определяют на основе текущей траектории с использованием текущего положения и текущей скорости и ускорения и затем экстраполируют ее вперед по времени.

Способ 300, выполняемый процессором 1305, переходит от этапа 330 к этапу 340 определения. На этапе 340, определяют меру закрытия для объекта. Способ 400 определения меры закрытия, реализуемый на этапе 340, описан ниже в связи с фиг. 4. При определении меры закрытия, этап 340 также обеспечивает выбор эффекта перехода, являющегося визуальным эффектом.

Способ 300, выполняемый процессором 1305, переходит от этапа 340 к этапу 350 применения. На этапе 350, к объекту применяют эффект перехода на основе определенной меры закрытия. Эффект перехода применяют согласно положению объекта, перемещающегося вдоль траектории. Применение эффекта перехода обеспечивает визуализацию объекта на виртуальном виде, таком как вид 190. В одной системе, к объекту применяют эффект перехода прозрачности. Однако другие системы применяют один или комбинацию эффектов перехода, таких как выбор отображения или неотображения, постепенного появления изображения, постепенного исчезновения изображения, прозрачности, изменения или преобразования цвета, перехода цветов, яркости, насыщения, текстуры, визуального эффекта и стиля объекта. Эффект перехода может быть также основан на типе объекта и относительном размере объекта. Например, эффект перехода прозрачности может быть использован для человека, текстурный эффект перехода может быть использован для конструкции, такой как штанга, и цветовой эффект перехода может быть использован для мяча.

Фиг. 4 показывает способ 400 определения меры закрытия для объекта. Способ 400 обычно реализуется в виде одного или нескольких модулей приложения 1333, запоминаемых на накопителе 1310 на жестких дисках и выполняемых под управлением процессора 1305.

Способ 400 начинается с этапа 410 определения. На этапе 410, степень закрытия объекта определяют для каждого кадра поля зрения виртуальной камеры, в котором, как предсказано, будет находиться объект. Степень закрытия относится к степени того, насколько объект закрывает фон сцены.

Степень закрытия определяют на пообъектной основе (посредством способов отслеживания объектов), как если бы рассматриваемый объект был единственным объектом на виде. При определении степени закрытия на пообъектной основе, на определение степени закрытия не влияют другие объекты, находящиеся перед основным объектом, которые могут влиять на впечатление зрителя о том, насколько большое закрытие создается.

Способ 400 переходит от этапа 410 к этапу 420 генерирования. На этапе 420, приложение 1333 выполняется для генерирования профиля закрытия, также называемого мерой закрытия, на основе изменения степени закрытия с течением времени. Профиль (мера) закрытия представляет собой оценку закрытия виртуального вида объектом. Изменение профиля закрытия определяют на основе траектории объекта. Аспекты профиля закрытия описаны в связи с фиг. 5. Поскольку степень закрытия относится к степени того, насколько объект закрывает виртуальный вид, профиль закрытия относится к размеру объекта.

Способ 400 переходит от этапа 420 к этапу 430 назначения. На этапе 430, меру закрытия назначают объекту на основе профиля закрытия. Например, выбранная мера закрытия может быть запомнена в памяти 1309 в связи с данными, представляющими виртуальную камеру. Способ 400 заканчивается после этапа 430.

Фиг. 5 показывает пример графика 500 профиля закрытия. График 500 показывает изменение степени закрытия объекта относительно поля зрения с течением времени. x-ось 501 отображает время. Время может быть измерено относительно числа кадров или в стандартном таймкоде. Y-ось 502 показывает величину закрытия на основе степени закрытия. Линия 503 представляет профиль закрытия посредством профилирования изменения закрытия для объекта с течением времени. Линия 504 указывает интервал времени с момента, когда объект обеспечил закрытие, большее нуля, до момента, когда объект обеспечил максимальное закрытие.

Стрелка 509 на одном конце линии 504 указывает на то, что конец профиля закрытия находится вне границ графика 500. Линия 505 указывает интервал времени с момента максимального закрытия объекта до момента, когда закрытие объекта достигает нуля (например, при этом объект может быть полностью отсечен плоскостью 230 отсечения). Интервалы времени, указываемые линиями 504 и 505, добавлены для определения общего времени, в течение которого объект находится в поле 250 зрения. Интервалы времени, указываемые линиями 504 и 505, используют в определении меры закрытия объекта. Две пунктирные линии 506 и 507 представляют верхний и нижний порог закрытия, соответственно. Верхний порог 506 закрытия и нижний порог 507 закрытия обычно определяются пользовательским тестированием для конкретного контекста (например, конкретного вида спорта) или арены. Верхний порог 506 закрытия и нижний порог 507 закрытия используют при применении эффекта перехода к объекту.

Фиг. 6A - 6D показывают иллюстративный сценарий, в котором объект, в этом случае человек, приближается к виртуальной камере из глубины поля зрения виртуальной камеры.

Фиг. 6А показывает вид сцены 600 сверху вниз. Объект 601 приближается к виртуальной камере 603 по траектории 602. Виртуальная камера 603 имеет поле 660 зрения. Каждая из точек A 605, B 606, C 607 и D 608, соответственно, представляет последовательные моменты перемещения объекта 601 вдоль траектории 602. Точки A 605, B 606, C 607 относятся к моментам, когда объект 601 находится перед близкой плоскостью 604 отсечения камеры 603. Точка D 604 относится к моменту, когда объект 601 прошел близкую плоскость 604 отсечения. Удаленная плоскость отсечения вида виртуальной камеры исключена из фиг. 6А (а также из фиг. 7А-12А) для обеспечения легкости нахождения ссылок.

Последовательность 620 (фиг. 6В) показывает видеокадры, захваченные или визуализированные виртуальной камерой 601, когда объект находился в точках A 605, B 606, C 607 и D 608, и описанные системы, для ссылки, не применялись. Кадры A 621, B 622, C 623 и D 624 последовательности 620, соответственно, показывают объект 625 (соответствующий объекту 601), приближающийся к виртуальной камере 603, в точках A, B, C, и D (605-608). Объект 625 визуально отсекается близкой плоскостью 604 отсечения в кадрах между кадрами C 623 и D 624.

Фиг. 6С показывает соответствующий график 630 профиля закрытия для объекта 601 в качестве результата выполнения этапа 420. Профиль 631 закрытия показывает величину закрытия, которую объект 601 вызывает с течением времени относительно поля 660 зрения. Поскольку объект 601 уже находится в поле зрения камеры 603, в начале профиля 631 имеется закрытие малой величины. Точки A 605, B 606, C 607 и D 608 фиг. 6А представлены на профиле 631 закрытия в виде отметок A 632, B 633, C 634 и D 635, соответственно. Отметка С 634 представляет момент максимального закрытия перед тем, как объект 601 начинает отсекаться плоскостью 604 отсечения, что приводит к уменьшению закрытия объекта. Отметка D 635 представляет момент, когда закрытие, обеспечиваемое объектом 601, достигает нуля, и объект 601 полностью вырезается из вида. Как показано на фиг. 6С, профиль (мера) 631 закрытия представляет оценку закрытия виртуального поля зрения объектом 601, и изменение профиля 631 определяется на основе траектории 602 объекта 601.

При выполнении этапа 430 объекту назначают меру закрытия на основе определенного изменения профиля 631 закрытия. Сложение интервалов времени, указываемых линиями 636 и 637, определяет общее время нахождения объекта в поле 660 зрения. В сценарии фиг. 6A - 6D, приложение 1333 выполняется, чтобы позволить объекту закрывать как можно большую часть поля 660 зрения перед тем, как эффект перехода будет применен посредством сокрытия любого отсечения объекта, вызванного плоскостью 604 отсечения. Объекту разрешено закрывать как можно большую часть поля зрения посредством определения интервала времени, указываемого линией 636. Если интервал времени, указываемый линией 636, будет большим заданного порога, например, 1 секунды, то присутствие объекта 601 в поле 600 зрения будет считаться установленным и продолжится до достижения момента времени применения эффекта перехода. Заданный порог обычно определяется пользовательским тестированием системы 100. После определения эффекта перехода для объекта на этапе 430, пороги 638 и 639 закрытия используют для применения эффекта перехода на этапе 350. Этап 430 обеспечивает назначение меры закрытия посредством выбора эффекта перехода, такого как эффект прозрачности, и момента времени, когда следует применить эффект перехода, в последовательности видеокадров, генерируемой виртуальной камерой 603.

Применение эффекта перехода при выполнении этапа 350 относится к порогам 638 и 639 закрытия (подобным порогам 506 и 507 закрытия фиг. 5). В примере фиг. 6A - 6D, приложение 1333 начинает эффект перехода, когда профиль 631 закрытия пересекает верхний порог 638 закрытия на отметке B 633 и заканчивает эффект перехода на отметке C 634. В примере фиг. 6A - 6D, эффект перехода не используется на отметке D 635. Соответственно, эффект перехода применяют согласно положениям объекта 601, когда объект 601 перемещается вдоль траектории 602.

Последовательность 650 (фиг. 6D) показывает кадры, захваченные виртуальной камерой 603, когда объект 601 был в точках A 605, B 606, C 607 и D 608, и применялись описанные системы. Кадры A 651, B 652, C 653 и D 654 последовательности 650, соответственно, показывают объект 655 (соответствующий объекту 601), приближающийся к виртуальной камере 603. В результате выполнения этапа 350, в кадре B 652 объект 655 является видимым, а в кадре C 653 к объекту 656 (соответствующему объекту 655) применен эффект перехода с тем, чтобы он был прозрачным и незаметным для зрителя (объект показан пунктирными линиями). Между кадрами C 653 и D 654 объект отсекается, однако виртуальная камера 603 не визуализирует объект 601, поскольку объект 601 является прозрачным.

Фиг. 7А - 7D показывают иллюстративный сценарий, в котором объект, в этом случае человек, приближается к виртуальной камере сзади и входит в поле зрения виртуальной камеры.

Фиг. 7А показывает вид сцены 700 сверху вниз. Объект 701 приближается к виртуальной камере 703 по траектории 702. Виртуальная камера имеет поле 760 зрения. Каждая из точек A 705, B 706, C 707 и D 708, соответственно, представляет последовательные моменты перемещения объекта 701 вдоль траектории 702. Точка A 705 относится к моменту, когда объект 701 находится сзади близкой плоскости 704 отсечения виртуальной камеры 703. Точки B 706, C 707 и D 708 относятся к моментам, когда объект 701 прошел близкую плоскость 704 отсечения.

Последовательность 720 на фиг. 7В показывает видеокадры, захваченные виртуальной камерой 703, когда объект 701 находился в точках A 705, B 706, C 707 и D 708, соответственно, и описанные системы, для ссылки, не применялись. Кадры A 721, B 722, C 723 и D 724 последовательности 720, соответственно, показывают объект 725 (соответствующий объекту 701), входящий в поле 760 зрения и перемещающийся от виртуальной камеры 703. Объект 725 визуально отсекается близкой плоскостью 704 отсечения в кадрах между кадрами A 721 и B 722.

Фиг. 7С показывает соответствующий график 730 профиля закрытия для объекта 701 в качестве результата выполнения этапа 420. Профиль 731 закрытия показывает величину закрытия, которую объект 701 вызывает с течением времени. Точки A 705, B 706, C 707 и D 708 представлены на профиле 731 закрытия в виде отметок A 732, B 733, C 734 и D 735, соответственно. Поскольку объект 701 начинает перемещение из-за пределов поля 760 зрения, профиль 731 начинается с нулевого закрытия, что показано точкой A 732. Отметка B 734 представляет момент максимального закрытия после входа объекта 701 в поле 760 зрения и прекращения его отсечения плоскостью 704 отсечения.

Этап 430 выполняется для назначения меры закрытия посредством выбора эффекта перехода для человека 701. Сложение интервалов времени, указываемых линиями 736 и 737, на этапе 430, определяет общее время нахождения объекта 701 в поле 760 зрения. На фиг. 7A - 7D, описанные системы обеспечивают сокрытие любого отсечения объекта, вызываемое входом объекта 701 в поле 760 зрения, а также предотвращают дезорганизующее закрытие, вызываемое входом объекта 701 в поле 760 зрения. Приложение 133 определяет, что объект 701 будет вызывать дезорганизующее закрытие, на основе интервала времени, указываемого линией 736. Если интервал времени, указываемый линией 736, будет меньшим порога, например, 1 секунды, то при выполнении этапа 430 будет определено, что внезапное появление объекта (701) в поле 760 зрения вызовет искажение поля 760 зрения. Эффект перехода назначают для постепенного введения объекта 701 в поле 760 зрения. Соответственно, эффект перехода определяют на основе положения объекта 701 относительно плоскости 740 отсечения.

После определения эффекта перехода, пороги 738 и 739 используют для применения эффекта перехода на этапе 350. В примере фиг. 7A - 7D, на этапе 350, применение эффекта перехода начинается, когда профиль 731 закрытия удовлетворяет первому пороговому требованию (пересекает верхний порог 738 закрытия на отметке C 734), и заканчивается, когда профиль закрытия удовлетворяет второму пороговому требованию (пересекает нижний порог 738 закрытия на отметке D 735).

Последовательность 750 фиг. 7D показывает видеокадры 751-754, визуализированные виртуальной камерой 703, когда объект 701 находился в точках A 705, B 706, C 707 и D 708, и применялись описанные системы. Кадры A 751, B 752, C 753 и D 754 последовательности 750, соответственно, показывают объект 755 (соответствующий объекту 701), приближающийся к виртуальной камере 703 сзади и затем перемещающийся от виртуальной камеры 703. В результате выполнения этапа 350, в кадре C 753 объект визуализирован так, что он является прозрачным или незаметным для зрителя (показан пунктирными линиями), а в кадре D 754 объект 756 (соответствующий объекту 755) является видимым. Между кадрами B 752 и C 753 объект 701 отсекается, однако виртуальная камера 703 не визуализирует объект 701, поскольку к объекту 701 применяется эффект перехода с тем, чтобы он был по существу прозрачным или невидимым.

Фиг. 8A - 8D показывают иллюстративный сценарий, в котором объект, в этом случае человек, приближается к виртуальной камере сзади по диагонали и входит в поле зрения виртуальной камеры.

Фиг. 8А показывает вид сцены 800 сверху вниз. Объект 801, человек, приближается к виртуальной камере 803 по траектории 802. Камера 803 имеет поле 860 зрения. Каждая из точек A 805, B 806, C 807 и D 808, соответственно, представляет последовательные моменты перемещения объекта 801 вдоль траектории 802. Точка A 805 представляет момент, когда объект 801 находится сзади близкой плоскости 804 отсечения. Точки B 806, C 807 и D 808 представляют моменты, когда объект 801 прошел близкую плоскость 804 отсечения.

Последовательность 820 на фиг. 8В показывает видеокадры, захваченные виртуальной камерой 803, когда объект 801 находился в точках A 805, B 806, C 807 и D 808, и описанные способы, для ссылки, не применялись. Кадры A 821, B 822, C 823 и D 824 последовательности 820, соответственно, показывают объект 825 (соответствующий объекту 801), входящий в поле 860 зрения по диагонали и перемещающийся от виртуальной камеры 803. Объект 825 визуально отсекается близкой плоскостью 804 отсечения в кадрах между кадром A 821 и кадром B 822.

Фиг. 8С показывает соответствующий график 830 профиля закрытия для объекта 801 в качестве результата выполнения этапа 420. Профиль 831 закрытия показывает величину закрытия, которую объект 801 вызывает с течением времени в поле 860 зрения. Точки A 805, B 806, C 807 и D 808 фиг. 8А представлены на профиле 831 закрытия в виде отметок A 832, B 833, C 834 и D 835, соответственно. Поскольку перемещение объекта 801 начинается из-за пределов поля 860 зрения, профиль 831 начинается с нулевого закрытия, представленного точкой А 832. Отметка B 834 представляет момент максимального закрытия после входа объекта 801 в поле 860 зрения и прекращения его отсечения плоскостью 804 отсечения.

Способ 400 переходит к этапу 430 для определения эффекта перехода для объекта 701. Сложение интервалов времени, указываемых линиями 836 и 837, на этапе 430, определяет общее время нахождения объекта 801 в поле 860 зрения. В примере фиг. 8A - 8D, описанные системы обеспечивают выбор эффекта перехода для сокрытия любого отсечения объекта, вызванного входом объекта 801 в поле 860 зрения. На фиг. 8A - 8B, объект не будет вызывать дезорганизующее закрытие, поскольку даже в случае, когда интервал времени, указываемый линией 836, является меньшим, чем временной порог (например, 1 секунда на фиг. 8С), максимальное закрытие (отметка B 833) находится в приемлемых пределах. Приемлемые пределы относятся к закрытию, которое является меньшим верхнего порога 838 закрытия.

Выбранный эффект перехода применяют на этапе 350. После определения приложением 1333 эффекта перехода для объекта 801, пороги 838 и 839 закрытия используют для применения эффекта перехода. На этапе 350, приложение 1333 начинает эффект перехода на отметке B 833, когда максимум профиля 831 закрытия находится ниже порога 838 закрытия. Приложение 1333 заканчивает эффект перехода, когда профиль 831 закрытия пересекает нижний порог 839 на отметке C 834. Соответственно, эффект перехода применяют на основе профиля (меры) 831 закрытия, удовлетворяющего по меньшей мере одному порогу.

Последовательность 850 на фиг. 8D показывает видеокадры, захваченные виртуальной камерой 803, когда объект 801 находился в точках A 805, B 806, C 807 и D 808, и когда применялись описанные системы. Кадры A 851, B 852, C 853 и D 854 последовательности 850, соответственно, показывают объект 855 (соответствующий объекту 801), входящий в поле 860 зрения по диагонали и перемещающийся от камеры 803. В результате выполнения этапа 350, к объекту 855 применили эффект перехода для визуализации объекта 855 в невидимом состоянии (показано пунктирными линиями) в кадре B 852, и объекта 856 в видимом состоянии в кадре C 853. Между кадрами A 851 и B 852 объект 855 отсекается, однако камера 803 не визуализирует объект 855, поскольку выбранный эффект перехода относится к прозрачности и невидимости.

Фиг. 9A - 9D показывают иллюстративный сценарий, в котором объект, в этом случае человек, перемещается поперек поля зрения виртуальной камеры, относительно близко к виртуальной камере.

Фиг. 9А показывает вид сцены 900 сверху вниз. Объект 901 приближается к виртуальной камере 903 по траектории 902. Виртуальная камера 903 имеет поле 960 зрения. Каждая из точек A 905, B 906 и C 907, соответственно, представляет последовательные моменты перемещения объекта 901 вдоль траектории 902. Точка A 905 представляет момент, когда объект 901 входит в поле 960 зрения. Точка В 906 представляет момент, когда объект 901 полностью появляется в поле 960 зрения. Точка С 907 представляет момент, когда объект 901 выходит из поля 960 зрения.

Последовательность 920 на фиг. 9В показывает видеокадры, захваченные виртуальной камерой 703, когда объект 801 находился в точках A 905, B 906 и C 907, и описанные системы, для ссылки, не применялись. Кадры A 921, B 922 и C 923 последовательности 920, соответственно, показывают объект 924 (соответствующий объекту 901), входящий в поле 960 зрения и перемещающийся поперек поля 960 зрения, в точках A 905, B 906 и C 907. Объект 925 быстро входит и затем выходит из поля 960 зрения, вызывая закрытие в кадрах A 921, B 922 и C 923.

Фиг. 9С показывает график 930 профиля закрытия для объекта 901 в качестве результата выполнения этапа 420. Профиль 931 закрытия показывает величину закрытия, которую объект 901 вызывает в поле 960 зрения, с течением времени. Точки A 905, B 906 и C 907 представлены на профиле 931 закрытия в виде отметок A 932, B 933 и C 934, соответственно. Отметка B 933 представляет момент максимального закрытия после входа объекта 901 в поле 960 зрения.

Этап 430 выполняется для назначения эффекта перехода объекту 701. Сложение интервалов времени, указываемых линиями 936 и 937, на этапе 430, определяет общее время нахождения объекта в поле 960 зрения. В примере фиг. 9A - 9D, описанные системы обеспечивают предотвращение дезорганизующего закрытия, вызываемого входом объекта в поле 960 зрения. Приложение 1333 определяет, что объект 1333 будет вызывать дезорганизующее закрытие, посредством определения того, что профиль 931 закрытия превышает верхний порог 938 закрытия. После определения того, что объект 901 будет вызывать закрытие, интервалы времени, указываемые линиями 936 и 937, объединяют для определения того, является ли общее время меньшим минимального порога появления (например, 1 секунда). Поскольку профиль 831 закрытия указывает, что объект 901 будет вызывать закрытие и будет относительно быстро входить и выходить из поля 960 зрения, приложение 1333 решает не вводить объект 901 в поле 960 зрения. Эффект перехода эффективно определяют на основе интервала времени, в течение которого объект 901 будет находиться в виртуальном виде, связанном с полем 960 зрения. Дополнительно, эффект перехода определяют посредством сравнения интервала времени, в течение которого объект 901 будет находиться в виртуальном виде, с порогом, равным 1 секунде. Порог может быть определен в некоторых системах посредством пользовательского или зрительского тестирования. Этап 430 обеспечивает применение эффекта перехода, обеспечивающего «неотображение» или, в некоторых системах, эффекта перехода, обеспечивающего прозрачность.

Этап 350 выполняется для применения определенной прозрачности. Последовательность 950 на фиг. 9D показывает видеокадры, захваченные виртуальной камерой 903, когда объект 901 находился в точках A 905, B 906 и C 907, и применялись описанные системы. В результате выполнения этапа 350, в кадрах A 951, B 952 и C 953 объект 954 визуализируется как прозрачный (что показано пунктирными линиями 954). В примере фиг. 9D, эффект перехода применяется ко всем кадрам в последовательности 950, а не к тем кадрам, в которых профиль 831 закрытия находится между порогами 938 и 939 закрытия.

Фиг. 10A - 10D показывают иллюстративный сценарий, в котором объект, в этом случае мяч, перемещается поперек поля зрения камеры близко к камере.

Фиг. 10А показывает вид сцены 1000 сверху вниз. Объект 1001, мяч, приближается к виртуальной камере 1003 по траектории 1002. Виртуальная камера 1003 имеет поле 1060 зрения. Каждая из точек A 1005, B 1006 и C 1007, соответственно, представляет последовательные моменты перемещения мяча 1001 вдоль траектории 1002. Точка A 1005 относится к моменту, когда объект 1001 входит в поле 1060 зрения. Точка B 1006 представляет момент, когда объект 1001 полностью появляется в поле 1060 зрения. Точка C 1007 относится к моменту, когда объект выходит из поля 1060 зрения. Виртуальная камера 1003 имеет близкую плоскость 1004 отсечения. Все точки A 1005, B 1006 и C 1007 находятся за пределами плоскости 1004 отсечения.

Фиг. 10В показывает последовательность 1020 видеокадров, захваченных виртуальной камерой 1003, когда объект 1001 находился в точках A 1005, B 1006 и C 1007, и описанные системы, для ссылки, не применялись. Кадры A 1021, B 1022 и C 1023 последовательности 1020, соответственно, показывают объект 1024 (соответствующий мячу 1001), входящий в поле 1060 зрения и перемещающийся поперек поля зрения, в точках A 1005, B 1006 и C 1007. Объект 1024 быстро входит и затем выходит из поля 1060 зрения.

Фиг. 1°C показывает график 1030 профиля закрытия для объекта 1001 в качестве результата выполнения этапа 420. Профиль 1031 закрытия показывает величину закрытия, которую объект 1001 вызывает с течением времени. Точки A 1005, B 1006 и C 1007 фиг. 10А представлены на профиле 1031 закрытия в виде отметок A 1032, B 1033 и C 1034, соответственно. Отметка B 1034 представляет момент максимального закрытия после входа объекта 1001 в поле 1060 зрения.

Этап 430 выполняется для назначения эффекта перехода или перехода для мяча 1001. Сложение интервалов времени, указываемых линиями 1036 и 1037, на этапе 430, определяет общее время нахождения объекта 1001 в поле 1060 зрения. Величина максимального закрытия, указываемая отметкой B 1033, является меньшей, чем верхний порог 1138 закрытия, что указывает на то, что объект 1001 не вызывает негативное закрытие. Несмотря на относительно короткий интервал времени нахождения объекта 1001 в поле 1060 зрения, нет никакого негативного закрытия. Приложение 1333 назначает эффект перехода, чтобы сделать объект 1001 видимым, когда объект 1001 войдет в поле 1060 зрения.

Последовательность 1050 на фиг. 10D показывает видеокадры, захваченные виртуальной камерой 1003, когда объект 1001 находился в точках A 1005, B 1006 и C 1007, и применялись описанные системы. В результате выполнения этапа 350, объект 1054 (соответствующий мячу 1001) визуализируется как видимый (отображаемый) в каждом из кадров A 1051, B 1052 и C 1053 последовательности 1050.

Фиг. 11A - 11D показывают иллюстративный сценарий, в котором объект, в этом случае человек, перемещается поперек поля зрения виртуальной камеры далеко от виртуальной камеры.

Фиг. 11А показывает вид сцены 1100 сверху вниз. Объект 1101, человек, приближается к виртуальной камере 1103 по траектории 1102. Виртуальная камера 1103 имеет поле 1160 зрения. Каждая из точек A 1105, B 1106 и C 1107, соответственно, представляет последовательные моменты перемещения объекта 1101 вдоль траектории 1102. Точка A 1105 относится к моменту, когда объект входит в поле 1160 зрения. Точка В 1106 относится к моменту, когда объект 1101 полностью появляется в поле 1160 зрения. Точка С 1107 относится к моменту, когда объект 1101 выходит из поля 1160 зрения.

Фиг. 11В показывает последовательность видеокадров, захваченных виртуальной камерой 1103, когда объект 1101 находился в точках A 1105, B 1106 и C 1107, и описанные системы, для ссылки, не применялись. Кадры A 1121, B 1122 и C 1123 последовательности 1120, соответственно, показывают объект 1124 (соответствующий человеку 1101), входящий в поле 1160 зрения и перемещающийся поперек поля 1160 зрения, в точках A 1105, B 1106 и C 1107. Объект 1124 входит и затем выходит из поля 1160 зрения без дезорганизующего закрытия.

Фиг. 11С показывает график 1130 профиля закрытия для объекта 1101 в качестве результата выполнения этапа 420. Профиль 1131 закрытия показывает величину закрытия, которую объект 1101 вызывает с течением времени. Точки A 1105, B 1106 и C 1107 фиг. 11А представлены на профиле 1131 закрытия в виде отметок A 1132, B 1133 и C 1134, соответственно. Отметка B 1133 представляет момент максимального закрытия после входа объекта 1101 в поле 1160 зрения.

Этап 430 выполняется для назначения или определения эффекта перехода для объекта 1101. Сложение интервалов времени, указываемых линиями 1136 и 1137, определяет общее время нахождения объекта 1101 в поле 1160 зрения. Величина максимального закрытия, указываемая отметкой B 1133, является меньшей, чем верхний порог 1138 закрытия, что указывает на то, что объект 1101 не вызывает негативного закрытия. Поскольку нет никакого негативного закрытия, этап 430 выполняется для определения эффекта перехода, чтобы сделать объект 1101 видимым, когда объект 1101 войдет в поле 1160 зрения.

Последовательность 1150 на фиг. 10D показывает видеокадры, захваченные виртуальной камерой 1103, когда объект 1101 находился в точках A 1105, B 1106 и C 1107, и применялись описанные системы. В результате выполнения этапа 350, объект 1154 (соответствующий объекту 1101) визуализируется как видимый в последовательности 1150 в каждом из кадров A 1151, B 1152 и C 1153.

Фиг. 12A - 12D показывают иллюстративный сценарий, в котором имеются два объекта на траекториях, направленных друг к другу, в поле зрения виртуальной камеры. Определенные траектории, вероятно, приведут к взаимодействию между двумя объектами. Первый из объектов является человеком, приближающимся к виртуальной камере спереди и находящимся в поле зрения. Второй объект является человеком, приближающимся к виртуальной камере сзади и появляющимся в поле зрения. Приложение 1333 выполняется для определения того, как эти два объекта собираются взаимодействовать друг с другом, посредством определения траектории каждого объекта и пересечения этих траекторий.

Фиг. 12А показывает вид сцены 1200 сверху вниз. Первый объект 1201, человек, приближается к виртуальной камере 1205 сзади по траектории 1202. Виртуальная камера 1205 имеет поле 1260 зрения. Второй объект 1203 приближается к виртуальной камере 1205 спереди по траектории 1204. Каждая из точек A 1207, B 1208 и C 1209, соответственно, представляет последовательные моменты, относящиеся к перемещению первого объекта 1201 вдоль траектории 1202. Точка A 1207 относится к моменту, когда объект 1201 находится сзади близкой плоскости 1204 отсечения камеры 1205. Точки В 1208 и С 1209 относятся к моментам, когда объект 1201 прошел близкую плоскость 1204 отсечения.

Последовательность 1220 на фиг. 12В показывает видеокадры, захваченные камерой 1205 из точек A 1207, B 1208 и C 1209, когда описанные системы, для ссылки, не применялись. Кадр A 1221 последовательности 1220 показывает только второй объект 1225 (соответствующий человеку 1203) в поле 1260 зрения. Кадр В 1222 последовательности 1220 показывает первый объект 1224 (соответствующий человеку 1201) перед вторым объектом 1225 после входа в поле 1260 зрения. Между кадрами A 1221 и B 1222 отсечение первого объекта 1224 может быть видимым в видеоданных, визуализируемых виртуальной камерой 1205. Кадр С 1223 последовательности 1220 показывает взаимодействие первого и второго объектов 1224 и 1225.

Для отдельной обработки объектов 1201 и 1203, для первого объекта 1201 был выбран и применен эффект перехода, подобный эффекту перехода, описанному для человека 701 в связи с фиг. 7A - 7D. Эффект перехода для второго объекта 1203 назначают и применяют с использованием подхода, подобного подходу, описанному на фиг. 6A - 6D. Если способы, используемые на фиг. 6A - 6D и фиг. 7A - 7D, будут реализованы одновременно, то перемежающийся кадр C-Alt 1226 будет получен виртуальной камерой 1205 в момент C 1209. В точке C 1209 взаимодействия, первый объект 1227 (соответствующий объекту 1224) может быть невидимым для зрителя, в то время как второй объект 1225 может быть видимым для зрителя. На фиг. 12A - 12D, отдельная обработка объектов 1201 и 1203 может обеспечить неблагоприятный результат.

Фиг. 12С показывает график 1230 профиля закрытия для первого объекта 1201 и второго объекта 1203 фиг. 12А в качестве результата выполнения этапа 420. Профиль 1231 закрытия для первого объекта 1201 показывает величину закрытия, которую объект 1201 вызывает с течением времени. Точки A 1207, B 1208 и C 1209 фиг. 1А представлены на профиле 1231 закрытия в виде отметок A 1233, B 1234 и C 1235, соответственно. Поскольку первый объект 1201 начинает перемещение из-за пределов поля 1260 зрения, профиль 1231 начинается с нулевого закрытия, представленного точкой А 1233. Отметка B 1234 представляет момент максимального закрытия после входа объекта 1201 в поле 1260 зрения и прекращения его отсечения плоскостью 1206 отсечения.

Приложение 1333 выполняет этап 430 для назначения или выбора эффекта перехода. Сложение интервалов времени, указываемых линиями 1236 и 1237, определяет общее время нахождения объекта 1201 в поле 1260 зрения. В примере фиг. 12A - 12D, приложение 1333 выполняется для выбора и применения эффекта перехода в первую очередь для сокрытия любого отсечения объекта, вызванного входом первого объекта 1201 в поле 1260 зрения. Приложение 1333 также выполняется для выбора и применения эффекта перехода для предотвращения дезорганизующего закрытия, вызываемого входом первого объекта 1201 в поле 1260 зрения, а также для обеспечения видимости первого объекта 1201 в момент взаимодействия между двумя объектами 1201 и 1203. Верхний и нижний пороги закрытия, упомянутые в описанных выше примерах, модифицируются на основе взаимодействия объектов друг с другом. Приложение 133 выполняется на этапе 430 для модификации верхнего порога 1238 закрытия до точки, в которой первый объект 1201 больше не отсекается. Приложение 133 также выполняется для модификации нижнего порога 1239 до уровня закрытия в точке взаимодействия, представленной отметкой C 1235. Соответственно, эффект перехода определяют на основе других объектов на виртуальном виде, визуализируемых виртуальной камерой 1205.

После назначения эффекта перехода первому объекту 1201, приложение 1333 использует модифицированные пороги 1238 и 1239 закрытия для применения эффекта перехода на этапе 350. В примере фиг. 12A - 12B, на этапе 350, эффект перехода применяют на отметке B 1234, которая совпадает с верхним порогом 1238 закрытия. Приложение 1333 заканчивает эффект перехода в точке взаимодействия, представленной отметкой C 1235. Отметка С теперь совпадает с нижним порогом 1238 закрытия. В примере фиг. 12A - 12B, эффект перехода применяют на основе профиля 531 закрытия, удовлетворяющего модифицированным порогам.

Фиг. 12D показывает последовательность видеокадров, захваченных виртуальной камерой 1205, когда объект 1203 находился в точках A 1207, B 1208 и C 1209, и применялись описанные системы. Кадр A 1251 показывает только второй объект 1254 (соответствующий объекту 1203) в поле 1260 зрения. Кадр В 1252 показывает первый объект 1255 (соответствующий человеку 1201) по существу прозрачным и невидимым перед вторым объектом 1203 после входа в поле 1260 зрения. Кадр C 1253 показывает видимое взаимодействие первого объекта 1256 и второго объекта 1254 в поле 1260 зрения.

Описанные системы применимы в индустрии вычислительной техники и обработки данных и, в частности, в индустрии широковещания, например, в индустрии широковещания в режиме реального времени.

При определении профиля закрытия и при выборе и применении эффекта перехода в реализациях, описанных выше, описанные системы обеспечивают преимущество, состоящее в уменьшении эффектов отсечения при генерировании виртуального вида. Результирующая визуализация виртуального вида (например, видеоданные) обычно является более приятной для зрителя. Дополнительно, посредством использования профиля закрытия, эффект перехода выбирают согласно конкретной траектории объекта. Сохраняется контекст записываемой среды, например, объекта 140 на арене 110. Рабочая нагрузка на оператора контроллера 180 эффективно уменьшается, поскольку оператору не нужно постоянно управлять положением и близостью виртуальной камеры к объектам, находящимся как в пределах, так и за пределами поля зрения камеры, при выполнении задачи, состоящей в захвате интересного съемочного материала.

Выше описаны только некоторые варианты осуществления настоящего изобретения, и модификации и/или изменения могут быть реализованы в них, не выходя за рамки объема и сущности настоящего изобретения, причем варианты осуществления являются иллюстративными, а не ограничивающими.

Изобретение относится к виртуальным средам. Технический результат заключается в уменьшении дезорганизующих закрытий, вызываемых объектами, внезапно появляющимися в кадре вблизи виртуальной камеры. Такой результат достигается тем, что определяют эффект изображения, подлежащий применению к объекту в поле зрения виртуальной камеры, на основе положения объекта и положения виртуальной камеры, причем степень эффекта изображения, подлежащего применению к объекту, зависит от расстояния между положением объекта и положением виртуальной камеры; и генерируют, на основе множества изображений, захваченных с различных направлений множеством устройств захвата изображений, видеоизображение виртуального вида согласно положению и ориентации виртуальной камеры, причем определенный эффект изображения применяется к объекту в видеоизображении виртуального вида. 4 н. и 22 з.п ф-лы, 35 ил.

1. Способ генерирования видеоизображения виртуального вида, причем способ содержит этапы, на которых:

определяют эффект изображения, подлежащий применению к объекту в поле зрения виртуальной камеры, на основе положения объекта и положения виртуальной камеры, причем степень эффекта изображения, подлежащего применению к объекту, зависит от расстояния между положением объекта и положением виртуальной камеры; и

генерируют, на основе множества изображений, захваченных с различных направлений множеством устройств захвата изображений, видеоизображение виртуального вида согласно положению и ориентации виртуальной камеры, причем определенный эффект изображения применяется к объекту в видеоизображении виртуального вида.

2. Способ по п. 1, в котором эффект изображения, подлежащий применению к объекту, определяют на основе траектории объекта и положения объекта вдоль траектории.

3. Способ по п. 1, в котором эффект изображения включает в себя по меньшей мере одно из выбора отображать или не отображать, постепенного появления изображения, постепенного исчезновения изображения, перехода прозрачности, изменения преобразования цвета, изменения перехода цветов, изменения яркости, изменения насыщения, изменения текстуры, изменения визуального эффекта и изменения стиля объекта.

4. Способ по п. 1, в котором эффект изображения определяют на основе других объектов в поле зрения виртуальной камеры.

5. Способ по п. 1, в котором этап определения эффекта изображения дополнительно содержит этап, на котором определяют изменение меры закрытия объекта с течением времени.

6. Способ по п. 5, в котором мера закрытия является оценкой закрытия поля зрения виртуальной камеры объектом.

7. Способ по п. 5, в котором изменение меры закрытия определяют на основе траектории объекта.

8. Способ по п. 5, в котором изменение меры закрытия определяют на пообъектной основе, если более чем один объект находится в поле зрения виртуальной камеры.

9. Способ по п. 5, в котором меру закрытия определяют на основе размера объекта относительно поля зрения виртуальной камеры.

10. Способ по п. 1, в котором эффект изображения определяют на основе типа объекта.

11. Способ по п. 1, в котором эффект изображения определяют на основе положения объекта относительно плоскости отсечения, связанной с полем зрения виртуальной камеры.

12. Способ по п. 1, в котором эффект изображения определяют на основе интервала времени, в течение которого объект находится в поле зрения виртуальной камеры.

13. Способ по п. 1, в котором эффект изображения определяют посредством сравнения интервала времени, в течение которого объект находится в поле зрения виртуальной камеры, с порогом.

14. Способ по п. 5, в котором эффект изображения применяют на основе меры закрытия, удовлетворяющей порогу.

15. Способ по п. 5, в котором эффект изображения применяют, когда мера закрытия удовлетворяет первому порогу, и заканчивают применять, когда мера закрытия удовлетворяет второму порогу.

16. Способ по п. 5, в котором эффект изображения применяют на основе меры закрытия, удовлетворяющей по меньшей мере одному порогу, и упомянутый по меньшей мере один порог модифицируют на основе взаимодействия объекта с другим объектом в поле зрения виртуальной камеры.

17. Способ по п. 1, в котором эффект изображения является визуальным эффектом.

18. Способ по п. 1, в котором предсказывают положение объекта вдоль траектории объекта в поле зрения.

19. Невременный компьютерночитаемый носитель, на котором запомнена программа для генерирования видеоизображения виртуального вида, причем программа содержит:

код для определения эффекта изображения, подлежащего применению к объекту в поле зрения виртуальной камеры, на основе положения объекта и положения виртуальной камеры, причем степень эффекта изображения, подлежащего применению к объекту, зависит от расстояния между положением объекта и положением виртуальной камеры; и

код для генерирования, на основе множества изображений, захваченных с различных направлений множеством устройств захвата изображений, видеоизображения виртуального вида согласно положению и ориентации виртуальной камеры, причем определенный эффект изображения применяется к объекту в видеоизображении виртуального вида.

20. Устройство для генерирования видеоизображения виртуального вида, причем устройство содержит:

один или более аппаратных процессоров; и

одно или более запоминающих устройств, которые хранят команды, выполняемые одним или более аппаратных процессоров, чтобы предписывать упомянутому устройству:

определять эффект изображения, подлежащий применению к объекту в поле зрения виртуальной камеры, на основе положения объекта и положения виртуальной камеры, причем степень эффекта изображения, подлежащего применению к объекту, зависит от расстояния между положением объекта и положением виртуальной камеры; и

генерировать, на основе множества изображений, захваченных с различных направлений множеством устройств захвата изображений, видеоизображение виртуального вида согласно положению и ориентации виртуальной камеры, причем определенный эффект изображения применяется к объекту в видеоизображении виртуального вида.

21. Система для генерирования видеоизображения виртуального вида, содержащая:

множество устройств захвата изображений; и

память для запоминания данных и компьютерночитаемый носитель; и

процессор, связанный с памятью, для выполнения компьютерной программы, причем процессор имеет связь с множеством устройств захвата изображений через сеть, причем программа имеет команды для:

определения эффекта изображения, подлежащего применению к объекту в поле зрения виртуальной камеры, на основе положения объекта и положения виртуальной камеры, причем степень эффекта изображения, подлежащего применению к объекту, зависит от расстояния между положением объекта и положением виртуальной камеры; и

генерирования, на основе множества изображений, захваченных с различных направлений множеством устройств захвата изображений, видеоизображения виртуального вида согласно положению и ориентации виртуальной камеры, причем определенный эффект изображения применяется к объекту в видеоизображении виртуального вида.

22. Способ по п. 1, дополнительно содержащий этап, на котором:

предписывают устройству отображения отображать сгенерированное видеоизображение виртуального вида.

23. Способ по п. 1, в котором:

эффект изображения, подлежащий применению к объекту, определяют таким образом, что объект становится светопропускающим в случае, когда расстояние между положением объекта и положением виртуальной камеры становится короче, чем предварительно определенное расстояние,

и в котором степень прозрачности объекта зависит от расстояния между положением объекта и положением виртуальной камеры.

24. Способ по п. 1, в котором:

эффект изображения, подлежащий применению к объекту, определяют таким образом, что объект постепенно визуализируется в видеоизображении виртуального вида в случае, когда объект перемещается от положения рядом с виртуальной камерой в поле зрения виртуальной камеры.

25. Устройство по п. 20, в котором:

эффект изображения, подлежащий применению к объекту, определяют таким образом, что объект становится светопропускающим в случае, когда расстояние между положением объекта и положением виртуальной камеры становится короче, чем предварительно определенное расстояние,

и в котором степень прозрачности объекта зависит от расстояния между положением объекта и положением виртуальной камеры.

26. Устройство по п. 20, в котором:

эффект изображения, подлежащий применению к объекту, определяют таким образом, что объект постепенно визуализируется в видеоизображении виртуального вида в случае, когда объект перемещается от положения рядом с виртуальной камерой в поле зрения виртуальной камеры.