ВОСПРИЯТИЯ МНОГОСЛОЙНЫХ ДОПОЛНЕННЫХ РАЗВЛЕЧЕНИЙ Российский патент 2021 года по МПК H04N19/597 H04N21/81 G06T19/00 

Перекрестная ссылка на родственную заявку

[0001] Данная заявка притязает на приоритет предварительной заявки на патент (США) № 62/484121, поданной 11 апреля 2017 года, которая полностью содержится в данном документе по ссылке.

Область техники, к которой относится изобретение

[0002] Настоящее изобретение, в общем, относится к восприятиям трехмерных развлечений, и, в частности, к восприятиям многослойных дополненных трехмерных развлечений.

Уровень техники

[0003] При просмотре объекта реального мира в сцене реального мира, человеческий мозг использует процесс аккомодации для того, чтобы управлять ресничными мышцами таким образом, чтобы адаптировать каждый из хрусталиков глаз, расположенных позади зрачков в двух глазах, к определенным фокусным длинам (или мощностям), чтобы фокусироваться на объекте реального мира. Одновременно, человеческий мозг использует процесс вергентности для того, чтобы управлять экстраокулярными мышцами таким образом, чтобы одновременно обеспечивать схождение или расхождение двух глаз к объекту реального мира, чтобы поддерживать перцепцию объекта реального мира в качестве трехмерного объекта.

[0004] Посредством сравнения, при просмотре объекта, проиллюстрированного в трехмерных изображениях, человеческий мозг использует процесс аккомодации для того, чтобы управлять ресничными мышцами таким образом, чтобы фиксировать хрусталики глаз зрителя, чтобы фокусироваться на (например, кино- и т.д.) дисплее, чтобы поддерживать четкое представление трехмерных изображений, подготовленных посредством рендеринга на дисплее, независимо от того, где предположительно должен быть расположен проиллюстрированный объект в трехмерных изображениях. Одновременно, человеческий мозг использует процесс вергентности для того, чтобы управлять экстраокулярными мышцами таким образом, чтобы одновременно обеспечивать схождение или расхождение глаза к проиллюстрированному объекту в трехмерных изображениях, чтобы поддерживать перцепцию проиллюстрированного объекта в качестве трехмерного объекта.

[0005] Если проиллюстрированный объект имеет относительно большой отрицательный параллакс и в силу этого визуально воспринимается как относительно близкий к глазам перед дисплеем, процесс аккомодации по-прежнему пытается фиксировать глаза на дисплее, в то время как процесс вергентности нацелен на обеспечение схождения или расхождения глаза относительно проиллюстрированного объекта на относительно близком расстоянии, в силу этого вызывая конфликт аккомодации-вергентности. Этот конфликт аккомодации-вергентности при просмотре трехмерных изображений склонен вызывать серьезный физиологический дискомфорт/болезнь; в силу этого относительно большие отрицательные параллаксы редко используются, в частности, для восприятий трехмерных киноразвлечений.

[0006] Подходы, описанные в этом разделе, представляют собой подходы, которые могут рассматриваться, но не обязательно представляют собой подходы, которые заранее задуманы или рассмотрены. Следовательно, если не указано иное, не следует предполагать, что какой-либо из описанных в этом разделе подходов относится к предшествующему уровню техники просто в силу своего включения в этот раздел. Аналогично, вопросы, идентифицированные относительно одного или более подходов, не должны предполагаться как распознанные в предшествующем уровне техники на основе этого раздела, если не указано иное.

Краткое описание чертежей

[0007] Настоящее изобретение проиллюстрировано в качестве примера, а не в качестве ограничения, на прилагаемых чертежах, на которых аналогичные ссылки с номерами упоминаются как аналогичные элементы, и на которых:

[0008] Фиг. 1A иллюстрирует примерные трехмерные визуальные объекты, проиллюстрированные в многовидовом изображении; фиг. 1B-1E иллюстрируют примерное трехмерное пространство, в котором зритель должен просматривать множество визуальных объектов, как проиллюстрировано в многовидовом изображении, с помощью кинодисплея и дисплея устройства для носимого устройства;

[0009] Фиг. 1F иллюстрирует примерное трехмерное пиксельное распределение, извлекаемое из тензорной карты; фиг. 1G иллюстрирует примерные однослойные изображения из немногослойного видового изображения, сформированного на основе тензорной карты; фиг. 1H иллюстрирует тензорную карту, восстановленную в операциях рендеринга изображений;

[00010] Фиг. 2A-2C иллюстрируют примерные конфигурации дополненной развлекательной системы;

[00011] Фиг. 3A и фиг. 3B иллюстрируют примерные окружения с несколькими зрителями, в которых кинодисплей служит в качестве совместно используемого дисплея для нескольких зрителей;

[00012] Фиг. 4A и фиг. 4B иллюстрируют примерные последовательности операций обработки; и

Фиг. 5 иллюстрирует примерную аппаратную платформу, на которой могут реализовываться компьютер или вычислительное устройство, как описано в данном документе.

Осуществление изобретения

[00013] В данном документе описываются примерные варианты осуществления, которые относятся к восприятиям многослойных дополненных трехмерных развлечений. В нижеприведенном описании, для целей пояснения, многие конкретные детали излагаются для того, чтобы обеспечивать полное понимание настоящего изобретения. Тем не менее, может быть очевидным, что настоящее изобретение может быть применено на практике без этих конкретных деталей. В других случаях, известные структуры и устройства не описываются исчерпывающе подробно, чтобы не допускать излишней неопределенности, затруднения понимания или усложнения настоящего изобретения.

[00014] Примерные варианты осуществления описываются в данном документе согласно нижеприведенному краткому описанию:

1. Общее представление

2. Восприятие дополненных развлечений

3. Формирование многослойных изображений

4. Тензорная карта

5. Кодер многослойных изображений и дополненная развлекательная система

6. Примерные последовательности операций обработки

7. Механизмы реализации: обзор аппаратных средств

8. Эквиваленты, дополнения, альтернативы, а также разное

1. Общее представление

[00015] Это общее представление представляет базовое описание некоторых аспектов примерного варианта осуществления настоящего изобретения. Следует отметить, что это общее представление не представляет собой обширное или полное краткое изложение аспектов примерного варианта осуществления. Кроме того, следует отметить, что это общее представление не имеет намерение пониматься ни как идентифицирующее конкретные значимые аспекты или элементы примерного варианта осуществления, ни как разграничивающее объем ни примерного варианта осуществления, в частности, ни изобретения, в общем. Это общее представление просто представляет некоторые принципы, которые относятся к примерному варианту осуществления в сжатом и упрощенном формате и должны пониматься просто как концептуальная вводная часть в более подробное описание примерных вариантов осуществления, которое приводится ниже. Следует отметить, что, хотя отдельные варианты осуществления пояснены в данном документе, любая комбинация вариантов осуществления и/или частичных вариантов осуществления, поясненных в данном документе, может комбинироваться, чтобы формировать дополнительные варианты осуществления.

[00016] Методики, описанные в данном документе, могут использоваться с трехмерными технологиями, чтобы предоставлять восприятия дополненных развлечений, в которых зритель может использовать комбинацию совместно используемого дисплея и отдельного дисплея устройства для носимого устройства зрителя с тем, чтобы просматривать изображения, которые иллюстрируют трехмерные объекты в унифицированном пространстве изображений. В качестве примера, но не ограничения, совместно используемый дисплей может представлять собой кинодисплей, такой как кинодисплей, ассоциированный с любым из следующего: трехмерный Dolby, RealD, трехмерный на основе линейной поляризации, трехмерный на основе круговой поляризации, трехмерный на основе спектрального пространственного разделения и т.д. Дисплей устройства для носимого устройства может представлять собой перемещаемый дисплей относительно совместно используемого дисплея, такой как дисплей, ассоциированный с проектором изображений, AR-дисплеем, HoloLens-дисплеем, MagicLeap-дисплеем, дисплеем в стиле смешанной реальности (MR), тензорным дисплеем, объемным дисплеем, дисплеем на основе принципа светового поля (LF), Immy-дисплеем, метадисплеем, относительно простой парой AR-очков, дисплеем с любыми в широком диапазоне характеристиками преодоления конфликта аккомодации-вергентности и т.д. Примерные носимые устройства и дисплеи устройства содержатся в заявке на патент (США) № 15/945237, с названием заявки "AUGMENTED 3D ENTERTAINMENT SYSTEMS" авторов Ajit Ninan и Neil Mammen, поданной 4 апреля 2018 года, все содержимое которой содержится в данном документе по ссылке как полностью изложенное в данном документе.

[00017] Двумерные или трехмерные киноизображения могут отображаться на кинодисплее. Зритель, который просматривает киноизображения, может одновременно видеть (или визуально воспринимать) дополнительные трехмерные объекты либо дополнительную трехмерную информацию глубины в изображениях устройства, подготовленных посредством рендеринга на дисплеях устройства. Некоторые дополнительные трехмерные объекты, проиллюстрированные в изображениях устройства, могут выглядеть внезапно исчезающими с кинодисплея перед зрителем. Зритель может отслеживать любой из этих трехмерных объектов, как если такой трехмерный объект фактически присутствует в трехмерном (физическом) пространстве, в котором расположен зритель. По мере того, как зритель перемещается вокруг трехмерного объекта, зритель видит заранее неопределенные визуальные подробности трехмерного объекта вокруг трехмерного объекта с добавленным/дополненным измерением или глубиной реализма. Таким образом, через комбинацию изображений устройства и киноизображений, зритель может получать (например, психовизуальное, психофизическое и т.д.) чувство плавания объекта вокруг, посредством наблюдения различного параллакса в ответ на перемещения головы зрителя.

[00018] Дисплей устройства может задаваться с возможностью виртуально или физически располагаться относительно близко к зрителю в одной или более плоскостей изображений. Таким образом, даже когда зритель просматривает трехмерные объекты, проиллюстрированные в изображениях устройства, которые могут быть расположены относительно близко к зрителю по сравнению с объектами, проиллюстрированными в киноизображениях, трехмерные объекты, проиллюстрированные в изображениях устройства, по-прежнему имеют положительный параллакс относительно дисплея устройства (или плоскостей изображений, ассоциированных с дисплеем устройства), на котором подготавливаются посредством рендеринга изображения устройства. Таким образом, конфликт аккомодации-вергентности, который вызывается при других подходах, может предотвращаться или значительно сглаживаться согласно технологиям, описанным в данном документе. Дисплей устройства может отображать или проецировать отображаемые изображения устройства в одной плоскости изображений с одним расстоянием или в нескольких плоскостях изображений с несколькими различными расстояниями (например, посредством мультиплексирования с временным разделением каналов и т.д.) перед зрителем. Эти расстояния плоскостей изображений могут быть фиксированными или автоматически настраиваемыми. Примерные дисплеи устройства с плоскостью(ями) изображений с автоматически настраиваемым расстоянием(ям) от зрителей содержатся в заявке на патент (США) № 15/798274, с названием заявки "EYEWEAR DEVICES WITH FOCUS TUNABLE LENSES", поданной 30 октября 2017 года, все содержимое которой содержится в данном документе по ссылке как полностью изложенное в данном документе.

[00019] Таким образом, носимое устройство согласно технологиям, описанным в данном документе, предлагает зрителю, по меньшей мере, две плоскости изображений с различными глубинами, на которых киноизображения и изображения устройства подготавливаются посредством рендеринга синхронно. Первая плоскость изображений, по меньшей мере, из двух плоскостей изображений соответствует первой плоскости изображений кинодисплея, тогда как одна или более вторых плоскостей изображений, по меньшей мере, из двух плоскостей изображений соответствуют плоскостям изображений дисплея устройства.

[00020] Визуальные объекты, проиллюстрированные в немногослойных многовидовых (например, предварительных многослойных, неразделенных на слои, монолитных, унитарных и т.д.) изображениях, могут быть расположены виртуально в различных пространственных местоположениях в пространстве трехмерных изображений, представленном в многовидовых изображениях. При использовании в данном документе, многовидовое немногослойное изображение означает многовидовое изображение, к которому должны применяться операции формирования многослойных изображений.

[00021] На основе пространственных местоположений, визуальные объекты, проиллюстрированные в многовидовых немногослойных изображениях, могут сегментироваться на различные слои изображений. Для каждого многовидового немногослойного изображения, каждый из слоев изображений содержит однослойные изображения, иллюстрирующие поднабор визуальных объектов.

[00022] Из различных слоев изображений, слой киноизображений может содержать однослойные изображения, иллюстрирующие поднабор визуальных объектов в многовидовых немногослойных изображениях, которые находятся на относительно большом расстоянии от зрителя в опорном пространственном местоположении, такие как однослойные изображения рядом или позади кинодисплея. Один или более слоев изображений устройства могут содержать однослойные изображения, иллюстрирующие один или более поднаборов визуальных объектов в многовидовых немногослойных изображениях, которые находятся относительно близко к зрителю в опорном пространственном местоположении, такие как однослойные изображения, которые выглядят внезапно появляющимися перед зрителем из кинодисплея.

[00023] Однослойные изображения в слое киноизображений могут использоваться для того, чтобы извлекать отображаемые киноизображения, которые должны подготавливаться посредством рендеринга на кинодисплее, тогда как однослойные изображения в слоях изображений устройства могут использоваться для того, чтобы извлекать отображаемые изображения устройства, которые должны подготавливаться посредством рендеринга с помощью дисплея устройства для носимого устройства. Пространство трехмерных изображений может привязываться или проецироваться в трехмерном физическом пространстве с использованием части пространства трехмерных изображений, проиллюстрированного в отображаемых киноизображениях, подготовленных посредством рендеринга на кинодисплее. Другие части пространства трехмерных изображений, проиллюстрированного в отображаемых изображениях устройства, могут преобразовываться пространственно, чтобы прозрачно примыкать к части пространства трехмерных изображений, проиллюстрированного в отображаемых киноизображениях. Различные пространственные преобразования могут применяться к различным носимым устройствам в зависимости от соответствующих пространственных местоположений и/или пространственных направлений носимых устройств таким образом, что другие части пространства трехмерных изображений, как отдельно проиллюстрировано в различных носимых устройствах, могут прозрачно примыкать к части пространства трехмерных изображений, проиллюстрированного в отображаемых киноизображениях.

[00024] Один модуль рендеринга изображений или несколько модулей рендеринга изображений могут использоваться для того, чтобы одновременно осуществлять операции рендеринга киноизображений и операции рендеринга изображений устройства. Несколько зрителей, присутствующих в трехмерном пространстве (например, в кино, в кинотеатре и т.д.), могут регистрировать свои носимые устройства в модулях рендеринга изображений, чтобы воспринимать дополненный развлекательный сеанс.

[00025] В некоторых вариантах осуществления, носимые устройства могут автоматически регистрироваться. Например, модуль отслеживания устройств может развертываться в трехмерном пространстве, чтобы отслеживать/мониторить пространственные позиции и пространственные направления носимых устройств в трехмерном пространстве. Дополнительно, необязательно или альтернативно, модуль отслеживания устройств может получать идентификационную информацию устройства для носимых устройств, таких как MAC-адреса, сетевые адреса, IP-адреса и т.д., через удаленное отслеживание/мониторинг устройств. Идентификационная информация устройства, пространственные позиции и пространственные направления носимых устройств могут использоваться для того, чтобы регистрировать носимые устройства и доставлять отображаемые изображения устройства в зарегистрированные носимые устройства с корректными MAC-адресами, сетевыми адресами, IP-адресами и т.д. Примерное отслеживание устройств содержится в заявке на патент (США) № 15/949536, с названием заявки "PASSIVE MULTI-WEARABLE-DEVICES TRACKING" авторов Ajit Ninan и Neil Mammen, поданной 10 апреля 2018 года, все содержимое которой содержится в данном документе по ссылке как полностью изложенное в данном документе.

[00026] Согласно технологиям, описанным в данном документе, несколько отображаемых изображений, извлекаемых из различных слоев изображений, могут одновременно подготавливаться посредством рендеринга на дисплее устройства и кинодисплее и могут предоставлять или восстанавливать прозрачный внешний вид пространства трехмерных изображений со всеми визуальными объектами, расположенными в идентичных пространственных местоположениях, как ранее проиллюстрировано в исходных многовидовых немногослойных изображениях, из которых прямо или косвенно извлекаются несколько отображаемых изображений из различных слоев изображений.

[00027] Многовидовое немногослойное изображение может содержать немногослойные (одно-)видовые изображения, которые соответствуют различным видам (например, направлениям просмотра, полям видов и т.д.). На основе информации глубины, ассоциированной с каждым немногослойным видовым изображением в многовидовом немногослойном изображении, тензорная карта (например, порядка 3, в измерениях/координатах/осях X, Y, Z и т.д.) может конструироваться в операциях формирования многослойных изображений, чтобы формировать пиксельное распределение немногослойного видового изображения в многовидовом немногослойном изображении в пространстве трехмерных изображений. Пиксел в пиксельном распределении, сформированном из тензорной карты, представляется в измерениях/координатах/осях X, Y и Z (например, в столбцах кадра с изображением, в строке кадра с изображением, в глубине и т.д.). С учетом тензорной карты, однослойные изображения могут формироваться, например, с поверхностями разделения слоев. Операции формирования слоя изображений на основе тензорной карты могут применяться к каждому видовому изображению в видовых изображениях в многовидовом немногослойном изображении, чтобы формировать однослойные изображения для каждого такого видового изображения в различных слоях изображений.

[00028] Тензорные карты также могут использоваться в операциях рендеринга изображений. Например, когда однослойные изображения используются для того, чтобы формировать отображаемые изображения для рендеринга с помощью носимого устройства зрителя, однослойные изображения или отображаемые изображения могут пространственно преобразовываться на основе фактической пространственной позиции и фактического пространственного направления носимого устройства посредством перемещения в пространстве, вращения, масштабирования и т.д.

[00029] Отображаемые киноизображения, сформированные из однослойных изображений в слое киноизображений, могут использоваться с информацией глубины, чтобы конструировать часть тензорной карты, которая соответствует части пространства трехмерных изображений. Отображаемые изображения устройства, сформированные из однослойных изображений в одном или более слоев изображений устройства, могут использоваться с информацией глубины, чтобы конструировать другие части пространства трехмерных изображений. Отображаемые изображения устройства могут формироваться отдельно для носимого устройства на основе конкретной пространственной позиции и/или конкретного пространственного направления носимого устройства с ограничениями на другие части тензорной карты, сконструированной из отображаемых изображений устройства, прозрачно примыкающих к части идентичной тензорной карты, сконструированной из отображаемых киноизображений. Таким образом, согласно технологиям, описанным в данном документе, пространство трехмерных изображений, подготовленное посредством рендеринга посредством комбинации отображаемых киноизображений и отображаемых изображений устройства, точно или верно воспроизводит пространство трехмерных изображений, как первоначально проиллюстрировано в многовидовом немногослойном изображении.

[00030] Примерные варианты осуществления, описанные в данном документе, относятся к формированию слоев изображений. К пространственной информации, которая описывает пространственные местоположения множества визуальных объектов в пространстве трехмерных изображений, как представлено в одном или более многовидовых немногослойных изображений, осуществляется доступ. Каждое из одного или более многовидовых немногослойных изображений содержит множество одновидовых немногослойных изображений, соответствующих множеству направлений просмотра. На основе пространственной информации, которая описывает пространственные местоположения множества визуальных объектов в пространстве трехмерных изображений, как представлено в одном или более многовидовых немногослойных изображений, выполнение: формирования, из одного или более многовидовых немногослойных изображений, слоя киноизображений, содержащего одно или более однослойных киноизображений, иллюстрирующих первый собственный поднабор из одного или более визуальных объектов во множестве визуальных объектов; формирования, из одного или более многовидовых немногослойных изображений, одного или более слоев изображений устройства, каждый из которых содержит одно или более однослойных изображений устройства, иллюстрирующих один или более вторых собственных поднаборов одного или более визуальных объектов во множестве визуальных объектов; и т.д. Многослойный многовидовой видеосигнал, содержащий одно или более однослойных киноизображений в слое киноизображений и одно или более однослойных изображений устройства в одном или более слоев изображений устройства, отправляется в одно или более нижележащих устройств для рендеринга.

[00031] Примерные варианты осуществления, описанные в данном документе, относятся к рендерингу отображаемых киноизображений и отображаемых изображений устройства, сформированных из слоев изображений. Многослойный многовидовой видеосигнал, содержащий одно или более однослойных киноизображений в слое киноизображений и одно или более однослойных изображений устройства в одном или более слоев изображений устройства, принимается. Однослойные киноизображения в слое киноизображений и однослойные изображения устройства в одном или более слоев изображений устройства заранее извлечены из одного или более многовидовых немногослойных изображений. Одно или более однослойных киноизображений извлекаются из слоя киноизображений многослойного многовидового видеосигнала. Одно или более однослойных киноизображений иллюстрируют первый собственный поднабор из одного или более визуальных объектов во множестве визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений. Одно или более однослойных изображений устройства извлекаются из одного или более слоев изображений устройства многослойного многовидового видеосигнала. Одно или более изображений устройства иллюстрируют один или более вторых собственных поднаборов одного или более визуальных объектов во множестве визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений. Первому собственному поднабору визуальных объектов, как проиллюстрировано в одном или более первых многовидовых однослойных изображений, инструктируется подготавливаться посредством рендеринга для зрителя на кинодисплее в трехмерном пространстве. Одному или более вторых собственных поднаборов визуальных объектов, как проиллюстрировано в одном или более вторых многовидовых однослойных изображений, инструктируется подготавливаться посредством рендеринга параллельно для зрителя на дисплее устройства в трехмерном пространстве. Первый собственный поднабор визуальных объектов, подготовленных посредством рендеринга на кинодисплее, и один или более вторых собственных поднаборов визуальных объектов, подготовленных посредством рендеринга на дисплее устройства, совместно иллюстрируют множество визуальных объектов, расположенных в идентичных пространственных местоположениях в пространстве трехмерных изображений, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений. Пространственная информация, описывающая пространственные местоположения в пространстве трехмерных изображений, в котором расположено множество визуальных объектов, заранее использована для того, чтобы сегментировать множество визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений, на слой киноизображений и один или более слоев изображений устройства.

[00032] В некоторых примерных вариантах осуществления, механизмы, описанные в данном документе, составляют часть системы обработки мультимедиа, включающей, но не только, любое из следующего: облачный сервер, мобильное устройство, система виртуальной реальности, система дополненной реальности, устройство отображения на лобовом стекле, нашлемное устройство отображения, CAVE-система, настенный дисплей, устройство для видеоигр, устройство отображения, мультимедийный проигрыватель, мультимедийный сервер, система производства мультимедиа, системы камер, домашние системы, устройства связи, система видеообработки, система видеокодеков, студийная система, потоковый сервер, система предоставления облачных услуг управления контентом, карманное устройство, игровая машина, телевизионный приемник, кинодисплей, переносной компьютер, нетбук, планшетный компьютер, сотовый радиотелефон, устройство для чтения электронных книг, торговый терминал, настольный компьютер, компьютерная рабочая станция, компьютер-сервер, компьютерный киоск или различные другие виды терминалов и модулей обработки мультимедиа.

[00033] Различные модификации предпочтительных вариантов осуществления и общих принципов и признаков, описанных в данном документе, должны становиться легко очевидным для специалистов в данной области техники. Таким образом, раскрытие сущности не имеет намерение быть ограниченным показанными вариантами осуществления, а должно согласовываться с самым широким объемом в соответствии с принципами и признаками, описанными в данном документе.

2. Восприятие дополненных развлечений

[00034] В некоторых примерных вариантах осуществления, технологии, описанные в данном документе, могут использоваться для того, чтобы представлять контент интегрированных (например, трехмерных, многовидовых и т.д.) изображений на совместно используемых дисплеях (например, на кинодисплеях и т.д.) и дисплеях устройства для носимых устройств, чтобы дополнять/улучшать восприятия развлечений зрителей. При просмотре контента киноизображений на кинодисплее, зритель может одновременно просматривать контент изображений устройства, подготовленный посредством рендеринга с помощью дисплея устройства для носимого устройства, используемого зрителем. Контент киноизображений и контент изображений устройства, который может извлекаться из многовидовых немногослойных изображений, совместно представляют все визуальные объекты, первоначально проиллюстрированные в идентичных многовидовых немногослойных изображениях.

[00035] Носимое устройство и его прилагаемый дисплей устройства представляют добавление в кинодисплей, плоский развлекательный экран, такой как телевизор и т.д. Например, носимое устройство может представлять собой пару AR-очков, носимых зрителем. Носимое устройство может реализовывать технологии разделения для левого и правого глаза, чтобы просматривать трехмерный контент на кинодисплее. Одновременно, носимое устройство (или модули формирования изображений, отличные от них) может подготавливать посредством рендеринга контент изображений устройства синхронно с рендерингом контента двумерных или трехмерных киноизображений на кинодисплее. Таким образом, носимое устройство может добавлять новое измерение или новый диапазон глубины в измерение или диапазон глубины, который в ином случае может предоставляться только посредством кинодисплея.

[00036] В случае рендеринга контента трехмерных киноизображений на кинодисплее, контент изображений устройства, подготовленный посредством рендеринга на носимом устройстве, может представлять собой контент трехмерных изображений устройства. В некоторых вариантах осуществления, контент трехмерных изображений устройства, подготовленный посредством рендеринга посредством носимого устройства, может (например, главным образом, практически, частично и т.д.) фокусироваться на визуальных объектах между зрителем и кинодисплеем. Такие части контента трехмерных изображений должны иметь отрицательный параллакс и глубину в случае рендеринга на кинодисплее. Посредством сравнения, согласно технологиям, описанным в данном документе, части контента трехмерных изображений между зрителем и кинодисплеем могут отображаться посредством носимого устройства с положительным параллаксом и глубиной. Таким образом, очень удобный переход может предоставляться для зрителя между визуальными объектами с положительным параллаксом, подготовленными посредством рендеринга на кинодисплее, и визуальными объектами также с положительным параллаксом, подготовленными посредством рендеринга посредством носимого устройства.

[00037] В случае рендеринга контента двумерных киноизображений на кинодисплее, контент изображений устройства, подготовленный посредством рендеринга на AR-очках, может представлять собой контент трехмерных изображений устройства, который дополняет контент двумерных киноизображений. Контент трехмерных изображений устройства, подготовленный посредством рендеринга посредством носимого устройства, может (например, главным образом, практически, частично и т.д.) фокусироваться на частях контента трехмерных изображений в полном контенте изображений, которые иллюстрируют визуальные объекты в качестве трехмерных объектов между зрителем и кинодисплеем и необязательно позади кинодисплея относительно зрителя с надлежащими окклюзиями и/или дезокклюзиями трехмерных подробностей в зависимости от пространственных позиций и/или пространственных направлений носимого устройства. Некоторые из этих частей контента трехмерных изображений должны иметь отрицательный параллакс и глубину в случае рендеринга на кинодисплее. Посредством сравнения, согласно технологиям, описанным в данном документе, все части контента трехмерных изображений между зрителем и кинодисплеем и даже позади кинодисплея могут отображаться посредством AR-очков с положительным параллаксом и глубиной. Таким образом, очень удобный и прозрачный переход может предоставляться для зрителя, когда зритель отслеживает визуальные объекты, подготовленные посредством рендеринга на кинодисплее и подготовленные посредством рендеринга с помощью носимого устройства.

[00038] В отличие от других подходов, которые либо ограничивают визуальные объекты очень поверхностной глубиной перед кинодисплеем, либо пытаются увеличивать глубину посредством отображения визуальных объектов с относительно большим отрицательным параллаксом, подход согласно технологиям, как описано в данном документе, может использоваться для того, чтобы отображать визуальные объекты с относительно большой глубиной перед кинодисплеем без введения относительно большого отрицательного параллакса. Таким образом, технологии, описанные в данном документе, могут предоставлять эффективные решения, чтобы предотвращать или разрешать конфликт аккомодации-вергентности.

[00039] Когда только кинодисплей (без носимого устройства, как описано в данном документе) используется для того, чтобы подготавливать посредством рендеринга трехмерные визуальные объекты, конкретный трехмерный визуальный объект может переходить от нахождения позади кинодисплея к нахождению перед кинодисплеем. Если конкретный трехмерный визуальный объект находится на слишком большом расстоянии от кинодисплея, контент киноизображений может не иметь возможность подготавливать посредством рендеринга конкретный трехмерный визуальный объект в качестве конкретного трехмерного визуального объекта, может перемещаться за пределы диапазона телесных углов обзора, поддерживаемого посредством кинодисплея.

[00040] Для сравнения, согласно технологиям, описанным в данном документе, конкретный трехмерный визуальный объект может отображаться или подготавливаться посредством рендеринга с помощью носимого устройства, чтобы поддерживать гораздо больший диапазон углов обзора, чем может поддерживаться в иных случаях только посредством кинодисплея. Таким образом, зритель может продолжать визуально отслеживать конкретный трехмерный визуальный объект в пределах гораздо большего диапазона углов обзора без лимитирования или ограничения телесным углом, поддерживаемым только посредством кинодисплея.

[00041] Технологии, описанные в данном документе, могут реализовываться с любой комбинацией совместно используемого дисплея в широком спектре совместно используемых дисплеев и носимого устройства в широком спектре носимых устройств. Вместо отображения трехмерных изображений с помощью одного совместно используемого дисплея или одного выделенного дисплея, несколько дисплеев могут использоваться одновременно, чтобы отображать несколько слоев изображений, сформированных из идентичного контента многовидовых изображений. Каждый из этих слоев изображений может подготавливаться посредством рендеринга, чтобы иллюстрировать визуальные объекты с положительным параллаксом или глубиной (либо не более чем с допустимой величиной отрицательного параллакса). Примерные носимые устройства включают в себя, но не обязательно ограничены только, часть или все из следующего: проектор изображений, AR-дисплей, HoloLens-дисплей, MagicLeap-дисплей, дисплей в стиле смешанной реальности (MR), тензорный дисплей, объемный дисплей, дисплей на основе принципа светового поля (LF), Immy-дисплей, метадисплей, относительно простая пара AR-очков, дисплей с любыми в широком диапазоне характеристик преодоления конфликта аккомодации-вергентности и т.д.

[00042] Носимое устройство может представлять собой относительно простую AR-систему, которая проецирует фокусы на одной плоскости изображений (например, на виртуальном дисплее, реальном дисплее, LF-дисплее и т.д.) с относительно близким расстоянием или точкой аккомодации. Зрителю могут предоставляться варианты для того, чтобы использовать носимое устройство, чтобы избегать отрицательного параллакса и/или просматривать дополнительный контент трехмерных изображений или визуальные объекты синхронно в дополнение к контенту двумерных или трехмерных изображений или визуальным объектам, представленным на кинодисплее в диапазоне глубин, поддерживаемом посредством кинодисплея. Таким образом, дифференцированные восприятия при просмотре могут предоставляться зрителям и обманывать их таким образом, что они представляют собой несколько слоев изображений, подготовленных посредством рендеринга на нескольких дисплеях с несколькими глубинами в качестве фактически полного контента изображений, подготовленного посредством рендеринга на одном дисплее с мощным диапазоном глубины. Человеческий мозг может легко принимать (или может легко адаптироваться) эти перцепции, поскольку восприятия дополненных развлечений, как описано в данном документе, являются физиологически более комфортными, чем восприятие при просмотре с относительно большим отрицательным параллаксом, и представляют более низкое пороговое значение психологического одобрения, чем пороговое значение психологического одобрения, представленное посредством восприятия при просмотре с относительно большим отрицательным параллаксом.

3. Формирование многослойных изображений

[00043] Фиг. 1A иллюстрирует примерные трехмерные визуальные объекты (например, 118, 120 и т.д.), проиллюстрированные в многовидовом немногослойном изображении. Многовидовое немногослойное изображение может содержать множество немногослойных (одно-)видовых изображений, которые соответствуют множеству различных видов (например, направлений просмотра, полей видов и т.д.). Каждое немногослойное видовое изображение во множестве немногослойных видовых изображений для многовидового немногослойного изображения может соответствовать соответствующему виду во множестве различных видов. Например, многовидовое немногослойное изображение может содержать первое немногослойное видовое изображение, которое соответствует виду для просмотра левым глазом (например, который должен подготавливаться посредством рендеринга для левого глаза зрителя и т.д.), и второе немногослойное видовое изображение, которое соответствует виду для просмотра правым глазом (например, который должен подготавливаться посредством рендеринга для правого глаза зрителя и т.д.).

[00044] В некоторых вариантах осуществления, многовидовое немногослойное изображение иллюстрирует множество (трехмерных) визуальных объектов в пространстве 196 трехмерных изображений. Для простоты, только два (трехмерных) визуальных объекта (120 и 118) находятся в пространстве (196) трехмерных изображений, как проиллюстрировано на фиг. 1A. Тем не менее, следует отметить, что многовидовое немногослойное изображение, как описано в данном документе, может иллюстрировать любое число (трехмерных) визуальных объектов. Примерные визуальные объекты могут включать в себя, но не обязательно в ограничительном смысле, людей, аватары, машиногенерируемые фигуры, животных, заводы, горы, реки, небо, здания, парки, мосты, самолеты, автомобили, корабли или другие визуальные объекты, которые могут подготавливаться посредством рендеринга и воспринимаемый посредством системы человеческого зрения и т.д.

[00045] Многовидовое немногослойное изображение может получаться/захватываться/комбинироваться из физической или виртуальной трехмерной сцены посредством любой комбинации широкого спектра устройств захвата, которые могут физически или виртуально присутствовать в трехмерной сцене. В некоторых вариантах осуществления, визуальная объектная модель может использоваться для того, чтобы подготавливать посредством рендеринга или формировать часть или все части изображения в многовидовом немногослойном изображении. Примерные устройства захвата включают в себя, но не только, студийные камеры, многовидовые камеры, камеры на основе принципа светового поля, камеры, содержащие микролинзовые элементы, HDR-камеры, камеры мобильных телефонов, камеры, которые интегрируются с вычислительными устройствами, камеры, которые работают в сочетании с вычислительными устройствами, непрофессиональные камеры, профессиональные камеры, виртуальные камеры, формирователи компьютерных изображений, модули рендеринга компьютерных изображений, формирователи компьютерных графических изображений, компьютерные аниматоры, формирователи виртуальных изображений и т.д. Следует отметить, что трехмерная сцена, из которой извлекается многовидовое немногослойное изображение, может представлять собой полностью физическую трехмерную сцену, полностью виртуальную трехмерную сцену либо комбинацию одной или более физических трехмерных сцен и/или одной или более виртуальных трехмерных сцен.

[00046] Пространство (196) трехмерных изображений может представлять часть трехмерной сцены, из которой получается/захватывается/составляется многовидовое немногослойное изображение. Примеры пространства (196) трехмерных изображений могут включать в себя, но не обязательно ограничены только, одно из следующего: вся трехмерная сцена, одна или более явно выраженных частей трехмерной сцены, одна или более подробных частей трехмерной сцены, относительно большое, относительно небольшое и т.п.

[00047] Фиг. 1B иллюстрирует примерное трехмерное пространство 126, в котором расположен зритель, чтобы просматривать множество визуальных объектов в пространстве (196) трехмерных изображений через изображения, подготовленные посредством рендеринга с помощью дисплеев (изображений), таких как кинодисплей 104, дисплей 116 устройства для носимого устройства, используемого зрителем, и т.д.

[00048] Примеры трехмерного пространства (126) могут включать в себя, но не обязательно ограничены только, любое из следующего: опорное трехмерное пространство, физическое пространство, кинотеатр, театр, концертный зал, аудитория, парк развлечений, бар, дом, комната, выставочный зал, публичное место, бар, корабль, самолет и т.д. Трехмерное пространство (126) может представлять собой трехмерные объемные пространственные позиции, в которых может представляться в трехмерной пространственной системе координат (например, опорной системе координат, системе мировых координат и т.д.), стационарной относительно трехмерного пространства (126).

[00049] В качестве иллюстрации, но не ограничения, стационарная трехмерная пространственная система координат, используемая для того, чтобы представлять пространственные позиции в трехмерном пространстве (126), может представлять собой опорную декартову систему координат, проиллюстрированную в нижнем левом углу трехмерного пространства (126). Опорная декартова система координат может содержать начало системы координат в опорной пространственной позиции, обозначаемой в качестве p, как показано на фиг. 1B. Опорная пространственная позиция p может выбираться из любой пространственной позиции, стационарной по отношению к трехмерному пространству (126).

[00050] Пространство (196) трехмерных изображений, проиллюстрированное в многовидовом немногослойном изображении, может иметь или может не иметь размер (или протяженность), идентичный размеру/протяженности трехмерного пространства (126), в котором дисплеи используются для того, чтобы подготавливать посредством рендеринга множество визуальных объектов в многовидовом немногослойном изображении. В зависимости от конкретного контента изображений (например, обширного ландшафта, небольшой комнаты т.д.) или приложений для отображения, связанных с многовидовым немногослойным изображением, подготовленное посредством рендеринга пространство (196) трехмерных изображений, может быть (например, гораздо и т.д.) больше или меньше трехмерного пространства (126), в котором расположены зритель (112-0) и дисплеи (например, 104, 116 и т.д.).

[00051] Рендеринг множества визуальных объектов согласно технологиям, описанным в данном документе, обеспечивает возможность зрителю (112-0) иметь пользовательское восприятие присутствия в пространстве (196) трехмерных изображений, как если трехмерное пространство (126), в котором расположен зритель (112-0), объединяется, соединяется или проецируется в пространство (196) трехмерных изображений, либо как если визуальные объекты (например, 118, 120 и т.д.) представляют собой фактические трехмерные объекты, присутствующие в/в качестве части трехмерного пространства (126).

[00052] В некоторых вариантах осуществления, дополненная развлекательная система, реализующая часть или все технологии, описанные в данном документе, принимает однослойные изображения во множестве слоев изображений, которые заранее сформированы посредством вышележащего устройства, такого как кодер (например, 180 по фиг. 2A и т.д.) многослойных изображений и т.д., из многовидового немногослойного изображения, формирует отображаемые киноизображения и отображаемые изображения устройства из принимаемых однослойных изображений и подготавливает посредством рендеринга отображаемые киноизображения и отображаемые изображения устройства на нескольких дисплеях (например, 104, 116 и т.д.) в трехмерном пространстве (126), включающих в себя дисплеи устройства для носимых устройств, используемых зрителями, вместо прямого рендеринга многовидового немногослойного изображения (либо его одновидовых немногослойных изображений) на одном дисплее в трехмерном пространстве (126).

[00053] В некоторых вариантах осуществления, вышележащее устройство или кодер (180 по фиг. 2A) многослойных изображений осуществляет доступ к пространственной информации, которая описывает пространственные местоположения каждого визуального объекта во множестве визуальных объектов в пространстве (196) трехмерных изображений, как проиллюстрировано в многовидовом немногослойном изображении. Примеры пространственной информации могут включать в себя, но не обязательно ограничены только, одно или более из следующего: изображение глубины, информация диспаратности, эпиполярная информация, трехмерная сетка и т.д.

[00054] На основе пространственной информации, которая описывает пространственные местоположения множества визуальных объектов в пространстве (196) трехмерных изображений, как представлено в одном или более многовидовых немногослойных изображений, кодер (180 по фиг. 2A) многослойных изображений формирует множество слоев изображений из многовидового немногослойного изображения.

[00055] Каждый слой изображений во множестве слоев изображений содержит одно или более многовидовых однослойных изображений, иллюстрирующих собственный поднабор из одного или более визуальных объектов во множестве визуальных объектов (например, первоначально, заранее и т.д.), проиллюстрированных в многовидовом немногослойном изображении.

[00056] Любая комбинация множества факторов отбора, пороговых значений пространственной взаимосвязи, критериев пространственной взаимосвязи и т.д. может использоваться для того, чтобы выбирать визуальные объекты, из множества визуальных объектов, проиллюстрированных в многовидовом немногослойном изображении, которые должны быть включены в конкретный слой изображений во множестве слоев изображений. Примерные факторы отбора, пороговые значения пространственной взаимосвязи, критерии пространственной взаимосвязи и т.д. включают в себя, но не обязательно ограничены только, одно или более из следующего: пространственные местоположения дисплеев в трехмерном пространстве (126); пространственные местоположения зрителя (112-0) в трехмерном пространстве (126); пространственные позиции визуальных объектов относительно пространственных местоположений дисплеев или зрителя (112-0); пространственные направления визуальных объектов в трехмерном пространстве (126) относительно зрителя (112-0); относительная художественная важность визуальных объектов; визуальные свойства (например, яркость, цвета и т.д.) визуальных объектов; характеристики движения (например, движущиеся объекты, стационарные объекты, фон и т.д.) визуальных объектов; предыдущие пространственные местоположения визуальных объектов; предыдущие пространственные направления визуальных объектов; и т.д.

[00057] В качестве примера, но не ограничения, множество слоев изображений могут формироваться из многовидового немногослойного изображения на основе глубин визуальных объектов, проиллюстрированных в многовидовом немногослойном изображении. Как проиллюстрировано на фиг. 1B, пространство (196) трехмерных изображений для многовидового немногослойного изображения может проецироваться или накладываться на трехмерное пространство (126) относительно (например, опорного, фактического и т.д.) зрителя (112-0), расположенного в (например, опорной и т.д.) пространственной позиции 192, стационарной в трехмерном пространстве (126). Глубины визуальных объектов во множестве визуальных объектов, проиллюстрированных в многовидовом немногослойном изображении, могут измеряться относительно опорной пространственной позиции (192) зрителя (112-0) вдоль опорного пространственного направления зрителя (112-0). Это опорное пространственное направление зрителя (112-0) может определяться в качестве фронтального направления просмотра носимого устройства, используемого зрителем (112-0), причем это фронтальное направление просмотра исходит из опорной пространственной позиции (192) зрителя (112-0) к кинодисплею (104) и пересекается перпендикулярно на кинодисплее (104).

[00058] Кинодисплей (104) может развертываться в качестве стационарного дисплея в трехмерном пространстве (126), например, который должен просматриваться одним зрителем или несколькими зрителями. Дисплей (116) устройства может представлять собой конкретный дисплей из числа отдельных дисплеев отдельного носимого устройства, используемого зрителями, включающими в себя зрителя (112-0), и необязательно может быть стационарным в трехмерном пространстве (126).

[00059] Согласно технологиям, описанным в данном документе, как дисплей (116) устройства для носимого устройства, используемого зрителем (112-0), так и кинодисплей (104), который совместно используется зрителями, используются для того, чтобы подготавливать посредством рендеринга однослойные изображения во множестве слоев изображений, сформированных из многовидового немногослойного изображения, для зрителя (112-0).

[00060] Как проиллюстрировано на фиг. 1B, кодер многослойных изображений может использовать поверхность 194 разделения слоев для того, чтобы сегментировать первый собственный поднабор визуальных объектов (например, 118 и т.д.), которые находятся на или позади поверхности (194) разделения слоев относительно зрителя (112-0), на слой киноизображений. Слой киноизображений содержит множество первых многовидовых однослойных изображений, сформированных из частей изображения, во множестве немногослойных видовых изображений для многовидового немногослойного изображения, которые иллюстрируют первый собственный поднабор визуальных объектов (например, 118 и т.д.).

[00061] Дополнительно, кодер многослойных изображений может использовать поверхность (194) разделения слоев для того, чтобы сегментировать один или более вторых собственных поднаборов визуальных объектов (например, 120 и т.д.), которые находятся перед поверхностью (194) разделения слоев относительно зрителя (112-0), на один или более слоев изображений устройства. Каждый второй собственный поднабор в одном или более вторых собственных поднаборов визуальных объектов (например, 120 и т.д.) соответствует соответствующему слою изображений устройства в одном или более слоев изображений устройства. Соответствующий слой изображений содержит соответствующее множество вторых многовидовых однослойных изображений, сформированных из соответствующих частей изображения, во множестве немногослойных видовых изображений для многовидового немногослойного изображения, которые иллюстрируют каждый такой второй собственный поднабор визуальных объектов (например, 118 и т.д.). Таким образом, один или более слоев изображений устройства содержат одно или более множеств вторых многовидовых однослойных изображений, сформированных из частей изображения, во множестве немногослойных видовых изображений для многовидового немногослойного изображения, которые иллюстрируют один или более вторых собственных поднаборов визуальных объектов (например, 118 и т.д.).

[00062] В дополнение к одной поверхности разделения слоев, такой как 194, как проиллюстрировано на фиг. 1B, в некоторых вариантах осуществления, нуль или более дополнительных поверхностей разделения слоев могут использоваться для того, чтобы сегментировать один или более слоев изображений устройства относительно друг друга. Например, дополнительные поверхности разделения слоев могут использоваться для того, чтобы отделять или отличать один поднабор от другого поднабора между одним или более вторых собственных поднаборов визуальных объектов (например, 120 и т.д.) в случаях, когда имеется несколько вторых собственных поднаборов визуальных объектов. В некоторых вариантах осуществления, визуальный объект (например, трехмерный объект и т.д.) может охватывать более одного слоя изображений. Например, визуальный объект, такой как автомобиль, может иметь часть визуального объекта, такую как передняя часть автомобиля, в первом слое изображений устройства, и другие части визуального объекта, такие как задняя часть автомобиля, в одном или более вторых слоев изображений устройства. Дополнительно, необязательно или альтернативно, визуальный объект, как описано в данном документе, может охватывать слой киноизображений и один или более слоев изображений устройства.

[00063] Как проиллюстрировано на фиг. 1C, носимое устройство, используемое зрителем (112-0), может содержать один или более дисплеев 116-1, 116-2 устройства и т.д. (или один дисплей устройства с различными глубинами плоскости изображений) из опорной пространственной позиции (192) зрителя (112-0). Однослойные изображения в слое киноизображений, сегментированные посредством поверхности (194) разделения слоев, могут использоваться для того, чтобы формировать отображаемые киноизображения, подготовленные посредством рендеринга/отображаемые на кинодисплее (104). Однослойные изображения в одном из одного или более слоев изображений устройства, дополнительно сегментированных посредством поверхности (194-1) разделения слоев, могут использоваться для того, чтобы формировать отображаемые изображения устройства, подготовленные посредством рендеринга/отображаемые на дисплее (116-1) устройства. Однослойные изображения в оставшихся одном или более слоев изображений устройства могут использоваться для того, чтобы формировать дополнительные отображаемые изображения, подготовленные посредством рендеринга/отображаемые на дисплее (116-2) устройства. Отображаемые изображения, подготовленные посредством рендеринга/отображаемые на различных глубинах плоскости изображений, могут подготавливаться посредством рендеринга одновременно или подготавливаться посредством рендеринга последовательно во времени в одно время обновления изображения или в один кадровый интервал изображения с использованием мультиплексирования с временным разделением каналов.

[00064] Примеры поверхностей разделения слоев, как описано в данном документе, могут включать в себя, но не обязательно ограничены только, любое из следующего: плоскости, искривленные поверхности, правильные формы, неправильные формы и т.д.

[00065] В некоторых вариантах осуществления, пространственная позиция поверхности (194) разделения слоев задается относительно кинодисплея (104). В примере, поверхность (194) разделения слоев может совпадать с кинодисплеем (104). В другом примере, поверхность (194) разделения слоев может задаваться на конкретном расстоянии либо позади (как проиллюстрировано на фиг. 1B), либо перед (как проиллюстрировано на фиг. 1D) относительно кинодисплея (104). Конкретное расстояние от поверхности (194) разделения слоев до кинодисплея (104) может составлять, без ограничения, одно из следующего: относительно небольшое расстояние, относительно большое расстояние, нулевое расстояние, на расстоянии в один метр, на расстоянии в пять метров, часть глубины или расстояния между кинодисплеем (104) и пространственной позицией (192) зрителя (112-0) и т.д. Таким образом, конкретное расстояние от поверхности (194) разделения слоев до кинодисплея (104) может представлять пороговое значение расстояния (или пороговое значение относительной глубины), используемое для того, чтобы разделять визуальные объекты во множестве визуальных объектов, проиллюстрированных в многовидовом немногослойном изображении, на различные слои изображений.

[00066] В некоторых вариантах осуществления, пространственная позиция поверхности (194) разделения слоев задается относительно зрителя (112-0) в (опорной) пространственной позиции (192). Например, поверхность (194) разделения слоев может задаваться на конкретном расстоянии от зрителя (112-0). Конкретное расстояние от поверхности (194) разделения слоев до зрителя (112-0) может составлять, без ограничения, одно из следующего: относительно небольшое расстояние, относительно большое расстояние, на расстоянии в пять метров, на расстоянии в 20 метров, на расстоянии в 50 метров и т.д. Таким образом, конкретное расстояние от поверхности (194) разделения слоев до зрителя (112-0) может представлять пороговое значение расстояния (или пороговое значение относительной глубины), используемое для того, чтобы разделять визуальные объекты во множестве визуальных объектов, проиллюстрированных в многовидовом немногослойном изображении, на различные слои изображений.

[00067] В некоторых вариантах осуществления, пространственная позиция поверхности (194) разделения слоев задается относительно другого пространственного местоположения, отличного от местоположений зрителя (112-0) в (опорной) пространственной позиции (192) и кинодисплея (104). Например, поверхность (194) разделения слоев может задаваться на конкретном расстоянии от начала p координат для опорной системы координат. Конкретное расстояние от поверхности (194) разделения слоев до начала p координат может составлять, без ограничения, одно из следующего: относительно небольшое расстояние, относительно большое расстояние, нулевое расстояние, на расстоянии в один метр, на расстоянии в пять метров, на расстоянии в 20 метров, на расстоянии в 50 метров и т.д. Таким образом, конкретное расстояние от поверхности (194) разделения слоев до начала p координат может представлять пороговое значение расстояния (или пороговое значение относительной глубины), используемое для того, чтобы разделять визуальные объекты во множестве визуальных объектов, проиллюстрированных в многовидовом немногослойном изображении, на различные слои изображений.

[00068] В некоторых вариантах осуществления, как проиллюстрировано на фиг. 1E, кодер многослойных изображений может сегментировать множество визуальных объектов в многовидовом немногослойном изображении на слои изображений на основе пространственных взаимосвязей в отношении объектов, физически или виртуально присутствующих в трехмерном пространстве (126), без использования поверхности разделения слоев (например, 194 по фиг. 1B или фиг. 1C и т.д.).

[00069] Например, множество визуальных объектов (например, 118, 120 и т.д.) могут сегментироваться на основе того, удовлетворяют или нет эти визуальные объекты, соответственно, определенным пороговым значениям (или критериям) пространственной взаимосвязи, которые связаны с одним или более из следующего: кинодисплей (104), зритель (112-0) в (опорном) пространственном местоположении (192), начало p координат для опорной системы координат и т.д., как показано на фиг. 1B.

[00070] Первый собственный поднабор визуальных объектов (например, 118 и т.д.), которые удовлетворяют конкретным пороговым значениям (или критериям) пространственной взаимосвязи относительно кинодисплея (104), может сегментироваться на слой киноизображений. Один или более вторых собственных поднаборов визуальных объектов (например, 120 и т.д.), которые не удовлетворяют конкретным пороговым значениям (или критериям) пространственной взаимосвязи относительно кинодисплея (104), сегментируются на один или более слоев изображений устройства. Конкретные пороговые значения (или критерии) пространственной взаимосвязи относительно кинодисплея (104) могут содержать дополнительные пороговые значения (или критерии) пространственной взаимосвязи, которые могут использоваться для того, чтобы сегментировать один или более слоев изображений устройства относительно друг друга. Например, дополнительные пороговые значения (или критерии) пространственной взаимосвязи могут использоваться для того, чтобы разделять или отличать один поднабор от другого поднабора между одним или более вторых собственных поднаборов визуальных объектов (например, 120 и т.д.).

[00071] В некоторых вариантах осуществления, пороговые значения пространственной взаимосвязи могут содержать конкретное пороговое значение глубины (например, не более одного метра, не более двух метров, не более значения пространственного измерения, заданного в качестве относительного значения относительно пространственного измерения кинодисплея (104) и т.д.). Пороговое значение глубины указывает то, что все визуальные объекты позади конкретной глубины от кинодисплея (104) должны сегментироваться на слой киноизображений. Пороговое значение глубины указывает то, что все другие визуальные объекты перед конкретной глубиной от кинодисплея (104) должны сегментироваться на один или более слоев изображений устройства. Пороговое значение глубины может представляться посредством положительного значения, нуля или отрицательного значения, конкретного расстояния до кинодисплея (104).

[00072] Дополнительно, необязательно или альтернативно, другое пространственное пороговое значение, к примеру, пороговое значение пространственного параллакса, пороговое значение пространственной диспаратности и т.д., может использоваться вместо или в дополнение к пороговому значению глубины для целей выбора или сегментации множества визуальных объектов, проиллюстрированных в многовидовом немногослойном изображении, на различные слои изображений.

[00073] Например, кинодисплей (104) может представлять плоскость/поверхность с нулевым параллаксом в операциях рендеринга изображений. Любые визуальные объекты, которые проиллюстрированы с однослойными изображениями, подготовленными посредством рендеринга на кинодисплее (104), как находящиеся позади кинодисплея (104), имеют положительные параллаксы, тогда как любые визуальные объекты, которые проиллюстрированы с однослойными изображениями, подготовленными посредством рендеринга на кинодисплее (104), как находящиеся перед кинодисплеем (104), имеют отрицательные параллаксы.

[00074] В некоторых вариантах осуществления, пороговые значения пространственной взаимосвязи могут содержать конкретное пороговое значение параллакса. Пороговое значение параллакса указывает то, что все визуальные объекты не менее чем с конкретным параллаксом относительно плоскости/поверхности с нулевым параллаксом, как представлено посредством кинодисплея (104), должны сегментироваться на слой киноизображений. Пороговое значение параллакса указывает то, что все визуальные объекты менее чем с конкретным параллаксом относительно плоскости/поверхности с нулевым параллаксом, как представлено посредством кинодисплея (104), должны сегментироваться на один или более слоев изображений устройства. Пороговое значение параллакса может представляться посредством положительного значения, нуля или отрицательного значения конкретного параллакса.

[00075] Дополнительно, необязательно или альтернативно, кинодисплей (104) может представлять плоскость/поверхность с нулевой диспаратностью в операциях рендеринга изображений. Любые визуальные объекты, которые проиллюстрированы с однослойными изображениями, подготовленными посредством рендеринга на кинодисплее (104), как находящиеся позади кинодисплея (104), имеют положительную диспаратность, тогда как любые визуальные объекты, которые проиллюстрированы с однослойными изображениями, подготовленными посредством рендеринга на кинодисплее (104), как находящиеся перед кинодисплеем (104), имеют отрицательную диспаратность.

[00076] В некоторых вариантах осуществления, пороговые значения пространственной взаимосвязи могут содержать конкретное пороговое значение диспаратности. Пороговое значение диспаратности указывает то, что все визуальные объекты не менее чем с конкретной диспаратностью относительно плоскости/поверхности с нулевой диспаратностью, как представлено посредством кинодисплея (104), должны сегментироваться на слой киноизображений. Пороговое значение диспаратности указывает то, что все визуальные объекты менее чем с конкретной диспаратностью относительно плоскости/поверхности с нулевой диспаратностью, как представлено посредством кинодисплея (104), должны сегментироваться на один или более слоев изображений устройства. Пороговое значение диспаратности может представляться посредством положительного значения, нуля или отрицательного значения конкретной диспаратности.

[00077] В некоторых вариантах осуществления, многовидовое немногослойное изображение может представлять собой конкретное многовидовое немногослойное изображение во множестве многовидовых немногослойных изображений, которые составляют временную последовательность таких изображений. Временная последовательность многовидовых немногослойных изображений может представлять мультимедийную программу, широковещательную программу, фильм, VR-сеанс, AR-сеанс, сеанс удаленного присутствия, компьютерную игру и т.д.

[00078] В некоторых вариантах осуществления, некоторые или все предыдущие и/или будущие пространственные местоположения визуальных объектов, предыдущие и/или будущие пространственные направления визуальных объектов, предыдущие и/или будущие характеристики движения визуальных объектов, предыдущие и/или будущие членства визуальных объектов в конкретных слоях изображений и т.д., могут использоваться для того, чтобы определять то, должны или нет любые из этих визуальных объектов сегментироваться на конкретный слой изображений во множестве слоев изображений.

[00079] Например, визуальный объект может заранее определяться как находящийся в одном слое изображений и затем перемещаться в пространственные местоположения, пространственные направления и т.д., которые должны соответствовать другому слою изображений. Чтобы уменьшать дрожание, при котором визуальный объект танцует слишком быстро или слишком часто между/между (between/among) различными слоями изображений за относительно короткий период времени, одно или более из следующего: эффекты/механизмы задержки, факторы демпфирования, сглаживающие фильтры, шумовая обработка и т.д., может реализовываться посредством кодера многослойных изображений, чтобы разрешать или назначать визуальный объект, который должен оставаться в конкретном слое изображений, к примеру, в предыдущем слое изображений, в текущем слое изображений и т.д., вместо немедленного сегментирования или назначения текущему слою изображений, новому слою изображений и т.д. Любое из этих эффектов/механизмов задержки, факторов демпфирования, сглаживающих фильтров, шумовой обработки и т.д. может работать в зависимости от части или всего из следующего: предыдущие и/или будущие пространственные местоположения визуальных объектов, предыдущие и/или будущие пространственные направления визуальных объектов, предыдущие и/или будущие характеристики движения визуальных объектов, предыдущие и/или будущие членства/назначения визуальных объектов в конкретных слоях изображений и т.д.

[00080] Дополнительно, необязательно или альтернативно, относительная художественная важность визуальных объектов, визуальные свойства (например, яркость, цвета и т.д.) визуальных объектов, характеристики движения (например, движущиеся объекты, стационарные объекты, фон и т.д.) визуальных объектов и т.д., также могут использоваться в качестве факторов выбора, пороговых значений пространственной взаимосвязи, критериев пространственной взаимосвязи и т.д., вместо или в дополнение к вышеприведенным факторам выбора, вышеприведенным пороговым значениям пространственной взаимосвязи, вышеприведенным критериям пространственной взаимосвязи и т.д., как пояснено выше.

[00081] В некоторых вариантах осуществления, кодер многослойных изображений может кодировать множество слоев изображений с соответствующими однослойными изображениями в многослойное многовидовое изображение. Многослойное многовидовое изображение, наряду с другим многослойным многовидовым изображением, сформированным из других многовидовых немногослойных изображений, может кодироваться в многослойный многовидовой видеосигнал, который прямо или косвенно передается в одно или более нижележащих устройств. Примерные нижележащие устройства могут включать в себя, но не обязательно ограничены только, любое из следующего: дополненные развлекательные системы для рендеринга многовидового изображения в многослойном представлении, устройства хранения данных для сохранения многовидового изображения в многослойном представлении, мультимедийные потоковые серверы для потоковой передачи многовидового изображения в многослойном представлении и т.д.

4. Тензорная карта

[00082] Как отмечено выше, многовидовое немногослойное изображение может содержать множество немногослойных (одно-)видовых изображений, которые соответствуют множеству различных видов (например, направлений просмотра, полей видов и т.д.). В некоторых вариантах осуществления, на основе информации глубины для каждого немногослойного видового изображения в многовидовом немногослойном изображении, тензорная карта (например, порядка 3, в измерениях/координатах/осях X, Y, Z и т.д.) может конструироваться, чтобы формировать пиксельное распределение немногослойного видового изображения в многовидовом немногослойном изображении в пространстве трехмерных изображений. Пиксел в пиксельном распределении, сформированном из тензорной карты, представляется не только в измерениях/координатах/осях X и Y (например, в столбцах кадра с изображением, в строке кадра с изображением и т.д.), но также и в измерении/координате/оси Z (например, в глубине и т.д.).

[00083] Фиг. 1F иллюстрирует примерное трехмерное пиксельное распределение 188 немногослойного видового изображения в многовидовом немногослойном изображении, которое извлекается из тензорной карты. Фиг. 1G иллюстрирует примерные однослойные изображения 176-1-176-3, сформированные из немногослойного видового изображения на основе трехмерного пиксельного распределения (188).

[00084] Тензорная карта может конструироваться в пространстве (например, 196 и т.д.) трехмерных изображений, проиллюстрированном в многовидовом немногослойном изображении, на основе (a) двумерного пиксельного распределения в измерениях/координатах/осях X и Y, как представлено в немногослойном видовом изображении, и (b) информации глубины, которая указывает (например, точно, приблизительно и т.д.) измерение/ось Z каждого пиксела в распределении. На основе тензорной карты, двумерное пиксельное распределение в немногослойном видовом изображении может теперь представляться как трехмерное пиксельное распределение (188) в пространстве (196) трехмерных изображений.

[00085] При использовании трехмерного пиксельного распределения (188) многовидового немногослойного изображения, однослойные изображения могут формироваться, например, с поверхностями разделения слоев. В качестве примера, но не ограничения, две поверхности 194-2 и 194-3 разделения слоев могут быть размещены в пространстве (196) трехмерных изображений, чтобы разделять пикселы трехмерного пиксельного распределения (188) на три однослойных изображения (176-1-176-3) в трех различных слоях изображений.

[00086] Как проиллюстрировано на фиг. 1G, первое трехмерное пиксельное распределение 188-1 трехмерного пиксельного распределения (188), которое может включать в себя все пикселы с глубинами от зрителя в опорной пространственной позиции (192) до первой поверхности (194-2) разделения слоев вдоль глубины или направления по оси Z (фронтального направления просмотра зрителя), проецируется на первое однослойное изображение (176-1), которое должно подготавливаться посредством рендеринга с помощью дисплея устройства для носимого устройства на первой глубине (например, на глубине, соответствующей плоскости изображений, поддерживаемой посредством дисплея устройства для носимого устройства и т.д.) от зрителя в опорном пространственном местоположении (192). Трехмерные пикселы в первом трехмерном пиксельном распределении (188-1) могут проецироваться на двумерные пикселы (например, 178-1, 178-2 и т.д.) первого однослойного изображения (176-1) на основе измерений/координат/осей X и Y трехмерных пикселов в первом трехмерном пиксельном распределении (188-1).

[00087] Второе трехмерное пиксельное распределение 188-2 трехмерного пиксельного распределения (188), которое может включать в себя все пикселы с глубинами от первой поверхности (194-2) разделения слоев до второй поверхности (194-3) разделения слоев вдоль глубины или направления по оси Z, проецируется на второе однослойное изображение (176-2), которое должно подготавливаться посредством рендеринга с помощью дисплея устройства для носимого устройства на второй глубине (например, на глубине, соответствующей первой поверхности (194-2) разделения слоев от зрителя в опорном пространственном местоположении (192)). Трехмерные пикселы во втором трехмерном пиксельном распределении (188-2) могут проецироваться на двумерные пикселы (например, 178-3, 178-4 и т.д.) второго однослойного изображения (176-2) на основе измерений/координат/осей X и Y трехмерных пикселов во втором трехмерном пиксельном распределении (188-2).

[00088] Третье трехмерное пиксельное распределение 188-3 трехмерного пиксельного распределения (188), которое может включать в себя все пикселы с глубинами позади второй поверхности (194-3) разделения слоев вдоль глубины или направления по оси Z, проецируется на третье однослойное изображение (176-3), которое должно подготавливаться посредством рендеринга с помощью кинодисплея на третьей глубине (например, на глубине, соответствующей кинодисплею, от зрителя в опорном пространственном местоположении (192). Трехмерные пикселы в третьем трехмерном пиксельном распределении (188-3) могут проецироваться на двумерные пикселы (например, 178-5, 178-6 и т.д.) третьего однослойного изображения (176-3) на основе измерений/координат/осей X и Y трехмерных пикселов в третьем трехмерном пиксельном распределении (188-3).

[00089] Технологии формирования слоя изображений на основе тензорных карт могут применяться к каждому видовому изображению во множестве видовых изображений в многовидовом немногослойном изображении, чтобы формировать однослойные изображения для каждого такого видового изображения, соответственно. Таким образом, однослойные изображения во множестве слоев изображений могут формироваться из многовидового немногослойного изображения с использованием этих технологий формирования слоя изображений.

[00090] Когда однослойные изображения предоставляются в модуль рендеринга изображений в дополненной развлекательной системе для рендеринга с помощью носимого устройства зрителя, однослойные изображения могут пространственно преобразовываться на основе фактической пространственной позиции и фактического пространственного направления носимого устройства посредством перемещения в пространстве, вращения, масштабирования и т.д. Например, первое однослойное изображение (176-1) (или слой киноизображений) может подготавливаться посредством рендеринга на кинодисплее, тогда как второе и третье однослойные изображения (176-2 и 176-3) (или слои изображений устройства) могут подготавливаться посредством рендеринга с помощью дисплея устройства для носимого дисплея.

[00091] Относительно удаленный зритель может видеть первое однослойное изображение (176-1) в качестве относительно небольшого изображения, обратно пропорционального расстоянию между относительно удаленным зрителем и кинодисплеем; в силу этого второе и третье однослойные изображения могут масштабироваться пропорционально таким образом, что они совпадают с размерами или соотношениями сторон первого однослойного изображения (176-1), просматриваемого относительно удаленным зрителем. Дополнительно, поскольку относительно удаленный зритель может быть расположен дальше назад относительно зрителя в опорном пространственном местоположении (например, 192 и т.д.), второе и третье однослойные изображения или визуальные объекты в них могут пространственно перемещаться, по меньшей мере, частично на основе расстояния между относительно удаленным зрителем и зрителем в опорном пространственном местоположении (192). Если пространственное направление носимого устройства относительно удаленного зрителя не совпадает с фронтальным направлением просмотра зрителя в опорном пространственном местоположении (192), используемом для того, чтобы формировать слои изображений и однослойные изображения, второе и третье однослойные изображения или визуальные объекты в них могут пространственно поворачиваться, по меньшей мере, частично на основе угла или углового расстояния между пространственным направлением носимого устройства относительно удаленного зрителя и фронтальным направлением просмотра зрителя в опорном пространственном местоположении (192). Аналогично, для относительно близкого зрителя, пространственные преобразования, такие как перемещения в пространстве, вращения, масштабирование и т.д., могут аналогично применяться к однослойным изображениям на основе пространственных позиций и/или пространственных направлений относительно близкого зрителя.

[00092] В некоторых вариантах осуществления, тензорные карты также могут использоваться в операциях рендеринга изображений, как проиллюстрировано на фиг. 1H. Например, отображаемые киноизображения, сформированные из однослойных изображений в слое киноизображений и подготовленные посредством рендеринга на кинодисплее (104), могут использоваться для того, чтобы воспроизводить часть тензорной карты (или пиксельное распределение), которая соответствует части пространства (196) трехмерных изображений в трехмерном физическом пространстве (126), в котором расположен зритель, в пространственном местоположении, которое может быть идентичным или может отличаться от опорного пространственного местоположения (192). Отображаемые изображения устройства, сформированные из однослойных изображений в одном или более слоев изображений устройства и подготовленные посредством рендеринга с помощью дисплея (например, 116, 116-1 и т.д.) устройства в одной или более плоскостей изображений, могут использоваться для того, чтобы воспроизводить другие части тензорной карты (или пиксельное распределение), которые соответствуют оставшимся частям пространства (196) трехмерных изображений в трехмерном физическом пространстве (126). Отображаемые изображения устройства могут формироваться отдельно для носимого устройства на основе пространственных преобразований (например, перемещений в пространстве, вращений, масштабирования и т.д.) в зависимости от конкретной пространственной позиции и/или конкретного пространственного направления носимого устройства с ограничениями на другие части тензорной карты (или пиксельного распределения), воспроизводимые из отображаемых изображений устройства, прозрачно примыкающих к части идентичной тензорной карты (или пиксельного распределения), воспроизводимой из отображаемых киноизображений. Дополнительно, необязательно, необязательно, некоторые или все операции обработки изображений, такие как интерполяция, увеличение резкости, размытость, дезокклюзия и т.д., могут выполняться в операциях рендеринга изображений согласно технологиям, описанным в данном документе. Таким образом, пространство трехмерных изображений, подготовленное посредством рендеринга посредством комбинации отображаемых киноизображений и отображаемых изображений устройства, точно или верно воспроизводит трехмерное пиксельное распределение (188) в пространстве (196) трехмерных изображений, как первоначально проиллюстрировано в многовидовом немногослойном изображении.

5. Кодер многослойных изображений и дополненная развлекательная система

[00093] Фиг. 2A иллюстрирует примерную конфигурацию 100 дополненной развлекательной системы, которая содержит кодер 180 многослойных изображений, приемное устройство 110 контента изображений, модули (например, 106, 108 и т.д.) рендеринга изображений, модуль 122 отслеживания устройств, одно или более носимых устройств, таких как носимое устройство 102-1 рендеринга изображений зрителя 112-1 и т.д., в трехмерном пространстве (например, 126 и т.д.). Некоторые или все компоненты/устройства, как проиллюстрировано на фиг. 2C, могут реализовываться посредством одного или более механических компонентов, одного или более электрооптических компонентов, одного или более вычислительных устройств, модулей, блоков и т.д., в программном обеспечении, в аппаратных средствах, в комбинации программного обеспечения и аппаратных средств и т.д. Некоторые или все компоненты/устройства, как проиллюстрировано на фиг. 2A, могут функционально (например, в беспроводном режиме, с помощью проводных соединений и т.д.) соединяться с некоторыми другими компонентами/устройствами, как проиллюстрировано на фиг. 2A, либо с другими компонентами/устройствами, не проиллюстрированными на фиг. 2A.

[00094] В некоторых вариантах осуществления, кодер (180) многослойных изображений содержит приемное устройство 182 немногослойных изображений, формирователь 186 многослойных изображений, хранилище 184 данных немногослойных изображений и т.д.

[00095] В некоторых вариантах осуществления, приемное устройство (182) немногослойных изображений содержит программное обеспечение, аппаратные средства, комбинацию программного обеспечения и аппаратных средств и т.д., выполненную с возможностью принимать многовидовые немногослойные изображения, например, в видеосигнале немногослойных изображений или в сохраненных данных немногослойных изображений, из источника немногослойных изображений, такого как хранилище (184) данных немногослойных изображений, облачный источник изображений, система камер в связи с VR-приложением, AR-приложением, приложением на основе удаленного присутствия, приложением для отображения и т.д.

[00096] В некоторых вариантах осуществления, формирователь (186) многослойных изображений содержит программное обеспечение, аппаратные средства, комбинацию программного обеспечения и аппаратных средств и т.д., выполненную с возможностью осуществлять доступ к пространственной информации, которая описывает пространственные местоположения каждого визуального объекта во множестве визуальных объектов в пространстве (например, 196 по фиг. 1A и т.д.) трехмерных изображений, как проиллюстрировано в каждом из многовидовых немногослойных изображений.

[00097] На основе пространственной информации, которая описывает пространственные местоположения множества визуальных объектов в пространстве (196 по фиг. 1A) трехмерных изображений в каждом из многовидовых немногослойных изображений, формирователь (186) многослойных изображений формирует однослойные изображения во множестве слоев изображений из каждого такого многовидового немногослойного изображения. Таким образом, каждый слой изображений во множестве слоев изображений содержит многовидовые однослойные изображения из всех многовидовых немногослойных изображений.

[00098] В неограничивающем примере, первый слой изображений во множестве слоев изображений может использоваться в качестве слоя киноизображений посредством нисходящих устройств-получателей, при этом другие слои изображений во множестве слоев изображений могут использоваться в качестве слоев изображений устройства посредством нисходящих устройств-получателей.

[00099] Формирователь (186) многослойных изображений кодирует многовидовые однослойные изображения во множестве слоев изображений, сформированных из многовидовых немногослойных изображений, в контент 114 изображений и предоставляет/передает контент (114) изображений в одно или более нижележащих устройств, таких как приемное устройство (110) входного контента, устройство хранения данных, трехмерные киносистемы и т.д.

[000100] В некоторых вариантах осуществления, приемное устройство (110) контента изображений содержит приемное устройство 152 многовидовых (MV) изображений, передающее устройство 156 в слое изображений, репозиторий 154 данных и т.д.

[000101] В некоторых вариантах осуществления, приемное устройство (152) многовидовых изображений содержит программное обеспечение, аппаратные средства, комбинацию программного обеспечения и аппаратных средств и т.д., выполненную с возможностью принимать контент (114) (входных) изображений из источника изображений, такого как кодер (180) многослойных изображений, облачный источник изображений, система камер в связи с VR-приложением, AR-приложением, приложением на основе удаленного присутствия, приложением для отображения и т.д.; декодировать поток (114) входных изображений в последовательность многослойных многовидовых изображений. Каждое многослойное многовидовое изображение содержит одно или более однослойных киноизображений в слое киноизображений и одно или более однослойных изображений устройства в одном или более слоев изображений устройства, декодированных посредством приемного устройства (152) многовидовых изображений из многослойного многовидового видеосигнала.

[000102] Из слоя киноизображений, передающее устройство (156) в слое изображений идентифицирует или формирует одно или более однослойных киноизображений. Одно или более однослойных киноизображений могут иллюстрировать первый собственный поднабор из одного или более визуальных объектов (например, 118 и т.д.) во множестве визуальных объектов (например, 118, 120 и т.д.), которые проиллюстрированы в (исходном) многовидовом немногослойном изображении, из которого заранее извлечены однослойные киноизображения и изображения устройства в слое киноизображений и одном или более слоев изображений устройства.

[000103] Из одного или более слоев изображений устройства, передающее устройство (156) в слое изображений идентифицирует или формирует одно или более однослойных изображений устройства. Одно или более однослойных изображений устройства могут иллюстрировать один или более вторых собственных поднаборов одного или более визуальных объектов (например, 120 и т.д.) во множестве визуальных объектов (например, 118, 120 и т.д.), которые проиллюстрированы посредством (исходного) многовидового немногослойного изображения.

[000104] В некоторых вариантах осуществления, передающее устройство (156) в слое изображений отправляет или иным образом предоставляет, через поток 158 данных, все однослойные киноизображения в модули (106, 108) рендеринга изображений либо в их модуль (например, 106 и т.д.) рендеринга киноизображений. Кроме того, передающее устройство (156) в слое изображений отправляет или иным образом предоставляет, через поток (158) данных, все однослойные изображения устройства в модули (106, 108) рендеринга изображений либо в их модуль (например, 108 и т.д.) рендеринга изображений устройства.

[000105] Пользователь (112-1) может перемещаться, чтобы вызывать изменения пространственных позиций и пространственных направлений носимого устройства (102-1) во время выполнения. В некоторых вариантах осуществления, модуль (122) отслеживания устройств содержит программное обеспечение, аппаратные средства, комбинацию программного обеспечения и аппаратных средств и т.д., выполненную с возможностью отслеживать/мониторить пространственные позиции и/или пространственные направления носимого устройства (102-1); формировать позиционные и направленные данные носимого устройства (102-1) на основе пространственных позиций и/или пространственных направлений носимого устройства (102-1); и т.д.

[000106] Позиционные и направленные данные носимого устройства (102-1), сформированные посредством модуля (122) отслеживания устройств, могут иметь относительно точное временное разрешение (например, каждую миллисекунду, каждые пять миллисекунд и т.д.) и могут использоваться посредством других устройств, таких как приемное устройство (110) контента изображений и/или модули (106, 108) рендеринга изображений, для того чтобы устанавливать/определять пространственные позиции и/или пространственные направления носимого устройства (102-1) при данном временном разрешении (например, каждую миллисекунду, каждые пять миллисекунд и т.д.).

[000107] Примеры модулей отслеживания устройств, как описано в данном документе, могут включать в себя, но не обязательно ограничены только, любое из следующего: внешние модули отслеживания устройств, внутренние модули отслеживания устройств, модули отслеживания устройств снаружи-внутрь, модули отслеживания устройств изнутри-наружу и т.д. В качестве примера, но не ограничения, модуль (122) отслеживания устройств в конфигурации (100), как проиллюстрировано на фиг. 2A, представляет внешний модуль отслеживания устройств. Тем не менее, следует отметить, что в других вариантах осуществления, модуль отслеживания устройств изнутри-наружу, который может составлять часть носимого устройства (102-1), совместно размещаемого с носимым устройством (102-1), перемещающимся совместно с носимым устройством (102-1) и т.д., также может использоваться в дополнение или вместо (внешнего) модуля (122) отслеживания устройств. Модуль (122) отслеживания устройств может отслеживать пространственные координаты относительно большого числа носимых устройств, включающих в себя, но не только, носимое устройство (102-1), которые присутствуют в трехмерном пространстве (126).

[000108] В качестве иллюстрации, но не ограничения, стационарная трехмерная пространственная система координат, используемая для того, чтобы представлять пространственные позиции в трехмерном пространстве (126), может представлять собой опорную декартову систему координат. Фиг. 2A иллюстрирует только два примерных пространственных измерения, а именно, ось X и ось Z, опорной декартовой системы координат; опорная декартова система координат может содержать другое пространственное измерение, а именно, ось Y, ортогональную к осям Z и X, которая указывается из фиг. 2A. Опорная декартова система координат может содержать начало системы координат в опорной пространственной позиции, обозначаемой в качестве p, как показано на фиг. 2A. Опорная пространственная позиция может выбираться из любой пространственной позиции, стационарной по отношению к трехмерному пространству (126).

[000109] Носимое устройство (102-1) может, но не обязательно ограничиваться только, представлять собой твердотельное (или с фиксированной пространственной формой) устройство в работе. Пространственные позиции на носимом устройстве (102-1) могут представляться в трехмерной пространственной системе координат, стационарной относительно носимого устройства (102-1). Стационарная по отношению к устройству декартова система координат в отношении опорной декартовой системы координат может использоваться для того, чтобы представлять пространственные позиции и пространственные направления на носимом устройстве (102-1). Стационарная по отношению к устройству декартова система координат содержит три пространственных измерения, представленные посредством соответствующих осей, включающих в себя ось X1 и ось Z1, как показано на фиг. 2A, и ось Y1, ортогональную к обеим осям X1 и Z1, которые не проиллюстрированы на фиг. 2A. Стационарная по отношению к устройству декартова система координат может содержать начало системы координат в стационарной по отношению к устройству пространственной позиции, обозначаемой в качестве p1, как показано на фиг. 2A. Стационарная по отношению к устройству пространственная позиция может выбираться от любой пространственной позиции, стационарной относительно носимого устройства (102-1). В некоторых вариантах осуществления, если имеется пространственное местоположение, которое представляет собой точку симметрии на носимом устройстве (102-1), то такое пространственное местоположение может выбираться в качестве стационарной по отношению к устройству пространственной позиции p1, чтобы служить в качестве начала координат стационарной по отношению к устройству декартовой системе координат.

[000110] В некоторых вариантах осуществления, модуль (122) отслеживания устройств многократно (например, в реальном времени, практически в реальном времени, в пределах строгого временного бюджета, каждую 1 миллисекунду, каждые 2 миллисекунды и т.д.) отслеживает или определяет одну или более пространственных координат носимого устройства (102-1) в данный момент времени в опорной декартовой системе координат трехмерного пространства (126). В некоторых вариантах осуществления, одна или более пространственных координат носимого устройства (102-1) могут представляться посредством одной или более пространственных координат стационарной по отношению к устройству пространственной позиции p1, которая является стационарной по отношению к носимому устройству (102-1) относительно опорной декартовой системы координат трехмерного пространства (126).

[000111] Пространственные координаты стационарного по отношению к устройству пространственного местоположения p1 носимого устройства (102-1) составляют пространственную траекторию носимого устройства (102-1), которая может представляться как функции от времени. Любая комбинация одной или более характеристик движения носимого устройства (102-1) может определяться из этих функций от времени, представляющих пространственную траекторию носимого устройства (102-1).

[000112] Например, линейные позиции/смещения (во времени) носимого устройства (102-1) относительно опорной точки, такой как начало p координат опорной декартовой системы координат, стационарной в трехмерном пространстве (126), могут определяться или извлекаться (например, в качестве векторной разности и т.д.) из пространственной траектории (представленной посредством функций от времени, как упомянуто выше) носимого устройства (102-1). Дополнительно, необязательно или альтернативно, линейные скорости, скорости, ускорения и т.д. (во времени) носимого устройства (102-1) относительно опорной точки, стационарной в трехмерном пространстве (126), могут определяться или извлекаться (например, в качестве производной первого порядка, в качестве производной второго порядка и т.д.) из пространственной траектории носимого устройства (102-1).

[000113] Аналогично, угловые позиции/смещения (например, a1 и т.д.) (во времени) носимого устройства (102-1) могут определяться или извлекаться из угловых позиций/смещений стационарной по отношению к устройству системы координат (например, X1, Y1, Z1 и т.д.) относительно опорной декартовой системы координат (например, X, Y, Z и т.д.).

[000114] Дополнительно, необязательно или альтернативно, линейные или угловые скорости, скорости, ускорения и т.д. (во времени) носимого устройства (102-1) относительно опорной системы координат в трехмерном пространстве (126) могут определяться или извлекаться (например, в качестве производной первого порядка, в качестве производной второго порядка и т.д.) из линейных или угловых позиций/смещений (например, p1, a1 и т.д.) носимого устройства (102-1).

[000115] В некоторых вариантах осуществления, модули (106, 108) рендеринга изображений могут реализовываться отдельно в качестве модуля (например, 106 и т.д.) рендеринга киноизображений и модуля (например, 108) рендеринга изображений устройства, как проиллюстрировано на фиг. 2B, и фиг. 2C. Дополнительно, необязательно или альтернативно, модули рендеринга изображений, такие как модуль (106) рендеринга киноизображений, модуль (108) рендеринга изображений устройства и т.д., могут реализовываться совместно в одном устройстве (например, на киносервере и т.д.), как проиллюстрировано на фиг. 2A. Любой модуль рендеринга отдельного изображения в модулях (106, 108) рендеринга изображений, таких как модуль (106) рендеринга киноизображений, модуль (108) рендеринга изображений устройства и т.д., может реализовываться в нескольких (например, как компьютер, устройство, виртуальная машина и т.д.) экземплярах, работающих параллельно, чтобы поддерживать операции рендеринга изображений в реальном времени в связи с относительно большим числом зрителей параллельно в трехмерном пространстве (126).

[000116] В качестве примера, но не ограничения, модули (106, 108) рендеринга изображений содержат приемное устройство 160 в слое изображений, модуль 170 регистрации устройств, формирователь 162 отображаемых изображений и т.д. Модули (106, 108) рендеринга изображений могут включать в себя, но не обязательно ограничены только, любое из следующего: центральный модуль рендеринга изображений, распределенный модуль рендеринга изображений, модуль рендеринга изображений, реализованный в качестве части носимого устройства (например, 102-1 и т.д.), модуль рендеринга изображений, внешний для некоторых или всех носимых устройств (например, 102-1 и т.д.) в трехмерном пространстве (126), частично реализованном в качестве части носимого устройства (например, 102-1 и т.д.) и частично реализованном в отдельном устройстве, внешнем для носимого устройства (102-1) и т.д.

[000117] В некоторых вариантах осуществления, приемное устройство (160) в слое изображений содержит программное обеспечение, аппаратные средства, комбинацию программного обеспечения и аппаратных средств и т.д., выполненную с возможностью принимать, через поток (158) данных, слой киноизображений и один или более слоев изображений устройства для каждого многослойного многовидового изображения в последовательности многослойных многовидовых изображений.

[000118] В некоторых вариантах осуществления, модуль (170) регистрации устройств содержит программное обеспечение, аппаратные средства, комбинацию программного обеспечения и аппаратных средств и т.д., выполненную с возможностью принимать идентификационную информацию устройства (например, MAC-адреса, сетевые адреса, IP-адреса и т.д.) носимых устройств (например, 102-1 и т.д.) в трехмерном пространстве (126); регистрировать каждое из носимых устройств (например, 102-1 и т.д.) для приема отображаемых изображений устройства, которые должны подготавливаться посредством рендеринга в носимых устройствах (например, 102-1 и т.д.); и т.д.

[000119] На основе однослойных киноизображений в слое киноизображений, формирователь (162) отображаемых изображений формирует одно или более отображаемых киноизображений; инструктирует одному или более отображаемых киноизображений подготавливаться посредством рендеринга на кинодисплее (104); и т.д.

[000120] В некоторых вариантах осуществления, модули (106, 108) рендеринга изображений либо их формирователь (162) отображаемых изображений принимают позиционные и направленные данные каждого из носимых устройств (например, 102-1 и т.д.), отслеживаемые/мониторимые посредством модуля (122) отслеживания устройств в трехмерном пространстве (126); формирует одно или более соответствующих отображаемых изображений устройства для каждого из носимых устройств (например, 102-1 и т.д.), на основе однослойных изображений устройства в одном или более слоев изображений устройства и позиционных и направленных данных каждого такого носимого устройства (например, 102-1 и т.д.); инструктирует соответствующим одному или более отображаемых изображений устройства подготавливаться посредством рендеринга с помощью каждого такого носимого устройства (например, 102-1 и т.д.) на соответствующем дисплее (например, 116 по фиг. 1B и т.д.) устройства; и т.д. Модули (например, 106, 108 и т.д.) рендеринга изображений могут передавать управляющую информацию, информацию состояния, позиционные данные, данные изображений, такие как отображаемые изображения устройства, метаданные и т.д., с помощью носимых устройств (например, 102-1 и т.д.) рендеринга изображений по одному или более соединений для передачи данных. Примерные соединения для передачи данных могут включать в себя, но не только, беспроводные соединения для передачи данных, проводные соединения для передачи данных, радиочастотные соединения для передачи данных, сотовые соединения для передачи данных, Wi-Fi-соединения для передачи данных, инфракрасные соединения для передачи данных, соединения данных по HDMI-кабелю, соединения данных по оптическому кабелю, соединения данных по высокоскоростному последовательному интерфейсу (HSSI), последовательному цифровому интерфейсу высокой четкости (HD-SDI), 12G-SDI, USB-кабелю и т.п. с сиденьем/подлокотником/полом и т.д.

[000121] Примеры отображаемых киноизображений и/или отображаемых изображений устройства включают в себя, но не обязательно ограничены только, одно из следующего: моноскопическое изображение, комбинация изображения для просмотра левым глазом и изображения для просмотра правым глазом, комбинация двух или более многовидовых изображений и т.д.

[000122] В рабочих сценариях, в которых слой изображений содержит множество различных видовых однослойных изображений, модуль (106) рендеринга киноизображений и/или модуль (108) рендеринга изображений устройства могут идентифицировать, выбирать и/или интерполировать изображение для просмотра левым глазом и изображение для просмотра правым глазом из множества различных видовых однослойных изображений. Например, одно или оба из такого изображения для просмотра левым глазом и изображения для просмотра правым глазом могут формироваться посредством интерполяции изображений и/или восстановления изображений, что комбинирует различные видовые однослойные изображения в изображение для просмотра левым глазом и/или изображение для просмотра правым глазом.

[000123] В некоторых вариантах осуществления, модули (106, 108) рендеринга изображений выполняют операции управления отображением в качестве части рендеринга отображаемых киноизображений и/или отображаемых изображений устройства.

[000124] Дополненная развлекательная система может использоваться для того, чтобы поддерживать видеоприложения в реальном времени, видеоприложения практически в реальном времени, видеоприложения не в реальном времени, приложения в стиле виртуальной реальности (VR), приложения в стиле дополненной реальности (AR), приложения на основе удаленного присутствия, автомобильные развлекательные приложения, приложения для нашлемного отображения, приложения для отображения на лобовом стекле, игры, приложения для двумерного отображения, приложения для трехмерного отображения, приложения для многовидового отображения и т.д. Часть или все данные (114) контента входных изображений могут приниматься, формироваться или быть доступными посредством дополненной развлекательной системы в реальном времени, практически в реальном времени, не в реальном времени и т.д.

[000125] Технологии, описанные в данном документе, могут использоваться для того, чтобы поддерживать рендеринг и просмотр трехмерных или многовидовых изображений с широким спектром дисплеев. Примерные дисплеи (например, 104, дисплей устройства для носимого устройства и т.д.) могут включать в себя, но не обязательно ограничены только, любое из следующего: кинодисплей, дисплей домашнего кинотеатра, телевизионный приемник, проекционная система отображения, система отображения с задней подсветкой, система отображения на основе принципа светового поля, световодная система отображения, жидкокристаллическая система отображения, система на основе светоизлучающих диодов, система на основе органических светоизлучающих диодов, проектор изображений, AR-дисплей, HoloLens-дисплей, MagicLeap-дисплей, дисплей в стиле смешанной реальности (MR), тензорный дисплей, объемный дисплей, дисплей на основе принципа светового поля (LF), Immy-дисплей, метадисплей, относительно простая пара AR-очков, дисплей с любыми в широком диапазоне характеристик преодоления конфликта аккомодации-вергентности и т.д.

[000126] В некоторых вариантах осуществления, вместо приема многослойных многовидовых изображений, содержащих однослойные изображения во множестве слоев изображений, из внешнего источника изображений, такого как кодер (180) многослойных изображений, приемное устройство (152) многовидовых изображений может принимать или извлекать эти многовидовые многослойные изображения из репозитория (154) данных, например, локально. Репозиторий (154) данных представляет одну или более баз данных, один или более блоков/модулей/устройств хранения данных и т.д., выполненных с возможностью поддерживать такие операции, как сохранение, обновление, извлечение, удаление и т.д., относительно некоторых или всех многослойных многовидовых изображений и т.д.

[000127] В некоторых вариантах осуществления, вместо прямой отправки слоев изображений в модули рендеринга изображений (например, в модуль рендеринга киноизображений, в модуль рендеринга изображений устройства и т.д.), наборы изображений, содержащие, в частности, выбранные однослойные изображения в слоях изображений, могут отправляться в модули (например, 106, 108 и т.д.) рендеринга изображений. Передающее устройство (156) в слое изображений может принимать, из модуля рендеринга изображений в модулях (106, 108) рендеринга изображений и/или из модуля (122) отслеживания устройств, позиционные и направленные данные носимого устройства (102-1), отслеживаемые/мониторимые посредством модуля (122) отслеживания устройств; устанавливать/определять пространственные позиции и/или пространственные направления данного носимого устройства (например, 102-1 и т.д.) во времени относительно опорной системы координат; и формировать один или более наборов изображений посредством выбора конкретных однослойных изображений в слоях изображений каждого принимаемого многослойного многовидового изображения. Конкретные однослойные изображения могут специально адаптироваться для носимого устройства (102-1) в соответствии с пространственными позициями и/или пространственными направлениями носимого устройства (102-1). Дополнительно, передающее устройство (156) в слое изображений может кодировать одно или наборы изображений в видеопоток; предоставлять/передавать, через поток (158) данных, видеопоток в модуль (106, 108) рендеринга изображений; и т.д. Наборы изображений могут использоваться посредством модулей (106, 108) рендеринга изображений, чтобы формировать отображаемые изображения устройства для носимого устройства (102-1) с использованием восстановлений/интерполяций изображений. Примерные наборы изображений и восстановления/интерполяции изображений содержатся в заявке на патент (США) № 15/949720, с названием заявки "ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES" авторов Ajit Ninan и Neil Mammen, поданной 10 апреля 2018 года, все содержимое которой содержится в данном документе по ссылке как полностью изложенное в данном документе.

[000128] Технологии, описанные в данном документе, могут реализовываться во множестве архитектур системы. Некоторые или все операции обработки изображений, как описано в данном документе, могут реализовываться посредством одного или более из облачных потоковых видеосерверов, потоковых видеосерверов, совместно размещаемых или включенных в носимые устройства, потоковых видеоклиентов, приемных устройств контента изображений, устройств рендеринга изображений и т.д. На основе одного или более факторов, таких как типы видеоприложений, бюджеты по полосе пропускания/скорости передачи битов, вычислительные возможности, ресурсы, нагрузки и т.д. для устройств-получателей, вычислительные возможности ресурсы, нагрузки и т.д. для потоковых видеосерверов, приемных устройств контента изображений, устройств рендеринга изображений, базовых компьютерных сетей и т.д., некоторые операции обработки изображений могут выполняться посредством приемного устройства контента изображений, в то время как некоторые другие операции обработки изображений могут выполняться посредством устройства рендеринга изображений и т.д.

[000129] Фиг. 2B иллюстрирует другую примерную конфигурацию 100-1 (трехмерной) дополненной развлекательной системы, которая содержит устройство в виде смотровых защитных очков для рендеринга трехмерных изображений, такое как носимое устройство 102 с дисплеем 112 устройства, кинодисплеем 104, модулем 106 рендеринга киноизображений, модулем 108 рендеринга изображений устройства, приемным устройством 110 контента изображений и т.д. Некоторые или все компоненты/устройства, как проиллюстрировано на фиг. 2B, могут реализовываться посредством одного или более механических компонентов, одного или более электрооптических компонентов, одного или более вычислительных устройств, модулей, блоков и т.д., в программном обеспечении, в аппаратных средствах, в комбинации программного обеспечения и аппаратных средств и т.д. Некоторые или все компоненты/устройства, как проиллюстрировано на фиг. 2B, могут функционально (например, в беспроводном режиме, с помощью проводных соединений и т.д.) соединяться с некоторыми другими компонентами/устройствами, как проиллюстрировано на фиг. 2B, либо с другими компонентами/устройствами, не проиллюстрированными на фиг. 2B.

[000130] В некоторых вариантах осуществления, приемное устройство (110) контента изображений отправляет или иным образом предоставляет однослойные киноизображения (как пояснено выше в связи с фиг. 2A), декодированные из слоя киноизображений, в модуль (106) рендеринга киноизображений. Кроме того, приемное устройство (110) контента изображений отправляет или иным образом предоставляет однослойные изображения устройства (как пояснено выше в связи с фиг. 2A), декодированные из слоев изображений устройства, в модуль (108) рендеринга изображений устройства.

[000131] На основе однослойных киноизображений, модуль (106) рендеринга киноизображений подготавливает посредством рендеринга отображаемые киноизображения на кинодисплее (104), которые могут представлять собой одно из следующего: первое моноскопическое изображение, комбинация первого изображения для просмотра левым глазом и первого изображения для просмотра правым глазом, комбинация двух или более первых многовидовых изображений и т.д.

[000132] На основе однослойных изображений устройства, модуль (108) рендеринга изображений устройства инструктирует носимому устройству (102) подготавливать посредством рендеринга отображаемые изображения устройства, на дисплее 116 устройства, которые могут представлять собой одно из следующего: второе моноскопическое изображение, комбинация второго изображения для просмотра левым глазом и второго изображения для просмотра правым глазом, комбинация двух или более вторых многовидовых изображений и т.д.

[000133] В некоторых вариантах осуществления, дисплей (116) устройства представляет собой не физический дисплей, а вместо этого плоскость изображений или виртуальный дисплей, созданный посредством световых лучей, испускаемых посредством модуля(ей) формирования изображений в носимом устройстве (102).

[000134] В некоторых вариантах осуществления, первый собственный поднабор визуальных объектов (например, 118 и т.д.), как проиллюстрировано в паре из отображаемого киноизображения для просмотра левым глазом и отображаемого киноизображения для просмотра правым глазом, подготовленной посредством рендеринга на кинодисплее (104), и один или более вторых собственных поднаборов визуальных объектов (например, 120 и т.д.), как проиллюстрировано в соответствующих отображаемых изображениях устройства, подготовленных посредством рендеринга на дисплее (116) устройства, одновременно (например, параллельно, синхронно, в пределах идентичного кадрового интервала изображения и т.д.) подготавливаются посредством рендеринга, чтобы совместно иллюстрировать множество визуальных объектов (например, 118, 120 и т.д.), расположенных в различных пространственных местоположениях в пространстве (например, 196 по фиг. 1A и т.д.) трехмерных изображений. Эти пространственные местоположения в пространстве (196) трехмерных изображений могут быть идентичными пространственным местоположениям, указываемым или описанным в пространственной информации многовидового немногослойного изображения, которая использована для того, чтобы сегментировать множество визуальных объектов на слой киноизображений (или первый собственный поднабор визуальных объектов) и один или более слоев изображений устройства (или один или более вторых собственных поднаборов визуальных объектов) в первом месте.

[000135] В некоторых вариантах осуществления, модуль (106) рендеринга киноизображений и/или модуль (108) рендеринга изображений устройства выполняют отображение операции управления в качестве части рендеринга (a) отображаемого киноизображения для просмотра левым глазом и отображаемого киноизображения для просмотра правым глазом и/или (b) отображаемых изображений устройства.

[000136] В рабочих сценариях, в которых дополненная развлекательная система, как описано в данном документе, работает в окружении с несколькими зрителями, пространственные позиции (включающие в себя, но не только, индивидуальные посадочные позиции нескольких пользователей) и/или пространственные направления отдельных носимых устройств нескольких пользователей могут отслеживаться, вычисляться и/или использоваться для того, чтобы прозрачно налагать (или накладывать) отдельный контент изображений устройства, подготовленный посредством рендеринга с помощью отдельных носимых устройств зрителей, с контентом большого экрана (или контентом киноизображений), подготовленным посредством рендеринга на совместно используемом дисплее, таком как кинодисплей, проекционный дисплей и т.д.

[000137] Фиг. 3A иллюстрирует вид в перспективе примерного окружения с несколькими зрителями, содержащего трехмерное пространство (например, 126 и т.д.) и кинодисплей (например, 104 и т.д.) в качестве совместно используемого дисплея для нескольких зрителей. Трехмерное пространство (126) может содержать область 324 аудитории, содержащую множество посадочных мест (например, 326 и т.д.). Несколько зрителей, носящих свои соответствующие носимые устройства, могут садиться во множестве посадочных мест в области (324) аудитории, чтобы просматривать контент киноизображений, подготовленный посредством рендеринга на кинодисплее (104), и просматривать надлежащим образом наложенный контент изображений устройства, отдельно подготовленный посредством рендеринга посредством носимых устройств одновременно с просмотром контента киноизображений. С учетом конкретной геометрической конфигурации трехмерного пространства (126), высоты, линейные расстояния и угловые расстояния носимых устройств могут существенно варьироваться относительно кинодисплея (104) в окружении с несколькими зрителями.

[000138] Фактические посадочные позиции зрителей и их носимых устройств могут определяться в любой комбинации одного или более из нескольких различных способов. В примере, конкретная посадочная позиция (или конкретное посадочное место) зрителя и носимого устройства зрителя может определяться на основе конкретного билета, выданного для зрителя или носимого устройства зрителя. В другом примере, реперные маркеры могут встраиваться в контент киноизображений или в окружающие пространственные области на кинодисплее (104). Носимое устройство (или гарнитура) может получать изображения для отслеживания с маркерами изображений, сформированными в ответ на световые лучи из реперных маркеров. На основе маркеров изображений в изображениях для отслеживания, носимое устройство может (например, точно и т.д.) определять пространственные позиции и/или пространственные направления носимого устройства в любой момент времени в дополненном развлекательном сеансе. Примерные определения пространственных позиций и/или пространственных направлений носимых устройств на основе реперных маркеров содержатся в вышеуказанной заявке на патент (США) № 15/949,720, с названием заявки "ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES" авторов Ajit Ninan, и Neil Mammen, поданной 10 апреля 2018 года.

[000139] В дополнительном примере, различные носимые устройства (например, AR-гарнитуры и т.д.) могут присоединяться или назначаться соответствующим посадочным позициям (или посадочным местам) в трехмерном пространстве (126).

[000140] Дополнительно, необязательно или альтернативно, радиочастотное (RF) обнаружение местоположения может использоваться для того, чтобы определять пространственные позиции и/или пространственные направления носимого устройства в любой момент времени в дополненном развлекательном сеансе. Примерные определения пространственных позиций и/или пространственных направлений носимых устройств на основе обнаружения местоположения РФ содержатся в Патенте (США) номер 7580378, все содержимое которого содержится в данном документе по ссылке как полностью изложенное в данном документе.

[000141] В некоторых вариантах осуществления, (например, относительно большое и т.д.) трехмерное пространство (126) может сегрегироваться на несколько зон (например, одна из которых может представлять собой 328 по фиг. 3B и т.д.). Несколько мультимедийных потоковых серверов могут использоваться для того, чтобы передавать в потоковом режиме контент изображений устройства зрителям в нескольких зонах (например, 328 и т.д.). Зрители в каждой зоне (например, 328 и т.д.) могут поддерживаться посредством соответствующего мультимедийного потокового сервера в нескольких мультимедийных потоковых серверах. В некоторых вариантах осуществления, мультимедийный потоковый сервер формирует конкретный для зрителя контент изображений устройства для каждого зрителя из зрителей, сидящих в зоне (328), обозначенной для поддержки посредством мультимедийного потокового сервера. После приема конкретного для зрителя контента изображений устройства, носимое устройство зрителя в зоне (328) может подготавливать посредством рендеринга конкретный для зрителя контент изображений устройства практически без дополнительной адаптации или с помощью относительно простых операций рендеринга изображений (например, интерполяции/восстановления/выбора изображений и т.д.). В некоторых вариантах осуществления, мультимедийный потоковый сервер может формировать конкретный для зоны контент изображений устройства для всех зрителей в зоне в зоне (328), поддерживаемой посредством мультимедийного потокового сервера. После приема конкретного для зоны контента изображений устройства, носимое устройство отдельного зрителя в зоне (328) может адаптировать конкретный для зоны контент изображений устройства на основе пространственных позиций и/или пространственных направлений носимого устройства и подготавливать посредством рендеринга адаптированный контент изображений устройства.

[000142] Дополненная развлекательная система может реализовывать или работать с технологиями отслеживания устройств, чтобы определять пространственные позиции и/или пространственные направления носимых устройств в реальном времени в дополненном развлекательном сеансе (например, VR-сеансе, AR-сеансе, сеансе удаленного присутствия, сеансе компьютерной игры, фильме и т.д.). Часть или все эти технологии отслеживания устройств могут масштабироваться, чтобы параллельно отслеживать/мониторить пространственные позиции и/или пространственные направления носимых устройств относительно большого числа зрителей. Пространственные позиции и/или пространственные направления носимых устройств могут использоваться для того, чтобы адаптировать контент изображений устройства к специально адаптированному контенту изображений устройства для отдельных носимых устройств и отдельных зрителей и подготавливать посредством рендеринга специально адаптированный контент изображений устройства на отдельных носимых устройствах.

[000143] Примерные технологии отслеживания устройств могут включать в себя, но не обязательно ограничены только, любое из следующего: технологии отслеживания, выполняемые посредством только носимых устройств, технологии отслеживания, выполняемые посредством только внешних устройств, технологии отслеживания, выполняемые частично посредством носимых устройств и частично посредством внешних устройств, отслеживание устройств снаружи-внутрь, отслеживание устройств изнутри-наружу, распределенное отслеживание устройств посредством нескольких устройств в ассоциации, отслеживание на основе реперных меток, отслеживание на основе RF- или инфракрасных сигналов и т.д. Часть или все эти технологии отслеживания устройств могут специально адаптироваться к конкретным окружениям, в которых работают дополненные развлекательные системы. Часть или все эти технологии отслеживания устройств могут реализовываться с относительно низкими затратами, относительно низкой сложностью, относительно высокой избыточностью для устойчивости, относительно высокой точностью, относительно высокими числами для нескольких зрителей и т.д.

[000144] Дополнительно, необязательно или альтернативно, идентификационная информация устройства, включающая в себя, но не только, MAC-адреса, сетевые адреса, IP-адреса и т.д. носимых устройств, может получаться посредством технологий отслеживания устройств, как описано в данном документе.

[000145] Часть или все из пространственных позиций, пространственных направлений, идентификационной информации устройства, сетевых адресов и т.д. носимых устройств может использоваться для того, чтобы передавать и регистрировать носимые устройства (отдельно или в группе/зоне) на соответствующих мультимедийных потоковых серверах, чтобы получать или загружать контент изображений устройства, который должен синхронно подготавливаться посредством рендеринга с контентом киноизображений.

[000146] Идентификационная информация устройства, конкретные пространственные позиции и/или конкретные пространственные направления носимых устройств в конкретный момент времени и т.д. могут использоваться для того, чтобы синхронизировать потоковую передачу и рендеринг контента изображений устройства, сформированного для конкретного момента времени, с потоковой передачей и рендерингом контента киноизображений, сформированного для конкретного момента времени. Например, однослойные киноизображения, используемые для того, чтобы формировать трехмерное отображаемое киноизображение, которое должно подготавливаться посредством рендеринга на кинодисплее (104) в первый момент времени, может индексироваться посредством временной метки, логически указывающей первый момент времени. Соответствующие однослойные изображения устройства, используемые для того, чтобы формировать соответствующее трехмерное отображаемое изображение устройства, которое должно подготавливаться посредством рендеринга с помощью носимого устройства в идентичный первый момент времени, могут индексироваться посредством идентичной временной метки. Таким образом, как носимое устройство, так и модуль (106) рендеринга киноизображений могут отображать трехмерное отображаемое киноизображение и соответствующее трехмерное отображаемое изображение устройства одновременно.

[000147] Фиг. 2C иллюстрирует примерную конфигурацию 100-2 дополненной развлекательной системы, которая содержит модуль 122 отслеживания устройств, работающий с узлом 124 отслеживающих датчиков, чтобы мониторить множество носимых устройств, таких как первое носимое устройство 102-1, используемое первым зрителем 112-1, второе носимое устройство 102-2, используемое вторым зрителем 112-2 и т.д., в трехмерном пространстве (например, 126 и т.д.). Как проиллюстрировано на фиг. 2C, дополненная развлекательная система дополнительно содержит модуль (например, 106 и т.д.) рендеринга киноизображений, модуль (например, 108 и т.д.) рендеринга изображений устройства, приемное устройство (например, 110 и т.д.) контента изображений, кинодисплей (например, 104 и т.д.), одно или более носимых устройств. Некоторые или все компоненты/устройства, как проиллюстрировано на фиг. 2C, могут реализовываться посредством одного или более механических компонентов, одного или более электрооптических компонентов, одного или более вычислительных устройств, модулей, блоков и т.д., в программном обеспечении, в аппаратных средствах, в комбинации программного обеспечения и аппаратных средств и т.д. Некоторые или все компоненты/устройства, как проиллюстрировано на фиг. 2C, могут функционально (например, в беспроводном режиме, с помощью проводных соединений и т.д.) соединяться с некоторыми другими компонентами/устройствами, как проиллюстрировано на фиг. 2C, либо с другими компонентами/устройствами, не проиллюстрированными на фиг. 2C.

[000148] В некоторых вариантах осуществления, модуль (122) отслеживания устройств и узел (124) отслеживающих датчиков представляют центральную систему отслеживания, которая является удаленной от носимых устройств, которые представляют собой объект отслеживания. Модуль (122) отслеживания устройств и узел (124) отслеживающих датчиков могут выполнять операции отслеживания устройств с помощью носимых устройств без необходимости от носимых устройств реализовывать усложненную и/или активную функциональность самоотслеживания. Таким образом, носимые устройства могут изготавливаться с относительно простыми конструкциями при относительно низких затратах. Примерные модули отслеживания устройств, работающие с узлами отслеживающих датчиков, содержатся в вышеуказанной заявке на патент (США) № 15/949536, с названием заявки "PASSIVE MULTI-WEARABLE-DEVICES TRACKING" авторов Ajit Ninan, и Neil Mammen, поданной 10 апреля 2018 года.

[000149] Центральная система отслеживания, описанная в данном документе, может использоваться для того, чтобы точно, надежно и ответно отслеживать физические движения одного носимого устройства или нескольких носимых устройств. Компоненты, используемые для целей отслеживания, не должны обязательно миниатюризироваться в относительно крошечные отпечатки и механически и/или электрически включаться в общий форм-фактор носимого устройства. Сложные алгоритмы анализа для отслеживания пространственных позиций и направлений просмотра носимого устройства не должны обязательно проектироваться, совершенствоваться и реализовываться в носимом устройстве.

[000150] В некоторых вариантах осуществления, модуль (106) рендеринга киноизображений, модуль (108) рендеринга изображений устройства и модуль (122) отслеживания устройств могут реализовываться в одном или более центральных мультимедийных серверов, расположенных на большом расстоянии от носимых устройств (например, 102-1, 102-2 и т.д.). Модуль (122) отслеживания устройств, работающий в сочетании с узлом (124) отслеживающих датчиков, определяет пространственные позиции и/или пространственные направления носимых устройств (например, 102-1, 102-2 и т.д.) в реальном времени в дополненном развлекательном сеансе (например, VR-сеансе, AR-сеансе, сеансе удаленного присутствия, сеансе компьютерной игры, фильме и т.д.).

[000151] Первое носимое устройство (102-1) может, но не обязательно ограничивается только, представлять собой пространственные позиции твердотельного устройства, в которых может представляться в трехмерной пространственной системе координат, стационарной относительно первого носимого устройства (102-1). Стационарная по отношению к устройству декартова система координат относительно опорной декартовой системы координат может использоваться для того, чтобы представлять пространственные позиции и пространственные направления на первом носимом устройстве (102-1). Стационарная по отношению к устройству декартова система координат содержит три пространственных измерения, представленные посредством соответствующих осей, включающих в себя ось X1 и ось Z1, а также ось Y1, ортогональную к обеим осям X1 и Z1, которые не проиллюстрированы на фиг. 2C. Стационарная по отношению к устройству декартова система координат может содержать начало системы координат в стационарной по отношению к устройству пространственной позиции, обозначаемой в качестве p1. Стационарная по отношению к устройству пространственная позиция p1 может выбираться из любой пространственной позиции, стационарной относительно первого носимого устройства (102-1). В некоторых вариантах осуществления, если имеется пространственное местоположение, которое представляет собой точку симметрии на первом носимом устройстве (102-1), то такое пространственное местоположение может выбираться в качестве стационарной по отношению к устройству пространственной позиции p1, чтобы служить в качестве начала координат стационарной по отношению к устройству декартовой системе координат.

[000152] Аналогично, второе носимое устройство (102-2) может, но не обязательно ограничивается только, представлять собой пространственные позиции твердотельного устройства, в которых может представляться во второй трехмерной пространственной системе координат, стационарной относительно второго носимого устройства (102-2). Вторая стационарная по отношению к устройству декартова система координат относительно опорной декартовой системы координат может использоваться для того, чтобы представлять пространственные позиции и пространственные направления на втором носимом устройстве (102-2). Вторая стационарная по отношению к устройству декартова система координат содержит три пространственных измерения, представленные посредством соответствующих осей, включающих в себя ось X2 и ось Z2, а также ось Y2, ортогональную к обеим осям X2 и Z2, которые не проиллюстрированы на фиг. 2C. Вторая стационарная по отношению к устройству декартова система координат может содержать начало системы координат в стационарной по отношению к устройству пространственной позиции, обозначаемой в качестве p2. Стационарная по отношению к устройству пространственная позиция p2 может выбираться из любой пространственной позиции, стационарной относительно первого носимого устройства (102-1). В некоторых вариантах осуществления, если имеется пространственное местоположение, которое представляет собой точку симметрии на втором носимом устройстве (102-2), то такое пространственное местоположение может выбираться в качестве стационарной по отношению к устройству пространственной позиции p2, чтобы служить в качестве начала координат второй стационарной по отношению к устройству декартовой системе координат.

[000153] Пространственные позиции и/или пространственные направления носимых устройств (например, 102-1, 102-2 и т.д.) могут использоваться для того, чтобы адаптировать контент изображений устройства к специально адаптированному контенту изображений устройства для отдельных носимых устройств и отдельных зрителей и подготавливать посредством рендеринга специально адаптированный контент изображений устройства на отдельных носимых устройствах.

[000154] Помимо этого, пространственные позиции и/или пространственные направления носимых устройств (например, 102-1, 102-2 и т.д.) могут предоставляться в качестве функций от времени в модуль (106) рендеринга киноизображений и модуль (108) рендеринга изображений устройства. На основе пространственных позиций, пространственных направлений и т.д. носимых устройств (например, 102-1, 102-2 и т.д.), модуль (106) рендеринга киноизображений и модуль рендеринга изображений устройства могут синхронизировать потоковую передачу и рендеринг контента изображений устройства, сформированного для конкретного момента времени, с потоковой передачей и рендерингом контента киноизображений, сформированного для конкретного момента времени, например, через общую временную метку, которая индексирует контент киноизображений и контент изображений устройства. Временные метки, которые индексируют контент киноизображений, контент изображений устройства, могут сохраняться или передаваться с контентом киноизображений, контентом изображений устройства. Хотя отображаемые киноизображения подготавливаются посредством рендеринга на кинодисплее, соответствующие отображаемые изображения устройства передаются в потоковом режиме в носимые устройства (например, заранее и т.д.) и подготавливаются посредством рендеринга на дисплеях устройства синхронно с рендерингом отображаемых киноизображений на кинодисплее одновременно.

[000155] В некоторых вариантах осуществления, часть или весь контент киноизображений и контент изображений устройства может сохраняться локально вместо или в дополнение к передаче в потоковом режиме в беспроводном режиме или с помощью проводных соединений для передачи данных из приемного устройства контента изображений или модуля рендеринга изображений. Например, контент изображений устройства может выбираться из локальных жестких дисков (например, доступных из USB-соединений для передачи данных в индивидуальных посадочных местах зрителей и т.д.). Временные метки, сообщения проверки досягаемости и т.д. могут отправляться посредством модуля рендеринга киноизображений во все носимые устройства в трехмерном пространстве (126), чтобы идентифицировать то, какой соответствующий контент изображений устройства должен подготавливаться посредством рендеринга синхронно с рендерингом контента киноизображений, подготавливаемого посредством рендеринга на кинодисплее. Дополнительно, необязательно или альтернативно, водяные знаки, отпечатки пальцев, извлекаемые из рабочих алгоритмов на основе отпечатков пальцев на мультимедийном контенте, реперные метки и т.д. могут встраиваться, переноситься, отображаться, передаваться или отслеживаться для целей синхронизации рендеринга соответствующего контента изображений устройства с контентом киноизображений, вместо или в дополнение к временным меткам, сообщениям проверки досягаемости и т.д.

[000156] Таким образом, центральная система отслеживания, реализованная с модулем (122) отслеживания устройств и узлом (124) отслеживающих датчиков, может использоваться для того, чтобы обеспечивать относительную эффективность операции синхронизации потоковой передач и рендеринга контента киноизображений и контента изображений устройства в дополненной развлекательной системе, по сравнению с развлекательной системой с распределенным отслеживанием устройств, что с большой вероятностью должно приводить к относительно высоким затратам на изготовление устройства, относительно высоким затратам на техобслуживание устройств (например, относительно высоким затратам на мытье/очистку устройств в коммерческом окружении, которое совместно использует носимое устройство между различными последовательными зрителями и т.д.), относительно высоким затратам на связь, относительно высоким затратам на синхронизацию.

[000157] Носимое устройство (например, 102-1, 102-2 и т.д.) и т.д. может управляться, например, пользователем (например, 112-1, 112-2 и т.д.) с возможностью выполнять относительные движения относительно стационарных объектов или стационарных систем координат, таких как кинодисплей (104), стационарный в трехмерном пространстве (126). Эти относительные движения могут представляться посредством любой комбинации одного или более из следующего: линейные позиции/смещения, угловые позиции/смещения, линейные скорости/скорости, угловые скорости/скорости, линейные ускорения, вращательные ускорения и т.д.

[000158] Например, носимое устройство (например, 102-1, 102-2 и т.д.) может представлять собой трехмерный физический объект, который имеет конкретную пространственную позицию и конкретное пространственное направление в любой данный момент времени в физическом пространстве, таком как кинотеатр, домашнее развлекательное пространство, публичное место и т.д.

[000159] Конкретная пространственная позиция носимого устройства (например, 102-1, 102-2 и т.д.) может характеризоваться или измеряться посредством пространственных координат конкретной линейной позиции носимого устройства (например, 102-1, 102-2 и т.д.). Примеры такой конкретной линейной позиции могут представлять собой точку пространственной симметрии, точку геометрического центра и т.д. оправы очков, позицию, соответствующую средней точке между глазами зрителя, и т.д. Примерные пространственные координаты линейной позиции могут представлять собой пространственные координаты декартовой системы координат, системы полярных координат и т.п.

[000160] Конкретное пространственное направление носимого устройства (например, 102-1, 102-2 и т.д.) может характеризоваться или измеряться посредством пространственных координат угловой позиции конкретной трехмерной системы координат (например, первой стационарной по отношению к устройству декартовой системы координат первого носимого устройства (102-1), второй стационарной по отношению к устройству декартовой системы координат второго носимого устройства (102-2) и т.д.), жестко присоединенной или стационарной относительно носимого устройства (например, 102-1, 102-2 и т.д.) в отношении опорной трехмерной системы координат, стационарной в трехмерном пространстве (126). Опорная трехмерная система координат в трехмерном пространстве (126) может представлять собой опорную декартову систему координат, содержащую оси X, Y и Z (только оси X и Z показаны на фиг. 2C), с началом координат, расположенным в выбранной позиции p кинодисплея (104). Примерные стационарные по отношению к устройству трехмерные системы координат, жестко присоединенные или стационарные относительно носимого устройства (102) рендеринга изображений, могут представлять собой трехмерные декартовые системы координат с положительным направлением по оси Z, соответствующим фронтальному направлению просмотра зрителя, направлением по оси Х, параллельным межзрачковому расстоянию зрителя, и направлением по оси Y, перпендикулярным направлениям по оси X и Z. Примерные пространственные координаты угловой позиции могут представлять собой наклон в продольном направлении, наклон относительно вертикальной оси, крен и т.д.

[000161] Конкретная пространственная позиция и конкретное пространственное направление носимого устройства (например, 102-1, 102-2 и т.д.), в общем, могут характеризоваться посредством шести пространственных измерений, три из которых связаны с перемещениями в пространстве, и другие три из которых связаны с вращениями. В некоторых вариантах осуществления, шесть пространственных измерений, используемых для того, чтобы характеризовать конкретную пространственную позицию и конкретное пространственное направление носимого устройства (например, 102-1, 102-2 и т.д.), являются полностью независимыми относительно друг друга. В этих вариантах осуществления, носимое устройство (например, 102-1, 102-2 и т.д.) имеет шесть степеней свободы. Тем не менее, возможно то, что линейные или угловые позиции, соответствующие данной степени свободы, по-прежнему могут быть ограничены диапазоном.

[000162] Например, в кинотеатре, линейные позиции носимого устройства (например, 102-1, 102-2 и т.д.) вдоль направления по оси Х (например, боковые перемещения и т.д.) в опорной декартовой системе координат, стационарной для кинодисплея (104), могут быть ограничены диапазоном, соответствующим части ширины назначенного сиденья для зрителя (например, 112-1, 112-2 и т.д.). Линейные позиции носимого устройства (например, 102-1, 102-2 и т.д.) вдоль направления по оси Y (горизонтальные перемещения) в декартовой системе координат, стационарной для кинодисплея (104), могут быть ограничены диапазоном, соответствующим части головы зрителя. Линейные позиции носимого устройства (например, 102-1, 102-2 и т.д.) вдоль направления по оси Z (например, перемещения вдоль продольной оси и т.д.) в декартовой системе координат, стационарной для кинодисплея (104), могут быть ограничены диапазоном между спинкой сиденья зрителя (например, 112-1, 112-2 и т.д.) и спинкой сиденья непосредственно перед сиденьем зрителя (например, 112-1, 112-2 и т.д.).

[000163] Технология, как описано в данном документе, может использоваться для того, чтобы поддерживать просмотр всенаправленных изображений вплоть до 360 градусов (либо вплоть до полного телесного угла сферы в 4π). Например, носимое устройство, как описано в данном документе, может просматривать конкретные для направления отображаемые изображения устройства из любого угла обзора вплоть до 360 градусов (либо вплоть до полного телесного угла сферы в 4π), даже если кинодисплей, на котором подготавливаются посредством рендеринга отображаемые киноизображения, является фиксированным или стационарным в трехмерном пространстве. При просмотре в направлении от кинодисплея, зритель носимого устройства может просматривать только отображаемые изображения устройства, извлекаемые из однослойных изображений устройства, в одном или более слоев изображений устройства. Тем не менее, в некоторых рабочих сценариях, угловые позиции носимого устройства (например, 102-1, 102-2 и т.д.) для наклонов относительно вертикальной оси в отношении кинодисплея (104) могут быть ограничены первым диапазоном (например, +/-20 угловых градусов, +/-30 угловых градусов, вплоть до +/-180 угловых градусов и т.д.) фронтальных направлений просмотра. Угловые позиции носимого устройства (например, 102-1, 102-2 и т.д.) для кренов в отношении кинодисплея (104) могут быть ограничены вторым диапазоном (например, +/-20 угловых градусов, +/-30 угловых градусов, вплоть до +/-180 угловых градусов и т.д.) фронтальных направлений просмотра. Угловые позиции носимого устройства (например, 102-1, 102-2 и т.д.) для наклонов в продольном направлении в отношении кинодисплея (104) могут быть ограничены третьим диапазоном (например, +/-20 угловых градусов, +/-30 угловых градусов, вплоть до +/-180 угловых градусов и т.д.) фронтальных направлений просмотра. Эти диапазоны углов могут ограничиваться по-разному. Например, третий диапазон может задаваться относительно небольшим, поскольку движения с наклоном в продольном направлении имеют тенденцию формировать относительно серьезную тошноту и физиологический дискомфорт.

[000164] Если какой-либо из вышеуказанных позиционных или угловых диапазонов стягивается или ограничивается до одного значения, то степень свободы, соответствующая позиционному или угловому диапазону в одно значение, теряется или удаляется из этих шести степеней свободы. Носимое устройство (например, 102-1, 102-2 и т.д.) имеет нуль градусов свободы, когда носимое устройство (например, 102-1, 102-2 и т.д.) (например, логически, физически и т.д.) является фиксированным при перемещении в пространстве и при вращении относительно кинодисплея (104). Носимое устройство (например, 102-1, 102-2 и т.д.) имеет одну степень свободы, когда носимое устройство (например, 102-1, 102-2 и т.д.) является фиксированным при вращении, но ограничивается перемещением вдоль линии или одномерной кривой при перемещении в пространстве относительно кинодисплея (104). Аналогично, носимое устройство (например, 102-1, 102-2 и т.д.) имеет одну степень свободы, когда носимое устройство (например, 102-1, 102-2 и т.д.) является фиксированным при перемещении в пространстве, но ограничивается вращением в одном направлении вращения относительно кинодисплея (104).

[000165] В некоторых вариантах осуществления, модуль (122) отслеживания устройств, работающий в сочетании с узлом (124) отслеживающих датчиков, последний из которых развертывается в трехмерном пространстве (126), мониторит пространственные позиции и пространственные направления носимых устройств в трехмерном пространстве (126). В некоторых вариантах осуществления, носимое устройство (например, 102-1, 102-2 и т.д.) имеет источники света, съемно или неизменно присоединенные или иным образом установленные на носимом устройстве (например, 102-1, 102-2 и т.д.). Эти источники света могут испускать или отражать световые лучи, к примеру, световые лучи с длинами волн видимого света, световые лучи с длинами волн невидимого света, инфракрасный свет и т.д. Примеры источников света могут включать в себя, но не обязательно ограничены только, любое из следующего: светоизлучатели, светоизлучающие диоды (светодиоды), несветодиодные осветительные приборы, световые регенераторы, светоотражатели, светорассеивающие устройства, световозвращающие отражатели и т.д. В качестве примера, но не ограничения, источники света на носимом устройстве (например, 102-1, 102-2 и т.д.) испускают или отражают невидимый свет, к примеру, инфракрасный свет и т.д., для целей отслеживания устройств.

[000166] В некоторых вариантах осуществления, один или более датчиков изображений для отслеживания в узле (124) отслеживающих датчиков формируют изображения для отслеживания устройств, которые захватывают световые лучи из источников света, размещенных на носимых устройствах, включающих в себя, но не только, носимое устройство (например, 102-1, 102-2 и т.д.). Эти световые лучи могут испускаться, отражаться/перенаправляться/рассеиваться и т.д. относительно датчиков изображений для отслеживания в узле (124) отслеживающих датчиков. Эти световые лучи могут захватываться непрерывно с заданным временным расписанием и т.д. Например, изображения для отслеживания устройств могут приниматься с временным разрешением в миллисекунду или в часть миллисекунды, с временным разрешением в каждую сотую секунды, с временным разрешением в каждую десятую секунды и т.д.

[000167] В некоторых вариантах осуществления, модуль (122) отслеживания устройств отслеживает или определяет пространственные позиции и пространственные направления каждого из носимых устройств в данный момент времени (например, за временной интервал, за всю длительность трехмерного фильма и т.д.) на основе одного или более изображений для отслеживания устройств, захваченных в данный момент времени посредством датчиков (124) изображений для отслеживания, из световых лучей из источников света носимых устройств.

[000168] В некоторых вариантах осуществления, модуль (108) рендеринга изображений устройства принимает, из модуля (122) отслеживания устройств, пространственные позиции и пространственные направления (например, p1, a1, p2, a2 и т.д.) носимого устройства (например, 102-1, 102-2 и т.д.) во времени (например, за временной интервал, за всю длительность трехмерного фильма и т.д.). На основе пространственных позиций и пространственных направлений носимого устройства (например, 102-1, 102-2 и т.д.), модуль (108) рендеринга изображений устройства может определять пространственные взаимосвязи между носимым устройством (например, 102-1, 102-2 и т.д.) и кинодисплеем (104). В некотором варианте осуществления, эти пространственные взаимосвязи могут представляться посредством одного или более из следующего: линейные позиции/смещения, угловые позиции/смещения, линейные или угловые скорости, линейные или угловые скорости, линейные или угловые ускорения и т.д. носимого устройства (например, 102-1, 102-2 и т.д.) относительно кинодисплея (104) или опорной декартовой системы координат в трехмерном пространстве (126).

[000169] Например, на основе однослойных изображений устройства, извлекаемых из многовидового немногослойного изображения, модуль (108) рендеринга изображений устройства может определять одно или более трехмерных изображений устройства, содержащих одно или более изображений устройства для просмотра левым глазом и одно или более изображений устройства для просмотра правым глазом. Модуль (108) рендеринга изображений устройства или носимое устройство (например, 102-1, 102-2 и т.д.) может выполнять пространственное преобразование для одного или более изображений устройства для просмотра левым глазом и одного или более изображений устройства для просмотра правым глазом (в одном или более трехмерных изображений устройства), до их рендеринга, на основе пространственных взаимосвязей между носимым устройством (например, 102-1, 102-2 и т.д.) и кинодисплеем (104).

[000170] На основе изображений устройства для просмотра левым глазом и изображений устройства для просмотра правым глазом, преобразованных посредством пространственного преобразования, модуль (108) рендеринга изображений устройства может инструктировать носимому устройству (например, 102-1, 102-2 и т.д.) подготавливать посредством рендеринга эти изображения устройства для просмотра левым глазом и изображения устройства для просмотра правым глазом на одном или более дисплеев (например, 116 и т.д.) устройства. Модуль (108) рендеринга изображений устройства может передавать управляющую информацию, информацию состояния, позиционные данные, данные изображений, такие как изображения устройства, метаданные и т.д., с помощью носимых устройств (например, 102-1, 102-2 и т.д.) рендеринга изображений по одному или более соединений для передачи данных. Примерные соединения для передачи данных могут включать в себя, но не только, беспроводные соединения для передачи данных, проводные соединения для передачи данных, радиочастотные соединения для передачи данных, сотовые соединения для передачи данных, Wi-Fi-соединения для передачи данных, инфракрасные соединения для передачи данных, соединения данных по HDMI-кабелю, соединения данных по оптическому кабелю, соединения данных по высокоскоростному последовательному интерфейсу (HSSI), последовательному цифровому интерфейсу высокой четкости (HD-SDI), 12G-SDI, USB-кабелю и т.п. с сиденьем/подлокотником/полом и т.д.

[000171] Дополнительно, необязательно или альтернативно, некоторые или все операции обработки изображений, такие как определение вращения изображений, анализ совмещения изображений, обнаружения быстрого переключения сцены, преобразование между системами координат, временное демпфирование, управление отображением, преобразование контента, преобразование цветов, управление полем зрения и т.д., могут выполняться посредством приемного устройства (110) контента изображений.

[000172] В некоторых вариантах осуществления, вместо использования внешнего модуля отслеживания устройств, к примеру, 122, показанного на фиг. 2C, внутренний модуль отслеживания устройств может использоваться для того, чтобы отслеживать/мониторить пространственные позиции и/или пространственные направления носимого устройства (например, 102-1, 102-2 и т.д.); формировать позиционные и направленные данные носимого устройства (например, 102-1, 102-2 и т.д.) на основе пространственных позиций и/или пространственных направлений носимого устройства (например, 102-1, 102-2 и т.д.); и т.д.

[000173] В некоторых вариантах осуществления, модуль (108) рендеринга изображений устройства может работать или не может работать только с одним носимым устройством (например, 102-1 и т.д.). В качестве примера, но не ограничения, модуль (108) рендеринга изображений устройства, как проиллюстрировано на фиг. 2C, работает более чем с одним носимым устройством (например, 102-1 и 102-2 и т.д.) параллельно.

[000174] В некоторых вариантах осуществления, модуль (108) рендеринга изображений устройства принимает видеопотоки для носимых устройств (102-1 и 102-2); формирует одно или более отображаемых изображений из видеоданных в видеопотоках для каждого носимого устройства (102-1 или 102-2) в соответствии с позиционными и направленными данными каждого такого носимого устройства (102-1 или 102-2); инструктирует одному или более отображаемых изображений подготавливаться посредством рендеринга с соответствующим носимым устройством (102-1 или 102-2) для зрителя (112-1 или 112-2); и т.д.

6. Примерные последовательности операций обработки

[000175] Фиг. 4A иллюстрирует примерную последовательность операций обработки согласно примерному варианту осуществления настоящего изобретения. В некоторых примерных вариантах осуществления, одно или более вычислительных устройств или компонентов могут выполнять эту последовательность операций обработки. На этапе 402, кодер (например, 180 по фиг. 2A и т.д.) многослойных изображений осуществляет доступ к пространственной информации, которая описывает пространственные местоположения множества визуальных объектов в пространстве трехмерных изображений, как представлено в одном или более многовидовых немногослойных изображений. Каждое из одного или более многовидовых немногослойных изображений содержит множество одновидовых немногослойных изображений, соответствующих множеству направлений просмотра.

[000176] На этапе 404, на основе пространственной информации, которая описывает пространственные местоположения множества визуальных объектов в пространстве трехмерных изображений, как представлено в одном или более многовидовых немногослойных изображений, кодер (180) многослойных изображений формирует, из одного или более многовидовых немногослойных изображений, слой киноизображений, содержащий одно или более однослойных киноизображений, иллюстрирующих первый собственный поднабор из одного или более визуальных объектов во множестве визуальных объектов.

[000177] На этапе 406, на основе пространственной информации, которая описывает пространственные местоположения множества визуальных объектов в пространстве трехмерных изображений, как представлено в одном или более многовидовых немногослойных изображений, кодер (180) многослойных изображений формирует, из одного или более многовидовых немногослойных изображений, один или более слоев изображений устройства, каждый из которых содержит одно или более однослойных изображений устройства, иллюстрирующих один или более вторых собственных поднаборов одного или более визуальных объектов во множестве визуальных объектов.

[000178] На этапе 408, кодер (180) многослойных изображений отправляет многослойный многовидовой видеосигнал, содержащий одно или более однослойных киноизображений в слое киноизображений и одно или более однослойных изображений устройства в одном или более слоев изображений устройства, в одно или более нижележащих устройств для рендеринга.

[000179] В варианте осуществления, пространственная информация представляет одно или более из следующего: информация глубины, информация диспаратности, информация параллакса, информация трехмерной сетки, эпиполярная информация, информация тензорной карты и т.д.

[000180] В варианте осуществления, пространство трехмерных изображений представляет одно из следующего: одна или более сцен реального мира, одна или более сцен виртуального мира, комбинация одной или более сцен реального мира и одной или более сцен виртуального мира и т.д.

[000181] В варианте осуществления, множество визуальных объектов в пространстве трехмерных изображений, как представлено в одном или более многовидовых немногослойных изображений, разделяются на слой киноизображений и один или более слоев изображений устройства с использованием одной или более поверхностей разделения слоев. В варианте осуществления, по меньшей мере, одна из одной или более поверхностей разделения слоев совпадает с кинодисплеем, который должен использоваться для рендеринга отображаемых киноизображений, сформированных из однослойных киноизображений в слое киноизображений. В варианте осуществления, ни одна из одной или более поверхностей разделения слоев не совпадает с кинодисплеем, который должен использоваться для рендеринга отображаемых киноизображений, сформированных из однослойных киноизображений в слое киноизображений.

[000182] В варианте осуществления, по меньшей мере, одно из однослойных киноизображений в слое киноизображений и однослойных изображений устройства в одном или более слоев изображений устройства формируется с использованием трехмерного пиксельного распределения, сформированного с тензорной картой.

[000183] В варианте осуществления, множество визуальных объектов в пространстве трехмерных изображений, как представлено в одном или более многовидовых немногослойных изображений, разделяются на слой киноизображений и один или более слоев изображений устройства на основе одного или более из следующего: пространственные местоположения дисплеев в трехмерном опорном пространстве; пространственные местоположения зрителя в опорном пространственном местоположении в трехмерном опорном пространстве; пространственные позиции визуальных объектов, проецируемые в трехмерное опорное пространство относительно пространственных местоположений дисплеев или зрителя; пространственные направления визуальных объектов в трехмерном опорном пространстве относительно зрителя (112-0); относительная художественная важность визуальных объектов; визуальные свойства визуальных объектов; характеристики движения визуальных объектов; предыдущие, текущие или будущие пространственные местоположения визуальных объектов; предыдущие, текущие или будущие пространственные направления визуальных объектов; и т.д.

[000184] Фиг. 4B иллюстрирует примерную последовательность операций обработки согласно примерному варианту осуществления настоящего изобретения. В некоторых примерных вариантах осуществления, одно или более вычислительных устройств или компонентов могут выполнять эту последовательность операций обработки. На этапе 452, дополненная развлекательная система (например, как проиллюстрировано на фиг. 2A, фиг. 2B или фиг. 2C и т.д.) принимает многослойный многовидовой видеосигнал, содержащий одно или более однослойных киноизображений в слое киноизображений и одно или более однослойных изображений устройства в одном или более слоев изображений устройства. Однослойные киноизображения в слое киноизображений и однослойные изображения устройства в одном или более слоев изображений устройства заранее извлечены из одного или более многовидовых немногослойных изображений.

[000185] На этапе 454, дополненная развлекательная система извлекает, из слоя киноизображений многослойного многовидового видеосигнала, одно или более однослойных киноизображений, причем одно или более однослойных киноизображений иллюстрируют первый собственный поднабор из одного или более визуальных объектов во множестве визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений.

[000186] На этапе 456, дополненная развлекательная система извлекает, из одного или более слоев изображений устройства многослойного многовидового видеосигнала, одно или более однослойных изображений устройства, причем одно или более изображений устройства иллюстрируют один или более вторых собственных поднаборов одного или более визуальных объектов во множестве визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений.

[000187] На этапе 458, дополненная развлекательная система инструктирует первому собственному поднабору визуальных объектов, как проиллюстрировано в одном или более однослойных киноизображений, подготавливаться посредством рендеринга для зрителя на кинодисплее в трехмерном пространстве.

[000188] На этапе 460, дополненная развлекательная система инструктирует одному или более вторых собственных поднаборов визуальных объектов, как проиллюстрировано в одном или более однослойных изображений устройства, подготавливаться посредством рендеринга параллельно для зрителя на дисплее устройства в трехмерном пространстве.

[000189] В варианте осуществления, первый собственный поднабор визуальных объектов, подготовленных посредством рендеринга на кинодисплее, и один или более вторых собственных поднаборов визуальных объектов, подготовленных посредством рендеринга на дисплее устройства, совместно иллюстрируют множество визуальных объектов, расположенных в идентичных пространственных местоположениях в пространстве трехмерных изображений, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений. В варианте осуществления, пространственная информация, описывающая пространственные местоположения в пространстве трехмерных изображений, в котором расположено множество визуальных объектов, заранее использована для того, чтобы сегментировать множество визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений, на слой киноизображений и один или более слоев изображений устройства.

[000190] В варианте осуществления, дисплей устройства является пространственно перемещаемым с одной или более степеней свободы относительно кинодисплея.

[000191] В варианте осуществления, дисплей устройства используется посредством носимого устройства, чтобы подготавливать посредством рендеринга изображения; дисплей устройства является пространственно фиксированным относительно носимого устройства.

[000192] В варианте осуществления, кинодисплей представляет собой стационарный дисплей; дисплей устройства представляет наголовный дисплей носимого устройства, используемого зрителем.

[000193] В варианте осуществления, кинодисплей в трехмерном пространстве используется для того, чтобы задавать поверхность разделения слоев в пространстве трехмерных изображений; множество визуальных объектов сегментируются на первый собственный поднабор визуальных объектов и один или более вторых собственных поднаборов визуальных объектов, по меньшей мере, частично на основе пространственных взаимосвязей множества визуальных объектов относительно поверхности разделения слоев.

[000194] В варианте осуществления, один или более вторых собственных поднаборов визуальных объектов выбираются из множества визуальных объектов на основе пространственных расстояний до поверхности разделения слоев.

[000195] В варианте осуществления, по меньшей мере, один визуальный объект из множества визуальных объектов идет по поверхности разделения слоев; первый собственный поднабор визуальных объектов включает в себя часть, по меньшей мере, одного визуального объекта; один или более вторых собственных поднаборов визуальных объектов включают в себя оставшуюся часть, по меньшей мере, одного визуального объекта.

[000196] В варианте осуществления, кинодисплей представляет пространственную поверхность с нулевым параллаксом в трехмерном пространстве; визуальный объект, проиллюстрированный посредством отображаемого киноизображения как находящийся позади кинодисплея, имеет положительные параллаксы; визуальный объект, проиллюстрированный посредством отображаемого киноизображения как находящийся перед кинодисплеем, имеет отрицательные параллаксы; множество визуальных объектов сегментируются на первый собственный поднабор визуальных объектов и один или более вторых собственных поднаборов визуальных объектов на основе отдельных параллаксов отдельных визуальных объектов во множестве визуальных объектов.

[000197] В варианте осуществления, все визуальные объекты в одном или более вторых собственных поднаборов визуальных объектов должны иметь отрицательные параллаксы, если один или более вторых собственных поднаборов визуальных объектов должны подготавливаться посредством рендеринга посредством отображаемых киноизображений, подготовленных посредством рендеринга на кинодисплее.

[000198] В варианте осуществления, по меньшей мере, один визуальный объект в одном или более вторых собственных поднаборов визуальных объектов должен иметь положительный параллакс, если один или более вторых собственных поднаборов визуальных объектов должны подготавливаться посредством рендеринга посредством отображаемых киноизображений, подготовленных посредством рендеринга на кинодисплее.

[000199] В варианте осуществления, дополненная развлекательная система дополнительно выполнена с возможностью выполнять: инструктирование двум различным собственным поднаборам визуальных объектов в одном или более вторых собственных поднаборов визуальных объектов, как проиллюстрировано в одном или более однослойных изображений устройства, подготавливаться посредством рендеринга на дисплее устройства в двух различных плоскостях изображений с двумя различными расстояниями до зрителя.

[000200] В варианте осуществления, дисплей устройства подготавливает посредством рендеринга отображаемые изображения устройства в плоскости изображений с расстоянием, которое является настраиваемым на основе углов вергентности зрителя.

[000201] В варианте осуществления, дисплей устройства подготавливает посредством рендеринга отображаемые изображения устройства в плоскости изображений с расстоянием, которое является фиксированным относительно зрителя.

[000202] В варианте осуществления, дополненная развлекательная система дополнительно выполнена с возможностью выполнять: адаптацию одного или более однослойных изображений устройства к отображаемым изображениям устройства с использованием пространственных преобразований на основе одного или более из следующего: конкретные пространственные позиции или конкретные пространственные направления, носимого устройства, которое включает в себя дисплей устройства.

[000203] В варианте осуществления, пространственные преобразования восстанавливают тензорную модель, которая заранее использована для того, чтобы формировать слой киноизображений и один или более слоев изображений устройства из одного или более многовидовых немногослойных изображений.

[000204] В варианте осуществления, отображаемые киноизображения, подготовленные посредством рендеринга на кинодисплее, представляют одно из следующего: двумерные изображения или трехмерные изображения.

[000205] В варианте осуществления, носимое устройство, которое включает в себя дисплей устройства, находится в числе носимых устройств в трехмерном пространстве, которые автоматически регистрируются в мультимедийной системе для приема контента изображений устройства, который должен параллельно подготавливаться посредством рендеринга по мере того, как контент киноизображений подготавливается посредством рендеринга на кинодисплее. В варианте осуществления, носимые устройства автоматически регистрируются в мультимедийной системе на основе одного или более из следующего: конкретные посадочные позиции на основе конкретных выданных билетов для зрителей носимых устройств, реперные маркеры, встраиваемые в контент киноизображений или в окружающие пространственные области на кинодисплее, световые лучи, кодированные с помощью идентификационной информации устройства, радиочастотное (RF) обнаружение местоположения, конкретные зоны области аудитории в трехмерном пространстве и т.д.

[000206] В варианте осуществления, носимое устройство, которое включает в себя дисплей устройства, находится в числе носимых устройств в трехмерном пространстве, которое разделено на множество зон в области аудитории в трехмерном пространстве; первые носимые устройства в первой зоне во множестве зон принимают контент изображений устройства из первого сервера контента изображений устройства (например, первого модуля рендеринга изображений устройства и т.д.); вторые носимые устройства во второй зоне во множестве зон принимают контент изображений устройства из второго сервера контента изображений устройства (например, второго модуля рендеринга изображений устройства и т.д.).

[000207] В варианте осуществления, дополненная развлекательная система дополнительно выполнена с возможностью выполнять: отслеживание носимых устройств с помощью узлов датчиков устройств, которые устанавливаются в одном или более пространственных местоположений установки в трехмерном месте. В варианте осуществления, по меньшей мере, один из узлов датчиков устройств находится в одном из следующего: потолок, стена, пол, пространственные области около кинодисплея, пространственные области на большом расстоянии от кинодисплея, посадочные места, спинки сидений и т.д. в трехмерном месте.

[000208] В различных примерных вариантах осуществления, оборудование, система, оборудование или одно или более других вычислительных устройств осуществляют любые или часть вышеприведенных способов, как описано выше. В варианте осуществления, энергонезависимый машиночитаемый носитель данных сохраняет программные инструкции, которые, при выполнении посредством одного или более процессоров, инструктируют осуществление способа, как описано в данном документе.

[000209] Следует отметить, что, хотя отдельные варианты осуществления пояснены в данном документе, любая комбинация вариантов осуществления и/или частичных вариантов осуществления, поясненных в данном документе, может комбинироваться, чтобы формировать дополнительные варианты осуществления.

7. Механизмы реализации: обзор аппаратных средств

[000210] Согласно одному варианту осуществления, технологии, описанные в данном документе, реализуются посредством одного или более вычислительных устройств специального назначения. Вычислительные устройства специального назначения могут быть аппаратно реализованными с возможностью выполнять технологии либо могут включать в себя цифровые электронные устройства, такие как одна или более специализированных интегральных схем (ASIC) или программируемых пользователем вентильных матриц (FPGA), которые постоянно программируются с возможностью выполнять технологии, либо могут включать в себя один или более аппаратных процессоров общего назначения, программируемых с возможностью выполнять технологии, в соответствии с программными инструкциями в микропрограммном обеспечении, запоминающее устройство, другое устройство хранения данных либо комбинацию означенного. Такие вычислительные устройства специального назначения также могут комбинировать индивидуально настраиваемую аппаратно-реализованную логику, ASIC или FPGA с индивидуальным заказным программированием, чтобы выполнять технологии. Вычислительные устройства специального назначения могут представлять собой настольные компьютерные системы, портативные компьютерные системы, карманные устройства, сетевые устройства или любое другое устройство, которое включает аппаратно-реализованную и/или программную логику, чтобы реализовывать технологии.

[000211] Например, фиг. 5 является блок-схемой, которая иллюстрирует компьютерную систему 500, в которой может реализовываться примерный вариант осуществления изобретения. Компьютерная система 500 включает в себя шину 502 или другой механизм связи для передачи информации, и процессор 504, соединенный с шиной 502, для обработки информации. Аппаратный процессор 504, например, может представлять собой микропроцессор общего назначения.

[000212] Компьютерная система 500 также включает в себя основное запоминающее устройство 506, такое как оперативное запоминающее устройство (RAM) или другое устройство динамического хранения данных, соединенное с шиной 502 для сохранения информации и инструкций, которые должны выполняться посредством процессора 504. Основное запоминающее устройство 506 также может использоваться для сохранения временных переменных или другой промежуточной информации во время выполнения инструкций, которые должны выполняться посредством процессора 504. Такие инструкции, когда сохраняются на энергонезависимых носителях данных, доступных для процессора 504, превращают компьютерную систему 500 в машину специального назначения, которая индивидуально настраивается с возможностью выполнять операции, указываемые в инструкциях.

[000213] Компьютерная система 500 дополнительно включает в себя постоянное запоминающее устройство 508 (ROM) или другое устройство статического хранения данных, соединенное с шиной 502 для сохранения статической информации и инструкций для процессора 504.

[000214] Устройство 510 хранения данных, такое как магнитный диск или оптический диск, полупроводниковое RAM, предоставляется и соединяется с шиной 502 для сохранения информации и инструкций.

[000215] Компьютерная система 500 может соединяться через шину 502 с дисплеем 512, таким как жидкокристаллический дисплей, для отображения информации пользователю компьютера. Устройство 514 ввода, включающее в себя буквенно-цифровые и другие клавиши, соединяется с шиной 502 для передачи информации и выборов команд в процессор 504. Другой тип устройства пользовательского ввода представляет собой управление 516 курсором, такое как мышь, шаровой манипулятор или клавиши управления курсором, для передачи информации направления и выборов команд в процессор 504 и для управления перемещением курсора на дисплее 512. Это устройство ввода типично имеет две степени свободы на двух осях, на первой оси (например, X) и на второй оси (например, Y), что обеспечивает возможность устройству указывать позиции в плоскости.

[000216] Компьютерная система 500 может реализовывать технологии, описанные в данном документе, с использованием настраиваемой аппаратно-реализованной логики, одной или более ASIC или FPGA, микропрограммного обеспечения и/или программной логики, которая в комбинации с компьютерной системой инструктирует или программирует компьютерную систему 500 таким образом, что она представляет собой машину специального назначения. Согласно одному варианту осуществления, технологии в данном документе выполняются посредством компьютерной системы 500 в ответ на выполнение, посредством процессора 504, одной или более последовательностей из одной или более инструкций, содержащихся в основном запоминающем устройстве 506. Такие инструкции могут считываться в основное запоминающее устройство 506 из другого носителя данных, к примеру, из устройства 510 хранения данных. Выполнение последовательностей инструкций, содержащихся в основном запоминающем устройстве 506, инструктирует процессору 504 выполнять этапы процесса, описанные в данном документе. В альтернативных вариантах осуществления, аппаратно-реализованная схема может использоваться вместо или в комбинации с программными инструкциями.

[000217] Термин "носители данных" при использовании в данном документе означает любые энергонезависимые носители, которые сохраняют данные и/или инструкции, которые инструктируют машине работать конкретным способом. Такие носители данных могут содержать энергонезависимые носители и/или энергозависимые носители. Энергонезависимые носители включают в себя, например, оптические или магнитные диски, такие как устройство 510 хранения данных. Энергозависимые носители включают в себя динамическое запоминающее устройство, такое как основное запоминающее устройство 506. Общие формы носителей данных включают в себя, например, гибкий диск, дискету, жесткий диск, полупроводниковый накопитель, магнитную ленту или любой другой магнитный носитель данных, CD-ROM, любой другой оптический носитель данных, любой физический носитель с шаблонами отверстий, RAM, PROM и EPROM, флэш-EPROM, NVRAM, любую другую микросхему или картридж запоминающего устройства.

[000218] Носители данных отличаются от передающих сред, но могут использоваться в сочетании с передающими средами. Передающие среды участвуют в передаче информации между носителями данных. Например, передающие среды включают в себя коаксиальные кабели, медный провод и оптоволокно, включающие в себя провода, которые содержат шину 502. Передающие среды также могут принимать форму акустических или световых волн, таких как волны, сформированные во время радиоволнового и инфракрасного обмена данными.

[000219] Различные формы мультимедиа могут быть предусмотрены в переносе одной или более последовательностей из одной или более инструкций в процессор 504 для выполнения. Например, инструкции могут первоначально переноситься на магнитном диске или на полупроводниковом накопителе удаленного компьютера. Удаленный компьютер может загружать инструкции в свое динамическое запоминающее устройство и отправлять инструкции по телефонной линии с использованием модема. Модем, локальный для компьютерной системы 500, может принимать данные по телефонной линии и использовать инфракрасное передающее устройство для того, чтобы преобразовывать данные в инфракрасный сигнал. Инфракрасный детектор может принимать данные, переносимые в инфракрасном сигнале, и соответствующая схема может размещать данные на шине 502. Шина 502 переносит данные в основное запоминающее устройство 506, из которого процессор 504 извлекает и выполняет инструкции. Инструкции, принимаемы посредством основного запоминающего устройства 506, могут необязательно сохраняться на устройстве 510 хранения данных до или после выполнения посредством процессора 504.

[000220] Компьютерная система 500 также включает в себя интерфейс 518 связи, соединенный с шиной 502. Интерфейс 518 связи предоставляет двунаправленное соединение для обмена данными с сетевой линией 520 связи, которая соединяется с локальной сетью 522. Например, интерфейс 518 связи может представлять собой карту по стандарту цифровой сети с интегрированными услугами (ISDN), кабельный модем, спутниковый модем либо модем, который предоставляет соединение для передачи данных с соответствующим типом телефонной линии. В качестве другого примера, интерфейс 518 связи может представлять собой карту локальной вычислительной сети (LAN), которая предоставляет соединение для передачи данных с совместимой LAN. Также могут реализовываться линии беспроводной связи. В любой такой реализации, интерфейс 518 связи отправляет и принимает электрические, электромагнитные или оптические сигналы, которые переносят потоки цифровых данных, представляющие различные типы информации.

[000221] Сетевая линия 520 связи типично предоставляет обмен данными через одну или более сетей с другими устройствами данных. Например, сетевая линия 520 связи может предоставлять соединение через локальную сеть 522 с хост-компьютером 524 или с оборудованием передачи данных, управляемым посредством поставщика 526 Интернет-услуг (ISP). ISP 526 в свою очередь предоставляет услуги обмена данными через всемирную сеть передачи пакетных данных, теперь обычно называемую в качестве "Интернета" 528. Локальная сеть 522 и Интернет 528 используют электрические, электромагнитные или оптические сигналы, которые переносят потоки цифровых данных. Сигналы через различные сети и сигналы в сетевой линии 520 связи и через интерфейс 518 связи, которые переносят цифровые данные в/из компьютерной системы 500, представляют собой примерные формы передающих сред.

[000222] Компьютерная система 500 может отправлять сообщения и принимать данные, включающие в себя программный код, через сеть(и), сетевую линию 520 связи и интерфейс 518 связи. В Интернет-примере, сервер 530 может передавать запрашиваемый код для прикладной программы через Интернет 528, ISP 526, локальную сеть 522 и интерфейс 518 связи.

[000223] Принимаемый код может выполняться посредством процессора 504 по мере того, как он принимается и/или сохраняется в устройстве 510 хранения данных или другом энергонезависимом устройстве хранения данных для последующего выполнения.

8. Эквиваленты, дополнения, альтернативы, а также разное

[000224] В вышеприведенном описании изобретения, примерные варианты осуществления изобретения описаны со ссылкой на множество конкретных подробностей, которые могут варьироваться в зависимости от реализации. Таким образом, единственным и исключительным индикатором того, что является изобретением и подразумевается заявителями под изобретением, является формула изобретения, которая вытекает из данной заявки в конкретной форме, в которой данная формула изобретения выдается, в том числе все последующие корректировки. Все определения, явно изложенные в данном документе для терминов, содержащихся в данной формуле изобретения, должны диктовать смысл этих терминов при использовании в формуле изобретения. Следовательно, ограничения, элементы, свойства, признаки, преимущества или атрибуты, которые не изложены явно в формуле изобретения, не должны ограничивать объем данной формулы изобретения каким-либо образом. Следовательно, подробное описание и чертежи должны рассматриваться в иллюстративном, а не в ограничительном смысле.

Изобретение относится к средствам для рендеринга визуальных объектов. Технический результат заключается в повышении эффективности рендеринга визуальных объектов. Принимают многослойный многовидовой видеосигнал, содержащий одно или более однослойных киноизображений в слое киноизображений и одно или более однослойных изображений, предназначенных для устройства, причем однослойные киноизображения ранее извлечены из одного или более многовидовых немногослойных изображений. Извлекают из слоя киноизображений многослойного многовидового видеосигнала одно или более однослойных киноизображений, причем одно или более однослойных киноизображений иллюстрируют первые визуальные объекты во множестве визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений. Обеспечивают выполнение рендеринга первых визуальных объектов, как проиллюстрировано в одном или более однослойных киноизображениях, для зрителя на кинодисплее в трехмерном пространстве. 20 з.п. ф-лы, 16 ил.

1. Способ рендеринга визуальных объектов, содержащий этапы, на которых:

принимают многослойный многовидовой видеосигнал, содержащий одно или более однослойных киноизображений в слое киноизображений и одно или более однослойных изображений, предназначенных для устройства, в одном или более слоях изображений, предназначенных для устройства, причем однослойные киноизображения в слое киноизображений и однослойные изображения, предназначенные для устройства, в одном или более слоях изображений, предназначенных для устройства, ранее извлечены из одного или более многовидовых немногослойных изображений;

извлекают из слоя киноизображений многослойного многовидового видеосигнала одно или более однослойных киноизображений, причем одно или более однослойных киноизображений иллюстрируют первые визуальные объекты во множестве визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений;

извлекают из одного или более слоев изображений, предназначенных для устройства, многослойного многовидового видеосигнала одно или более однослойных изображений, предназначенных для устройства, причем одно или более изображений, предназначенных для устройства, иллюстрируют один или более вторых визуальных объектов во множестве визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений;

обеспечивают выполнение рендеринга первых визуальных объектов, как проиллюстрировано в одном или более однослойных киноизображениях, для зрителя на кинодисплее в трехмерном пространстве;

обеспечивают параллельное выполнение рендеринга одного или более вторых визуальных объектов, как проиллюстрировано в одном или более однослойных изображениях, предназначенных для устройства, для зрителя на дисплее устройства в трехмерном пространстве;

при этом пространственная информация, описывающая пространственные местоположения в пространстве трехмерных изображений, в котором расположено множество визуальных объектов, ранее использовалась для сегментирования множества визуальных объектов, как первоначально проиллюстрировано посредством одного или более многовидовых немногослойных изображений, на слой киноизображений и один или более слоев изображений, предназначенных для устройства.

2. Способ по п. 1, в котором дисплей устройства является пространственно перемещаемым с одной или более степенями свободы относительно кинодисплея.

3. Способ по п. 1, в котором дисплей устройства используется носимым устройством, чтобы выполнять рендеринг изображений; при этом дисплей устройства является пространственно фиксированным относительно носимого устройства.

4. Способ по п. 1, в котором кинодисплей представляет собой стационарный дисплей, при этом дисплей устройства представляет наголовный дисплей носимого устройства, используемого зрителем.

5. Способ по п. 1, в котором кинодисплей в трехмерном пространстве используется для того, чтобы задавать поверхность разделения слоев в пространстве трехмерных изображений; при этом множество визуальных объектов сегментируются на первые визуальные объекты и один или более вторых визуальных объектов, по меньшей мере, отчасти на основе пространственных взаимосвязей множества визуальных объектов относительно поверхности разделения слоев.

6. Способ по п. 5, в котором один или более вторых визуальных объектов выбираются из множества визуальных объектов на основе пространственных расстояний до поверхности разделения слоев.

7. Способ по п. 5, в котором по меньшей мере один визуальный объект из множества визуальных объектов идет по поверхности разделения слоев; причем первые визуальные объекты включают в себя часть этого по меньшей мере одного визуального объекта; при этом один или более вторых визуальных объектов включают в себя оставшуюся часть данного по меньшей мере одного визуального объекта.

8. Способ по п. 1, в котором кинодисплей представляет пространственную поверхность с нулевым параллаксом в трехмерном пространстве; при этом визуальный объект, проиллюстрированный посредством отображаемого киноизображения как находящийся позади кинодисплея, имеет положительные параллаксы; причем визуальный объект, проиллюстрированный посредством отображаемого киноизображения как находящийся перед кинодисплеем, имеет отрицательные параллаксы; при этом множество визуальных объектов сегментируются на первые визуальные объекты и один или более вторых визуальных объектов на основе отдельных параллаксов отдельных визуальных объектов во множестве визуальных объектов.

9. Способ по п. 8, в котором все визуальные объекты в одном или более вторых визуальных объектах должны иметь отрицательные параллаксы, если рендеринг одного или более вторых визуальных объектов должен был выполняться посредством отображаемых киноизображений, рендеринг которых осуществлялся на кинодисплее.

10. Способ по п. 8, в котором по меньшей мере один визуальный объект в одном или более вторых визуальных объектах должен иметь положительный параллакс, если рендеринг одного или более вторых визуальных объектов выполнялся посредством отображаемых киноизображений, рендеринг которых осуществлялся на кинодисплее.

11. Способ по п. 1, дополнительно содержащий этап, на котором: обеспечивают выполнение рендеринга двух разных поднаборов визуальных объектов в одном или более вторых визуальных объектах, как проиллюстрировано в одном или более однослойных изображениях, предназначенных для устройства, на дисплее устройства в двух разных плоскостях изображений с двумя разными расстояниями до зрителя.

12. Способ по п. 1, в котором дисплей устройства выполняет рендеринг отображаемых изображений, предназначенных для устройства, в плоскости изображений с расстоянием, которое является настраиваемым на основе углов вергентности зрителя.

13. Способ по п. 1, в котором дисплей устройства выполняет рендеринг отображаемых изображений, предназначенных для устройства, в плоскости изображений с расстоянием, которое является фиксированным относительно зрителя.

14. Способ по п. 1, дополнительно содержащий этап, на котором адаптируют одно или более однослойных изображений, предназначенных для устройства, к отображаемым изображениям, предназначенным для устройства, с использованием пространственных преобразований на основе одного или более из конкретных пространственных позиций и конкретных пространственных направлений носимого устройства, которое включает в себя дисплей устройства.

15. Способ по п. 14, в котором пространственные преобразования восстанавливают тензорную модель, которая ранее использовалась для формирования слоя киноизображений и одного или более слоев изображений, предназначенных для устройства, из одного или более многовидовых немногослойных изображений.

16. Способ по п. 1, в котором отображаемые киноизображения, рендеринг которых осуществляется на кинодисплее, представляют одно из следующего: двумерные изображения и трехмерные изображения.

17. Способ по п. 1, в котором носимое устройство, которое включает в себя дисплей устройства, находится в числе множества носимых устройств в трехмерном пространстве, которые автоматически регистрируются в мультимедийной системе для приема контента изображений, предназначенных для устройства, рендеринг которых должен параллельно выполняться по мере того, как рендеринг контента киноизображений выполняется на кинодисплее.

18. Способ по п. 17, в котором носимые устройства автоматически регистрируются в мультимедийной системе на основе одного или более из следующего: конкретные посадочные позиции на основе конкретных выданных билетов для зрителей носимых устройств, реперные маркеры, встраиваемые в контент киноизображений или в окружающие пространственные области на кинодисплее, световые лучи, кодированные с идентификационной информацией устройства, радиочастотное (RF) обнаружение местоположения и конкретные зоны области аудитории в трехмерном пространстве.

19. Способ по п. 1, в котором носимое устройство, которое включает в себя дисплей устройства, находится в числе множества носимых устройств в трехмерном пространстве, которое разделено на множество зон в области аудитории в трехмерном пространстве; при этом первые носимые устройства в первой зоне во множестве зон принимают контент изображений, предназначенных для устройства, из первого сервера контента изображений, предназначенных для устройства; при этом вторые носимые устройства во второй зоне во множестве зон принимают контент изображений, предназначенных для устройства, из второго сервера контента изображений, предназначенных для устройства.

20. Способ по п. 1, дополнительно содержащий этап, на котором отслеживают носимые устройства с помощью узлов датчиков устройств, которые устанавливаются в одном или более пространственных местоположениях установки в трехмерном пространстве.

21. Способ по п. 20, в котором по меньшей мере один из узлов датчиков устройств находится в одном из следующего: потолок, стена, пол, пространственные области около кинодисплея, пространственные области вдали от кинодисплея, посадочные места и спинки сидений в трехмерном пространстве.