Предпосылки создания изобретения

Стерео-просмотр цифровых неподвижных и движущиеся изображений стал общепринятым, и оборудование для просмотра 3D (трехмерных) кинофильмов - более широко доступным. В кинотеатрах предлагают трехмерные кинофильмы, для просмотра которых необходимы специальные очки, которые обеспечивают просмотр разных изображений левым и правым глазами для каждого кадра кинофильма. Тот же самый подход применен в бытовых приложениях с использованием 3D-проигрывателей и телевизоров. На практике кинофильм состоит из двух представлений одной и той же сцены: одно для левого глаза и одно для правого глаза. Эти представления создают путем съемки кинофильма специальной стерео-камерой, которая непосредственно создает контент, предназначенный для стерео-просмотра. Когда эти представления подаются в два глаза, система восприятия изображений у человека создает трехмерное представление сцены. Этой технологии присущ недостаток, заключающийся в том, что область просмотра (киноэкран или телевизор) занимает лишь часть поля зрения и, таким образом, 3D-восприятие ограничено.

Для более реалистичного восприятия были созданы устройства, занимающие большую область полного поля зрения. Доступны специальные очки для стерео-просмотра, которые надеваются так, что покрывают глаза и выделяют изображения для левого и правого глаз с помощью системы, состоящей из малого экрана и объективов. Преимущество такой технологии заключается в том, что она может использоваться в небольшом пространстве и даже в движении, по сравнению с довольно большими телевизорами, обычно используемыми для 3D-просмотра. Что касается игр, имеются игры, которые совместимы с такими стерео-очками и в которых можно создавать два изображения, необходимых для стерео-просмотра искусственного мира игры и, таким образом, для создания 3D представления внутренней модели игровой сцены. В режиме реального времени по этой модели создаются различные изображения, и поэтому этот подход требует вычислительной мощности, в особенности если модель игровой сцены сложна, очень детализирована и содержит много объектов.

Поэтому имеется потребность в решениях, которые обеспечат стерео-просмотр, то есть, просмотр трехмерного изображения.

Сущность изобретения

Предлагается усовершенствованный способ и техническое оборудование для осуществления этого способа, посредством которого решаются вышеописанные проблемы. Различные аспекты настоящего изобретения содержат способ, съемочное устройство, сервер, рендерер клиента и считываемый компьютером носитель, содержащий компьютерную программу, которые характеризуются признаками, изложенными в независимых пунктах формулы изобретения. Различные варианты выполнения настоящего изобретения раскрыты в зависимых пунктах формулы изобретения.

Изобретение относится к созданию и просмотру стерео-изображений, например видео-стерео-изображений, также называемых 3D-видео. По меньшей мере три фотокамеры-источника с накладывающимися полями зрения используются для захвата сцены так, чтобы область сцены была охвачена по меньшей мере тремя камерами. Для зрителя из множества камер выбирают пару камер так, чтобы образовать такую пару стерео-камер, которая наилучшим образом соответствует местоположению глаз пользователя, если бы они были расположены в местоположении камер-источников. Таким образом, пару камер выбирают так, чтобы диспарантность, создаваемая камерами-источниками, напоминала диспарантность, которую воспринимали бы глаза пользователя, если бы находились в этом месте. Если пользователь наклоняет голову, или ориентация меняется другим способом, можно сформировать новую пару, например переключаясь на другую камеру. В этом случае зрительское устройство формирует изображения видео-кадров для левого и правого глаз, выбирая наилучшие источники для каждой области каждого изображения для формирования реалистичной стерео-диспарантности.

Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, и рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложен способ, включающий определение ориентаций головы пользователя для формирования стерео-видео-последовательности сцены, выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы, и рендеринг указанной стерео-видео-последовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стерео-кадре указанной видеопоследовательности.

Предложен способ, включающий кодирование множества видеосигналов источников для стерео-просмотра, при этом указанные видеосигналы источников содержат видео данные из множества камер-источников и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены, передачу указанного множества видеосигналов источников в устройство стерео-просмотра для просмотра, при этом выполняют по меньшей мере одно из указанного кодирования и передачи так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.

Предложено устройство для создания данных изображения для стереовидео-просмотра, содержащее по меньшей мере три камеры, расположенные регулярно или нерегулярно друг относительно друга так, что любая пара указанных камер из по меньшей мере трех камер имеет диспарантность для создания стереоизображения, имеющего диспарантность, при этом указанные по меньшей мере три камеры имеют такие перекрывающиеся поля зрения, что определяют область перекрытия, для которой каждая часть захвачена указанными по меньшей мере тремя камерами. Устройство может быть таким, чтобы указанная любая пара камер из указанных по меньшей мере трех камер имела параллакс, соответствующий параллаксу человеческих глаз, для создания стерео-изображения. Устройство может быть таким, что эти по меньшей мере три камеры содержат восемь камер с большим полем зрения, помещенных по существу в углы виртуального куба, при этом каждая имеет направление оптической оси по существу от центральной точки виртуального куба к углу регулярным образом, при этом поле зрения каждой из указанных камер с широким полем зрения составляет по меньшей мере 180 градусов, так чтобы каждая часть целой сферы обзора была покрыта по меньшей мере четырьмя камерами.

Предложено устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, и рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложено устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором, заставляют устройство по меньшей мере выполнять следующее: определение ориентаций головы пользователя для формирования стерео-видео-последовательности сцены; выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и рендеринг указанной стерео-видео-последовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стерео-кадре указанной видеопоследовательности.

Предложено устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором, заставляют устройство выполнять по меньшей мере следующее: кодирование множества видеосигналов источников для стерео-просмотра, при этом указанные видеосигналы источников содержат видео данные из множества камер-источников и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены; передачу указанного множества видеосигналов источника в устройство стерео-просмотра для просмотра; при этом выполняют по меньшей мере одно из указанного кодирования и передачи так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.

Предложена система, содержащая по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют систему выполнять по меньшей мере следующее: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложен компьютерный программный продукт, реализованный на считываемом компьютером носителе и содержащий компьютерный программный код, который при выполнении его по меньшей мере одним процессором, заставляет устройство или систему выполнять следующее: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложено устройство, содержащее средство для определения ориентации головы пользователя с получением первой ориентации головы, средство для выбора первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, средство для рендеринга первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, средство для определения ориентации головы указанного пользователя с получением второй ориентации головы, средство для выбора указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, средство для рендеринга второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения. Способ может включать регулировку продолжительности блендирования временного перехода с использованием информации о скорости перемещения головы.

Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, определение информации об ориентации источников для указанных источников изображения, и использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.

Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, и при этом формирование указанных первого, второго и третьего источников изображения как выхода компьютерного устройства с использованием виртуальной камеры для рендеринга синтетического изображения для указанных первого, второго и третьего источников изображения.

Описание чертежей

Ниже различные варианты выполнения настоящего изобретения описаны более подробно со ссылками на сопровождающие чертежи, где:

на фиг. 1а, 1b, 1с и 1d показана установка для формирования стереоизображения для пользователя;

на фиг. 2а показана система и устройства для стерео-просмотра;

на фиг. 2b показано стерео устройство для стерео-просмотра;

на фиг. 2с показан установленный на голове дисплей для стерео-просмотра;

на фиг. 2d показано съемочное устройство;

на фиг. 3а, 3b и 3с иллюстрируется формование стерео-изображения для первого и второго глаз из источников изображения;

на фиг. 4а, 4b, 4с, 4d и 4е иллюстрируется выбор источников изображения для создания стерео-изображений, когда ориентация головы меняется;

на фиг. 6а и 5b показан пример съемочного устройства для использования в качестве источника изображения;

на фиг. 6с показан пример микрофонного устройства для использования в качестве источника звука;

на фиг. 6а, 6b, 6с и 6d иллюстрируется использование источника и целевых систем координат для стерео-просмотра;

на фиг. 7а и 7b иллюстрируется передача данных из источника изображения для стерео-просмотра;

на фиг. 8 иллюстрируется использование источников синтетического изображения в модели виртуальной реальности для создания изображения для стерео-просмотра;

на фиг. 9а показана последовательность операций для формирования изображения для стерео-просмотра; и

на фиг. 9b показана последовательность операций для передачи изображения для стерео-просмотра.

Описание примеров выполнения настоящего изобретения

Ниже несколько вариантов выполнения настоящего изобретения описаны в контексте стерео-просмотра с использованием 3D очков. Следует отметить, однако, что изобретение не ограничено никакой конкретной технологией отображения. Фактически, у различных вариантов выполнения настоящего изобретения имеются приложения для любой обстановки, в которой требуется стерео-просмотр, например в кино и телевидении. Кроме того, хотя в описании в качестве примера источника изображения используется определенная расстановка камер, могут использоваться различные расстановки камер и различные источники изображения.

На фиг. 1а, 1b, 1с и 1d показана ситуация для формирования стереоизображения для пользователя. На фиг. 1а показана ситуация, при которой человек рассматривает две сферы А1 и А2 с использованием обоих глаз Е1 и Е2. Сфера А1 ближе к зрителю, чем сфера А2, соответствующие расстояния до первого глаза Е1, равны L_E1,A1 и L_E1,A2. В пространстве находятся различные объекты с соответствующем координатами (х, у, z), определяемые в системе координат SX, SY и SZ. Расстояние d₁₂ между глазами человека может составлять в среднем приблизительно 62-64 мм и меняться от человека к человеку от 55 до 74 мм. Это расстояние называется параллаксом, и на нем основано стереоскопическое представление для восприятие его человеком. Направления просмотра (оптические оси) DIR1 и DIR2, как правило, по существу параллельны, возможно, имеют небольшое отклонение от параллельности и определяют поле зрения для глаз. Голова пользователя имеет ориентацию (ориентацию головы) относительно окружения, наиболее легко определяемую общим направлением глаз, когда глаза смотрят прямо вперед. Таким образом, ориентация головы определяет «крен», «рыскание» и «тангаж» головы относительно системы координат сцены, где находится пользователь.

В ситуации на фиг. 1а сферы А1 и А2 находятся в поле зрения обоих глаз. Центральная точка O₁₂ между глазами и сферами находится на той же самой линии. Таким образом, если считать от центральной точки, сфера А2 находится позади сферы А1. Однако каждый глаз видит часть сферы А2 позади А1, потому что сферы не находятся на одной линии зрения ни для одного из глаз.

На фиг. 1b показана конфигурация, когда вместо глаз имеются камеры С1 и С2, помещенные в место, где на фиг. 1а находились глаза. В остальном расстояния и направления те же самые. Естественно, цель расположения на фиг. 1b состоит в возможности захвата стерео-изображения сфер А1 и А2. Двумя изображениями, полученными вследствие захвата изображения, являются F_C1 и F_C2. Изображение F_c1 для «левого глаза» показывает изображение S_A2 сферы А2, частично видимой на левой стороне изображения S_A1 сферы А1. Изображение F_c2 для «правого глаза» показывает изображение S_A2 сферы А2, частично видимой на правой стороне изображения S_A1 сферы А1. Эту разницу между правым и левым изображениями называют диспарантностью, и эта диспарантность, являясь основным механизмом, с помощью которого зрительная система человека система определяет информацию о глубине и создает трехмерное представление сцены, может использоваться, чтобы создать иллюзию трехмерного изображения.

На фиг. 1с показано создание этой трехмерной иллюзии. Изображения F_C1 и F_C2, захваченные камерами С1 и С2, подают в глаза Е1 и Е2 использованием дисплеев D1 и D2 соответственно. Диспарантность между изображениями обрабатывается зрительной системой человека так, что создается ощущение глубины. Таким образом, когда левый глаз видит изображение S_A2 сферы А2 на левой стороне изображения S_A1 сферы А1, и соответственно правый глаз видит изображение А2 на правой стороне, - зрительная система человека создает ощущение, что сфера V2 находится позади сферы V1 в трехмерном мире. Здесь следует понимать, что изображения F_C1 и F_C2 могут также быть синтетическими, то есть, созданными компьютером. Если они несут информацию о диспарантности, то синтетические изображения также будут восприниматься зрительной системой человека как трехмерные. Таким образом, пара машинно-генерируемых изображений может быть сформирована так, чтобы они могли использоваться в качестве стерео-изображения.

На фиг. 1d показано, как этот принцип подачи стерео-изображений в глаза может использоваться для создания 3D кинофильмов или сцен виртуальной реальности, имеющих иллюзию трехмерности. Изображения F_X1 и F_X2 или захвачены стерео-камерой, или вычислены по модели так, чтобы у изображений была соответствующая диспарантность. При показе большого количества (например 30) кадров в секунду в оба глаза с использованием дисплеев D1 и D2 так, чтобы у изображений для левого и правого глаз имелась диспарантность, зрительная система человека создает ощущение подвижного трехмерного изображения. Когда камеру поворачивают или меняется направление зрения, для которого вычисляют синтетические изображения, изменения в изображениях создают иллюзию, что меняется направление зрения, то есть, зритель поворачивается. Это направление зрения, то есть ориентация головы, может быть определена как действительная ориентация головы, например детектором ориентации, установленным на голове, или как виртуальная ориентация, определяемая управляющим устройством, таким как джойстик или «мышь», которые могут использоваться для манипуляций направлением зрения без того, чтобы пользователь фактически перемещал свою голову. Таким образом, термин «ориентация головы» может быть использован для описания действительной, физической ориентации головы пользователя и ее изменений, или может использоваться для описания виртуального направления зрения пользователя, которое определяется компьютерной программой или компьютерным устройством ввода.

На фиг. 2а показана система и устройства для стерео-просмотра, то есть, для 3D-видео и 3D-аудио цифрового захвата и воспроизведения. Задача системы состоит в захвате достаточного количества визуальной и слуховой информации из специфического места таким образом, чтобы убедительное воспроизведение ощущения присутствия в этом месте достигалось для одного или большего количества зрителей, физически расположенных в других местах и, как опция, в некоторый будущий момент. Для такого воспроизведения требуется больше информации, чем может быть захвачено одной камерой или микрофоном, поскольку зритель должен быть в состоянии определить расстояние и местоположение объектов на сцене с использованием своих глаз и ушей. Как поясняется при описании фиг. 1а-1d, для создания пары изображений с диспарантностью используются две камеры-источника. Аналогично, в слуховой системы человека, чтобы она могла распознать направление звука, используются по меньшей мере два микрофона (хорошо известный стерео-звук создают, делая запись двух аудио-каналов). Слуховая система человека может распознает иллюзию, например, по временной разности аудио-сигналов обнаружить направление звука.

Система на фиг. 2а может состоять из трех главных частей: источники изображения, сервер и рендерер. Устройство SRC1 для захвата видео-изображения содержит несколько (например 8) камер САМ1, САМ2…, CAMN с таким перекрытием полей зрения, чтобы области зрения вокруг устройства видео-захвата были захвачены по меньшей мере двумя камерами. Устройство SRC1 может содержать множество микрофонов для захвата разницы во времени и фазе аудио-сигналов, идущих с различных направлений. Устройство может содержать датчик ориентации с высокой разрешающей способностью, чтобы ориентацию (направление зрения) множества камер можно было обнаружить и записать. Устройство SRC1 содержит или функционально связано с компьютерным процессором PROC1 и памятью МЕМ1, при этом память содержит компьютерный программный код PROGR1 для управления устройством захвата. Поток изображения, захваченный устройством, может храниться в памяти МЕМ2 для использования в другом устройстве: например у зрителя, и/или быть передан в сервер с использованием интерфейса СОММ1 связи.

Альтернативно или дополнительно к устройству SRC1 видео-захвата, создающему поток изображения или множество таких потоков, в системе может присутствовать один или большее количество источников SRC2 синтетических изображений. Такие источники синтетических изображений могут применять компьютерную модель виртуального мира для вычисления различных потоков изображений, которые они передают. Например, источник SRC2 может вычислять N видео-потоков, соответствующих N виртуальным камерам, расположенным в виртуальном месте зрения. Когда такой синтетический набор видео-потоков используется для просмотра, зритель может видеть трехмерный виртуальный мир, как пояснялось выше на фиг. 1d. Устройство SRC2 содержит или функционально связано с компьютерным процессором PROC2 и памятью МЕМ2, при этом память содержит компьютерный программный код PROGR2 для управления синтетическим устройством-источником SRC2. Поток изображения, захваченный устройством, может храниться в памяти МЕМ5 (например, карте памяти CARD1) для использования в другом устройстве, например у зрителя, или быть переданным в сервер или к зрителю с использованием интерфейса СОММ2 связи.

В дополнение к устройству SRC1 захвата может иметься служебная сеть для хранения, обработки и организации потока данных. Например, может иметься сервер SERV или множество серверов, сохраняющих данные с выхода устройства SRC1 захвата или вычислительного устройства SRC2. Это устройство содержит или функционально связано с компьютерным процессором PROC3 и памятью МЕМ3, при этом память содержит компьютерный программный код PROGR3 для управления сервером. Сервер может быть связан проводной и/или беспроводной связью с источником SRC1 и/или SRC2, а также с устройствами VIEWER1 и VIEWER2 просмотра с использованием интерфейса СОММ3.

Для просмотра захваченного или созданного видео-контента, может использоваться одно или большее количество устройств VI EWER1 и VIEWER2 просмотра. У этих устройств могут иметься модуль рендеринга и модуль отображения, или же обе эти функции могут быть объединены в одном устройстве. Эти устройства могут содержать или быть функционально связаны с компьютерным процессором PROC4 и памятью МЕМ4, при этом память содержит компьютерный программный код PROGR4 для управления устройствами просмотра. Устройства просмотра (воспроизводящие устройства) могут содержать приемник потока данных для приема поток видео-данных из сервера и для дешифровки потока видеоданных. Поток данных может быть принят через сетевое соединение через интерфейс СОММ4 связи или из памяти МЕМ6 в виде карты CARD2 памяти. Устройство просмотра могут содержать графическое обрабатывающее устройство для преобразования данных в соответствующий формат и просмотра, как показано на фиг. 1с и 1d. Устройство VIEWER1 просмотра содержит устанавливаемый на голове стерео-дисплей высокого разрешения, предназначенный для просмотра стерео-видео-последовательности после рендеринга. Устанавливаемое на голове устройство может иметь датчик DET1 ориентации и головные стерео-аудио-телефоны. Устройство VIEWER2 просмотра содержит дисплей с возможностями 3D технологии (для отображения стерео-видео-данных), а рендерер может иметь связанный с ним детектор DET2 ориентации. Любое из устройств (SRC1, SRC2, SERVER, RENDERER, VIEWER1, VIEWER2) может быть компьютером или мобильным вычислительным устройством, или же быть связанным с ним. Такие рендереры могут содержать компьютерный программный код для реализации способов согласно различным примерам, описанным в этом документе.

На фиг. 2b показано устройство для стерео-просмотра. Камера содержит три или большее количество камер, которые сконфигурированы в пары камер для создания изображений для левого и правого глаз, или они могут быть организованы в такие пары. Расстояние между камерами может соответствовать обычному расстоянию между глазами человека. Камеры могут быть установлены так, чтобы имелось значительное перекрытие их полей зрения. Например, могут использоваться широкоугольные 180-градусные (или больше) объективы, и может иметься 3, 4, 5, 6, 7, 8, 9, 10, 12, 16 или 20 камер. Эти камеры могут быть регулярно или нерегулярно распределены по всей сфере зрения, или же они могут покрыть только часть всей сферы. Например, может иметься три камеры, установленные в вершинах треугольника и имеющие различные направления зрения по отношению к одной стороне треугольника так, что все три камеры перекрывают всю область перекрытия в середине направления зрения. В другом примере 8 камер имеют широкоугольные объективы и установлены регулярно в углах виртуального куба, перекрывая всю сферу так, что вся или по существу вся сфера перекрыта во всех направлениях по меньшей мере тремя или четырьмя камерами. На фиг. 2b показаны три пары стерео-камер.

На фиг. 2с показан установленный на голове дисплей для стерео-просмотра. Установленный на голове дисплей содержит две секции экрана или два экрана DISP1 и DISP2, предназначенные для создания изображений для левого и правого глаз. Эти дисплеи находятся близко к глазам, и поэтому применяются объективы, чтобы сделать изображения легко видимыми и для того, чтобы растянуть изображения и покрыть в максимально возможной степени поля зрения глаз. Устройство присоединено к голове пользователя так, чтобы оно держалось даже тогда, когда пользователь поворачивает голову. Устройства может иметь модуль ORDET1 обнаружения ориентации, предназначенный для определения положения и направления. Здесь следует отметить, что в устройстве такого типа можно обеспечить отслеживание перемещения головы, но так как дисплеи покрывают большую площадь поля зрения, в обнаружении движения глаз нет необходимости. Ориентация головы может быть связана с реальной, физической ориентацией головы пользователя, и это может быть сделано датчиком, который определяет реальную ориентацию головы пользователя. Альтернативно или дополнительно, ориентация головы может быть связана с виртуальной ориентацией направления зрения пользователя, которой управляет компьютерная программа или компьютерное устройство ввода, такое как джойстик. Таким образом, пользователь может изменить определенную ориентацию головы с помощью устройства ввода, или компьютерная программа может изменить направление зрения (например, в играх игровая программа может управлять определенной ориентацией головы вместо или в дополнение к реальной ориентации головы.

На фиг. 2d показано устройство САМ1. Камера содержит детектор CAMDET1 камеры, содержащий множество сенсорных элементов для считывания интенсивности света, падающего на сенсорный элемент. Камера содержит объектив ОВJ1 (или конструкцию, состоящую из множества объективов), при этом указанный объектив помещен так, чтобы свет попадал через объектив на сенсорные элементы. В детекторе CAMDET1 камеры имеется номинальная центральная точка СР1, которая является средней точкой для множества сенсорных элементов, например для прямоугольного датчика это точка пересечения диагоналей. У объектива также имеется номинальная центральная точка РР1, лежащая, например, на оси симметрии объектива. Направление ориентации камеры определено полулинией, идущей из центральной точки СР1 датчика камеры и центральной точки РР1 объектива.

Система, описанная выше, может работать следующим образом. Синхронизированные во времени видео-данные, аудио-данные и данные по ориентации сначала записываются устройством захвата. Они могут состоять из множества одновременных видео- и аудио-потоков, как описано выше. Затем, сразу или позже, их передают в сеть для хранения и обработки с целью обработки и преобразования в формат, подходящий для последующей выдачи в воспроизводящие устройства. Преобразование может включать шаги последующей обработки аудио-и видео-данных для повышения качества данных и/или уменьшения количества данных при сохранении качества на желательном уровне. Наконец, каждое воспроизводящее устройство принимает поток данных из сети и производит рендеринг для воспроизведения стерео-просмотра в местоположении источника, что может ощутить пользователь с использованием дисплея, закрепленного на голове, и головных телефонов.

В новом способе создания стерео-изображения для просмотра, как описано ниже, пользователь может поворачивать голову во множестве направлений, а воспроизводящее устройство способно создавать высокочастотное (например, 60 кадров в секунду) видео- и аудио-стерео-представление сцены, соответствующей той конкретной ориентации, как сцена виделась бы с места исходной записи.

На фиг. 3а, 3b и 3с показано формирование стерео-изображения для первого и второго глаз из источников изображения при использовании динамического выбора источников и динамического местоположения мест сшивания. Для создания стерео-представления для конкретной ориентации головы используются данные изображения по меньшей мере от 2 различных камер. Как правило, одна камера не в состоянии охватить все поле зрения. Поэтому, согласно настоящему решению, можно использовать множество камер для создания двух изображений для стерео-просмотра, путем сшивания секций изображений от различных камер. Создание изображения путем сшивания происходит так, чтобы у изображений была соответствующая диспарантность и чтобы можно было создать 3D-представление. Пояснение дано ниже.

Для того, чтобы использовать лучшие источники изображения, используется модель камеры и положений глаз. Камеры могут иметь положения в пространстве камер, и положения глаз спроектированы в это пространство так, чтобы глаза находились среди камер. Используется реалистический параллакс (расстояние между глазами). Например, в регулярной установке с 8 камерами, где все камеры регулярно расположены на сфере, глаза также могут быть спроектированы на сферу. Решение вначале выбирает самую близкую камеру к каждому глазу. Установленные на голове дисплеи могут иметь большое поле зрения на глаз, так что не существует никакого единственного изображения (от одной камеры), которое перекрывает полный вид для глаза. В этом случае представление должно быть создано из частей множества изображений с использованием известной техники «сшивания» таких отображений вдоль линий, которые содержат почти тот же самый контент в двух изображениях, сшиваемых вместе. На фиг. 3а показано два дисплея для стерео-просмотра. Изображение для дисплея левого глаза собрано из данных изображения из камер IS2, IS3 и IS6. Изображение для дисплея правого глаза собрано из данных изображения из камер IS1, IS3 и IS8. Отметим, что в этом примере тот же самый источник IS3 изображения используется для изображений как левого глаза, так и правого глаза, но сделано так, чтобы одна и та же область зрения не была охвачена камерой IS3 в обоих глазах. Это обеспечивает нужную диспарантность по всему представлению - то есть, в каждом месте в представлении между изображениями для левого и правого глаз есть диспарантность.

Точка сшивания меняется динамически для каждой ориентации головы, чтобы максимизировать площадь вокруг центральной области представления, полученного от камеры, ближайшей к положению глаз. В то же самое время требуется соблюдать осторожность, чтобы обеспечить использование различных камер для тех же самых областей представления в двух изображениях для различных глаз. На фиг. 3b области РХА1 и РХА2, которые соответствуют той же самой области в представлении, взяты от различных камер IS1 и IS2 соответственно. Эти две камеры пространственно разнесены, поэтому области РХА1 и РХА2 демонстрируют эффект диспарантности и создают трехмерную иллюзию в зрительной системе человека. Также следует избегать, чтобы «швы» STITCH1 и STITCH2 (который могут быть более заметными) находились в центре представления, потому что ближайшая камера будет как правило охватывать область около центра. Этот способ приводит к использованию динамического выбора пары камер для создания изображения для определенной области представления в зависимости от ориентации головы. Выбор может быть сделан для каждого пикселя и каждого кадра с использованием обнаруженной ориентации головы.

Сшивание осуществляют с использованием алгоритма, обеспечивающего, чтобы у всех сшитых областей имелось приемлемая стерео-диспарантность. На фиг. 3с левые и правые изображения сшиты так, чтобы объекты на сцене продолжались через области, полученные от различных камер-источников. Например, ближайший кубик на сцене взят от одной камеры в качестве изображения для левого глаза, и от двух различных камер для правого глаза, и изображения сшиты. Имеется и другая камера, используемая для всех частей куба для левого и правого глаз, которая создает дипарантность (правая сторона куба более видима в изображении для правого глаза).

То же самое изображение камеры может использоваться частично для обоих, левого и правого глаз, но не для той же самой области. Например правая сторона представления для левого глаза может быть подшита от камеры IS3, а левая сторона для правого глаза может быть подшита от той же самой камеры IS3, пока эти области представления не накладываются, и другие камеры (IS1 и IS2) используются для рендеринга этих областей в другом глазу. Другими словами, та же самая камера-источник (IS3 на в фиг. 3а) может использоваться для стерео-просмотра как для изображения для левого глаза, так и для изображения для правого глаза. В традиционном стерео-просмотре, наоборот, левая камера используется для левого изображения, а правая камера используется для правого изображения. Таким образом, настоящий способ позволяет более полно использовать данные источников. Это может использоваться при захвате видеоданных; в результате изображения, захваченные различными камерами в различные моменты времени (с определенной частотой измерения мгновенных значений, например 30 кадров в секунду), используются для создания левых и правых стерео-изображений для просмотра. Это может быть сделано так, что то же самое изображение от камеры, захваченное в определенный момент времени, используется для создания части изображения для левого глаза и части изображения для правого глаза, при этом изображения для левого и правого глаз используются совместно для формирования одного кадра стерео-видео-потока для просмотра. В различные моменты времени различные камеры могут использоваться для создания части кадра для левого глаза и части кадра правого глаза в видеоизображении. Это позволяет намного более эффективное использовать захваченные видео-данные.

На фиг. 4а и 4b поясняется модель для выбора ближайших камер для различных ориентаций головы. В этом примере (см. фиг. 4а) все источники (камеры) расположены вокруг центральной точки так, чтобы их положения формировали восьмигранник, а расстояния от центральной точки были равными. Это соответствует устройству с 8 камерами и регулярным интервалом между ними. Источники имеют определенные координаты х, у и z в 3D пространстве. Источники направлены прямо от центральной точки (ориентация источников поясняется в контексте фиг. 2). Установленное на голове устройство выдает «крен», «рыскание» и «тангаж» головы зрителя, и они могут использоваться для преобразования координат источников с целью приведения их к системе координат головы. Альтернативно, координаты глаз можно преобразовать к системе координат источников. Далее, система координат источников может быть преобразована к нормализованной системе координат, а система координат головы может быть преобразована к этой же нормализованной системе координат. Таким образом, и источники и глаза помещают друг относительно друга в одни и те же координаты модели.

Другими словами, местоположение первого и второго виртуальных глаз, соответствующих указанным глазам пользователя, определяют в системе координат с использованием ориентации головы, а затем выбирают источники изображения на основе местоположения виртуальных глаз относительно местоположений источников изображения в этой системе координат.

Пример преобразования R_x поворота координат вокруг оси X на угол γ (также известный как угол тангажа) определяется матрицей поворота:

Аналогично могут быть сформированы повороты R_y (для рыскания) и R_z (для крена) вокруг различных осей. Перемножением этих трех матриц можно выразить обобщенный поворот R=R_x R_y R_z. Эту матрицу поворота можно затем использовать для умножения любого вектора в первой системе координат согласно выражению v₂=R v₁ и получить вектор в целевой системе координат.

Ниже дан пример преобразования координат источника и глаз. Все векторы - это векторы в трехмерном пространстве и описаны как (х, у, z). Начало координат находится в точке (0, 0, 0). Все источники изображения определяются ориентацией по крену, рысканию, и тангажу относительно начала координат.

Для каждого источника вычисляют вектор положения:

- Создают вектор положения для источника и задают ему значение (0, 0, 1);

- Создают матрицу тождественного преобразования;

- Умножают эту матрицу на другую, которая поворачивает координаты вокруг оси Y на угол рыскания;

- Умножают эту матрицу на другую, которая поворачивает координаты вокруг оси X на угол тангажа;

- Умножают эту матрицу на другую, которая поворачивает координаты вокруг оси Z на угол крена;

- Преобразуют вектор положения путем матричного умножения с использованием этой матрицу, при умножении матрица стоит слева.

Для глаза вычисляют вектор положения:

- Создают вектор положения для глаза и задают ему значение (0, 0, 1)

- Берут матрицу представления, которая используется для рендеринга источников согласно направлению просмотра (ориентации головы) и инвертируют ее. (Поясним, почему матрица представления инвертирована: например, когда направление просмотра поворачивается на 10 градусов вокруг оси Y, источники должны повернуться на -10 градусов вокруг оси Y. Аналогично, если вы смотрите на объект и поворачиваете голову вправо, объект в ваших глазах перемещается влево. Поэтому тот поворот, который мы применяем к предполагаемому положению глаз, может быть взят как инверсия поворота, которую мы применяем к источникам/представлению.)

- Поворачивают инвертированную матрицу представления вокруг оси Y (ось, которая направлена вверх в системе координат главной) согласно моделируемой диспарантности глаз (как описано ниже).

- Преобразуют вектор положения согласно полученной в результате матрице путем действия этой матрицей на предварительный вектор.

- Вычисляют расстояние между положением глаза и источниками и выбирают кратчайшее расстояние (см. ниже).

Предполагаемое положение (левого или правого) глаза помещают на таком же расстоянии от центральной точки, как камеры, и поворачивают вокруг центральной точки вокруг всех осей х, у и z согласно относительной ориентации установленного на головой устройства зрителя по сравнению с ориентацией устройства захвата. Как показано на фиг. 4а и 4b, в результате получаем положение мнимого среднего глаза MEYE в середине лица (соответствует точке O₁₂ на фиг. 1а). Затем положение мнимого среднего глаза зрителя поворачивают вокруг оси Y представления (выровненной по голове зрителя от подбородка до макушки) с получением положения LEYE виртуального левого глаза или положения REYE виртуального правого глаза. Для моделирования диспарантности глаз человека в зависимости от того, является ли это представление для левого глаза или для правого глаза, этот поворот производят в соответствующем направлении. Угол между виртуальным левым и виртуальным правым глазами может находиться между 80 и 120 градусами, например, составлять приблизительно 100 градусов. Углы больше 90 градусов препятствуют выбору той же самой камеры для той же области для обоих глаз, а углы меньше 110 градусов препятствуют выбору камер со слишком большим расстоянием между ними.

Источники (например, камеры) упорядочивают согласно расстоянию между источником и виртуальным глазом, и производят рендеринг представления так, чтобы пиксели выбирались из того источника который соответственно: А) «покрывал» этот пиксель; В) имел наименьшее расстояние до виртуального глаза по сравнению со всеми источниками, для которых выполнено условие А. Другими словами, в качестве источника изображения для пикселя в изображении для первого глаза пользователя выбирают такой ближний источник изображения, который удовлетворяет критерию близости (например, он является самым близким источником) к виртуальному глазу, соответствующему указанному первому глазу, при этом близкий источник изображения захватывает часть сцены, соответствующую пикселю. Если близкий источник изображения не захватывает часть сцены, соответствующую пикселю, выбирают другой источник изображения для пикселя изображения для первого глаза пользователя, нежели указанный близкий к указанному виртуальному глазу источник изображения, соответствующий указанному первому глазу.

На фиг. 4с и 4d иллюстрируется выбор источников изображения для создания стерео-изображений, когда ориентация головы меняется. Рендеринг пикселей из источника выбирают следующим образом:

1. Составляют список всех источников, которые покрывают текущий пиксель;

2. Из всех источников в этом списке выбирают тот, который лучше всего соответствует тому, что человек видел бы этим конкретным глазом, если его голову поместить туда, где находится центральная точка источника, и повернуть согласно ориентации установленного на голове дисплея (головы зрителя);

3. Регулируют диспарантность глаз воображаемого человека, чтобы обеспечить, что для левого и правого глаза выбран не один источник и что у выбранных источников имеется диспарантность по возможности наиболее близкая к глазам человека (например, для параллакса 64 мм). Амплитуда этой регулировки зависит от доступных источников и их положений. Кроме того, регулировку можно произвести заранее. Если обнаружено, что ближайшая камера для первого глаза находится на 10 градусов ниже по тангажу, чем первый глаз, ближайший второй глаз можно также повернуть на 10 градусов вниз по тангажу. Это может быть сделано, чтобы по меньшей мере в некоторых случаях избежать вращения (опрокидывания) линии параллакса между камерами, что получилось бы, если бы другой глаз выбрал камеру, которая расположена выше по тангажу.

Виртуальные положения могут быть предварительно отображены в виде справочной таблицы ближайших камер, и эти отображения могут иметь, например, «зернистость» 1 мм, в пределах которой все положения входят в тот же список. Когда идет рендеринг пикселей выводимых изображений, можно использовать буфер шаблона, чтобы сначала шел рендеринг пикселей от ближайшей камеры и в буфере шаблона эти пиксели помечались как прошедшие рендеринг. Затем выполняют шаблонный тест, чтобы определить пиксели, которые не прошли рендеринг и которые могут пройти рендеринг из следующей ближайшей камеры, проводят рендеринг этих пикселей из следующей ближайшей камеры и маркируют их, и так далее, пока не осуществится рендеринг всего изображения. Таким образом, проводят рендеринг областей изображения для глаза так, чтобы эти области соответствовали источникам изображения, при этом производят рендеринг области в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в исходной системе координат изображения.

Для создания гладких «швов» (пространственных переходов) от одной области камеры к другой, область края камеры может подвергаться рендерингу с использованием рендеринга альфа-канала следующим образом. Для каждого пикселя вычисляют значения цвета (красный-синий-зеленый) по значениям цвета источника для пикселей источника, например, путем интерполяции или с использованием значений цвета ближайшего пикселя источника. Для большинства пикселей альфа-значение (непрозрачность) равна единице. Для пикселей на краю источника альфа-значение может быть установлено меньше единицы. Это означает, что значения цвета для следующего перекрывающегося источника и ранее вычисленные значения цвета смешаны, образуя переходное сшивание. Для краевых областей рендеринг может, таким образом, начинаться с самой дальней камеры, которая «покрывает» пиксель. Таким образом, области изображений можно комбинировать, блендируя краевые части областей.

Выше было описаны две оптимизации в качестве опции, а именно: было описано использование буфера шаблона и сглаживание с использованием альфа-канала. Для этого могут быть использованы функциональные возможности графического процессора.

На фиг. 4с, 4d и 4е иллюстрируется выбор источников изображения для создания стерео-изображений, когда меняется ориентация головы. На фиг. 4с ориентация головы пользователя соответствует первой ориентации головы. Затем выбирают первый источник изображения (IS7) и второй источник изображения (IS2) на основе этой первой ориентации головы так, чтобы первый и второй источники изображения формировали источник стерео-изображения, как было рассмотрено выше. В сцене, как очевидно, может присутствовать виртуальная область, которая соответствует некоторой детали на сцене. В изображениях для левого и правого глаз имеется соответствующая область пикселей (РХА1 и РХА2), которая представляют область сцены. Значения цвета для первой области пикселей (РХА1), соответствующей первой области сцены, определяют с использованием первого источника изображения (IS7), а значения цвета для этой первой области пикселей сформированы в изображение левого глаза. Значения цвета для второй области пикселей (РХА2), соответствующей той же самой области сцены, сформированы с использованием второго источника изображения (IS2), и эти значения цвета для этой второй области пикселей сформированы в изображение для правого глаза.

Когда пользователь поворачивает голову (имеет место поворот, описываемый значениями крена, рыскания и тангажа), вновь определяют ориентацию головы пользователя - вторую ориентацию головы. Это может произойти, например, так: на установленном на голове дисплее имеется детектор перемещения головы. Для формирования областей изображения, соответствующих первой области сцены, вновь выбирают источники изображения, как показано в фиг. 4d. Поскольку голова повернулась, на основе второй ориентации головы выбирают второй источник изображения (IS2), и теперь третий источник изображения (IS8), при этом второй и третий источники изображения формируют источник стерео-изображения. Это делается, как раскрыто выше. Значения цвета для третьей области пикселей (РХА3), соответствующей первой области сцены, формируют с использованием третьего источника изображения (IS8), значения цвета для третьей области пикселей (РХА3) формируют в третье изображение для демонстрации левому глазу. Значения цвета для четвертой области пикселей (РХА4), соответствующей той же самой первой области сцены, все еще формируют с использованием второго источника изображения (IS2), значения цвета для четвертой области пикселей формируют в четвертое изображение для демонстрации правому глазу.

Аналогично, обнаруженная или задаваемая ориентация головы влияет на выбор источников изображения, которые используются для формирования изображения для глаза. Пара источников изображения (камеры), используемая для создания стерео-изображения области сцены, может меняться во времени, если пользователь поворачивает голову или поворачивается поле зрения камеры. Это происходит потому, что один и тот же источник изображения может не всегда оставаться ближайшим источником изображения для (виртуального) глаза.

При воспроизведении стерео-представления для конкретной ориентации зрения на основе данных от множества камер главным является наличие параллакса между камерами. Как было отмечено, этот параллакс может, однако, вызвать скачок в области изображения (и диспарантность) между двумя последовательными кадрами, когда пара камер для области изображения меняется, вследствие изменения угла зрения (ориентации головы). Этот скачок может раздражать зрителя и уменьшить точность воспроизведения. На фиг. 4 с рендеринг левого изображения идет из камер IS1, IS3 и IS7, а правого изображения - из камер IS2, IS3 и IS6. Когда пользователь наклоняет голову налево, изображения естественно поворачиваются против часовой стрелки. Однако положение глаз относительно источников также меняется. На фиг. 4d одна камера (IS7) заменена (на IS8) для изображения левой стороны. Изображение из IS7 немного отличается от изображения из IS8, и, таким образом, когда пользователь наклоняет голову, изменение камеры может вызвать заметное изменение диспарантности в нижней части изображения.

Техника, используемая в этом решении, это перемешивание во время рендеринга кадров между двумя парами камер с регулировкой синхронизации и продолжительности перемешивания согласно угловой скорости направления зрения. Цель состоит в том, чтобы сделать перемешивание при скачке, когда направление просмотра меняется быстро, поскольку в этом случае уже имеется естественное размытие изображения, и пользователь не фокусируется ни на какой конкретной точке. Продолжительность перемешивания может также быть отрегулирована согласно угловой скорости так, чтобы при замедленном движении перемешивание происходило за более длительный промежуток времени, а при более быстром движении перемешивание происходило быстрее. Этот способ уменьшает заметность скачка при переходе от одной пары камер к другой. Перемешивание может быть достигнуто суммированием с весом значений для актуальных областей изображения. Например, как показано на фиг. 4е, область, в которой произойдет перемешивание, может быть выбрана как комбинация областей IS7 и IS8. Эта область может также быть выбрана только как область IS8 или только IS7. Этот способ оценивали на предмет уменьшения заметности скачка от одной пары камер к другой, в особенности когда просмотр происходит с использованием закрепленного на голове дисплея. Другими словами, для улучшения качества видеоизображения временное преобразование может быть осуществлено путем блендирования изображения, сформированного с использованием первого источника изображения, с изображением, полученным с использованием другого источника изображения. Продолжительность временного переходного блендирования может быть отрегулирована с использованием информации о скорости перемещения головы, например, угловой скорости.

При изменении источника может быть применен гистерезис изменения. Под гистерезисом здесь подразумевается, что, как только изменение источника от первого источника до второго источника было применено вследствие определения, что второй источник находится ближе к виртуальному глазу, чем первый источник, возврат назад к первому источнику происходит не так легко, как первое изменение. Таким образом, если ориентация головы возвращается к ориентации непосредственно перед этим изменением, возврата назад к первому источнику не происходит. Для возврата к первому источнику потребуется большее изменение ориентации головы, так чтобы первый источник был явно ближе к виртуальному глазу, чем второй источник. Такое использование гистерезиса может применяться для предотвращения мерцания, вызванного быстрым переключением камер назад и вперед при ориентации, когда первый и второй источники находятся почти в одинаковой близости от виртуального глаза.

Очевидно, что перемешивание может также происходить так, чтобы менялись источники изображения для всей области, при этом перемешивается вся область.

На фиг. 5а и 5b показан пример съемочного устройства для использования в качестве источника изображения. Для создания полной стерео-панорамы на 360 градусов каждое направление зрения должно быть сфотографировано с двух мест - одно для левого глаза и одно для правого глаза. В случае видео-панорамы эти изображения должны быть захвачены одновременно, чтобы не нарушать взаимной синхронизации глаз. Поскольку одна камера физически не может охватить все 360 градусов обзора, по меньшей мере не будучи затененной другой камерой, для формирования всей панорамы на 360 градусов должно иметься множество камер. Однако дополнительные камеры увеличивают стоимость и размер системы и добавляют количество потоков данных, которое необходимо обработать. Эта задача становится еще более существенной при установке камер на сфере или в номинальном правильном многограннике для получения большего вертикального поля зрения. Однако даже при наличии множества пар камер, например на сфере или номинальном правильном многограннике, таком как восьмигранник или додекаэдр, пары камер не будут обеспечивать произвольного углового параллакса между картинами для глаз. Параллакс между глазами жестко связан с положениям индивидуальных камер в паре, то есть, в направлении, перпендикулярном к паре камер, никакого параллакса достигнуть невозможно. Это создает проблему, когда стерео-контент рассматривается с использованием установленного на голове дисплея, который допускает произвольный поворот поля зрения на угол вокруг оси Z.

Требование, чтобы множество камер покрывали каждую точку вокруг устройства захвата с двойным запасом, потребовало бы очень большого количества камер в устройстве захвата. Для новой техники, используемой в данном решении, требуется использовать объективы с полем зрения 180 градусов (полусфера) или больше и устанавливать камеры в строго выбранные места вокруг устройства захвата. Такое расположение показано на фиг. 5а, где камеры помещены в углы виртуального куба, и имеют ориентации DIR_CAM1, DIR_CAM2…, DIR_CAMN, по существу направленные от центральной точки куба.

Можно использовать объективы с супершироким полем зрения, чтобы камера могла служить в качестве пары из камеры для левого глаза и камеры для правого глаза. Это вдвое уменьшает количество необходимых камер. Как это ни удивительно, такое уменьшение количества камер повышает качество стерео-просмотра, поскольку оно также позволяет выбирать камеры для левого глаза и для правого глаза произвольно среди всех камер, лишь бы они перекрывали поле зрения друг друга. Использование этой техники с различным количеством камер и различным расположением камер, например на сфере или правильном многограннике, позволяет выбрать подходящую ближайшую камеру для каждого глаза (как раскрыто выше) и достигнуть также поперечного параллакса между глазами. Это особенно предпочтительно, когда контент рассматривается с использованием закрепленного на голове дисплея. Описанное расположение камер вместе с техникой сшивания, описанной выше, позволяет создавать стерео-просмотр с более высокой точностью воспроизведения и меньшими расходами на камеры.

Широкое поле зрения позволяет выбрать данные изображения из одной камеры в качестве данных источника для различных глаз в зависимости от текущего направления взгляда, что минимизирует необходимое количество камер. Эти камеры можно разместить в виде кольца из 5 или большего количества камер вокруг одной оси в случае, когда выше и ниже устройства не требуется ни высокое качество изображения, ни ориентация представления с наклоном относительно перпендикуляра к оси кольца.

В случае, когда требуется высококачественные изображения и произвольный наклон поля зрения во всех направлениях, следует использовать правильный многогранник: любой куб (с 6 камерами), восьмигранник (с 8 камерами) или додекаэдр (с 12 камерами). Из них восьмигранник, или углы куба (фиг. 5а), является хорошим выбором, так как допускает большой выбор компромиссных решений между уменьшением количества камер при максимальном количестве комбинаций пар камер, которые доступны для другой ориентации взгляда. Фактическое устройство, содержащее 8 камер, показано на фиг. 5b. В этом съемочном устройстве используют широкоугольные (185 градусов) объективы, чтобы полное покрытие камерами было больше, чем 4 полные сферы. Это означает, что любая точка сцены «покрывается» по меньшей мере 4 камерами. Камеры имеют ориентации DIR_CAM1, DIR_CAM2…, DIR_CAMN, в направлении от центра устройства.

Даже при меньшем количеством камер, такое сверхпокрытие может быть достигнуто с использованием, например, 6 камер с теми же самыми объективами 185 градусов, - в этом случае можно достигнуть трехкратного покрытия. Когда происходит рендеринг сцены и для определенного пикселя выбирают ближайшие камеры, это сверхпокрытие означает, что всегда есть по меньшей мере 3 камеры, которые покрывают некую точку, а следовательно можно сформировать по меньшей мере 3 различных пары камер для этой точки. Таким образом, в зависимости от ориентации взгляда (ориентации головы), можно легко найти пару камер с хорошим параллаксом.

Устройство может содержать по меньшей мере три камеры с регулярным или нерегулярным расположением, установленные друг относительно друга так, что у любой пары камер из указанных по меньшей мере трех камер имеется диспарантность для создания стерео-изображения, имеющего диспарантность. У этих по меньшей мере трех камер имеются области перекрытия полей зрения, так что определена область перекрытия, для которой каждая часть захвачена указанными по меньшей мере тремя камерами. У любой пары камер из этих по меньшей мере трех камер может иметься параллакс, соответствующий параллаксу глаз человека, для создания стерео-изображения. Например, параллакс (расстояние) между парой камер может составлять от 5,0 см до 12,0 см, например, составлять приблизительно 6,5 см. У этих по меньшей мере трех камер могут быть различные направления оптической оси. Область перекрытия может иметь односвязную топологию, что означает, что она образует непрерывную поверхность без отверстий или по существу без отверстий так, что диспарантность может быть получена по всей поверхность просмотра, или по меньшей мере для большей части области перекрытия. Поле зрения для каждой из указанных по меньшей мере трех камер может приблизительно соответствовать половине сферы. Устройство может содержать три камеры, при этом эти три камеры установлены в вершинах треугольника, в результате чего угол между направлениями оптических осей для любой парой камер составляет меньше 90 градусов. Эти по меньшей мере три камеры могут содержать восемь камер с большим полем зрения, установленных по существу в углах виртуального куба, при этом каждая имеет направление оптической оси по существу из центральной точки виртуального куба к углу, при этом поле зрения каждой из указанных камер с большим полем зрения составляет по меньшей мере 180 градусов, так чтобы каждая часть всего сферического обзора покрывалась по меньшей мере четырьмя камерами (см. фиг. 5b).

На фиг. 5с показан пример микрофонного устройства, предназначенного для использоваться в качестве аудио-источника. Множество микрофонов MIC1, MIC2… MICN можно разместить вокруг центра устройства, регулярно или нерегулярно. Например, может иметься 8-20 микрофонов, установленных на поверхности виртуальной сферы. Для улучшения эффекта присутствия при воспроизведении сцены, можно сгенерировать убедительный аудио-стерео-сигнал. Устройство захвата может содержать множество микрофонов, охватывающих звуковое поле во множестве мест и со всех направлений вокруг устройства. Аналогично видеорендерингу, эти потоки источников можно использовать для ренгдеринга (например, с использованием передаточной функции слухового аппарата человека, HRTF=Head-related transfer function) синтетического аудио-сигнала, подобного тому, который мы услышали бы, когда ухо находилось бы в том месте на сцене, которое соответствует положению головы зрителя.

Аудио-поток, соответствующий положению виртуального уха, может быть создан из записанных данных из множества микрофонов с использованием множества способов. Один из них заключается в выборе единственного источника звука, ближайшего к каждому виртуальному уху. Однако это ограничивает разрешение пространственного перемещения количеством микрофонов-источников. Предпочтительнее использовать известные аудио-лучеобразующие алгоритмы для комбинирования записанных данных из наборов из 2 или большего количества микрофонов и создания синтетических промежуточных аудио-потоков, соответствующих нескольким сфокусированным лучам в пространстве вокруг устройства захвата. Во время рендеринга эти промежуточные потоки фильтруют с использованием передаточной функции слухового аппарата человека, соответствующей их текущему местоположению относительно виртуального уха в виртуальной голове, согласованному с текущей ориентацией головы пользователя, и затем суммируют с формированием финального моделированного потока, который наиболее близко согласован с потоком, который услышало бы ухо в том положении, в котором находится виртуальное ухо. Передаточная функция слухового аппарата человека (HRTF) является передаточной функцией, которая говорит, как ухо слышит звук из некоторой точки в пространстве. Две передаточные функции слухового аппарата человека (для левого и правого уха) могут использоваться для формирования стерео-звука, который кажется идущим с определенного направления и расстояния. Множественно звуковых источников с различных направлений и расстояний можно просто суммировать с получением комбинированного стерео-звука из этих источников.

Коррекция ориентации, используемая для видео-представления и описанная ниже, применяется также в качестве опции и для аудио-представления для устранения движения устройства захвата, если голова зрителя не двигается.

Эффект присутствия от 3D контента, просматриваемого с использованием установленного на голове дисплея, происходит оттого, что пользователь имеет возможность озираться, поворачивая голову, и контент виден правильно согласно ориентации головы. Если устройство захвата двигалось в момент захвата (например, когда оно установлено на шлеме аквалангиста или на ветви дерева), это перемещение воздействует на угол наблюдения пользователя независимо от ориентации головы зрителя. Это, как отмечено, нарушает эффект присутствия и мешает пользователю, сосредоточиться на определенной точке или угле наблюдения.

На фиг. 6а и 6b показано использование систем координат источника и назначения для стерео-просмотра. Техника, используемая здесь, призвана записывать ориентацию устройства захвата синхронно с накладывающимися видеоданными и использовать информацию об ориентации для коррекции ориентации изображения, представленного пользователю - эффективно устраняя повороты устройства захвата во время воспроизведения так, чтобы направлением просмотра управлял пользователь, а не устройство захвата. Если зритель вместо этого хочет ощущать исходное движение устройства захвата, эту коррекцию можно выключить. Если зритель хочет испытать менее экстремальную версию исходного движения, коррекцию можно применить динамически с фильтром так, чтобы исходное движение отслеживалось, но более медленно или с меньшими отклонениями от нормальной ориентации.

На фиг. 6а и 6b иллюстрируется поворот съемочного устройства и поворот системы координат камеры (система координат источника). Естественно, обзор и ориентация каждой камеры также меняются, и следовательно, даже при том, что зритель остается в той же ориентации, что и раньше, он увидит поворот налево. Если в это же время, как показано в фиг. 6с и 6d, пользователь повернет голову налево, результирующая картинка повернется налево еще сильнее, возможно меняя направление обзора на 180 градусов. Однако, если перемещение съемочного устройства нейтрализовано, обзором будет управлять именно перемещение головы пользователя (см. фиг. 6с и 6d). В примере с аквалангистом зритель может выбрать объекты, на которые смотреть, независимо от того, на что смотрел ныряльщик. Таким образом для определения изображений, которые будут показаны пользователю, используется ориентация источника изображения совместно с ориентацией головы пользователя.

На фиг. 7а и 7b иллюстрируется передача данных из источника изображения для стерео-просмотра. Система стерео-просмотра, представленная в этом приложении, для передачи видео-данных источника зрителю может использовать видеокодирование нескольких изображений (MVC). Таким образом, сервер может иметь кодирующее устройство или видео данные могут быть в сервере в кодированной форме, так чтобы избыточность видео-данных можно было использовать для уменьшения ширины полосы. Однако вследствие значительного искажения, вносимого широкоугольными объективами, эффективность кодирования можно снизить. В таком случае сигналы V1-V8 от различных источников могут быть объединены в один видеосигнал, как в фиг. 7а, и переданы как один закодированный телевизионный поток. Устройство просмотра может тогда выбрать значения для тех пикселей, в которых оно нуждается для рендеринга изображения для левого и правого глаз.

Возможно, будет необходимо передать (и/или расшифровать у зрителя) данные для всей сцены, поскольку во время воспроизведения, зритель должен получит немедленный ответ на угловое движение головы зрителя и рендеринг контента должен идти из правильного угла. Для этого необходимо перенести из сервера на просмотровое устройство все панорамное 360-градусное видеоизображение, поскольку пользователь может повернуть свою голову в любое время. Для этого требуется, чтобы был перенесен большой объем данных, что приводит к использованию большой ширины полосы и требует мощностей для дешифровки.

Техника, используемая в этом приложении, предусматривает сообщение о текущем и будущем угле наблюдения назад в сервер вместе с видео-сигналами, чтобы сервер мог отрегулировать параметры кодирования согласно углу наблюдения. Сервер может передать данные так, чтобы видимые области (активные источники изображения) использовали большую доступную ширину полосы и имели лучшее качество, а меньшая часть ширины полосы (и более низкое качество) остается для областей, которые не видимы в настоящее время или которые не будут видимыми в ближайшее время, если основываться на движении головы (пассивные источники изображения). На практике это означает, что, когда пользователь быстро поворачивает голову на значительный угол, контент сначала имеет худшее качество, но оно станет лучше, как только сервер принял новый угол наблюдения и соответственно отрегулировал поток. Преимущество может состоять в том, что пока перемещение головы невелико, качество изображения будет лучше по сравнению со случаем статического назначения одинаковой ширины полосы для всей сцены. Это иллюстрируется на фиг. 7b, где сигналы активных источников V1, V2, V5 и V7 кодируются с лучшим качеством, чем остальная часть сигналов источников V3, V4, V6 и V8 (пассивные источники изображения).

В случае трансляции (со множеством зрителей) сервер может транслировать множество потоков, при этом у каждого есть разная сильно сжатая область сферической панорамы, вместо одного потока, где все сжато одинаково. Устройство просмотра может тогда, согласно углу наблюдения, выбрать поток, который требуется дешифровать и просмотреть. При этом сервер не должен знать об угле наблюдения отдельного зрителя, и контент может быть транслирован любому количеству приемников.

Для экономии ширины полосы данные изображения могут быть обработаны так, чтобы часть сферического представления переносилась с более низким качеством. Это может быть осуществлено в сервере, например, как шаг предварительной обработки, чтобы требования к вычислениям во время передачи были меньше.

В случае соединения «один с одним» между зрителем и сервером (то есть не трансляции) выбирают часть картинки, которая переносится с более низким качеством, - она не видима при текущем угле наблюдения. Клиент может непрерывно сообщать в сервер свой угол наблюдения. В то же время клиент может также отсылать назад другие подсказки о качестве и ширине полосы потока, которые он хочет принимать.

В случае трансляции (соединение «один со многими») сервер может транслировать множество потоков, где различные части картинки переносятся в более низком качестве, а затем клиент выбирает поток, который дешифрует и просматривает, так чтобы область с низким качеством оставалась вне изображения при текущим угле наблюдения.

Некоторые способы понижения качества определенной области при сферическом представления включают, например:

- Уменьшение пространственного разрешения и/или масштаба данных изображения;

- Уменьшение разрешения цветового кодирования или битовой глубины;

- Уменьшение скорости кадров;

- Увеличение сжатия; и/или

- Отбрасывание дополнительных источников для пиксельных данных и хранение только одного источника для пикселей, фактически эффективно делая эту область моноскопической вместо стереоскопической.

Все это можно осуществить индивидуально, в комбинациях, или даже одновременно, например на базе источников путем разбивания потока на два или большее количество отдельных потоков, которые являются или потоками высокого качества или потоками низкого качества и содержат один или большее количество источников на поток.

Эти способы могут также быть применены, даже если все источники переносятся в том же потоке. Например в потоке, который содержит 8 источников, организованных в восьмигранник, можно значительно снизить ширину полосы, если не трогать те 4 источника, которые охватывают текущее направление просмотра полностью (и с избытком), а из оставшихся 4 источников 2 отбросить полностью, и уменьшить масштаб для двух оставшихся. Кроме того, сервер может обновлять те два источника с низким качеством только каждый второй кадр, чтобы алгоритм сжатия был в состоянии сжимать нетронутые последовательные кадры очень плотно, а также можно установить, чтобы при сжатии область, представляющая интерес, покрывала только 4 незатронутых источника. Осуществляя это, сервер может поддерживать высокое качество всех видимых источников, но значительно снизить требуемую ширину полосы, делая невидимые области моноскопическими, с более низким разрешением, с более низкой скоростью кадров и с большей степенью сжатия. Пользователь это увидит, если быстро изменит направление просмотра, но затем клиент приспособится к новому углу наблюдения и выберет поток (потоки), которые имеют новый угол наблюдения и высокое качество, или в случае взаимодействия «один в один» сервер адаптирует поток, чтобы обеспечить высококачественные данные для нового угла наблюдения и снизить качество для источников, которые скрыты.

Рендеринг синтетического 3D контента может происходить из внутренней модели сцены с использованием графического обрабатывающего устройства для интерактивного воспроизведения. Такой подход распространен, например, в компьютерных играх. Однако сложность и реализм такого контента всегда ограничивается количеством доступной локальной вычислительной мощности, которая намного меньше, чем доступно для рендеринга «не вживую».

Однако предварительный рендеринг 3D-фильмов с компьютерно-анимируемым 3D-контентом традиционно производится с фиксированной точкой наблюдения, кодируемой в пары стерео-изображений. В лучшем случае зритель может вручную выбрать пару по желанию, хотя в киноиндустрии доступна только одна пара. Такие подходы не имеют интерактивного потенциала для работы с контентом с локальным рендерингом.

На фиг. 8 иллюстрируется использование синтетических видео-источников в модели виртуальной реальности для создания изображений для стерео-просмотра. Техника, используемая в этом приложении, должна использовать способ, уже описанный выше, для захвата контента реального мира для предварительного рендеринга, для распределения и воспроизведения виртуального контента, рендеринг которых производится компьютерами. В этом случае, как показано на фиг. 8, устройство VCAMS с виртуальными камерами содержит множество камер и помещено в виртуальный мир кинофильма, а происходящее действие захватывается компьютером в видео-потоки, соответствующие виртуальным камерам устройства с виртуальными камерами. Другими словами, контент, поставляемый игроку, должен генерироваться искусственно так же, как в обычном 3D фильме, однако содержит множество картинок из камер (больше, чем 2), покрывающих всю сферу вокруг виртуального зрителя по меньшей мере дважды, и для каждой ориентации зрителя создают множество аудиопотоков, обеспечивающих создание реалистичного аудио сигнала. Если говорить в практических терминах, используется внутренняя трехмерная (подвижная) модель виртуального мира для вычисления изображений источника. В результате рендеринга различных объектов OBJ1, OBJ2 и OBJ3 получают изображения, захваченные камерой, и выполняют вычисления для каждой камеры. Например, виртуальные 360-градусные виртуальные камеры в углах тетраэдра обеспечили бы такую же величину перекрытия как физическое 8-камерное устройство, описанное выше. 4 камеры, которые захватывают полную сцену, но обладают диспарантностью, когда взяты парами, обеспечивают стерео-просмотр синтетического мира при произвольных углах. Можно использовать также 8 полусферных камер или любое другое практическое количество. Виртуальные камеры не заслоняют друг друга так, как реальные камеры, потому что виртуальные камеры могут быть сделаны невидимыми в виртуальном мире. Поэтому количество виртуальных камер можно выбрать так, чтобы зрительское устройство могло выполнить рендеринг изображений.

В просмотровом устройстве сигналы широкоугольных синтетических источников могут быть дешифрованы, и могут быть созданы стерео-изображения синтетического мира путем выбора сигналов источников для левого глаза и правого глаза и, возможно, создания изображения способом сшивания, описанным выше, если имеется потребность в таком сшивании. В результате каждый зритель этого контента может находиться в виртуальном мире фильма и может смотреть во всех направлениях, даже в момент, когда фильм остановлен.

На фиг. 9а показана последовательность операций для способа формирования изображения для стерео-просмотра. Как описано выше, на шаге 910 определяют ориентацию головы пользователя с получением первой ориентации головы. На основе этой ориентации головы на шаге 915 выбирают первый источник изображения и второй источник изображения. Эти источники изображения таковы, что формируют источник стерео-изображения, то есть, стерео-изображение, созданное из изображений из этих двух источников, создало бы иллюзию трехмерного изображения в зрительной системе человека. На шаге 920 создают первое стерео-изображение путем рендеринга первого целевого изображения для одного глаза пользователя с использованием первого источника изображения и создают второе целевое изображение для другого глаза пользователя с использованием второго источника изображения. Эти источники изображения могут быть достаточными для обоих - первого и второго целевых изображений, - или можно также использовать другие источники изображения, как было описано выше. На шаге 930 снова определяют ориентацию головы пользователя с получением второй ориентации головы. На основе указанной второй ориентации головы на шаге 935 выбирают тот же самый второй источник изображения и новый третий источник изображения. Эти источники изображения таковы, что формируют источник стереоизображения, то есть, стерео-изображение, созданное из изображений из этих двух источников, создало бы иллюзию трехмерного изображения в зрительной системе человека. Затем на шаге 940 создают второе стерео-изображение путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием второго источника изображения и создают четвертое целевое изображение для другого глаза пользователя с использованием третьего источника изображения.

На фиг. 9b показана последовательность операций для передачи изображений для стерео-просмотра.

Различные варианты выполнения настоящего изобретения могут быть осуществлены с помощью компьютерного программного кода, который находится в памяти и заставляет соответствующие устройства выполнять изобретение. Например, устройство может содержать электрическую схему и электронные средства для обработки, приема и передачи данных, компьютерный программный код в памяти и процессор, который при выполнении компьютерного программного кода заставляет устройство выполнять функции какого-либо из вариантов выполнения настоящего изобретения. Кроме того, сетевое устройство, например, сервер, может содержать электрическую схему и электронные средства для обработки, приема и передачи данных, компьютерный программный код в памяти и процессор, который при выполнении компьютерного программного кода заставляет устройство выполнять функции какого-либо из вариантов выполнения настоящего изобретения.

Очевидно, что настоящее изобретение не ограничено исключительно описанными выше вариантами его выполнения, но может быть модифицировано в объеме пунктов формулы изобретения.

Изобретение относится к стереопросмотру изображений. Техническим результатом является обеспечение прострмотра трехмерного изображения. Способ включает: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, указанные первый и второй источники изображения формируют источник стереоизображения, рендеринг первого стереоизображения путем рендеринга первого целевого изображение для одного глаза пользователя и путем рендеринга второго целевого изображения для другого глаза пользователя, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, второй и третий источники изображения формируют источник стереоизображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения. 15 н. и 59 з.п. ф-лы, 28 ил.

1. Способ создания данных стереоизображения, включающий:

определение ориентации головы пользователя с получением первой ориентации головы,

выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,

рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,

определение ориентации головы указанного пользователя с получением второй ориентации головы,

выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,

рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

2. Способ по п. 1, включающий:

формирование значений цвета для первой области пикселей, соответствующих первой области сцены, с использованием указанного первого источника изображения, при этом указанные значения цвета для указанной первой области пикселей используют для формирования указанного первого целевого изображения для отображения его первому глазу,

формирование значений цвета для второй области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной второй области пикселей используют для формирования указанного второго целевого изображения для отображения его второму глазу,

формирование значений цвета для третьей области пикселей, соответствующих указанной первой области сцены, с использованием указанного третьего источника изображения, при этом указанные значения цвета для указанной третьей области пикселей используют для формирования указанного третьего целевого изображения для отображения его указанному первому глазу,

формирование значений цвета для четвертой области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной четвертой области пикселей используют для формирования указанного четвертого целевого изображения для отображения его указанному второму глазу.

3. Способ по п. 1 или 2, включающий:

определение местоположений первого и второго виртуальных глаз, соответствующих указанным глазам пользователя в системе координат, с использованием указанной ориентации головы,

выбор указанных источников изображения на основе указанных местоположений указанных виртуальных глаз относительно местоположений источников изображения в указанной системе координат.

4. Способ по п. 3, включающий:

определение такого источника изображения для пикселя изображения для первого глаза пользователя, который будет близким источником изображения, удовлетворяющим критерию близости к виртуальному глазу, соответствующему указанному первому глазу, при этом указанный близкий источник изображения захватывает часть сцены, соответствующую указанному пикселю, и

определение источника изображения для пикселя изображения для указанного первого глаза пользователя, который будет другим источником, нежели указанный близкий источник изображения для указанного виртуального глаза, соответствующий указанному первому глазу, при этом указанный близкий источник изображения не захватывает часть сцены, соответствующую указанному пикселю.

5. Способ по п. 1 или 2, включающий:

такой рендеринг областей изображения для глаза, чтобы эти области соответствовали источникам изображения, при этом производят рендеринг этих областей в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в системе координат источника изображения.

6. Способ по п. 5, в котором области указанного изображения объединяют на краях с использованием техники сшивания изображения.

7. Способ по п. 6, в котором указанные области указанных изображений объединяют путем блендирования краевых частей этих областей.

8. Способ по п. 1 или 2, включающий:

блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.

9. Способ по п. 8, включающий:

регулировку продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.

10. Способ по п. 1 или 2, включающий:

определение аудиоинформации для левого уха и аудиоинформации для правого уха с использованием указанной информации об ориентации головы для модификации аудиоинформации из двух или большего количества аудиоисточников с использованием функции моделирования восприятия звука.

11. Способ по п. 1 или 2, включающий:

определение информации об ориентации источников для указанных источников изображения и использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.

12. Способ по п. 10, включающий:

определение информации об ориентации источников для указанных аудиоисточников и

использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для модификации аудиоинформации из указанных аудиоисточников.

13. Способ по п. 1 или 2, в котором указанные источники изображения представляют собой камеры в реальном мире.

14. Способ по п. 1 или 2, в котором указанные источники изображения сформированы как выход компьютерного устройства, использующего виртуальные камеры для рендеринга синтетических изображений.

15. Способ по п. 1 или 2, в котором указанная ориентация головы связана с физической ориентацией головы пользователя.

16. Способ по п. 1 или 2, в котором указанная ориентация головы связана с виртуальной ориентацией направления просмотра пользователем, которым управляет компьютерная программа или компьютерное устройство ввода.

17. Способ по п. 1 или 2, в котором указанные стереоизображения используются для формирования стереовидеопоследовательности.

18. Способ создания данных стерео-изображения, включающий:

определение ориентаций головы пользователя для формирования стереовидеопоследовательности сцены;

выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и

рендеринг указанной стереовидеопоследовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стереокадре указанной видеопоследовательности.

19. Способ создания данных стереоизображения, включающий:

кодирование множества видеосигналов источников для стереопросмотра, при этом указанные видеосигналы источников содержат видеоданные из множества камер-источников, и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены;

передачу указанного множества видеосигналов источника в устройство стереопросмотра для просмотра;

при этом выполняют по меньшей мере одно из указанного кодирования и передачи так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.

20. Способ по п. 19, в котором указанные видеосигналы источников содержат по меньшей мере три сигнала активной области сцены, так чтобы указанные по меньшей мере три сигнала активной области сцены покрывали область сцены, так чтобы по меньшей мере две различные пары указанных сигналов активной области сцены могли использоваться для создания стереоскопического видеоизображения указанной области сцены.

21. Устройство для создания данных стереоизображения, содержащее:

по меньшей мере три камеры, расположенные регулярно или нерегулярно друг относительно друга так, что любая пара указанных камер из по меньшей мере трех камер имеет диспарантность для создания стереоизображения, имеющего диспарантность,

при этом указанные по меньшей мере три камеры имеют такие перекрывающиеся поля зрения, что определяется область перекрытия, для которой каждая часть захвачена указанными по меньшей мере тремя камерами.

22. Устройство по п. 21, в котором любая пара камер по меньшей мере из трех камер имеет параллакс, соответствующий параллаксу человеческих глаз, для создания стереоизображения.

23. Устройство по п. 22, в котором указанный параллакс между любой указанной парой камер лежит между 5,0 см и 12,0 см.

24. Устройство по п. 21, 22 или 23, в котором указанные по меньшей мере три камеры имеют различные направления оптической оси.

25. Устройство по любому из пп. 21-23, в котором указанные области перекрытия имеют простую односвязную топологию.

26. Устройство по любому из пп. 21-23, в котором поле зрения каждой из указанных по меньшей мере трех камер приблизительно соответствует половине сферы.

27. Устройство по любому из пп. 21-23, которое содержит три камеры, при этом указанные три камеры расположены в вершинах треугольника, в результате чего направления оптических осей между любой парой камер формируют угол меньше 90 градусов.

28. Устройство по любому из пп. 21-23, в котором указанные по меньшей мере три камеры содержат:

восемь камер с широким полем зрения, расположенных по существу в углах виртуального куба, при этом каждая имеет направление оптической оси по существу от центральной точки виртуального куба к углу регулярным образом, при этом поле зрения каждой из указанных камер с широким полем зрения составляет по меньшей мере 180°, так чтобы каждая часть целой сферы обзора была покрыта по меньшей мере четырьмя камерами.

29. Устройство для создания данных стереоизображения, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее:

определение ориентации головы пользователя с получением первой ориентации головы,

выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,

рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,

определение ориентации головы указанного пользователя с получением второй ориентации головы,

выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,

рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

30. Устройство по п. 29, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

формирование значений цвета для первой области пикселей, соответствующих первой области сцены, с использованием указанного первого источника изображения, при этом указанные значения цвета для указанной первой области пикселей используют для формирования указанного первого целевого изображения для отображения его первому глазу,

формирование значений цвета для второй области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной второй области пикселей используют для формирования указанного второго целевого изображения для отображения его второму глазу,

формирование значений цвета для третьей области пикселей, соответствующих указанной первой области сцены, с использованием указанного третьего источника изображения, при этом указанные значения цвета для указанной третьей области пикселей используют для формирования указанного третьего целевого изображения для отображения его указанному первому глазу,

формирование значений цвета для четвертой области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной четвертой области пикселей используют для формирования указанного четвертого целевого изображения для отображения его указанному второму глазу.

31. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

определение местоположений первого и второго виртуальных глаз, соответствующих указанным глазам пользователя в системе координат, с использованием указанной ориентации головы,

выбор указанных источников изображения на основе указанных местоположений указанных виртуальных глаз относительно местоположений источников изображения в указанной системе координат.

32. Устройство по п. 31, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

определение такого источника изображения для пикселя изображения для первого глаза пользователя, который будет близким источником изображения, удовлетворяющим критерию близости к виртуальному глазу, соответствующему указанному первому глазу, при этом указанный близкий источник изображения захватывает часть сцены, соответствующую указанному пикселю, и

определение источника изображения для пикселя изображения для указанного первого глаза пользователя, который будет другим источником, нежели указанный близкий источник изображения для указанного виртуального глаза, соответствующий указанному первому глазу, при этом указанный близкий источник изображения не захватывает часть сцены, соответствующую указанному пикселю.

33. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

такой рендеринг областей изображения для глаза, чтобы эти области соответствовали источникам изображения, при этом производится рендеринг этих областей в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в системе координат источника изображения.

34. Устройство по п. 33, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

объединение области указанного изображения на краях с использованием техники сшивания изображения.

35. Устройство по п. 34, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

объединение указанных областей указанных изображений путем блендирования краевых частей этих областей.

36. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.

37. Устройство по п. 36, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

регулировку продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.

38. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

определение аудиоинформации для левого уха и аудиоинформации для правого уха с использованием указанной информации об ориентации головы для модификации аудиоинформации из двух или большего количества аудиоисточников с использованием функции моделирования восприятия звука.

39. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

определение информации об ориентации источников для указанных источников изображения, и

использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.

40. Устройство по п. 38, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:

определение информации об ориентации источников для указанных аудиоисточников и

использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для модификации аудиоинформации из указанных аудиоисточников.

41. Устройство по п. 29 или 30, в котором указанные источники изображения представляют собой камеры в реальном мире

42. Устройство по п. 29 или 30, в котором указанные источники изображения сформированы как выход компьютерного устройства с использованием виртуальных камер для рендеринга синтетических изображений.

43. Устройство по п. 29 или 30, в котором указанная ориентация головы связана с физической ориентацией головы пользователя.

44. Устройство по п. 29 или 30, в котором указанная ориентация головы связана с виртуальной ориентацией направления просмотра пользователем, которым управляет компьютерная программа или компьютерное устройство ввода.

45. Устройство по п. 29 или 30, в котором указанные стереоизображения используются для формирования стереовидеопоследовательности.

46. Устройство для создания данных стереоизображения, содержащее по меньшей мере один процессор, и память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении кода по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее:

определение ориентаций головы пользователя для формирования стереовидеопоследовательности сцены;

выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и

рендеринг указанной стереовидеопоследовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стереокадре указанной видеопоследовательности.

47. Устройство для создания данных стереоизображения, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее:

кодирование множества видеосигналов источников для стереопросмотра, при этом указанные видеосигналы источников содержат видеоданные из множества камер-источников, и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены;

передачу указанного множества видеосигналов источника в устройство стереопросмотра для просмотра;

при этом по меньшей мере одно из указанного кодирования и передачи выполняются так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.

48. Устройство по п. 47, указанные видеосигналы источников содержат по меньшей мере три сигнала активной области сцены, так чтобы указанные по меньшей мере три сигнала активной области сцены покрывали область сцены, так чтобы по меньшей мере две различные пары указанных сигналов активной области сцены могли использоваться для создания стереоскопического видеоизображения указанной области сцены.

49. Система для создания данных стереоизображения, содержащая по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении кода по меньшей мере одним процессором заставляют систему выполнять по меньшей мере следующее:

определение ориентации головы пользователя с получением первой ориентации головы,

выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,

рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,

определение ориентации головы указанного пользователя с получением второй ориентации головы,

выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,

рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

50. Считываемый компьютером носитель для создания данных стереоизображения, содержащий компьютерный программный код, который при выполнении его по меньшей мере одним процессором заставляет устройство или систему выполнять следующее:

определение ориентации головы пользователя с получением первой ориентации головы,

выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,

рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,

определение ориентации головы указанного пользователя с получением второй ориентации головы,

выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,

рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

51. Устройство для создания данных стереоизображения, содержащее:

средство для определения ориентации головы пользователя с получением первой ориентации головы,

средство для выбора первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,

средство для рендеринга первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,

средство для определения ориентации головы указанного пользователя с получением второй ориентации головы,

средство для выбора указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,

средство для рендеринга второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

52. Устройство по п. 51, содержащее:

средство для формирования значений цвета для первой области пикселей, соответствующих первой области сцены, с использованием указанного первого источника изображения, при этом указанные значения цвета для указанной первой области пикселей используют для формирования указанного первого целевого изображения для отображения его первому глазу,

средство для формирования значений цвета для второй области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной второй области пикселей используют для формирования указанного второго целевого изображения для отображения его второму глазу,

средство для формирования значений цвета для третьей области пикселей, соответствующих указанной первой области сцены, с использованием указанного третьего источника изображения, при этом указанные значения цвета для указанной третьей области пикселей используют для формирования указанного третьего целевого изображения для отображения его указанному первому глазу,

средство для формирования значений цвета для четвертой области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной четвертой области пикселей используют для формирования указанного четвертого целевого изображения для отображения его указанному второму глазу.

53. Устройство по п. 51 или 52, содержащее:

средство для определения местоположений первого и второго виртуальных глаз, соответствующих указанным глазам пользователя в системе координат, с использованием указанной ориентации головы,

средство для выбора указанных источников изображения на основе указанных местоположений указанных виртуальных глаз относительно местоположений источников изображения в указанной системе координат.

54. Устройство по п. 53, содержащее:

средство для определения такого источника изображения для пикселя изображения для первого глаза пользователя, который будет близким источником изображения, удовлетворяющим критерию близости к виртуальному глазу, соответствующему указанному первому глазу, при этом указанный близкий источник изображения захватывает часть сцены, соответствующую указанному пикселю, и

средство для определения источника изображения для пикселя изображения для указанного первого глаза пользователя, который будет другим источником, нежели указанный близкий источник изображения для указанного виртуального глаза, соответствующий указанному первому глазу, при этом указанный близкий источник изображения не захватывает часть сцены, соответствующую указанному пикселю.

55. Устройство по п. 51 или 52, содержащее:

средство для такого рендеринга областей изображения для глаза, чтобы эти области соответствовали источникам изображения, при этом производится рендеринг этих областей в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в системе координат источника изображения.

56. Устройство по п. 55, содержащее средство для объединения области указанного изображения на краях с использованием техники сшивания изображения.

57. Устройство по п. 56, содержащее средство для объединения указанных областей указанных изображений путем блендирования краевых частей этих областей.

58. Устройство по п. 51 или 52, содержащее:

средство для блендирования временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.

59. Устройство по п. 58, содержащее:

средство для регулировки продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.

60. Устройство по п. 51 или 52, содержащее:

средство для определения аудиоинформации для левого уха и аудиоинформации для правого уха с использованием указанной информации об ориентации головы для модификации аудиоинформации из двух или большего количества аудиоисточников с использованием функции моделирования восприятия звука.

61. Устройство по п. 51 или 52, содержащее:

средство для определения информации об ориентации источников для указанных источников изображения, и

средство для использования указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.

62. Устройство по п. 60, содержащее:

средство для определения информации об ориентации источников для указанных аудиоисточников и

средство для использования указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для модификации аудиоинформации из указанных аудиоисточников.

63. Устройство по п. 51 или 52, в котором указанные источники изображения представляют собой камеры в реальном мире.

64. Устройство по п. 51 или 52, в котором указанные источники изображения сформированы как выход компьютерного устройства с использованием виртуальных камер для рендеринга синтетических изображений.

65. Устройство по п. 51 или 52, в котором указанная ориентация головы связана с физической ориентацией головы пользователя.

66. Устройство по п. 51 или 52, в котором указанная ориентация головы связана с виртуальной ориентацией направления просмотра пользователем, которым управляет компьютерная программа или компьютерное устройство ввода.

67. Устройство по п. 51 или 52, в котором указанные стереоизображения используются для формирования стереовидеопоследовательности.

68. Устройство для создания данных стереоизображения, содержащее:

средство для определения ориентаций головы пользователя для формирования стереовидеопоследовательности сцены;

средство для выбора первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и

средство для рендеринга указанной стереовидеопоследовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стереокадре указанной видеопоследовательности.

69. Устройство для создания данных стереоизображения, содержащее:

средство для кодирования множества видеосигналов источников для стереопросмотра, при этом указанные видеосигналы источников содержат видеоданные из множества камер-источников, и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены;

средство для передачи указанного множества видеосигналов источника в устройство стереопросмотра для просмотра;

при этом по меньшей мере одно из указанного кодирования и передачи выполняется так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.

70. Устройство по п. 69, в котором указанные видеосигналы источников содержат по меньшей мере три сигнала активной области сцены, так чтобы указанные по меньшей мере три сигнала активной области сцены покрывали область сцены, так чтобы по меньшей мере две различные пары указанных сигналов активной области сцены могли использоваться для создания стереоскопического видеоизображения указанной области сцены.

71. Способ создания данных стереоизображения, включающий:

определение ориентации головы пользователя с получением первой ориентации головы,

выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,

рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,

определение ориентации головы указанного пользователя с получением второй ориентации головы,

выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,

рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения,

блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.

72. Способ по п. 71, включающий:

регулировку продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.

73. Способ создания данных стереоизображения, включающий:

определение ориентации головы пользователя с получением первой ориентации головы,

выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,

рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,

определение ориентации головы указанного пользователя с получением второй ориентации головы,

выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,

рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения,

определение информации об ориентации источников для указанных источников изображения, и

использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.

74. Способ создания данных стереоизображения, включающий:

определение ориентации головы пользователя с получением первой ориентации головы,

выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,

рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,

определение ориентации головы указанного пользователя с получением второй ориентации головы,

выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,

рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, при этом

формирование указанных первого, второго и третьего источников изображения как выхода компьютерного устройства с использованием виртуальной камеры для рендеринга синтетического изображения для указанных первого, второго и третьего источников изображения.

название	год	авторы	номер документа
СПОСОБ И СИСТЕМА ДЛЯ ПРЕОБРАЗОВАНИЯ СТЕРЕОКОНТЕНТА	2009	Игнатов Артем Константинович Джосан Оксана Васильевна	RU2423018C2
ГЕНЕРИРОВАНИЕ ИЗОБРАЖЕНИЯ ДЛЯ АВТОСТЕРЕОСКОПИЧЕСКОГО ДИСПЛЕЯ	2016	Крон Барт	RU2707726C2
ОБОРУДОВАНИЕ И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ	2018	Крон, Барт Де Хан, Вибе	RU2765424C2
СИСТЕМА И СПОСОБ ФОРМИРОВАНИЯ И ВОСПРОИЗВЕДЕНИЯ ТРЕХМЕРНОГО ВИДЕОИЗОБРАЖЕНИЯ	2009	Игнатов Артем Константинович Буча Виктор Валентинович Рычагов Михаил Николаевич	RU2421933C2
ОСНОВАННОЕ НА ЗНАЧИМОСТИ ОТОБРАЖЕНИЕ ДИСПАРАТНОСТИ	2012	Брюльс Вильгельмус Хендрикус Альфонсус Крон Барт Вандевалле Патрик Люк Эльс	RU2580439C2
Сигнал изображения, представляющий сцену	2020	Ван Гест, Бартоломеус Вильгельмус Дамианус Крон, Барт	RU2817803C2
СПОСОБ УЛУЧШЕНИЯ ПЛОТНОЙ И РАЗРЕЖЕННОЙ КАРТ ДИСПАРАНТНОСТИ, ТОЧНОСТИ РЕКОНСТРУИРУЕМОЙ ТРЕХМЕРНОЙ МОДЕЛИ И УСТРОЙСТВО ДЛЯ РЕАЛИЗАЦИИ СПОСОБА	2012	Скрибцов Павел Вячеславович	RU2479039C1
ВОСПРИЯТИЯ МНОГОСЛОЙНЫХ ДОПОЛНЕННЫХ РАЗВЛЕЧЕНИЙ	2018	Нинан, Аджит Маммен, Нил Браун, Тайром И.	RU2722495C1
УСТРОЙСТВО ДЛЯ ДЕМОНСТРАЦИИ РАСТРОВОГО СТЕРЕОСКОПИЧЕСКОГО ИЗОБРАЖЕНИЯ С ВЫСОКИМ РАЗРЕШЕНИЕМ	2008	Елхов Виктор Александрович Овечкис Юрий Натанович Кондратьев Николай Витальевич Паутова Лариса Викторовна	RU2391689C2
ОБРАБОТКА ИЗОБРАЖЕНИЯ	2017	Варекамп, Кристиан Вандевалле, Патрик, Люк, Эльс	RU2746431C2

US 6141034 A, 31.10.2000
US 20020110275 A1, 15.08.2002
US 20040246333 A1, 09.12.2004
СПОСОБ ФОРМИРОВАНИЯ ТРЕХМЕРНОГО ЦВЕТНОГО ВИРТУАЛЬНОГО ВИДЕОИЗОБРАЖЕНИЯ И УСТРОЙСТВО ДЛЯ СОЗДАНИЯ ЭФФЕКТА ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ У ПОЛЬЗОВАТЕЛЯ (ВАРИАНТЫ)	2007	Леонов Владимир Семенович	RU2375840C2

Стереопросмотр Российский патент 2018 года по МПК G06T15/00

Описание патента на изобретение RU2665872C2

Похожие патенты RU2665872C2

Иллюстрации к изобретению RU 2 665 872 C2

Реферат патента 2018 года Стереопросмотр

Формула изобретения RU 2 665 872 C2

Документы, цитированные в отчете о поиске Патент 2018 года RU2665872C2

RU 2 665 872 C2