СИСТЕМА И СПОСОБ ПРЕОБРАЗОВАНИЯ ДВУХМЕРНОЙ ВИДЕОЗАПИСИ В ТРЕХМЕРНУЮ ВИДЕОЗАПИСЬ Российский патент 2018 года по МПК G06T15/00 H04N13/02 G06T7/285 G02B27/22 

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Настоящее изобретение относится к способу и системе для преобразования двумерной (моноскопической) видеозаписи в трехмерную (стереоскопическую) видеозапись и, более конкретно, к способу и системе для преобразования двумерной (моноскопической) видеозаписи в трехмерную (стереоскопическую) видеозапись в реальном времени.

Люди обладают системой бинокулярного зрения, которая использует два глаза, разнесенных друг от друга приблизительно на два с половиной дюйма (приблизительно 6,5 сантиметров). Каждый глаз видит мир с немного отличающегося ракурса. Мозг использует разность этих ракурсов для расчета или измерения расстояния. Такая система бинокулярного зрения отвечает за возможность определения с относительно хорошей точностью расстояния до объекта, удаленного вплоть до приблизительно двадцати футов (6,1 м). Также может быть определено относительное расстояние до множества объектов в поле зрения. Использование только одного глаза значительно уменьшило бы точность такого определения расстояний.

Традиционные трехмерные фильмы или видеозаписи (далее в данном документе в общем упоминаемые в качестве «видеозаписей») создаются с использованием двух источников видеозаписей (например, камер), которые располагаются на одной линии, на расстоянии друг от друга приблизительно от трех дюймов (7,62 см) (например, на том же расстоянии, на которое отстоят друг от друга глаза человека до восьми дюймов (20,32 см). Данное расстояние часто упоминается в качестве межосевого или межокулярного расстояния. Эти два источника видеозаписей фактически создают две видеозаписи; одну для левого глаза и одну для правого глаза. Каждая видеозапись состоит из последовательности «кадров» (называемых «кадрами» или «видеокадрами»).

Традиционно, проекция или отображение трехмерной видеозаписи выполняются посредством проецирования или отображения множества видеозаписей с использованием, например, системы цветового дифференцирования или системы поляризации. Это может быть выполнено с использованием множества устройств проецирования или отображения (например, проекторов), каждое из которых отображает одну из видеозаписей. Это также осуществляется с использованием одиночного устройства проецирования или отображения (например, системы цифрового или аналогового отображения компьютера, проигрывателя ВЕТАМАХ®, VCR, DVD-проигрывателя, blue-ray проигрывателя, телевизора), которые отображают видеозаписи по принципу наложения или чередования. Человеческая система бинокулярного зрения способна автоматически соотносить эти накладывающиеся отображения, потому что каждый глаз видит только одно из накладывающихся или чередующихся отображений.

На Фиг. 1 показана примерная традиционная система 20 цветового дифференцирования для проецирования или отображения трехмерной видеозаписи 22, которая использует цвет для дифференцирования. Первый источник 24 видеозаписи осуществляет проецирование через первый цветовой фильтр (например, красный), а второй источник 26 видеозаписи осуществляет проецирование через второй цветовой фильтр (например, синий). Видеозапись 22 на данной Фигуре показана с увеличенным двойным изображением. Зрители надевают специальные очки 28 с соответствующими цветными линзами 30, 32. Например, первая линза 30 имеет такой же цвет,, как и цвет одного из цветовых фильтров (например, синий - изображенный в качестве горизонтальных линий, параллельных нижней части страницы чертежа), а вторая линза 32 имеет такой же цвет, как и цвет другого цветового фильтра (например, красный - изображенный в качестве вертикальных линий, параллельных боковой стороне страницы чертежа). Отображение на экране имеет оба цвета (изображенные в качестве проецируемых от экрана стрелок). Глаз, заслоненный первой линзой 30, просматривает снимок, проецируемый или отображаемый источником 24 видеозаписи, проецирующим или отображающим противоположный цвет. Глаз, заслоненный второй линзой 32, просматривает снимок, проецируемый или отображаемый источником 26 видеозаписи, проецирующим или отображающим противоположный цвет. Компания ChromaDepth® производит очки (с использованием микропризм со схожей двухцветной технологией), которые функционируют по тому же основному принципу.

На Фиг. 2 показана примерная система 40 поляризационного дифференцирования для проецирования или отображения трехмерной видеозаписи 42, которая использует поляризацию для дифференцирования. Видеозапись 42 на данной Фигуре изображена с увеличенным двойным изображением. Данная система использует преимущества того, что поляризованный свет проходит через поляризованное стекло, только если они оба поляризованы в одном направлении. Соответственно, первый источник 44 видеозаписи осуществляет проецирование через первый поляризованный фильтр (например, горизонтальный), а второй источник 46 видеозаписи осуществляет проецирование через второй поляризованный фильтр (например, вертикальный). Зрители надевают специальные очки 48 с соответствующими поляризованными линзами 50, 52. Например, первая линза 50 имеет ту же поляризацию, что и один из поляризованных фильтров (например, изображенную в качестве вертикальных пунктирных линий), а вторая линза 52 имеет ту же поляризацию, что и другой поляризованный фильтр (например, изображенную в качестве горизонтальных пунктирных линий). В данном примере глаз, заслоненный первой линзой 50, просматривает снимок, проецируемый или отображаемый источником 44 видеозаписи, проецирующим горизонтально поляризованный снимок, а глаз, заслоненный второй линзой 52, просматривает снимок, проецируемый или отображаемый источником 46 видеозаписи, проецирующим вертикально поляризованный снимок.

Другая технология, которая используется для показа трехмерных фильмов, использует жидкокристаллические затворные очки. Жидкокристаллические затворные очки имеют линзы, которые используют жидкие кристаллы и поляризующий фильтр, который прозрачен пока не подано напряжение, а во время подачи напряжения линзы становятся затемненными. Инфракрасный излучатель отправляет инфракрасный сигнал подачи напряжения так, чтобы линзы поочередно переключались между прозрачностью и затемненностью, сначала для одного глаза и затем для другого. Данное чередование прозрачности/затемненности синхронизируется с частотой обновления специализированного экрана отображения, который сменяется то на отображение первого ракурса для первого глаза, то на второе отображение для второго глаза с использованием методики, называемой попеременным чередованием кадров. Используемые совместно жидкокристаллические затворные очки и специализированный экран отображения создают иллюзию трехмерного снимка (или по меньшей мере трехмерных элементов снимка).

Трехмерные фильмы известны уже в течение долгого времени. Но после своего расцвета в 1950-ых трехмерные фильмы в качестве средства донесения пришли в упадок, и кинопродюсеры переключили свое внимание на другие технологии. Но новые технологии (включающие в себя системы поляризационного дифференцирования) сделали это средство донесения более привлекательным, и новые фильмы создаются и выпускаются в качестве трехмерных фильмов. Первичная причина этого состоит в том, что произошло значительное улучшение качества трехмерных фильмов. Другая причина становления популярности трехмерных фильмов состоит в том, что зрительская аудитория проявляет готовность оплачивать наценку за такой спецэффект.

Даже если кинопродюсеры готовы инвестировать в новые технологии для получения новых трехмерных фильмов, снимать фильм с использованием трехмерной технологии по-прежнему значительно дороже по сравнению с использованием двумерной технологии. Кроме того, существуют миллионы двумерных фильмов, которые уже созданы. Таким образом, имеется потребность в нахождении системы или способа преобразования двумерных фильмов в трехмерные фильмы.

Исходя из такой потребности изобретатели попытались создать способы и 30 системы для преобразования двумерных фильмов в трехмерные фильмы. Например, существует множество патентов, относящихся к способам и системам для преобразования двумерных фильмов для трехмерного просмотра. Во многих из этих патентов описан некоторый тип анализа для «идентификации», «вырезания» и/или «сдвига» одного или большего количества элементов или объектов в сцене и затем наслоения элементов или объектов для создания иллюзии глубины. Патенты, которые попадают в данную категорию, включают в себя, но не ограничиваются этим, патент США №6477267 Ричардса (Richards) и патент США №7321374 Наске (Naske). Однако, эти известные способы преобразования двумерных фильмов для трехмерного (стереоскопического) просмотра вообще не работоспособны (то есть, в теории они могут быть работоспособными, но на практике они не работают, так как доступная в настоящее время компьютерная технология не обладает достаточной мощностью для реализации этих интенсивных в вычислительном отношении способов), интенсивно используют ресурсы и/или не дают приемлемых результатов (например, эффект «книжки-раскладушки»). Например, некоторые известные способы настолько интенсивны в вычислительном отношении, что текущие процессоры не достаточно мощны, чтобы справляться с вычислениями для более чем нескольких элементов или объектов в каждой заданной сцене.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Один предпочтительный вариант осуществления настоящего изобретения относится к способу преобразования двумерной видеозаписи в трехмерную видеозапись. Способ включает этапы, на которых сравнивают по меньшей мере часть видеокадра x с соответствующей по меньшей мере частью видеокадра y для определения перемещения между ними, рассчитывают направление перемещения и протяженность перемещения на основе определенного перемещения, определяют просматриваемый кадр L и просматриваемый кадр R на основе направления перемещения и изменяют просматриваемый кадр R на основе направления перемещения и протяженности перемещения для создания измененного просматриваемого кадра R'.

В предпочтительных вариантах осуществления этап сравнения дополнительно включает этап, на котором сравнивают предварительно определенное количество пикселей видеокадра x с соответствующим предварительно определенным количеством пикселей видеокадра y для определения перемещения между ними. В альтернативных предпочтительных вариантах осуществления этап сравнения дополнительно включает этап, на котором сравнивают по меньшей мере один пиксель на краю видеокадра x с соответствующим по меньшей мере одним пикселем на краю видеокадра y, этап, на котором сравнивают по меньшей мере один пиксель в середине видеокадра x с соответствующим по меньшей мере одним пикселем в середине видеокадра y, и/или этап, на котором сравнивают по меньшей мере один пиксель по меньшей мере в двух углах видеокадра x с соответствующим по меньшей мере одним пикселем по меньшей мере в двух углах видеокадра y для определения перемещения между ними.

В предпочтительных вариантах осуществления этап определения просматриваемого кадра L и просматриваемого кадра R на основе направления перемещения дополнительно включает этапы, на которых (1) устанавливают видеокадр x в качестве просматриваемого кадра L и устанавливают видеокадр y в качестве просматриваемого кадра R, если направление перемещения является направлением направо, и (2) устанавливают видеокадр x в качестве просматриваемого кадра R и устанавливают видеокадр y в качестве просматриваемого кадра L, если направление перемещения является направлением налево.

В предпочтительных вариантах осуществления этап изменения просматриваемого кадра R дополнительно включает в себя этап, на котором цифровым образом деформируют просматриваемый кадр R для создания измененного просматриваемого кадра R'. Цифровая деформация может цифровым образом деформировать просматриваемый кадр R в вытянутую трапецию для создания измененного просматриваемого кадра R'. Цифровая деформация может цифровым образом деформировать просматриваемый кадр R в вытянутую трапецию с отсечением краев, за пределами размеров исходного кадра, для создания измененного просматриваемого кадра R'.

Настоящее изобретение может также относиться к устройству видеоотображения для преобразования двумерной видеозаписи в трехмерную видеозапись.

Настоящее изобретение может также относиться к одному или большему количеству машиночитаемых носителей, хранящих исполняемые команды, которые, при исполнении, конфигурируют устройство видеоотображения для преобразования двумерной видеозаписи в трехмерную видеозапись.

Вышеупомянутые и другие задачи, признаки и преимущества изобретения станут еще более понятны после рассмотрения последующего подробного описания изобретения, рассматриваемого совместно с сопроводительными чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На сопроводительных чертежах, которые объединены с данным описанием и составляют его часть, изображены различные примерные варианты осуществления.

На Фиг. 1 показан упрощенный вид в перспективе примерной традиционной системы цветового дифференцирования.

На Фиг. 2 показан упрощенный вид в перспективе примерной традиционной системы поляризационного дифференцирования.

На Фиг. 3 показана блок-схема последовательности операций, изображающая примерный предпочтительный вариант осуществления способа или системы 10 для преобразования двумерной видеозаписи в трехмерную видеозапись.

На Фиг. 4 показана упрощенная блок-схема примерного предпочтительного варианта осуществления системы, которая объединяет пары последовательных видеокадров для создания просматриваемых кадров с использованием примерного предпочтительного варианта осуществления системы цветового дифференцирования.

На Фиг. 5 показана упрощенная блок-схема примерного предпочтительного варианта осуществления системы, которая объединяет пары последовательных видеокадров для создания просматриваемых кадров с использованием одного примерного предпочтительного варианта осуществления системы поляризационного дифференцирования.

На Фиг. 6 показан упрощенный вид набора примерных видеокадров x и y, каждый из которых имеет массив пикселей (Р) и графические обозначения примерной краевой области, примерной срединной области и двух примерных углов в видеокадре x и с соответствующей примерной краевой областью, соответствующей примерной срединной областью и двумя соответствующими примерными углами в видеокадре y.

На Фиг. 7 показана блок-схема последовательности операций примерного предпочтительного варианта осуществления того, как 25 различные области последовательно проверяются, одна за другой.

На Фиг. 8A-8D показаны последовательности графических представлений примерного предпочтительного варианта осуществления настоящего изобретения при перемещении направо.

На Фиг. 9A-9D показаны последовательности графических представлений примерного предпочтительного варианта осуществления настоящего изобретения при перемещении налево.

На Фиг. 10 показан упрощенный вид массива пикселей (Р) с элементами из двух последовательных кадров, наложенных на него, причем данные элементы перемещены на малое количество пикселей (Р) между 5 этими двумя кадрами.

На Фиг. 11 показан упрощенный вид массива пикселей (Р) с элементами из двух последовательных кадров, наложенных на него, причем элементы перемещены на много пикселей (Р) между этими двумя кадрами.

На Фиг. 12 показан упрощенный вид экрана массива равномерно расположенных. 10 компонентов (X) просматриваемого кадра R в его исходной форме.

На Фиг. 13 показан упрощенный вид экрана массива компонентов (X) просматриваемого кадра R после удлиняющей вытягивающей деформации.

На Фиг. 14 показан упрощенный вид экрана массива компонентов (X) просматриваемого кадра R после трапецеидальной вытягивающей деформации.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Настоящее изобретение относится к способу и системе для преобразования двумерной (моноскопической) видеозаписи в трехмерную (стереоскопическую) видеозапись. В настоящем изобретении используется минимальное количество вычислительных ресурсов так, чтобы преобразование могло происходить в реальном времени. По сравнению с известным уровнем техники, в котором используется ресурсозатратый анализ или идентификация элементов или объектов в сцене, используются ресурсозатратные процессы для вырезания идентифицированных элементов или объектов и затем используются ресурсозатратные процессы для сдвигания только тех элементов или объектов (иногда с необходимостью заполнения пустых мест), настоящее изобретение значительно экономит ресурсы. Согласно настоящему изобретению предоставляется возможность преобразования двумерной видеозаписи в трехмерную видеозапись в реальном времени.

Следует понимать, что настоящие изобретения, примеры и варианты осуществления, описанные в данном документе, не ограничены конкретными проиллюстрированными материалами, способами и/или структурами. Дополнительно, все публикации, патенты и заявки на патенты, цитируемые в данном документе, выше или ниже, включены тем самым во всей своей полноте посредством ссылки.

Прежде, чем описывать изобретение и Фигуры, необходимо прояснить некоторую терминологию.

Как упомянуто выше, термин «видеозапись» используется для описания фильмов или видеозаписей, которые состоят из последовательности «кадров» (упоминаемых в качестве «кадров» или в качестве «видеокадров»). В целях ясности, последовательные видеокадры упоминаются в качестве видеокадра x и видеокадра y. Подразумевается, что эти термины являются связанными и, поэтому, видеокадр y становится видеокадром x для кадра, который за ним следует. Как будет рассмотрено ниже, видеокадр, который отображается для левого глаза, будет упоминаться в качестве просматриваемого кадра L, а видеокадр, который отображается для правого глаза, будет упоминаться в качестве просматриваемого кадра R. Следует заметить, однако, что один или оба из просматриваемого кадра L и просматриваемого кадра R могут быть изменены. Если отображается измененная версия, то отображаемый просматриваемый кадр описывается в качестве «измененного просматриваемого кадра».

В каждом видеокадре и/или просматриваемом кадре отображается «снимок», который включает в себя элементы или объекты (в общем упоминаемые в качестве «элементов»). Например, в «снимке» неба, «элемент» самолет может лететь через экран. Элементы могут быть перемещающимися или неподвижными. В формировании цифровых изображений термин «пиксель» в целом используется для описания самой малой неделимой порции информации в изображении. Пиксели обычно размещаются в двумерной сетке. Термин «пиксель» используется в настоящем изобретении прежде всего в виде пикселей на устройстве отображения, которые используются для отображения в себе снимка или элементов. Он также может использоваться для описания цифровых данных исходных видеокадров x и y. Пиксели (Р) изображаются и рассматриваются, например, относительно Фиг. 6, 10 и 11. В целях понимания настоящего изобретения, снимок может также быть описан как состоящий из массива компонентов (X), которые представляют собой мелкие части снимка, размещенные в массиве. В цифровых носителях компоненты (X) могут быть, например, электронными данными и/или пикселями. В аналоговых носителях (например, киноленте и видеоленте) компоненты (X) могут быть фактической кинопленкой. Компоненты (X) изображаются и рассматриваются, например, относительно Фиг. 12-14. Несмотря на то, что при некоторых обстоятельствах они могут быть взаимозаменяемы, применительно к настоящему изобретению, компоненты (X) отличает от пикселей (Р) то, что компоненты (X) могут быть смещены в процессе деформации. Это более понятно при просмотре Фиг. 12 и Фиг. 14. На Фиг. 12, компонент (X) в верхнем правом углу может быть точно таким же, что и пиксель (Р) в верхнем правом углу (не показан), однако после деформации кадра, как показано на Фиг. 14, компонент (X) в верхнем правом углу окажется за кадром и не будет точно таким же, что и пиксель (Р) в верхнем правом углу (не показан), который останется в том же самом положении, в котором он находился на Фиг. 12.

Следует отметить, что настоящее изобретение может быть реализовано с использованием различных типов технологий, включающих, но не ограничивающихся этим, системы видеоотображения (например, VCR, видеопроекторы, телевизоры и другие устройства проецирования или отображения), компьютеры (например, рабочие станции, карманные технические устройства или другие программируемые устройства), специализированные устройства или устройства общего назначения, выполненные с возможностью проецирования или отображения видеозаписи, или средства фактически любых современных или будущих технологий, выполненные с возможностью проецирования или отображения видеозаписи, все из которых упоминаются в данном описании в качестве «устройства видеоотображения». В состав устройств видеоотображения могут входить один или большее количество блоков обработки. Устройство видеоотображения может также быть объединением таких устройств, как телевизор и приставочный «блок», которые совместно функционируют в качестве устройства видеоотображения согласно настоящему изобретению. Кроме того, устройство видеоотображения согласно настоящему изобретению может быть реализовано в двух временно и/или физически различимых каскадах, например, с каскадом записи (например, прожиг или запись CD, DVD или ленты) и каскадом воспроизведения (например, проигрывание CD, DVD или ленты). Устройства видеоотображения могут быть сконструированы специально для настоящего изобретения и/или могут быть запрограммированы или иным образом приспособлены для использования с настоящим изобретением.

Следует отметить, что способ согласно настоящему изобретению может быть закодирован и/или сохранен на носителе, выполненном с возможностью быть «считанным» устройством видеоотображения или устройством, функционирующим совместно с устройством видеоотображения. Такой носитель включает, но не ограничивается этим, запоминающий носитель (например, RAM, PROM, EPROM или FLASH-EPROM), магнитные носители (например, дискеты, гибкие диски, жесткие диски или магнитные ленты), оптические носители (например, CD-ROM и DVD), физические носители (например, перфокарты или перфоленты) или фактически любые современные или будущие запоминающие средства и/или средства хранения, все из которых упоминаются в данном описании в качестве «запоминающего устройства», «запоминающих средств» и/или « машиночитаемого носителя». Запоминающее устройство может быть запоминающим устройством кратковременного хранения и/или запоминающим устройством долговременного хранения. Запоминающее устройство может составлять единое целое с устройством видеоотображения и/или быть обособленным от него. В качестве примера, если устройство видеоотображения является компьютером, то запоминающее устройство может быть считываемым компьютером носителем, на котором имеются исполняемые компьютером команды, которые, при исполнении, предписывают устройству видеоотображения преобразовывать двумерную видеозапись в трехмерную видеозапись в соответствии с настоящим изобретением.

Следует отметить, что настоящее изобретение может быть реализовано в качестве способа преобразования двумерной видеозаписи в трехмерную видеозапись. Следует отметить, что настоящее изобретение может быть реализовано в качестве системы для преобразования двумерной видеозаписи в трехмерную видеозапись. Следует отметить, что «система» может быть устройством видеоотображения и/или одним или большим количеством машиночитаемых носителей, хранящих исполняемые команды, которые, при исполнении, конфигурируют устройство видеоотображения для преобразования двумерной видеозаписи в трехмерную видеозапись.

Необходимо отметить, что термины и фразы могут иметь дополнительные определения и/или примеры в описании. Там, где особым образом не определено иное, словам, фразам и акронимам даны их обычные значения в уровне техники. Примерные варианты осуществления могут стать лучше понятны со ссылкой на чертежи, однако не подразумевается, что эти варианты осуществления имеют ограничивающий характер. В этом документе в описании и на чертежах для обозначения одинаковых или схожих частей используются одинаковые ссылочные позиции. Наконец, используемые в данном описании и прилагаемой формуле изобретения признаки в единственном числе включают ссылки на множественное число, если иное не указано содержанием.

На Фиг. 3 и 7 показаны блок-схемы последовательностей операций, иллюстрирующие способы и системы. Даже при описании только в терминах этапов в способе следует понимать, что каждый блок этих блок-схем последовательностей операций и сочетания блоков в этих блок-схемах последовательностей операций могут быть реализованы посредством программного обеспечения (например, программных команд, программ программного обеспечения и подпрограмм), посредством аппаратного обеспечения (например, процессоров и запоминающего устройства), посредством встроенного микропрограммного обеспечения и/или сочетания этих форм. В качестве примера, в случае программного обеспечения, программные команды могут быть загружены на устройство видеоотображения (или запоминающее устройство устройства видеоотображения) для образования машины, так чтобы команды, которые исполняются на устройстве видеоотображения, создавали структуры для реализации функций, указанных в блоке или блоках блок-схемы последовательности операций. Эти программные команды также могут быть сохранены на запоминающем устройстве, которые могут предписывать устройству видеоотображения функционировать таким образом, чтобы команды, сохраненные на запоминающем устройстве, создавали продукт, включая командные структуры, которые реализуют функцию, указанную в блоке или блоках блок-схемы последовательности операций. Программные команды также могут быть загружены на устройство видеоотображения для предписания выполнения последовательности функциональных этапов на устройстве видеоотображения или посредством устройства видеоотображения для образования реализуемого устройством видеоотображения процесса, так чтобы команды, которые исполняются на устройстве видеоотображения, обеспечивали этапы для реализации функций, указанных в блоке или блоках блок-схемы последовательности операций. Соответственно, блоки блок-схем последовательностей операций поддерживают сочетания этапов, структур и/или модулей для выполнения указанных функций. Также следует понимать, что каждый блок блок-схем последовательностей операций и сочетания блоков в блок-схемах последовательностей операций, могут быть разделены и/или соединены с другими блоками блок-схем последовательностей операций, не влияя на объем настоящего изобретения.

В качестве предварительного замечания следует подчеркнуть, что настоящее изобретение начинается с одиночной двумерной видеозаписи. Известный уровень техники, обсуждаемый совместно с Фиг. 1 и 2, начинается с двух двумерных видеозаписей, каждая из которых произведена от отдельного источника видеозаписей.

На Фиг. 3 показана блок-схема последовательности операций, изображающая способ преобразования двумерной видеозаписи в трехмерную видеозапись, который включает в себя четыре основных этапа. Первый этап, как показано на этапе 100, заключается в сравнении по меньшей мере части видеокадра x с соответствующей по меньшей мере частью видеокадра y для определения перемещения между ними. Второй этап, как показано на этапе 102, заключается в расчете направления перемещения и протяженности перемещения на основе определенного перемещения. Третий этап, как показано на этапе 104, заключается в определении просматриваемого кадра L и просматриваемого кадра R на основе направления перемещения. Четвертый этап, как показано на этапе 106, заключается в изменении просматриваемого кадра R на основе направления перемещения и протяженности перемещения для создания измененного просматриваемого кадра R'. В данном документе эти этапы будут описаны более подробно. Эти этапы (этапы 100, 102, 104 и 106) могут повторяться для множества последовательных кадров. Как упомянуто выше, применительно ко всем блок-схемам последовательностей операций в данном описании, данный способ может быть реализован не только посредством программного обеспечения, но и в качестве системы, которая использует аппаратное обеспечение, встроенное микропрограммное обеспечение и/или сочетание аппаратного обеспечения, встроенного микропрограммного обеспечения и/или программного обеспечения.

На Фиг. 4 и 5 показаны упрощенные блок-схемы, которые могут быть использованы для объяснения двух примерных вариантов осуществления настоящего изобретения. Фиг. 4 может использоваться в примерном предпочтительном варианте осуществления с использованием системы цветового дифференцирования, а Фиг. 5 может использоваться в примерном предпочтительном варианте осуществления с использованием примерной системы поляризационного дифференцирования, которая использует преимущества современных систем, которые могут отображать большее количество кадров в секунду по сравнению с известными системами. Например, традиционные системы отображают только 24 кадра в секунду, однако более современные (и будущие) системы могут отображать 60, 120, 144 или большее количество кадров в секунду. В верхнем ряду блоков обеих из этих Фигур F1-F5 используются для представления последовательных кадров в видеозаписи. Два последовательных кадра обозначаются в качестве видеокадра x (первый) и видеокадра y (второй). Нижний ряд блоков на Фиг. 4 представляет собой одновременно отображаемый просматриваемый кадр L и измененный просматриваемый кадр R'. Следует отметить, что как просматриваемый кадр L, так и измененный просматриваемый кадр R' могут быть измененными (просматриваемый кадр L) или дополнительно измененными (измененный просматриваемый кадр R') так, чтобы они просматривались только соответствующим глазом (например, к ним могут быть применены цветовые фильтры). Следует отметить, что данное изменение или дополнительное изменение может происходить до или после деформационного изменения измененного просматриваемого кадра R'. Нижний ряд блоков на Фиг. 5 представляет собой чередующимся образом отображаемые просматриваемый кадр L и измененный просматриваемый кадр R'. Следует отметить, что как просматриваемый кадр L, так и измененный просматриваемый кадр R' могут быть измененными (просматриваемый кадр L) или дополнительно измененными (измененный просматриваемый кадр R') так, чтобы они просматривались только соответствующим глазом (например, как показано стрелками-указателями под нижним рядом блоков, кадры могут отображаться с чередующимися полярностями). Следует отметить, что данное изменение или дополнительное изменение могут происходить до или после деформационного изменения измененного просматриваемого кадра R'.

На этапе 100 на Фиг. 3 осуществляется сравнение по меньшей мере части видеокадра x с соответствующей по меньшей мере частью видеокадра y для определения перемещения между ними. Так как в предпочтительных вариантах осуществления настоящего изобретения осуществляется только сравнение части видеокадра x с соответствующей частью видеокадра y, то происходит экономия вычислительных ресурсов. По сравнению с традиционными схемами сравнения, которые сравнивают все пиксели в первом кадре со всеми пикселям во втором кадре, в настоящем изобретении используется только менее 1% вычислительных ресурсов, используемых системой, которая сравнивает весь видеокадр x со всем видеокадром y.

На Фиг. 6 показан упрощенный набор видеокадров x и y с увеличенными пикселями (Р). Один примерный экран может иметь массив из 1920×1080 пикселей (Р). Следует заметить, однако, что настоящее изобретение функционирует с массивом любого размера пикселей (Р). В альтернативных предпочтительных вариантах осуществления этап 100 может быть выполнен с использованием распознавания псевдообразов для определения перемещения пикселей (Р) между ними. Несмотря на то, что с этой целью может использоваться почти любое распознавание образов или схема распознавания псевдообразов, в целях обеспечения примеров и/или вариантов реализации примерные схемы, которые могут использоваться с этой целью, раскрыты в публикациях заявки на патент США №20070217685 Канеко и др. (Kaneko et al.), №20070146380 Нистада и др. (Nystad et al.), №20090028425 Кавайяро и др. (Cavallaro et al.), патенте США №5406501 Флорента (Florent) и №5109435 Ло и др. (Lo et al.) Эти источники включены в данный документ посредством ссылки. В других альтернативных предпочтительных вариантах осуществления этап 100 может быть выполнен посредством сравнения предварительно определенного количества пикселей (Р) видеокадра x с соответствующим предварительно определенным количеством пикселей (Р) видеокадра y для определения перемещения между ними. В качестве примера, предварительно определенное количество пикселей (Р) может быть представлено между 5 и 30 пикселями (Р) для примерного отображения, имеющего массив из 1920×1080 пикселей (Р). Следует отметить, что предварительно определенное количество пикселей (Р) может быть простым предварительно установленным количеством, количеством, определенным на основе характеристик экрана (например, размера и/или количества пикселей), или рассчитанным количеством на основе, например, количества кадров в секунду, размера экрана и/или количества пикселей на экране. Следует отметить, что в предпочтительных вариантах осуществления настоящего изобретения предварительно определенное количество пикселей (Р) может составлять менее 10% от общего количества пикселей экрана. Следует отметить, что в альтернативных предпочтительных вариантах осуществления настоящего изобретения предварительно определенное количество пикселей (Р) может составлять менее 1% от общего количества пикселей экрана.

В других альтернативных предпочтительных вариантах осуществления этап 100 может быть выполнен посредством сравнения по меньшей мере одного пикселя (Р) на краю видеокадра x с соответствующим по меньшей мере одним пикселем (Р) на краю видеокадра y для определения перемещения между ними, посредством сравнения по меньшей мере одного пикселя (Р) в середине видеокадра x с соответствующим по меньшей мере одним пикселем (Р) в середине видеокадра y для определения перемещения между ними и/или посредством сравнения по меньшей мере одного пикселя (Р) по меньшей мере в двух углах видеокадра x с соответствующим по меньшей мере одним пикселем (Р) по меньшей мере в двух углах видеокадра y для определения перемещения между ними. На Фиг. 6 показан видеокадр x с примерной краевой областью 120, примерной срединной областью 122 и двумя примерными углами 124а, 124b и видеокадр y с соответствующей примерной краевой областью 120', соответствующей примерной срединной областью 122' и двумя соответствующими примерными углами 124а', 124b'. Эти примерные области не подразумевают ограничения объема изобретения.

Как замечено выше, этап 100 может быть выполнен посредством сравнения по меньшей мере одного пикселя (Р) на краю видеокадра x с соответствующим по меньшей мере одним пикселем (Р) на краю видеокадра y для определения перемещения между ними, посредством сравнения по меньшей мере одного пикселя (Р) в середине видеокадра x с соответствующим по меньшей мере одним пикселем (Р) в середине видеокадра y для определения перемещения между ними и/или посредством сравнения по меньшей мере одного пикселя (Р) по меньшей мере в двух углах видеокадра x с соответствующим по меньшей мере одним пикселем (Р) по меньшей мере в двух углах видеокадра y для определения перемещения между ними (последнее сравнение, означает, что по меньшей мере один пиксель по меньшей мере в одном углу и по меньшей мере один пиксель по меньшей мере во втором углу - использование этих двух углов будет в частности эффективно, если сцена будет увеличена в масштабе, то есть станет ближе, или уменьшена в масштабе, то есть станет еще дальше). Любое из этих сравнений может быть осуществлено по отдельности или в любом сочетании или порядке. Кроме того, этапы могут быть повторены с использованием различных размерностей и/или диапазонов (например, сначала сравниваются 5 пикселей (Р) в заданной области, затем сравниваются 10 пикселей (Р) в той же самой заданной области, а затем сравниваются 20 пикселей (Р) в той же самой заданной области). Однако, в одном предпочтительном варианте осуществления различные области проверяются последовательно, одна за другой, несмотря на то, что следует отметить, что, порядок может изменяться. На Фиг. 7 показана блок-схема последовательности операций, которая изображает пример того, как это может функционировать. Как показано на этапе 130, по меньшей мере один пиксель (Р) на краю видеокадра x сравнивается с соответствующим по меньшей мере одним пикселем (Р) на краю видеокадра y для определения перемещения между ними. Решение на этапе 132 спрашивает, было ли найдено перемещение на этапе 130. Если было, то анализ завершается и следующим этапом будет этап 102 с Фиг. 3 (расчет направления перемещения и протяженности перемещения на основе определенного перемещения). С другой стороны, если перемещения не найдено, как показано на этапе 134, то по меньшей мере один пиксель (Р) в середине видеокадра x будет сравнен с соответствующим по меньшей мере одним пикселем (Р) в середине видеокадра y для определения перемещения между ними. Решение на этапе 136 спрашивает, было ли найдено перемещение на этапе 134. Если было, то анализ завершается и следующим этапом будет этап 102 с Фиг. 3 (расчет направления перемещения и протяженности перемещения на основе определенного перемещения). С другой стороны, если перемещения не найдено, как показано на этапе 138, то по меньшей мере один пиксель (Р) по меньшей мере в двух углах видеокадра х будет сравнен с соответствующим по меньшей мере одним пикселем (Р) по меньшей мере в двух углах видеокадра у для определения перемещения между ними. Решение на этапе 140 спрашивает, было ли найдено перемещение на этапе 138. Если было, то анализ завершается и следующим этапом будет этап 102 с Фиг. 3 (расчет направления перемещения и протяженности перемещения на основе определенного перемещения). С другой стороны, если перемещения там найдено не было, то существует несколько возможных сценариев. В одном предпочтительном примерном варианте осуществления сравниваются другие «области» видеокадра x и видеокадра y. В еще одном предпочтительном примерном варианте осуществления сравниваются все пиксели (Р) видеокадра x и видеокадра y. В другом предпочтительном примерном варианте осуществления анализ заканчивается и отображаются видеокадр x и видеокадр y.

Порядок этапов, изображенных на Фиг. 7, может изменяться. Например, срединная область может всегда рассматриваться первой. Дополнительно, выбор того, какая область будет рассматриваться первой, может быть «интеллектуальным». Например, если движение не найдено на этапе 130 (в краевой области), но найдено на этапе 134 (в срединной области), то видеокадры следующего набора могут быть сравнены с использованием этапа 134 в первую очередь. Данный вариант использует факт того, что движение, вероятно, будет схожим и в последовательности кадров. Например, если в сцене фильма присутствует перемещение людей в центре экрана, то и последовательность кадров будет иметь движение в этой области.

Как упомянуто выше, на Фиг. 4 и 5 показаны упрощенные блок-схемы последовательности видеокадров и показано то, как последовательные видеокадры объединяются для создания просматриваемых кадров с использованием системы цветового дифференцирования (Фиг. 4) и системы поляризационного дифференцирования (Фиг. 5). Относящиеся к видеокадрам x и y видеозаписи и просматриваемым кадрам L и R' этапы (например, этапы 102, 104 и 106 с Фиг. 3) более подробно показаны на Фиг. 8A-8D и Фиг. 9A-9D. Самое главное отличие между Фиг. 8A-8D и Фиг. 9A-9D заключается в том, что на Фиг. 8A-8D показано перемещение в правом (слева направо) направлении, а на Фиг. 9A-9D показано перемещение в левом (справа налево) направлении. Соответственно, схожие объекты будут описаны с использованием одних и тех же ссылочных позиций только с различными модификаторами («а» для Фиг. 8A-8D и «b» для Фиг. 9A-9D). Ссылочные позиции без модификаторов применяются к обоим наборам фигур. Следует отметить, что некоторые особенности настоящего изобретения значительно преувеличены на этих фигурах (например, размер «деформации» составляет намного меньшую часть от всей области экрана). Другие варианты выполнения изображены более ясно на других фигурах (например, трапецеидальная деформация показана более ясно на Фиг. 14).

Как указано выше, второй этап 102 (Фиг. 3) предпочтительного варианта осуществления примерного процесса настоящего изобретения заключается в расчете направления перемещения и протяженности перемещения на основе определенного перемещения. Данный этап выполняется с использованием информации, полученной с этапа 100 (сравнения по меньшей мере части видеокадра х с соответствующей по меньшей мере частью видеокадра у для определения перемещения между ними). На Фиг. 8А и 9А видно, что два последовательных видеокадра (помеченных в качестве x и y) имеют перемещение в своих срединных областях (изображенных в качестве прямоугольников 150а, 150b). На Фиг. 8А направление перемещения прямоугольника 150а является направлением направо в том смысле, что прямоугольник 150а в видеокадре x находится в левой половине кадра, а прямоугольник 150а в видеокадре y переместился вправо к более центральному месту кадра. На Фиг. 9А направление перемещения прямоугольника 150b является направлением налево в том смысле, что прямоугольник 150b в видеокадре x находится в правой половине кадра, а прямоугольник 150b в видеокадре y переместился влево к более центральному месту кадра. Направление перемещения является направлением налево или направо. Для некоторых предпочтительных вариантов осуществления другие направления (например, вверх и вниз) игнорируются, а еще одним направлениям (например, под углом) только дается «оценка» для их составляющих в левом и правом направлениях.

Протяженность перемещения представляет собой то, насколько изменилось расстояние между видеокадром x и видеокадром y. Протяженности перемещения могут измеряться в пикселях (Р). Медленные перемещения (например, элемент в виде облака, плавно проплывающий через снимок в последовательности многих кадров) будут перемещаться на «малое» количество пикселей (Р) и будут иметь малые протяженности перемещения. Быстрые перемещения (например, элемент в виде гоночного автомобиля, ускоряющийся через снимок в последовательности кадров) будут перемещаться на «много» пикселей (Р) и будут иметь большие протяженности перемещения. «Мало» и «много» являются относительными понятиями, основанными на предварительно определенном количестве пикселей (Р). Данное предварительно определенное количество пикселей (Р) является «идеальным» количеством пикселей (Р), которых необходимо для создания эффекта «тени». Например, при использовании типичного экрана, имеющего массив из 1920×1080 пикселей (Р) идеальное количество пикселей (Р) может находиться между 10 и 20 пикселями (Р). Применительно к целям обсуждения данного изобретения предварительно определенное количество пикселей (Р) будет рассматриваться в качестве пятнадцати (15) пикселей (Р).

В качестве примера малой протяженности перемещения на Фиг. 10 показан массив пикселей (Р) (который представляет собой только малый участок примерного экрана) с элементами 152, 154 из двух последовательных кадров, наложенных на него. Элементы 152, 154 показаны в качестве окружностей со знаками «плюса» внутри (элемент 154 показан пунктиром). Используя центр знаков «плюсов» и игнорируя перемещения вверх/вниз, между элементами 152, 154 кадров содержится только малое количество пикселей (Р) (показано в качестве четырех (4)). Если элемент 152 является первым элементом (просматриваемый кадр x), а элемент 154 является вторым элементом (просматриваемый кадр y), то направление перемещения будет являться направлением налево, а протяженность перемещения будет составлять четыре (4) пикселя (Р). Если элемент 154 является первым элементом (просматриваемый кадр x), а элемент 152 является вторым элементом (просматриваемый кадр y), то направление перемещения будет являться направлением направо, а протяженность перемещения по-прежнему будет составлять четыре (4) пикселя (Р).

В качестве примера большой протяженности перемещения на Фиг. 11 показан массив пикселей (Р) (который является всего лишь малым участком примерного экрана) с элементами 156, 158 из двух последовательных кадров, наложенных на него. Элементы 156, 158 показаны в качестве окружностей со знаками «плюс» внутри (элемент 158 показан пунктиром). Используя центр знаков «плюсов» и игнорируя перемещение вверх/вниз, между элементами 156, 158 кадров содержится много пикселей (Р) (показано в качестве одиннадцати (11)). Если элемент 156 является первым элементом (просматриваемый кадр x), а элемент 158 является вторым элементом (просматриваемый кадр y), то направление перемещения будет являться направлением налево, и протяженность перемещения будет составлять одиннадцать (11) пикселей (Р). Если элемент 158 является первым элементом (просматриваемый кадр x), а элемент 156 является вторым элементом (просматриваемый кадр y), то направление перемещения будет являться направлением направо, и протяженность перемещения по-прежнему будет составлять одиннадцать (11) пикселей (Р).

Как указано выше, третий этап 104 (Фиг. 3) предпочтительного варианта осуществления примерного процесса настоящего изобретения состоит в определении просматриваемого кадра L и просматриваемого кадра R на основе направления перемещения. В предпочтительных вариантах осуществления, если направление перемещения является направлением направо, то видеокадр x устанавливается в качестве просматриваемого кадра L, а видеокадр y устанавливается в качестве просматриваемого кадра R. Это показано в качестве перехода между Фиг. 8А и Фиг. 8В. Дополнительно, в предпочтительных вариантах осуществления, если направление перемещения является направлением налево, то видеокадр x устанавливается в качестве просматриваемого кадра R, а видеокадр y устанавливается в качестве просматриваемого кадра L. Это показано в качестве перехода между Фиг. 9А и Фиг. 9В.

Как указано выше, четвертый этап 106 (Фиг. 3) предпочтительного варианта осуществления примерного процесса настоящего изобретения состоит в изменении просматриваемого кадра R на основе направления перемещения и протяженности перемещения для создания измененного просматриваемого кадра R'. Применительно к целям понимания данного этапа, в своей исходной форме, компоненты (X) снимка, изображенного в просматриваемом кадре R, равномерно размещены в массиве, как показано на Фиг. 12. Направление перемещения определяет то, в каком направлении осуществляется изменение просматриваемого кадра R для создания просматриваемого кадра R'. Протяженность перемещения определяет то, насколько просматриваемый кадр R подвергается изменению для создания просматриваемого кадра R'.

В одном предпочтительном варианте осуществления этап 106 включает в себя осуществляемое цифровым образом «деформирование» просматриваемого кадра R для создания измененного просматриваемого кадра R'. Направление перемещения определяет направление «деформации» снимка, изображенного в кадре. Термин «деформирование» может быть любым типом деформации, но в примерах изображен в качестве удлиняющего вытягивания (Фиг. 13) и трапецеидального вытягивания (Фиг. 14) (которые будут рассмотренны ниже). Как показано через изменение от исходного снимка (Фиг. 12) к снимку измененного просматриваемого кадра R' (Фиг. 13), который имеет удлиненную вытянутую деформацию, поскольку направление перемещения является направлением направо, то левый край остается на месте, а правый край цифровым образом вытягивается. На Фиг. 12 компоненты (X) находятся в своей исходной форме, по существу размещенными равномерно. На Фиг. 13 показан деформированный просматриваемый кадр (удлиненно-вытянутый) так, что компоненты (X) снимка ближе к левому краю оказываются менее деформированы, а компоненты (X) снимка ближе к правой стороне оказываются более деформированы. Деформируются не именно отдельные элементы (такие как прямоугольник 150а Фиг. 8В), а деформируются именно компоненты всего «снимка (несмотря на то, что отдельные элементы деформируются пропорционально с остальными компонентами (X) снимка). Следует отметить, что, если направление перемещения было бы направлением налево, то правый край остался бы на месте, а левый край цифровым образом был бы вытянут (удлиненно-вытянут) подобно тому, как это показано на Фиг. 9С. То, насколько снимок деформирован, зависит от протяженности перемещения. Если протяженность перемещения мала (например, четыре (4) пикселя (Р)), то используется более удлиняющая вытягивающая деформация. Например, если «идеальное» количество пикселей (Р) составляет пятнадцать (15), то удлиняющая вытягивающая деформация будет составлять одиннадцать (11) (что является идеальным количеством, меньшим фактического количества). Если протяженность перемещения является большой (например, одиннадцать (11) пикселей (Р)), то используется меньшая удлиняющая вытягивающая деформация. Например, если «идеальное» количество пикселей (Р) составляет пятнадцать (15), то удлиняющая вытягивающая деформация составила бы четыре (4) (что является идеальным количеством, меньшим фактического количества). Если протяженность перемещения больше идеального количества, то в предпочтительных вариантах осуществления просматриваемый кадр R может быть отображен в качестве измененного просматриваемого кадра R' без дополнительной деформации. Края за пределами размеров (изображенных пунктиром) исходного кадра, предпочтительно «отсекаются» или иным образом не отображаются в качестве части измененного просматриваемого кадра R'.

Другой предпочтительный вариант осуществления этапа 106 включает в себя осуществляемое цифровым образом «деформирование» просматриваемого кадра R для создания такого трапецеидальным образом вытянутого измененного просматриваемого кадра R', какой показан на Фиг. 14. Как показано через изменение от исходного снимка (Фиг. 12) к снимку измененного просматриваемого кадра R' (Фиг. 14), который имеет трапецеидальным образом вытянутую деформацию, поскольку направление перемещения является направлением направо, то левый край остается на месте, а правый край цифровым образом вытянут. На Фиг. 12 компоненты (X) находятся в своей исходной форме, размещенными по существу равномерно. На Фиг. 14 показан деформированный просматриваемый кадр (удлиненно-вытянутый) так, что компоненты (X) снимка ближе к левому краю будут менее деформированы, а компоненты (X) снимка ближе к правой стороне будут более деформированы. Кроме того, на правой стороне кадра присутствует некоторая вертикальная деформация (как вверх, так и вниз). В одном предпочтительном варианте осуществления вертикальная деформация является той же самой, что и горизонтальная деформация или подобна ей (например, от 50% до 150%). Например, если горизонтальная деформация составляет 10 пикселей (Р) (или длину, эквивалентную 10 пикселям (Р)), то будет присутствовать вертикальная деформация в 10 пикселей (Р) (или длина, эквивалентная 10 пикселям (Р)) (например, 5 пикселей (Р) вверх и 5 пикселей (Р) вниз). Деформируются именно не отдельные элементы (такие как прямоугольник 150а Фиг. 8В), а деформируются именно компоненты всего «снимка» (несмотря на то, что отдельные элементы деформируются пропорционально с остальными компонентами (X) снимка). В некоторой степени это можно увидеть на Фиг. 8С, на которой прямоугольник 150а был деформирован в трапецию 150а', по существу пропорциональную деформации остальной части снимка. Следует отметить, что, если направление перемещения было бы направлением о налево, то правый край остался бы на месте, а левый край цифровым образом был бы вытянут, как показано на Фиг. 9С. То, насколько снимок деформирован, зависит от протяженности перемещения, как это рассмотрено в предыдущем примере. Если протяженность перемещения больше идеального количества, то в предпочтительных вариантах осуществления просматриваемый кадр R может быть отображен в качестве измененного просматриваемого кадра R' без дополнительной деформации или только с вертикальной деформацией. Края, за пределами размеров (изображенных пунктиром) исходного кадра, могут быть «отсечены» или иным образом не отображены в качестве части измененного просматриваемого кадра R'.

Несмотря на то, что на Фиг. 8D и Фиг. 9D показан не измененный просматриваемый кадр L и обсуждаемое первоначальное изменение для измененного просматриваемого кадра R', в некоторых предпочтительных вариантах осуществления настоящего изобретения, как просматриваемый кадр L, так и измененный просматриваемый кадр R' могут иметь дополнительные изменения, которые предоставляют возможность просмотра просматриваемых кадров конкретными глазами. Например, кадр L может быть изменен для просмотра левым глазом пользователя, а измененный кадр R' может быть изменен для просмотра правым глазом пользователя. Данное изменение может, например, заключаться в удалении первого цвета (например, красного цвета) из просматриваемого кадра L и в удалении второго цвета (например, синего или зеленого цвета) из измененного просматриваемого кадра R'. Другой пример состоит в том, что данное изменение может представлять собой поляризацию в первом направлении (например, вертикально) из просматриваемого кадра L и поляризацию во втором направлении (например, горизонтально) из просматриваемого кадра R'. Следует понимать, что просматриваемый кадр L и измененный просматриваемый кадр R' могут быть изменены для других известных технологий и совершенствующихся технологий (например, тех, которые используют жидкокристаллические затворные очки).

Следует отметить, что этап изменения просматриваемого кадра L и измененного просматриваемого кадра R' таким образом, чтобы они просматривались конкретными глазами, может осуществляться в нескольких различных точках в способе настоящего изобретения. Например, в одном предпочтительном варианте осуществления данное изменение может происходить до, после или одновременно с этапом 102 (расчета направления перемещения и протяженности перемещения на основе определенного перемещения). В другом предпочтительном варианте осуществления данное изменение может происходить до, после или одновременно с этапом 104 (определения просматриваемого кадра L и просматриваемого кадра R на основе направления перемещения). В другом предпочтительном варианте осуществления данное изменение может происходить до, после или одновременно с этапом 106 (изменения просматриваемого кадра R на основе направления перемещения и протяженности перемещения для создания измененного просматриваемого кадра R').

Предпочтительные варианты осуществления настоящего изобретения предпочтительно включают этап отображения просматриваемого кадра L для просмотра левым глазом пользователя и измененного просматриваемого кадра R' для просмотра правым глазом пользователя. Данное «отображение» может происходить одновременно, как это обсуждалось совместно с Фиг. 4, или поочередно, как это обсуждалось совместно с Фиг. 5. Альтернативные технологии (например, технология жидкокристаллических затворных очков) могут иметь альтернативные способы отображения. Данный этап отображения может быть выполнен с использованием устройства проецирования или отображения.

Другой предпочтительный вариант осуществления настоящего изобретения предпочтительно включает этап хранения просматриваемого кадра L для просмотра левым глазом пользователя и измененного просматриваемого кадра R' для просмотра правым глазом пользователя. Это фактически означает, что двумерная видеозапись может быть преобразована в трехмерную видеозапись и затем сохранена в запоминающем устройстве (например, запоминающих носителях, магнитных носителях, оптических носителях) для более позднего отображения. Например, только что созданная трехмерная видеозапись может быть сохранена на CD, DVD или ленте для более позднего отображения.

Предпочтительные варианты осуществления способа, рассмотренного в данном документе, выполнены для реализации на устройстве видеоотображения, которое включает в себя по меньшей мере один блок обработки для реализации рассмотренных этапов. Блоки обработки включают в себя, но не ограничиваются этим, блоки CPU (центральный процессор), блоки GPU (графический процессор), математические процессоры и/или специализированные процессоры, известные или совершенствующиеся. Множество блоков обработки могут быть использованы совместно. Например, CPU может отправлять команды и данные геометрии в GPU, расположенной на графической плате. В одном предпочтительном варианте осуществления команды, используемые GPU, представлены в виде скомпилированной программы на языке шейдеров («формирователей теней»). Формирователь теней («шейдер»), в области компьютерной графики, является набором команд программного обеспечения, который используется прежде всего для расчета эффектов визуализации на графическом аппаратном обеспечении с высокой степенью гибкости. Примерными типами формирователей теней являются вершинный формирователь теней, пиксельный формирователь теней и геометрический формирователь теней. Формирователи теней способны применять преобразования к большому набору элементов за один раз, например, к каждому пикселю (Р) в некоторой области экрана или для каждой вершины модели. Формирователи теней могут использоваться, например, для трапецеидального вытягивания или деформации и/или для применения фильтров (например, цветовых и/или поляризационных).

Следует отметить, что, пока не указано иное, термин «или» используется в своей неисключительной форме (например, «А или B» включает в себя A, В, А и B или любое их сочетание, но оно не должно включать в себя все эти варианты). Следует отметить, что, пока не указано иное, «и/или» используется схожим образом (например, «А и/или B» включает в себя A, В, А и B, или любое их сочетание, но оно не должно включать в себя все эти варианты). Следует отметить, что, пока не указано иное, термин «включает/включает в себя» означает «содержит» (например, устройство, которое включает в себя или содержит A и B, содержит A и B, но в качестве дополнительной возможности может содержать C или дополнительные компоненты, отличающиеся от A и В). Следует отметить, что, пока не указано иное, использование единственного числа относится к одному или более одного, пока контекст ясно не диктует иное.

Термины и выражения, которые использованы в вышеупомянутом описании, используются исходя из описания, а не ограничения, и не предназначены для исключения эквивалентов изображенных и описанных признаков. Данная заявка предназначена для охвата любых адаптаций или вариаций настоящего изобретения. Средним специалистам в уровне техники должно быть понятно, что любой вариант выполнения, который рассчитан на достижение той же самой цели, может заменить конкретный изображенный вариант осуществления. Также следует понимать, что последующая формула изобретения предназначена для охвата всех общих и частных признаков настоящего изобретения, описанного в данном документе, и все формулировки объема настоящего изобретения, которые, с точки зрения языка, могут быть произведены, должны им охватываться.

Изобретение относится к области преобразования видео. Технический результат – упрощение преобразования двумерной видеозаписи в трехмерную видеозапись. Способ преобразования двумерной видеозаписи в трехмерную содержит этапы, на которых: рассчитывают направление перемещения и протяженность перемещения между частью видеокадра х и частью видеокадра у; определяют просматриваемые кадры L и R на основе направления перемещения; изменяют просматриваемый кадр R на основе направления перемещения и протяженности перемещения для создания измененного просматриваемого кадра R', причем изменение просматриваемого кадра R на основе направления перемещения включает в себя деформирование просматриваемого кадра R в направлении перемещения для удлинения компонентов на основе направления перемещения так, что компоненты в измененном просматриваемом кадре R', которые ближе к первой стороне измененного просматриваемого кадра R' вытянуты меньше, чем компоненты, которые ближе ко второй стороне измененного просматриваемого кадра R', причем компоненты расположены в массиве для представления снимка в измененном просматриваемом кадре R' и каждый компонент представляет собой часть снимка. 2 н. и 9 з.п. ф-лы, 20 ил.

1. Способ преобразования двумерной видеозаписи в трехмерную видеозапись, включающий этапы, на которых:

(a) рассчитывают направление перемещения и протяженность перемещения между частью видеокадра х и частью видеокадра у;

(b) определяют просматриваемый кадр L и просматриваемый кадр R на основе указанного направления перемещения; и

(c) изменяют просматриваемый кадр R на основе указанного направления перемещения и указанной протяженности перемещения для создания измененного просматриваемого кадра R', причем изменение просматриваемого кадра R на основе направления перемещения включает в себя деформирование просматриваемого кадра R в направлении перемещения для удлинения компонентов на основе направления перемещения так, что компоненты в измененном просматриваемом кадре R', которые ближе к первой стороне измененного просматриваемого кадра R', вытянуты меньше, чем компоненты, которые ближе ко второй стороне измененного просматриваемого кадра R', в котором направление перемещения представляет собой направление от первой стороны ко второй стороне, причем компоненты расположены в массиве для представления снимка в измененном просматриваемом кадре R', и каждый компонент представляет собой часть снимка.

2. Способ по п. 1, дополнительно содержащий этап, на котором сравнивают указанную часть видеокадра х с указанной частью видеокадра y для определения указанного перемещения.

3. Способ по п. 2, в котором этап сравнения указанной части видеокадра х с указанной частью видеокадра у содержит этап, на котором выполняют распознавание псевдообразов.

4. Способ по п. 2, в котором этап сравнения указанной части видеокадра х с указанной частью видеокадра у содержит этап, на котором сравнивают предварительно определенное количество пикселей видеокадра х с соответствующим предварительно определенным количеством пикселей видеокадра у.

5. Способ по п. 2, в котором этап сравнения указанной части видеокадра х с указанной частью видеокадра у содержит этап, на котором сравнивают по меньшей мере один пиксель на краю видеокадра х с соответствующим по меньшей мере одним пикселем на краю видеокадра у.

6. Способ по п. 2, в котором этап сравнения указанной части видеокадра х с указанной частью видеокадра у содержит этап, на котором сравнивают по меньшей мере один пиксель в срединной области видеокадра х с соответствующим по меньшей мере одним пикселем в срединной области видеокадра у.

7. Способ по п. 2, в котором этап сравнения указанной части видеокадра х с указанной частью видеокадра у содержит этап, на котором сравнивают по меньшей мере один пиксель в каждом из двух или большем количестве углов видеокадра х с соответствующим по меньшей мере одним пикселем в каждом из двух или большем количестве углов видеокадра у для определения указанного перемещения.

8. Способ по п. 2, в котором этап сравнения указанной части видеокадра х с указанной частью видеокадра у содержит этапы, на которых:

(a) сравнивают по меньшей мере один пиксель на краю видеокадра х с соответствующим по меньшей мере одним пикселем на краю видеокадра у,

(b) если перемещения не найдено на этапе (а), то сравнивают по меньшей мере один пиксель в срединной области видеокадра х с соответствующим по меньшей мере одним пикселем в срединной области видеокадра у; и

(с) если перемещения не найдено ни на этапе (а), ни на этапе (b), то сравнивают по меньшей мере один пиксель в каждом из двух или большем количестве углов видеокадра х с соответствующим по меньшей мере одним пикселем в каждом из двух или большем количестве углов видеокадра у.

9. Способ по п. 1, в котором этап определения просматриваемого кадра L и просматриваемого кадра R на основе указанного направления перемещения включает этапы, на которых:

(a) если направление перемещения является направлением направо, то устанавливают видеокадр х в качестве просматриваемого кадра L и устанавливают видеокадр у в качестве просматриваемого кадра R; и

(b) если направление перемещения является направлением налево, то устанавливают видеокадр х в качестве просматриваемого кадра R и устанавливают видеокадр у в качестве просматриваемого кадра L.

10. Способ по п. 1, также содержащий этап, на котором отображают просматриваемый кадр L для просмотра левым глазом пользователя и измененный просматриваемый кадр R' для просмотра правым глазом пользователя.

11. Устройство видеоотображения, содержащее:

(a) блок обработки; и

(b) запоминающее устройство, на котором имеются команды, которые выполнены с возможностью их исполнения устройством видеоотображения и которые, при исполнении, предписывают указанному блоку обработки:

сравнивать по меньшей мере часть видеокадра х с соответствующей по меньшей мере частью видеокадра у для определения перемещения между ними;

рассчитывать направление перемещения и протяженность перемещения на основе определенного перемещения, определять просматриваемый кадр L и просматриваемый кадр R на основе указанного направления перемещения; и

изменять просматриваемый кадр R на основе указанного направления перемещения и указанной протяженности перемещения для создания измененного просматриваемого кадра R', причем изменение просматриваемого кадра R на основе направления перемещения включает в себя деформирование просматриваемого кадра R в направлении перемещения для удлинения компонентов на основе направления перемещения так, что компоненты в измененном просматриваемом кадре R', которые ближе к первой стороне измененного просматриваемого кадра R', вытянуты меньше, чем компоненты, которые ближе ко второй стороне измененного просматриваемого кадра R', в котором направление перемещения представляет собой направление от первой стороны ко второй стороне, причем компоненты расположены в массиве для представления снимка в измененном просматриваемом кадре R', и каждый компонент представляет собой часть снимка.