СПОСОБ И СИСТЕМА ДЛЯ ОБРАБОТКИ ВХОДНОГО ТРЕХМЕРНОГО ВИДЕОСИГНАЛА Российский патент 2014 года по МПК G06T15/00 H04N13/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу и системе для обработки входного трехмерного видеосигнала, а также к компьютерному программному продукту для выполнения способа в соответствии с изобретением.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Устройства отображения, пригодные для представления трехмерных изображений, получают возрастающее значение при исследованиях. Кроме того, усиленные исследовательские работы предпринимаются, чтобы установить как обеспечить конечным пользователям удовлетворительный высококачественный просмотр.

Трехмерные (3-мерные) дисплеи добавляют третье измерение в практику просмотра посредством представления в два глаза наблюдателя разного вида наблюдаемой сцены. Данную задачу можно решить ношением пользователем очков для разделения двух видов, которые отображаются. Однако, так как очки могут восприниматься неудобными для пользователя, в некоторых сценариях предпочитают применять автостереоскопические дисплеи, которые используют в дисплее средство (например, линзовые растры или барьеры) для разделения видов и для передачи их по разным направлениям, по которым упомянутые виды могут по отдельности достигать глаз пользователя. В случае стереодисплеев, требуются два вида, а автостереоскопические дисплеи, обычно, требуют большего числа видов (например, девять видов).

Существует несколько различных способов обеспечения контента для упомянутых стереоскопических и автостереоскопических устройств. Распространенным форматом является вывод стереоконтента или многовидового контента, который фактически содержит несколько изображений для соответствующих видов, которые могут отображаться устройством отображения. Преимущество вышеупомянутого решения состоит в том, что, как правило, требования к обработке в таком устройстве отображения и при создании контента можно свести к минимуму.

Задача, связанная с выводом стерео- или многовидового контента, содержащего реальные кодированные виды для отображения, состоит в том, что упомянутые изображения, фактически, скрытно фиксируют диспаратность между, по меньшей мере, двумя соответствующими видами.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Целью настоящего изобретения является уменьшение недостатков взаимосвязи кодированной диспаратности в стерео- или многовидовом контенте для трехмерных дисплеев, при применении наложений.

Упомянутая цель достигается посредством способа обработки входного трехмерного видеосигнала в соответствии с настоящим изобретением, при этом способ содержит этапы, на которых определяют оценку дальней диспаратности, указывающую наибольшую величину диспаратности для входного трехмерного видеосигнала, и оценку ближней диспаратности, указывающую наименьшую величину диспаратности для пространственной области во входном трехмерном видеосигнале, адаптируют трехмерный видеосигнал сдвигом диапазона диспаратности входного трехмерного видеосигнала от пользователя посредством сдвига диспаратности на основе оценки дальней диспаратности и формируют наложение в пределах пространственной области для сдвинутого трехмерного видеосигнала на основе оценки ближней диспаратности и сдвига диспаратности. При задании некоторой части информации о диспаратности (дальних и ближних величин) в явной форме (в противоположность скрытой информации в виде данных многовидового изображения), становится возможной явная обработка, например, определение величины сдвига.

Авторы настоящего изобретения обнаружили, что, путем установления вышеуказанной оценки дальней и ближней диспаратности, можно создать полезный свободный интервал для наложения, чтобы допускать безопасное размещение наложения перед сценой, изображенной в видеосигнале. Оценку дальней и ближней диспаратности можно определять, например, с использованием грубого анализа диспаратности входного трехмерного сигнала или, в альтернативном варианте, с использованием метаданных, обеспеченных во входном трехмерном видеосигнале.

После того как становится очевидным, можно ли и насколько адаптировать входной трехмерный видеосигнал, его диапазон диспаратности можно сдвинуть назад сдвигом диспаратности на основе оценки дальней диспаратности. Сдвиг диспаратности не требует повторного рендеринга контента, но может быть реализован сравнительно экономичным образом, обычно, посредством обрезания и продолжения видов.

В результате, диапазон диспаратности, доступный для формирования наложения, можно расширить, что дает возможность, например, разместить наложение ближе к плоскости с нулевой диспаратностью, чтобы получить более четкое наложение. Специалисту должно быть понятно, что последнее зависит от доступного свободного интервала во входном трехмерном видеосигнале.

В варианте осуществления, оценки дальней и ближней диспаратности основаны на оценке диспаратности входного трехмерного видеосигнала. В частности, когда, при адаптации диапазона диспаратности, сохраняется запас, то можно выполнять грубую оценку диспаратности. Если разряженная оценка диспаратности будет не совсем точной, то запас еще может компенсировать данные погрешности.

В альтернативном варианте осуществления, оценки дальней и ближней диспаратности получают из информации, обеспечиваемой метаданными во входном трехмерном видеосигнале. В результате, настоящее изобретение можно реализовать высокоэкономичным способом.

В предпочтительном варианте осуществления, в соответствии с настоящим изобретением, способ дополнительно содержит этап, на котором накладывают сформированное наложение на сдвинутый трехмерный видеосигнал, что позволяет формировать изображения для применения на многовидовом дисплее, содержащем наложения, например субтитры, информацию скрытых титров, информацию пользовательского интерфейса и/или последовательности изображений. Упомянутые наложения, сами по себе, могут быть неподвижными изображениями или анимированными последовательностями данных двух- или трехмерных изображений, которые затем кодируются с использованием подходящих величин диспаратности на основе оценки ближней диспартности и примененного сдвига диспаратности.

В случае трехмерного наложения, возможно, потребуется сдвинуть диапазон диспаратности наложения таким образом, чтобы его можно было поместить в пределах доступного диапазона диспаратности. Когда наложение формируется с использованием компьютерной графики, то существует полноценное управление размещением графики, и можно использовать весь имеющийся диапазон диспаратности, доступный для наложения в сдвинутом трехмерном видеосигнале.

В предпочтительном варианте осуществления, оценки величин диспаратности определяются по одному кадру. Для определения границ кадра, известных также как монтажные границы кадра, к, по меньшей мере, одному виду из видов во входном трехмерном видеосигнале можно применить традиционные методы обнаружения монтажных границ кадров. Пример упомянутого метода представлен в работе «Rapid Scene Analysis on Compressed Videos», B. L. Yeo and B. Liu, IEEE Trans. Circuits and Systems for Video Technology, Vol. 5, pp. 533-544, Dec. 1995. Хотя границы кадров можно определять в реальном времени, обычно, определение для использования в настоящем изобретении будет требовать значительного предварительного просмотра. В результате, обнаружение монтажных границ кадра, предпочтительно, выполняется в автономном режиме.

В случае, когда наложение должно быть на нескольких последовательных кадрах, например в сценарии Картинка в, оценки дальней и ближней диспаратности, предпочтительно, определяют на основе контента упомянутых последовательных кадров, чтобы обеспечить надлежащее наложение.

В предпочтительном варианте осуществления, сдвиг диспаратности основан на предварительно заданной максимальной величине диспаратности между соседними видами из нескольких видов. При данном применении используют положительную диспаратность, чтобы указывать объекты, которые воспринимаются как расположенные за плоскостью с нулевой диспаратностью. В результате, в данном случае учитывается предварительно заданный максимум.

Положительная диспаратность, большая, чем межзрачковое расстояние, соответствует линиям дивергенции глаз, которые невозможно интерпретировать физически. В результате, положительная диспаратность, большая, чем межзрачковое расстояние, может вызывать дискомфорт наблюдения. Чтобы исключить упомянутый дискомфорт, можно установить максимальную диспаратность равной среднему межзрачковому расстоянию или величине меньше среднего межзрачкового расстояния. В предпочтительном варианте, максимальную диспаратность выбирают так, чтобы учитывался запас безопасности, так, чтобы поддерживать комфортность для всех наблюдателей. В альтернативном варианте, максимальная диспаратность может быть определяемой пользователем величиной, по желанию, ограниченной сверху средним межзрачковым расстоянием. Последнее особенно имеет преимущества, так как позволяет компенсировать различия между межзрачковыми расстояниями, например, взрослых или детей.

Информация наложений может изменяться от субтитров или информации скрытых титров, подобных закодированным, например, на оптических дисках и/или доступных в цифровых транспортных потоках. Информация наложений может также относиться к данным графического пользовательского интерфейса (GUI), который налагают на входной трехмерный видеосигнал. В дополнительном альтернативном варианте, наложение может быть системой Картинка в Картинке (PiP) или другим фрагментом изображения, содержащего анимированный контент, например анимированным контрольным изображением в GUI (графическом пользовательском интерфейсе) или анимированным логотипом телевизионной станции.

В варианте осуществления, адаптация входного трехмерного видеосигнала содержит этап обрезания, по меньшей мере, одного вида входного трехмерного видеосигнала с первой стороны вида. Затем, обрезанный вид можно продолжить, чтобы получить полноразмерный вид, посредством дополнения или интерполяции пикселей со стороны, противоположной первой стороне вида, чтобы получить измененный диапазон диспаратности для обрезанных видов. В альтернативном варианте, для изменения масштаба остатка снова до полной ширины можно применить масштабирование. В данном сценарии, масштабный коэффициент потребуется также применять к другому(им) виду(ам).

В случае входного стерео видеосигнала, способ может содержать обрезание единственного изображения, однако, в предпочтительном варианте, обрезают оба изображения для распределения возможных артефактов, обусловленных продолжением обрезанного изображения. Специалисту должно быть очевидно, что продолжение обрезанного изображения может предусматривать использование множества различных алгоритмов, от простых схем дублирования пикселей до более сложных схем встраивания построенных изображений, известных в области восстановления неподвижных/движущихся изображений.

В варианте осуществления, способ дополнительно содержит введение метаданных в сдвинутый трехмерный видеосигнал, при этом упомянутые данные указывают дальнюю или ближнюю диспаратность сдвинутого трехмерного видеосигнала. В альтернативном варианте, когда способ содержит также наложение на сдвинутый трехмерный видеосигнал, способ содержит введение метаданных в сдвинутый трехмерный видеосигнал, содержащий наложение, при этом данные указывают дальнюю или ближнюю диспаратность сдвинутого трехмерного видеосигнала, содержащего наложение. В результате, метаданные можно использовать на дополнительных этапах обработки нижнего уровня.

Настоящее изобретение дополнительно относится к компьютерному программному продукту, содержащему программные команды для выполнения способа в соответствии с изобретением.

Настоящее изобретение дополнительно относится к системе для обработки входного трехмерного видеосигнала, содержащего несколько видов, при этом система содержит блок определения диспаратности для определения оценки дальней диспаратности, указывающей наибольшую величину диспаратности для входного трехмерного видеосигнала, и оценки ближней диспаратности, указывающей наименьшую величину диспаратности для пространственной области во входном трехмерном видеосигнале, блок сдвига диспаратности, выполненный с возможностью адаптации трехмерного видеосигнала сдвигом диапазона диспаратности входного трехмерного видеосигнала от пользователя посредством сдвига диспаратности на основе оценки дальней диспаратности, и генератор наложения, выполненный с возможностью формирования наложения в пределах безопасной области наложения для сдвинутого трехмерного видеосигнала на основе оценки ближней диспаратности и сдвига диспаратности.

В предпочтительном варианте обеспечен также видеомикшер, чтобы накладывать наложение поверх сдвинутого трехмерного видеосигнала.

Приведенные и другие аспекты, признаки и преимущества изобретения становятся очевидными из пояснений в нижеприведенном описании варианта(ов) осуществления.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Ниже, только для примера, приведено описание вариантов осуществления настоящего изобретения, со ссылкой на чертежи, на которых одинаковые числовые позиции относятся к элементам с одинаковыми функциями, и на которых

Фиг. 1 - изображение, поясняющее некоторые общие принципы и параметры, определяющие диспаратность,

Фиг. 2A - гистограмма диспаратности трехмерного входного сигнала,

Фиг. 2B - дополнительная гистограмма диспаратности трехмерного входного сигнала и трехмерного наложения,

Фиг. 3 - адаптация изображения правого вида входной стереопары в соответствии с настоящим изобретением,

Фиг. 4 - способ в соответствии с настоящим изобретением

Фиг. 5A - система в соответствии с настоящим изобретением, и

Фиг. 5B - дополнительная система в соответствии с настоящим изобретением.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

На фиг.1 приведена схема, поясняющая некоторые общие принципы и параметры, определяющие диспаратность. На фиг. 1 показаны две точки наблюдения, расположенные на краях двухсторонней стрелки E, разнесенные на межзрачковое расстояние E. На расстоянии Z наблюдения расположен экран S, представленный пунктирной линией, который служит для отображения трехмерной информации. На практике, упомянутый экран может быть, например, дисплеем с последовательным чередованием кадров во времени или по спектру, который попеременно предоставляет глазу наблюдателя в подходящих очках подходящую видеоинформацию для соответствующей точки наблюдения. В настоящем случае, экран S расположен в плоскости с нулевой диспаратностью, и W означает ширину экрана. N (ближняя) представляет максимальную воспринимаемую глубину перед экраном S. Аналогично F (дальняя) представляет максимальную воспринимаемую глубину за экраном S.

Линия d_N представляет воспринимаемую диспаратность объекта, расположенного на N перед экраном S, при этом величина d_N диспаратности является здесь отрицательной, называемой также перекрестной диспаратностью, и может быть выражена в виде

d_N=N E/(Z-N) $$\begin{array}{ccc}\begin{array}{cc}& \end{array}& & \end{array}$$ [1]

Линия d_F представляет воспринимаемую диспаратность объекта, расположенного на F за экраном S, при этом величина d_F диспаратности является здесь положительной, называемой также неперекрестной диспаратностью, и может быть выражена в виде

d_F=F E/(Z+F) $$\begin{array}{ccc}\begin{array}{cc}& \end{array}& & \end{array}$$ [2]

На практике, максимальная диспаратность должна быть меньше межзрачкового расстояния E, чтобы допускать комфортное наблюдение. На практике, максимальную диспаратность устанавливают, предпочтительно, равной величине меньше среднего межзрачкового расстояния E, чтобы допускать изменение межзрачкового расстояния у разных людей.

Следует отметить, что максимальный экранный параллакс, то есть число пикселей, соответствующее максимальной положительной диспаратности, зависит от ширины W экрана и разрешения экрана S.

На фиг. 2A представлена гистограмма 205 диспаратности входного трехмерного сигнала. Гистограмма 205 определена на основе входного трехмерного сигнала, т.е. на всей пространственной области входного трехмерного сигнала. В альтернативном варианте, гистограмму диспаратности можно составить для репрезентативных выборок всей пространственной области входного трехмерного сигнала.

На фиг. 2A, величина самой ближней диспаратности является точкой C на оси d, имеющей отрицательную диспаратность. Величина самой дальней диспаратности является точкой B на оси d, имеющей положительную диспаратность. На основании гистограммы 205, оценка дальней диспаратности для использования в способе в соответствии с настоящим изобретением соответствует точке B.

Гистограмма 205 показывает, что существует свободный интервал 215, доступный в пределах диапазона диспаратности для сдвига диапазона диспаратности входного трехмерного сигнала от наблюдателя, то есть перемещения гистограммы вправо.

Далее рассмотрена ситуация, в которой наложение требуется поместить в пределах конкретной пространственной области в соответствующих видах. На фиг. 2A показана также гистограмма диспаратности для входного трехмерного сигнала в соответствующей пространственной области. Гистограмма входного трехмерного сигнала для пространственной области обозначена толстой штриховой линией 205'. На основании гистограммы 205', оценка ближней диспаратности, указывающая наименьшую величину диспаратности для данной пространственной области, соответствует точке A. Следует отметить, что, так как данная конкретная пространственная область не содержит меньших (более отрицательных) величин диспаратности, то уже существует значительный свободный интервал 210 в пространственной области для размещения наложения.

Следует отметить, что пространственная область для размещения наложения является, обычно, блоком или сегментом, ограниченным контуром и, по существу, четко отличается от выборочных точек, которые применяются для определения оценки диспаратности для вида в целом, как изложено выше.

Несмотря на существование уже значительного свободного интервала в пространственной области для размещения наложения, можно создать еще больший свободный интервал посредством сдвига диапазона диспаратности входного трехмерного видеосигнала от наблюдателя на сдвиг DS диспаратности, при этом DS < E-B. Хотя, строго не обязательно, но рекомендуется сохранить запас (E-B) - DS, показанный на фиг. 2B в виде запаса 215' для учета разных межзрачковых расстояний у разных пользователей. В результате, настоящее изобретение обеспечивает дополнительный выигрыш в диапазоне диспаратности для размещения наложения.

Гистограмма 220 показывает гистограмму диспаратности наложения, так как наложение помещается целиком в пределах данной пространственной области, и данная гистограмма является также гистограммой наложения поверх всего изображения. В результате сдвига диспаратности создается возможность размещения информации наложения, например, субтитров на или вблизи плоскости с нулевой диспаратностью, что повышает комфортность наблюдения наложения.

Как показано выше, оценку дальней и ближней диспаратности можно определить на основании информации гистограммы диспаратности, представляемой вместе с входным трехмерным видеосигналом. В альтернативном варианте, оценку дальней и ближней диспаратности можно получить из входного трехмерного видеосигнала, с использованием алгоритмов, известных специалистам в данной области техники. Пример упомянутого алгоритма представлен в работе «Dense disparity estimation from feature correspondences», Konrad, et al, IS&T/SPIE Symposium on Electronic Imaging Stereoscopic Displays and Virtual Reality Syst., Jan. 23-28, 2000, San Jose, CA, USA.

На фиг. 3 поясняется процесс сдвига диспаратности, предложенный в настоящем изобретении. С левой стороны показана пара LV1 и RV1 изображений из входного стерео видеосигнала. Изображения представляют серый блок 310 и 310', расположенный с нулевой диспаратностью, и белый диск 305 и 305', расположенный перед блоком, с отрицательной диспаратностью, в изображениях, соответственно, LV1 и RV1.

Как можно видеть по тонким пунктирным вертикальным линиям по краям серого блока 310 и 310', прямоугольник имеет нулевую диспаратность, так как он размещен в одном и том же положении на левом и правом изображениях.

Диск 305 и 305' имеет отрицательный экранный параллакс, т.е. на правом изображении RV1 диск 305' смещен влево от положения диска 305 на левом изображении LV1. В результате, диск визуализируется перед дисплеем.

Для сдвига сцены назад, RV1 сдвигают вправо, чтобы получить RV1'. Из сравнения RV1' с LV1 видно, что диск 305' имеет нулевую диспаратность, и прямоугольник имеет положительную диспаратность.

Для подгонки сдвинутого изображения соответственно стереодисплею, сдвинутое изображение RV1' обрезают с правой стороны и продолжают на равную величину с левой стороны, с получением в результате RV1”. LV1 и RV1”, в свою очередь, можно визуализировать вместе как новую стереопару, в которой сцена сдвинута назад, по сравнению с исходной парой LV1-RV1. В результате, пара LV1-RV1” имеет больший свободный интервал для размещения наложения, в сравнении с парой LV1-RV1.

Следует отметить, что, хотя, в вышеприведенном примере сдвигают только один из видов, возможен также вариант со сдвигом как левого изображения LV1, так и правого изображения RV1 на равные противоположные величины, при этом общая величина соответствует сдвигу RV1'. В результате, оба сдвинутых изображения приходится продолжать, но область продолжения равна половине размера области, обрезаемой и продолжаемой на фиг. 3. В результате, можно равномернее распределить артефакты, обусловленные продолжением.

При сдвиге многовидового контента, например трех видов, можно сохранять центральное изображение и сдвигать и продолжать левое и правое изображения соответственно. Специалисту должно быть понятно, что вышеописанный способ сдвига диапазона диспаратности можно в дальнейшем распространить на дополнительные многовидовые изображения и на любые подходящие величины сдвига изображений, имеющие следствием одинаковую относительную величину сдвига между ними.

При адаптации входного трехмерного видеосигнала, существует несколько вариантов выбора, например, первый вариант выбора состоит в использовании только обрезания. Что касается стерео видеосигнала, то, в данном случае, можно обрезать как левое, так и правое изображения в видеосигнале на одинаковую величину. В случае, когда отношение ширины изображения к высоте не важно, обрезанные виды не нуждаются в продолжении и могут быть использованы как есть. Преимущество, при этом, состоит в том, что, поскольку никакого продолжения не требуется, то артефакты продолжения не привносятся. Второй вариант выбора состоит в применении обрезания и продолжения, как описано выше. Что касается стерео видеосигнала, то, в данном случае, можно обрезать как левое, так и правое изображения в видеосигнале на одинаковую величину и затем продолжить соответствующие виды, как показано на фиг. 3. Преимущество использования продолжения состоит в том, что возможно сохранение отношения ширины к высоте входного трехмерного видеосигнала. Следует отметить, что вышеприведенный перечень вариантов выбора не является исчерпывающим.

На фиг. 4 представлена блок-схема последовательности операций способа 400 в соответствии с настоящим изобретением для обработки входного трехмерного видеосигнала, содержащего несколько видов. Способ содержит этап определения 405 оценки дальней диспаратности, указывающей наибольшую величину диспаратности для входного трехмерного видеосигнала, и оценки ближней диспаратности, указывающей наименьшую величину диспаратности для пространственной области во входном трехмерном видеосигнале. Как указано выше, соответствующие оценки диспаратности могут быть основаны на метаданных или, в альтернативном варианте, могут быть определены на основе контента изображения входного трехмерного видеосигнала.

Способ дополнительно содержит этап адаптации 410 трехмерного видеосигнала сдвигом входного трехмерного видеосигнала назад посредством сдвига диспаратности на основе оценки дальней диспаратности и этап формирования 415 наложения в пределах пространственной области для сдвинутого трехмерного видеосигнала на основе оценки ближней диспаратности и сдвига диспаратности.

В предпочтительном варианте, способ дополнительно содержит этап, на котором накладывают 420 наложение поверх сдвинутого трехмерного видеосигнала.

Как указано выше, этап адаптации входного трехмерного видеосигнала может содержать этап обрезания 425 и продолжения 430 соответствующих видов с дополнением пикселей, чтобы получить измененный диапазон диспаратности.

В случае стереосигнала, один или, предпочтительно, оба вида обрезают и, затем, продолжают. Для многовидового изображения с N видами, при N четном числе, обрезают и продолжают N-1 или, предпочтительно, N видов, как описано выше.

На фиг. 5A представлена система 500 в соответствии с настоящим изобретением для обработки входного трехмерного видеосигнала, содержащего несколько видов. Система 500 содержит блок 505 определения диспаратности для определения оценки дальней диспаратности, указывающей наибольшую величину диспаратности для входного трехмерного видеосигнала, и оценки ближней диспаратности, указывающей наименьшую величину диспаратности для пространственной области во входном трехмерном видеосигнале. Как указано выше, блок 505 определения диспаратности можно реализовать в виде блока оценки диспаратности. Система дополнительно содержит блок 510 сдвига диспаратности, выполненный с возможностью адаптации трехмерного видеосигнала сдвигом трехмерного видеосигнала назад посредством сдвига диспаратности на основе оценки дальней диспаратности. Система 500 дополнительно содержит генератор 515 наложений, выполненный с возможностью формирования наложения в пределах безопасной области наложения для сдвинутого трехмерного видеосигнала на основании оценки ближней диспаратности и сдвига диспаратности.

В предпочтительном варианте, система 500 содержит также видеомикшер 520, выполненный с возможностью накладывать наложение поверх сдвинутого трехмерного видеосигнала. Система 500, показанная на фиг. 5A, может быть реализована в персональном компьютере или на другой компьютерной платформе для автономной обработки контента. В альтернативном варианте, упомянутая система может быть реализована, например, в устройстве, способном воспроизводить диски Blu-ray, или в декодере каналов кабельного телевидения, или трехмерном телевизоре (3D-TV).

На фиг. 5B представлена дополнительная система 500 в соответствии с настоящим изобретением, в которой система разделена на устройство 502 анализа и устройство 503 создания составных изображений, при этом оба устройства, в совокупности, реализуют функции, содержащиеся в системе 500, представленной на фиг. 5A.

Следует понимать, что вышеприведенное описание, для ясности, содержит описание вариантов осуществления изобретения со ссылкой на разные функциональные блоки и процессоры. Однако следует понимать, что можно применить любое подходящее распределение функций между разными функциональными блоками или процессорами, без выхода за пределы настоящего изобретения. Например, функции, показанные как подлежащие выполнению отдельными блоками, процессорами или контроллерами, могут выполняться одними и теми же процессором или контроллерами. Следовательно, ссылки на конкретные функциональные блоки следует рассматривать только как ссылки на подходящие средства для обеспечения описанных функций, а не указания на строгую логическую или физическую структуру или организацию.

Изобретение может быть реализовано в любой подходящей форме, включая аппаратное обеспечение, программное обеспечение, встроенное программное обеспечение или любую их комбинацию. По желанию, изобретение можно реализовать, по меньшей мере, частично, в форме компьютерного программного обеспечения, исполняемого в, по меньшей мере, одном процессоре данных и/или цифровом сигнальном процессоре. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Действительно, функции могут быть реализованы в одном блоке, во множестве блоков или в виде составной части других функциональных блоков. По существу, изобретение может быть реализовано в единственном блоке или может быть физически и функционально распределено между разными блоками и процессорами.

Хотя настоящее изобретение описано выше в связи с некоторыми вариантами осуществления, такое описание не предполагает ограничения настоящего изобретения конкретной формой, приведенной в настоящем описании. Напротив, объем настоящего изобретения ограничен только прилагаемой формулой изобретения. Кроме того, хотя описание какого-либо признака может быть приведено в связи с конкретными вариантами осуществления, специалисту в данной области техники должно быть понятно, что различные признаки описанных вариантов осуществления можно объединять в соответствии с изобретением. В формуле изобретения, термин содержащий не исключает присутствие других элементов или этапов.

Более того, несмотря на раздельное перечисление, множество средств, элементов или этапов способа может быть реализовано, например, посредством единственного блока или процессора. Кроме того, хотя отдельные признаки могут содержаться в разных пунктах формулы изобретения, упомянутые признаки можно, в подходящих случаях, объединять, и содержание в разных пунктах формулы изобретения не предполагает, что сочетание признаков не реализуемо и/или невыгодно. Кроме того, содержание признака в одной категории пунктов формулы изобретения не предполагает ограничения данной категорией, а означает, что признак одинаково применим к другим категориям пунктов формулы изобретения, в подходящих условиях. Кроме того, порядок признаков в пунктах формулы изобретения не предполагает никакого конкретного порядка, в котором признаки должны работать, и, в частности, порядок отдельных этапов в пункте способа не предполагает, что этапы должны выполняться в приведенном порядке. Напротив, этапы можно выполнять в любом подходящем порядке. Кроме того, ссылки в единственном числе не исключают множественного числа. Ссылки с неопределенными артиклями единственного числа и прилагательными «первый», «второй» и т.п. не исключают множественного числа. Позиции в пунктах формулы изобретения приведены просто для пояснения и не подлежат истолкованию в смысле какого-либо ограничения объема притязаний формулы изобретения.

Группа изобретений относится к системе и способу обработки входного трехмерного видеосигнала, содержащего несколько видов. Техническим результатом является уменьшение недостатков взаимосвязи кодированной диспаратности в стерео- или многовидовом контенте для трехмерных дисплеев при применении наложений. Способ обработки входного трехмерного видеосигнала, содержащего несколько видов, включает в себя определение оценки дальней диспаратности, указывающей наибольшую величину диспаратности для входного трехмерного видеосигнала. Способ также содержит этап оценки ближней диспаратности, указывающей наименьшую величину диспаратности для пространственной области во входном трехмерном видеосигнале. Далее, согласно способу, осуществляют адаптацию входного трехмерного видеосигнала сдвигом диапазона диспаратности входного трехмерного видеосигнала от наблюдателя посредством сдвига диспаратности на основе оценки дальней диспаратности. 3 н. и 11 з.п. ф-лы, 7 ил.

1. Способ (400) обработки входного трехмерного видеосигнала, содержащего несколько видов, при этом способ содержит этапы, на которых:
- определяют (405),
- оценку (В) дальней диспаратности, указывающую наибольшую величину диспаратности для входного трехмерного видеосигнала,
- оценку (А) ближней диспаратности, указывающую наименьшую величину диспаратности для пространственной области во входном трехмерном видеосигнале,
- адаптируют (410) входной трехмерный видеосигнал сдвигом диапазона диспаратности входного трехмерного видеосигнала от наблюдателя посредством сдвига (DS) диспаратности на основе оценки дальней диспаратности,
- формируют (415) наложение в пределах пространственной области для сдвинутого трехмерного видеосигнала на основании оценки ближней диспаратности и сдвига (DS) диспаратности.

2. Способ по п.1, дополнительно содержащий этап, на котором
- накладывают (420) наложение поверх сдвинутого трехмерного видеосигнала.

3. Способ по п.1, в котором обе и оценка (В) дальней диспаратности и оценка (А) ближней диспаратности основаны на одном кадре и группе кадров.

4. Способ по п.1, в котором сдвиг (DS) диспаратности основан на предварительно заданной максимальной величине диспаратности между соседними видами из нескольких видов.

5. Способ по п.4, в котором предварительно заданная максимальная величина диспаратности основана на чем-то одном из:
- выбранной величины межзрачкового расстояния и запаса (М) безопасности и
- определяемой пользователем максимальной величины диспаратности.

6. Способ по любому из пп.1-5, в котором
наложение содержит, по меньшей мере, одно из
- субтитров,
- информацию скрытых титров,
- информацию пользовательского интерфейса, и
- дополнительный входной трехмерный сигнал.

7. Способ по любому из пп.1-5, в котором этап адаптации входного трехмерного видеосигнала содержит один из этапов, на которых:
- обрезают (425), по меньшей мере, один вид с одной стороны, чтобы получить измененный диапазон диспаратности, когда упомянутый обрезанный вид объединяют с другим из видов,
- обрезают (425), по меньшей мере, один вид с одной стороны и продолжают (430), по меньшей мере, один обрезанный вид со стороны, противоположной этой одной стороне, чтобы получить измененный диапазон диспаратности, когда упомянутый продолженный обрезанный вид объединяют с другим из видов, и
- обрезают (425), по меньшей мере, один вид и изменяют его в масштабе обратно до полной ширины, чтобы получить измененный диапазон диспаратности, когда упомянутый продолженный, измененный в масштабе, обрезанный вид объединяют с другим измененным в масштабе, обрезанным видом.

8. Способ по п.1, в котором
способ дополнительно содержит этап, на котором вводят метаданные в сдвинутый трехмерный видеосигнал, указывающие дальнюю и ближнюю диспаратность сдвинутого трехмерного видеосигнала.

9. Способ по п.2, в котором
способ дополнительно содержит этап, на котором вводят метаданные в сдвинутый трехмерный видеосигнал, содержащий наложение, указывающие дальнюю и ближнюю диспаратность сдвинутого трехмерного видеосигнала, содержащего наложение.

10. Читаемый компьютером носитель, содержащий записанную на нем программу, которая побуждает процессор компьютера выполнять этапы способа по любому из пп.1, 2, 3, 4, 5, 8 или 9.

11. Система (500) для обработки входного трехмерного видеосигнала, содержащего несколько видов, при этом система содержит:
- блок (505) определения диспаратности для определения
- оценки дальней диспаратности, указывающей наибольшую величину диспаратности для входного трехмерного видеосигнала, и
- оценки ближней диспаратности, указывающей наименьшую величину диспаратности для пространственной области во входном трехмерном видеосигнале,
- блок (510) сдвига диспаратности, выполненный с возможностью адаптации входного трехмерного видеосигнала сдвигом диапазона диспаратности входного трехмерного видеосигнала от наблюдателя посредством сдвига диспаратности на основе оценки дальней диспаратности,
- генератор (515) наложения, выполненный с возможностью формирования наложения в пределах безопасной области наложения для сдвинутого трехмерного видеосигнала на основе оценки ближней диспаратности и сдвига диспаратности.

12. Система по п.11, дополнительно содержащая
- видеомикшер (520), выполненный с возможностью накладывать наложение поверх сдвинутого трехмерного видеосигнала.

13. Система по любому из пп.11-12, в которой
блок (505) оценки диспаратности выполнен с возможностью определения оценки дальней диспаратности и оценки ближней диспаратности по одному из: одного кадра и группы кадров.

14. Система по любому из пп.11-12, в которой
сдвиг (DS) диспаратности основан на предварительно заданной максимальной величине диспаратности между соседними видами из нескольких видов.