ОПТИМИЗАЦИЯ КОДЕРА В СИСТЕМАХ ДОСТАВКИ СТЕРЕОСКОПИЧЕСКОГО ВИДЕО Российский патент 2014 года по МПК H04N19/00 H04N13/00 

УВЕДОМЛЕНИЕ ОБ АВТОРСКОМ ПРАВЕ

Часть раскрытия данного патентного документа содержит материал, который является предметом охраны авторских прав. Обладатель авторских прав не возражает против факсимильного воспроизведения патентного документа или патентного раскрытия кем-либо в том виде, в каком оно существует в деле или реестре Ведомства по Патентам и Товарным Знакам, но в других случаях оставляет все авторские права любого рода.

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Настоящая заявка испрашивает приоритет предварительной заявки на патент США № 61/082220, поданной 20 июля 2008 года, настоящим включенная по ссылке во всей своей полноте.

УРОВЕНЬ ТЕХНИКИ

Область техники

Настоящее изобретение относится к кодированию видео и более конкретно к кодированию стереоскопического видео и видео с несколькими изображениями.

Описание связанного уровня техники

В последние годы провайдеры контента стали заинтересованы в доставке стереоскопического (3D) контента до дома. Этот интерес вызван увеличившимися популярностью и производством 3D материала, а также появлением нескольких стереоскопических устройств, которые уже доступны потребителю. Хотя было предложено несколько систем для доставки стереоскопического материала до дома, которые комбинируют характерные форматы «компоновки» представления видео с, главным образом, существующими технологиями сжатия видео, такими как ISO MPEG-2, MPEG-4 AVC/ITU-T H.264 и VC-1, эти системы не обеспечивают какой-либо информации о том, как процесс кодирования видео должен выполняться. Это впоследствии привело к слабо разработанным решениям кодирования стереоскопического видео с неудовлетворительной производительностью, что было пагубным для внедрения подобных систем.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящие изобретатели осознали необходимость в разработке систем эффективного кодирования для видео с несколькими изображениями (например, с несколькими представлениями или 3D видео) и других новых характеристик, и чтобы они были совместимы со стандартными кодеками видео (например, кодеки, совместимые с моноскопическим видео). В одном варианте осуществления настоящее изобретение обеспечивает способ кодирования изображений, содержащий этап управления характеристикой кодирования процесса кодирования для областей структуры изображения, представляющих больше чем одно изображение для кодирования процессом кодирования, когда области включают в себя количество диспаратности в представленных изображениях, которое приведет к перекрестному загрязнению между представленными изображениями при кодировании с характеристикой. Этап управления характеристикой кодирования содержит, например, по меньшей мере одно из: выключения характеристики кодирования, использования характеристики кодирования менее часто, чем при кодировании структуры изображения, представляющей единственное изображение, отрицательного отклонения характеристики кодирования, установления относительной степени изменения характеристики кодирования, где относительная степень изменения основана на диспаратности, по меньшей мере, частичного активирования характеристики кодирования для областей, для которых определено, что они имеют нулевую или почти нулевую диспаратность, и отключения характеристики для всех других областей, и активирования характеристики кодирования для области, имеющей относительно низкую или не имеющей стереоскопической диспаратности по сравнению с соответствующей областью другого изображения в структуре, отключения характеристики кодирования для области, имеющей относительно высокую стереоскопическую диспаратность, активирования характеристики кодирования для областей в фоновых местоположениях и отключения характеристики кодирования для областей в местоположениях переднего плана, и, по меньшей мере, частичного активирования характеристики для областей, для которых определено, что они имеют нулевое или почти нулевое движение, и отключения характеристики для всех других областей.

Представленные изображения могут содержать, например, по меньшей мере, одно из: стереоскопического представления, нескольких стереоскопических представлений, нескольких представлений одной и той же сцены и нескольких несвязанных представлений.

В одном варианте осуществления способ дополнительно содержит этап классификации диспаратности области в качестве одной из: высокой диспаратности, низкой диспаратности и нулевой диспаратности, и использования классификации диспаратности для направления этапа управления. В одном варианте осуществления количество диспаратности содержит количество диспаратности между соседними областями в представленных изображениях. В одном варианте осуществления количество диспаратности содержит количество диспаратности между соответствующими областями в представленных изображениях. В одном варианте осуществления количество диспаратности содержит количество стереоскопической диспаратности. В одном варианте осуществления диспаратность определяется полосно-пропускающим фильтрованием изображений, и полосно-пропускающее фильтрование может быть применено как вертикально, так и горизонтально. В одном варианте осуществления диспаратность содержит разности в местоположении областей. В одном варианте осуществления количество диспаратности содержит количество изменения светимости в соответствующих областях, где соответствующие области содержат, например, соответствующие области в стереоскопической паре изображений. В одном варианте осуществления количество диспаратности содержит количество оценки движения между изображениями.

В одном варианте осуществления количество диспаратности содержит количество оцененного движения в соответствующих областях больше чем одного изображения. Оценка движения содержит, например, по меньшей мере, одно из: основанной на характеристике оценки движения (например, Расширенный Прогнозирующий Зональный Поиск (EPZS)), основанной на пикселе оценки движения, основанной на блоке оценки движения, основанной на фазе оценки движения, основанной на частотной области оценки движения, рекурсивной пиксельной оценки движения, оценки движения области истинного движения и Байесовой оценки движения.

В различных вариантах осуществления характеристика кодирования содержит, по меньшей мере, одно из: деблокирования, преобразования, и квантизации, компенсации движения, межкадрового прогнозирования, внутрикадрового прогнозирования, цветового формата и конфигурации дискретизации. Процесс кодирования содержит, например, процесс кодирования видео. В одном варианте осуществления процесс кодирования видео содержит кодирование видео Высокого Разрешения (HD). В одном варианте осуществления процесс кодирования содержит масштабируемое кодирование видео. Масштабируемое кодирование видео содержит, например, расширение масштабируемого кодирования видеостандарта AVC/H.264. В различных вариантах осуществления процесс кодирования содержит любые видеокодеки, такие как любой из кодеков MPEG, включая MPEG-1/MPEG-2, MPEG-4 Часть 2, MPEG-4 AVC/H.264, другие кодеки AVS, VC1, RealVideo, 0n2 VP6/VP7, или другие технологии кодирования, включая расширение AVC кодирования видео с несколькими представлениями, JPEG и JPEG-2000 Движения.

Структура изображения содержит, например, "черно-белую" шахматную компоновку пикселей, где "черные" пиксели содержат пиксели изображения первого канала в стереоскопическом представлении, и "белые" пиксели содержат пиксели второго канала в стереоскопическом представлении. В основном, например, структура изображения содержит "многоцветную" “шахматную” компоновку пикселей, где каждый отдельный "цвет" "шахматной доски" содержит пиксели отдельного одного из больше чем одного изображения. “Многоцветная” “шахматная доска” может содержать, например, больше чем два "цвета". Выражаясь более широко, структура изображения содержит "многоцветную" компоновку пикселей, где каждый отдельный "цвет" компоновки содержит пиксели отдельного одного из больше чем одного изображения. Компоновка может содержать, например, любую, по меньшей мере, одну из строк и колонок, назначенных каждому "цвету"/изображению, и модульно-пространственную компоновку местоположений в компоновке, назначенную каждому "цвету"/изображению.

В различных вариантах осуществления, например, процесс кодирования содержит одно или больше основанных на полях кодирований, и основанное на полях кодирование выполняется в, по меньшей мере, одном из: уровня кадра и уровня макроблоков.

Количество диспаратности может быть вычислено, например, через процесс, содержащий, по меньшей мере, одно из: анализа уровня кадра, анализа среза, анализа уровня области и анализа уровня макроблока и блока. В одной альтернативе количество диспаратности может быть определено на этапе, содержащем вычисление искажения. Вычисление искажения может содержать, например, по меньшей мере, одно из: отделения дискрет представления стерео и вычисления искажения на основании 3D представления отделенных дискрет, сравнения исходных изображений с изображениями, представленными в "шахматной доске" после декодирования, сравнения исходных изображений структуры предварительных изображений с изображениями, представленными в структуре изображения после декодирования. Вычисленное искажение содержит, например, по меньшей мере, одно из: яркости и насыщенности цвета, сравнения с, по меньшей мере, одним из изображений до представления в структуре изображения. В еще одной альтернативе сама диспаратность определяется на этапе, содержащем вычисление искажения, причем искажение вычисляется из исходной пары 3D изображений, которые впоследствии кодируются в структуру изображения, и затем выполняется сравнение исходной пары изображений с изображениями, декодированными из структуры изображения.

Способ может дополнительно содержать, например, этап снижения качества, по меньшей мере, одного набора изображений представленных изображений. Снижение качества может быть выполнено, например, на основании контента набора изображений, у которого снижают качество, и/или на основании стоимостной модели, которая принимает во внимание желаемый и допустимый уровень качества наборов изображений. В различных вариантах осуществления наборы изображений в представленных изображениях приоритезируются на основании желаемого качества, а этап снижения качества при выполнении на наборе изображений регулируется согласно приоритету набора изображений таким образом, чтобы качество набора изображений с более низким приоритетом ухудшалось сильнее, чем у набора изображений с более высоким приоритетом. Дополнительные рассуждения при снижении качества также могут быть использованы, например, когда наборы изображений в представленных изображениях приоритезируются на основании желаемого качества, а этап снижения качества при выполнении на наборе изображений регулируется согласно приоритету набора изображений и размеру набора изображений, таким образом, чтобы качество набора изображений с более низким приоритетом ухудшалось сильнее, чем у набора изображений с более высоким приоритетом, если набор изображений с более высоким приоритетом не является слишком большим, и необходимо дополнительное пространство, или полоса пропускания, чтобы нести все наборы изображений. Снижение качества не должно быть однородным по набору изображений, т.е. оно может быть выполнено только на области или макроблоке/блоке набора изображений, и может быть выполнено, например, на представлении стереоскопического набора изображений.

Дополнительно, снижение качества может быть выполнено в подобласти изображения, а не для всего изображения. Например, оно может быть сделано только для области с высокой структурой, но не где-либо еще. В качестве альтернативы, мы могли бы иметь внутри одни и те же пиксели изображения, соответствующие одному представлению/подызображению в области, имеющей более высокое качество и, наоборот, для других областей.

Изобретение может также быть воплощено в способе, содержащем этапы приема стереоскопической пары изображений, комбинирования изображений в структуру изображения, оценки, по меньшей мере, одного инструмента для кодирования структуры изображения, и применения, по меньшей мере, одного из инструментов кодирования в процессе кодирования, если количество перекрестного загрязнения между изображениями в процессе либо кодирования, либо соответствующего декодирования ниже предопределенного порога перекрестного загрязнения, причем процесс кодирования содержит существующий формат видео. Этап применения, по меньшей мере, одного из инструментов кодирования содержит, например, приоритезацию области изображений и применение инструментов кодирования к каждой области согласно приоритету. Приоритезация содержит, например, области с высоким приоритетом, где применяется, по меньшей мере, один инструмент кодирования, и области с низким приоритетом, где инструменты кодирования не обязательно применяются. В одной альтернативе приоритезация основана на области, пересекающей, по меньшей мере, один предопределенный порог. По меньшей мере, один предопределенный порог содержит, например, по меньшей мере, один из порогов: стереоскопической диспаратности, детектирования движения, разности светимости и разности насыщенности цвета. Порог/пороги может быть установлен/предопределен приложением или характеристиками процесса кодирования, случайно (или псевдослучайно) снова задан приложением, или адаптивно задан контентом или ранее принятыми решениями. Решения могут стимулироваться сложностью, качеством и, конечно, корреляцией соседних (как временно, так и пространственно) дискрет. Существующий формат видео содержит, например, формат видео, не разработанный для кодирования стереоскопических изображений, и может быть, например, расширением масштабируемого кодирования видеостандарта AVC/H.264.

Этап оценки содержит, например, по меньшей мере, одно из: анализа стереоскопической диспаратности, анализа оценки движения, анализа яркости, анализа от кодирования с несколькими проходами, анализа от предварительной обработки и более ранних проходов, и анализа Временное Фильтрование с Компенсаций Движения (MCTF). По меньшей мере, один инструмент содержит, по меньшей мере, один из: инструмента деблокирования и инструмента прогнозирования.

Этот способ может дополнительно содержать этап применения, по меньшей мере, одного из инструментов кодирования и может также дополнительно содержать применение, по меньшей мере, одного из инструментов кодирования на уменьшенном уровне, если количество перекрестного загрязнения в пределах приемлемого предопределенного диапазона перекрестного загрязнения. Перекрестное загрязнение содержит, например, по меньшей мере, одно из: яркости, насыщенности цвета, блокирования, и загрязнения стереоскопического представления.

Этап оценки содержит, например, стоимостный процесс. Стоимостный процесс может содержать, например, функцию вычислительных затрат и затрат загрязнения. Стоимостный процесс может содержать лагранжев стоимостный процесс или процесс расчета затрат.

Этот способ может дополнительно содержать этап использования Маскирования Стереоскопического Представления (SVM) путем применения, по меньшей мере, одного из инструментов кодирования в процессе кодирования в случаях, когда $${\mu }_{LV}>{\mu }_{RV}$$ или $${\mu }_{LV}<{\mu }_{RV}$$ , приводящих к более высокому отклонению к качеству одиночного представления. В одной альтернативе, использование Маскирования Стереоскопического Представления (SVM) может быть воплощено путем обеспечения версии более низкого качества одного из стереоскопической пары изображений и путем чередования версии более низкого качества между последующими левыми и правыми представлениями стереоскопической пары изображений. В еще одной альтернативе, использование Маскирования Стереоскопического Представления (SVM) может быть воплощено путем обеспечения переменного качества, по меньшей мере, одного из стереоскопической пары изображений, причем качество выбирается на основании приоритета изображения. В еще одной альтернативе, использование Маскирования Стереоскопического Представления (SVM) может быть воплощено путем применения, по меньшей мере, одного из инструментов кодирования в процессе кодирования, если количество перекрестного загрязнения в одном из изображений в процессе либо кодирования, либо соответствующего декодирования выше первого предопределенного порога перекрестного загрязнения SVM, и количество перекрестного загрязнения в другом изображении в процессе либо кодирования, либо соответствующего декодирования ниже второго предопределенного порога перекрестного загрязнения SVM.

Изобретение может также быть воплощено как устройство кодирования, содержащее входной порт, сконфигурированный для приема битовой структуры, содержащей данные изображения для кодирования, кодер, содержащий набор инструментов, сконфигурированных для кодирования аспектов данных изображения для кодирования, и процессор оценки, сконфигурированный для оценки, по меньшей мере, одного фактора между соответствующими областями набора изображений, внедренных в битовую структуру изображения для декодирования, и регулирования количества использования, по меньшей мере, одного из инструментов, на основании упомянутой оценки. Фактор содержит, например, по меньшей мере, одно из: диспаратности, светимости, насыщенности цвета и оценки движения. Набор инструментов содержит, например, по меньшей мере, одно из: инструмента деблокирования и инструмента прогнозирования движения. Кодер содержит, например, масштабируемый кодер видео и может дополнительно содержать расширение существующего видеоформата.

В одном варианте осуществления формат видео содержит AVC/H.264. В другом варианте осуществления формат видео содержит одно из: AVS и VC1.

Регулирование процессором оценки может содержать, например, отрицательное отклонение, по меньшей мере, одного из инструментов, если, по меньшей мере, один из оцененных факторов превышает предопределенный порог. В одной альтернативе регулирование процессором оценки содержит отрицательное отклонение, по меньшей мере, одного из инструментов на количество, которое изменяется в зависимости от уровня приоритета, связанного с оцененными факторами. В другой альтернативе регулирование процессором оценки содержит снижение эффекта использования, по меньшей мере, одного из инструментов, если, по меньшей мере, один из оцененных факторов превышает предопределенный порог.

В одном варианте осуществления набор изображений содержит одно из: стереоскопического представления, нескольких стереоскопических представлений, нескольких представлений одной и той же сцены и нескольких несвязанных представлений.

Части как устройства, так и способов, и других вариантов осуществления могут быть удобно реализованы в программировании на компьютере общего назначения, или сетевых компьютерах, а результаты могут быть отображены на устройстве вывода, соединенном с любым из: компьютера общего назначения, сетевых компьютеров, или переданы удаленному устройству для вывода или отображения. Кроме того, любые компоненты настоящего изобретения, представленные в компьютерной программе, последовательностях данных, и/или управляющих сигналах, могут быть воплощены как широковещательная передача электронного сигнала на любой частоте в любой среде, включая, но не в качестве ограничения, беспроводные широковещательные передачи и передачи по медному проводу(-ам), опто-волоконному кабелю(-ям) и коаксиальному кабелю(-и), и т.д.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Более полное понимание изобретения и его сопутствующие преимущества могут быть получены с пониманием последующего подробного описания при рассмотрении совместно с сопровождающими чертежами, на которых:

фиг.1 является схемой, иллюстрирующей компоновку с последовательными строками/с перемежением полей для доставки Стереоскопического материала;

фиг.2 является схемой, иллюстрирующей реконструкцию Стереоскопического представления кадров с перемежением полей;

фиг.3 является схемой, иллюстрирующей компоновку с шахматным перемежением для доставки стереоскопического материала согласно варианту осуществления настоящего изобретения;

фиг.4 является схемой, иллюстрирующей реконструкцию Стереоскопического представления кадров с шахматным перемежением согласно варианту осуществления настоящего изобретения;

фиг.5 является схемой, иллюстрирующей кодер видео (например, кодер AVC), сконфигурированный согласно вариантам осуществления настоящего изобретения;

фиг.6 является схемой декодера видео (например, декодера AVC), выполненного с возможностью декодирования оптимизированных кодированных изображений/видео согласно варианту осуществления настоящего изобретения;

фиг.7 является схемой, иллюстрирующей анализ и классификацию диспаратности представления с помощью Оценки Движения согласно варианту осуществления настоящего изобретения;

фиг.8 является схемой, иллюстрирующей анализ и классификацию диспаратности представления кадров с перемежением CB с помощью полосно-пропускающего фильтрования согласно варианту осуществления настоящего изобретения;

фиг.9 является схемой, иллюстрирующей анализ и классификацию диспаратности представления с помощью полосно-пропускающего фильтрования согласно варианту осуществления настоящего изобретения;

фиг.10 является схемой, иллюстрирующей примерные анализ и классификацию диспаратности представления кадров с перемежением CB с помощью Оценки Движения согласно варианту осуществления настоящего изобретения;

фиг.11 является схемой последовательности операций, иллюстрирующей определение параметра деблокирования согласно варианту осуществления настоящего изобретения;

фиг.12 является схемой, иллюстрирующей контент 4:2:0 согласно варианту осуществления настоящего изобретения. Схема иллюстрирует, что целочисленные по модулю 4 дискреты не имеют перекрестного по представлениям загрязнения для целей оценки и компенсации движения. Ограничение оценки движения этими положениями может иметь значительное влияние как на производительность кодирования, так и на его сложность;

фиг.13 является схемой, иллюстрирующей основанное на полях кодирование согласно варианту осуществления настоящего изобретения;

фиг.14 является блок-схемой, иллюстрирующей выбор режима кодирования согласно варианту осуществления настоящего изобретения.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Форматы стереоскопического видео могут включать в себя форматы с перемежением строк (с последовательными полями), шахматные форматы, форматы с перемежением пикселей/столбцов, параллельные форматы и другие форматы, которые по характеру приводят к очень разнящимся характеристикам изображений по сравнению с нормальными изображениями и для которых подобные исходные видеокодеки были оптимизированы. Исходные видеокодеки, такие как AVC/H.264, подразумевают, что все пиксели в кодированном кадре принадлежат одному и тому же изображению (или в данном случае представлению) и имеют конкретные пространственно-временные характеристики, которые могут быть использованы с помощью методик, таких как пространственно-временное прогнозирование, например, оценка движения и внутреннее прогнозирование, преобразование и квантизация, и помимо прочего, деблокирование.

Эти характеристики, однако, не всегда могут существовать в этих форматах стереоскопических изображений, ухудшая или ограничивая производительность подобных инструментов. В частности, подход с перемежением строк компонует два изображения со стереоскопическим представлением в одно изображение путем использования подходящего вертикального фильтрования и прореживания перед сжатием, как можно видеть на фиг.1.

Подобным образом процесс реконструкции использует извлечение соответствующих пикселей из каждого представления из комбинированного изображения и генерирование недостающих дискрет с помощью подходящих фильтров, как можно видеть на фиг.2. Это подразумевает, что пространственная корреляция между вертикально смежными пикселями значительно меньше, и необходима особая осторожность при кодировании подобных кадров для того, чтобы не загрязнять информацию одного изображения информацией другого. Если решение кодирования не соблюдает подобные правила, это может привести к артефактам, которые будут, скорее всего, видимы при просмотре контента на подходящем стереоскопическом дисплее.

Способ шахматного перемежения (например, на фиг.3 и фиг.4) приведет к подобным или более выраженным проблемам. Однако, шахматный способ представляет конкретный интерес из-за улучшенного разрешения по сравнению с другими форматами, и поскольку он в настоящее время поддерживается доступными устройствами отображения. Настоящие изобретатели осознали необходимость в создании и внедрении формата стереоскопического видео для бытового использования, предполагая, однако, что создание подходящих систем кодирования видео с приемлемыми производительностью и качеством. Компоновка пикселей, однако, представляет сложное испытание для существующих кодеров видео, что должно учитываться во время процесса кодирования.

Настоящее изобретение охватывает несколько способов, устройств и структур, которые могут быть воплощены множеством способов, каждый из которых может быть учтен во время процесса кодирования, что может привести либо к улучшенной производительности кодирования, измеренной в увеличенном качестве при заданной фиксированной битовой скорости или эквивалентно уменьшенной битовой скорости при фиксированном целевом качестве, либо/и к снижению сложности подобных решений кодирования с небольшим, если не нулевым, воздействием на производительность кодирования. Представленные способы могут быть применены к любому настоящему или будущему кодеку видео, включая масштабируемые решения, такие как расширение масштабируемого кодирования видео (SVC) AVC/H.264, а также другие компоновки, которые определяют компоновку в пределах одного кадра более чем 2 представлений, т.е. для кодирования видео с несколькими представлениями.

Способы настоящего изобретения основаны в основном на принципе, что все доступные инструменты кодирования должны быть учтены тем способом, который оценивает любое возможное загрязнение дискрет одного представления дискретами другого. Деблокирование, в частности, обычно выполняет процесс фильтрования по смежным дискретам, которые при данных конкретных стереоскопических компоновках, таких как способы с перемежением полей и шахматным перемежением, могут значительно ухудшить стереоскопическое восприятие. Поэтому предлагается деактивировать деблокирование или управлять им подходящим способом для подобного материала или для областей со значительной стереоскопической диспаратностью представления. Например, фиг.11 является схемой последовательности операций, иллюстрирующей определение параметра деблокирования. Параметр определяется на основании, например, данного процесса классификации диспаратности.

Определение степени стереоскопической диспаратности представления может быть выполнено, например, путем использования базового тестирования оценки движения между двумя представлениями. Тестирование может быть выполнено с помощью основанной на блоках схемы оценки движения, которая может включать в себя также характеризацию изменения светимости, такую как процесс Расширенного Прогнозирующего Зонального Поиска (EPZS), или другие способы, включая рекурсивную пиксельную оценку движения, основанную на фазе оценку движения, и оценку движения области истинного движения помимо прочих (например, фиг.7 является схемой, иллюстрирующей анализ и классификацию диспаратности представления с помощью Оценки Движения согласно варианту осуществления настоящего изобретения). С помощью подобных процессов области, для которых определено, что они имеют нулевую или почти нулевую диспаратность могут быть классифицированы как области с нулевой стереоскопической диспаратностью представления или низкой стереоскопической диспаратностью представления, в то время как все другие области классифицируются как области с высокой стереоскопической диспаратностью представления.

В одном варианте осуществления деблокирование может быть разрешено и подходящим образом настроено только на области с нулевой или низкой диспаратностью, и не разрешено или подходящим образом настроено с помощью механизма деблокирования малой силы на областях с высокой диспаратностью. Это может быть сделано, например, с помощью подходящим образом скомпонованных срезов в изображении и связывания каждого из них с необходимыми сигналами деблокирования. Области также могут быть охарактеризованы с помощью других механизмов, таких как использование полосно-пропускающих фильтров, таких как представленный в документе авторства M. Latzel, J.K. Tsotsos, озаглавленном “A robust motion detection and estimation filter for video signals” (Помехоустойчивый фильтр детектирования и оценки движения для сигналов видео) на Заседаниях Международной Конференции IEEE 2001 по Обработке Изображений (ICIP'01), том 1, стр.381-384, октябрь '01, и дополненный документом авторства P. Yin, A.M. Tourapis, J. Boyce, озаглавленным “Fast decision on picture adaptive frame/field coding for H.264” (Быстрый выбор кадрового адаптивного основанного на кадрах/полях кодирования для H.264) VCIP 2005. Однако, вместо применения подобных фильтров только вертикально при данной компоновке стереоскопического представления, тот же самый фильтр может быть применен как вертикально, так и горизонтально, а затем может быть определено, может ли область быть классифицирована как область с высокой, низкой или нулевой диспаратностью. Например, фиг.8 является схемой, иллюстрирующей анализ и классификацию диспаратности представления кадров с перемежением CB с помощью полосно-пропускающего фильтрования согласно варианту осуществления настоящего изобретения.

В одном варианте осуществления это выполняется путем расширения этих способов для поддержки 2D фильтров. Эти фильтры могут также быть применены путем субдискретизации изображения либо горизонтально, либо/и вертикально и путем применения подходящих фильтров при данной ориентации процесса субдискретизации. Например, мы можем создать две субдискретизованные версии исходного стереоскопического мультиплексированного изображения, первую с помощью горизонтальной субдискретизации, а вторую с помощью вертикальной субдискретизации. Первая версия затем обрабатывается с помощью вертикального полосно-пропускающего фильтрования, тогда как вторая обрабатывается с помощью горизонтального полосно-пропускающего фильтрования. Дискреты в обоих изображениях затем характеризуются при данном поведении этих фильтров, и их результаты аккумулируются для категоризации целого изображения. Например, фиг.9 является схемой, иллюстрирующей анализ и классификацию диспаратности представления с помощью полосно-пропускающего фильтрования согласно варианту осуществления настоящего изобретения.

Могут быть также использованы другие способы категоризации диспаратности, такие как описанный в документе авторства Adams, озаглавленном “Interlace motion artifact detection using vertical frequency detection and analysis” (Детектирование артефактов движения перемежения с помощью вертикального детектирования и анализа частоты), патент США № 6909469, содержание которого включено в данный документ посредством ссылки во всей своей полноте. Следует отметить, что основанный на движении анализ может быть использован даже для уже перемеженных компоновок кадра путем либо выполнения анализа через разложение и реконструкцию конечных представлений в полном разрешении, либо путем создания субизображений меньшего разрешения, которые содержат дискреты лишь от одного представления каждый и путем выполнения на этих субизображениях оценки движения и характеризации. Например, фиг.10 является схемой, иллюстрирующей примерные анализ и классификацию диспаратности представления кадров с перемежением CB с помощью Оценки Движения согласно варианту осуществления настоящего изобретения. Соответствующий процесс использует этап разложения изображения, который может использовать, например, фильтрование или учет только расположенных в одном ряду дискрет (т.е. дискрет только из четных или нечетных рядов изображения).

Следует отметить, что приведенный выше анализ диспаратности полезен не только для выбора механизма деблокирования, который будет применен к каждой области изображения, но также для других целей, таких как определение того, какие из инструментов кодирования, такие как оценка движения, следует учитывать при кодировании области, что может значительно помочь в снижении сложности кодирования.

В одном варианте осуществления кодер сначала выполняет анализ диспаратности изображения. Если область классифицирована как область с высокой диспаратностью стереоскопического представления, инструменты, которые могут привести к загрязнению дискрет одного представления дискретами другого, деактивируются или уменьшаются с учетом приоритета во время процесса выбора кодирования. Например, наблюдается, что компенсация движения субдискрет в существующих кодеках выполняется с помощью набора фильтров, которые применяются по всему изображению. В частности, в AVC/H.264 применяется 6-канальный фильтр для полудискретных положений, а билинейное фильтрование применяется для четвертьдискретных цветных субдискретных положений. Другие фильтры, включая бикубический, 2D неразделяемый, диагональный и другие также могут быть использованы.

Для областей с высокой диспаратностью стереоскопического представления вероятность субдискретной интерполяции значительно ниже и, фактически, если используется, может привести к значительным артефактам кодирования, которые, возможно, нужно будет корректировать остаточному процессу кодирования. Поэтому кодер может определить, что нет необходимости учитывать подобные инструменты для этих областей, значительно снижая сложность и вероятность возникновения артефактов кодирования. Подобные заключения могут также быть сделаны для учета конкретных целочисленных положений дискрет в изображении. В частности, наблюдается, что для 4:2:0 контента и шаблона с перемежением CB, лишь положения дискрет по модулю 4 по сравнению с текущим положением избегают всякого загрязнения от другого представления. Например, см. фиг.12, которая является схемой, иллюстрирующей контент 4:2:0 согласно варианту осуществления настоящего изобретения. Схема иллюстрирует, что целочисленные по модулю 4 дискреты не имеют перекрестного по представлениям загрязнения для целей оценки и компенсации движения. Ограничение оценки движения этими положениями может иметь значительное влияние как на производительность кодирования, так и на его сложность.

В частности, положения с расстоянием 1 по горизонтали или вертикали приводят к очевидному загрязнению прогнозирования компонента яркости, а также частичному загрязнению компонента насыщенности цвета (из-за использования билинейного фильтрования для насыщенности цвета). Подобным образом положения с расстоянием 2 по горизонтали или вертикали, даже хотя прогнозирование яркости дискреты выполняется должным образом, все-таки подвергаются неправильному прогнозированию дискрет насыщенности цвета.

В одном варианте осуществления, и подобно случаю с субдискретами, кодер не учитывает или уменьшает приоритет учета (т.е. в быстрой схеме оценки движения, такой как EPZS) дискрет, которые могут привести к загрязнению между представлениями во время процесса кодирования. Приоритет учета может быть составлен таким образом, чтобы мы сначала учитывали целочисленные положения по модулю 4. Если лучшее положение, использующее эти дискреты, не удовлетворяет конкретному пороговому критерию, например, искажение, такое как SAD, не ниже конкретного значения T1, тогда все другие положения также проверяются. Оставшиеся положения могут быть проверены поэтапно на основании воздействия загрязнения дискрет стереоскопического представления, т.е. сначала проверяются положения на расстоянии по модулю 2 (только на воздействие на качество от загрязнения насыщенности цвета), с последующими положениями нечетных расстояний (загрязнение от дискрет яркости и насыщенности).

В одном варианте осуществления этот учет может быть применен только на этапе предварительного анализа/первого прохода кодирования, т.е. когда требуется статистика предварительного анализа для определения параметров кодирования, таких как параметры квантизации, в схеме кодирования с несколькими проходами. В другом варианте осуществления этот подход учитывается только для конкретных опорных кадров или размеров блока конкретного размера (т.е. для AVC/H.264 только для размеров блока 8×8 и ниже) и не для больших разделов, для которых проверяются все дискреты.

Этот подход может быть также расширен на схемы мультиплексирования стереоскопических представлений, которые учитывают чередующуюся субдискретизацию для каждого кадра. Специалистам в области техники должно быть очевидно, что этот подход может легко быть расширен на другие форматы субдискретизации цвета и/или насыщенности цвета. Кроме того, приведенные выше рассуждения могут также быть расширены на внутреннее прогнозирование.

Основанное на полях кодирование, даже если дискреты стереоскопического представления не скомпонованы в подходе перемежением строк (с последовательными полями), может быть все равно полезным для целей кодирования и может обеспечить дополнительные преимущества. В частности, для подхода с шахматным перемежением, полевое кодирование, как на уровне кадра, так и на уровне макроблока, приведет к изображениям с полным вертикальным соответствием стереоскопических представлений, что может улучшить эффективность сжатия. Оно также может улучшить надежность вертикальной интерполяции, которая, с учетом предыдущих рассуждений, может быть теперь более полезной и надежной для прогнозирования движения и внутреннего прогнозирования (улучшенная производительность вертикального внутреннего прогнозирования). Воздействие на качество стереоскопического представления может также быть учтено во время построения и выбора матриц квантизации как для кадровой, так и для полевой компоновок кодирования.

Фиг.13 является схемой, иллюстрирующей основанное на полях кодирование согласно варианту осуществления настоящего изобретения. Основанное на полях кодирование выполняется как на уровне кадра, так и на уровне макроблока, и полезно для различных типов смешивания стереоскопических представлений, такого как шахматное перемежение. В проиллюстрированной примерной компоновке существует только горизонтальное загрязнение дискрет, потенциально улучшая эффективность кодирования.

В одном варианте осуществления производительность кодирования может быть значительно улучшена путем выполнения выбора кодирования путем, учитывая конечный выходной формат, т.е. конечное изображение стереоскопического представления, включая любую подходящую интерполяцию, для оценки искажения данного выбора. Выбор может включать в себя выборы на уровне кадра и макроблока, такие как выбор конкретного режима кодирования блока, опорных данных, вектора движения и/или параметров изменения светимости, и режима внутреннего прогнозирования помимо прочего. Искажение, такое как сумма абсолютных разностей (SAD) или сумма квадратов погрешностей (SSE), может быть вычислено по сравнению либо с исходными неперемеженными стереоскопическими представлениями, либо с реконструированными стереоскопическими представлениями с помощью исходных некодированных стереоскопических перемеженных изображений. Для каждого режима кодирования искажение оценивается, учитывая прогнозирование (для базовой оценки движения или оценки движения с низкой сложностью) или конечных реконструированных (для высокой сложности) дискрет и демультиплексируя и подходящим образом интерполируя представления.

Интерполяция может использовать основные процессы интерполяции (т.е. усреднение всех смежных дискрет одного и того же представления) или может быть выполнена с помощью более сложных процессов, которые эмулируют обработку, выполняемую перед и/или во время отображения (например, см. фиг.14, которая является блок-схемой, иллюстрирующей выбор режима кодирования согласно варианту осуществления настоящего изобретения. Производительность кодирования выбора режима и/или оценки движения может быть улучшена, если искажение вычисляется путем разделения дискрет стереоскопического представления, и искажение вычисляется при данном 3D впечатлении просмотра). В частности, подразумевая использование лагранжевой оптимизации, выбор кодирования видео может быть выполнен с помощью лагранжевой стоимости в виде:

$$J(\lambda )={\mu }_{LV}{D}_{LV}(R)+{\mu }_{RV}{D}_{RV}(R)+\lambda \cdot R(1)$$

где $$D_{LV}$$ и $$D_{RV}$$ являются значениями искажения для левого и правого представления, соответственно, $${\mu }_{LV}$$ и $${\mu }_{RV}$$ являются лагранжевыми множителями, связанными с каждым представлением, R является оценочной или фактической битовой скоростью для выбора режима кодирования.

Наконец, $$\lambda$$ является лагранжевым параметром для параметра скорости. В одном варианте осуществления $${\mu }_{LV}>{\mu }_{RV}$$ , давая большее отклонение в сторону качества одного представления (т.е. левого) по сравнению с другим (т.е. правым), что может способствовать использованию характеристик маскирования стереоскопического представления. Этот способ может также быть выполнен с учетом способа анализа областей диспаратности, описанного выше. В частности, например, для областей с нулевой или низкой стереоскопической диспаратностью мы можем совместно учитывать искажение всех представлений без необходимости выполнения какой-либо дополнительной обработки, и лишь учитывать этот способ для областей с высокой стереоскопической диспаратностью, тем самым значительно снижая сложность.

На основании настоящего раскрытия могут быть сконструированы различные устройства с различными возможностями и эффективностями. Примерное подобное устройство проиллюстрировано, например, на фиг.5. Фиг.5 является схемой кодера видео (т.е. кодера AVC), сконфигурированного согласно вариантам осуществления настоящего изобретения, и включает в себя, например, средства для определения одной или более или любой из приведенных выше диспаратностей, и средства для настройки, управления или отключения любой одной или более различных описанных характеристик кодирования (или характеристик кодирования, которые будут разработаны в будущем).

Фиг.6 является схемой декодера видео (т.е. декодера AVC), выполненного с возможностью декодирования оптимизированных кодированных изображений/видео согласно варианту осуществления настоящего изобретения. Декодер является типовым, но на него подается сигнал, либо иначе осуществляется доступ к данным через битовый поток, который закодирован согласно настоящему изобретению. Настоящее изобретение, в частности, включает в себя любой декодер, либо специализированный, либо типовой, на который подают сигнал, или он осуществляет доступ к данным (либо передаваемые в битовом потоке, либо сохраненные в запоминающем устройстве (например, карте памяти, жестком диске, I-pod'е и т.п.)), закодированным согласно любому аспекту, характеристике, устройству или процессу согласно настоящему изобретению.

При описании предпочтительных вариантов осуществления настоящего изобретения, проиллюстрированного на чертежах, специальная терминология была использована ради ясности. Однако настоящее изобретение не подразумевается ограниченным выбранной таким образом терминологией, и также должно быть понятно, что каждый конкретный элемент включает в себя все технические эквиваленты, которые функционируют сходным образом. Кроме того, изобретатели осознают, что вновь разработанные технологии, не известные сегодня, могут также быть заменены на описанные части и все также оставаться в объеме настоящего изобретения. Все другие описанные элементы, включая, но не в качестве ограничения, кодеры, декодеры, компараторы, мультиплексоры, процессы, процессоры, компоновки аппаратного обеспечения, включая проигрыватели Blu-ray, шаблоны и т.п., также следует рассматривать в свете любых и всех возможных эквивалентов.

Части настоящего изобретения могут быть удобным образом реализованы с помощью традиционных компьютера общего назначения или специализированного цифрового компьютера или микропроцессора, запрограммированного согласно настоящему раскрытию, как будет очевидно специалистам в компьютерной технике.

Подходящее кодирование программного обеспечения может быть подготовлено квалифицированными программистами на основании настоящего раскрытия, как будет очевидно для специалистов в программном обеспечении. Изобретение может также быть реализовано подготовкой прикладных интегральных схем или взаимосоединением подходящей сети традиционных компонентов схем, как будет очевидно для специалистов в области техники на основании настоящего раскрытия.

Настоящее изобретение включает в себя компьютерное программное изделие, которое является носителем(-ями) хранения с сохраненными на (в) нем инструкциями, которое может быть использовано для управления, или принуждения, компьютера выполнять любой из процессов настоящего изобретения. Носитель хранения может включать в себя, но не в качестве ограничения, любой тип дисков, включая гибкие диски, минидиски (MD), оптические диски, DVD, HD-DVD, Blue-ray, CD-ROM, CD или DVD RW+/-, микродиски, и магнитооптические диски, ROM, RAM, EPROM, EEPROM, DRAM, VRAM, устройства флэш-памяти (включая флэш-карты, карты памяти), магнитные или оптические карты, SIM-карты, MEMS, наносистемы (включая интегральные схемы молекулярной памяти), устройства RAID, удаленные хранилища/архивы/склады данных, или любой тип носителя или устройства, подходящего для хранения инструкций.

Будучи сохраненным на считываемом компьютером носителе(-ях) хранения, настоящее изобретение включает в себя программное обеспечение для управления как аппаратным обеспечением компьютера общего назначения/специализированного компьютера, так и микропроцессора и для обеспечения возможности компьютеру или микропроцессору взаимодействовать с пользователем-человеком или другим механизмом, использующим результаты настоящего изобретения. Подобное программное обеспечение может включать в себя, но не в качестве ограничения, драйверы устройств, операционные системы, и пользовательские приложения. В конечном счете, подобный считываемый носитель(-ях) хранения дополнительно включает в себя программное обеспечение для выполнения настоящего изобретения, как описано выше.

Включенными в программирование (программного обеспечения) компьютера общего назначения/специализированного компьютера или микропроцессора являются программные модули для реализации настоящего изобретения, включая, но не в качестве ограничения, подготовку шахматной компоновки пикселей из более чем одного изображения, кодирование шахматной компоновки в качестве кадра формата видео, кодирование шахматной компоновки в качестве кадра формата видео и управление, по меньшей мере, одной характеристикой кодирования для областей структуры изображения в шахматной компоновке, представляющей более чем одно изображение, где области могут включать в себя количество диспаратности в представленных изображениях, которая приводит к перекрестному загрязнению между представленными изображениями при кодировании без управления характеристикой, упаковку шахматного кодированного набора изображений в транспортный формат, декодирование транспортного формата, содержащего шахматный кодированный набор изображений, декодирование формата видео, включающего в себя структурированный набор изображений, в по меньшей мере, один кадр, декодирование формата видео, включающего в себя шахматную структуру данных для изображений, декодирование формата видео, включающего в себя шахматную структуру данных изображений, представляющих данные первого и второго каналов 3D изображения, распознавание структурированного набора изображений в, по меньшей мере, одном кадре и отображение, сохранение или передачу результатов согласно процессам настоящего изобретения.

Таким образом, варианты осуществления настоящего изобретения могут относиться к одному или более приведенным ниже Нумерованным Примерным Вариантам Осуществления (EEE), каждый из которых является примером и, как и любое приведенное выше описание, не должно рассматриваться ограниченными каким-либо пунктом или пунктами формулы, приведенными ниже, в том виде, в каком они находятся в настоящее время, или как будут изменены позднее, заменены или дополнены. Подобным же образом, эти примеры не должны рассматриваться ограниченными в отношении какого-либо пункта или пунктов формулы связанных патентов и/или заявок на патент (включая любые международные аналогичные заявки и/или патенты, выделенные заявки, заявки-продолжения, повторные заявки и т.п.).

Примеры

Нумерованный Примерный Вариант Осуществления 1 (EEE1). Способ кодирования изображений, содержащий этап управления характеристикой кодирования процесса кодирования для областей структуры изображения, представляющих больше чем одно изображение для кодирования процессом кодирования, когда области включают в себя количество диспаратности в представленных изображениях, которое приведет к перекрестному загрязнению между представленными изображениями при кодировании с характеристикой.

EEE2. Способ согласно EEE1, в котором этап управления характеристикой кодирования содержит выключение характеристики кодирования.

EEE3. Способ согласно EEE1, в котором этап управления характеристикой кодирования содержит использование характеристики кодирования менее часто, чем при кодировании структуры изображения, представляющей единственное изображение.

EEE4. Способ согласно EEE1, в котором этап управления характеристикой кодирования содержит отрицательное отклонение характеристики кодирования.

EEE5. Способ согласно EEE1, в котором представленные изображения содержат одно из: стереоскопического представления, нескольких стереоскопических представлений, нескольких представлений одной и той же сцены и нескольких несвязанных представлений.

EEE6. Способ согласно EEE1, в котором этап управления характеристикой кодирования содержит относительную степень изменения характеристики кодирования, где относительная степень изменения основана на диспаратности.

EEE7. Способ согласно EEE1, в котором этап управления характеристикой кодирования содержит, по меньшей мере, частичное активирование характеристики кодирования для областей, для которых определено, что они имеют нулевую или почти нулевую диспаратность, и отключение характеристики для всех других областей.

EEE8. Способ согласно EEE1, дополнительно содержащий этап определения диспаратности путем полосно-пропускающего фильтрования изображений.

EEE9. Способ согласно EEE8, в котором полосно-пропускающее фильтрование применяется как вертикально, так и горизонтально.

EEE10. Способ согласно EEE1, дополнительно содержащий этап классификации диспаратности области в качестве одной из: высокой диспаратности, низкой диспаратности и нулевой диспаратности, и использования классификации диспаратности для направления этапа управления.

EEE11. Способ согласно EEE1, в котором количество диспаратности содержит количество диспаратности между соседними областями в представленных изображениях.

EEE12. Способ согласно EEE1, в котором количество диспаратности содержит количество диспаратности между соответствующими областями в представленных изображениях.

EEE13. Способ согласно EEE12, в котором количество диспаратности содержит количество стереоскопической диспаратности.

EEE14. Способ согласно EEE13, в котором этап управления характеристикой кодирования содержит активирование характеристики кодирования для области, имеющей относительно низкую или не имеющей стереоскопической диспаратности по сравнению с соответствующей областью другого изображения в структуре, и отключение характеристики кодирования для области, имеющей относительно высокую стереоскопическую диспаратность.

EEE15. Способ согласно EEE1, в котором диспаратность содержит разности в местоположении областей.

EEE16. Способ согласно EEE15, в котором этап управления характеристикой кодирования содержит активирования характеристики кодирования для областей в фоновых местоположениях и отключения характеристики кодирования для областей в местоположениях переднего плана.

EEE17. Способ согласно EEE1, в котором количество диспаратности содержит количество оцененного движения в соответствующих областях больше чем одного изображения.

EEE18. Способ согласно EEE17, в котором оцененное движение содержит основанную на характеристике оценку движения.

EEE19. Способ согласно EEE17, в котором оцененное движение содержит основанную на пикселе оценку движения.

EEE20. Способ согласно EEE17, в котором оцененное движение содержит, по меньшей мере, одно из: основанной на блоке оценки движения, основанной на фазе оценки движения, основанной на частотной области оценки движения, рекурсивной пиксельной оценки движения, оценки движения области истинного движения, и Байесовой оценки движения.

EEE21. Способ согласно EEE17, в котором оцененное движение содержит Расширенный Прогнозирующий Зональный Поиск (EPZS).

EEE22. Способ согласно EEE17, в котором управление характеристикой кодирования содержит, по меньшей мере, частичное активирование характеристики для областей, для которых определено, что они имеют нулевое или почти нулевое движение, и отключение характеристики для всех других областей.

EEE23. Способ согласно EEE17, в котором количество диспаратности содержит количество изменения светимости в соответствующих областях.

EEE24. Способ согласно EEE23, в котором соответствующие области содержат соответствующие области в стереоскопической паре изображений.

EEE25. Способ согласно EEE1, в котором количество диспаратности содержит количество оценки движения между изображениями.

EEE26. Способ согласно EEE25, в котором оценка движения определяется через поиск, содержащий Расширенный Прогнозирующий Зональный Поиск (EPZS).

EEE27. Способ согласно EEE1, в котором характеристика кодирования содержит одно из: деблокирования, преобразования и квантизации.

EEE28. Способ согласно EEE1, в котором характеристика кодирования содержит компенсацию движения.

EEE29. Способ согласно EEE1, в котором характеристика кодирования содержит, по меньшей мере, одно из: межкадрового прогнозирования и внутрикадрового прогнозирования.

EEE30. Способ согласно EEE1, в котором характеристика кодирования содержит преобразование.

EEE31. Способ согласно EEE30, в котором характеристика кодирования дополнительно содержит квантизацию.

EEE32. Способ согласно EEE1, в котором характеристика кодирования содержит, по меньшей мере, одно из: цветового формата и конфигурации дискретизации.

EEE33. Способ согласно EEE1, в котором процесс кодирования содержит процесс кодирования видео.

EEE34. Способ согласно EEE33, в котором процесс кодирования видео содержит кодирование видео Высокого разрешения.

EEE35. Способ согласно EEE1, в котором процесс кодирования содержит масштабируемое кодирование видео.

EEE36. Способ согласно EEE35, в котором масштабируемое кодирование видео содержит расширение масштабируемого кодирования видео стандарта AVC/H.264.

EEE37. Способ согласно EEE1, в котором процесс кодирования содержит видео.

EEE38. Способ согласно EEE1, в котором процесс кодирования содержит любой из любых кодеков MPEG, включая MPEG-1/MPEG-2, MPEG-4 Часть 2, MPEG-4 AVC/H.264, другие кодеки AVS, VC1, RealVideo, 0n2 VP6/VP7 или другие технологии кодирования включая расширение AVC кодирования видео с несколькими представлениями.

EEE39. Способ согласно EEE1, в котором структура изображения содержит "черно-белую" шахматную компоновку пикселей, где "черные" пиксели содержат пиксели изображения первого канала в стереоскопическом представлении, и "белые" пиксели содержат пиксели второго канала в стереоскопическом представлении.

EEE40. Способ согласно EEE1, в котором структура изображения содержит "многоцветную" “шахматную” компоновку пикселей, где каждый отдельный "цвет" "шахматной доски" содержит пиксели отдельного одного из больше чем одного изображения.

EEE41. Способ согласно EEE40, в котором “многоцветная” “шахматная доска” содержит больше чем два "цвета".

EEE42. Способ согласно EEE1, в котором структура изображения содержит "многоцветную" компоновку пикселей, где каждый отдельный "цвет" компоновки содержит пиксели отдельного одного из больше чем одного изображения.

EEE43. Способ согласно EEE42, в котором компоновка содержит компоновку из, по меньшей мере, одного из: строк и колонок, назначенных каждому "цвету"/изображению.

EEE44. Способ согласно EEE42, в котором компоновка содержит модульно-пространственную компоновку местоположений в компоновке, назначенную каждому "цвету"/изображению.

EEE45. Способ согласно EEE1, в котором процесс кодирования содержит основанное на полях кодирование.

EEE46. Способ согласно EEE1, в котором процесс кодирования содержит основанное на полях кодирование, выполняемое в, по меньшей мере, одном из: уровня кадра и уровня макроблоков.

EEE47. Способ согласно EEE1, в котором количество диспаратности вычисляется через процесс, содержащий, по меньшей мере, одно из: анализа уровня кадра, анализа среза, анализа уровня области и анализа уровня макроблока и блока.

EEE48. Способ согласно EEE1, в котором количество диспаратности определяется на этапе, содержащем вычисление искажения.

EEE49. Способ согласно EEE48, в котором этап вычисления искажения содержит отделения дискрет представления стерео и вычисления искажения на основании 3D представления отделенных дискрет.

EEE50. Способ согласно EEE48, в котором вычисленное искажение содержит, например, по меньшей мере, одно из: яркости и насыщенности цвета.

EEE51. Способ согласно EEE48, в котором вычисленное искажение содержит сравнение с, по меньшей мере, одним из изображений до представления в структуре изображения.

EEE52. Способ согласно EEE40, в котором количество диспаратности определяется на этапе, содержащем вычисление искажения путем сравнения исходных изображений с изображениями, представленными в "шахматной доске" после декодирования.

EEE53. Способ согласно EEE1, в котором количество диспаратности определяется на этапе, содержащем вычисление искажения, причем искажение вычисляется путем сравнения исходных изображений структуры предварительных изображений с изображениями, представленными в структуре изображения после декодирования.

EEE54. Способ согласно EEE1, в котором количество диспаратности определяется на этапе, содержащем вычисление искажения, причем искажение вычисляется из исходной пары 3D изображений, которые впоследствии кодируются в структуру изображения, и затем выполняется сравнение исходной пары изображений с изображениями, декодированными из структуры изображения.

EEE55. Способ согласно EEE1, дополнительно содержащий этап снижения качества, по меньшей мере, одного набора изображений представленных изображений.

EEE56. Способ согласно EEE55, в котором этап снижения качества выполняется на основании контента набора изображений, у которого снижают качество.

EEE57. Способ согласно EEE55, в котором этап снижения качества выполняется на основании стоимостной модели, которая принимает во внимание желаемый и допустимый уровень качества наборов изображений.

EEE58. Способ согласно EEE55, в котором наборы изображений в представленных изображениях приоритезируются на основании желаемого качества, а этап снижения качества при выполнении на наборе изображений регулируется согласно приоритету набора изображений таким образом, чтобы качество набора изображений с более низким приоритетом ухудшалось сильнее, чем у набора изображений с более высоким приоритетом.

EEE59. Способ согласно EEE55, в котором наборы изображений в представленных изображениях приоритезируются на основании желаемого качества, а этап снижения качества при выполнении на наборе изображений регулируется согласно приоритету набора изображений и размеру набора изображений, таким образом, чтобы качество набора изображений с более низким приоритетом ухудшалось сильнее, чем у набора изображений с более высоким приоритетом, если набор изображений с более высоким приоритетом не является слишком большим, и необходимо дополнительное пространство, или полоса пропускания, чтобы нести все наборы изображений.

EEE60. Способ согласно EEE55, в котором этап снижения качества выполняется представлении стереоскопического набора изображений.

EEE61. Способ, содержащий этапы:

этапы приема стереоскопической пары изображений;

комбинирования изображений в структуру изображения;

оценки, по меньшей мере, одного инструмента для кодирования структуры изображения; и

применения, по меньшей мере, одного из инструментов кодирования в процессе кодирования, если количество перекрестного загрязнения между изображениями в процессе либо кодирования, либо соответствующего декодирования ниже предопределенного порога перекрестного загрязнения;

причем процесс кодирования содержит существующий формат видео.

EEE62. Способ согласно EEE61, в котором этап применения, по меньшей мере, одного из инструментов кодирования содержит приоритезацию области изображений и применение инструментов кодирования к каждой области согласно приоритету.

EEE63. Способ согласно EEE62, в котором приоритезация содержит области с высоким приоритетом, где применяется, по меньшей мере, один инструмент кодирования, и области с низким приоритетом, где инструменты кодирования не обязательно применяются.

EEE64. Способ согласно EEE62, в котором приоритезация основана на области, пересекающей, по меньшей мере, один предопределенный порог.

EEE65. Способ согласно EEE64, в котором по меньшей мере, один предопределенный порог содержит, по меньшей мере, один из порогов: стереоскопической диспаратности, детектирования движения, разности светимости, и разности насыщенности цвета.

EEE66. Способ согласно EEE61, в котором существующий формат видео содержит формат видео, не разработанный для кодирования стереоскопических изображений.

EEE67. Способ согласно EEE61, в котором существующий формат видео содержит расширение масштабируемого кодирования видео.

EEE68. Способ согласно EEE61, в котором этап оценки содержит, по меньшей мере, одно из: анализа стереоскопической диспаратности, анализа оценки движения, анализа яркости, анализа от кодирования с несколькими проходами, анализа от предварительной обработки и более ранних проходов и анализа Временное Фильтрование с Компенсаций Движения (MCTF).

EEE69. Способ согласно EEE61, в котором, по меньшей мере, один инструмент содержит, по меньшей мере, один из: инструмента деблокирования и инструмента прогнозирования.

EEE70. Способ согласно EEE61, дополнительно содержащий применение, по меньшей мере, одного из инструментов кодирования на уменьшенном уровне, если количество перекрестного загрязнения в пределах приемлемого предопределенного диапазона перекрестного загрязнения.

EEE71. Способ согласно EEE61, в котором перекрестное загрязнение содержит, по меньшей мере, одно из: яркости, насыщенности цвета, блокирования и загрязнения стереоскопического представления.

EEE72. Способ согласно EEE61, в котором этап оценки содержит стоимостный процесс.

EEE73. Способ согласно EEE72, в котором стоимостный процесс содержит функцию вычислительных затрат и затрат загрязнения.

EEE74. Способ согласно EEE72, в котором стоимостный процесс содержит лагранжев стоимостный процесс, содержащий

$$J(\lambda )={\mu }_{LV}{D}_{LV}(R)+{\mu }_{RV}{D}_{RV}(R)+\lambda \cdot R$$

где $$D_{LV}$$ и $$D_{RV}$$ являются значениями искажения для левого и правого представления, соответственно,

$${\mu }_{LV}$$ и $${\mu }_{RV}$$ являются лагранжевыми множителями, связанными с каждым представлением,

R является оценочной или фактической битовой скоростью для выбора режима кодирования,

$$\lambda$$ является лагранжевым параметром для параметра скорости.

EEE75. Способ согласно EEE74, дополнительно содержащий этап использования Маскирования Стереоскопического Представления (SVM) путем применения, по меньшей мере, одного из инструментов кодирования в процессе кодирования в случаях, когда $${\mu }_{LV}>{\mu }_{RV}$$ или $${\mu }_{LV}<{\mu }_{RV}$$ , приводящих к более высокому отклонению к качеству одиночного представления.

EEE76. Способ согласно EEE61, дополнительно содержащий этап использования Маскирования Стереоскопического Представления (SVM) путем обеспечения версии более низкого качества одного из стереоскопической пары изображений и путем чередования версии более низкого качества между последующими левыми и правыми представлениями стереоскопической пары изображений.

EEE77. Способ согласно EEE61, дополнительно содержащий этап использования Маскирования Стереоскопического Представления (SVM) путем обеспечения переменного качества, по меньшей мере, одного из стереоскопической пары изображений, причем качество выбирается на основании приоритета изображения.

EEE78. Способ согласно EEE61, дополнительно содержащий этап использования Маскирования Стереоскопического Представления (SVM) путем применения, по меньшей мере, одного из инструментов кодирования в процессе кодирования, если количество перекрестного загрязнения в одном из изображений в процессе либо кодирования, либо соответствующего декодирования выше первого предопределенного порога перекрестного загрязнения SVM, и количество перекрестного загрязнения в другом изображении в процессе либо кодирования, либо соответствующего декодирования ниже второго предопределенного порога перекрестного загрязнения SVM.

EEE79. Устройство кодирования, содержащее:

входной порт, сконфигурированный для приема битовой структуры, содержащей данные изображения для кодирования;

кодер, содержащий набор инструментов, сконфигурированных для кодирования аспектов данных изображения для кодирования;

процессор оценки, сконфигурированный для

оценки, по меньшей мере, одного фактора между соответствующими областями набора изображений, внедренных в битовую структуру изображения для декодирования; и

регулирования количества использования, по меньшей мере, одного из инструментов, на основании указанной оценки.

EEE80. Устройство кодирования согласно EEE79, в котором упомянутый фактор содержит, по меньшей мере, одно из: диспаратности, светимости, насыщенности цвета и оценки движения.

EEE81. Устройство кодирования согласно EEE79, в котором набор инструментов содержит, по меньшей мере, одно из: инструмента деблокирования и инструмента прогнозирования движения.

EEE82. Устройство кодирования согласно EEE79, в котором кодер содержит масштабируемый кодер видео.

EEE83. Устройство кодирования согласно EEE82, в котором масштабируемый кодер видео содержит расширение существующего видеоформата.

EEE84. Устройство кодирования согласно EEE83, в котором формат видео содержит AVC/H.264.

EEE85. Устройство кодирования согласно EEE83, в котором формат видео содержит одно из: AVS и VC1.

EEE86. Устройство кодирования согласно EEE79, в котором регулирование процессором оценки содержит отрицательное отклонение, по меньшей мере, одного из инструментов, если, по меньшей мере, один из оцененных факторов превышает предопределенный порог.

EEE87. Устройство кодирования согласно EEE79, в котором регулирование процессором оценки содержит отрицательное отклонение, по меньшей мере, одного из инструментов на количество, которое изменяется в зависимости от уровня приоритета, связанного с оцененными факторами.

EEE88. Устройство кодирования согласно EEE79, в котором регулирование процессором оценки содержит снижение эффекта использования, по меньшей мере, одного из инструментов, если, по меньшей мере, один из оцененных факторов превышает предопределенный порог.

EEE89. Устройство кодирования согласно EEE79, в котором набор изображений содержит одно из: стереоскопического представления, нескольких стереоскопических представлений, нескольких представлений одной и той же сцены, и нескольких несвязанных представлений.

EEE90. Дополнительное устройство, содержащее входной порт декодированного видео и выходной порт сигнала с несколькими представлениями, причем дополнительное устройство сконфигурировано для обработки видео, принятого на входном порту, которое содержит декодированное видео с несколькими представлениями в каждом кадре, для производства сигнала с несколькими представлениями для передачи выходным портом.

EEE91. Дополнительное устройство согласно EEE90, в котором декодированное видео с несколькими представлениями в каждом кадре содержит 3D видео, имеющее левое и правое представления, внедренные в каждом кадре видео.

EEE92. Дополнительное устройство согласно EEE91, в котором, по меньшей мере, один из: входного порта и выходного порта содержит беспроводной порт.

EEE93. Дополнительное устройство согласно EEE90, в котором декодированное видео с несколькими представлениями в каждом кадре содержит видео, которое было распаковано из шахматной структуры.

EEE94. Дополнительное устройство согласно EEE90, в котором декодированное видео с несколькими представлениями в каждом кадре содержит видео, которое было распаковано из шахматной структуры и было закодировано в шахматной структуре с помощью способа, который включал в себя этап управления, по меньшей мере, одной характеристикой кодирования на основании диспаратности между, по меньшей мере, двумя из представлений исходного видео, из которого осуществлялось кодирование.

Настоящее изобретение может подходящим образом содержать, состоять из, или состоять по существу из любого элемента (различные части или признаки изобретения) и их эквивалентов, как описано в данном документе. Дополнительно, настоящее изобретение, иллюстративно раскрытое в данном документе, может быть осуществлено на практике при отсутствии любого элемента, конкретно раскрытого в данном документе либо нет. Очевидно, многочисленные модификации и изменения настоящего изобретения возможны в свете приведенного выше раскрытия. Поэтому, необходимо понимать, что в объеме формулы изобретения, которая будет включена во впоследствии поданную заявку на патент на изобретение, изобретение может быть осуществлено на практике иначе, чем конкретно описано в данном документе.

Изобретение относится к кодированию видео и более конкретно к кодированию стереоскопического видео и видео с несколькими изображениями. Техническим результатом является обеспечение эффективного кодирования для видео с несколькими изображениями (с несколькими представлениями или 3D видео, несколькими представлениями одной и той же сцены, несколькими несвязанными представлениями) и чтобы они были совместимы со стандартными кодеками видео (например, кодеки, совместимые с моноскопическим видео). Указанный технический результат достигается тем, что предложено управление характеристикой кодирования процесса кодирования для областей структуры изображения, представляющих больше чем одно изображение для кодирования процессом кодирования, когда области включают в себя количество диспаратности в представленных изображениях, которое приведет к перекрестному загрязнению между представленными изображениями при кодировании с характеристикой. Управление может являться, например, любым из: выключения характеристики кодирования, использования характеристики кодирования менее часто, чем при кодировании структуры изображения, представляющей единственное изображение, отрицательного отклонения характеристики кодирования, активирования характеристики кодирования для областей, для которых определено, что они имеют нулевую или почти нулевую диспаратность, и отключения характеристики для всех других областей. 3 н. и 12 з.п. ф-лы, 14 ил.

1. Способ кодирования стереоскопических изображений, содержащий этапы, на которых:
принимают стереоскопическую пару изображений,
комбинируют изображения в структуру изображения,
оценивают, по меньшей мере, один инструмент для кодирования структуры изображения, и
применяют, по меньшей мере, один из инструментов кодирования в процессе кодирования, если количество перекрестного загрязнения между изображениями в процессе либо кодирования, либо соответствующего декодирования ниже предопределенного порога перекрестного загрязнения,
причем перекрестное загрязнение содержит загрязнение информации одиночного представления посредством информации другого представления.

2. Способ согласно п.1, в котором этап применения, по меньшей мере, одного из инструментов кодирования содержит приоритезацию областей изображений и применение инструментов кодирования к каждой области согласно приоритету,
причем приоритезация содержит области с высоким приоритетом, где применяется, по меньшей мере, один инструмент кодирования, и области с низким приоритетом, где инструменты кодирования не обязательно применяются,
причем приоритезация основана на области, пересекающей, по меньшей мере, один предопределенный порог, и
при этом по меньшей мере, один предопределенный порог содержит, по меньшей мере, один из порогов: диспаратности стерео представления, детектирования движения, яркостного контраста, и разности цветности.

3. Способ по п.1, в котором структура изображения содержит компоновку, по меньшей мере, одного из рядов и столбцов, каждый из которых назначен одному каналу стереоскопического представления.

4. Способ по п.1, в котором структура изображения содержит шахматную компоновку пикселей, содержащих два канала стереоскопического представления.

5. Способ по п.1, в котором диспаратность стерео представления определяется посредством использования основанной на блоках схемы оценки движения, содержащей одно из Расширенного Прогнозирующего Зонального Поиска (EPZS), рекурсивной пиксельной оценки движения, основанной на фазе оценки движения, и оценки движения области истинного движения.

6. Способ согласно п.1, в котором диспаратность стерео представления определяется между соответствующими областями двух представлений стереоскопической пары изображений путем вычисления искажения, причем искажение вычисляется путем сравнения исходных изображений структуры предварительных изображений с изображениями, представленными в структуре изображения после декодирования.

7. Способ по п.1, в котором диспаратность стерео представления определена между соответствующими областями двух представлений стереоскопической пары изображений путем полосно-пропускающего фильтрования изображения с 2D фильтрами,
при этом создают две субдискретизованные версии исходной мультиплексированной стереоскопической пары изображений, причем первую - с помощью горизонтальной субдискретизации, а вторую - с помощью вертикальной субдискретизации,
при этом первая версия обрабатывается с помощью вертикального полосно-пропускающего фильтрования, а вторая версия обрабатывается с помощью горизонтального полосно-пропускающего фильтрования, и
причем результаты аккумулируют для категоризации целого изображения.

8. Способ по п.2, в котором стимулируют решения для приоритезации областей посредством корреляции соседних дискрет, как временно, так и пространственно.

9. Способ по п.7, в котором 6-канальные фильтры для полудискретных положений, билинейные фильтры для четверть-дискретных положений и цветных субдискретных положений, бикубические фильтры, 2D неразделяемые фильтры, и диагональные фильтры не учитывают в областях с высокой диспаратностью стерео представления.

10. Способ по п.2, в котором приоритезация областей изображения составлена таким образом, что сначала учитывают прогнозирование движения для положений на расстоянии по модулю 4, и при этом, если лучшее положение не удовлетворяет конкретному пороговому критерию, учитывают положения на расстоянии по модулю 2, с последующими положениями нечетных расстояний.

11. Способ по п.1, в котором этап оценки содержит вычисление функции стоимости по Лагранжу, и
при этом используют Маскирование Стереоскопического Представления (SVM) путем применения, по меньшей мере, одного из инструментов кодирования в процессе кодирования в случаях, когда лагранжев множитель одиночного представления больше лагранжева множителя другого представления, приводящих к более высокому отклонению к качеству одиночного представления.

12. Способ по п.11, в котором обеспечена версия более низкого качества одного из стереоскопической пары изображений, и при этом чередуют версию более низкого качества между последующими левыми и правыми представлениями стереоскопической пары изображений.

13. Способ по п.11, в котором используют Маскирование Стереоскопического Представления (SVM) путем применения, по меньшей мере, одного из инструментов кодирования в процессе кодирования, если количество перекрестного загрязнения в одном из изображений в процессе либо кодирования, либо соответствующего декодирования выше первого предопределенного порога перекрестного загрязнения SVM, и количество перекрестного загрязнения в другом изображении в процессе либо кодирования, либо соответствующего декодирования ниже второго предопределенного порога перекрестного загрязнения SVM.

14. Устройство кодирования, содержащее:
входной порт, сконфигурированный для приема битовой структуры, содержащей данные изображения для кодирования;
кодер, содержащий набор инструментов, сконфигурированных для кодирования данных изображения, при этом устройство кодирования сконфигурировано для выполнения способа по любому из пп.1-13.

15. Считываемый электронным способом носитель с сохраненными на нем инструкциями, которые при загрузке и исполнении устройством обработки побуждают устройство обработки выполнять этапы любого из пп.1-13.