СПОСОБ И СИСТЕМА ДЛЯ КОМПЕНСАЦИИ ОСВЕЩЕННОСТИ И ПЕРЕХОДА ПРИ КОДИРОВАНИИ И ОБРАБОТКЕ ВИДЕОСИГНАЛА Российский патент 2019 года по МПК H04N19/50 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/380111, поданной 3 сентября 2010 г., которая ссылкой включается в данное раскрытие полностью во всех отношениях.

ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ

[0002] Настоящее изобретение, в общем, относится к обработке изображений. В частности, один из вариантов осуществления настоящего изобретения относится к получению параметров компенсации освещенности и обнаружению преобладающих типов переходов освещенности при кодировании и обработке видеосигнала.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[0003] Переходы от одной картинки к следующей картинке видеосигнала часто отличаются каким-либо движением на новой картинке относительно предыдущей картинки, которая могла быть подвергнута операции сжатия или обработки, появлением или исчезновением какого-либо объекта или его части, или возникновением новой сцены, что в совокупности может делать предыдущую кодированную, обработанную или оригинальную картинку менее пригодной для использования в качестве опорной картинки для предсказания. Большинство таких событий могут моделироваться с использованием компенсации движения (частного случая межкадрового предсказания) и внутрикадрового предсказания. Компенсация движения используется для предсказания дискретных значений на текущей картинке с использованием дискретных значений на одной или нескольких ранее кодированных картинках. Конкретнее, при компенсации движения на основе блока блок дискретных значений на текущей картинке предсказывается исходя из блока дискретных значений на некоторой уже декодированной опорной картинке. Последний известен как блок предсказания. Блок предсказания может быть таким простым, как блок, расположенный в том же положении на какой-либо ранее кодированной картинке, что соответствует вектору движения, состоящему из нулей. Однако для учета движения передается вектор движения, который дает команду декодеру использовать какой-либо другой, смещенный блок, который более близко соответствует блоку, который предсказывается. Модель движения может быть такой простой, как трансляционная, где параметры движения состоят из вектора движения при горизонтальном и вертикальном перемещении, или такой сложной, как аффинная или перспективная модели преобразования, которые требуют 6 или 8 параметров движения. Более сложные схемы компенсации движения также могут приводить к блокам предсказания, которые представляют собой комбинации нескольких блоков, которые соответствуют различным параметрам движения. Однако видеосигналы также могут содержать глобальные или локальные изменения освещенности, которые нельзя эффективно моделировать при помощи компенсации движения (межкадрового предсказания) или внутрикадрового предсказания. Такие изменения освещенности обычно обнаруживаются как постепенные изменения освещенности, монтажные переходы, вспышки или другие локальные изменения освещенности, которые могут быть вызваны, например, присутствием нескольких источников света. Взвешенное предсказание (WP), например, компенсация освещенности, может приносить пользу для эффективности предсказания постепенных изменений освещенности, монтажных переходов, вспышек и других локальных изменений освещенности. Взвешенное предсказание состоит из взвешивания (умножения) дискретных значений цветовых составляющих, например, дискретных значений яркости и/или цветности, с коэффициентом усиления, который дополнительно приращивается путем добавления дополнительного смещения. Следует отметить, что в данном раскрытии термины «цветовые параметры» или «цветовые составляющие» могут использоваться для обращения к индивидуальным составляющим, которые включают цветовую область, или пространство. Также следует отметить, что в некоторых областях, или пространствах, цветовые составляющие могут включать составляющие, относящиеся к интенсивности, и составляющие, относящиеся к цвету. Составляющие, относящиеся к интенсивности, могут включать одну или несколько следующих величин: величину яркости или величину светимости, а составляющие, относящиеся к цвету, могут включать одну или несколько следующих величин: величину цветности или хроматическую величину. Находящиеся на современном уровне развития кодеки, такие как H.264/AVC, поддерживающие взвешенное предсказание дискретных значений, которые могут находиться в одном или нескольких возможных цветовых пространствах/областях. Взвешенное предсказание также пригодно для временной предварительной фильтрации или постфильтрации, которая может использоваться для понижения шума датчика, сжатия или других искажений, и, среди прочих, временного мерцания/несовместимостей. На практике операции обработки изображений, ответственные за изменение освещенности, необязательно могут происходить в области, используемой для сжатия или обработки изображения, например, области YCbCr. Интуиция, основывающаяся на экспериментальных данных, подсказывает, что эти операции обычно проводятся в какой-либо другой области, обычно в области sRGB (sRGB представляет собой широко используемое цветовое пространство для ПК и цифровых фотокамер), которое, кроме того, более близко представлениям о цветовой информации в человеческом восприятии. Следует отметить, что существует множество возможных формул преобразования YCbCr в цветовое пространство RGB и из цветового пространства RGB. Также следует учитывать, что до или после операций, которые создали изменения освещенности, значения RGB подвергались гамма-коррекции. Помимо изменений освещенности, которые создавались путем обработки (главным образом, постепенные изменения освещенности и монтажные переходы), также существуют изменения освещенности, которые являются частью содержимого, такие как среди прочих, глобальные или локальные вспышки, изменяющаяся освещенность от мигающего света и осветительной арматуры, а также меняющееся естественное освещение.

[0002] Параметры взвешенного предсказания, например, коэффициент усиления w и смещение f, которые используются для компенсации освещенности дискретного значения s исходя из дискретного значения p как s=w×p+f, получаются в результате какого-либо поиска/оценки параметров взвешенного предсказания (поиска WP). В самой прямой, наиболее сложной форме можно использовать схему поиска методом последовательного перебора, которая рассматривает все возможные сочетания коэффициентов усиления и смещений в пределах некоторого ограниченного окна поиска аналогично схеме полного поиска методом последовательного перебора для оценки движения, вычисляет расхождение/сходство для опорных сигналов со скомпенсированной освещенностью в сравнении с начальными сигналами, и выбирает параметры компенсации освещенности, которые приводят к минимальному расхождению. В ходе поиска также может учитываться оценка и компенсация движения. Однако полный поиск требует большого объема вычислений. Предложено множество способов оценки взвешенных параметров, которые оценивают «оптимальные» коэффициент усиления и смещение для некоторого заданного блока, области или даже всего кадра (при глобальной компенсации освещенности). См., например, публикацию K. Kamikura и др., "Global Brightness - Variation Compensation for Video Coding", IEEE Transactions on Circuits and Systems for Video Technology, vol. 8, no, 8, December 1998, pp. 988-1000, которая описывает схему глобальной компенсации изменений освещенности, предназначенную для повышения эффективности кодирования для сцен видеоизображения с глобальными изменениями яркости, вызванными постепенным возникновением/исчезновением изображения, регулировкой ирисовой диафрагмы камеры, мерцанием, изменением освещенности и т.д. См. также публикации Y. Kikuchi, Т. Chujoh, "Interpolation coefficient adaptation in multi-frame interpolate prediction", Joint Video Team of ISO/IEC MPEG and ITU-T VCEG, JVT-C103, Mar. 2002, и H. Kato, Y. Nakajima, "Weighting factor determination algorithm for H.264/MPEG-4 AVC weighted prediction," Proc. IEEE 6th Workshop on Multimedia Signal Proc., Siena, Italy, Oct. 2004.

[0003] Для достижения наилучших возможных результатов способы, описанные по обсужденным выше ссылкам, приходится применять по отдельности для каждой цветовой составляющей. Поиск взвешенных параметров также может извлекать пользу из компенсации и оценки движения. См., например, публикацию, J.М. Boyce, "Weighted prediction in the H.264/MPEG-4 AVC video coding standard," Proc. IEEE International Symposium on Circuits and Systems, Vancouver, Canada, May 2004, vol. 3, pp. 789-792. В стандарте H.264/AVC за компенсацией движения для дискретных значений следует применение взвешенного предсказания, что приводит к конечным предсказываемым дискретным значениям. Поэтому в ходе поиска WP существует независимость между векторами движения и взвешенными параметрами. Обратиться к решению этой задачи можно, выполняя множественные итерации следующим образом: при помощи какого-либо простого алгоритма получаются начальные значения взвешенных параметров, которые используются для масштабирования и смещения опорного кадра. Масштабированный и смещенный опорный кадр затем используется для оценки движения, что приводит к векторам движения. В альтернативном варианте масштабирование и смещение дискретных значений может включаться в этап оценки движения. В такой реализации масштабирование и смещение рассматриваются в реальном времени, и в обособленном этапе, который создает взвешенный опорный кадр, нет необходимости. На второй итерации указанные векторы движения используются в ходе поиска WP так, чтобы для каждого MB при получении параметров WP использовался текущий опорный блок предсказания. За этим снова следует генерирование масштабированного и смещенного опорного кадра, который претерпевает оценку движения, или единый этап оценки движения, который рассматривает уже полученный масштабный коэффициент и смещение. Обычно эти алгоритмы завершаются тогда, когда достигается сходимость параметров WP.

[0004] Как указывалось выше, известные на текущем уровне техники способы, направленные на компенсацию освещенности, могут требовать больших вычислительных ресурсов, что приводит к пониженной производительности устройства отображения изображений или к повышенной стоимости аппаратного обеспечения, предназначенного для обеспечения указанной производительности. Отметим, что хотя термины «кадр» и «картинка» могут использоваться взаимозаменяемо, данное взаимозаменяемое использование не следует интерпретировать как исключающее такое содержимое с чересстрочной разверткой, как картинки полукадров. Идеи данного раскрытия применимы как к кадрам с последовательной разверткой, так и к картинкам полукадров с чересстрочной разверткой (сверху или снизу).

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0005] Сопроводительные графические материалы, которые включаются в данное описание и составляют его часть, иллюстрируют один или несколько вариантов осуществления настоящего раскрытия и, совместно с подробным описанием и примерами, служат для разъяснения принципов и реализаций данного раскрытия.

[0006] ФИГ. 1 показывает блок-схему алгоритма определения локальных или глобальных изменений освещенности.

[0007] ФИГ. 2 показывает блок-схему оценки цветовых параметров WP для постепенных изменений освещенности.

[0008] ФИГ. 3 показывает блок-схему алгоритма получения цветовых параметров в случае, когда коэффициент усиления w_Y не равен единице, и смещение f_Y является ненулевым.

[0009] ФИГ. 4 показывает блок-схему алгоритма получения цветовых параметров WP для вспышек.

[0010] ФИГ. 5 показывает блок-схему алгоритма получения параметров WP для постепенных изменений освещенности в линейной области.

[0011] ФИГ. 6 показывает схему окончания постепенного изменения освещенности, где DC уменьшается до кадра m+2.

[0012] ФИГ. 7 показывает схему окончания постепенного изменения освещенности, где DC увеличивается до кадра m+2.

[0013] ФИГ. 8 показывает схему начала постепенного изменения освещенности, где DC увеличивается от кадра m+2.

[0014] ФИГ. 9 показывает схему окончания постепенного изменения освещенности, где DC уменьшается от кадра m+2.

[0015] ФИГ. 10 показывает блок-схему алгоритма обнаружения постепенного изменения освещенности с использованием соотношений освещенности.

[0016] ФИГ. 11 показывает блок-схему алгоритма детектора монтажного перехода с низкой сложностью.

[0017] ФИГ. 12 показывает пример глобальной освещенности с насыщенным фоном и с постепенным возникновением изображения из черного цвета.

[0018] ФИГ. 13 показывает общий пример глобальной освещенности с насыщенным фоном.

[0019] ФИГ. 14 показывает блок-схему алгоритма поиска параметров WP на основе меченых наборах.

[0020] ФИГ. 15 показывает блок-схему алгоритма поиска WP с использованием итеративного исключения.

[0021] ФИГ. 16 показывает блок-схему гибридного видеодекодера.

ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0022] Как указывается в описываемых ниже примерах, один из вариантов осуществления изобретения представляет собой способ обнаружения постепенного изменения освещенности и определения глобальной или локальной сущности постепенного изменения освещенности при переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают несколько кадров картинки и связанные опорные кадры предсказания;

для каждого кадра и связанного опорного кадра предсказания вычисляют в первой цветовой области одну или несколько величин, относящихся к интенсивности, и одну или несколько величин, относящихся к цвету;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания для каждого значения цветовой составляющей в первой цветовой области;

если все взвешенные коэффициенты усиления предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что во второй цветовой области происходит, главным образом, глобальный переход с нулевым смещением; и

если не все взвешенные коэффициенты усиления предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что не происходит по меньшей мере одно из следующих событий: глобальный переход с постепенным изменением освещенности; глобальный переход с постепенным изменением освещенности с нулевым смещением; или глобальный переход с постепенным изменением освещенности с нулевым смещением во второй цветовой области.

[0023] Как в дальнейшем указывается в описываемых ниже примерах, другой вариант осуществления изобретения представляет собой способ обнаружения постепенного изменения освещенности и определения глобальной или локальной сущности постепенного изменения освещенности при переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают несколько кадров картинки и связанные опорные кадры предсказания;

для каждого кадра и связанного опорного кадра предсказания вычисляют в первой цветовой области одну или несколько величин, относящихся к интенсивности, и одну или несколько величин, относящихся к цвету;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания для каждого значения цветовой составляющей в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания вычисляют параметры взвешенного предсказания, относящиеся к интенсивности;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания исходя из расчетных (например, вычисленных) величин, относящихся к интенсивности и относящихся к цвету, и из расчетных параметров взвешенного предсказания, относящихся к интенсивности;

если все коэффициенты взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что во второй цветовой области происходит, главным образом, глобальный переход с нулевым смещением; и

если не все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то проверяют, происходит ли локальный переход.

[0024] Еще один вариант осуществления изобретения представляет собой способ определения глобальной или локальной сущности затемнения при переходе от картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают несколько кадров картинки и связанные опорные кадры предсказания;

для каждого кадра и связанного опорного кадра предсказания рассчитывают (например, вычисляют) величины, относящиеся к интенсивности и относящиеся к цвету, в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания для каждой величины, относящейся к интенсивности и относящейся к цвету, в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания сравнивают коэффициенты усиления взвешенного предсказания друг с другом;

если все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что постепенное изменение освещенности является глобальным; и

если не все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, определяют, что постепенное изменение освещенности является локальным.

[0025] Еще один вариант осуществления изобретения представляет собой способ вычисления параметров взвешенного предсказания второй и третьей цветовых составляющих исходя из информации о преобразовании цветового пространства и параметров взвешенного предсказания первой цветовой составляющей при возникновении перехода изображения, где способ включает этапы, на которых:

вычисляют коэффициент усиления и смещения взвешенного предсказания для первой цветовой составляющей;

и на основе значений коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей, вычисляют коэффициенты усиления и смещений взвешенного предсказания вторую и третью цветовую составляющую как функции смещений при преобразовании цветов, коэффициентов матрицы преобразования цветов и коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей.

[0026] Другой вариант осуществления изобретения представляет собой способ вычисления параметров, относящихся к цвету, исходя из параметров, относящихся к интенсивности, и информации о преобразовании цветового пространства при возникновении вспышки на изображении, где способ включает этапы, на которых:

вычисляют коэффициенты усиления и смещения, относящиеся к интенсивности;

если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является ненулевым, то приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и вычисляют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов;

если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является нулевым, то приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и вычисляют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов; и

если коэффициент усиления, относящийся к интенсивности, является равным единице или близким к единице, то приравнивают коэффициенты усиления, относящиеся к цвету, к 1, и вычисляют смещения, относящиеся к цвету, как функции смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов.

[0027] Еще один вариант осуществления изобретения представляет собой способ обнаружения постепенного изменения освещенности при переходе от одной сцены к следующей сцене видеосигнала, где способ включает следующие этапы:

этап А: создают несколько кадров из видеосигнала;

этап В: выбирают текущий кадр из нескольких кадров;

этап С: вычисляют набор свойств для одной или нескольких составляющих цветового пространства текущего кадра на основе значений кадра для одной или нескольких цветовых составляющих из кадров, предшествующих текущему кадру, и кадров, следующих за текущим кадром;

этап D: вычисляют набор свойств для одной или нескольких составляющих цветового пространства предыдущего кадра, предшествующего текущему кадру, на основе значений кадра для одной или нескольких цветовых составляющих из кадров, предшествующих предыдущему кадру, и кадров, следующих за предыдущим кадром; и

этап Е: сравнивают набор свойств для одного или нескольких параметров цветового пространства для текущего кадра со свойствами набора параметров для одного или нескольких параметров цветового пространства предшествующего кадра с целью определения того, является ли текущий кадр конечным кадром постепенного изменения освещенности с увеличивающимся или уменьшающимся значением кадра, или того, является ли кадр, предшествующий текущему кадру, начальным кадром постепенного изменения освещенности с увеличивающимся или уменьшающимся значением кадра.

[0028] Еще один вариант осуществления изобретения представляет собой способ обнаружения монтажного перехода, который включает этапы, на которых:

создают несколько кадров видеопоследовательности и связанные опорные кадры двунаправленного предсказания; и

определяют, присутствует ли монтажный переход, на основе средних коэффициентов усиления, вычисленных для составляющих цветового пространства первой цветовой области текущего кадра и связанных опорных кадров двунаправленного предсказания, и средних коэффициентов усиления, вычисленных для составляющих цветового пространства второй цветовой области текущего кадра и связанных опорных кадров двунаправленного предсказания.

[0029] Еще один вариант осуществления изобретения представляет собой способ определения взвешенных параметров в присутствии условий постепенного изменения освещенности, где способ включает следующие этапы:

этап А: создают несколько кадров картинки и связанные опорные кадры предсказания;

этап В: выбирают цветовую составляющую;

этап С: для каждого кадра и связанного опорного кадра предсказания определяют насыщенные разделы для выбранной цветовой составляющей в пределах кадра и связанного с ним опорного кадра предсказания;

этап D: для каждого кадра и связанного опорного кадра предсказания определяют, используют ли совместно оба кадра большие области с насыщенными значениями для выбранной цветовой составляющей, и если нет совместно используемых ими больших областей с насыщенными значениями, то - переходят на этап Н;

этап Е: для каждого кадра и связанного опорного кадра предсказания определяют насыщенные разделы в пределах кадра и связанного с ним опорного кадра предсказания;

этап F: для каждого кадра и связанного опорного кадра предсказания определяют, используют ли совместно оба кадра большие области с насыщенными значениями для выбранной цветовой составляющей, и если нет совместно используемых ими больших областей с насыщенными значениями, то - переходят на этап Н;

этап G: для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления и факторы взвешенного предсказания на основе совместно используемых и, необязательно, нормированных на одинаковое число пикселов больших областей с насыщенными значениями; и

этап Н: для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления и факторы взвешенного предсказания на основе всего кадра.

[0030] Еще один вариант осуществления изобретения представляет собой способ определения взвешенных параметров в присутствии условий постепенного изменения освещенности, где способ включает следующие этапы:

этап А: создают несколько кадров картинки и связанные опорные кадры предсказания, содержащие выборочные цветовые данные;

этап В: выбирают цветовую составляющую;

этап С: для каждого кадра задают текущее наименьшее значение насыщения и текущее наибольшее значение насыщения для выбранной цветовой составляющей на основе выбранной цветовой области для выборочных цветовых данных;

этап D: для каждого связанного опорного кадра предсказания задают текущее наименьшее опорное значение насыщения и текущее наибольшее опорное значение насыщения для выбранной цветовой составляющей на основе выбранной цветовой области для выборочных цветовых данных;

этап Е: для каждого кадра и связанного опорного кадра предсказания оценивают параметры взвешенного предсказания на основе текущего наименьшего значения насыщения, текущего наибольшего значения насыщения, текущего наименьшего опорного значения насыщения и текущего наибольшего опорного значения насыщения;

этап F: для каждого связанного опорного кадра предсказания вычисляют обновленное текущее наименьшее опорное значение насыщения и обновленное текущее наибольшее опорное значение насыщения на основе оценочных параметров взвешенного предсказания;

этап G: приравнивают текущее наименьшее опорное значение насыщения к обновленному текущему наименьшему опорному значению насыщения, и приравнивают текущее наибольшее опорное значение насыщения к обновленному текущему наибольшему опорному значению насыщения;

этап Н: повторяют этапы D-G в последовательных итерациях, если параметры взвешенного предсказания для текущей итерации отличаются от параметров взвешенного предсказания для непосредственно предшествующей итерации на выбранную величину, или если количество итераций больше, чем выбранное значение счетчика итераций.

[0031] Еще один вариант осуществления изобретения представляет собой способ оценки коэффициентов усиления и смещений взвешенного предсказания при монтажном переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают текущий кадр и связанный опорный кадр предсказания из картинок в видеосигнале;

для каждого текущего кадра и связанного опорного кадра предсказания вычисляют значения цветовых составляющих в цветовой области, где A_m обозначает первую цветовую составляющую для текущего кадра, B_m обозначает вторую цветовую составляющую для текущего кадра, C_m обозначает третью цветовую составляющую для текущего кадра, и где A_m+1 обозначает первую цветовую составляющую для связанного опорного кадра предсказания, B_m+1 обозначает вторую цветовую составляющую для связанного опорного кадра предсказания, C_m+1 обозначает третью цветовую составляющую для связанного опорного кадра предсказания;

приравнивают коэффициенты усиления взвешенного предсказания для всех цветовых составляющих, где w обозначает значение коэффициента усиления взвешенного предсказания, равное для всех цветовых составляющих;

приравнивают друг другу смещения взвешенного предсказания для двух цветовых составляющих, где f_A обозначает смещение для первой цветовой составляющей, a f_C обозначает значение смещения, равное для двух цветовых составляющих; и решают формулу для коэффициента усиления w взвешенного предсказания и смещений f_A и f_C взвешенного предсказания.

[0032] Еще один вариант осуществления изобретения представляет собой способ оценки коэффициентов усиления и смещений взвешенного предсказания при монтажном переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают текущий кадр и связанный опорный кадр предсказания из картинок в видеосигнале;

для каждого текущего кадра и связанного опорного кадра предсказания вычисляют значения цветовых составляющих в цветовой области, где A_m обозначает первую цветовую составляющую для текущего кадра, B_m обозначает вторую цветовую составляющую для текущего кадра, C_m обозначает третью цветовую составляющую для текущего кадра, и где A_m+1 обозначает первую цветовую составляющую для связанного опорного кадра предсказания, B_m+1 обозначает вторую цветовую составляющую для связанного опорного кадра предсказания, C_m+1 обозначает третью цветовую составляющую для связанного опорного кадра предсказания;

приравнивают друг другу смещения взвешенного предсказания для всех цветовых составляющих, где f обозначает значение смещения взвешенного предсказания, равное для всех цветовых составляющих;

приравнивают друг другу коэффициенты усиления взвешенного предсказания для двух цветовых составляющих, где w_A обозначает смещение взвешенного предсказания для первой цветовой составляющей, и w_C обозначает значение смещения взвешенного предсказания, равное для двух цветовых составляющих;

решают формулу для коэффициентов усиления w_A и w_C и смещения f взвешенного предсказания.

[0033] Еще один вариант осуществления изобретения представляет собой способ преобразования параметров взвешенного предсказания из первой цветовой области во вторую цветовую область, где преобразование из первой цветовой области во вторую цветовую область не является линейным, где способ включает этап, на котором: вычисляют параметры взвешенного преобразования во второй цветовой области для одного или нескольких кадров во второй области на основе выражения преобразования из первой цветовой области во вторую цветовую область.

ОБЩИЙ ОБЗОР

[0034] Данное раскрытие описывает способы и варианты осуществления изобретения, которые относятся к компенсации освещенности по соображениям цветового пространства. В частности, эти способы и варианты осуществления изобретения направлены на компенсацию освещенности, которая может включаться в устройства и программное обеспечение, использующие кодирование и декодирование видеосигнала, как для двумерных, так и для трехмерных приложений. Указанные устройства могут включать системы видеодисков, системы беспроводного вещания, системы Интернет-телевидения (IPTV) и другие подобные устройства.

[0035] Наиболее широко используемым цветовым пространством для воспроизведения видеоизображений является цветовое пространство RGB. Каждая составляющая представляет интенсивность каждого из основных цветов, в данном случае, красного, зеленого и синего основных цветов. Область RGB очень эффективна в условиях представления цветовой информации. Кроме того, значения RGB перед отправкой на дисплей или графическую плату подвергаются гамма-коррекции. Операцию гамма-коррекции можно обобщить, как показано ниже в уравнении 1:

Параметры γ_R, γ_G и γ_B представляют собой показатели гамма-коррекции, в то время как коэффициенты усиления α_R, α_G и α_B управляют контрастностью, а смещения β_R, β_G и β_B управляют уровнем черного и интенсивностью. В оставшейся части данного раскрытия предполагается, что α_R=α_G=α_B=1 и β_R=β_G=β_B=0. И хотя показатели гамма-коррекции для каждой составляющей могут отличаться, в оставшейся части данного раскрытия в соображении упрощения условных обозначений и анализа γ_R=γ_G=γ_B=γ. Однако следует понимать, что многие из способов, описанных в данном раскрытии, применимы даже в тех случаях, когда показатели различны. Для основных и имеющих наибольшее практическое значение приложений коэффициент усиления при гамма-коррекции и смещение при гамма-коррекции также предполагаются как согласованные по всем цветовым каналам.

[0036] Цветовое пространство RGB эффективно в условиях представления и отображения цветов, но не всегда эффективно для сжатия видеоизображений, поскольку между цветовыми каналами может существовать значительная корреляция. Для повышения производительности сжатия в системах телевизионного вещания было предложено и стандартизовано несколько преобразований, которые выполняют декорреляцию сигналов RGB в новое цветовое пространство, где одна из составляющих концентрирует информацию о яркости и часто обозначается как Y (Y' - если она подвергнута гамма-коррекции), а две остальные составляющие большей частью содержат информацию о цветности. Указанные преобразования включают аналоговое преобразование согласно американскому стандарту NTSC - Y'VQ', и аналоговое преобразование согласно европейскому стандарту EBU - Y'U'V, а также различные цифровые разновидности преобразования Y'CbCr. См., например, публикацию A. Ford, А. Roberts, "Color Space Conversions", доступную по адресу http://www.poynton.com/PDFs/coloureq.pdf. Ниже описываются наиболее широко используемые версии указанных преобразований и вопросы, которые могут возникать при их применении. Следует отметить, что описываемые ниже преобразования и уравнения представлены с иллюстративными целями, и их не следует интерпретировать как ограничивающие изобретение описанными конкретными преобразованиями и уравнениями. Специалисты в данной области поймут, что в пределах объема изобретения находятся и другие преобразования и уравнения.

[0037] Международным стандартом для кодирования цифровых телевизионных изображений с разрешением стандартной четкости (SD) является стандарт ITU ВТ.601. Матрицы нелинейного кодирования для преобразования из аналогового пространства RGB в аналоговое пространство YCbCr показаны ниже в уравнении 2:

[0038] Уравнение 2 справедливо для представления цветовых каналов RGB, которое находится в интервале от 0 до 1, , и приводит к «аналоговым» величинам , которые принимают значения: , и . В цифровых компьютерах цветовые составляющие RGB обычно представляются беззнаковыми целочисленными величинами из N бит, например, 8 бит, допускающими значения от 0 до 255. Пусть (R',G',B')∈[0;255]. Преобразование аналоговых величин в цифровые величины Y'CbCr (что, по существу, представляет собой процесс квантования) может выполняться в соответствии с техническими условиями ITU и SMPTE путем преобразования, показанного ниже в уравнении 3:

[0039] С использованием уравнений (2) и (3) 8-битное представление составляющих Y'CbCr получается так, как это показано ниже в уравнении 4:

[0040] В 8-битном цифровом представлении составляющие RGB находятся в диапазоне от 0 до 255. При применении преобразования в пространстве Y'CbCr этот динамический диапазон может ограничиваться. При использовании преобразования по приведенному ниже уравнению 5 эффективными диапазонами становятся: Y'∈[16;235], Cb∈[16;240] и Cr∈[16;240]:

[0041] Выражение, приведенное в уравнении 5, можно дополнительно упростить, чтобы сделать возможным быстрое вычисление с только целочисленными операциями SIMD, как показано в уравнении 6:

[0042] При выводе уравнения 5 и уравнения 6 для составляющей яркости используется смещение 16. Помимо уравнения 3, которое рекомендуется стандартами ITU и SMPTE, стандарт JFIF группы JPEG стандартизовал альтернативное уравнение для аналого-цифрового преобразования, предназначенное, главным образом, для сжатия изображений, при котором желательно сохранить большую часть динамического диапазона. Указанное альтернативное уравнение приведено ниже в уравнении 7:

[0043] Преобразование, показанное в уравнении 7, сохраняет большую часть динамического диапазона оригинального аналогового сигнала. Кроме того, значения яркости больше не ограничиваются как значения, которые больше или равны 16 и меньше 235. Значения цветности также имеют больший динамический диапазон. Однако также отметим отсутствие смещения для величины Y'. Отметим, что не следует ограничивать данный анализ и способы настоящего изобретения составляющими цветового пространства, дискретизированными при 8 бит. Содержимое с большей битовой глубиной цвета было и по-прежнему является доступным для таких приложений как, среди прочих, цифровая кинематография. В этих случаях, смещения, например, преобразований масштабируются к соответствующей битовой глубине цвета. Кроме того, то условие, чтобы преобразованное цветовое пространство сохраняло тот же динамический диапазон, что и оригинальное цветовое пространство, не является необходимым. Наконец, динамический диапазон (или битовая глубина цвета) может отличаться на основе составляющих.

[0044] Международным стандартом кодирования цифровых телевизионных изображений с разрешением высокой четкости (HD) является стандарт ITU ВТ.709. Матрицы нелинейного кодирования приведены ниже в уравнении 8:

[0045] Формула, приведенная в уравнении 8, справедлива для представления цветовых каналов RGB, которые находятся в диапазоне от 0 до 1 , и приводит к «аналоговым» величинам , и , которые принимают значения: , и .

[0046] Используя в качестве основы уравнение 5, можно обобщить преобразование RGB в Y'CbCr так, как это показано ниже в уравнении 9:

[0047] Приведенное выше выражение пригодно для моделирования изменений освещенности. Следует отметить, что, если не указывается иное, обозначения Y'CbCr и RGB относятся к величинам с гамма-коррекцией. Когда RGB используется в одном и том же выражении и контексте с R'G'B', первое обозначение обозначает линейные величины, а последнее выражение обозначает величины с гамма-коррекцией.

[0048] При помощи приведенного выше описания преобразования RGB в Y'CbCr изменения освещенности, на которые направлены некоторые варианты осуществления настоящего изобретения, можно категоризировать так, как это описывается ниже.

[0049] Постепенное возникновение изображения представляет собой глобальное изменение освещенности, которое начинается с кадра, лишенного содержимого (обычно пустого или одноцветного) и заканчивается с началом новой сцены. Если начальным цветом является черный, например, значения Y' меньше 17, и значения Cb, Cr согласно стандарту ВТ.601 для 8-битного цветового пространства близки к 128, то имеет место постепенное возникновение изображения из черного цвета, а если цвет начального кадра белый, например, значения Y' больше 234, и значения Cb, Cr согласно стандарту ВТ.601 для 8-битного цветового пространства близки к 128, то имеет место постепенное возникновение изображения из белого цвета. Кадры между начальным и конечным кадрами (крайними кадрами) могут моделироваться как линейные комбинации двух крайних кадров. Тем не менее, постепенные возникновения изображений также могут предсказываться однонаправленно: в зависимости от того, является начальный кадр светлым или темным, кадр перед последним кадром будет представлять собой или более светлую, или более темную версию конечного кадра. Пусть DC для набора обозначает среднее значение для набора. Пусть первым кадром является кадр n, и последним кадром является кадр n+N. Пусть обозначает величину DC яркости для кадра n. Cb_n Cr_n, R_n, G_n и B_n можно определить сходным образом. Глобальное изменение освещенности моделируется как переход с коэффициентом усиления w_cmp и смещением f_cmp для каждой составляющей cmp цветового пространства. Для постепенного возникновения изображения могут быть использованы выражения, приведенные в уравнении 10 и уравнении 11:

[0050] Член k определяется как k≥1 и k≥-1 (любое ненулевое целое число). Модель для постепенных возникновений изображения, основанная на уравнении 11, показана ниже в уравнении 12:

[0051] Исходя из уравнения 12, можно предположить, что изменение в цветовом пространстве RGB может моделировать единственный коэффициент усиления w. Смещения f часто полагаются равными нулю. Отметим, что моделирование постепенных возникновений изображения, как в уравнении 10, соответствует взвешенному предсказанию со смещением и коэффициентом усиления, реализованными, как в стандарте кодирования видеосигналов Н.264. Пусть p обозначает дискретное значение в блоке предсказания, и f обозначает конечное предсказываемое значение. Пусть также w_x обозначает коэффициент усиления, o_x обозначает смещение, и logWD обозначает член, который управляет математической точностью операций. Взвешенное предсказание может быть реализовано, как показано ниже в уравнении 13:

[0052] Постепенное исчезновение изображения представляет собой глобальное изменение освещенности, которое начинается с кадра, представляющего собой конец сцены, и заканчивается кадром, лишенным содержимого (обычно пустым или одноцветным). Если конечным цветом является черный, то имеет место постепенное исчезновение изображения в черный цвет, а если конечным цветом является белый, то имеет место постепенное исчезновение изображения в белый цвет. Кадры между начальным и конечным кадрами (крайними кадрами) могут моделироваться как линейные комбинации двух крайних кадров. Постепенные исчезновения изображения также могут предсказываться однонаправлено: в зависимости от того, является завершающий кадр светлым или темным, кадр перед последним кадром будет представлять собой или более темную, или более светлую версию конечного кадра.

[0053] Монтажный переход представляет собой глобальное изменение освещенности, при котором начальный кадр представляет собой кадр, который принадлежит одной сцене, а конечный кадр представляет собой кадр, который принадлежит к следующей сцене. Кадры между начальным и конечным кадрами (крайними кадрами) могут моделироваться как линейные комбинации двух крайних кадров. Однако, в отличие от постепенных возникновений и исчезновений изображения, монтажные переходы нельзя эффективно предсказывать, исходя из единственного направления. Причина заключается в том, что кадр в монтажном переходе является по определению смесью двух кадров, которые принадлежат двум сильно отличающимся сценам. Данная смесь, в большинстве случаев, линейная, обычно находится в цветовом пространстве RGB и может моделироваться как средневзвешенное значение для двух дискретных значений в каждом из направлений предсказания. Уравнение 14 ниже показывает модель, которая может использоваться для монтажных переходов:

[0054] Предполагается, что сумма коэффициентов усиления равна единице: w₁+w₂=1. Кроме того, смещения f часто полагается равной нулю. Параметр p определяется как меньший или равный -1, например, p≤-1, в то время как параметр q определяется как больший или равный 1, например, q≥1.

[0055] Вспышки и смешанные изменения освещенности представляют собой изменения освещенности, которые не подходят ни к одной из предыдущих категорий, таких как постепенные изменения освещенности и монтажные переходы, которые чаще всего являются искусственными (синтетическими) изменениями освещенности, налагаемыми посредством операций обработки изображений. Вспышки являются изменениями освещенности, имеющими большей частью естественное происхождение, в то время как смешанные изменения освещенности могут относиться к искусственному типу (например, вносимые в ходе постобработки) и к естественному типу. Отметим, тем не менее, что при рассмотрении содержимого компьютерной анимации трудно провести различие между искусственными и естественными типами. Длительность этих изменений освещенности изменчива и часто может быть настолько короткой, как единственный кадр, как, например, в случае вспышки. Кроме того, они часто затрагивают единственную часть картинки, и их нельзя легко моделировать путем глобальной компенсации освещенности (параметров глобального взвешенного предсказания). Дополнительный усложняющий фактор заключается в том, что их поведение является зависящим от содержимого и от источника света и нечасто подлежит ограниченному моделированию. Например, установление взаимосвязей между изменениями составляющих цветового пространства может потребовать напряженных усилий. Установлению этих взаимосвязей может способствовать информация о природе источника света и о расстоянии от объекта до датчика. Если, например, источник света имеет определенный цвет, например, красный, составляющие, которые хранят информацию о красном цвете, будут в большей степени подвержены воздействию, чем составляющие, затрагивающие другие цвета. Для сравнения, при постепенных изменениях освещенности и монтажных переходах можно сделать некоторые интуитивные предположения, которые могут создавать основу для алгоритмов компенсации освещенности. Ниже описываются некоторые примеры смешанных изменений освещенности и вспышек.

[0056] Смешанные изменения освещенности могут быть синтетическими или естественными. Синтетические изменения включают локальные эквиваленты постепенных возникновений/исчезновений изображения и монтажных переходов. Например, в информационных программах могут быть довольно распространенными локализованные изменения освещенности, например, среди прочих, из-за вставки логотипа или сегмента изображения. На сцену может воздействовать множество естественных изменений освещенности: (а) перемещение и/или сдвиг (по интенсивности или даже цветовой температуре) внутренних источников света (например, лампы), (b) перемещение или снова сдвиг (например, солнце пробивается сквозь облака) внешних источников света (заход солнца, осветительные прожекторы и т.д.), (с) присутствие нескольких источников, которые одновременно воздействуют на объект, (d) отражения от источника света на камере или объекте, (е) затенение объекта каким-либо другим, возможно, движущимся, объектом, который закрывает источник света, или в результате перемещения самого источника света, (f) такие высокодинамичные события, как взрыв, который приводит к нескольким источникам света, которые также влияют на определенные цвета, (g) присутствие прозрачных и движущихся веществ, таких как, среди прочих, вода, которые влияют на направление и интенсивность света, приходящего от источника света, как во времени, так и в пространстве. В зависимости от интенсивности света цветовая информация может сохраняться, хотя бывают и такие случаи, когда это утверждение не является верным.

[0057] Вспышки длятся в течение нескольких кадров, иногда в течение только одного кадра, и включают локальные или глобальные изменения освещенности. Веса и смещения цветовых составляющих, например, в цветовом пространстве RGB, необязательно коррелируют. Если источник света был белым, то все веса можно моделировать как имеющие приблизительно одинаковое значение. Однако также возможно, что источник света имеет преобладающий цвет. Кроме того, даже если источник света является белым, он может усиливать насыщенность цвета, поскольку тусклый свет склонен размывать всю цветовую информацию в сцене. Сходный аргумент, тем не менее, справедлив и для очень яркого света, который оказывает сходное влияние. Поэтому представление о сохранении цветовой информации, которое является более или менее верным для постепенных изменений освещенности, в случае вспышек необязательно справедливо.

[0058] Локализованные, движущиеся и направленные источники света, такие как проблесковые огни, вызывают локальные изменения освещенности и часто могут насыщать цвета или изменять цветовую составляющую, поскольку они воспроизводят цветовую информацию, которая не присутствовала в предыдущих кадрах. Поэтому цветовая информация необязательно сохраняется.

[0059] Данное раскрытие описывает несколько вариантов осуществления согласно настоящему изобретению, которые относятся к компенсации освещенности в соображениях цветового пространства. Отметим, что представление примеров с использованием конкретных цветовых пространств не следует интерпретировать как ограничение вариантов осуществления изобретения этими цветовыми пространствами. В частности, описание вариантов осуществления изобретения с использованием цветовых пространств, использующих составляющие яркости и цветности, представлено в целях описания, и специалисты в данной области понимают, что указанные примеры могут распространяться на другие цветовые пространства. Варианты осуществления изобретения и их примеры кратко описываются ниже и представляются более подробно, что указывается показанными ниже заголовками разделов.

[0060] Один из вариантов осуществления изобретения включает способ обнаружения постепенного изменения освещенности и определения сущности изменения освещенности: является оно локальным или глобальным. Данный способ также пригоден для проведения операции согласно варианту осуществления изобретения, описываемому в следующем абзаце. Данный способ нуждается в нескольких глобальных параметрах, таких как, среди прочих, значения DC яркости и цветности, или формы гистограмм, и эксплуатирует взаимоотношения между различными цветовыми пространствами (RGB в сопоставлении с YCbCr) для установления того, имеет ли место постепенное изменение освещенности, и является оно локальным или глобальным.

[0061] Другой вариант осуществления изобретения включает способ получения недостающих параметров цветности для компенсации освещенности при заданных параметрах яркости и информации о преобразовании цветового пространства. Если параметры яркости известны на локальной основе (блоки или области), то способ допускает получение параметров цветности также и на локальной основе, невзирая на то, что информация о цветности a priori является вынужденно ограниченной и глобальной в объеме. Данный способ позволяет получать параметры компенсации локальной и глобальной освещенности для составляющих, как яркости, так и цветности, без необходимости в обращении к полному поиску для всех из составляющих. Ниже описываются различные варианты осуществления изобретения для каждого типа изменений освещенности. Один из дополнительных вариантов осуществления изобретения может реализовывать этот способ как часть системы декодирования видеосигнала. Другие варианты осуществления изобретения могут улучшать оценку параметров цветности путем учета сегментирования при получении локальных параметров. Сегментирование может извлекать пользу из компенсации движения и является полезным при слежении за объектами в сцене, которые совместно используют похожую информацию цветности. Таким образом, параметры цветности могут извлекать пользу из некоторых значений инициализации, которые повышают шансы получения корректных недостающих параметров цветности и ускоряют выполнение этого процесса.

[0062] Другой вариант осуществления изобретения включает способ получения параметров компенсации освещенности для случаев, когда изменения освещенности имеют место в представлении цветового пространства ином, чем представление (область), используемое в ходе сжатия, что может включать случаи, когда матрицы/уравнения преобразования не являются линейными. Одной из целей является определение параметров в одной из областей при имеющемся знании о значениях, или характеристиках, параметров в какой-либо другой области. Например, возможно, что постепенные изменения освещенности и монтажные переходы генерировались путем обработки дискретных значений непосредственно в линейной области или гамма-области цветового пространства RGB 4:4:4, в то время как следующее за сжатием предсказание имеет место, например, в гамма-области или логарифмической области цветового пространства YCbCr 4:2:0. Это может быть распространено на приложения, включающие цветовое пространство XYZ, пространства с широкой цветовой гаммой (WCG) или любую комбинацию уже существующих и будущих цветовых пространств. Сходные вопросы могут возникнуть при масштабируемом кодировании видеосигнала, где один слой (базовый; BL) содержит содержимое в одном цветовом пространстве, например, версию кадра с узким динамическим диапазоном (LDR), а слой повышения качества (EL) содержит содержимое в другом цветовом пространстве, например, версию кадра с визуальным динамическим диапазоном (VDR). Другое приложение данного варианта осуществления изобретения имеет дело с парами стереоскопических изображений. В стереоскопической паре камер каждая камера может обладать различными характеристиками цветового пространства, что может быть результатом неудовлетворительной калибровки, но также может быть результатом того, что ни одна из линз или ни один из датчиков камеры не будет иметь идентичных характеристик передачи частоты. В результате изображения, захваченные каждой из камер, могут проявлять цветовые сдвиги. Поэтому параметры компенсации освещенности, полученные для одного изображения, могут не являться прямо применимыми к другому изображению. Однако при имеющемся (посредством калибровки) знании о преобразовании, которое соотносит координаты цветового пространства одной камеры и другой камеры, можно применять данный вариант осуществления изобретения для получения параметров для второго изображения. Данный вариант осуществления изобретения, таким образом, может применяться в системе масштабируемого кодирования, где BL кодирует первое изображение, и EL - второе изображение из стереоскопической пары изображений. Ниже более подробно описывается способ оптимизации получения параметров для этих и похожих случаев.

[0063] Еще один вариант осуществления изобретения включает обнаружение постепенного изменения освещенности и монтажного перехода с использованием соотношений изменений освещенности. Ниже более подробно описываются способы с низкой сложностью, которые могут использоваться для разграничения последовательностей постепенного изменения освещенности с использованием параметров, извлекаемых в ходе поиска параметров компенсации освещенности.

[0064] Другой вариант осуществления изобретения включает получение параметров компенсации освещенности с компенсацией отсечения и насыщения. Ниже описываются способы, которые учитывают то, что дискретные значения в составляющих яркости и цветности отсекаются и насыщаются до предварительно определяемых значений. Такие операции, как отсечение и насыщение, нарушают многие из стандартных допущений, которые позволяют взвешенному предсказанию работать так, как это намечается. Основой этих способов является категоризация дискретных значений на те, которые находятся далеко от границ, и те, которые находятся близко к границам. Также определены дополнительные варианты осуществления изобретения, которые используют сегментирование и компенсацию движения для улучшения отслеживания и получения вышеупомянутых областей/категорий.

[0065] Другие варианты осуществления изобретения включают способы оценки параметров компенсации освещенности с низкой сложностью.

[0066] Способ обнаружения постепенного изменения освещенности и определения сущности постепенного изменения освещенности (глобальной или локальной). Современные кодеки, такие как H.264/AVC, обычно действуют в области Y'CbCr по причине ее очень хороших декоррелирующих свойств. Отметим, тем не менее, что для случая H.264/AVC входная и декодированная картинки могут находиться в любом из следующих цветовых пространств: только Y(серая шкала), Y'CbCr или YCgCo, RGB и другие, не оговоренные техническими условиями монохромные трехцветные цветовые пространства (например, YZX, также известное как XYZ). Тем не менее, перед демонстрацией разуплотненное видеоизображение обычно преобразовывается обратно в исходную область RGB. Область RGB ближе к действию зрительной системы человека, и переходы постепенного изменения освещенности можно, как описано выше, лучше понять при их изучении в этой области. Программное обеспечение завершающего этапа создания видеоизображения, которое часто используется для создания искусственных постепенных изменений освещенности, вероятнее всего, действует в области RGB. Отметим, что для иллюстративных вариантов осуществления изобретения в данном раскрытии используются области RGB и YCbCr. Однако раскрытые в данном раскрытии способы могут применяться для любого заданного сочетания цветовых пространств (например, XYZ в сочетании с YCgCo) до тех пор, пока известны матрицы/алгоритмы преобразования. Отметим, что для упрощения условных обозначений в оставшейся части данного раскрытия вместо Y'CbCr будет использоваться YCbCr.

[0067] В ходе перехода с постепенным изменением освещенности предполагается, что цветовая информация сохраняется, в то время как освещенность изменяется. Это приводит к общему коэффициенту усиления w для всех составляющих и является следствием второго закона Грассмана для цветовой смеси. Уравнение 12 может быть дополнительно упрощено в предположении, что (малые) смещения неизменны для всех составляющих, как показано ниже в уравнении 15:

[0068] Пусть (, Cb_m, Cr_m) обозначает составляющие Y'CbCr для кадра m. уравнение 16 ниже получено путем объединения уравнения 15 и уравнения 9:

[0069] Для широко используемых матриц преобразования RGB в Y'CbCr согласно стандарту ITU ВТ.601 уравнение 16 можно, как показано ниже, упростить до уравнения 17:

[0070] Приведенное выше уравнение 17 вполне понятно интуитивно, так как оно показывает, что неизменное смещение во всех составляющих области RGB транслируется в единственное смещение для составляющей Y (яркость) в области Y'CbCr. Также, в зависимости от того, как аналоговые величины квантуются в их цифровые эквиваленты, можно получить два случая. Один случай, в котором используется аналого-цифровое преобразование ITU/SMPTE (уравнение 3), представлен ниже уравнением 18:

Другой случай, в котором используется аналого-цифровое преобразование JFIF формата JPEG (уравнение 7), показан ниже в уравнении 19:

[0071] Приведенные выше выражения дают начало алгоритмам (подробно описанным ниже), которые транслируют коэффициенты усиления и смещения для составляющей Y в веса и смещения для составляющих Cb и Cr. Некоторые особенности, такие как классификация как локального или глобального, могут помочь в сборе большего объема информации о лежащем в основе постепенном изменении освещенности без обращения к требующему много времени поиску взвешенного предсказания. Полагая f=0, операции, представленные в уравнении 17 можно разложить для получения следующего выражения, показанного ниже в уравнении 20:

Полагая, что коэффициенты усиления для каждой составляющей могут быть неравны, получаем приведенное ниже уравнение 21:

[0072] В некоторых вариантах осуществления изобретения член d₀ равен или 0, или 16, в то время как для большинства практических целей члены d₁ и d₂ равны 128. Эти члены принимают различные значения при рассмотрении содержимого с битовыми глубинами цвета больше 8. Отметим, что варианты осуществления настоящего изобретения применимы для содержимого с произвольными битовыми глубинами цвета. Отметим, что, несмотря на то, что и ограничены значениями больше d₀, аналогичное утверждение не является верным для Cb_m, Cb_m+k, Cr_m и Cr_m+k. Фактически, поскольку w_{Y гарантированно является неотрицательным, возможно получение отрицательных значений wCb и wCr. Основываясь на этом утверждении, для проверки того, удовлетворяются ли допущения, сделанные до настоящего момента, можно использовать испытание. До настоящего момента предполагалось, что (a) f=0, (b) постепенное изменение освещенности происходит в области RGB, и что (с) постепенное изменение освещенности моделируется уравнением 15.}

[0073] Тогда для установления того, удовлетворяются ли вышеупомянутые допущения, используется приводимое ниже испытание:

(a) Для данного текущего кадра m и его опорного кадра предсказания m+k - вычислить средние значения составляющих яркости и цветности и обозначить их как , , Cb_m, Cb_m+k, Cr_m и Cr_m+k. В одном из альтернативных вариантов осуществления изобретения вместо значений DC можно использовать информацию гистограмм. Могут использоваться наибольший и второй по величине пики на гистограмме или их комбинации, поскольку они менее предрасположены к выбросам по сравнению с рассмотрением только величин DC.

(b) Вычислить коэффициенты усиления w_Y, w_Cb и w_Cr по уравнению 21 и сравнить их. Если все они являются неотрицательными или достаточно подобны, то - определить, что сделанные выше допущения для оцениваемой пары кадров, или кадров m и m+k, удовлетворяются. Сходство коэффициентов усиления можно установить путем проверки того, находятся ли коэффициенты в пределах 5-10% один относительно другого. Это можно осуществить путем преобразования коэффициентов в шкалу между 0 и 1 с использованием логарифмической функции и проверки того, является ли разность коэффициентов усиления меньшей, чем 0,05 или 0,1.

[0074] Приведенное выше испытание запускается для каждого кадра в последовательности кадров, начиная с первого. В альтернативном варианте можно применять его только для тех кадров, которые отмечены как содержащие изменения освещенности посредством каких-либо внешних средств, таких как классификатор сцен или препроцессор. Если описанное выше испытание определяет, что допущения удовлетворяются, что означает, что имеет место (а) переход с глобальным постепенным изменением освещенности с (b) нулевым смещением, которое (с) первоначально происходит в области RGB, то, необязательно, цветовые параметры могут быть получены с использованием только параметров глобального взвешенного предсказания (как описывается непосредственно ниже), и можно избежать времязатратного локального взвешенного предсказания. Если эти допущения не удовлетворяются, то можно подозревать, что изменение освещенности или не является глобальным, или не происходит в области RGB, или смещение не равно нулю. В этом случае к изменению освещенности можно, необязательно, обратиться на локальной основе. Алгоритм определения изменений освещенности как локальных или глобальных изображен на ФИГ. 1.

[0075] Отрицательный результат приведенного выше испытания также может указывать на отсутствие каких бы то ни было переходов с постепенным изменением освещенности. Поэтому приведенный выше алгоритм также может служить в качестве детектора постепенных изменений освещенности или как компонент схемы обнаружения постепенных изменений освещенности. Кроме того, если имеется какое-либо внешнее знание о том, что кадр содержит постепенное изменение освещенности, то результат может помочь классифицировать его как локальное, а не глобальное постепенное изменение освещенности. Дополнительные варианты осуществления изобретения возможны путем модификации алгоритма, изображенного на ФИГ. 1, следующими способами: (а) определение типа постепенного изменения освещенности может осуществляться существующими альтернативными способами, (b) существующие способы могут использоваться для получения весов на этапе (b) вышеописанного испытания, и (с) другие способы (например, способы DC, способы гистограмм, итеративные способы компенсации движения и т.д.) способны оценивать параметры цветности без обращения к обычному поиску WP для цветности. Отметим, что оценки цветности могут обеспечивать затравку для итеративного алгоритма поиска WP, который может уточнять эти исходные значения и, таким образом, уменьшать количество итераций.

[0076] ФИГ. 1 показывает, что вычисление параметров локального WP для яркости может выполняться перед вычислением и сравнением коэффициентов усиления, показанным выше в уравнении 21. Однако это лишь по желанию. В одном из альтернативных вариантов осуществления изобретения коэффициенты усиления, показанные в уравнении 21, могут рассчитываться только из глобальных значений DC для цветности и яркости. Эти коэффициенты усиления могут затем сравниваться для определения того, является постепенное изменение освещенности локальным или глобальным постепенным изменением освещенности, например, если коэффициенты усиления являются неотрицательными и подобными, постепенное изменение освещенности является глобальным постепенным изменением освещенности, и цветовые параметры WP (для яркости и цветности) можно оценить без локального поиска. Однако если коэффициенты усиления являются отрицательными и/или не являются подобными, то, необязательно, следует выполнить поиск параметров локального WP как для цветности, так и для яркости.

Получение недостающих параметров цветности для компенсации освещенности

[0077] В данном варианте осуществления изобретения алгоритмы усовершенствованной компенсации освещенности используются тогда, когда а priori существует знание некоторых параметров. Предполагается, что заранее известны следующие статистические показатели: (а) коэффициенты усиления и смещения взвешенного предсказания составляющей яркости (Y) для блока (например, 8×8 пикселов) или для области (например, для серии последовательных макроблоков), или на уровне картинки; и (b) информация о преобразовании цветового пространства. Отметим, что блоки или область могут быть перекрывающимися. Целью является получение недостающих параметров взвешенного предсказания цветности и для глобальной, и для локальной (например, на блоке) компенсации освещенности. Такой способ снижает вычислительную сложность путем поиска параметров локального взвешенного предсказания на единственной составляющей цветового пространства вместо всех трех составляющих. Данный способ, помимо ускорения оценки недостающих цветовых параметров, также может служить в качестве компонента схемы взвешенного предсказания в декодере: в таком сценарии применения сжатый битовый поток переносит только вышеупомянутую информацию (параметры Y и только глобальные параметры DC для цветовых составляющих), и декодер с использованием предложенного способа делает вывод (сходным образом с неявным взвешенным предсказанием в H.264/AVC) о недостающих цветовых параметрах. В другом варианте осуществления изобретения в декодер также может передаваться информация декодера о соотношении яркости и цветности.

[0078] В первую очередь, внимание будет обращено на ситуации, включающие постепенные изменения освещенности. Начнем со случая, когда коэффициенты усиления и смещения WP яркости оцениваются на основе блока (например, блока размера 8×8 пикселов) или области, и система сжатия испытывает недостаток параметров WP для цветности. Если параметры WP для цветности недоступны, будет страдать эффективность сжатия. Обычно используемым, но субоптимальным решением этой задачи является использование некоторых используемых по умолчанию параметров взвешенного предсказания для составляющих цветности: равный единице коэффициент усиления и нулевое смещение для взвешенного предсказания цветности. Другим довольно прямолинейным решением является использование коэффициентов усиления яркости также и в качестве коэффициентов усиления цветности. Однако оба вышеупомянутых решения могут быть неточными. В следующих абзацах представлен и описан алгоритм, который преобразовывает параметры WP яркости в параметры WP цветности для эффективного взвешенного предсказания постепенного возникновения и постепенного исчезновения изображения.

[0079] Ниже описывается алгоритм оценки параметров взвешенного предсказания цветности при заданных глобальных и локальных параметрах яркости Y и информации о преобразовании цветового пространства. Этот алгоритм может запускаться, если допущения удовлетворяются, как описано выше в разделе, посвященном определению сущности постепенного изменения освещенности. Это, однако, является необязательным и не нуждается в привязке к данному способу. Предположим, что для пиксела, блока, области или всего кадра m его коэффициенты усиления и смещения яркости подаются при заданной опоре из кадра m+k: . Целью является оценка параметров цветности w_Cb, w_Cr, f_Cb и f_Cr из уравнения 10. Существует три главных случая:

(a) коэффициент усиления w_Y не равен единице, и смещение f_Y является ненулевым;

(b) коэффициент усиления w_Y не равен единице, и смещение f_Y равно нулю;

(c) коэффициент усиления w_Y равен единице, и смещение f_Y является ненулевым.

[0080] ФИГ. 2 представляет схему последовательности операций для оценки параметров WP при обращении к трем случаям, описанным непосредственно выше. Ниже описываются подробности, относящиеся к алгоритму оценки для каждого из этих трех случаев.

[0081] В случае, когда коэффициент усиления w_Y не равен единице, и смещение f_Y является ненулевым (случай (а)), использование уравнения 17 обеспечивает то, что коэффициенты усиления цветности приравниваются весу яркости, как показано ниже в уравнении 22:

[0082] Уравнение 17 требует, чтобы как коэффициент усиления в области RGB был равен коэффициенту усиления яркости w=w_Y так и смещение в области Y'CbCr было равно смещению в области RGB плюс модификатор на основе коэффициента усиления и смещения в области RGB для составляющей яркости: f_Y=f+(1-w)d₀, что позволяет вычислять смещение f в области RGB как: f_Y=f=f_Y-(1-w_Y)d₀. Для смещений составляющих цветности с использованием уравнения 16 ниже получается уравнения 23:

[0083] Отметим, что смещения составляющих цветности вычисляются как функции смещений d_cmp при преобразовании цветового формата, коэффициента усиления w_Y яркости Y, смещения f_Y яркости и коэффициентов матрицы преобразования RGB в Y'CbCr.

[0084] Теперь рассмотрим более значимое практически и более сложное изменение этого случая. Можно предположить, что переход с постепенным изменением освещенности выполняется в области RGB только путем использования коэффициентов усиления, что должно быть довольно обычной практикой. В этом варианте смещение в области RGB приравнивается нулю, и в дальнейшем предполагается, что смещение при преобразовании цветового формата является ненулевым: d₀≠0. Это означает, что для сохранения данного алгоритма, с целью определения того, что он по-прежнему является справедливым, оценивается следующее выражение: f_Y≈(1-w_Y)d₀. Если обе эти величины достаточно близки, то данная модель удовлетворяется, и смещения цветности можно вычислить, как показано ниже в уравнении 24:

[0085] С другой стороны, если предыдущее выражение не является справедливым: f_Y≠(1-w_Y)d₀, то что-то неверно или с допущениями, или с механизмом, который доставляет w_Y и f_Y. В этом случае, можно рассмотреть одну из следующих возможностей:

(a) Решение в пользу того, что w_Y является наиболее достоверным из двух параметров. Заменить f_Y на , которое вычисляется как: . Проверить новое смещение, исходя из удовлетворения каким-либо обоснованным ограничениям, таким как достаточная близость к доставляемому оригинальному f_Y, например, для 8-битной точности в пределах интервала [f_Y-64;f_Y+64]. Тем не менее, отметим, что эти ограничения также могут зависеть от содержимого и могут быть адаптивными. Если это так, то объявить их обоснованными.

(b) Решение в пользу того, что f_Y является наиболее достоверным из двух параметров. Заменить w_Y на , который рассчитывается как: . Проверить новый коэффициент усиления, исходя из удовлетворения некоторым обоснованным ограничениям, таким как нахождение в интервале [0,0;1,0]. Отметим, что, несмотря на то, что использование отрицательных коэффициентов усиления вполне допустимо, коэффициенты усиления для постепенных изменениях освещенности с большой вероятностью являются неотрицательными. Если это так, то объявить их обоснованными.

(c) Решение в пользу того, что w_Y является наиболее достоверным из двух параметров. Приравнять f_Y нулю.

(d) Решение в пользу того, что f_Y является наиболее достоверным из двух параметров. Приравнять w_Y единице.

[0086] Для каждой из приведенных выше четырех возможностей описанный выше способ, состоящий из уравнения 22, уравнения 23 и уравнения 24, применяется для получения коэффициентов усиления и смещений цветности. В зависимости от соображений сложности, может испытываться одна из четырех возможностей, например, посредством предварительного анализа или другого внешнего знания, на предмет того, что она сочтена наиболее вероятной, более одной, но не все четыре - по причинам, сходным с причинами для случая с единственной возможностью, - или все они, параллельно или последовательно, и параметры одной из этих возможностей могут быть выбраны по соответствию некоторому критерию. Этот критерий может включать минимизацию или максимизацию некоторой метрики (например, метрики расхождения) или удовлетворение некоторым проверкам корректности (например, находятся ли полученные параметры в пределах обоснованных ограничений).

[0087] Алгоритм получения цветовых параметров изображен на ФИГ. 3 для случая, когда коэффициент усиления w_Y не равен единице, и смещение f_Y является ненулевым (случай (а)). Отметим, что алгоритмы по ФИГ. 3 могут применяться локально (например, на основе блока) или глобально (для всего кадра). Если информация параметров яркости доступна на локальной основе, то, для того, чтобы обеспечить наилучшую возможную производительность, предпочтительной является оценка параметров цветовых составляющих также на локальной основе. Отметим, что не все кодеки, или схемы предварительной обработки/постобработки, которые используют компенсацию движения, в том числе H.264/AVC, поддерживают передачу и прием сигналов параметров WP на локальной основе. Однако в случае Н.264 можно использовать локальные параметры посредством некоторых особенностей кодека: например, особенности многократных обращений к предсказанию с компенсацией движения и модификации списка опорных изображений. Эти особенности позволяют использовать при предсказании кадра с компенсацией движения до 16 различных наборов параметров WP для каждого списка предсказания. Таким образом, в одном из дополнительных вариантов осуществления изобретения параметры локального WP яркости и цветности обрабатываются так, что для использования при взвешенном предсказании с компенсацией движения с помощью сигналов модификации списка опорных кадров выбирается и передается в битовом потоке до 16 наиболее значительных наборов для каждого списка предсказания. Отметим, что Р-кодированные кадры используют предсказание с одним списком, в то время как В-кодированные кадры поддерживают предсказание с компенсацией движения с одним списком и двойное предсказание с компенсацией движения из двух списков.

[0088] Для случая, когда коэффициент усиления w_Y не равен единице, и смещение f_Y является нулевым (случай (b)), коэффициенты усиления цветности идентичны коэффициентам усиления, рассчитанным для случая, где коэффициент усиления w_Y не равен единице, и смещение f_Y является ненулевым. Смещения для составляющих цветности Y'CbCr имеют вид, показанный ниже в уравнении 25 для нулевого смещения яркости, f_Y=0:

И снова, смещения составляющих цветности рассчитываются как функции смещений d_cmp при преобразовании цветового формата, веса w_Y, яркости Y и коэффициентов матрицы преобразования RGB в Y'CbCr.

[0089] Для случая, когда w_Y равен единице, и смещение f_Y является ненулевым (случай (с)) все коэффициенты усиления цветности равны 1,0. Смещения для составляющих цветности Y'CbCr имеют вид, показанный ниже в уравнении 26 для смещения f_Y яркости:

Смещения составляющих цветности рассчитываются как функции смещения f_Y яркости и коэффициентов матрицы преобразования RGB в Y'CbCr.

[0090] Отметим, что в преобразованиях RGB в Y'CbCr, имеющих наибольшее практическое значение, суммы строк составляющих яркости в матрице преобразования равны нулю, как показано ниже в уравнении 27:

[0091] Для случая, когда w_Y равен единице, и смещение f_Y является ненулевым (случай (с)), уравнение 27 означает, что оба смещения будут нулевыми. При условии аналого-цифрового преобразования ITU/SMPTE (уравнение 3) или JFIF (уравнение 7) для предыдущих трех случаев можно получить следующие упрощения:

Случай (а): смещения цветности записываются как: f_Cb=f_Cr=(1-w_Y)×128.

Случай (b): смещения цветности записываются как: f_Cb=f_Cr=(1-w_Y)×128.

Случай (с): смещения цветности записываются как: f_Cb=f_Cr=0.

[0092] Ниже внимание будет уделено ситуациям, включающим монтажные переходы. Для моделирования монтажных переходов используется уравнение 14, которое дополнительно упрощается в предположении, что все смещения являются нулевыми, и путем переименования ссылочных индексов так, как это показано ниже в уравнении 28:

[0093] Снова предполагается, что w₁+w₂=1. Путем объединения уравнения 28 с уравнением 9 получается выражение, показанное ниже в уравнении 29 и уравнении 30:

предназначенное для получения приведенного ниже уравнения 31:

[0094] Отметим, что, несмотря на то, что смещения d₁ могут быть ненулевыми, условие w₁+w₂=1 является достаточным для обеспечения того, чтобы взвешенная линейная комбинация в области RGB также являлась и взвешенной линейной комбинацией в области Y'CbCr. Поэтому при двунаправленном предсказании для монтажных переходов коэффициенты усиления идентичны в обоих цветовых пространствах. Таким образом, если кадр т принадлежит к монтажному переходу, то коэффициенты усиления составляющих цветности (Cb и Cr) для каждого опорного кадра приравниваются коэффициенту усиления составляющей яркости. Модель по уравнению 31 относится к взвешенной двунаправленной реализации стандарта кодирования Н.264, которая будет кратко описана ниже. Пусть p₀ и p₁ обозначают дискретные значения в каждом блоке предсказания, и f обозначает конечное предсказываемое значение. Пусть также w₀ и w₁ обозначают коэффициенты усиления, и o₀, и o₁ обозначают смещения, а logWD обозначает член, который управляет математической точностью операций. Тогда взвешенное предсказание может быть реализовано так, как это показано ниже в уравнении 32:

[0095] Вспышки и локальные освещенности (иные, чем локальные постепенные изменения освещенности и монтажные переходы):

Моделирование вспышек и локальных освещенностей по своей сущности является более сложным, чем моделирование постепенных изменений освещенности и монтажных переходов. Даже если может иметься доступ к средним глобальных составляющих Y'CbCr, они не будут очень полезны для рассмотрения локальных изменений освещенности. Если для составляющей яркости доступны иные, чем равные единице, коэффициенты усиления, то для определения коэффициентов усиления составляющих цветности можно использовать способы, идентичные способам, обсужденным выше для постепенных изменений освещенности. Иначе, если коэффициенты усиления очень близки к единице и присутствуют ненулевые смещения, то для того, чтобы получить недостающие смещения цветности, можно сделать несколько предположений относительно указанных смещений.

[0096] Ниже будет рассмотрен случай, когда дискретные значения в области RGB, смещены. Смещения в области RGB моделируются выражением, показанным ниже в уравнении 33:

При объединении уравнения 33 с уравнением 9 получается выражение, показанное в уравнении 34:

[0097] Поскольку f_Y известно, то c₀₀f_R+c₀₁f_G+c₀₂f_B=f_Y, что представляет собой уравнение с тремя неизвестными (f_R, f_G, f_B). f_Y для блока транслируется в недостающие смещения f_Cb и f_Cr для блока. Решения этой задачи доступны, если сделать некоторые упрощающие допущения. Ниже представлены четыре возможных решения:

(a) Предположим, что f_R=f_G=f_B. Поскольку c₀₀+c₀₁+c₀₂=1, то f_Y=f_R=f_G=f_B. Так как для преобразования согласно стандарту ВТ.601 по уравнению 2 c₁₀+c₁₁+c₁₂=0 и c₂₀+c₂₁+c₂₂=0, то: f_Cb=0 и f_Cr=0.

(b) Предположим, что f_R=f_G=0. Это предусматривает то, что f_Y=c₀₂f_B⇔f_B=f_Y/c₀₂. Тогда смещения цветности рассчитываются как: f_Cb=(c₁₂×f_Y)/c₀₂ и f_Cb=(c₂₂×f_Y)/c₀₂.

(c) Предположим, что f_R=f_B=0. Это предусматривает то, что f_Y=c₀₁f_G⇔f_G=f_Y/c₀₁. Тогда смещения цветности рассчитываются как: f_Cb=(c₁₁×f_Y)/c₀₁ и f_Cb=(c₂₁×f_Y)/c₀₁.

(d) Предположим, что f_G=f_B=0. Это предусматривает то, что f_Y=c_QOf_R⇔f_R=f_Y/c_Q0. Тогда смещения цветности рассчитываются как: f_Cb=(c₁₀×f_Y)/c₀₀ и f_Cb=(c₂₀×f_Y)/c₀₀.

[0098] Четыре приведенные выше решения представляют допущения того, что, соответственно, (а) источник света был белым, (b) источник света был, в основном, синим, (с) источник света был, в основном, зеленым, и (d) источник света был, в основном, красным. В ходе кодирования любое из этих решений может использоваться при кодировании сцены вспышки, или могут допускаться все эти решения, а наилучшее решение может выбираться путем минимизации некоторой функции затрат, например, лагранжевой функции затрат. Данный способ проиллюстрирован на ФИГ. 4. В одном из дополнительных вариантов осуществления изобретения для ускорения поиска может использоваться уравнение с тремя неизвестными. Поиск проводится для двух из неизвестных, а третье неизвестное получается с использованием этого уравнения. Это возможно для любого попарного сочетания трех неизвестных. Также описан другой вариант: параметры для первой составляющей получаются путем осуществления поиска, а вторая составляющая получается как путем поиска, так и путем испытания одного из приведенных выше четырех решений. Если значение для второй составляющей близко к одному из приведенных выше решений, то третья составляющая оценивается способом, который был обсужден выше. Иначе, проводится поиск для третьей составляющей. Дополнительное ускорение возможно путем рассмотрения предыдущих решений, например, для, прошедшего кадра. Если у кадров есть общие характеристики, такие как, среди прочих, дисперсия, яркость, цветность и/или текстурная информация, эту информацию можно использовать для ускорения процесса.

[0099] Варианты осуществления декодера. Описанные выше способы оценки недостающих параметров цветности из известных локальных или глобальных параметров яркости и знания о схеме преобразования цветового пространства могут использоваться как часть видеодекодера, показанного на ФИГ. 16. В таком варианте осуществления изобретения сжатый битовый поток переносит легкодоступную информацию, а декодер применяет способы получения локальных или глобальных параметров цветности перед выполнением взвешенного предсказания как часть модуля компенсации рассогласования. В одном из дополнительных вариантов осуществления изобретения вместо полного получения недостающих параметров цветности можно использовать их в качестве предсказателей для передачи остатка предсказания параметров WP в кодированном битовом потоке. Декодер принимает переданный остаток и добавляет его к предсказанию, которое получается с использованием указанных способов для получения недостающих параметров цветности и формирования дискретных значений взвешенного предсказания. Другой вариант осуществления изобретения передает в битовом потоке параметры/информацию о взаимосвязи между параметрами яркости и цветности или о цветовом пространстве в целом. Эта информация может состоять из матрицы, такой как матрицы преобразования, используемые для получения составляющих цветового пространства, уравнение или матрица перехода (например, от яркости к цветности, от U к V и т.д.) для коэффициентов усиления и смещений различных составляющих или какие-либо параметры уравнений. Также она может включать характеристическую информацию, такую как информация о том, удовлетворяются или нет какие-либо допущения, которые приводят в действие описанный выше способ. Эта информация может использоваться в декодере совместно с нашим способом и другой информацией битового потока для получения недостающих параметров составляющих цветового пространства.

[0100] Дополнительный вариант осуществления изобретения, сходный с тем, который описан выше, определяется в случаях, когда сжатый битовый поток не передает параметры WP, и они получаются на стороне декодера с использованием доступной причинной информации. См., например, публикацию P. Yin, А. М. Tourapis, J.М. Boyce, "Localized weighted prediction for video coding," Proc. IEEE International Symposium on Circuits and Systems, May 2005, vol. 5, pp. 4365-4368. Вместо поиска в декодере параметров для всех цветовых составляющих, с целью ограничения поиска, например, только составляющей яркости и помощи в получении, например, недостающих параметров цветовой составляющей, может использоваться один из способов согласно одному из вариантов осуществления настоящего изобретения. Этот вариант осуществления изобретения справедлив для локального и глобального взвешенного предсказания.

[0101] Дополнительные варианты осуществления изобретения. Описанные выше способы могут применяться на локальной основе для получения локальных параметров цветности. Это возможно даже в таких кодеках, как H.264/AVC, как описано ранее, путем использования модификации списка опорных картинок и многократных обращений к предсказанию с компенсацией движения. Повышение производительности возможно путем применения различных способов для каждой области изображения и типа изменения освещенности. Например, одна область может быть классифицирована как постепенное возникновение изображения, а остальные - как вспышка. Области могут перекрываться. Каждая область будет обрабатываться надлежащим алгоритмом (способом для постепенных изменений освещенности для первой, и способом для локальной освещенности/вспышки - для остальных). Сегментирование изображения на области может облегчаться при использовании какого-либо из существующих алгоритмов или путем использования информации цветности или яркости, извлекаемой этими способами. Например, таким образом, на основе области/на локальной основе могут рассчитываться значения DC или информация гистограммы. Сегментирование может извлекать пользу из компенсации движения, и оно полезно для отслеживания объектов в сцене, которые имеют общую сходную информацию цветности. Таким образом, параметры цветности могут извлекать пользу из некоторых значений инициализации, которые повышают шансы получения правильных недостающих параметров цветности и ускоряют это получение.

[0102] Другой вариант осуществления изобретения, который получается путем простого обращения использования некоторых членов, делает возможным получение недостающих параметров яркости из известных параметров цветности. Поскольку используемые матрицы преобразования являются довольно общими, нетрудно модифицировать уравнения так, чтобы переформулировать задачу в задачу нахождения недостающих параметров для какой-либо составляющей при заданных параметрах для других составляющих и знании о матрицах/уравнениях преобразования цветового пространства. Данный вариант осуществления изобретения также может объединяться с вышеописанными вариантами осуществления декодера.

[0103] Способы согласно вариантам осуществления настоящего изобретения также могут объединяться с итеративной оценкой параметров WP, которая дополняется оценкой и компенсацией движения. Как описано в публикации J.М. Boyce, "Weighted prediction in the H.264/MPEG-4 AVC video coding standard", можно, в первую очередь, оценить исходные параметры WP, затем выполнить оценку движения, а затем повторно оценить параметры WP с использованием информации движения, полученной на предыдущем этапе, с последующим циклом еще одной оценки движения и дальнейшими итерациями до тех пор, пока не будет удовлетворяться некоторый критерий (например, среди прочих, критерий максимального количества итераций). В одном из дополнительных вариантов осуществления изобретения способ согласно одному из вариантов осуществления настоящего изобретения может использоваться для затравки/инициализации первой итерации указанного итеративного способа. Для дальнейшего ускорения вычислений он, необязательно, может использоваться с промежуточными итерациями. В заключение, информация из предыдущих итераций может использоваться для заблаговременного принятия решения о том, какой из доступных режимов, например, случай (а) или (b), является верным для данного содержимого, что приводит к дополнительному ускорению.

[0104] В одном из вариантов осуществления изобретения взвешенное предсказание на локальной основе вышеописанным способом возможно, если кодек поддерживает передачу сигнала коэффициентов усиления и смещений WP на уровне области, макроблока или блока. Области или блоки могут перекрываться. Для вариантов осуществления изобретения, которые используют такие кодеки, как Н.264, который поддерживает передачу и прием сигналов параметров WP только на уровне серии последовательных макроблоков, использование других параметров WP на локальном уровне возможно путем совместного использования многократных обращений к предсказанию с компенсацией движения и к переупорядочиванию/модификации опорных кадров. В других вариантах осуществления изобретения вышеописанные способы могут включаться в модуль предварительной обработки/постобработки, который также может включать оценку и компенсацию движения (временной пред- или постфильтр компенсации движения) в сочетании с взвешенным предсказанием. Получение параметров компенсации освещенности для случаев, когда изменения освещенности имеют место в области цветового пространства иной, чем область, используемая в ходе сжатия, и матрицы/уравнения преобразования не являются линейными.

[0105] В приведенных выше описаниях делается допущение о том, что преобразование из начального цветового пространства в конечное цветовое пространство было линейным. Однако существуют примеры, в которых это допущение не действует. Например, рассмотрим случай, когда постепенные изменения освещенности и монтажные переходы создаются искусственно путем обработки дискретных значений непосредственно в линейной области цветового пространства RGB перед применением гамма-коррекции. То же является верным и когда линейное пространство RGB (или даже гамма-пространство RGB) преобразовывается в логарифмическое цветовое пространство RGB или YCbCr. Это случается, например, при рассмотрении кодирования изображения или содержимого видеосигнала с расширенным динамическим диапазоном, описываемым в логарифмическом пространстве RGB или YCbCr. Изменение в параметрах WP от начального цветового пространства к конечному цветовому пространству моделируется так, как это описывается ниже. Описывается два варианта осуществления изобретения, один - для RGB с гамма-коррекцией (R'G'B'), и другой - для логарифмического пространства RGB (RʺGʺBʺ).

[0106] Общее уравнение гамма-коррекции по уравнению 1 можно, как показано ниже, упростить до уравнения 35:

Для логарифмического пространства RGB получается показанное ниже уравнение 36:

[0107] Ниже описывается действие преобразований на предсказание постепенных изменений освещенности и монтажных переходов.

[0108] Постепенные изменения освещенности. Для RGB с гамма-коррекцией в простейшем случае постепенное изменение освещенности моделируется единственным коэффициентом усиления, как показано ниже в уравнении 37:

[0109] С целью вычисления w' и f' для эквивалентных им величин можно использовать уравнение 38, как это показано ниже:

Путем объединения уравнения 35 и уравнения 38 модно получить выражение, показанное в уравнении 39:

[ОНО] Приведенное выше уравнение показывает, что постепенное изменение освещенности в линейной области RGB, которое моделируется коэффициентом усиления w, может моделироваться в области R'G'B' с гамма-коррекцией также с использованием коэффициента усиления w^Y. Можно заключить, что переходы с постепенным изменением освещенности, моделируемые при помощи коэффициентов усиления в линейной области RGB, могут компенсироваться в области R'G'B' с гамма-коррекцией. Отметим, что, несмотря на то, что используется член γ, это не подразумевает допущения о том, что γ идентичен для каждой составляющей. Поскольку описанные выше операции могут применяться на основе составляющей, описанный способ применим для случаев, когда показатель степени для каждой составляющей отличается. Например, для составляющей R получается коэффициент w^γR.

[0111] Для логарифмического пространства RGB, аналогично описанному выше вычисляются wʺ и fʺ для эквивалентных им величин, как показано ниже в уравнении 40:

Путем объединения уравнения 36 и уравнения 40 получается выражение, показанное в уравнении 41:

[0112] Приведенное выше уравнение 41 показывает, что постепенное изменение освещенности в линейной области RGB, которое моделируется коэффициентом усиления w, может моделироваться в логарифмическом пространстве RʺGʺBʺ со смещением, приравненным к logw.

[0113] Монтажные переходы. Теперь рассмотрим один из вариантов осуществления RGB с гамма-коррекцией с использованием простой, но практичной модели согласно уравнению 28. При использовании уравнения 37 с данной моделью получается выражение, показанное в уравнении 42:

[0114] При рассмотрении приведенного выше уравнение 42 станет очевидно, что сложность заключается в получении соотношения между гамма-скорректированными составляющими двух опорных кадров и составляющей текущего кадра m. Некоторого понимания можно добиться путем попытки проанализировать одну из сумм, которые возводятся в степень γ, например, (w₁×R₁+w₂×R₂)^γ. Прежде всего, она может быть упрощена, как показано ниже в уравнении 43:

[0115] Самый правый член можно разложить, используя биноминальный ряд, который определяется так, как показано в уравнении 44:

Поскольку α - вещественное нецелое число, биномиальный коэффициент можно рассчитать так, как показано в уравнении 45:

[0116] Таким образом, получается уравнение, показанное в уравнении 46:

[0117] Однако, разложение в ряд, показанное в уравнении 45, может не оказаться особенно полезным. Один из выводов заключается в том, что монтажный переход, который создается путем обработки в линейной области RGB и который включает средневзвешенное двух опорных кадров, может компенсироваться в области R'G'B' с гамма-коррекцией с использованием средневзвешенного двух (гамма-скорректированных) опорных кадров плюс ненулевое смещение. В альтернативном варианте, можно моделировать монтажный переход, используя только коэффициенты усиления, но в этом случае они чаще всего будут неравны, и их сумма не будет равна единице. Если имеется доступ к оригинальным коэффициентам усиления и значениям R₁ и R₂, результирующее смещение можно рассчитать с некоторой точностью. Для содержимого с регулярным поведением и для опорных кадров, которые равноудалены от m, можно предположить, что w₁=w₂=1/2. Это допущение может упростить приведенные выше вычисления для коэффициентов усиления и смещений в области RGB.

[0118] Кроме того, отметим, что приведенное выше решение основывается на раскрытии суммы путем удержания множителя (w₂×R₂)^γ снаружи суммирования бесконечно малых величин в скобках. Вполне возможно получить альтернативное раскрытие, где этот временной член - (w₁×R₁)^γ - будет множителем альтернативной суммы бесконечно малых величин. Таким образом, могут быть получены два отдельных и в равной мере верных решения (гипотезы) для задачи по определению коэффициентов усиления и смещений в области с гамма-коррекцией для монтажных переходов, создаваемых в линейной области. Усреднение коэффициентов усиления и смещений для двух решений может улучшить компенсацию освещенности. Данный способ проиллюстрирован на ФИГ. 5. Отметим, что, несмотря на то, что используется член γ, это не подразумевает допущения того, что γ идентичен для всех составляющих. Поскольку описанные выше операции могут применяться на основе составляющей, описанный способ также применим для случаев, когда показатель степени для каждой составляющей отличается.

[0119] Решения, аналогичные описанным выше решениям, можно применять для монтажных переходов в области логарифмического пространства. В этом варианте осуществления изобретения главное отличие заключается в том, что вместо моделирования монтажного перехода, главным образом, с помощью коэффициентов усиления в данном случае монтажный переход будет моделироваться, в основном, с помощью смещений, что, как было обнаружено, является верным для постепенных изменений освещенности. Прямое решение заключается в приравнивании смещений взвешенного двунаправленного предсказания логарифмам коэффициентов усиления в начальной области (например, в линейной области RGB).

[0120] Дополнительные варианты осуществления изобретения. Отметим, что похожие варианты осуществления изобретения также возможны для преобразования из других цветовых пространств и в другие цветовые пространства, например, из RGB с гамма-коррекцией в RGB в логарифмическом пространстве, или в какое-либо второе цветовое пространство, которое получается из первого цветового пространства путем нелинейного преобразования.

[0121] В одном из вариантов осуществления изобретения взвешенное предсказание на локальной основе вышеописанным способом возможно, если кодек поддерживает передачу и прием сигналов коэффициентов усиления и факторов WP на основе макроблока, блока или области. Области или блоки могут перекрываться. Для вариантов осуществления изобретения, которые используют такие кодеки, как Н.264, который поддерживает передачу и прием сигналов параметров WP только на уровне серии последовательных макроблоков, использование различных параметров WP на локальном уровне возможно путем совместного использования многократных обращений к предсказанию с компенсацией движения и переупорядочения/модификации опорных кадров. В других вариантах осуществления изобретения вышеописанные способы могут включаться в модуль предварительной обработки или постобработки, который также может включать оценку и компенсацию движения (временной пред- или постфильтр с компенсацией движения) в сочетании с взвешенным предсказанием.

[0122] Другой вариант осуществления изобретения находит применение в масштабируемом кодировании видеосигнала, где содержимое подвергается сжатию на двух уровнях, базовом уровне (BL) и уровне повышения качества (EL), где EL часто предсказывается из BL. В этих случаях возможно, что BL подвергается сжатию с использованием первого цветового представления, в то время как EL подвергается сжатию с использованием второго цветового представления, которое, например, может являться нелинейным (логарифмическим пространством) в отличие от первого, которое может быть линейным или гамма-скорректированным. Способы, описываемые в данном раскрытии, могут использоваться для преобразования параметров WP, полученных для одного слоя, в другой слой. Это преобразование может реализовываться как в кодере, так и в декодере, что, таким образом, устраняет необходимость в передаче параметров для двух различных цветовых представлений. Необязательно, остаток после компенсации освещенности и движения, рассчитанный путем вычитания предсказываемых (например, для EL) параметров WP для одного из слоев (например, BL) из фактических параметров EL, может передаваться в декодер в EL для помощи при реконструкции и использования фактических параметров путем добавления предсказания из BL.

Обнаружение постепенных изменений освещенности и монтажных переходов с использованием соотношений между изменениями освещенности.

[0123] В данном разделе описывается алгоритм, который полезен для обнаружения, как постепенного изменения освещенности, так и монтажного перехода. Он осуществляет указанное обнаружение путем обнаружения начального и конечного кадров постепенных изменений освещенности и монтажных переходов. Алгоритм основывается на предположении, что постепенное изменение освещенности или монтажный переход являются почти линейными и поэтому моделируются такими уравнениями, как уравнение 31 и уравнение 37. Данное допущение приводит к коэффициентам усиления w_i, которые пропорциональны расстоянию между текущим кадром и опорным кадром (кадрами). Представлен один из возможных вариантов осуществления алгоритма для составляющей Y', однако отметим, что может рассматриваться любая другая составляющая в области RGB или какой-либо другой области линейного цветового пространства, и постепенные изменения освещенности и монтажные переходы по-прежнему разграничиваются. При соблюдении некоторых условий этот алгоритм можно распространить на составляющие Cb и Cr, однако их DC могут оказаться ненадежными для целей обнаружения постепенных изменений освещенности и монтажных переходов. В другом варианте осуществления изобретения достоверность данного способа обнаружения постепенных изменений освещенности может увеличиваться путем совместного использования одной или нескольких составляющих цветового пространства. Для целей данного описания положим, что обозначает среднее значение DC для составляющей Y' в кадре m.

[0124] Прежде всего, ниже представлены некоторые свойства, которые являются следствием допущения о том, что переходы с постепенным изменением освещенности являются линейными.

A. Значение DC для кадра m приблизительно равно среднему значений DC для его предыдущего и последующего кадров: . Здесь содержится следствие уравнения 31 и уравнения 37.

B. Значение DC для кадра m приблизительно равно удвоенному значению DC для его следующего кадра минус значение DC для кадра, следующего за его следующим кадром: . Здесь содержится следствие приведенного выше свойства А.

C. Значение DC для кадра m приблизительно равно сумме удвоенного значения DC для его предыдущего кадра плюс значение DC для кадра, следующего за его следующим кадром, деленной на три: . Здесь содержится следствие свойств А и В. Случаи (с) и (d) также могут быть определены в обратном порядке. Эти определения следуют.

D. Значение DC для кадра m приблизительно равно удвоенному значению DC для его предыдущего кадра минус значение DC для кадра, предшествующего его предыдущему кадру: . Здесь содержится следствие свойства А.

E. Значение DC для кадра m приблизительно равно сумме удвоенного значения DC для его следующего кадра плюс значение DC для кадра, предшествующего его предыдущему кадру, деленной на три: . Здесь содержится следствие свойств А и D.

[0125] Ниже описано применение описанных выше случаев к ситуациям, которые описаны на ФИГ. 6, ФИГ. 7, ФИГ. 8 и ФИГ. 9 наряду с получением некоторых условий, связанных с каждой из ситуаций.

[0126] Условие 1: Для случая конца постепенного изменения освещенности с уменьшающимся значением DC (см. ФИГ. 6) будут верны следующие неравенства: значение DC для кадра m+2 по свойству С будет больше, чем значение по свойству А, которое будет больше, чем значение по свойству В: , и то же будет верно для значения DC для кадра m+1: .

[0127] Условие 2: для случая конца постепенного изменения освещенности с увеличивающимся значением DC (см. ФИГ. 7) будут верны следующие неравенства: значение DC для кадра m+2 по свойству С будет меньше, чем значение DC по свойству А, которое будет меньше, чем значение DC по свойству В: , и то же будет верно для значений DC для кадра m+1: .

[0128] Условие 3: для случая начала постепенного изменения освещенности с увеличивающимся значением DC (см. ФИГ. 8) будет верно следующее неравенство: значение DC для кадра m+2 по свойству Е будет больше, чем значение DC по свойству А, которое будет больше, чем значение DC по свойству D: , и то же будет верно для значений DC для кадра m+3: .

[0129] Условие 4: для случая начала постепенного изменения освещенности с уменьшающимся значением DC (см. ФИГ. 9) будет верно следующее неравенство: значение DC для кадра m+2 по свойству Е будет меньше, чем значение DC по свойству А, которое будет меньше, чем значение DC по свойству D: , и то же будет верно для значений DC для кадра m+3: .

[0130] В альтернативном варианте осуществления изобретения приведенные выше условия могут испытываться путем субдискретизации входной последовательности по времени и в пространстве. Это может оказаться преимущественным для более быстрого расчета, например, в случае более длительных переходов с постепенным изменением освещенности. Также это может помочь в исключении выбросов и, таким образом, повысить эффективность детектора. Субдискретизация по оси времени также может извлекать пользу из временной фильтрации статистических показателей, используемых в алгоритме обнаружения.

[0131] Ниже описывается алгоритм обнаружения постепенных изменений освещенности и монтажных переходов, следующий из анализа описанных выше случаев и условий. Схема последовательности операций этого алгоритма проиллюстрирована на ФИГ. 10 (номера этапов относятся к номерам меток, используемых на ФИГ. 10).

(a) этап 101: инициализировать счетчик кадров и начать синтаксический анализ кадров. Перейти на этап 102.

(b) этап 102: для текущего кадра m - вычислить значения DC для составляющих пространства Y'CbCr и RGB. Перейти на этап 103.

(c) этап 103: для текущего кадра m - вычислить члены , , , и для DC всех составляющих области RGB и для составляющей Y' области Y'CbCr. Перейти на этап 104.

(d) этап 104: выбрать составляющую одной из областей, которая еще не была испытана.

(e) этап 105: испытать условие 1 в отношении кадров m-1 и m. Если условие удовлетворяется, то отметить кадр m как конечный кадр постепенного изменения освещенности с увеличивающимся значением DC.

(f) этап 106: испытать условие 2 в отношении кадров m-1 и m. Если условие удовлетворяется, то отметить кадр m как конечный кадр постепенного изменения освещенности с увеличивающимся значением DC.

(g) этап 107: испытать условие 3 в отношении кадров m-1 и m. Если условие удовлетворяется, то отметить кадр m-1 как начальный кадр постепенного изменения освещенности с увеличивающимся значением DC.

(h) этап 108: испытать условие 4 в отношении кадров m-1 и m. Если условие удовлетворяется, то отметить кадр m-1 как начальный кадр постепенного изменения освещенности с уменьшающимся значением DC.

(i) этап 109: если еще присутствуют невыбранные составляющие цветового пространства - обновить счетчик кадров этап 114 и перейти на этап 104; иначе - перейти на этап 110.

(j) этап 110: обработать маркировку: если присутствуют несовместимые метки, выбрать ту, которая имеет наибольшую распространенность. Здесь также можно взвесить метки определенных составляющих как более важные, чем другие (например, Y более важна, чем Cb или Cr). Выбранная метка может, таким образом, взвешиваться. Сохранить в памяти конечную маркировку. Перейти на этап 111.

(k) этап 111: проверить, была ли ранее сохранена в памяти какая-либо предыдущая конечная маркировка после обработки кадров перед текущим кадром m. Если нет, то перейти на этап 112. Иначе - проверить, являются ли «совместимыми» текущая и ранее сохраненная маркировки (этап 115): например, если предыдущей меткой была метка «начальный кадр постепенного изменения освещенности с увеличивающимся DC», то можно объявить, что последовательность этих кадров представляет собой постепенное возникновение изображения. Однако если текущей меткой является метка «начальный кадр постепенного изменения освещенности с уменьшающимся DC», то имеет место ложная тревога. В альтернативном варианте, если текущей меткой является метка «конечный кадр постепенного изменения освещенности с уменьшающимся DC», можно предполагать, что последовательность представляет собой монтажный переход. Перейти на этап 112.

(l) этап 112: определить, имеются ли еще кадры для синтаксического анализа. Если да, обновить счетчик кадров (этап 115) и перейти на этап 102. Иначе - перейти на этап 113.

(m) этап 113: завершить синтаксический анализ кадров.

[0132] Отметим, что в одном из дополнительных вариантов осуществления изобретения вместо рассмотрения DC для кадров можно рассмотреть форму гистограммы кадра или комбинацию наивысших значений на гистограмме. Для ограничения вычислительной сложности также может использоваться временная и/или пространственная субдискретизация. Субдискретизация может отличаться на основе цветовых составляющих: составляющие цветового пространства, которые известны как более подверженные действию постепенных изменений освещенности могут извлекать пользу из меньшего коэффициента субдискретизации. Когда для совместного обнаружения используется более одной составляющей, возможно дополнительное ускорение путем принятия иерархии решений: составляющие могут упорядочиваться в соответствии с тем, насколько сильно они способствуют обнаружению постепенных изменений освещенности. Если первая составляющая обрабатывается этим способом, и результат является отрицательным, то в проверке остальных составляющих нет необходимости. В другом варианте осуществления изобретения этот способ также может применяться на основе области, необязательно, с усовершенствованием посредством сегментирования с целью обнаружения локальных постепенных изменений освещенности и монтажных переходов. В этом случае, статистические показатели, такие как DC или даже гистограммы, следует рассчитывать для заданной области. В другом варианте осуществления изобретения вышеописанные способы могут включаться в модуль предварительной обработки/постобработки, который также может включать оценку и компенсацию движения (временной пред- или постфильтр с компенсацией движения) в сочетании с взвешенным предсказанием.

[0133] Обнаружение монтажных переходов с низкой сложностью. Классификация кадра как кадра постепенного изменения освещенности может осуществляться посредством алгоритма третьих лиц или посредством такого алгоритма, как показанный на ФИГ. 11 и описываемый ниже:

(a) Для текущего кадра m - вычислить его средние значения для составляющих цветовых пространств RGB и Y'CbCr: (R_m, G_m, B_m) и (, Cb_m, Cr_m). Также вычислить средние значения для составляющих цветовых пространств RGB и Y'CbCr для его опорных кадров двунаправленного предсказания: (R₁, G₁, B₁), (, Cb₁, Cr₁), (R₂, G₂, B₂) и (, Cb₂, Cr₂). Эти средние значения могут рассчитываться как значения DC для всего кадра или для некоторой области, или как гистограмма или гистограммы (в предположении, что для каждого кадра рассчитывается несколько гистограмм).

(b) Подтвердить, что средние коэффициенты усиления w₁ и w₂ из каждого опорного кадра дают в сумме 1. Также подтвердить, являются ли абсолютные значения коэффициентов усиления обратно пропорциональными расстоянию опорного кадра от текущего кадра, например, для равноудаленных кадров, ожидание заключается в том, что могут наблюдаться коэффициенты усиления величиной одна вторая.

(c) В заключение, испытать, удовлетворяются ли уравнение 28 и уравнение 31 при подстановке значений из предыдущих двух этапов. Если коэффициенты усиления составляющих цветности неизвестны (как в данном случае), присвоить им значения коэффициентов усиления составляющей яркости для обоих цветовых пространств.

[0134] Если вышеописанные испытания удовлетворяются, кадр объявляется кадром монтажного перехода, и веса составляющих цветности для области Y'CbCr задаются так, как это описано выше.

Получение параметров компенсации освещенности с отсечением и насыщением

[0135] Предшествующее получение квантованных цифровых версий области Y'CbCr показывает, что существует вероятность того, что составляющие Y'CbCr могли не использовать полный диапазон [0,255] для 8-битных беззнаковых целых чисел. Фактически, для преобразования согласно стандарту ВТ.601 (уравнение 6) и рекомендованного аналого-цифрового преобразования (уравнение 3) результирующими диапазонами являются: Y'∈[16;235], Cb∈[16;240] и Cr∈[16;240]. Даже тогда, когда используется весь диапазон (при аналого-цифровом преобразовании JFIF по уравнению 7), значения по-прежнему будут отсекаться и насыщаться при 0 и 255. Отметим, что, несмотря на то, что в представленном выше анализе использовалось содержимое с 8-битной глубиной цвета, вопросы отсечения и насыщения будут возникать всегда (отметим, что термины «насыщенный», «насыщенность» и «отсечение» в данном описании могут использоваться взаимозаменяемо). Содержимое с более высокой битовой глубиной цвета, такое как, например, 10- или 12-битное содержимое, также страдает от тех же трудностей. Варианты осуществления настоящего изобретения применяются независимо от битовой глубины цвета содержимого и от цветового пространства (например, XYZ, YCbCr, YCgCo и т.д.). Операции отсечения и насыщения могут быть пагубными для эффективности предсказания при глобальном взвешенном предсказании. Кроме того, они также затрудняют поиск наилучших параметров глобального и локального взвешенного предсказания (коэффициента усиления и смещения). Ниже описывается действие двух широко используемых способов поиска взвешенного предсказания в случаях с насыщенными значениями пикселов.

[0136] ФИГ. 12 иллюстрирует случай глобального изменения освещенности. Фон С является темным и остается темным: он отсекается при значении 16. На ФИГ. 12 предполагается, что эти числа представляют значения составляющей Y'. Первая часть А объекта немного видна со значением 32 в кадре n и становится даже светлее по интенсивности со значением 64 в кадре n+1. Другая часть В того же объекта со значением 32 появляется в кадре n+1. Пусть раздел С будет равен одной второй кадра. Пусть каждый из разделов А и В будет равен по площади одной четвертой кадра. Также предполагается, что содержимое в разделе С является очень однородным и поэтому может кодироваться очень небольшим количеством битов. Для сравнения, разделы А и В являются текстурированными и поэтому более трудными для кодирования. Данная ситуация отражает постепенное возникновение или постепенное исчезновение логотипа, что чрезвычайно распространено в трейлерах кинокартин.

[0137] Для предсказания кадра n+1 с использованием кадра n в качестве опорного кадра предсказания может использоваться глобальное взвешенное предсказание (смещение f и коэффициент усиления w). Оценка коэффициента усиления и смещения может осуществляться, среди прочих, способами на основе DC, способами на основе итеративной компенсации движения и способами на основе гистограмм. Приводимое ниже описание представляет три существующих способа на основе DC:

Способ 1: первый способ заключается в присвоении смещению значения 0 и в вычислении коэффициента усиления как DC_n+1/DC_n.

Способ 2: второй способ заключается в присвоении коэффициенту усиления значения 1 и в вычислении смещения как DC_n+1-DC_n.

Способ 3: третий способ заключается в присвоении коэффициенту усиления значения w=(E{|I_n+1-DC_n+1|})/(E{|I_n-DC_n|}) и в вычислении смещения как f=DC_n+1-w×DC_n. Данный способ получается в результате обращения к задаче как к задаче минимизации по методу наименьших квадратов, как описано в публикациях K. Kamikura и др., "Global Brightness-Variation Compensation for Video Coding", и Y. Kikuchi и Т. Chujoh, "Interpolation coefficient adaptation in multi-frame interpolative prediction". Значение DC определяется как DC_n=E{I_n}, где I_n - значение пиксела в кадре n, и операция Е{Х} представляет среднее значение X.

[0138] Ниже описываются результаты оценки коэффициента усиления и смещения описанными выше способами и их использование для компенсации изменения освещенности.

Способ 1: С использованием способа 1 получается (w;f)=(1,2;0). При применении глобальной компенсации освещенности с этими параметрами к опорному кадру n Разделы В и С имеют значение 19,2, и раздел А имеет значение 38,4. Таким образом, все разделы предсказываются неверно.

Способ 2: С использованием способа 2 получается (w;f)=(1,0;4). При применении глобальной компенсации освещенности с этими параметрами к опорному кадру n разделы В и С имеют значение 20, и раздел А имеет значение 36. Таким образом, все разделы предсказываются неверно. Поскольку раздел А более труден для кодирования, можно заключить, что в данной ситуации предсказания способ 1 превосходит способ 2.

Способ 3: С использованием способа 3 получается (w;f)=(2,67;-29,34). При применении глобальной компенсации освещенности с этими параметрами к опорному кадру n разделы В и С имеют значение 2,66, и раздел А имеет значение 56,1. Таким образом, все разделы предсказываются неверно. Поскольку разделы А и В более трудны для кодирования, чем раздел С, для данной ситуации предсказания нельзя сделать вывод об эффективности способа 3 относительно способов 1 и 2.

[0139] Из приведенного выше анализа становится очевидно, что указанные три способа на основе DC не могут обращаться к переходу вблизи значений отсечения/насыщения. Фактически, хотя приведенное выше описание представляет постепенное возникновение изображения из черного цвета, который изначально насыщен при 16, аналогичные выводы можно сделать, если изучить постепенное исчезновение изображения в черный цвет, который насыщается при 16 или 0, или постепенное исчезновения изображения в белый цвет, который насыщается при 255 или 240. Аналогичные выводы справедливы как для более высоких битовых глубин цвета, так и для других цветовых пространств. В целом, оценка взвешенных параметров страдает при работе вблизи точек насыщения, например, минимума и максимума динамического диапазона яркости и цветности. В данном описании указанные значения насыщения можно обобщить, как l_S и h_S, которые необязательно являются ненулевыми (нуль по-прежнему является точкой насыщения, так как значения отсекаются так, чтобы они были не меньше этого значения). В следующих двух подразделах обсуждаются два алгоритма, которые могут обращаться к задаче глобального взвешенного предсказания на краях постепенных изменений освещенности, где обычно имеет место насыщение значений пикселов.

[0140] Алгоритм на основе меченых наборов. Данный алгоритм основывается на отметке положений пикселов, которые принадлежат к пикселам, которые:

(a) или являлись насыщенными для кадра n-1 и приняли ненасыщенное значение в кадре n, например, значения пикселов были насыщенными с наименьшим значением насыщения I_n-1=l_S или с наибольшим значением насыщения I_n-1=h_S, а в настоящий момент они, соответственно, больше наименьшего значения насыщения I_n-1>l_S или меньше наибольшего значения насыщения I_n-1<h_S;

(b) или являлись ненасыщенными в кадре n-1 и приняли насыщенное значение в кадре n, например, значения пикселов были больше наименьшего значения насыщения I_n-1>l_S или меньше наибольшего значения насыщения I_n-1<h_S, а в настоящий момент они являются насыщенными, соответственно, с наименьшим значением насыщения, I_n-1=l_S, или наибольшим значением насыщения, I_n-1=h_S.

[0141] На ФИГ. 13 для кадра n+k раздел С остается насыщенным, в то время как раздел В изначально является насыщенным, а затем принимает ненасыщенные значения (в кадре n+k). Раздел А определяется как набор разделов, значения которых являются ненасыщенными и в предсказываемом кадре, и в опорном кадре. Раздел D определяется как набор разделов, значения которых являются ненасыщенными для данного кадра. Отметим, что, в отличие от иллюстрации, показанной на ФИГ. 13, разделы необязательно должны быть смежными. До тех пор, пока они удовлетворяют приведенным выше условиям, они могут включать несколько областей. Для обобщения этого утверждения для постепенных возникновений и постепенных исчезновений изображения в белый и черный цвета и из белого и черного цветов (или любого другого однородного цвета) положим, что k - какое-либо ненулевое целое число. Тогда, в зависимости от ситуации, кадр n может служить или текущим кадром, или опорным кадром предсказания. Для кадра n+k верно обратное. Нелишне отметить, что A_n+k=D_n+k∩D_n. Также отметим, что D_n+k=A_n+k∪B_n+k.

[0142] Алгоритм поиска параметров WP на основе меченых наборов показан на ФИГ. 14 (номера этапов относятся к номерам меток, показанным на фигуре) и более подробно описывается ниже:

(a) этап 201: для каждой пары предсказываемого кадра и опорного кадра - инициализировать номер кадра и перейти на этап 202;

(b) этап 202: для каждой пары предсказываемого кадра и опорного кадра - инициализировать счетчик опорных кадров и перейти на этап 203;

(c) этап 203: определить насыщенные разделы, если они имеют место, в пределах каждой пары из предсказываемого кадра и опорного кадра и перейти на этап 204;

(d) этап 204: определить, используют ли оба кадра совместно большие области с насыщенными значениями яркости. Это можно осуществить существующими способами или, в альтернативном варианте, путем испытания и классификации пикселов в соответствующих кадрах. Если да, то перейти на этап 205; иначе - перейти на этап 208;

(e) Этап 205: определить в пределах каждой пары из предсказываемого кадра и опорного кадра ненасыщенные разделы, если они имеют место, и перейти на этап 206;

(f) этап 206: определить, используют ли оба кадра совместно большую область с ненасыщенными значениями яркости (A_n+k≈A_n). Для этой задачи можно использовать существующие способы испытания и классификации по пикселам. Если да, перейти на этап 207; иначе - перейти на этап 208;

(g) этап 207: применить какой-либо способ поиска WP (среди прочих, способы на основе DC, способы на основе гистограмм, итеративные способы с оценкой и компенсацией движения) на нормированных (на одно и то же количество пикселов) наборах A_n+k и A_n. Повторно использовать параметры WP из предыдущих кадров для инициализации поиска для текущего кадра. Получить коэффициент усиления и фактор. Перейти на этап 209;

(h) этап 208: применить какой-либо способ поиска WP (среди прочих, способы на основе DC, способы на основе гистограмм, итеративные способы с оценкой и компенсацией движения) на нормированных (на одно и то же количество пикселов) кадрах n и n+k. Повторно использовать параметры WP из предыдущих кадров для инициализации поиска для текущего кадра. Получить коэффициент усиления и фактор. Перейти на этап 209;

(i) этап 209: определить, подлежат ли анализу дополнительные составляющие, если это так, обновить счетчик опорных кадров (этап 211) и перейти на этап 203; иначе - перейти на этап 210;

(j) этап 210: если необходимо оценить больше пар из предсказываемого кадра и опорного кадра, выбрать пару, сохранить в памяти параметры, полученные для текущей пары кадров, обновить счетчик кадров (этап 212) и перейти на этап 202; иначе - завершить алгоритм.

[0143] Дополнительные варианты осуществления изобретения. Получение насыщенных и ненасыщенных областей может извлекать пользу из использования способов сегментирования. Для отслеживания этих областей от одного кадра к следующему может использоваться компенсация движения, которая, таким образом, служит в качестве затравки для образования разделов А, В, С и D, которые являются необходимыми составляющими этих способов. В одном из альтернативных вариантов осуществления изобретения вместо применения способов оценки параметров WP на разделах А так, будто они представляют одну и ту же единственную область, сегментирование может категоризировать их на различные объекты, и алгоритмы могут применяться по отдельности к каждому объекту/области. В одном из вариантов осуществления изобретения взвешенное предсказание на локальной основе описанным выше способом возможно, если кодек поддерживает передачу и прием сигналов коэффициентов усиления и факторов на основе макроблока, блока или области. Области или блоки могут быть перекрывающимися. Для вариантов осуществления изобретения, которые используют такие кодеки, как Н.264, который поддерживает передачу и прием сигналов только на уровне серии последовательных макроблоков, можно использовать другие параметры WP на локальном уровне путем совместного использования многократных обращений к предсказанию с компенсацией движения и переупорядочения/модификации опорных кадров. В другом варианте осуществления изобретения описанные выше способы могут включаться в модуль предварительной обработки/постобработки, который также может включать оценку и компенсацию движения (временной пред- или постфильтр с компенсацией движения) в сочетании с взвешенным предсказанием.

[0144] Алгоритм, основанный на итеративном исключении. Этот алгоритм обращается к решению задачи о насыщенных значениях по-другому. Кроме того, он обращается к решению главной трудности предыдущего алгоритма: повышенной сложности в отношении операций ветвления. Определение общего поперечного сечения набора A_n+k=D_n+k∩D_n может выглядеть как прямое, но требует операций условного перехода для каждого пиксела с целью определения указанных наборов. Кроме того, даже после определения этих наборов и в зависимости от алгоритма оценки параметров взвешенного предсказания для результирующих наборов по-прежнему необходимо заново вычислять значения DC. Для некоторых способов поиска WP, таких как сложный способ 3, это также влечет за собой суммирование для каждого пиксела, которое тоже должно ограничиваться конкретным набором. Поэтому может оказаться полезным другой алгоритм, который основывается на гистограммах и многократных итерациях. Отметим, что этот алгоритм поддается применению для таких способов оценки взвешенных параметров, как, среди прочих, способы на основе DC, способы на основе гистограмм, итеративные способы с оценкой и компенсацией движения.

[0145] Пусть в алгоритме, основанном на итеративном исключении, кадр n представляет собой текущий кадр, а кадр n+k - опорный кадр, используемый для взвешенного предсказания. Опорный кадр может представлять собой или оригинальный кадр, или разуплотненный кадр после реконструкции остатков, подвергнутых сжатию. Следующие параметры могут инициализироваться следующим образом:

(a) номер текущей итерации t=0;

(b) текущее наименьшее значение насыщения для текущего кадра n ;

(c) текущее наибольшее значение насыщения для текущего кадра n ;

(d) текущее наименьшее значение насыщения для опорного кадра n+k ;

(e) текущее наибольшее значение насыщения для опорного кадра n+k .

[0146] Пусть номер текущей итерации t. Алгоритм, необязательно, может вначале вычислять гистограммы для обоих кадров. Эта операция имеет низкую сложность, поскольку она избегает ветвлений для каждого пиксела и заменяет доступами к матричной памяти для каждого пиксела, которые, в общем, являются более быстрыми при реализации, поскольку матрица с 256 элементами может легко встраиваться в кэш-память любого процессора. Указанное необязательное вычисление полезно для способов поиска WP, которые зависят, например, от согласования гистограмм или от значений DC. Следующий этап включает оценку взвешенных параметров (поиск WP), которая предсказывают кадр n, используя кадр n+k в качестве опорного кадра. Поиск WP может рассматривать, среди прочих, способы на основе DC, способы на основе гистограмм (например, согласование гистограмм), итеративные способы с оценкой и компенсацией движения. Кроме того, для улучшения и ускорения поиска WP на итерации t могут использоваться параметры WP, полученные на итерации t-1.

[0147] Поиск WP также может принимать во внимание алгоритмы, которые используют гистограммы для определения смещений и коэффициентов усиления. Для данного кадра m эти гистограммы теперь могут ограничиваться посредством параметров и . В общем, новизна этого способа заключается в том, что поиск WP ограничивается на каждой итерации рассмотрением предварительно определенных наименьшего и наибольшего пределов насыщения для текущего и опорного кадров.

[0148] После завершения оценки параметров взвешенного предсказания необходимо обновить параметры ограничений и . В общем, параметры текущего кадра и остаются неизменными безотносительно итераций. Поэтому и . Параметры опорного кадра и , тем не менее, обновляются алгоритмом так, как описывается в следующем абзаце.

[0149] Пусть в алгоритме обновления параметров опорного кадра (w_t;f_t) обозначают смещение и коэффициент усиления, определенные алгоритмом оценки взвешенного предсказания. Параметры, которые будут использоваться для следующей итерации: и , - могут определяться путем удовлетворения следующих неравенств, показанных в уравнении 47:

[0150] Пусть p_n+k представляет собой значение какого-либо пиксела в опорном кадре n+k. Значения пикселов, которые будут насыщаться, или отсекаться, заново полученным коэффициентом усиления и смещением отмечаются как нежелательные. В общем, алгоритм обновления согласно одному из вариантов настоящего изобретения будет задавать нижний и верхний пределы для опорного кадра таким образом, чтобы при использовании взвешенного предсказания для предсказания текущего кадра из опорного кадра результирующие значения пикселов не были насыщенными или отсеченными. Таким образом, новые пределы насыщения для следующей итерации t+1 определяются, как показано ниже в уравнении 48:

[0151] Затем определяется, являются ли коэффициент усиления и смещение (w_t;f_t) достаточно отличающимися, например, в предположении 8-битного содержимого и действительнозначных коэффициентов усиления, настолько, что абсолютная разность коэффициентов усиления больше 0,03 и абсолютная разность смещений больше 3, от таковых для предыдущей итерации (w_t-1;f_t-1). И если нет, то алгоритм сошелся, и оценка взвешенных параметров завершается. Алгоритм также завершается, если превышено максимальное количество итераций. Иначе, счетчик итераций увеличивается до t+1, и исполнение возвращается к оценке взвешенных параметров (w_t+1;f_t+1). Данный алгоритм проиллюстрирован на ФИГ. 15.

[0152] Дополнительные варианты осуществления изобретения. Данный вариант осуществления настоящего изобретения также может быть расширен путем рассмотрения сегментированных областей, которые соответствуют различным объектам или содержимому в сцене. После сегментирования и получения областей можно применить описанный выше способ по отдельности для каждой области. Компенсация движения может помочь в отслеживании. Описанный выше способ рассматривает единственную составляющую цветового пространства. Улучшенная производительность может быть получена, если влияние каждого выбора коэффициента усиления и смещения рассматривается одновременно во всем цветовом пространстве. Возможны случаи, в которых два из компонентов будут ненасыщенными, но последний может проявлять трудности, связанные с насыщением. Кроме того, что более важно, он также может принимать во внимание воздействие на выборочные значения после того, как они претерпевают преобразование цветового пространства: например, несмотря на то, что выборочные значения могут быть ненасыщенными в исходном цветовом пространстве, используемом для сжатия, например, в пространстве Y'CbCr, в результате преобразования дискретных значений в другое пространство, например, в пространство RGB, с целью демонстрации или, например, межслоевого предсказания (в случае масштабируемого кодирования с дискретными значениями, имеющими расширенный динамический диапазон в слое повышения качества) может приводить к насыщенным значениям в одной или нескольких составляющих. Данный алгоритм может принимать это во внимание и ограничивать пределы даже для ненасыщенных составляющих цветового пространства. В одном из вариантов осуществления изобретения взвешенное предсказание на локальной основе описанным выше способом возможно, если кодек поддерживает передачу и прием сигналов коэффициентов усиления и факторов на уровне макроблока или блока. Для вариантов осуществления изобретения, которые используют такие кодеки, как Н.264, который поддерживает передачу и прием сигналов только на уровне серии последовательных макроблоков, можно использовать другие параметры WP на локальном уровне путем совместного использования многократных обращений к предсказанию с компенсацией движения и переупорядочения/модификации опорных кадров. В другом варианте осуществления изобретения описанные выше способы могут включаться в модуль предварительной обработки/постобработки, который также может включать оценку и компенсацию движения (временной пред- или постфильтр с компенсацией движения) в сочетании с взвешенным предсказанием.

Оценка параметров компенсации освещенности с низкой сложностью.

[0153] Ранее предложенные способы оценки параметров WP имеют общий характерный признак: все эти три способа действуют на единственной цветовой составляющей. Поэтому смещение и коэффициент усиления для, скажем, Y' вычисляется безотносительно результата для составляющих Cb и Cr. Аналогично, смещение и коэффициент усиления для составляющей G будут вычисляться независимо от составляющих R и В. Приведенное выше обсуждение, тем не менее, показало, что на основе типа постепенного изменения освещенности существует множество взаимосвязей. Можно сформулировать следующую задачу: для текущего кадра m и опорного кадра m+k, где k - любое ненулевое целое число, известны значения DC составляющих RGB и Y'CbCr. Кроме того, предположим глобальное изменение освещенности. Тогда требуется отыскать коэффициенты усиления и смещения, предназначенные для выполнения взвешенного предсказания. В общем, такое действие всегда приводит к трем уравнениям с шестью неизвестными (например, к уравнению 10 и уравнению 11), которые приводят к бесконечным решениям. Однако если наложить определенные ограничения так, чтобы количество неизвестных стало равным количеству уравнений, можно получить достоверное и однозначное решение. Ограничения/предположения могут являться результатом знания а priori. В соответствии с несколькими предположениями/ограничениями может генерироваться несколько решений, а затем путем выполнения проверки состоятельности/корректности (пренебрегая решениями для значений, которые находятся за пределами ограничений или являются иррациональными) можно выбрать наилучшее решение.

[0154] Одно из решений возможно при ограничении весов равенством по всем компонентам, например, для Y'CbCr, что обычно верно для большинства сценариев постепенного изменения освещенности. Кроме того, приравниваются смещения цветностей, как показано ниже в уравнении 49:

Затем для получения коэффициента усиления w и смещений f_Y, и f_C решается уравнение 48.

[0155] В области RGB (но без ограничения этими двумя областями) возможен другой вариант осуществления изобретения. Смещения RGB приравниваются, в то время как коэффициенты усиления ограничиваются так, как это показано ниже в уравнении 50:

Альтернативным выводом может являться вывод, показанный ниже в уравнении 51:

[0156] Приведенные выше системы уравнений имеют решение, и коэффициенты усиления и смещения могут преобразовываться в область Y'CbCr для использования в системах предсказания, которые действуют в области Y'CbCr. Решение о том, где производить вычисления, а именно: или в области RGB, или в области Y'CbCr, - зависит от того, какое знание о последовательности существует a priori: если большая часть обработки осуществляется в области RGB, то имеет смысл выполнять оценку в этой области. Обратное верно, если обработка осуществлялась в области Y'CbCr.

[0157] Дополнительные варианты осуществления изобретения. Описанные выше способы могут применяться на глобальной (на всем кадре или составляющей) или локальной основе, вероятно, путем сегментирования, которое предшествует главному способу и выводит области с содержимым, которое имеет более однородные характеристики. Например, значения DC могут, таким образом, рассчитываться на основе области/на локальной основе. В одном из вариантов осуществления изобретения взвешенное предсказание на локальной основе описанным выше способом возможно, если кодек поддерживает передачу и прием сигналов коэффициентов усиления и факторов на уровне макроблока или блока. Для вариантов осуществления изобретения, которые используют такие кодеки, как Н.264, который поддерживает передачу и прием сигналов только на уровне серии последовательных макроблоков, можно использовать другие параметры WP на локальном уровне путем совместного использования многократных обращений к предсказанию с компенсацией движения и переупорядочения/модификации опорных кадров. В другом варианте осуществления изобретения, описанные выше способы могут включаться в модуль предварительной обработки/постобработки, который также может включать оценку и компенсацию движения (временной пред- или постфильтр с компенсацией движения) в сочетании с взвешенным предсказанием.

[0158] В заключение, согласно нескольким вариантам осуществления изобретения, настоящее раскрытие рассматривает системы и способы повышения качества данных и обработки, такой как обработка в цикле (как часть процесса кодирования/декодирования) или вне цикла (на ступени предварительной обработки или постобработки), такой как деблокирование и устранение шумов, для данных, которые могли быть дискретизированы и мультиплексированы множеством способов. Эти системы и способы могут применяться для существующих кодеков (кодеров и декодеров), но распространяются и на будущие кодеры и декодеры, что также предусматривает модификацию компонентов ядра. Приложения могут включать видеокодеры и проигрыватели Blu-ray, телевизионные абонентские приставки, программные кодеры и проигрыватели, а также решения для широкого вещания и скачивания, которые в большей степени ограничены полосой пропускания. Дополнительные приложения включают видеокодеры, проигрыватели, и видеодиски BD, созданные в соответствующем формате, или даже содержимое и системы, нацеленные на другие приложения, такие как широкое вещание, спутниковое вещание, системы IPTV и т.д.

[0159] Способы и системы, описанные в настоящем раскрытии, могут реализовываться как аппаратное обеспечение, программное обеспечение, встроенное программное обеспечение или их комбинация. Характерные признаки, описанные как блоки, модули или компоненты могут реализовываться совместно (например, в таком логическом устройстве, как интегрированное логическое устройство) или по отдельности (как отдельные связанные логические устройства). Программная часть способов настоящего раскрытия может включать машиночитаемый носитель, который включает команды, которые при исполнении, по меньшей мере, частично, выполняют описанные способы. Машиночитаемый носитель может включать, например, память с произвольным доступом (RAM) и/или постоянное запоминающее устройство (ROM). Команды могут исполняться процессором (например, процессором обработки цифровых сигналов (DSP), интегрированной микросхемой специального назначения (ASIC), логической матрицей с эксплуатационным программированием (FPGA)).

[0160] Как описано в данном описании, один из вариантов осуществления настоящего изобретения может, таким образом, относиться к одному или нескольким иллюстративным вариантам осуществления изобретения, которые перечислены ниже в таблице 1. Соответственно, изобретение может осуществляться в любой из форм, описанных в данном описании, в том числе, в качестве неограничивающих примеров, в нижеследующих пронумерованных иллюстративных вариантах осуществления изобретения (ЕЕЕ), которые описывают конструкцию, характерные признаки и функции некоторых из частей настоящего изобретения.

ТАБЛИЦА 1

ПРОНУМЕРОВАННЫЕ ИЛЛЮСТРАТИВНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

ЕЕЕ1. Способ обнаружения постепенного изменения освещенности и определения глобальной или локальной сущности постепенного изменения освещенности при переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают несколько кадров картинки и связанные опорные кадры предсказания;

для каждого кадра и связанного опорного кадра предсказания вычисляют одну или несколько величин, относящихся к интенсивности, и одну или несколько величин, относящихся к цвету, в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания для величины каждой составляющей в первой цветовой области;

если все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что во второй цветовой области происходит, главным образом, глобальный переход с нулевым смещением; и

если не все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что не происходит одно из следующих событий: глобальный переход с постепенным изменением освещенности с нулевым смещением; или глобальный переход с постепенным изменением освещенности с нулевым смещением во второй цветовой области.

ЕЕЕ2. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, где величины, относящиеся к интенсивности, включают одну или несколько из следующих величин: величину яркости или величину светимости.

ЕЕЕЗ. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, где величины, относящиеся к цвету, включают одну или несколько из следующих величин: величину цветности или хроматическую величину.

ЕЕЕ4. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, где первая цветовая область представляет собой область YCbCr, и коэффициенты усиления взвешенного предсказания рассчитываются по следующей формуле:

, , ,

где и - составляющие яркости для кадра и опорного кадра предсказания кадра;

Cb_m и Cr_m - значения составляющих цветности для кадра;

Cb_m+k и Cr_m+k - значения составляющих цветности для опорного кадра предсказания кадра; и

d₀, d₁ и d₂ - смещения при преобразовании цветового формата.

ЕЕЕ5. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, где величины, относящиеся к интенсивности и относящиеся к цвету, представляют собой средние величины, относящиеся к интенсивности и относящиеся к цвету.

ЕЕЕ6. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, где величины, относящиеся к интенсивности и относящиеся к цвету, рассчитываются исходя из информации гистограмм.

ЕЕЕ7. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, где несколько кадров представляет собой часть последовательности кадров.

ЕЕЕ8. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, где несколько кадров представляет собой часть набора кадров, для которых указано наличие изменений освещенности.

ЕЕЕ9. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, где матрица цветового пространства, определяющая переход от первого цветового пространства ко второму цветовому пространству, является линейной.

ЕЕЕ10. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, где коэффициенты усиления взвешенного предсказания являются, в значительной мере, подобными, если коэффициенты усиления находятся в пределах 5-10% один относительно другого.

ЕЕЕ11. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 1, также включает этап, на котором:

осуществляют логарифмическое масштабирование коэффициентов усиления взвешенного предсказания так, чтобы они имели значения между 0 и 1, и определяют, являются ли коэффициенты усиления, в значительной мере, подобными, путем вычисления того, являются ли разности между коэффициентами усиления взвешенного предсказания меньше, чем 0,1.

ЕЕЕ12. Способ обнаружения постепенного изменения освещенности и определения глобальной или локальной сущности постепенного изменения освещенности при переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают несколько кадров картинки и связанные опорные кадры предсказания;

для каждого кадра и связанного опорного кадра предсказания вычисляют величины, относящиеся к интенсивности и относящиеся к цвету, в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания вычисляют параметры взвешенного предсказания, относящиеся к интенсивности;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания исходя из рассчитанных величин, относящихся к интенсивности и относящихся к цвету, и из рассчитанных параметров взвешенного предсказания, относящихся к интенсивности;

если все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что во второй цветовой области происходит, главным образом, глобальный переход с нулевым смещением; и

если не все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то проверяют, происходит ли локальный переход.

ЕЕЕ13. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 12, где величины, относящиеся к интенсивности, включают одну или несколько из следующих величин: величину яркости или величину светимости.

ЕЕЕ14. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 13, где величины, относящиеся к цвету, включают одну или несколько из следующих величин: величину цветности или хроматическую величину.

ЕЕЕ15. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 12, где первая цветовая область представляет собой область YCbCr, и коэффициенты взвешенного предсказания рассчитываются по следующей формуле:

, , ,

где

и - составляющие яркости для кадра и опорного кадра предсказания кадра;

Cb_m и Cr_m - значения составляющих цветности для кадра;

Cb_m+k и Cr_m+k - значения составляющих цветности для опорного кадра предсказания кадра; и

d_Q, d₁ и d₂ - смещения при преобразовании цветового формата.

ЕЕЕ16. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 12, где величины, относящиеся к интенсивности и относящиеся к цвету, представляют собой средние величины, относящиеся к интенсивности и относящиеся к цвету.

ЕЕЕ17. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 12, где величины, относящиеся к интенсивности и относящиеся к цвету, рассчитываются исходя из информации гистограмм.

ЕЕЕ18. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 12, где несколько кадров представляет собой часть последовательности кадров.

ЕЕЕ19. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 12, где несколько кадров представляет собой часть набора кадров, для которых указано наличие изменений освещенности.

ЕЕЕ20. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 12, где матрица цветового пространства, определяющая переход от первого цветового пространства ко второму цветовому пространству, является линейной.

ЕЕЕ21. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 12, где коэффициенты усиления взвешенного предсказания являются, в значительной мере, подобными, если коэффициенты усиления находятся в пределах 5-10% один относительно другого.

ЕЕЕ22. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 12, также включает этап, на котором:

осуществляют логарифмическое масштабирование коэффициентов усиления взвешенного предсказания так, чтобы они имели значения между 0 и 1, и определяют, являются ли коэффициенты усиления, в значительной мере, подобными, путем вычисления того, являются ли разности между коэффициентами усиления взвешенного предсказания меньше, чем 0,1.

ЕЕЕ23. Способ обнаружения постепенного изменения освещенности и определения глобальной или локальной сущности постепенного изменения освещенности при переходе от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают несколько кадров картинки и связанные опорные кадры предсказания;

для каждого кадра и связанного опорного кадра предсказания вычисляют величины, относящиеся к интенсивности и относящиеся к цвету, в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления взвешенного предсказания для каждой из величин, относящихся к интенсивности и относящихся к цвету, в первой цветовой области;

для каждого кадра и связанного опорного кадра предсказания сравнивают коэффициенты взвешенного предсказания друг с другом;

если все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что постепенное изменение освещенности является глобальным; и

если не все коэффициенты усиления взвешенного предсказания являются неотрицательными и, в значительной мере, подобными друг другу, то определяют, что постепенное изменение освещенности является локальным.

ЕЕЕ24. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 23, где величины, относящиеся к интенсивности, включают одну или несколько из следующих величин: величину яркости или величину светимости.

ЕЕЕ25. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 23, где величины, относящиеся к цвету, включают одну или несколько из следующих величин: величину цветности или хроматическую величину.

ЕЕЕ26. Способ вычисления параметров взвешенного предсказания второй и третьей цветовых составляющих, исходя из информации о преобразовании цветового пространства и параметров взвешенного предсказания первой цветовой составляющей тогда, когда происходит переход изображения, где способ включает этапы, на которых:

вычисляют коэффициент усиления и смещения взвешенного предсказания для первой цветовой составляющей; и

на основе рассчитанных значений коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей вычисляют коэффициенты усиления и смещения взвешенного предсказания второй и третьей цветовых составляющих как функции смещений при преобразовании цветов, коэффициентов матрицы преобразования цветов и коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей.

ЕЕЕ27. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 26, где параметры взвешенного предсказания второй и третьей цветовых составляющих включают коэффициенты усиления и смещения, относящиеся к цвету, а параметры взвешенного предсказания первой цветовой составляющей включают коэффициент усиления и смещение, относящиеся к интенсивности, и переход изображения включает постепенное изменение освещенности, где способ включает этапы, на которых:

вычисляют коэффициент усиления и смещения, относящиеся к интенсивности;

если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является ненулевым, то приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и вычисляют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов;

если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является нулевым, то приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и вычисляют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов;

если коэффициент усиления, относящийся к интенсивности, равен единице, и смещение, относящееся к интенсивности, является нулевым, то коэффициенты усиления, относящиеся к цвету, приравнивают 1, и вычисляют смещения, относящиеся к цвету, как функции смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов.

ЕЕЕ28. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где коэффициент усиления и смещение, относящиеся к интенсивности, включают коэффициент усиления и смещение яркости.

ЕЕЕ29. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где коэффициент усиления и смещение, относящиеся к цвету, включают коэффициенты усиления и смещения цветности.

ЕЕЕ30. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr, и если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является нулевым, то смещения, относящиеся к цвету, вычисляются по следующей формуле:

f_Cb=(c₁₀+c₁₁+c₁₂)×(w_Y-1)×d₀+(1-w_Y)×d₁

f_Cr=(c₂₀+c₂₁+c₂₂)×(w_Y-1)×d_Q+(1-w_Y)×d₂,

где f_Cb и f_Cr - смещения цветности;

c₁₀, c₁₁, c₁₂, c₂₀, c₂₁ и c₂₂ - коэффициенты матрицы преобразования цветов;

w_Y - коэффициент усиления яркости; и

d₀, d₁, и d₂ - смещения при преобразовании цветового формата.

ЕЕЕ31. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr, и если коэффициент усиления, относящийся к интенсивности, равен единице, и смещение, относящееся к интенсивности, является ненулевым, то смещения, относящиеся к цвету, вычисляются по следующей формуле:

f_Cb=f_Y×(c₁₀+c₁₁+c₁₂)

f_Cr=f_Y×(c₂₀+c₂₁+c₂₂),

где f_Cb и f_Cr - смещения цветности;

f_Y - смещение яркости; и

c₁₀, c₁₁, c₁₂, c₂₀, c₂₁ и c₂₂ - коэффициенты матрицы преобразования цветов.

ЕЕЕ32. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr, и где если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является ненулевым, то смещения, относящиеся к цвету, вычисляются по следующей формуле:

f_Cb=(f_Y-(1-w_Y)d₀)×(c₁₀+c₁₁+c₁₂)+(1-w_Y)×d₁

f_Cr=(f_Y-(1-w_Y)d₀)×(c₂₀+c₂₁+c₂₂)+(1-w_Y)×d₂,

где f_Cb и f_Cr - смещения цветности;

c₁₀, c₁₁, c₁₂, c₂₀, c₂₁ и c₂₂ - коэффициенты матрицы преобразования цветов;

w_Y - коэффициент усиления яркости;

f_Y - смещение яркости; и

d₀, d₁, и d₂ - смещения при преобразовании цветового формата.

ЕЕЕ33. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr, где коэффициент усиления и смещение, относящиеся к интенсивности, представляют собой коэффициент усиления и смещение яркости, и где коэффициенты усиления и смещения, относящиеся к цвету, включают коэффициенты усиления и смещения цветности, и где d₀, d₁, и d₂ - смещения при преобразовании цветового формата, f_Y - смещение яркости, и w_Y - коэффициент усиления яркости, где если смещение яркости является ненулевым, и коэффициент усиления яркости не равен единице, и f_Y приблизительно равно (1-w_Y)d₀, то коэффициенты усиления цветности равны коэффициенту усиления яркости, а смещения цветности вычисляются по следующей формуле:

f_Cb=(1-w_Y)×d₁

f_Cr=(1-w_Y)×d₂,

где f_Cb и f_Cr - смещения цветности.

ЕЕЕ34. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 33, где f_Y не равно приблизительно (1-w_Y)d₀, где способ также включает выбор одной из приведенных возможностей А, В, С или D:

возможность А: выбор коэффициента усиления яркости как достоверного, и вычисление смещения яркости по следующей формуле:

f_Y=(1-w_Y)d₀,

проверка корректности f_Y;

приравнивание коэффициентов усиления цветности к коэффициенту усиления яркости;

вычисление смещений цветности по следующей формуле:

f_Cb=(1-w_Y)×d₁

f_Cr=(1-w_Y)×d₂;

возможность В: выбор смещения яркости как достоверного, и вычисление коэффициента усиления яркости по следующей формуле:

w_Y=(d₀-f_Y)/d₀;

проверка корректности w_Y;

приравнивание коэффициентов усиления цветности к коэффициенту усиления яркости;

вычисление смещений цветности по следующей формуле:

f_Cb=(1-w_Y)×d₁

f_Cr=(1-w_Y)×d₂;

возможность С: выбор коэффициента усиления яркости как достоверного, и установка смещения яркости равной нулю:

приравнивание коэффициентов усиления цветности к коэффициенту усиления яркости;

вычисление смещений цветности по следующей формуле:

f_Cb=(c₁₀+c₁₁+c₁₂)×(w_Y-1)×d₀+(1-w_Y)×d₁

f_Cr=(c₂₀+c₂₁+c₂₂)×(w_Y-1)×d₀+(1-w_Y)×d₂,

где c₁₀, c₁₁, c₁₂, c₂₀, c₂₁ и c₂₂ - коэффициенты матрицы преобразования цветов;

возможность D: выбор смещения яркости как достоверного, и установка коэффициента усиления яркости равного единице;

приравнивание коэффициентов усиления цветности к коэффициенту усиления яркости;

вычисление смещений цветности по следующей формуле:

f_Cb=f_Y×(c₁₀+c₁₁+c₁₂)

f_Cr=f_Y×(c₂₀+c₂₁+c₂₂),

где c₁₀, c₁₁, c₁₂, c₂₀, c₂₁ и c₂₂ - коэффициенты матрицы преобразования цветов.

ЕЕЕ35. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 34, где одна из возможностей А, В, С или D выбирается так, чтобы она удовлетворяла выбранному критерию.

ЕЕЕ36. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 35, где выбранный критерий включает минимизацию или максимизацию выбранной метрики или определение того, находятся ли расчетные коэффициенты усиления и смещения в выбранных пределах.

ЕЕЕ37. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 35, где выбранный критерий основывается на единственной составляющей цветности или на обеих составляющих цветности.

ЕЕЕ38. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где коэффициенты усиления и смещения, относящиеся к интенсивности и относящиеся к цвету рассчитываются исходя из данных для всего кадра изображения.

ЕЕЕ39. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где коэффициенты усиления и смещения, относящиеся к интенсивности и относящиеся к цвету, рассчитываются исходя из данных для выбранной части кадра изображения.

ЕЕЕ40. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr в соответствии с техническими описаниями ITU/SMPTE или JFIF, и где коэффициент усиления и смещение, относящиеся к интенсивности, включают коэффициент усиления и смещение яркости, и где коэффициенты усиления и смещения, относящиеся к цвету, включают коэффициенты усиления и смещения цветности, где способ включает этапы, на которых:

если коэффициент усиления яркости не равен единице, приравнивают коэффициенты усиления цветности к коэффициенту усиления яркости и вычисляют смещения цветности по следующей формуле:

f_Cb=f_Cr=(1-w_Y)×128,

где f_Cb и f_Cr - смещения цветности и w_Y - коэффициент усиления яркости, и,

если коэффициент усиления яркости равен нулю, то смещения цветности приравнивают нулю и коэффициенты усиления цветности приравнивают единице.

ЕЕЕ41. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где на изображении происходит монтажный переход, и где способ также включает этапы, на которых:

вычисляют относящиеся к интенсивности коэффициент усиления и смещение яркости, и

приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к яркости.

ЕЕЕ42. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 27, где параметры взвешенного предсказания первой цветовой составляющей включают первые величины из пары коэффициентов усиления и смещений цветности, и параметры взвешенного предсказания второй и третьей цветовых составляющих включают вторые величины из пар коэффициентов усиления и смещений цветности и коэффициента усиления яркости и смещения яркости.

ЕЕЕ43. Способ вычисления параметров, относящихся к цвету, исходя из параметров, относящихся к интенсивности, и информации о преобразовании цветового пространства, при возникновении вспышки на изображении, где способ включает этапы, на которых:

вычисляют коэффициент усиления и смещение, относящиеся к интенсивности;

если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является ненулевым, то приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и вычисляют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов;

если коэффициент усиления, относящийся к интенсивности, не равен единице, и смещение, относящееся к интенсивности, является нулевым, то приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и вычисляют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов; и

если коэффициент усиления, относящийся к интенсивности, равен единице или близок к единице, то коэффициенты усиления, относящихся к цвету, приравнивают 1, и вычисляют смещения, относящиеся к цвету, как функции смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов.

ЕЕЕ44. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 43, где коэффициент усиления и смещение, относящиеся к интенсивности, включают коэффициент усиления и смещение яркости.

ЕЕЕ45. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 43, где коэффициенты усиления и смещения, относящиеся к цвету, включают коэффициенты усиления и смещения цветности.

ЕЕЕ46. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 43, где если коэффициент усиления, относящийся к интенсивности, близок к единице, то вычисление смещений, относящихся к цвету, включает вычисление смещений, относящихся к цвету, на основе цвета первичного источника света для вспышки на изображении.

ЕЕЕ47. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 43, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr, и где коэффициент усиления и смещение, относящиеся к интенсивности, включают коэффициент усиления и смещение яркости, и коэффициенты усиления и смещения, относящиеся к цвету, включают коэффициенты усиления и смещения цветности, и где, если коэффициент усиления, относящийся к интенсивности, является равным единице или близким к единице, то вычисление смещений цветности включает выбор, по меньшей мере, одного из следующих вычислений:

f_Cb=0 и f_Cr=0;

f_Cb=(c₁₂×f_Y)/c₀₂ и f_Cb=(c₂₂×f_Y)/c₀₂;

f_Cb=(c₁₁×f_Y)/c₀₁ и f_Cb=(c₂₁×f_Y)/c₀₁; и

f_Cb=(c₁₀×f_Y)/c₀₀ и f_Cb=(c₂₀×f_Y)/c₀₀,

где c₀₀, c₀₁, c₀₂, c₁₀, c₁₁, c₁₂, c₂₀, c₂₁ и c₂₂ - коэффициенты матрицы преобразования цветов, а f_Cb и f_Cr - смещения цветности.

ЕЕЕ48. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 43, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr, и где коэффициент усиления и смещение, относящиеся к интенсивности, включают коэффициент усиления и смещение яркости, и коэффициенты усиления и смещения, относящиеся к цвету, включают коэффициенты усиления и смещения цветности, и где, если коэффициент усиления, относящийся к интенсивности, является равным единице или близким к единице, то вычисление смещений цветности включает:

предположение о том, что вспышка на изображении включает белый свет, и

вычисление смещений цветности f_Cb и f_Cr следующим образом:

f_Cb=0 и f_Cr=0.

ЕЕЕ49. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 43, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr, и где коэффициент усиления и смещение, относящиеся к интенсивности, включают коэффициент усиления и смещение яркости, и коэффициенты усиления и смещения, относящиеся к цвету, включают коэффициенты усиления и смещения цветности, и где если коэффициент усиления, относящийся к интенсивности, является равным единице или близким к единице, то вычисление смещений цветности включает:

предположение о том, что вспышка на изображении включает синий свет, и

вычисление смещений цветности f_Cb и f_Cr следующим образом:

f_Cb=(c₁₂×f_Y)/c₀₂ и f_Cb=(c₂₂×f_Y)/c₀₂,

где c₀₂, c₁₂ и c₂₂ - коэффициенты матрицы преобразования цветов.

ЕЕЕ50. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 43, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr, и где коэффициент усиления и смещение, относящиеся к интенсивности, включают коэффициент усиления и смещение яркости, и коэффициенты усиления и смещения, относящиеся к цвету, включают коэффициенты усиления и смещения цветности, и где, если коэффициент усиления, относящийся к интенсивности, является равным единице или близким к единице, то вычисление смещений цветности включает:

предположение о том, что вспышка на изображении включает зеленый свет, и

вычисление смещений цветности f_Cb и f_Cr следующим образом:

f_Cb=(c₁₁×f_Y)/c₀₁ и f_Cb=(c₂₁×f_Y)/c₀₁,

где c₀₁, c₁₁ и c₂₁ - коэффициенты матрицы преобразования цветов.

ЕЕЕ51. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 43, где преобразование цветового пространства представляет собой преобразование RGB в Y'CbCr, и где коэффициент усиления и смещение, относящиеся к интенсивности, включают коэффициент усиления и смещение яркости, и коэффициенты усиления и смещения, относящиеся к цвету, включают коэффициенты усиления и смещения цветности, и где, если коэффициент усиления, относящийся к интенсивности, является равным единице или близким к единице, то вычисление смещений цветности включает:

предположение о том, что вспышка на изображении включает красный свет, и

вычисление смещений цветности f_Cb и f_Cr следующим образом:

f_Cb=(c₁₀×f_Y)/c₀₀ и f_Cb=(c₂₀×f_Y)/c₀₀,

где c_Q0, c₁₀ и c₂₀ - коэффициенты матрицы преобразования цветов.

ЕЕЕ52. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 47, где выбирается более одного вычисления, и решение одного из вычислений выбирается на основании выбранного критерия.

ЕЕЕ53. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 47, где вычисление выбирается на основе информации, относящейся к предыдущему кадру.

ЕЕЕ54. Способ обнаружения постепенного изменения освещенности при переходе от одной сцены к следующей сцене видеосигнала, где способ включает следующие этапы:

этап А: создают несколько кадров из видеосигнала;

этап В: выбирают текущий кадр из нескольких кадров;

этап С: вычисляют набор свойств для одной или нескольких составляющих цветового пространства текущего кадра на основе значений кадра для одной или нескольких цветовых составляющих в кадрах, предшествующих текущему кадру, и в кадрах, следующих за текущим кадром;

этап D: вычисляют набор свойств для одной или нескольких составляющих цветового пространства предшествующего кадра, предшествующего текущему кадру, на основе значений кадра для одной или нескольких цветовых составляющих в кадрах, предшествующих предшествующему кадру, и в кадрах, следующих за предшествующим кадром; и

этап Е: сравнивают набор свойств для одного или нескольких параметров цветового пространства текущего кадра с набором свойств для одного или нескольких параметров цветового пространства предшествующего кадра с целью определения того, является ли текущий кадр конечным кадром постепенного изменения освещенности с увеличивающимся или уменьшающимся значением кадра, или является ли кадр, предшествующий текущему кадру, начальным кадром постепенного изменения освещенности с увеличивающимся или уменьшающимся значением кадра.

ЕЕЕ55. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 54, где кадр m обозначает выбранный кадр из нескольких кадров, кадр m-1 обозначает кадр из нескольких кадров, предшествующий кадру m, кадр m-2 кадр из нескольких кадров, предшествующий кадру m-1, m+1 обозначает кадр из нескольких кадров, следующий за кадром m, и кадр m+2 обозначает кадр из нескольких кадров, следующий за кадром m+1, и где вычисление набора свойств для одного или нескольких составляющих включает вычисление следующих свойств:

свойство А, где значение кадра для кадра m по свойству А равно среднему значений кадра для кадра m+1 и для кадра m-1;

свойство В, где значение кадра для кадра m по свойству В равно удвоенному значению кадра для кадра m+1 минус значение кадра для кадра m+2;

свойство С, где значение кадра для кадра m по свойству С равно делимому по свойству С, деленному на делитель по свойству С, где делимое по свойству С равно удвоенному значению кадра для кадра m-1 плюс значение кадра для кадра m+2, и делитель по свойству С равен 3;

свойство D, где значение кадра для кадра m по свойству D равно удвоенному значению кадра для кадра m-1 минус значение кадра для кадра m-2; и

свойство Е: где значение кадра для кадра m по свойству Е равно делимому по свойству Е, деленному на делитель по свойству Е, где делимое по свойству Е равно удвоенному значению кадра для кадра m+1 плюс значение кадра для кадра m-2, и делитель по свойству Е равен 3.

ЕЕЕ56. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 54, где сравнение набора свойств для одного или нескольких параметров цветового пространства текущего кадра с набором свойств для одного или нескольких параметров цветового пространства предшествующего кадра включает испытание по меньшей мере одного из следующих условий:

условие 1, где условие 1 удовлетворяется, если значение кадра по свойству С для текущего кадра больше, чем значение кадра по свойству А для текущего кадра, и значение кадра по свойству А для текущего кадра больше, чем значение кадра по свойству В для текущего кадра, и значение кадра по свойству С для предшествующего кадра больше, чем значение кадра по свойству А для предшествующего кадра, и значение кадра по свойству А для предшествующего кадра больше, чем значение кадра по свойству В для предшествующего кадра;

условие 2, где условие 2 удовлетворяется, если значение кадра по свойству С для текущего кадра меньше, чем значение кадра по свойству А для текущего кадра, и значение кадра по свойству А для текущего кадра меньше, чем значение кадра по свойству В для текущего кадра, и значение кадра по свойству С для предшествующего кадра меньше, чем значение кадра по свойству А для предшествующего кадра, и значение кадра по свойству А для предшествующего кадра меньше, чем значение кадра по свойству В для предшествующего кадра;

условие 3, где условие 3 удовлетворяется, если значение кадра по свойству Е для предшествующего кадра больше, чем значение кадра по свойству А для предшествующего кадра, и значение кадра по свойству А для предшествующего кадра больше, чем значение кадра по свойству D для предшествующего кадра, и значение кадра по свойству Е для текущего кадра больше, чем значение кадра по свойству А для текущего кадра, и значение кадра по свойству А для текущего кадра больше, чем значение кадра по свойству D для текущего кадра; и

условие 4, где условие 4 удовлетворяется, если значение кадра по свойству Е для предшествующего кадра меньше, чем значение кадра по свойству А для предшествующего кадра, и значение кадра по свойству А для предшествующего кадра меньше, чем значение кадра по свойству D для предшествующего кадра, и значение кадра по свойству Е для текущего кадра меньше, чем значение кадра по свойству А для текущего кадра, и значение кадра по свойству А для текущего кадра меньше, чем значение кадра по свойству D для текущего кадра;

и где:

если удовлетворяется условие 1, то текущий кадр обозначается как конечный кадр постепенного изменения освещенности с уменьшающимся значением кадра;

если удовлетворяется условие 2, то текущий кадр обозначается как конечный кадр постепенного изменения освещенности с увеличивающимся значением кадра;

если удовлетворяется условие 3, то непосредственно предшествующий кадр обозначается как начальный кадр постепенного изменения освещенности с увеличивающимся значением кадра; и

если удовлетворяется условие 4, то непосредственно предшествующий кадр обозначается как начальный кадр постепенного изменения освещенности с уменьшающимся значением кадра.

ЕЕЕ57. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 49, который также включает этапы, на которых:

выбирают другой кадр из нескольких кадров;

обозначают выбранный кадр как текущий кадр;

повторяют этапы С-Е;

сравнивают результаты этапа Е для предыдущего текущего кадра с настоящим текущим кадром с целью определения того, являются ли результаты совместимыми; и

определяют на основе одного или нескольких значений кадров, является ли постепенное изменение освещенности постепенным возникновением изображения, постепенным исчезновением изображения или монтажным переходом.

ЕЕЕ58. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 55, где значение кадра для кадра включает значение DC всего кадра для одной или нескольких составляющих цветового пространства.

ЕЕЕ59. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 55, где значение кадра для кадра включает значение DC определенной части, или частей, кадра для одной или нескольких составляющих цветового пространства.

ЕЕЕ60. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 55, где значение кадра для кадра включает гистограмму кадра для одной или нескольких составляющих цветового пространства.

ЕЕЕ61. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 55, где значение кадра для кадра включает гистограмму определенной части, или частей, кадра для одной или нескольких составляющих цветового пространства.

ЕЕЕ62. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 55, где кадр m-1 непосредственно предшествует кадру m, кадр m-2 непосредственно предшествует кадру m-1, кадр m+1 непосредственно следует за кадром m, и кадр m+2 непосредственно следует за кадром m+1.

ЕЕЕ63. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 55, где кадр m-1 обозначает кадр, предшествующий во времени кадру m, кадр m-2 обозначает кадр, предшествующий во времени кадру m-1, кадр m+1 обозначает кадр, следующий во времени за кадром m, и кадр m+2 обозначает кадр, следующий во времени за кадром m+1.

ЕЕЕ64. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 63, где выбор времени для любого из кадров m-1, m-2, m+1, m+2 является переменным.

ЕЕЕ65. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 64, где выбор времени изменяется в зависимости от содержимого кадра.

ЕЕЕ66. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 54, где составляющие цветового пространства включают составляющие, относящиеся к интенсивности и относящиеся к цвету, и набор свойств для каждого кадра рассчитывается для составляющей яркости.

ЕЕЕ67. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 66, где составляющие, относящиеся к интенсивности, включают одно или несколько следующих значений: значение яркости или значение освещенности.

ЕЕЕ68. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 66, где составляющие, относящиеся к цвету, включают одно или несколько следующих значений: значение цветности или значение хроматической величины.

ЕЕЕ69. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 54, который также включает выполнение этапов С, D и Е для всех составляющих цветового пространства.

ЕЕЕ70. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 54, который также включает: выполнение этапов С, D и Е для первого выбранного набора составляющих цветового пространства и завершение после этапа Е, если определение условия постепенного изменения освещенности основывается только на испытании первого выбранного набора составляющих цветового пространства.

ЕЕЕ71. Способ обнаружения монтажного перехода, который включает этапы, на которых:

создают несколько кадров видеопоследовательности и связанные опорные кадры двунаправленного предсказания; и

определяют, присутствует ли монтажный переход, на основе средних коэффициентов усиления, рассчитанных для составляющих цветового пространства в первой цветовой области текущего кадра и связанных опорных кадров двунаправленного предсказания, и средних коэффициентов усиления, рассчитанных для составляющих цветового пространства во второй цветовой области для текущего кадра и связанных опорных кадров двунаправленного предсказания.

ЕЕЕ72. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 71, где определение того, присутствует ли монтажный переход, включает этапы, на которых:

вычисляют средние значения составляющих цветового пространства в первой цветовой области для текущего кадра и средние значения составляющих цветового пространства в первой цветовой области для связанных опорных кадров двунаправленного предсказания;

вычисляют средние значения составляющих цветового пространства во второй цветовой области для текущего кадра и средние значения составляющих цветового пространства во второй цветовой области для связанных опорных кадров двунаправленного предсказания;

определяют, удовлетворено ли каждое из условий 1-6:

условие 1: является ли равной единице или приблизительно равной единице сумма средних коэффициентов усиления для каждого из опорных кадров двунаправленного предсказания в первом цветовом пространстве;

условие 2: является ли равной единице или приблизительно равной единице сумма средних коэффициентов усиления для каждого опорного кадра двунаправленного предсказания;

условие 3: являются ли абсолютные значения средних коэффициентов усиления для каждого из опорных кадров двунаправленного предсказания в области первого цветового пространства обратно пропорциональными расстояниям опорных кадров двунаправленного предсказания от текущего кадра;

условие 4: являются ли абсолютные значения средних коэффициентов усиления для каждого из опорных кадров двунаправленного предсказания в области второго цветового пространства обратно пропорциональными расстояниям опорных кадров двунаправленного предсказания от текущего кадра;

условие 5: обеспечивают ли средние коэффициенты усиления в области первого цветового пространства корректную модель монтажного перехода в области первого цветового пространства;

условие 6: обеспечивают ли средние коэффициенты усиления в области первого цветового пространства корректную модель монтажного перехода в области второго цветового пространства;

где если все условия 1-6 удовлетворены, то определяют присутствие монтажного перехода.

ЕЕЕ73. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 72, где область первого цветового пространства представляет собой область RGB, область второго цветового пространства представляет собой область YCbCr, и где определение того, удовлетворяются ли условия 5 и 6, включает определение того, удовлетворены ли следующие равенства:

где

обозначает вектор для текущего кадра в области RGB,

и обозначают векторы для опорных кадров двунаправленного предсказания в области RGB,

обозначает вектор для текущего кадра в области YCbCr,

и обозначают векторы для опорных кадров двунаправленного предсказания в области YCbCr,

w₁ и w₂ обозначают средние коэффициенты усиления.

ЕЕЕ74. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 71, где способ также включает приравнивание коэффициентов усиления цветности к коэффициентам усиления яркости, если монтажный переход присутствует.

ЕЕЕ75. Способ определения взвешенных параметров в присутствии условий постепенного изменения освещенности, где способ включает следующие этапы:

этап А: создают несколько кадров картинки и связанные кадры взвешенного предсказания;

этап В: выбирают цветовую составляющую;

этап С: для каждого кадра и связанного опорного кадра предсказания определяют насыщенные разделы для выбранной цветовой составляющей в пределах кадра и связанного с ним опорного кадра предсказания;

этап D: для каждого кадра и связанного опорного кадра предсказания определяют, используют ли совместно оба кадра большие области с насыщенными значениями для выбранной цветовой составляющей, и если совместно используемых областей с насыщенными значениями нет, то переходят на этап Н;

этап Е: для каждого кадра и связанного опорного кадра предсказания определяют ненасыщенные разделы для выбранной цветовой составляющей в пределах кадра и его связанного опорного кадра предсказания;

этап F: для каждого кадра и связанного опорного кадра предсказания определяют, используют ли совместно оба кадра большие области с ненасыщенными значениями для выбранной цветовой составляющей, и если совместно используемых областей с ненасыщенными значениями нет, то переходят на этап Н;

этап G: для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления и факторы взвешенного предсказания на основе совместно используемых и, необязательно, нормированных на одинаковое число пикселов больших областей с ненасыщенными значениями; и

этап Н: для каждого кадра и связанного опорного кадра предсказания вычисляют коэффициенты усиления и факторы взвешенного предсказания на основе всего кадра.

ЕЕЕ76. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 75, который также включает выбор другой цветовой составляющей и повторение этапов С-Н для данной выбранной цветовой составляющей.

ЕЕЕ77. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 75, где вычисление коэффициентов усиления и факторов взвешенного предсказания основывается на коэффициентах усиления и факторах взвешенного предсказания для предыдущего кадра.

ЕЕЕ78. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 75, где каждый кадр и связанный кадр предсказания являются сегментированными, и этапы А-Н выполняются на одном или нескольких сегментах каждого кадра или связанного опорного кадра предсказания, а коэффициенты усиления и факторы взвешенного предсказания рассчитываются для каждого сегмента.

ЕЕЕ79. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 78, где компенсация движения отслеживает сегменты от одного кадра к другому.

ЕЕЕ80. Способ определения параметров взвешенного предсказания в присутствии условий постепенного изменения освещенности, где способ включает следующие этапы:

этап А: создают несколько кадров картинки и связанные кадры взвешенного предсказания, содержащие выборочные цветовые данные;

этап В: выбирают цветовую составляющую;

этап С: для каждого кадра задают текущее наименьшее значение насыщения и текущее наибольшее значение насыщения для выбранной цветовой составляющей на основе выбранной цветовой области для выборочных цветовых данных;

этап D: для каждого связанного кадра предсказания задают текущее наименьшее опорное значение насыщения и текущее наибольшее опорное значение насыщения для выбранной цветовой составляющей на основе выбранной цветовой области для выборочных цветовых данных;

этап Е: для каждого кадра и связанного кадра предсказания оценивают параметры взвешенного предсказания на основе текущего наименьшего значения насыщения, текущего наибольшего значения насыщения, текущего наименьшего опорного значения насыщения и текущего наибольшего опорного значения насыщения;

этап F: для каждого связанного кадра предсказания вычисляют обновленное наименьшее опорное значение насыщения и обновленное наибольшее опорное значение насыщения на основе оценочных параметров взвешенного предсказания;

этап G: приравнивают текущее наименьшее опорное значение насыщения к обновленному текущему наименьшему опорному значению насыщения, и приравнивают текущее наибольшее опорное значение насыщения к обновленному текущему наибольшему опорному значению насыщения; и

этап Н: повторяют этапы D-G в последовательных итерациях, если параметры взвешенного предсказания для настоящей итерации отличаются от параметров взвешенного предсказания на непосредственно предшествующей итерации на выбранное значение, или если количество итераций превышает выбранное значение счетчика итераций.

ЕЕЕ81. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 80, где параметры взвешенного предсказания для итерации t включают взвешенные коэффициент усиления w_t и фактор f_t, и обновленное текущее наименьшее опорное значение насыщения и обновленное текущее наибольшее опорное значение насыщения вычисляются по следующим формулам:

где - текущее наименьшее значение насыщения, - текущее наибольшее значение насыщения, - обновленное текущее наименьшее опорное значение насыщения, и - обновленное текущее наибольшее опорное значение насыщения.

ЕЕЕ82. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 81, который дополнительно вычисляет гистограммы кадра и связанного опорного кадра предсказания перед оценкой параметров взвешенного предсказания, где оценка параметров взвешенного предсказания основывается на расчетных гистограммах.

ЕЕЕ83. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 81, который также включает выбор другой цветовой составляющей и повторение этапов С-Н для данной выбранной цветовой составляющей.

ЕЕЕ84. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 81, где оценка параметров взвешенного предсказания основывается на параметрах взвешенного предсказания, оцененных на непосредственно предшествующей итерации.

ЕЕЕ85. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 80, где каждый кадр и связанный опорный кадр предсказания сегментируются, и этапы С-Н выполняются на одном или нескольких сегментах каждого кадра и связанного опорного кадра предсказания.

ЕЕЕ86. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 84, где вычисление обновленного текущего наименьшего опорного значения насыщения и обновленного текущего наибольшего опорного значения насыщения, основанное на оценочных параметрах взвешенного предсказания, включает вычисление обновленного текущего наименьшего опорного значения насыщения и обновленного текущего наибольшего опорного значения насыщения так, чтобы обеспечить отсутствие значений пикселов, насыщенных, или отсеченных, в результате взвешенного предсказания.

ЕЕЕ87. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 84, где выбранная цветовая область включает исходное цветовое пространство.

ЕЕЕ88. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 84, где выбранная цветовая область включает вторую цветовую область, полученную путем преобразования из первой цветовой области, и где оценочные параметры взвешенного предсказания включают параметры взвешенного предсказания в первой цветовой области.

ЕЕЕ89. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 84, где несколько цветовых областей получается путем преобразования из первого цветового пространства, и выбранная цветовая область включает выбор каждой из нескольких цветовых областей, и где оценочные параметры взвешенного предсказания основываются на каждой из выбранных цветовых областей.

ЕЕЕ90. Способ оценки коэффициентов усиления и смещений взвешенного предсказания при переходе с постепенным изменением освещенности от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают текущий кадр и связанный опорный кадр предсказания из картинок в видеосигнале;

для каждого текущего кадра и связанного опорного кадра предсказания вычисляют значения цветовых составляющих в одной из цветовых областей, где A_m обозначает первую цветовую составляющую для текущего кадра, B_m обозначает вторую цветовую составляющую для текущего кадра, C_m обозначает третью цветовую составляющую для текущего кадра, и где A_m+1 обозначает первую цветовую составляющую для связанного опорного кадра предсказания, B_m+1 обозначает вторую цветовую составляющую для связанного опорного кадра предсказания, C_m+1 обозначает третью цветовую составляющую для связанного опорного кадра предсказания;

приравнивают коэффициенты усиления взвешенного предсказания для всех цветовых составляющих, где w обозначает значение коэффициента усиления взвешенного предсказания, равное для всех цветовых составляющих;

приравнивают друг к другу смещения взвешенного предсказания для двух цветовых составляющих, где f_A обозначает смещение для первой цветовой составляющей, и f_C обозначает смещение взвешенного предсказания, имеющее равное значение для двух других цветовых составляющих;

решают следующую формулу для коэффициента взвешенного предсказания w и смещений f_A и f_C взвешенного предсказания:

ЕЕЕ91. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 90, где цветовая область представляет собой область YCbCr, и смещения взвешенного предсказания для двух цветовых составляющих, приравненные одно к другому, включают смещения взвешенного предсказания для цветовых составляющих цветности.

ЕЕЕ92. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 90, где значения цветовых составляющих рассчитываются для одного или нескольких сегментов текущего кадра и связанного опорного кадра предсказания.

ЕЕЕ93. Способ оценки коэффициентов усиления и смещений взвешенного предсказания при переходе с постепенным изменением освещенности от одной картинки к следующей картинке видеосигнала, где способ включает этапы, на которых:

создают текущий кадр и связанный опорный кадр предсказания из картинок в видеосигнале;

для каждого текущего кадра и связанного опорного кадра предсказания вычисляют значения цветовых составляющих в одной из цветовых областей, где A_m обозначает первую цветовую составляющую для текущего кадра, B_m обозначает вторую цветовую составляющую для текущего кадра, C_m обозначает третью цветовую составляющую для текущего кадра, и где A_m+1 обозначает первую цветовую составляющую для связанного опорного кадра предсказания, B_m+1 обозначает вторую цветовую составляющую для связанного опорного кадра предсказания, C_m+1 обозначает третью цветовую составляющую для связанного опорного кадра предсказания;

приравнивают смещения взвешенного предсказания для всех цветовых составляющих, где f обозначает значение смещения взвешенного предсказания, равное для всех цветовых составляющих;

приравнивают друг к другу коэффициенты усиления взвешенного предсказания для двух из цветовых составляющих, где w_A обозначает смещение для первой цветовой составляющей, и w_C обозначает смещение взвешенного предсказания, имеющее равное значение для двух других цветовых составляющих;

решают следующую формулу для коэффициентов w_A и w_C усиления взвешенного предсказания смещения взвешенного предсказания f:

ЕЕЕ94. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 93, где цветовая область представляет собой цветовую область RGB, и коэффициенты усиления взвешенного предсказания для двух из цветовых составляющих, приравненных друг к другу, включают смещения взвешенного предсказания для зеленой и синей составляющих.

ЕЕЕ95. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 93, где цветовая область представляет собой цветовую область RGB, и коэффициенты усиления взвешенного предсказания для двух из цветовых составляющих, приравненных друг к другу, включают смещения взвешенного предсказания для красной и синей составляющих.

ЕЕЕ96. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 93, где значения цветовых составляющих рассчитываются для одного или нескольких сегментов текущего кадра и связанного опорного кадра предсказания.

ЕЕЕ97. Способ преобразования параметров взвешенного предсказания из первой цветовой области во вторую цветовую область, где преобразование из первой цветовой области во вторую цветовую область не является линейным, где способ включает этап, на котором:

вычисляют параметры взвешенного предсказания во второй цветовой области для одного или нескольких кадров во второй области на основе выражения преобразования из первой цветовой области во вторую цветовую область.

ЕЕЕ98. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 97, где преобразование параметров взвешенного предсказания происходит в присутствии перехода изображения.

ЕЕЕ99. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 97, где выражение преобразования из первой цветовой области во вторую цветовую область включает показательное преобразование, и где способ также включает этап, на котором:

вычисляют параметры взвешенного предсказания в первой цветовой области для одного или нескольких кадров в первой цветовой области для получения значения коэффициента усиления в первой цветовой области, и

где вычисление параметров взвешенного предсказания во второй цветовой области включает вычисление значения коэффициента усиления во второй цветовой области, равного значению коэффициента усиления в первой цветовой области, возведенному в степень показателя показательного преобразования.

ЕЕЕ100. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 99, где преобразование параметров взвешенного предсказания происходит в присутствии постепенного изменения освещенности.

ЕЕЕ101. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 99, где показательное преобразование включает гамма-коррекцию, где γ обозначает показатель, значение в первой цветовой области обозначается как w, и значение во второй цветовой области обозначается как w^Y.

ЕЕЕ102. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 97, где выражение преобразования из первой цветовой области во вторую цветовую область включает выражение преобразования в логарифмическом пространстве, и переход изображения включает постепенное изменение освещенности, где способ также включает этап, на котором:

вычисляют параметры взвешенного предсказания в первой цветовой области для одного или нескольких кадров в первой цветовой области с целью получения значения коэффициента усиления в первой цветовой области, и

где вычисление параметров взвешенного предсказания во второй цветовой области включает вычисление значения смещения во второй цветовой области, равного логарифму значения коэффициента усиления в первой цветовой области.

ЕЕЕ103. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 98, где выражение преобразования из первой цветовой области во вторую цветовую область включает показательное преобразование, и переход изображения включает постепенное изменение освещенности, и где вычисление параметров взвешенного предсказания включает вычисление значения коэффициента усиления во второй цветовой области, не равного единице, и значения смещения во второй цветовой области, равного нулю.

ЕЕЕ104. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 98, где выражение преобразования из первого цветового пространства во второе цветовое пространство включает выражение преобразования в логарифмическом пространстве, и переход изображения включает постепенное изменение освещенности, и где вычисление параметров взвешенного предсказания во второй цветовой области включает вычисление значения коэффициента усиления во второй цветовой области, равного единице, и смещения во второй цветовой области, не равного нулю.

ЕЕЕ105. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 97, где переход изображения включает монтажный переход, и выражение преобразования из первого цветового пространства во второе цветовое пространство включает показательное преобразование, и где способ также включает этап, на котором:

вычисляют параметры взвешенного предсказания в первой цветовой области, включающие значение первого опорного коэффициента усиления для первого опорного кадра и значение второго опорного коэффициента усиления для второго опорного кадра, и

где вычисление параметров взвешенного предсказания во второй цветовой области включает вычисление значений коэффициентов усиления во второй цветовой области на основе значения первого опорного коэффициента усиления и значения второго опорного коэффициента усиления.

ЕЕЕ106. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 105, где вычисление параметров взвешенного предсказания во второй цветовой области включает решение двух биноминальных разложений на основе значения первого опорного коэффициента усиления и одной или нескольких следующих величин: значения первого опорного кадра и значения второго коэффициента усиления и одного или нескольких значений второго опорного кадра.

ЕЕЕ107. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 97, где переход изображения включает монтажный переход, и выражение преобразования из первой цветовой области во вторую цветовую область включает преобразование в логарифмическое пространство, и способ также включает этап, на котором:

вычисляют параметры взвешенного предсказания в первой цветовой области, включающих значение первого опорного коэффициента усиления для первого опорного кадра и значение второго опорного коэффициента усиления для второго опорного кадра; и

где вычисление параметров взвешенного предсказания во второй цветовой области включает вычисление значений коэффициентов усиления во второй цветовой области на основе значения коэффициента усиления в первой цветовой области и значения второго опорного коэффициента усиления.

ЕЕЕ108. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 107, где смещения во взвешенных параметрах во второй цветовой области приравниваются к логарифмам значения первого опорного коэффициента усиления и значения второго опорного коэффициента усиления.

ЕЕЕ109. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 97, также включает этап, на котором:

сжимают содержимое в первый слой с использованием первой цветовой области, и

сжимают содержимое во второй слой с использованием второй цветовой области, посредством чего параметры взвешенного предсказания, рассчитанные для первого слоя, преобразовываются в параметры взвешенного предсказания для второго слоя.

ЕЕЕ110. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения 109, где первый слой включает базовый слой, и второй слой включает слой повышения качества.

ЕЕЕ111. Способ согласно пронумерованному иллюстративному варианту осуществления изобретения ПО, где параметры взвешенного предсказания для первого слоя передаются в декодер или кодер для второго слоя.

ЕЕЕ112. Кодер, предназначенный для кодирования видеосигнала согласно способу, описанному в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно.

ЕЕЕ113. Устройство, предназначенное для кодирования видеосигнала согласно способу, описанному в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно.

ЕЕЕ114. Система, предназначенная для кодирования видеосигнала согласно способу, описанному в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно.

ЕЕЕ115. Декодер, предназначенный для декодирования видеосигнала согласно способу, описанному в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно.

ЕЕЕ116. Декодер согласно пронумерованному иллюстративному варианту осуществления изобретения 115, где параметры взвешенного предсказания не передаются в декодер, и где параметры взвешенного предсказания получаются из информации изображения, отправляемой в декодер.

ЕЕЕ117. Устройство, предназначенное для декодирования видеосигнала согласно способу, перечисленному в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно.

ЕЕЕ118. Устройство согласно пронумерованному иллюстративному варианту осуществления изобретения 117, где параметры взвешенного предсказания не передаются в устройство, и где параметры взвешенного предсказания получаются из информации изображения, отправляемой в устройство.

ЕЕЕ119. Система, предназначенная для декодирования видеосигнала согласно способу, перечисленному в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно.

ЕЕЕ120. Система согласно пронумерованному иллюстративному варианту осуществления изобретения 119, где параметры взвешенного предсказания не передаются в систему, и где параметры взвешенного предсказания получаются из информации изображения, отправляемой в систему.

ЕЕЕ121. Машиночитаемый носитель данных, содержащий набор команд, которые вызывают выполнение компьютером способа, перечисленного в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно.

ЕЕЕ122. Использование способа, перечисленного в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно, для кодирования видеосигнала.

ЕЕЕ123. Использование способа, описанного в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно, для декодирования видеосигнала.

ЕЕЕ124. Машиночитаемый носитель данных, включающий набор команд, которые вызывают, управляют, программируют или конфигурируют одно или несколько следующих устройств: компьютер или интегральную микросхему (IC), - для выполнения способа, описанного в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно.

ЕЕЕ125. Устройство IC, которое конфигурируется, программируется управляется или конструируется для выполнения процесса, описанного в одном или нескольких пронумерованных иллюстративных вариантах осуществления изобретения 1-111 включительно.

[0161] Следует понимать, что раскрытие не ограничивается конкретными способами или системами, которые, разумеется, могут меняться. Также следует понимать, используемая в данном раскрытии терминология не служит цели описания только частных вариантов осуществления изобретения и не предназначается для ограничения. В том смысле, как они используются в данном описании и прилагаемой формуле изобретения, формы единственного числа включают ссылочные объекты во множественном числе, если содержание в явном виде не предписывает иного. Термин «несколько» включает два или более ссылочных объекта, если содержание в явном виде не предписывает иного. Если не определено иное, все технические и научные термины, используемые в данном описании, имеют тот же смысл, что и обычно понимаемый средними специалистами в области, к которой принадлежит данное раскрытие.

[0162] Изложенные выше примеры представлены для того, чтобы предоставить средним специалистам в данной области полное раскрытие и описание того, как создавать и использовать варианты осуществления способов повышения качества для дискретизированных и мультиплексированных данных изображений и видеоданных согласно раскрытию, и они не предназначены для ограничения объема того, что авторы изобретения рассматривают в качестве их раскрытия. Специалистами в данной области могут использоваться модификации вышеописанных вариантов осуществления раскрытия, и они предполагаются как находящиеся в пределах объема нижеследующей формулы изобретения.

[0163] Описано несколько вариантов осуществления раскрытия. Тем не менее, следует понять, что различные модификации могут делаться без отступления от духа и объема настоящего раскрытия. Соответственно, другие варианты осуществления изобретения находятся в пределах объема формулы изобретения, которая следует за представленными ниже ссылочными материалами.

ССЫЛОЧНЫЕ МАТЕРИАЛЫ

[1] Ford and A. Roberts, "Color Space Conversions", http://www.poynton.com/PDFs/coloureq.pdf.

[2] K. Kamikura, H. Watanabe, H. Jozawa, H. Kotera, and S. Ichinose, "Global Brightness-Variation Compensation for Video Coding," IEEE Transactions on Circuits and Systems for Video Technology, vol. 8, no. 8, Wavelet Applications in Industrial Processing, Dec. 1998, pp. 988-1000.

[3] Y. Kikuchi and T. Chujoh, "Interpolation coefficient adaptation in multi-frame interpolative prediction", Joint Video Team of ISO/IEC MPEG and ITU-T VCEG, JVT-C103, Mar. 2002.

[4] H. Kato and Y. Nakajima, "Weighting factor determination algorithm for H.264/MPEG-4 AVC weighted prediction," Proc. IEEE 6th Workshop on Multimedia Signal Proc, Siena, Italy, Oct. 2004.

[5] J.M. Boyce, "Weighted prediction in the H.264/MPEG-4 AVC video coding standard," Proc. IEEE International Symposium on Circuits and Systems, Vancouver, Canada, May 2004, vol. 3, pp. 789-792.

[6] P. Yin, A.M. Tourapis, and J.M. Boyce, "Localized weighted prediction for video coding," Proc. IEEE International Symposium on Circuits and Systems, May 2005, vol. 5, pp. 4365-4368.

Кроме того, все патенты и публикации, которые упоминаются в описании, могут указывать на уровни квалификации специалистов в той области, к которой принадлежит данное раскрытие. Все ссылки, процитированные в данном раскрытии ссылкой, включаются в настоящее раскрытие в той степени, как если бы каждая из ссылок была включена в данное раскрытие полностью по отдельности.

Изобретение относится к способам и устройствам для кодирования видеосигнала на основе определения параметров взвешенного предсказания. Технический результат заключается в повышении производительности устройства отображения изображений. В способе определяют коэффициент усиления и смещение взвешенного предсказания для первой цветовой составляющей; на основе рассчитанных значений коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей определяют коэффициенты усиления и смещения взвешенного предсказания второй и третьей цветовых составляющих как функции смещений при преобразовании цветов, коэффициентов матрицы преобразования цветов и коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей; и кодируют видеосигнал на основе определенных параметров взвешенного предсказания второй и третьей цветовых составляющих. 15 н. и 3 з.п. ф-лы, 16 ил.

1. Способ кодирования видеосигнала на основе определения параметров взвешенного предсказания второй и третьей цветовых составляющих, исходя из информации о преобразовании цветового пространства и параметров взвешенного предсказания первой цветовой составляющей, когда происходит переход изображения, причем способ включает этапы, на которых:

определяют коэффициент усиления и смещение взвешенного предсказания для первой цветовой составляющей;

на основе рассчитанных значений коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей определяют коэффициенты усиления и смещения взвешенного предсказания второй и третьей цветовых составляющих как функции смещений при преобразовании цветов, коэффициентов матрицы преобразования цветов и коэффициента усиления и смещения взвешенного предсказания первой цветовой составляющей; и

кодируют видеосигнал на основе определенных параметров взвешенного предсказания второй и третьей цветовых составляющих.

2. Способ кодирования видеосигнала на основе определения параметров, относящихся к цвету, исходя из параметров, относящихся к интенсивности, и информации о преобразовании цветового пространства, при возникновении вспышки на изображении, причем способ включает этапы, на которых:

определяют коэффициент усиления и смещение, относящиеся к интенсивности;

если коэффициент усиления, относящийся к интенсивности, не равен единице и смещение, относящееся к интенсивности, является ненулевым, то приравнивают коэффициенты усиления, относящихся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и определяют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов;

если коэффициент усиления, относящийся к интенсивности, не равен единице и смещение, относящееся к интенсивности, является нулевым, то приравнивают коэффициенты усиления, относящиеся к цвету, к коэффициенту усиления, относящемуся к интенсивности, и определяют смещения, относящиеся к цвету, как функции смещений при преобразовании цветового формата, коэффициента усиления, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов;

если коэффициент усиления, относящийся к интенсивности, равен единице или близок к единице, то приравнивают коэффициенты усиления, относящиеся к цвету, к 1 и определяют смещения, относящиеся к цвету, как функции смещения, относящегося к интенсивности, и коэффициентов матрицы преобразования цветов; и

кодируют видеосигнал на основе определенных параметров, относящихся к цвету.

3. Способ кодирования видеосигнала на основе преобразования параметров взвешенного предсказания, включающий этапы, на которых:

определяют один или несколько параметров взвешенного предсказания для второй цветовой области одного или нескольких кадров во второй цветовой области на основе выражения преобразования из первой цветовой области во вторую цветовую область;

преобразуют один или несколько параметров взвешенного предсказания из первой цветовой области во вторую цветовую область, причем преобразование из первой цветовой области во вторую цветовую область является нелинейным; и

кодируют видеосигнал на основе преобразованных одного или нескольких параметров взвешенного предсказания.

4. Кодер, предназначенный для кодирования видеосигнала в соответствии со способом по п. 1.

5. Кодер, предназначенный для кодирования видеосигнала в соответствии со способом по п. 2.

6. Кодер, предназначенный для кодирования видеосигнала в соответствии со способом по п. 3.

7. Декодер, предназначенный для декодирования видеосигнала в соответствии со способом по п. 1.

8. Декодер по п. 7, отличающийся тем, что параметры взвешенного предсказания получают из информации картинки, отправляемой в декодер.

9. Декодер, предназначенный для декодирования видеосигнала в соответствии со способом по п. 2.

10. Декодер по п. 9, отличающийся тем, что параметры взвешенного предсказания получают из информации картинки, отправляемой в декодер.

11. Декодер, предназначенный для декодирования видеосигнала в соответствии со способом по п. 3.

12. Декодер по п. 11, отличающийся тем, что параметры взвешенного предсказания получают из информации картинки, отправляемой в декодер.

13. Машиночитаемый носитель данных, включающий набор команд, которые вызывают, управляют, программируют или конфигурируют одно или несколько из следующих устройств: компьютер или устройство на интегральных микросхемах (IC), для выполнения способа по п. 1.

14. Машиночитаемый носитель данных, включающий набор команд, которые вызывают, управляют, программируют или конфигурируют одно или несколько из следующих устройств: компьютер или устройство на интегральных микросхемах (IC), для выполнения способа по п. 2.

15. Машиночитаемый носитель данных, включающий набор команд, которые вызывают, управляют, программируют или конфигурируют одно или несколько из следующих устройств: компьютер или устройство на интегральных микросхемах (IC), для выполнения способа по п. 3.

16. Устройство IC, сконфигурированное, запрограммированное, управляемое или сконструированное для выполнения способа по п. 1.

17. Устройство IC, сконфигурированное, запрограммированное, управляемое или сконструированное для выполнения способа по п. 2.

18. Устройство IC, сконфигурированное, запрограммированное, управляемое или сконструированное для выполнения способа по п. 3.