Способ кодирования-декодирования цифровых статических видеоизображений Российский патент 2017 года по МПК H03M7/40 H04N19/63 

Техническое решение относится к области цифровой обработки сигналов, в частности к способам кодирования-декодирования цифровых статических видеоизображений, и может быть применено в системах хранения и обработки визуальной информации.

Известен аналогичный способ кодирования-декодирования цифровых статических видеоизображений на основе стандарта кодирования MPEG-4, описанный в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения», Москва: Техносфера, 2005. - 368 с., с. 197 и состоящий в следующем: при кодировании каждого очередного изображения кодером опрашивают датчик цветного изображения, далее полученное изображение представляют тремя исходными цветовыми матрицами, соответствующими красному, зеленому и синему цветовым компонентам изображения, после чего сохраняют исходные цветовые матрицы в памяти кодера, затем к каждой исходной цветовой матрице применяют вейвлет-прербразование, в ходе которого получают низкочастотный и высокочастотный компоненты матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют квантование и кодирование с пространственным прогнозом, затем к высокочастотному компоненту текущей матрицы применяют квантование, сканирование и кодирование по методу нулевых деревьев, а после этого к предварительным кодам обоих частотных компонентов текущей матрицы применяют энтропийное арифметическое кодирование, после кодирования всех исходных матриц набор полученных кодов передают декодеру, декодером в процессе проведения декодирования изображения для каждой декодируемой цветовой матрицы сначала применяют к полученным кодам энтропийное арифметическое декодирование, в результате чего получают раздельные коды низкочастотного и высокочастотного компонентов матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют декодирование с пространственным прогнозом и деквантование, затем к высокочастотному компоненту текущей матрицы применяют декодирование по методу нулевых деревьев, обратное сканирование и деквантование, после чего по декодированным низкочастотным и высокочастотным компонентам посредством обратного вейвлет-преобразования восстанавливают исходную текущую матрицу изображения, а после декодирования всех цветовых матриц восстанавливают исходное изображение.

Недостатком указанного аналога является низкое значение коэффициента компрессии видеоизображений применительно к изображениям небольших форматов при неоднородном характере внешнего освещения видеосцены, содержащей фоновый объект, проекция которого занимает значительную площадь изображения.

В качестве прототипа выбран способ кодирования-декодирования цифровых статических видеоизображений на основе стандарта кодирования MPEG-4, описанный в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения», Москва: Техносфера, 2005. - 368 с., с. 197 и состоящий в следующем: при кодировании каждого очередного изображения кодером опрашивают датчик цветного изображения, далее полученное изображение представляют тремя исходными цветовыми матрицами, соответствующими красному, зеленому и синему цветовым компонентам изображения, после чего сохраняют исходные цветовые матрицы в памяти кодера, затем к каждой исходной цветовой матрице применяют вейвлет-преобразование, в ходе которого получают низкочастотный и высокочастотный компоненты матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют квантование и кодирование с пространственным прогнозом, затем к высокочастотному компоненту текущей матрицы применяют квантование, сканирование и кодирование по методу нулевых деревьев, а после этого к предварительным кодам обоих частотных компонентов текущей матрицы применяют энтропийное арифметическое кодирование, после кодирования всех исходных матриц набор полученных кодов передают декодеру, декодером в процессе проведения декодирования изображения для каждой декодируемой цветовой матрицы сначала применяют к полученным кодам энтропийное арифметическое декодирование, в результате чего получают раздельные коды низкочастотного и высокочастотного компонентов матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют декодирование с пространственным прогнозом и деквантование, затем к высокочастотному компоненту текущей матрицы применяют декодирование по методу нулевых деревьев, обратное сканирование и деквантование, после чего по декодированным низкочастотным и высокочастотным компонентам посредством обратного вейвлет-преобразования восстанавливают исходную текущую матрицу изображения, а после декодирования всех цветовых матриц восстанавливают исходное изображение.

Недостатком прототипа является низкое значение коэффициента компрессии видеоизображений применительно к изображениям небольших форматов при неоднородном характере внешнего освещения видеосцены, содержащей фоновый объект, проекция которого занимает значительную часть изображения.

Задачей технического решения является существенное повышение коэффициента компрессии цифровых статических видеоизображений при незначительном снижении качества декодированного изображения применительно к изображениям небольших форматов при неоднородном характере внешнего освещения видеосцены, содержащей фоновый объект, проекция которого занимает значительную площадь изображения.

Поставленная задача решается благодаря тому, что в способе кодирования-декодирования цифровых статических видеоизображений, содержащем следующую последовательность действий: при кодировании каждого очередного изображения кодером опрашивают датчик цветного изображения, далее полученное изображение представляют тремя исходными цветовыми матрицами, соответствующими красному, зеленому и синему цветовым компонентам изображения, после чего сохраняют исходные цветовые матрицы в памяти кодера, затем к каждой исходной цветовой матрице применяют вейвлет-преобразование, в ходе которого получают низкочастотный и высокочастотный компоненты матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют квантование и кодирование с пространственным прогнозом, затем к высокочастотному компоненту текущей матрицы применяют квантование, сканирование и кодирование по методу нулевых деревьев, а после этого к предварительным кодам обоих частотных компонентов текущей матрицы применяют энтропийное арифметическое кодирование, после кодирования всех исходных матриц набор полученных кодов передают декодеру, декодером в процессе проведения декодирования изображения для каждой декодируемой цветовой матрицы сначала применяют к полученным кодам энтропийное арифметическое декодирование, в результате чего получают раздельные коды низкочастотного и высокочастотного компонентов матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют декодирование с пространственным прогнозом и деквантование, затем к высокочастотному компоненту текущей матрицы применяют декодирование по методу нулевых деревьев, обратное сканирование и деквантование, после чего по декодированным низкочастотным и высокочастотным компонентам посредством обратного вейвлет-преобразования восстанавливают исходную текущую матрицу изображения, а после декодирования всех цветовых матриц восстанавливают исходное изображение; предусмотрены следующие отличия: после получения изображения его логически разделяют на более мелкие фрагменты одинаковой формы и размера, называемые макроблоками, при этом форму и размеры макроблоков задают предварительно, после формирования исходных цветовых матриц изображения внутри каждого макроблока выбирают по одному опорному пикселу таким образом, чтобы цветовые векторы любых двух опорных пикселов как можно более лучшим образом удовлетворяли бы условию приближенной линейной зависимости цветовых векторов опорных пикселов

ƒ_n1≈λ_n1,n2ƒ_n2

ƒ_n1, ƒ_n2 - цветовые векторы пары опорных пикселов с номерами n1, n2;

λ_n1,n2 - множитель линейной зависимости для указанной пары пикселов;

причем порядок расположения значений цветовых компонентов в векторе ƒ_n1 соответствует порядку расположения цветовых компонентов в векторе ƒ_n2, а алгоритм поиска опорных пикселов и формулу оценки степени линейной зависимости цветовых векторов опорных пикселов выбирают предварительно, далее трем исходным цветовым матрицам изображения ставят в соответствие три опорных матрицы уменьшенного макроблочного формата исходного изображения, значения которых заполняют значениями соответствующих опорных пикселов, далее в каждой опорной матрице находят наименьшее значение, после чего матрицу перезаполняют значениями соответствующих разностей ее исходных элементов и найденного наименьшего значения, далее каждой полученной опорной матрице ставят в соответствие матрицу коэффициентов двумерного дискретного преобразования Фурье, при этом спектр преобразования выбирают предварительно, далее с помощью масштабирования опорных матриц каждой опорной матрице ставят в соответствие масштабируемую матрицу, размеры которой задают предварительно равными размерам исходных цветовых матриц, при этом алгоритм и формулу масштабирования опорных матриц выбирают предварительно, далее из каждой исходной цветовой матрицы вычитают соответствующую ей масштабируемую матрицу и получают соответствующую разностную цветовую матрицу, после этого разностные матрицы обрабатывают стандартным образом, начиная с разделения матрицы на низкочастотную и высокочастотную составляющие посредством вейвлет-преобразования, затем к каждой матрице коэффициентов преобразования Фурье последовательно применяют квантование, зигзагообразное сканирование и кодирование сериями переменной длины, после этого декодеру передают коды разностных матриц, а также коды коэффициентов двумерных преобразований Фурье, декодером по полученным кодам разностных матриц сначала стандартным образом восстанавливают сами разностные матрицы, начиная с энтропийного арифметического декодирования, затем по полученным кодам числовых серий декодируют коэффициенты двумерных преобразований Фурье, при этом к кодам текущего двумерного преобразования Фурье последовательно применяют декодирование серий, обратное сканирование и деквантование, далее при использовании полученных коэффициентов посредством двумерного дискретного преобразования Фурье в декодере восстанавливают опорные матрицы, при этом спектр двумерного преобразования Фурье задают предварительно, таким же, как и в кодере, далее по опорным матрицам аналогично процессу кодирования получают масштабируемые матрицы, после этого декодированные разностные матрицы складывают с соответствующими им масштабируемыми матрицами, в результате чего восстанавливают исходные матрицы изображения, размерности всех одноименных соответствующих матриц в кодере и декодере выбирают равными и задают предварительно, перед кодированием изображения.

Устройство для реализации предложенного способа кодирования-декодирования цифровых видеоизображений состоит из ноутбука «SAMSUNG R530», цифровой web-камеры «hama AC-150», подставки для web-камеры, освещаемого объекта, первичного источника освещения объекта, вторичного источника освещения объекта, разветвителя, источника электричества, съемочной площадки. К ноутбуку 1 подключена цифровая web-камера 2, находящаяся на подставке 3, предназначенная для съемки поверхности объекта 4, освещаемого первичным 5 и вторичным 6 источниками освещения. К разветвителю 7 подключены ноутбук и первичный источник освещения, а сам разветвитель подключен к источнику электричества 8. Все перечисленные выше элементы расположены на съемочной площадке 9. Ноутбук и источники освещения находятся во включенном состоянии, причем на ноутбуке загружено программное обеспечение для проведения сравнительного анализа прототипного и заявляемого способов кодирования-декодирования цифровых видеоизображений. Ноутбук снабжен программным обеспечением, позволяющим осуществлять заявляемый способ в отдельности, а также осуществлять эксперимент по проведению сравнительного анализа моделей видеокодеков (кодер и декодер) на базах прототипного и заявляемого способов. В эксперименте по сравнению двух моделей видеокодеков обрабатывается один и тот же кадр, получаемый программно с web-камеры и принимаемый в качестве входного изображения. Чувствительность web-камеры, а также расстояния от съемочного объекта до источников освещения подобраны таким образом, чтобы для всех цветовых компонентов всех пикселов входного изображения их относительные значения яркости не превышали бы значения дискретного максимума в 254 отн. ед. яркости при программном представлении каждого цветового компонента 1-им байтом, то есть, чтобы в изображении не было «засветки». Эксперимент устроен следующим образом: сначала изображение записывается и обрабатывается моделью видеокодека на базе прототипного способа, при этом в памяти ноутбука сохраняется обрабатываемое изображение, после чего сохраненное изображение обрабатывается моделью видеокодека на базе заявляемого способа. Все параметры и технические характеристики перечисленных выше конструктивных элементов, параметры модели видеокодека на базе заявляемого способа, а также параметры и схемы сравниваемых моделей видеокодеков, реализующих прототипный и заявляемый способы кодирования-декодирования изображений, при прочих равных условиях и параметрах, представлены в таблицах (Таблица 1) и (Таблица 2) и на фигурах (ФИГ. 1, ФИГ. 2, ФИГ. 3).

Описанный выше способ кодирования-декодирования цифровых видеоизображений осуществляется следующим образом: на ноутбуке запускают программный вариант по осуществлению заявляемого способа в отдельности или эксперимент по проведению сравнительного анализа моделей видеокодеков на базах прототипного и заявляемого способов нажатием соответствующей кнопки. После этого ожидают окончания обработки изображения и вывода на экран результатов осуществления заявляемого способа в отдельности, либо результатов эксперимента по сравнению моделей видеокодеков, использующих прототипнй и заявляемый способы.

Наличие причинно-следственной связи между совокупностью существенных признаков заявляемого объекта и достигаемым техническим результатом показано в таблице 3. Табличные данные основаны на результатах экспериментов по сравнительному анализу моделей видеокодеков на базах прототипного и заявляемого способов.

Согласно результатам экспериментальных данных предложенный способ кодирования декодирования обеспечивает повышение коэффициента компрессии цифровых видеоизображений примерно на 5-15% при незначительном снижении качества декодированного изображения в среднем на 0,5-1%.

Техническая сущность заявляемого технического решения поясняется следующими дополнительными материалами.

ФИГ. 1. Структурная схема устройства для реализации прототипного и заявляемого способов.

ФИГ. 2. Функциональная схема кодера в устройстве для реализации прототипного способа.

ФИГ. 3. Функциональная схема кодера в устройстве для реализации заявляемого способа.

ФИГ. 4. Экспериментальное видеоизображение.

ФИГ. 5. Бинарная маска высокочастотного яркостного компонента вейвлет-преобразования при кодировании исходной матрицы изображения с применением прототипного способа.

ФИГ. 6. Пример задания опорных точек аппроксимации неоднородного компонента освещения в заявляемом способе.

ФИГ. 7. Бинарная маска высокочастотного яркостного компонента вейвлет-преобразования при кодировании разностной матрицы изображения с применением заявляемого способа.

ФИГ. 8. Схема экспериментальной установки для сравнения эффективностей работы видеоеодеков на базах прототипного и заявляемого способов.

ФИГ. 9. Снимок экспериментальной установки для сравнения эффективностей работы видеоеодеков на базах прототипного и заявляемого способов.

Объяснение необходимости введения совокупности указанных отличительных признаков состоит в следующем. Известно, что высокая эффективность вейвлет-преобразования, с точки зрения сжатия информации, достигается главным образом за счет кодирования высокочастотного компонента вейвлет-преобразования, матрицы которого содержат значительное количество нулевых значений. Исходя из этого, напротив, наличие значительного количество ненулевых элементов в матрицах этого компонента крайне нежелательно и обуславливается, в общем случае, либо резкими изменениями цветовых свойств поверхностных узоров освещаемых объектов (внутренний фактор), либо неравномерным характером освещения этих объектов (внешний фактор), либо и тем, и тем в совокупности. Так, например, бинарная маска высокочастотного компонента яркостного сигнала ФИГ. 5, полученная в ходе обработки изображения, показанного на ФИГ. 4, при использовании прототипного способа кодирования, показывает, что даже после квантования элементов указанного компонента, его матрица содержит много ненулевых значений (отмечены на маске белым цветом). То же самое справедливо и для матриц цветовых компонентов низкочастотной составляющей изображения. Суть введенных изменений преследует цель искусственно разделить исходное изображение на так называемые однородную (обусловленную в большей степени первичным далеким источником освещения) и неоднородную (обусловленную в большей степени близким вторичным источником освещения) составляющие, так как показано на ФИГ. 3, в отличие от схемы на ФИГ. 2. При этом однородная составляющая, представляемая разностной матрицей, не содержит резких изменений сигнала в рамках изображения, и потому, будучи закодированной стандартным образом с помощью вейвлет-преобразования занимает много меньший объем кода нежели исходное изображение (для сравнения бинарная маска яркостного компонента этой однородной составляющей показана на ФИГ. 7). Вторая же часть, представляемая коэффициентами преобразования, и вовсе кодируется небольшими матрицами коэффициентов двумерного преобразования Фурье. Аппроксимация неоднородной составляющей изображения ведется именно с применением двумерного преобразования Фурье, поскольку в этом случае имеется дополнительная возможность закодировать кодами серий переменной длины еще и сами эти матрицы коэффициентов, учитывая, что в правых нижних углах этих матриц скапливается большое количество нулевых значений. Для получения более «сильного» технического эффекта, во-первых, необходимо использовать изображения небольших форматов, поскольку при кодировании именно таких изображений сильнее проявляется недостаток вейвлет преобразования при неоднородности внешнего освещения. Второе условие состоит собственно в наличии неоднородного характера внешнего освещения видеосцены, и, в общем случае, чем выше неоднородность этого освещения, тем сильнее указанный технический эффект заявляемого способа. Третье и последнее ограничение, состоит в том, что в изображении необходим фоновый объект, проекция которого занимает значительную площадь изображения, это необходимо, для того, чтобы лучше выявить опорные точки, то есть узлы аппроксимации неоднородной составляющей освещения. В общем случае, согласно экспериментальным данным, чем лучше выполняются данные условия, тем сильнее проявляется технический эффект сжатия изображения.

Технико-экономическое обоснование заявляемого способа состоит в том, что при его применении возможно хранение большего количества изображений при тех же объемах памяти, а значит, в общем случае можно сэкономить на количестве таких запоминающих устройств при прочих равных условиях. Еще одно экономически-выгодное применение предложенного способа состоит в его использовании в рамках кодирования кадровых видеопотоков с целью обработки предложенным способом опорных кадров этих потоков (цифровое телевидение, интернет- общение в режиме on-line). К указанным кадрам при обработке видео не применяется компенсация движения и они кодируются как статические изображения. Как следствие их коды занимают больший объем памяти, нежели прогнозируемые кадры, а на передачу этих кодов на расстояние затрачивается больше энергии. Предложенный способ может снизить объемы кодов таких опорных кадров, и как следствие, снизить энергетические затраты на их передачу посредством радиосвязи.

Изобретение относится к области цифровой обработки сигналов. Технический результат заключается в повышении коэффициента компрессии цифровых статических видеоизображений при незначительном снижении качества декодированного изображения, применительно к изображениям небольших форматов при неоднородном характере внешнего освещения видеосцены, содержащей фоновый объект, проекция которого занимает значительную площадь изображения. Технический результат достигается за счет того, что в процессе кодирования изображение разделяется на две составляющие, в том числе на удобную для вейвлет-преобразования однородную составляющую, учитывающую освещение видеосцены далекими источниками освещения, а также на удобную для представления коэффициентами двумерного преобразования Фурье неоднородную составляющую, характеризующую главным образом неравномерность освещения, обусловленную близкими источниками освещения видеосцены, после чего однородный компонент изображения представляется разностными матрицами соответствующих исходных сигналов и выделенной неравномерной составляющей и кодируется с применением вейвлет-преобразования, а неоднородный компонент представляется матрицами коэффициентов и кодируется на основе двумерного преобразования Фурье. 9 ил.

Способ кодирования-декодирования цифровых статических видеоизображений, состоящий в следующем, при кодировании каждого очередного изображения кодером опрашивают датчик цветного изображения, далее полученное изображение представляют тремя исходными цветовыми матрицами, соответствующими красному, зеленому и синему цветовым компонентам изображения, после чего сохраняют исходные цветовые матрицы в памяти кодера, затем к каждой исходной цветовой матрице применяют вейвлет-преобразование, в ходе которого получают низкочастотный и высокочастотный компоненты матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют квантование и кодирование с пространственным прогнозом, затем к высокочастотному компоненту текущей матрицы применяют квантование, сканирование и кодирование по методу нулевых деревьев, а после этого к предварительным кодам обоих частотных компонентов текущей матрицы применяют энтропийное арифметическое кодирование, после кодирования всех исходных матриц набор полученных кодов передают декодеру, декодером в процессе проведения декодирования изображения для каждой декодируемой цветовой матрицы сначала применяют к полученным кодам энтропийное арифметическое декодирование, в результате чего получают раздельные коды низкочастотного и высокочастотного компонентов матрицы, после чего к низкочастотному компоненту текущей матрицы последовательно применяют декодирование с пространственным прогнозом и деквантование, затем к высокочастотному компоненту текущей матрицы применяют декодирование по методу нулевых деревьев, обратное сканирование и деквантование, после чего по декодированным низкочастотным и высокочастотным компонентам посредством обратного вейвлет-преобразования восстанавливают исходную текущую матрицу изображения, а после декодирования всех цветовых матриц восстанавливают исходное изображение, отличающийся тем, что после получения изображения его логически разделяют на более мелкие фрагменты одинаковой формы и размера, называемые макроблоками, при этом форму и размеры макроблоков задают предварительно, после формирования исходных цветовых матриц изображения внутри каждого макроблока выбирают по одному опорному пикселу таким образом, чтобы цветовые векторы любых двух опорных пикселов как можно более лучшим образом удовлетворяли бы условию приближенной линейной зависимости цветовых векторов опорных пикселов

, - цветовые векторы пары опорных пикселов с номерами n1, n2;

λ_n1,_n2 - множитель линейной зависимости для указанной пары пикселов;

причем порядок расположения значений цветовых компонентов в векторе соответствует порядку расположения цветовых компонентов в векторе , а алгоритм поиска опорных пикселов и формулу оценки степени линейной зависимости цветовых векторов опорных пикселов выбирают предварительно, далее трем исходным цветовым матрицам изображения ставят в соответствие три опорных матрицы уменьшенного макроблочного формата исходного изображения, значения которых заполняют значениями соответствующих опорных пикселов, далее в каждой опорной матрице находят наименьшее значение, после чего матрицу перезаполняют значениями соответствующих разностей ее исходных элементов и найденного наименьшего значения, далее каждой полученной опорной матрице ставят в соответствие матрицу коэффициентов двумерного диркретного преобразования Фурье, при этом спектр преобразования выбирают предварительно, далее с помощью масштабирования опорных матриц каждой опорной матрице ставят в соответствие масштабируемую матрицу, размеры которой задают предварительно равными размерам исходных цветовых матриц, при этом алгоритм и формулу масштабирования опорных матриц выбирают предварительно, далее из каждой исходной цветовой матрицы вычитают соответствующую ей масштабируемую матрицу и получают соответствующую разностную цветовую матрицу, после этого разностные матрицы обрабатывают стандартным образом, начиная с разделения матрицы на низкочастотную и высокочастотную составляющие посредством вейвлет-преобразования, затем к каждой матрице коэффициентов преобразования Фурье последовательно применяют квантование, зигзагообразное сканирование и кодирование сериями переменной длины, после этого декодеру передают коды разностных матриц, а также коды коэффициентов двумерных преобразований Фурье, декодером по полученным кодам разностных матриц сначала стандартным образом восстанавливают сами разностные матрицы, начиная с энтропийного арифметического декодирования, затем по полученным кодам числовых серий декодируют коэффициенты двумерных преобразований Фурье, при этом к кодам текущего двумерного преобразования Фурье последовательно применяют декодирование серий, обратное сканирование и деквантование, далее при использовании полученных коэффициентов посредством двумерного дискретного преобразования Фурье в декодере восстанавливают опорные матрицы, при этом спектр двумерного преобразования Фурье задают предварительно, таким же, как и в кодере, далее по опорным матрицам аналогично процессу кодирования получают масштабируемые матрицы, после этого декодированные разностные матрицы складывают с соответствующими им масштабируемыми матрицами, в результате чего восстанавливают исходные матрицы изображения, размерности всех одноименных соответствующих матриц в кодере и декодере выбирают равными и задают предварительно, перед кодированием изображения.