Способы и устройство сжатия изображений. Способ и устройство восстановления изображений Российский патент 2018 года по МПК H04N19/85 H04N19/59 H04N19/132 H04N19/174 

1. Область техники, к которой относится изобретение

Изобретение относится к способам сжатия и восстановления видеоизображений с целью их хранения и передачи, которые могут быть использованы как совместно с широко используемыми способами сжатия, описанными в стандартах Н.263, H.264/AVC, H.265/HEVC, SHVC, так и независимо от них.

2. Уровень техники

В самых популярных современных форматах передачи и хранения видеоданных Н.263, H.264/AVC, H.265/HEVC, SHVC фирмы Toshiba, (описанные, например в (Андрейко Д.Н. Комаров П.Ю. Игнатов Ф.М. Основные методы сжатия данных в передаче цифровых видеоизображений URL: http://cyberleninka.ru/article/n/osnovnye-metody-szhatiya-dannyh-v-peredache-tsifrovyh-videoizobrazheniy (дата обращения 12.04.2017); Дворкович В.П., Дворкович А.В., Грызов Г.Ю. Новые возможности стандарта видеокодирования HEVC // Цифровая обработка сигналов, 2013, №3. С. 2-8; Будик A. Toshiba SHVC: эффективная конвертация HD в 4K // 3D News, 2014. URL: https://3dnews.ru/905806 (дата обращения 20.02.2017))) применяется не одна технология сжатия, а используется так называемый гибридный подход, использующий сочетание ряда процедур, таких как, разбиение на блоки, вычисление межкадровых разностей, внутри- и межкадровое предсказание, компенсация движения, различные модификации дискретного косинусного преобразования, квантование и др.

Дальнейшее увеличение степени сжатия в рамках гибридного подхода возможно только путем совершенствования и оптимизации применяемых в нем алгоритмов, возможности которых на сегодняшний день ограничены достигнутой степенью сжатия и практически исчерпаны. Кроме того, Реализация таких алгоритмов в реальном времени требует дорогостоящего оборудования, что бывает не всегда приемлемо, например, для промышленного телевидения, ввиду дороговизны и высоких требований, предъявляемых к простоте обслуживания и к стабильности параметров в жестких условиях применения.

Предлагаемое изобретение представляет собой сравнительно простой способ сжатия изображений и комплементарный ему способ восстановления изображений, обеспечивающие дополнительное к возможностям вышеупомянутых стандартизованных способов сжатия видеоинформации сжатие в четыре раза с возможностью ее последующего восстановления в реальном масштабе времени.

В качестве прототипа предлагаемого изобретения могут быть использованы способ и устройство описанные в заявке на изобретение «Устройство и способ обработки изображений» (Заявка RU 2012141996, H04N 19/50, от 31.03.2011). Причем описанные в упомянутой заявке устройство и способ сжатия отличаются, среди прочего, тем, что в упомянутом устройстве имеется модуль выборки, выполняющий сжатие исходного изображения методом передискретизации с помощью прореживания значений пикселей сжимаемого изображения, а упомянутый способ предусматривает операцию передискретизации сжимаемого изображения с помощью прореживания значений пикселей в пределах одного кадра сжимаемых видеоданных, выполняемую с помощью вышеописанного модуля выборки. Также, описанные в упомянутой и взятой в качестве прототипа заявке на изобретение устройство и способ восстановления изображений отличаются тем, что упомянутое устройство содержит модуль реконструирования, выполненный с возможностью интерполяции с использованием значений пикселей, выбранных посредством вышеупомянутого модуля выборки, а упомянутый способ предусматривает операцию интерполяции с использованием выбранных значений пикселей для реконструирования соседних пикселей, выполняемую с помощью вышеописанного модуля реконструирования.

Преимуществами предлагаемых способа и устройства сжатия, а равно и предлагаемых способа и устройства восстановления являются независимость указанных устройств и способов, которые могут применяться как самостоятельно, так и в комбинации с уже известными способами и устройствами, а также меньший объем накладных вычислений, связанных с выполнением операции определения способа выборки, предусмотренной в прототипе, а также передачей ее модулю реконструирования.

3. Раскрытие изобретения

Предлагаемый способ сжатия видеоизображений и предлагаемый способ восстановления видеоизображений основаны на частотном уплотнении видеосигнала за счет их передискретизации с целью достижения такой дискретизации движущихся изображений, которая была бы близка к оптимальной.

Техническим результатом предлагаемого изобретения является четырехкратное сжатие видеопоследовательности за счет двукратного уменьшения пиксельного размера и разрешающей способности видеокадров по горизонтальной и вертикальной пространственным координатам, а также восстановление пиксельного размера и разрешающей способности сжатых видеокадров с крайне незначительными для глаза наблюдателя потерями за счет двукратного увеличения пиксельного размера сжатых видеокадров.

Предлагаемый способ сжатия и восстановления видеоизображений основан на частотном уплотнении видеосигнала за счет применения оптимальной дискретизации движущихся изображений. Движущиеся изображения представляют собой сообщение х(n₁, n₂, n₃), являющееся функцией, как минимум, трех координат: пространственных координат (горизонтальной n₁ и вертикальной n₂) и временной координаты n₃. Задача оптимальной дискретизации таких сообщений заключается в их передискретизации с целью получения предельно плотной укладки трехмерного дискретного спектра S(ν₁, ν₂, ν₃) рассматриваемого сообщения х(n₁, n₂, n₃) в частотном пространстве {ν₁, ν₂, ν₃}, где ν₁, ν₂, ν₃ - соответствующие нормированные относительно своих верхних значений пространственные горизонтальные, вертикальные и временные частоты.

При восстановлении движущихся изображений по их дискретным отсчетам из полного спектра дискретизированного изображения выделяют основной спектр и подавляют побочные составляющие с помощью пространственно-временного восстанавливающего трехмерного интерполяционного фильтра нижних частот. Такой подход оказывается возможным благодаря использованию анизотропии свойств источника и получателя изображений, вследствие чего область пропускания D₀ восстанавливающего трехмерного интерполяционного фильтра нижних частот должна иметь форму октаэдра.

Передискретизация видеокадров для сжатия может быть осуществлена с помощью прореживания пикселей исходных видеокадров, которая может быть осуществлена несколькими различными путями. Согласно первому пути из нечетных кадров исключаются нечетные столбцы и строки, а из четных кадров - четные столбцы и строки. Согласно второму пути из нечетных кадров исключаются четные столбцы и строки, а из четных - нечетные столбцы и строки. Согласно третьему пути из нечетных кадров - нечетные столбцы и четные строки, а из четных - четные столбцы и нечетные строки. Согласно четвертому пути из нечетных кадров - четные столбцы и нечетные строки, а из четных - нечетные столбцы и четные строки.

Оставшиеся пиксели образуют пространственно-временную так называемую треугольную решетку значений яркости пикселей сжимаемого изображения. При этом достигается четырехкратное сжатие последовательности видеокадров за счет двукратного уменьшения пиксельного размера и разрешающей способности по горизонтальной и вертикальной пространственным координатам.

Передискретизация видеокадров для сжатия может быть также осуществлена с помощью усреднения значений яркостей пикселей сжимаемых изображений по областям размерностью 2×2 пикселя. Причем выделение областей усреднения значений яркости пикселей в соседних кадрах выполняют со сдвигом на один пиксель по диагонали. Указанная операция может быть выполнена четырьмя различными путями. Согласно первому пути в нечетных кадрах выполнение усреднения начинают с четных столбцов и строк, а в четных кадрах - с нечетных столбцов и строк. Согласно второму пути в нечетных кадрах выполнение усреднения начинают с нечетных столбцов и строк, а в четных кадрах - с четных столбцов и строк. Согласно третьему пути в нечетных кадрах выполнение усреднения начинают с четных столбцов и нечетных строк, а в четных кадрах - с нечетных столбцов и четных строк. Согласно четвертому пути в нечетных кадрах выполнение усреднения начинают с нечетных столбцов и четных строк, а в четных кадрах - с четных столбцов и нечетных строк.

В этом случае также происходит четырехкратное сжатие видеопоследовательности с пространственно-временной треугольной структурой дискретизации получаемых значений яркостей пикселей.

Устройство сжатия изображений, осуществляющее один из описанных способов, отличается тем, что содержит модуль передискретизации, вход которого подключен ко входу указанного устройства, осуществляющий передискретизацию видеоизображений поступающей на вход указанного устройства последовательности в соответствии с одним из описанных выше путей.

Восстановление кадров видеопоследовательности, сжатых одним из указанных выше путей, осуществляют с помощью операции интерполяции с использованием значений яркостей пикселей сжатых изображений, выполняемой следующим образом.

Нечетные и четные кадры сжатой последовательности видеоизображений увеличивают путем введения в их матричную структуру нулевых столбцов и строк, соответствующих исключенным при сжатии столбцам и строкам.

При этом если при сжатии исключались из нечетных кадров нечетные столбцы и строки, а из четных кадров четные столбцы и строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с четных столбцов и строк, а в четных кадрах, начиная с нечетных столбцов и строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нечетных нулевых столбцов и строк, а в четные кадры, соответственно, четных нулевых столбцов и строк.

Если при сжатии исключались из нечетных кадров четные столбцы и строки, а из четных кадров - нечетные столбцы и строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с нечетных столбцов и строк, а в четных кадрах, начиная с четных столбцов и строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры четных нулевых столбцов и строк, а в четные кадры, соответственно, нечетных нулевых столбцов и строк.

Если при сжатии исключались из нечетных кадров нечетные столбцы и четные строки, а из четных кадров - четные столбцы и нечетные строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с четных столбцов и нечетных строк, а в четных кадрах, начиная с нечетных столбцов и четных строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых нечетных столбцов и четных строк, а в четные кадры, соответственно, нулевых четных столбцов и нечетных строк.

Если при сжатии исключались из нечетных кадров четные столбцы и нечетные строки, а из четных кадров - нечетные столбцы и четные строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с нечетных столбцов и четных строк, а в четных кадрах, начиная с четных столбцов и нечетных строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых четных столбцов и нечетных строк, а в четные кадры, соответственно, нулевых нечетных столбцов и четных строк.

Таким образом значения яркостей пикселей восстанавливаемых сжатых кадров перемежают нулевыми столбцами и строками так что в любых двух соседних кадрах формируется пространственно-временная решетка с треугольной дискретизацией. После чего производят формирование выходной последовательности восстановленных видеоизображений путем последовательного считывания данных каждого увеличенного нечетного и соответствующего увеличенного четного кадров, при этом снимаемые выходные сигналы обрабатывают с помощью пространственно-временного восстанавливающего трехмерного интерполяционного фильтра нижних частот с областью пропускания в виде октаэдра.

Согласованная со спектрами реальных видеоизображений и с пространственно-частотной характеристикой зрения область пропускания восстанавливающего трехмерного интерполяционного фильтра нижних частот в виде октаэдра позволяет при восстановлении движущихся изображений по дискретным отсчетам наилучшим образом выделять из дискретного спектра основной спектр изображения и подавлять побочные составляющие и высокочастотные шумы.

Устройство восстановления изображений, осуществляющее описанный способ, содержит модуль реконструирования и отличается тем, что, указанный модуль включает в себя субмодуль увеличения размеров входящих видеоизображений, осуществляющий восстановление размера сжатых изображений одним из описанных выше путей в соответствии с использованным ранее способом сжатия и путем его выполнения, и субмодуль трехмерного интерполяционного фильтра нижних частот, осуществляющий восстановление сжатых изображений увеличенного размера. Причем для формирования трехмерной области пропускания упомянутого восстанавливающего трехмерного интерполяционного фильтра нижних в виде октаэдра применяется комбинированная структура, представляющая собой каскадное включение трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев. При этом указанные субмодули в составе описываемого модуля реконструирования подключены так, что вход субмодуля увеличения размеров подключен ко входу указанного модуля, а выход - ко входу субмодуля трехмерного интерполяционного фильтра нижних частот, а выход субмодуля трехмерного интерполяционного фильтра нижних частот подключен к выходу упомянутого модуля.

Предлагаемое изобретение позволяет в четыре раза сжимать и практически без потерь для наблюдателя восстанавливать видеоизображения в реальном масштабе времени и может найти применение в различных областях обработки изображений, в том числе в системах кодирования и сжатия видеоизображений, техническом зрении, а также при передаче и хранении видеоизображений в компьютерных сетях. Предлагаемое изобретение может использоваться как самостоятельно, так и в сочетании с другими методами кодирования видеоизображений.

4. Краткое описание чертежей

Изобретение поясняется чертежами где:

Фиг. 1 - сжатие последовательности видеокадров методом передискретизации с помощью прореживания пикселей. Фигура включает в себя следующие изображения, соответствующие различным путям выполнения операции прореживания:

а - для пути, когда из нечетных кадров исключаются нечетные столбцы и строки, а из четных кадров - четные столбцы и строки;

б - для пути, когда из нечетных кадров исключаются четные столбцы и строки, а из четных - нечетные столбцы и строки;

в - для пути, когда из нечетных кадров исключаются нечетные столбцы и четные строки, а из четных - четные столбцы и нечетные строки;

г - для пути, когда из нечетных кадров исключаются четные столбцы и нечетные строки, а из четных - нечетные столбцы и четные строки);

Фиг. 2 - сжатие последовательности видеокадров методом передискретизации с помощью усреднения областей пикселей размером 2×2 со сдвигом на один пиксель по диагонали в соседних кадрах. Фигура включает в себя следующие изображения, соответствующие различным путям выполнения операции усреднения:

а - для пути, когда в нечетных кадрах усреднение начинается с четных столбцов и строк, а в четных кадрах - с нечетных столбцов и строк;

б - для пути, когда в нечетных кадрах усреднение начинается с нечетных столбцов и строк, а в четных кадрах - с четных столбцов и строк;

в - для пути, когда в нечетных кадрах усреднение начинается с четных столбцов и нечетных строк, а в четных кадрах - с нечетных столбцов и четных строк;

г - для пути, когда в нечетных кадрах усреднение начинается с нечетных столбцов и четных строк, а в четных кадрах - с четных столбцов и нечетных строк);

Фиг. 3 - схема восстановления кадров видеопоследовательности в соответствии с исключенными при сжатии столбцами и строками. Фигура включает в себя следующие изображения, соответствующие различным путям выполнения операции восстановления:

а - когда размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нечетных нулевых столбцов и строк, а в четные кадры соответственно четных нулевых столбцов и строк;

б - когда размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры четных нулевых столбцов и строк, а в четные кадры соответственно нечетных нулевых столбцов и строк;

в - когда размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых нечетных столбцов и четных строк, а в четные кадры соответственно нулевых четных столбцов и нечетных строк;

г - когда размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых четных столбцов и нечетных строк, а в четные кадры соответственно нулевых нечетных столбцов и четных строк);

Фиг. 4 - результирующая пространственно-частотная характеристика восстанавливающего трехмерного интерполяционного фильтра нижних частот в виде поверхности уровня K(ν₁, ν₂, ν₃)=0,8 для положительного октанта трехмерной области нормированных частот {ν₁, ν₂, ν₃};

Фиг. 5 - структурная схема восстанавливающего трехмерного интерполяционного фильтра нижних частот;

Фиг. 6 - сравнительные фрагменты исходного видеокадра размером 1024×1024 пикселей видеопоследовательности формата 4К UHD в исходном и сжатом виде. Фигура включает в себя следующие изображения:

а - фрагмент видеокадра размером 1024×1024 пикселей исходной видеопоследовательности формата 4К UHD;

б - сжатый в четыре раза путем прореживания пикселей фрагмент исходного видеокадра, изображенный на Фиг. 6, а;

в - сжатый в четыре раза путем программного усреднения областей пикселей размером 2×2 фрагмент исходного видеокадра, изображенный на Фиг. 6, а.

Фиг. 7 - фрагменты видеокадра сверхвысокой четкости, восстановленные с помощью восстанавливающего трехмерного интерполяционного фильтра нижних частот. Фигура включает в себя следующие изображения:

а - фрагмент восстановленный с помощью восстанавливающего трехмерного интерполяционного фильтра нижних частот по последовательности кадров сжатых путем прореживания значений пикселей исходных видеокадров;

б - фрагмент восстановленный с помощью восстанавливающего трехмерного интерполяционного фильтра нижних частот по последовательности кадров сжатых путем усреднения значений яркости пикселей по областям размерностью 2×2 пикселя.

5. Осуществление изобретения

Предлагаемые способы и устройства могут быть осуществлены следующим образом.

Раскрытые выше способы передискретизации сжимаемых изображений, реализуемые различными путями либо с помощью прореживания пикселей исходных видеокадров, либо с помощью усреднения значения яркостей пикселей сжимаемых изображений по областям размерностью 2×2 пикселя, могут быть осуществлены в различных формах, как программных, так и аппаратных, с помощью устройства сжатия изображений, также раскрытого выше. Причем указанное устройство может быть осуществлено либо в конструктивно законченном виде, как самостоятельное устройство, либо как элемент системы сжатия изображений, работающей на основе одного из стандартизованных форматов (Н.263, H.264/AVC, H.265/HEVC, SHVC и др.).

Основным элементом указанного устройства будет являться модуль передискретизации, вход которого подключен ко входу устройства, а выход - либо к выходу устройства (в случае, когда предлагаемое устройство осуществляется в конструктивно законченном виде), либо ко входу следующей цепочки модулей, осуществляющей какой-либо из стандартизованных алгоритмов сжатия (в том случае если предлагаемое устройство сжатия используется как элемент системы сжатия изображений).

Указанный модуль передискретизации, в зависимости от осуществляемого способа сжатия изображений из состава описанных выше, осуществляет либо прореживание значений пикселей сжимаемых видеоизображений, причем прореживание осуществляется либо путем исключения из нечетных кадров нечетных столбцов и строк, а из четных кадров - четных столбцов и строк (фиг. 1,а); либо путем исключения из нечетных кадров - четных столбцов и строк, а из четных кадров - нечетных столбцов и строк (фиг. 1,б); либо путем исключения из нечетных кадров - нечетных столбцов и четных строк, а из четных кадров - четных столбцов и нечетных строк (фиг. 1,в); либо путем исключения из нечетных кадров - четных столбцов и нечетных строк, а из четных кадров - нечетных столбцов и четных строк (фиг. 1,г), либо усреднение значений яркостей пикселей сжимаемых изображений по областям размерностью 2×2 пикселя, причем в соседних кадрах усреднение областей пикселей должно осуществляться со сдвигом на один пиксель по диагонали за счет того, что в нечетных кадрах, усреднение начинается с четных столбцов и строк, а в четных кадрах - с нечетных столбцов и строк (фиг. 2,а); или в нечетных кадрах - с нечетных столбцов и строк, а в четных кадрах - с четных столбцов и строк (фиг. 2,б); или в нечетных кадрах - с четных столбцов и нечетных строк, а в четных кадрах - с нечетных столбцов и четных строк (фиг. 2,в); или в нечетных кадрах - с нечетных столбцов и четных строк, а в четных кадрах - с четных столбцов и нечетных строк (фиг. 2,г).

Осуществление раскрытого выше способа восстановления изображений может быть выполнено с помощью устройства восстановления изображений, также раскрытого выше.

Указанное устройство содержит модуль реконструирования включающий в себя субмодуль увеличения размеров входящих видеоизображений, осуществляющий восстановление размера сжатых изображений одним из описанных выше путей в соответствии с использованным ранее способом сжатия и путем его выполнения, и субмодуль трехмерного интерполяционного фильтра нижних частот, осуществляющий восстановление сжатых изображений увеличенного размера с трехмерной областью пропускания в виде октаэдра.

При этом указанные субмодули в составе описываемого модуля реконструирования подключены так, что вход субмодуля увеличения размеров подключен ко входу указанного модуля, а выход - ко входу субмодуля трехмерного интерполяционного фильтра нижних частот, а выход субмодуля трехмерного интерполяционного фильтра нижних частот подключен к выходу упомянутого модуля.

Основной функцией субмодуля увеличения размеров входящих видеоизображений является увеличение сжатых кадров видеопоследовательности путем введения в их матричную структуру нулевых столбцов и строк, соответствующих исключенным при сжатии столбцам и строкам.

При этом, если при сжатии исключались из нечетных кадров нечетные столбцы и строки, а из четных кадров четные столбцы и строки (фиг. 1,а) или если производилось усреднение значений яркостей пикселей по областям размерностью 2×2 пикселя в нечетных кадрах, начиная с четных столбцов и строк, а в четных кадрах, начиная с нечетных столбцов и строк (фиг. 2,а), то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нечетных нулевых столбцов и строк, а в четные кадры соответственно четных нулевых столбцов и строк (фиг. 3,а). Если при сжатии исключались из нечетных кадров четные столбцы и строки, а из четных кадров - нечетные столбцы и строки (фиг. 1,б) или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с нечетных столбцов и строк, а в четных кадрах, начиная с четных столбцов и строк (фиг. 2,б), то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры четных нулевых столбцов и строк, а в четные кадры соответственно нечетных нулевых столбцов и строк (фиг. 3,б). Если при сжатии исключались из нечетных кадров нечетные столбцы и четные строки, а из четных кадров - четные столбцы и нечетные строки (фиг. 1,в) или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с четных столбцов и нечетных строк, а в четных кадрах, начиная с нечетных столбцов и четных строк (фиг. 2,в), то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых нечетных столбцов и четных строк, а в четные кадры соответственно нулевых четных столбцов и нечетных строк (фиг. 3,в). Если при сжатии исключались из нечетных кадров четные столбцы и нечетные строки, а из четных кадров - нечетные столбцы и четные строки (фиг. 1,г) или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с нечетных столбцов и четных строк, а в четных кадрах, начиная с четных столбцов и нечетных строк (фиг. 2,г), то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых четных столбцов и нечетных строк, а в четные кадры соответственно нулевых нечетных столбцов и четных строк (фиг. 3,г).

Для осуществления вышеописанного трехмерного интерполяционного фильтра может быть использована комбинированная структура, представляющая собой каскадное включение трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев. При данном способе осуществления пространственно-частотная характеристика восстанавливающего трехмерного интерполяционного фильтра нижних частот K(ν₁, ν₂, ν₃) будет иметь вид:

где K[ν₃, ϕ₃(ν₁, ν₂)], K[ν₂, ϕ₂(ν₁)], K(ν₁) - соответственно пространственно-частотные характеристики трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев.

При этом конфигурация области пропускания восстанавливающего трехмерного интерполяционного фильтра нижних частот в виде октаэдра в направлении временных частот ν₃ формируется трехмерным рекурсивно-нерекурсивным звеном, содержащем память на кадр :

где

представляет собой пространственно-частотную характеристику двумерной нерекурсивной цепи обратной связи;

w_p - полюс аналогового фильтра-прототипа.

Конфигурация области пропускания восстанавливающего трехмерного интерполяционного фильтра нижних частот в плоскости пространственных частот изображения {ν₁, ν₂} формируется двумерным рекурсивно-нерекурсивным звеном, содержащем память на строку

где

представляет собой пространственно-частотную характеристику одномерной нерекурсивной цепи обратной связи.

Частота среза восстанавливающего трехмерного интерполяционного фильтра нижних частот в направлении частот ν₁ формируется одномерным рекурсивно-нерекурсивным звеном, содержащем память на элемент строки :

где коэффициент цепи обратной связи β вычисляется по формуле

Описанный фильтр может быть осуществлен как программным, например в виде процессора цифровой обработки сигналов с соответствующим программным обеспечением, так и аппаратным путем, например на базе программируемой логической интегральной схемы (ПЛИС).

Для получения практически реализуемой структуры восстанавливающего трехмерного интерполяционного фильтра нижних частот зададимся Чебышевским одномерным аналоговым прототипом, имеющим один вещественный полюс w_p=-1,9652267 при неравномерности частотной характеристики в полосе пропускания δ=1 дБ, примем a=0,8 и аппроксимируем выражения (3) и (5) соответствующими тригонометрическими рядами:

При этом, согласно формуле (7) β=-0,716. Коэффициент γ из соображений устойчивости выбирается равным 0,81.

На фиг. 4 показана результирующая пространственно-частотная характеристика восстанавливающего трехмерного интерполяционного фильтра нижних частот в виде поверхности уровня K(ν₁, ν₂, ν₃)=0,8 для положительного октанта трехмерной области нормированных частот {ν₁, ν₂, ν₃}

Для цолучения передаточной функции восстанавливающего трехмерного интерполяционного фильтра нижних частот по формуле (1) в виде, пригодном для реализации, на основании формулы Эйлера e^jπν=cosπν+jsinπν заменяется, где z=е^jπν представляет собой z-преобразование на единичной окружности. При этом можно получить передаточную функцию восстанавливающего трехмерного интерполяционного фильтра нижних частот в виде:

где

представляют собой память на кадр видеоизображения,

и z₂ - память на строку видеоизображения,

и z₁ - память на элемент строки видеоизображения.

На фиг. 5 изображен пример осуществления восстанавливающего трехмерного интерполяционного фильтра нижних частот (10).

На вход фильтра нижних частот поступает последовательность сжатых нечетных х₁(n₁, n₂) и четных х₂(n₁, n₂) видеокадров, увеличенных нулевыми столбцами и строками в соответствии с исключенными при сжатии столбцами и строками. Восстановление (интерполяция) пикселей осуществляется с помощью каскадно включенных трехмерного рекурсивно-нерекурсивного звена H[z₃, ϕ(z₁, z₂)], содержащего память на кадр , двумерного рекурсивно-нерекурсивного звена H[z₂, ϕ(z₁)], содержащего память на строку , и одномерного рекурсивно-нерекурсивного звена H(z₁), содержащего память на элемент строки .

В трехмерном звене значение текущего элемента строки (пикселя) текущего кадра (например, х₂) по цепи рекурсивной обратной связи складывается в сумматоре Σ1 с нерекурсивно взвешенными в соответствии с выражением (11) двумя предыдущими элементами двух предыдущих строк, двумя соответствующими элементами двух предыдущих строк, двумя предыдущими элементами соответствующей строки и соответствующим элементом соответствующей строки предыдущего (например, х₁) кадра. Затем полученное значение по цепи нерекурсивной прямой связи усредняется в сумматоре Σ2 с соответствующим элементом строки предыдущего кадра.

В двумерном звене значение текущего элемента строки (пикселя) текущего кадра по цепи рекурсивной обратной связи складывается в сумматоре Σ3 с нерекурсивно взвешенными в соответствии с выражением (12) восемью предыдущими элементами и одним соответствующим элементом предыдущей строки текущего кадра, а затем по цепи нерекурсивной прямой связи полученное значение усредняется в сумматоре Σ4 с соответствующим элементом предыдущей строки текущего кадра.

В одномерном звене значение текущего элемента текущей строки текущего кадра по цепи рекурсивной обратной связи складывается в сумматоре Σ5 со взвешенным в соответствии с выражением (6) на коэффициент β значением предыдущего элемента строки текущего кадра, а затем по цепи нерекурсивной прямой связи полученное значение усредняется в сумматоре Σ6 с тем же самым предыдущим элементом текущей строки текущего кадра.

С выхода фильтра нижних частот снимается видеопоследовательность восстановленных видеокадров движущегося изображения х(n₁, n₂, n₃).

На фиг. 6 и 7 изображены примеры сжатия и восстановления последовательности видеокадров согласно предлагаемому способу.

На фиг. 6,а изображен фрагмент видеокадра размером 1024×1024 пикселя исходной видеопоследовательности формата 4К UHD.

На фиг. 6,б изображен сжатый в четыре раза способом прореживания пикселей фрагмент исходного видеокадра, изображенный на фиг. 6,а.

На фиг. 6, в изображен сжатый в четыре раза способом усреднения значений яркостей пикселей по областям размерностью 2×2 пикселя фрагмент исходного видеокадра, изображенный на фиг. 6,а.

На фиг. 7, а изображен фрагмент видеокадра формата 4К UHD, восстановленный с помощью восстанавливающего трехмерного интерполяционного фильтра нижних частот, описанного формулой (10), из сжатого способом прореживания пикселей фрагмента видеокадра, представленного на фиг. 6,б, увеличенного нулевыми столбцами и строками в соответствии с исключенными при сжатии столбцами и строками.

На фиг. 7,б изображен фрагмент видеокадра сверхвысокой четкости, восстановленный с помощью восстанавливающего трехмерного интерполяционного фильтра нижних частот, описанного формулой (10), из сжатого способом усреднения значений яркостей пикселей по областям размерностью 2×2 пикселя фрагмента видеокадра, представленного на фиг. 6,в, увеличенного нулевыми столбцами и строками в соответствии с особенностями операции усреднения, проводившейся при сжатии.

Изобретение относится области сжатия и восстановления видеоизображений с целью их хранения и передачи. Технический результат - четырехкратное сжатие видеопоследовательности за счет двукратного уменьшения пиксельного размера и разрешающей способности видеокадров по горизонтальной и вертикальной пространственным координатам, а также восстановление пиксельного размера и разрешающей способности сжатых видеокадров за счет двукратного увеличения пиксельного размера сжатых видеокадров. Способ сжатия изображений содержит этап передискретизации, на котором выполняют операцию выборки для прореживания значений пикселей сжимаемых изображений, причем прореживание значений яркостей пикселей сжимаемых изображений осуществляется либо путем исключения из нечетных кадров нечетных столбцов и строк, а из четных кадров - четных столбцов и строк, либо путем исключения из нечетных кадров четных столбцов и строк, а из четных кадров - нечетных столбцов и строк, либо путем исключения из нечетных кадров нечетных столбцов и четных строк, а из четных кадров - четных столбцов и нечетных строк, либо путем исключения из нечетных кадров четных столбцов и нечетных строк, а из четных кадров - нечетных столбцов и четных строк. 5 н.п. ф-лы, 7 ил.

1. Способ сжатия изображений, содержащий этап передискретизации, на котором выполняют операцию выборки для прореживания значений пикселей сжимаемых изображений, отличающийся тем, что прореживание значений яркостей пикселей сжимаемых изображений осуществляется либо путем исключения из нечетных кадров нечетных столбцов и строк, а из четных кадров - четных столбцов и строк, либо путем исключения из нечетных кадров четных столбцов и строк, а из четных кадров - нечетных столбцов и строк, либо путем исключения из нечетных кадров нечетных столбцов и четных строк, а из четных кадров - четных столбцов и нечетных строк, либо путем исключения из нечетных кадров четных столбцов и нечетных строк, а из четных кадров - нечетных столбцов и четных строк.

2. Способ сжатия изображений, содержащий этап передискретизации, отличающийся тем, что на указанном этапе передискретизации выполняется операция усреднения значений яркостей пикселей сжимаемых изображений по областям пикселей размерностью 2×2 пикселя, причем выделение областей усреднения значений яркости пикселей в соседних кадрах выполняют со сдвигом на один пиксель по диагонали так, что в нечетных кадрах выполнение усреднения начинают с четных столбцов и строк, а в четных кадрах - с нечетных столбцов и строк, либо в нечетных кадрах выполнение усреднения начинают с нечетных столбцов и строк, а в четных кадрах - с четных столбцов и строк, либо в нечетных кадрах выполнение усреднения начинают с четных столбцов и нечетных строк, а в четных кадрах - с нечетных столбцов и четных строк, либо в нечетных кадрах выполнение усреднения начинают с нечетных столбцов и четных строк, а в четных кадрах - с четных столбцов и нечетных строк.

3. Устройство сжатия изображений, содержащее модуль передискретизации, вход которого подключен к входу устройства, осуществляющий передискретизацию сжимаемых изображений, составляющих видеопоследовательность, поступающую на вход устройства в виде электрических сигналов, отличающееся тем, что указанная передискретизация осуществляется либо способом прореживания значений яркостей пикселей сжимаемых изображений путем исключения из нечетных кадров нечетных столбцов и строк, а из четных кадров - четных столбцов и строк, или путем исключения из нечетных кадров четных столбцов и строк, а из четных кадров - нечетных столбцов и строк, или путем исключения из нечетных кадров нечетных столбцов и четных строк, а из четных кадров - четных столбцов и нечетных строк, или путем исключения из нечетных кадров четных столбцов и нечетных строк, а из четных кадров - нечетных столбцов и четных строк, либо способом усреднения значений яркостей пикселей сжимаемых изображений по областям пикселей размерностью 2×2 пикселя, причем выделение областей усреднения значений яркости пикселей в соседних кадрах выполняют со сдвигом на один пиксель по диагонали так, что в нечетных кадрах выполнение усреднения начинают с четных столбцов и строк, а в четных кадрах - с нечетных столбцов и строк, либо в нечетных кадрах выполнение усреднения начинают с нечетных столбцов и строк, а в четных кадрах - с четных столбцов и строк, либо в нечетных кадрах выполнение усреднения начинают с четных столбцов и нечетных строк, а в четных кадрах - с нечетных столбцов и четных строк, либо в нечетных кадрах выполнение усреднения начинают с нечетных столбцов и четных строк, а в четных кадрах - с четных столбцов и нечетных строк.

4. Способ восстановления изображений, содержащий этап увеличения сжатых изображений и выполняемый после него этап интерполяции, отличающийся тем, что увеличение сжатых изображений осуществляется путем введения в их матричную структуру нулевых столбцов и строк, соответствующих исключенным при передаче столбцам и строкам, причем если при сжатии исключались из нечетных кадров нечетные столбцы и строки, а из четных кадров - четные столбцы и строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с четных столбцов и строк, а в четных кадрах, начиная с нечетных столбцов и строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нечетных нулевых столбцов и строк, а в четные кадры, соответственно, четных нулевых столбцов и строк, если при сжатии исключались из нечетных кадров четные столбцы и строки, а из четных кадров - нечетные столбцы и строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с нечетных столбцов и строк, а в четных кадрах, начиная с четных столбцов и строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры четных нулевых столбцов и строк, а в четные кадры, соответственно, нечетных нулевых столбцов и строк, если при сжатии исключались из нечетных кадров нечетные столбцы и четные строки, а из четных кадров - четные столбцы и нечетные строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с четных столбцов и нечетных строк, а в четных кадрах, начиная с нечетных столбцов и четных строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых нечетных столбцов и четных строк, а в четные кадры, соответственно, нулевых четных столбцов и нечетных строк, если при сжатии исключались из нечетных кадров четные столбцы и нечетные строки, а из четных кадров - нечетные столбцы и четные строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с нечетных столбцов и четных строк, а в четных кадрах, начиная с четных столбцов и нечетных строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых четных столбцов и нечетных строк, а в четные кадры, соответственно, нулевых нечетных столбцов и четных строк, а этап интерполяции заключается в пространственно-временной восстанавливающей трехмерной интерполяционной фильтрации с областью пропускания в виде октаэдра.

5. Устройство восстановления изображений, содержащее модуль реконструирования, выполненный с возможностью выполнения интерполяции с использованием значений яркости пикселей сжатых изображений, отличающееся тем, что выход указанного модуля реконструирования подключен к выходу устройства, а сам указанный модуль включает в себя субмодуль увеличения размеров входящих видеоизображений, осуществляющий восстановление размера сжатых изображений путем введения в их матричную структуру нулевых столбцов и строк, соответствующих исключенным при передаче столбцам и строкам, причем если при сжатии исключались из нечетных кадров нечетные столбцы и строки, а из четных кадров - четные столбцы и строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с четных столбцов и строк, а в четных кадрах, начиная с нечетных столбцов и строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нечетных нулевых столбцов и строк, а в четные кадры, соответственно, четных нулевых столбцов и строк, если при сжатии исключались из нечетных кадров четные столбцы и строки, а из четных кадров - нечетные столбцы и строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с нечетных столбцов и строк, а в четных кадрах, начиная с четных столбцов и строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры четных нулевых столбцов и строк, а в четные кадры, соответственно, нечетных нулевых столбцов и строк, если при сжатии исключались из нечетных кадров нечетные столбцы и четные строки, а из четных кадров - четные столбцы и нечетные строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с четных столбцов и нечетных строк, а в четных кадрах, начиная с нечетных столбцов и четных строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых нечетных столбцов и четных строк, а в четные кадры, соответственно, нулевых четных столбцов и нечетных строк, если при сжатии исключались из нечетных кадров четные столбцы и нечетные строки, а из четных кадров - нечетные столбцы и четные строки, или если производилось усреднение областей пикселей размером 2×2 в нечетных кадрах, начиная с нечетных столбцов и четных строк, а в четных кадрах, начиная с четных столбцов и нечетных строк, то размеры восстанавливаемых кадров увеличивают путем введения в их матричную структуру в нечетные кадры нулевых четных столбцов и нечетных строк, а в четные кадры, соответственно, нулевых нечетных столбцов и четных строк и субмодуля трехмерного интерполяционного фильтра нижних частот, осуществляющего восстановление сжатых изображений увеличенного размера, причем указанные субмодули в составе описываемого модуля реконструирования подключены так, что вход субмодуля увеличения размеров подключен к входу указанного модуля, а выход - к входу субмодуля трехмерного интерполяционного фильтра нижних частот, а выход субмодуля трехмерного интерполяционного фильтра нижних частот подключен к выходу упомянутого модуля, причем указанный субмодуль трехмерного интерполяционного фильтра нижних частот выполняется в виде комбинированной структуры, представляющей собой каскадное включение трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев.