СПОСОБ СЖАТИЯ И ВОССТАНОВЛЕНИЯ ПОДВИЖНЫХ ЦВЕТНЫХ ВИДЕОИЗОБРАЖЕНИЙ Российский патент 2011 года по МПК H04N7/30 G06T5/10 

Изобретение относится к области электросвязи, а именно к методам передачи видеоизображений по цифровым каналам связи, преимущественно низкоскоростным.

Известны способы кодирования подвижных изображений на основе дифференциальной импульсно-кодовой модуляции, см., например, книгу: Цифровая обработка телевизионных и компьютерных изображений. Под ред. Ю.Б.Зубарева. - М.: 1997, с.99-119., включающие выполнение следующих операций: ограничение спектра сигналов, дискретизация во времени (пространстве), квантование дискретных отсчетов и представление отсчетов в виде бинарных слов. В данном способе передается не величина самого отсчета, а только величина ошибки, являющейся фиксированной функцией ранее переданных отсчетов.

Недостатком данного способа является возникновение значительных искажений сигнала при резких его изменениях, устранение данного недостатка приводит к существенному увеличению объема передаваемых данных.

Известны также способы кодирования подвижных изображений на основе стандарта MPEG-4, а также рекомендации ITU - Н.261, Н.263, Н264 см., например, книгу: Видеокодирование. Н.264 и MPEG-4 - стандарты нового поколения. - М.: Техносфера, 2005, и рекомендации ITU: Кодирование видеосигнала для низкоскоростной связи. Рекомендация МСЭ-Т Н.261.1991; Кодирование видеосигнала для низкоскоростной связи. Рекомендация МСЭ-Т Н.263.1996; Кодирование видеосигнала для низкоскоростной связи. Рекомендация МСЭ-Т Н.264. 2001. Сначала изображение разбивают на группу из k кадров, затем каждый кадр подвергают двумерному ортогональному преобразованию, полученные в результате коэффициенты преобразования квантуются и в дальнейшем кодируются для передачи по каналу связи.

Недостатком перечисленных выше способов-аналогов является низкое качество восстанавливаемых подвижных видеоизображений на приеме в условиях воздействия ошибок цифрового канала.

Наиболее близким по своей технической сущности к заявленному является способ, описанный в рекомендации ITU - Н.263 (Кодирование видеосигнала для низкоскоростной связи. Рекомендация МСЭ-Т Н.263.1996).

Известный способ-прототип заключается в том, что преобразуют k кадров подвижного видеоизображения, где k≥2, формата YUV в коэффициенты преобразования, для чего каждому кадру из видеопоследовательности присваивают определенный тип:

- I-кадры - кадры, сжатые независимо от других кадров (I-Intra pictures);

- Р-кадры - сжатые с использованием ссылки на одно изображение (Р-Predicted);

- B-кадры - сжатые с использованием ссылки на два изображения (В-Bidirection).

Далее каждую из плоскостей сжимаемого изображения (Y, U, V) разделяют на блоки 8×8. Затем блоки 8×8 группируют в макроблоки. Макроблок - это группа из четырех соседних блоков в плоскости яркостной компоненты Y (матрица пикселей 16×16 элементов) и два соответствующих им по расположению блока из плоскостей цветности U и V. Таким образом, кадр разбивают на независимые единицы, несущие полную информацию о части изображения. При этом размер изображения кратен 16.

Отдельные макроблоки сжимают независимо. Для каждого макроблока определяют, каким образом он будет сжат. В I-кадрах все макроблоки сжимают независимо. В Р-кадрах макроблок либо сжимают независимо, либо он представляет собой разность с одним из макроблоков в предыдущем опорном кадре, на который ссылается Р-кадр. В B-кадрах макроблок может быть сжат как I-макроблок, Р-макроблок со ссылкой на предыдущий кадр, Р-макроблок со ссылкой на последующий кадр и, наконец, как B-макроблок.

Для Р- и B-макроблоков производят вычисление разности с соответствующим макроблоком в опорном кадре (I-кадре) т.е. компенсация движения. Суть данного этапа заключается в том, что если соседние кадры отличаются лишь смещением какого-то объекта, выявляются границы этого объекта, а также направление и величина вектора его перемещения. Точность задания вектора движения лежит в пределах 1/2 пикселя. В результате вычисляют макроблок остаточных коэффициентов и вектор движения. Далее разностный макроблок преобразуют в макроблок коэффициентов преобразования путем выполнения над ним операции двумерного дискретного косинусного преобразования.

I-макроблок преобразуют в макроблок коэффициентов преобразования, минуя операцию вычисления разностного макроблока. Алгоритм сжатия опорных кадров (I-кадров) похож на соответствующий алгоритм для статических изображений - JPEG.

Макроблоки коэффициентов преобразования квантуют и передают по каналу связи.

При декодировании все операции повторяют в обратном порядке.

При использовании способа-прототипа без ухудшения качества восстановления сообщений обеспечивается сжатие исходных изображений до величины, при которой возможна передача подвижных цветных изображений по цифровым каналам связи со скоростью не ниже 512 кбит/с.

Недостатком этого способа-прототипа является низкое качество восстановленных видеоизображений при воздействии ошибок канала связи.

Целью изобретения является разработка способа сжатия и восстановления сообщений, обеспечивающего повышение качества восстановленных видеоизображений при воздействии ошибок канала связи.

Поставленная цель достигается тем, что в известном способе сжатия и восстановления сообщений, заключающемся в том, что для преобразования k кадров подвижного видеоизображения преобразуют k кадров подвижного видеоизображения, где k≥2, формата YUV в коэффициенты преобразования, квантуют эти коэффициенты, ранжируют их и передают в канал связи, на приемной стороне из принятых коэффициентов преобразования формируют трехмерный массив коэффициентов преобразования, после чего восстанавливают k кадров подвижного изображения. В представленном способе для преобразования k кадров подвижного видеоизображения, где 14≤k≤18, выполняют операцию трехмерного дискретного косинусного преобразования. Затем для каждой матрицы трехмерного массива коэффициентов преобразования вычисляют 2р·k коэффициентов линейного предсказания, где р - глубина предсказания, и передают их в канал связи. На передающей стороне по квантованным значениям коэффициентов линейного предсказания вычисляют 3k огибающих коэффициентов преобразования трехмерного дискретного косинусного преобразования. Ранжируют коэффициенты преобразования, для чего по соответствующей вычисленной огибающей определяют их координаты в порядке убывания абсолютных значений. Затем значения коэффициентов преобразования, соответствующих найденным координатам, квантуют и последовательно передают в канал связи, причем число K_ots подлежащих передаче коэффициентов задают предварительно в зависимости от требуемого качества восстановления изображения и отдельно для каждой матрицы трехмерного массива коэффициентов преобразования. На приемной стороне по принятым коэффициентам линейного предсказания вычисляют 3k огибающих. По вычисленным огибающим присваивают принятым коэффициентам преобразования координаты в соответствующей матрице формируемого трехмерного массива коэффициентов преобразования, а на позиции недостающих элементов подставляют нулевые значения. Кадры подвижного видеоизображения восстанавливают путем выполнения операции обратного трехмерного дискретного косинусного преобразования над сформированным массивом коэффициентов преобразования.

Благодаря новой совокупности существенных признаков, за счет вычисления огибающих коэффициентов преобразования подвижного цветного видеоизображения и вычисления коэффициентов двумерного линейного предсказания матриц коэффициентов преобразования этого видеоизображения, обеспечивается существенное сокращение объема цифрового потока на выходе кодера. Для уменьшения цифрового представления видеоизображения кодируют и передают не все коэффициенты преобразования, а только K_ots спектральных коэффициентов из области спектра с максимальной энергией.

Это позволяет повысить качество восстановленных видеоизображений при использовании каналов связи с ограниченной пропускной способностью. Заявленный способ поясняется чертежами:

- Фиг.1 - формирование блоков, состоящих из k кадров из каждой состовляющей изображения (Y, U и V);

- Фиг.2 - выполнение трехмерного дискретного косинусного пребразования над сформированными блоками исходного изображения;

- Фиг.3 - представление i-го, j-го элемента значения i-го, j-го результата выполнения одномерного ДКП как линейной комбинации предшествующих отсчетов;

- Фиг.4 - формирование матриц Dy;

- Фиг.5 - формирование матриц Dx и М(j);

- Фиг.6 - вычисление огибающей по строкам ACHx(i), ;

- Фиг.7 - вычисление огибающей по столбцам ACHy(j), ;

- Фиг.8 - расчет огибающей коэффициентов ТДКП;

- Фиг.9 - формирование последовательности частотных коэффициентов, подлежащих передаче по каналу связи;

- Фиг.10 - восстановление матрицы ТДКП на приемной стороне.

Возможность реализации заявленного способа сжатия и восстановления подвижных цветных видеоизображений объясняется следующим. При необходимости передачи по каналу связи подвижных цветных видеоизображений, для передачи которых в условиях ограничения скорости предоставляемого канала связи требуется недопустимо большой временной интервал, используют различные приемы сокращения объема цифрового представления передаваемого сообщения.

Например, (см. рекомендацию ITU: Кодирование видеосигнала для низкоскоростной связи. Рекомендация МСЭ-Т Н.263.1996) алгоритмы видеокодирования серии Н.26х основываются на кодировании опорных кадров и специфических параметров об изменении пространственного положения объектов на кадрах подвижного изображения. Для этой цели используют один из известных приемов: двумерное дискретное косинусное преобразование кодируемых макроблоков и вычисление векторов движения. При этом по каналу связи достаточно передать только коэффициенты разложения в предположении, что на приемной стороне для восстановления сообщения будут использоваться аналогичные (как и на передаче) опорные векторы и вычисленные векторы движения для соответствующих макроблоков исходного изображения.

Такой прием обуславливает некоторое снижение объема информации, необходимого для передачи по каналу связи, одновременное достижение требуемого качества восстановленных сообщений.

Таким образом, при некотором ухудшении качества передаваемой информации обеспечивают снижение объема информации, необходимого для передачи. В то же время весь объем передаваемой информации на выходе кодера можно разделить на две группы:

основные данные, являющиеся результатом кодирования исходных изображений;

дополнительные данные:

о местоположении передаваемых коэффициентов ДДКП;

о векторах движения;

о параметрах квантователя.

С точки зрения влияния канала связи первую группу данных можно определить как некритичную к ошибкам. Ошибки в данной группе приводят к локальным искажениям и количество ошибок в данной группе пропорционально величине искажения в восстановленных на приеме кадрах.

В тоже время, вторую группу данных можно определить как критичную к ошибкам. Даже единичные ошибки в данной группе приводят к полному рассогласованию работы кодера и декодера и, как следствие, к практически полному разрушению восстанавливаемых на приеме кадров. Причем объем дополнительных данных на выходе кодера составляет более 50%.

В предлагаемом способе решается задача снижения объема передаваемой информации при одновременном повышении качества восстановленных видеоизображений в условиях воздействия ошибок цифрового канала связи. Результат достигается за счет значительного сокращения дополнительной информации (критичной к ошибкам) на выходе кодера.

Предлагаемый способ включает проведение следующих действий.

В качестве сообщения, подлежащего сжатию и восстановлению, далее рассматривается цветное подвижное изображение, из которого формируются блоки по k кадров, где 14≤k≤16, формата YUV (см. фиг.1).

С целью уменьшения объема информации, передаваемой по каналу связи, используют трехмерное дискретное косинусное преобразование, описанное, например, в кн.: Цифровая обработка телевизионных и компьютерных изображений. Под редакцией Ю.Б.Зубарева и В.П.Дворковича. - М.: 1997, с.135-158.

В результате выполнения трехмерного дискретного косинусного преобразования (ТДКП) над матрицей цветности и двумя цветоразностными матрицами получают три трехмерных массива коэффициентов преобразования (см. фиг.2).

Наиболее информативными, с точки зрения качества восстановления передаваемого видеоизображения (см. фиг.2), являются коэффициенты ТДКП с максимальной энергией (значимые коэффициенты), располагающиеся, как правило, в левом верхнем квадранте матриц коэффициентов ТДКП.

Для определения местоположения значимых коэффициентов вычисляют 2р·k огибающих коэффициентов ТДКП. С этой целью вычисляют коэффициенты двумерного линейного предсказания ах₁, ax₂, …, ах_р и ау₁, ау₂, …, ау_р, где р - глубина предсказания для каждой матрицы, входящей в трехмерный массив коэффициентов ТДКП. Величину р выбирают в пределах от 8 до 12. Такой диапазон выбора количества вычисляемых коэффициентов линейного предсказания связан с тем, что при р, меньшем 8, на приемной стороне оказывается невозможным с необходимой точностью аппроксимировать огибающую спектра видеоизображения, увеличение же значения параметра р больше 12 не дает какого-либо значительного повышения точности аппроксимации. Для вычисления коэффициентов двумерного линейного предсказания, как и в случае вычисления коэффициентов одномерного линейного предсказания, необходимо решить задачу минимизации среднеквадратической ошибки между исходным и предсказанным сообщениями, относительно этих коэффициентов (см., например, книги: Дж.Д.Маркел, А.Х.Грей Линейное предсказание речи. - М.: Связь, 1980, с.13-23; А.А.Устинов, А.А.Рощин, Д.А.Бардюков. Параметрическое кодирование речи с линейным предсказанием. - СПб.: ВАС, 2008, с.30-32).

Особенности вычисления коэффициентов двумерного линейного предсказания можно показать на примере их вычисления для матрицы первого слоя трехмерного массива коэффициентов яркостной составляющей (Y) исходного изображения (процесс вычисления коэффициентов предсказания для остальных матриц яркостной составляющей и для всех матриц трехмерных массивов цветоразностных составляющих (U и V) аналогичен).

Пусть S(i,j) - i-й, j-й элемент значения i-го, j-го элемента результата выполнения одномерного ДКП, тогда предсказанное значение i-го, j-го элемента изображения

можно определить как линейную комбинацию р предшествующих элементов i-й строки и р предшествующих элементов j-го столбца (см. фиг.3):

, .

Для всех элементов j-го столбца исходного изображения данное выражение можно записать в матричной форме в виде:

где Dy(j) - матрица размером Р×р, составленная из элементов j-го столбца изображения (см. фиг.4а), имеющая вид (см. фиг.4б, в, г):

M(j) - матрица размером Р×р элементов (см. фиг.5д), состоящая из j-х строк матриц Dx(k), имеющих вид (см. фиг.5б, в, г):

где Dx(k) - матрица размером N×р, составленная из элементов j-й строки изображения (см. фиг.5а).

С учетом найденного выражения для j-го предсказанного столбца задачу поиска коэффициентов предсказания в виде векторов ах и ау можно записать в виде:

Решение данной задачи приведено в приложении. Аналогично вычисляются коэффициенты предсказания и для всех других матриц трехмерных массивов. После вычисления коэффициентов двумерного линейного предсказания ах и ау их преобразуют в линейные спектральные частоты (ЛСЧ.) Это объясняется их высокой чувствительностью к влиянию ошибок цифрового канала связи и отсутствием четких диапазонов динамического изменения, что, в свою очередь, затрудняет процесс их квантования. Поэтому перед квантованием введен промежуточный этап, заключающийся в преобразовании коэффициентов предсказания в набор линейных спектральных частот (ЛСЧ), см., например, книгу: А.А.Устинов, А.А.Рощин, Д.А.Бардюков Параметрическое кодирование речи с линейным предсказанием. - СПб.: ВАС, 2008, с.37-43.

После преобразования ЛСЧ квантуют и передают в канал связи. Затем на передающей стороне восстанавливают коэффициенты двумерного линейного предсказания из отквантованных ЛСЧ и вычисляют двумерную огибающую коэффициентов ТДКП.

Для вычисления каждой двумерной огибающей коэффициентов ТДКП определяют элементы (см. фиг.6 и 7 соответственно):

,

,

где Р и N - размеры матрицы изображения, , , ах и ау значения вычисленных 2р коэффициентов двумерного линейного предсказания. На основе найденных элементов ACH_x(i), и ACH_у(j), вычисляют элементы соответствующей двумерной огибающей коэффициентов ТДКП в соответствии с выражением (см. фиг.8):

.

По соответствующей сформированной огибающей (см. фиг.8) определяют координаты частотных коэффициентов в порядке убывания их абсолютных значений. Затем значения частотных коэффициентов, соответствующих найденным координатам, квантуют и последовательно передают канал в связи, причем число K_ots подлежащих передаче коэффициентов задают предварительно и отдельно для каждой матрицы трехмерных массивов коэффициентов преобразования, в зависимости от требуемого качества восстановления изображения (см. фиг.9).

После приема коэффициентов двумерного линейного предсказания и коэффициентов преобразования по коэффициентам двумерного линейного предсказания вычисляют на приемной стороне 3k огибающих коэффициентов преобразования, так же как на передающей стороне (см. фиг.8). По вычисленным огибающим (см. фиг.10а) присваивают принятым частотным коэффициентам (см. фиг.10б) координаты в соответствующей матрице формируемого трехмерного массива коэффициентов преобразования, а вместо недостающих частотных коэффициентов в структуре матрицы оставляют нулевые значения (см. фиг.10в).

Кадры подвижного видеоизображения восстанавливают путем выполнения операции обратного трехмерного дискретного косинусного преобразования над сформированными массивами коэффициентов преобразования.

Для оценки возможности достижения сформулированного технического результата при использовании заявленного способа сжатия и восстановления подвижных цветных изображений было проведено имитационное моделирование на ПЭВМ. В предлагаемом способе высокая степень устойчивости передаваемого изображения к ошибкам в цифровом канале связи достигнута за счет значительного сокращения (в 10 раз) объема критичной к ошибкам информации. Это достигается за счет того, что для формирования на приемной стороне подвижного цветного видеоизображения в цифровой канал связи необходимо передать 2pk коэффициентов двумерного линейного предсказания и K_ots коэффициентов ТДКП.

Данное обстоятельство позволяет передавать видеоизображения по цифровым каналам с вероятностью ошибки Р_ош=10^-2 при сжатии в 120 раз. Пиковое соотношение сигнал шум для восстановленного изображения соответствует 27 дБ.

Приложение

Задача поиска коэффициентов линейного предсказания ах и ау сводится к решению выражения (1):

где Dy(j) - матрица размером Р×р, составленная из элементов j-го столбца соответствующей матрицы ОДКП, имеющая вид (см. фиг.5):

М(j) - матрица размером Р×р элементов, состоящая из j-x строк матриц Dx(k), имеющих вид (см. фиг.6):

Для вычисления ах найдем производную целевой функции (1) относительно данного вектора и приравняем ее к нулю:

Вектор коэффициентов линейного предсказания ах определим путем решения уравнения (2):

Для сокращения громоздкости дальнейших расчетов введем следующие обозначения:

Перепишем выражение (3) с вновь введенными обозначениями:

Для нахождения ау подставим выражение (4) в выражение целевой функции:

где

Найдем производную целевой функции (5) по ау и приравняем ее к нулю:

Решая уравнение (6) относительно ау, получим:

Таким образом, результатом последовательного решения уравнений (6) и (2) являются коэффициенты линейного предсказания ау и ах.

Изобретение относится к области электросвязи, а именно к способам сжатия видеоизображений и передачи по цифровым каналам связи. Техническим результатом является сохранение заданного качества восстановления подвижных цветных видеоизображений в условиях воздействия ошибок канала связи. Указанный технический результат достигается тем, что на передающей стороне вычисляют трехмерный массив коэффициентов преобразования (КП) видеоизображения путем выполнения операции трехмерного дискретного косинусного преобразования (ДКП). Затем вычисляют 2pk коэффициентов двумерного линейного предсказания матриц трехмерного массива КП видеоизображения и передают их в цифровой канал связи. По квантованным значениям коэффициентов двумерного линейного предсказания формируют огибающие КП, по которым определяют координаты КП в порядке убывания их абсолютных значений. Значения частотных коэффициентов, соответствующих найденным координатам, квантуют и передают в канал связи. Восстановление сообщений производят в обратном порядке. На основе принятых из канала связи коэффициентов двумерного линейного предсказания формируют огибающие КП, по которым присваивают принятым КП координаты в структуре их матрицы. После чего восстанавливают видеоизображение путем выполнения операции обратного трехмерного ДКП над восстановленным трехмерным массивом КП. 2 з.п. ф-лы, 10 ил.

1. Способ сжатия и восстановления подвижных цветных видеоизображений, заключающийся в том, что преобразуют k кадров подвижного видеоизображения, где k>2, формата YUV в коэффициенты преобразования, квантуют эти коэффициенты, ранжируют их и передают в канал связи, на приемной стороне из принятых коэффициентов преобразования формируют трехмерный массив коэффициентов преобразования, после чего восстанавливают k кадров подвижного изображения, отличающийся тем, что для преобразования k кадров подвижного видеоизображения, где 14≤k≤18, выполняют операцию трехмерного дискретного косинусного преобразования, затем для каждой матрицы трехмерного массива коэффициентов преобразования вычисляют 2p·k коэффициентов линейного предсказания, где р - глубина предсказания, квантуют и передают их в канал связи, на передающей стороне по квантованным значениям коэффициентов линейного предсказания вычисляют 3k огибающих коэффициентов преобразования трехмерного дискретного косинусного преобразования, ранжируют коэффициенты преобразования, для чего по соответствующей вычисленной огибающей определяют их координаты в порядке убывания абсолютных значений, затем значения коэффициентов преобразования, соответствующих найденным координатам, квантуют и последовательно передают в канал связи, причем число K_ots подлежащих передаче коэффициентов задают предварительно в зависимости от требуемого качества восстановления изображения и отдельно для каждой матрицы трехмерного массива коэффициентов преобразования, на приемной стороне по принятым коэффициентам линейного предсказания вычисляют 3k огибающих, по вычисленным огибающим присваивают принятым коэффициентам преобразования координаты в соответствующей матрице формируемого трехмерного массива коэффициентов преобразования, а на позиции недостающих элементов подставляют нулевые значения, кадры подвижного видеоизображения восстанавливают путем выполнения операции обратного трехмерного дискретного косинусного преобразования над сформированными массивами коэффициентов преобразования.

2. Способ по п.1, отличающийся тем, что значение р выбирают в интервале р=8÷12.

3. Способ по п.1, отличающийся тем, что значение K_ots выбирают в соответствии с необходимым качеством восстанавливаемого изображения.