УСТРОЙСТВО ДЛЯ ОПРЕДЕЛЕНИЯ ПОДВИЖНЫХ И НЕПОДВИЖНЫХ БЛОКОВ ИЗОБРАЖЕНИЯ И ИХ КОДИРОВАНИЯ (ДЕКОДИРОВАНИЯ) ПРИ ЗАПИСИ-ПЕРЕДАЧЕ (ВОСПРОИЗВЕДЕНИИ) ИЗОБРАЖЕНИЯ Российский патент 2003 года по МПК H04N7/36 

Изобретение относится к телевизионной технике, а именно к устройствам определения подвижных и неподвижных блоков изображения между соседними кадрами изображения и их кодирования при записи или передаче изображения.

Известно устройство для определения подвижных и неподвижных блоков изображения между соседними кадрами изображения и их кодирования [1], передающая часть которого состоит из аналого-цифрового преобразователя, блока цветового процессора передачи, блока задержки, межкадрового кодера, кодера с переменной длиной кодирования слова, блока буферной памяти, формирователя управляющих сигналов передатчика, блока оценки вектора перемещения и кодера вектора перемещения. В этом устройстве производят определение оценки вектора движения для группы блоков одного объекта, в предположении, что блоки совершают одно и то же перемещение, сравнение оценок векторов перемещения блоков предыдущего и последующего кадров и в случае равенства векторов, для блоков с одинаковым перемещением, на приемную сторону передается однажды оценка вектора перемещения.

Однако это устройство позволяет идентифицировать лишь группы блоков, имеющих одинаковые перемещения. При наличии перемещений блоков на границах подвижных контуров изображения, даже в один пиксел, данное устройство передает информацию о векторе движения для каждого такого блока раздельно, что увеличивает поток передаваемых данных. Вследствие этого известное устройство имеет низкую эффективность сжатия данных.

Известно также устройство для определения подвижных и неподвижных блоков изображения между соседними кадрами изображения и их кодирования и декодирования, прототип [2], наиболее близкое предлагаемому техническому решению, содержащее формирователь текущего блока изображения текущего кадра, формирователь макроблока предыдущего кадра, имеющий опорный эталонный блок изображения, равный текущему блоку по размерам, с тем же текущим адресом в кадре перед началом поиска вектора движения, и множество эталонных блоков изображения, окружающих опорный блок и равных ему по размерам, первый блок поиска опорного эталонного блока или эталонного фрагмента изображения, соединенный своими первым и вторым входами соответственно с выходами первого и второго формирователей, блок интерполяции полупикселов, первый и второй сигнальные входы которого соединены соответственно с выходами формирователя и первого блока поиска, второй блок поиска, соединенный своими входами с выходами формирователя и блока интерполяции полупикселов, а своим выходом он соединен с входом суммирующего блока, второй вход которого подсоединен к выходу первого блока поиска.

Однако в указанном устройстве [2] решается задача поиска вектора движения, при котором обеспечивается достижение наилучшего сходства между сигналами пикселов текущего блока текущего кадра с сигналами пикселов искомого эталонного блока или эталонного фрагмента изображения, равного текущему блоку по размерам, предыдущего кадра в ближней зоне поиска (в отсутствие вектора движения или при наличии вектора движения в пиксел), но не решается задача поиска блока, адекватного текущему блоку изображения текущего кадра, в дальней зоне, с шагом поиска в несколько пикселов или в один и более блоков. Это не позволяет достигнуть высокой эффективности сжатия данных изображения в известном устройстве.

Задачей предлагаемого изобретения является создание устройства определения подвижных и неподвижных блоков изображения между соседними кадрами изображения и их кодирования, позволяющего более эффективно сжать данные при записи или передаче изображений.

Решение поставленной задачи достигается тем, что в известное устройство определения подвижных и неподвижных блоков изображения между соседними кадрами изображения и их кодирования при записи или передаче изображения (прототип), содержащее формирователь текущего блока изображения текущего кадра, формирователь макроблока предыдущего кадра, имеющий опорный эталонный блок изображения, равный текущему блоку по размерам, и множество эталонных блоков изображения, окружающих опорный блок и равных ему по размерам, и блок поиска эталонного блока или эталонного фрагмента изображения, соединенный своими первым и вторым входами соответственно с выходами первого и второго формирователей, дополнительно введены компрессор спектра сигналов, регистр адреса эталонного блока или эталонного фрагмента изображения, которому соответствует ошибка сравнения сигналов пикселов текущего блока текущего кадра с сигналами пикселов эталонного блока или эталонного фрагмента изображения предыдущего кадра, не превышающая заданной или имеющая минимальное значение, которую получают в блоке формирователя ошибки сравнения сигналов пикселов текущего блока текущего кадра с сигналами пикселов эталонного блока или эталонного фрагмента изображения предыдущего кадра, регистр флага, первый и второй генераторы адресов выборки данных соответственно первого и второго формирователей и устройство управления, при этом первый - третий выходы блока поиска эталонного блока или эталонного фрагмента изображения соединены соответственно с входами: компрессора спектра, регистров адреса и флага, а выходы компрессора спектра и регистров адреса и флага объединены с выходной шиной устройства, входом устройства управления и входами первого и второго генераторов адресов выборки данных, выход устройства управления соединен с шиной управления, подключенной к управляющим входам первого и второго формирователей, блока поиска эталонного блока или эталонного фрагмента изображения, компрессора спектра, регистров адреса и флагов, первого и второго генераторов адресов выборки данных.

Кроме того, блок поиска эталонного блока или эталонного фрагмента изображения состоит из последовательно соединенных узлов - формирователя разностей сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра, первого буфера памяти разностей сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра, формирователя ошибки сравнения сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра, второго буфера памяти ошибок сравнения сигналов пикселов текущего блока текущего кадра с сигналами пикселов эталонного блока или эталонного фрагмента изображения предыдущего кадра и относящихся к ним адресов эталонных блоков или фрагментов изображения предыдущего кадра, а также узла сопоставления ошибок сравнения сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра с заданным порогом, соединенных своими входами управления с входом управления блока поиска эталонного блока или эталонного фрагмента изображения, при этом первый и второй сигнальные входы блока поиска эталонного блока или эталонного фрагмента изображения соединены соответственно с первым и вторым входами формирователя разностей сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра, а его первый - третий выходы подключены соответственно к выходам первого и второго буферов памяти и узла сопоставления ошибок сравнения, соединенного своим выходом со вторым входом управления второго буфера памяти.

На фиг. 1 приведена функциональная схема предлагаемого устройства; на фиг. 2 и 3 - таблицы, поясняющие порядок формирования соответственно относительного и косвенного адресов эталонных блоков изображения при поиске адекватного эталонного блока, соответственно, с шагом поиска в один блок и в один пиксел; на фиг. 4 - таблица, отражающая соответствие кодов регистра флагов выполняемым в устройстве операциям.

Предлагаемое устройство (фиг. 1) содержит формирователь текущего блока изображения текущего кадра (ФТБТК) 1 размером N₁•N₂ пикселов; формирователь макроблока предыдущего кадра (ФМПК) 2 - для приема сигналов изображения предыдущего кадра и создания второго блока изображения, состоящего из М₁•М₂ пикселов, т.е. с зоной поиска размером M₁•M₂ пикселов, и включающего опорный эталонный блок изображения, равный текущему блоку изображения по размерам и имеющий перед началом поиска вектора движения одинаковый с ним текущий адрес в кадре, и множество эталонных блоков изображения, расположенных по отношению к опорному блоку изображения в любом из возможных направлений (см. фиг.2). Формирователи 1, 2 подключены своими выходами через первую 3 и вторую 4 шины к первому и второму сигнальным входам блока поиска эталонного блока или эталонного фрагмента изображения (БПЭБ(Ф)) 5. Первый - третий выходы блока поиска эталонного блока или эталонного фрагмента изображения 5 через шины 6-8 подключены соответственно к входам компрессора спектра (КС) 9, регистра адресов (РА) 10 и регистра флагов (РФ) 11, объединенных своими выходами с выходной шиной 12 устройства и входами первого 13 и второго 14 генераторов адресов выборки данных (ГАВД) и устройства управления (УУ) 15, соединенного через шину управления 16 с управляющими входами: формирователей 1 и 2, блока поиска эталонного блока или эталонного фрагмента изображения 5, компрессора спектра 9, регистров адреса 10 и флагов 11, первого и второго генераторов адресов выборки данных 13 и 14. Последние подключены своими выходами соответственно к адресным входам формирователя текущего блока изображения текущего кадра 1 и формирователя макроблока предыдущего кадра 2.

Кроме того, блок поиска эталонного блока или эталонного фрагмента изображения 5 состоит из последовательно соединенных узлов - формирователя разностей сигналов между пикселами текущего блока изображения и эталонного блока или равного ему по размерам фрагмента изображения предыдущего кадра (ФРТБ и ЭБПК) 17, первого буфера памяти разностей сигналов (БПРС) 18, формирователя ошибки сравнения разности сигнала изображения текущего блока текущего кадра и сигнала изображения эталонного блока или эталонного фрагмента предыдущего кадра (ФОС) 19, второго буфера памяти ошибок сравнения и относящихся к ним адресов эталонных блоков или фрагментов изображения предыдущего кадра (БПОСА) 20, а также узла сопоставления ошибок сравнения с заданным порогом (УСОС) 21. Первый 3 и второй 4 сигнальные входы блока поиска эталонного блока или эталонного фрагмента изображения 5 соединены соответственно с первым и вторым входами формирователя разностей сигналов между пикселами текущего блока изображения и эталонного блока или равного ему по размерам фрагмента изображения предыдущего кадра 17. Первый - третий выходы блока поиска эталонного блока или эталонного фрагмента изображения 5 соединены соответственно с выходами первого буфера памяти разностей сигналов 18 и второго буфера памяти ошибок сравнения и относящихся к ним адресов эталонных блоков или фрагментов изображения предыдущего кадра 20 и узла сопоставления ошибок сравнения 21. Последний соединен своим выходом со вторым управляющим входом второго буфера памяти ошибок сравнения и относящихся к ним адресов эталонных блоков или фрагментов изображения предыдущего кадра 20. Управляющие входы всех узлов блока поиска эталонного блока или эталонного фрагмента изображения 5 через шину 16 объединены с управляющим выходом устройства управления 15.

Устройство работает следующим образом. В оперативную память формирователя текущего блока изображения текущего кадра 1 записывается кодированный (цифровой) сигнал изображения, например сигнал яркости Y_ij, матрица размером N₁•N₂ пикселов, текущего блока изображения текущего кадра. В оперативную память формирователя макроблока предыдущего кадра 2 записывается кодированный сигнал яркости Y'_ij, матрица размером M₁•M₂ пикселов, включающая опорный эталонный блок, матрица размером N₁•N₂ пикселов, и имеющий одинаковый с текущим блоком текущий адрес в кадре, и множество эталонных блоков изображения, расположенных по отношению к опорному блоку в любом из возможных направлений движения (см. фиг.2). Сигналы Y_ij и Y'_ij поступают в блок поиска эталонного блока или эталонного фрагмента изображения 5, где в формирователе разностей сигналов между пикселами текущего блока изображения и эталонного блока или равного ему по размерам фрагмента изображения предыдущего кадра 17 вычитаются. При этом выходной сигнал формирователя разностей
ΔY_ij=Y_ij-Y'_ij
запоминается в первом буфере памяти разностей сигналов 18. Из запомненных значений разностей сигналов в формирователе ошибки сравнения 19 определяется ошибка сравнения в θ_ср, равная или среднему значению суммы модулей разностей

или среднеквадратическому отклонению разностей сигналов

где m и n - соответственно число пикселов в строке и в столбце эталонного блока или эталонного фрагмента изображения. Ошибка сравнения θ_ср = δ_ср (или θ_ср = σ_ср) заносится во второй буфер памяти ошибок сравнения и относящихся к ним адресов эталонных блоков или фрагментов изображения предыдущего кадра 20, здесь же запоминается и адрес эталонного блока или фрагмента, по отношению к которому эта ошибка определена. Затем ошибка сравнения θ_ср в узле сопоставления ошибок 21 сравнивается с заданным пороговым значением θ_пр.

Если при нулевом шаге поиска (при одинаковом текущем адресе для текущего и опорного блоков) ошибка сравнения не превышает заданного порогового значения
θ_ср≤θ_пр,
то в регистр адреса эталонного блока или эталонного фрагмента изображения 10 записывают текущий адрес опорного блока. Устройство сопоставления ошибок сравнения 21 формирует и записывает в регистр флагов 11 код флага 000 (RCA - Replace on Current Address - Отобразить по текущему адресу), при этом отображают вместо данных текущего блока в текущем кадре данные опорного эталонного блока предыдущего кадра с тем же текущим адресом. Если указанное выше условие не выполняется, то производят во всем адресном пространстве макроблока предыдущего кадра поиск, с шагом в один блок (см. фиг.2), эталонного блока, для которого относящаяся к нему ошибка сравнения не превышает заданного порогового значения. При нахождении эталонного блока, которому соответствует условие θ_ср≤θ_пр, в устройстве сопоставления ошибок сравнения 21 формируется код флага 001. При этом код флага записывается в регистр флагов 11, а относительный адрес эталонного блока - в регистр адресов 10. В этом случае на выход устройства по шине 12 передают относительный адрес эталонного блока и код флага 001 (RRA - Replace on Relative Address - Отобразить по относительному адресу), при этом отображают вместо данных текущего блока в текущем кадре данные эталонного блока предыдущего кадра, хранящиеся по относительному адресу этого блока.

Если не удается найти эталонный блок, удовлетворяющий первым двум условиям, то эталонный блок в адресном пространстве макроблока предыдущего кадра, соответствующий минимальной ошибке сравнения, принимают за новый опорный блок. В этом случае адрес нового опорного блока заносится в адресный регистр второго генератора адресов выборки данных 14, а устройство управления 15 по шине 16 производит запуск первого 13 и второго 14 генераторов выборки адресов соответственно для формирователей текущего блока изображения текущего кадра 1 и макроблока предыдущего кадра 2. При этом данные формирователей, соответствующие сигналам изображения текущего блока и эталонного фрагмента (с косвенным адресом), поступают в блок поиска эталонного блока или эталонного фрагмента изображения 5. Производят поиск во всех возможных направлениях, относительно нового опорного блока, эталонного фрагмента, равного по размерам опорному блоку, которому соответствует ошибка сравнения, не превышающая, с заданным шагом, например в один пиксел (см. фиг.3), или в заданное число пикселов (например, в 2, 4 или 8 пикселов). Если находят фрагмент, для которого соответствующая ему ошибка сравнения не превышает заданной, то для этого фрагмента считывают в регистр адреса 10 его косвенный адрес и одновременно формируют в устройстве сопоставления ошибок сравнения 21 код флага 010 (RIA - Replace on Indirect Address - Отобразить по косвенному адресу), при этом отображают вместо данных текущего блока в текущем кадре данные эталонного фрагмента изображения предыдущего кадра, хранящиеся по переданному косвенному адресу. Код флага запоминают в регистре флагов 11. В этом случае по командам устройства управления 15 на выход устройства по шине 12 передают для этого фрагмента изображения его косвенный адрес и код флага 010.

Если же в адресном пространстве макроблока предыдущего кадра отсутствует искомый блок или фрагмент изображения, то формируют разностный сигнал для пикселов текущего блока и эталонного блока или эталонного фрагмента изображения предыдущего кадра изображения, соответствующего минимальной ошибке сравнения, производят сжатие спектра разностного сигнала, формируют, запоминают и передают данные сжатого спектра разностного сигнала, относительный или косвенный адрес эталонного блока или эталонного фрагмента изображения, по отношению к которому определен разностный сигнал, и код флага - "выполнить преобразование" по восстановлению данных текущего блока текущего кадра из переданных данных сжатого спектра разностного сигнала, определенного: по отношению к опорному блоку с нулевым относительным адресом - код флага 100 (DTCA - Do Transform on Current Address - выполнить преобразование по текущему адресу; при этом выполняют преобразование разностного сигнала пикселов текущего блока (ТБ, см. фиг.4) и опорного блока с текущим адресом (ОБТА)) или по отношению к эталонному блоку с относительным адресом (код флага 101 - DTRA - Do transform on Relative Address - выполнить преобразование по относительному адресу; при этом выполняют преобразование разностного сигнала пикселов текущего блока и эталонного блока с относительным адресом (ЭБОА)), или же по отношению к эталонному фрагменту с косвенным адресом (код флага 110 - DTIA - Do Transform on Inderect Address - выполнить преобразование по косвенному адресу; при этом выполняют преобразование разностного сигнала пикселов текущего блока и эталонного фрагмента с косвенным адресом (ЭФКА)).

Кроме того, если в адресном пространстве макроблока предыдущего кадра отсутствует искомый эталонный блок (фрагмент) изображения, соответствующий ошибке сравнения, не превышающей заданной, то возможен с использованием предложенного устройства и второй вариант передачи данных. Особенность его состоит в том, что производят сжатие спектра сигнала текущего блока текущего кадра и передают данные сжатого спектра текущего блока, формируют и передают код флага 111 - DTCB (Do Transform of Current Block - Выполнить преобразование текущего блока; при этом выполняют преобразование по восстановлению данных текущего блока текущего кадра из переданных данных сжатого спектра сигнала этого же блока.

Предлагаемое устройство по сравнению с известным (прототипом) обеспечивает повышение эффективности сжатия данных изображения при записи или передаче изображений, за счет повышения вероятности отыскания в предыдущем кадре блока или фрагмента изображения, адекватного текущему блоку.

В предложенном изобретении все используемые блоки: формирователи текущего блока изображения текущего кадра 1 и макроблока предыдущего кадра 2 и генераторы адресов выборки данных 13 и 14, компрессор спектра 9, регистры флагов 11 и адресов 10, устройство управления 15, первый буфер памяти разностей сигналов 18 и второй буфер памяти ошибок сравнения и относящихся к ним адресов эталонных блоков или фрагментов изображения предыдущего кадра 20, узел сопоставления ошибок сравнения 21, формирователь разностей сигналов между пикселами текущего блока изображения и эталонного блока или равного ему по размерам фрагмента изображения предыдущего кадра и ошибок сравнения 17 - не новы. Их построение описано в [3-5].

Источники информации
1. SU патент 1608828, кл. Н 04 N 7/137, БИ 43, 1990.

2. RU патент 2117412, кл. Н 04 N 7/36, БИ 22, 1998.

3. Полупроводниковые запоминающие устройства и их применение. В.П. Баранов, Н.В. Белкин и др./ Под ред. А.Ю. Гордонова. М.: Радио и связь, 1981. - 344 с.; ил.

4. Лебедев О.Н. Микросхемы памяти и их применение. - М.: Радио и связь, 1990, - 160 с.; ил.

5. Корнеев В.В., Киселев А.В. Современные микропроцессоры. - М.: НОЛИДЖ, 1998, - 240 с.; ил.

Изобретение относится к телевизионной технике, в частности к устройствам определения подвижных и неподвижных блоков изображения между соседними кадрами изображения. Техническим результатом является повышение эффективности сжатия данных при передаче или записи изображения. Технический результат достигается тем, что устройство содержит формирователь текущего блока изображения текущего кадра, формирователь макроблока предыдущего кадра, имеющего опорный эталонный блок изображения и множество эталонных блоков изображения, окружающих опорный блок, блок поиска эталонного блока изображения, дополнительно введены компрессор спектра сигналов, регистр адреса эталонного блока изображения, которому соответствует ошибка сравнения сигналов пикселов текущего блока текущего кадра с сигналами пикселов эталонного блока изображения предыдущего кадра, не превышающая заданной, которую получают в блоке формирователя ошибки сравнения сигналов пикселов текущего блока текущего кадра с сигналами пикселов эталонного блока изображения предыдущего кадра, регистр флага, первый и второй генераторы адресов выборки данных соответственно формирователя текущего блока изображения текущего кадра и формирователя макроблока предыдущего кадра, устройство управления, выходную шину устройства, с шиной управления. 1 з.п. ф-лы, 4 ил.

1. Устройство определения подвижных и неподвижных блоков изображения между соседними кадрами изображения и их кодирования при записи или передаче изображения, содержащее формирователь текущего блока изображения текущего кадра, формирователь макроблока предыдущего кадра, имеющего опорный эталонный блок изображения, равный текущему блоку по размерам, и множество эталонных блоков изображения, окружающих опорный блок и равных ему по размерам, и блок поиска эталонного блока или эталонного фрагмента изображения, соединенный своими первым и вторым входами соответственно с выходами формирователя текущего блока изображения текущего кадра и формирователя макроблока предыдущего кадра, отличающееся тем, что в него дополнительно введены компрессор спектра сигналов, регистр адреса эталонного блока или эталонного фрагмента изображения, которому соответствует ошибка сравнения сигналов пикселов текущего блока текущего кадра с сигналами пикселов эталонного блока или эталонного фрагмента изображения предыдущего кадра, не превышающая заданной или имеющая минимальное значение, которую получают в блоке формирователя ошибки сравнения сигналов пикселов текущего блока текущего кадра с сигналами пикселов эталонного блока или эталонного фрагмента изображения предыдущего кадра, регистр флага, первый и второй генераторы адресов выборки данных соответственно формирователя текущего блока изображения текущего кадра и формирователя макроблока предыдущего кадра и устройство управления, при этом первый - третий выходы блока поиска эталонного блока или эталонного фрагмента изображения соединены соответственно с входами компрессора спектра сигналов, регистров адреса и флага, а выходы компрессора спектра сигналов и регистров адреса и флага объединены с выходной шиной устройства, входом устройства управления и входами первого и второго генераторов адресов выборки данных, выход устройства управления соединен с шиной управления, подключенной к управляющим входам формирователя текущего блока изображения текущего кадра и формирователя макроблока предыдущего кадра, блока поиска эталонного блока или эталонного фрагмента изображения, компрессора спектра сигналов, регистров адреса и флагов, первого и второго генераторов адресов выборки данных.2. Устройство по п.1, отличающееся тем, что блок поиска эталонного блока или эталонного фрагмента изображения состоит из последовательно соединенных узлов - формирователя разностей сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра, первого буфера памяти разностей сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра, формирователя ошибки сравнения сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра, второго буфера памяти ошибок сравнения сигналов пикселов текущего блока текущего кадра с сигналами пикселов эталонного блока или эталонного фрагмента изображения предыдущего кадра и относящихся к ним адресов эталонных блоков или фрагментов изображения предыдущего кадра, а также узла сопоставления ошибок сравнения сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра с заданным порогом, соединенных своими входами управления с входом управления блока поиска эталонного блока или эталонного фрагмента изображения, при этом первый и второй сигнальные входы блока поиска эталонного блока или эталонного фрагмента изображения соединены соответственно с первым и вторым входами формирователя разностей сигналов пикселов текущего блока текущего кадра и эталонного блока или эталонного фрагмента изображения предыдущего кадра, а его первый - третий выходы подключены соответственно к выходам первого и второго буферов памяти и узла сопоставления ошибок сравнения, соединенного своим выходом со вторым входом управления второго буфера памяти.