СПОСОБ И УСТРОЙСТВО ДЛЯ ЗАПОМИНАНИЯ И ОБРАБОТКИ ВИДЕОИНФОРМАЦИИ СЛЕДУЮЩИХ ПО ВРЕМЕНИ ДРУГ ЗА ДРУГОМ ИЗОБРАЖЕНИЙ Российский патент 2006 года по МПК H04N7/26 G11B20/10 

Изобретение относится к способу и устройству для запоминания и обработки видеоинформации следующих по времени друг за другом изображений.

Такой способ и такое устройство известны из [1]. При этом известном способе действия используется оценка движения для видеоинформации из областей изображения множества предшествующих по времени изображений. Множество предшествующих по времени изображений привлекают для оценки движения, чтобы предоставить в распоряжение больший выбор областей изображения, за счет чего улучшается оценка движения и связанные с ней компенсация движения или также маскирование ошибок.

Это объясняется, например, тем, что при освобождающемся фоне в изображении между подлежащем кодированию или в общем подлежащем обработке изображением и непосредственно предшествующим ему по времени изображением при учете только этих обоих изображений оценка движения содержит много ошибок. Если, однако, в рамках оценки движения или маскирования ошибок учитывают множество предшествующих по времени изображений, то есть возможность повторять эти области изображений освобождающегося фона из более ранних, предшествующих по времени изображений.

Обычно при так называемых предсказывающих способах кодирования, то есть в способах кодирования, в которых производят так называемую оценку движения, из уже переданной видеоинформации из областей изображения оценивают актуальную видеоинформацию и передают только так называемую оценочную ошибку, которая получается как результат оценки движения. Чем точнее эта оценка движения, тем эффективнее может быть сжата последовательность следующих по времени друг за другом изображений, в последующем называемая также последовательностью изображений. До сих пор было принято применять оценку движения только на непосредственно предшествующем по времени изображении. Если объекты на фоне изображения движутся, то нельзя предсказать освобождающийся фон из непосредственно предшествующего по времени изображения-предшественника, а он должен полностью кодироваться заново. За счет этого уменьшается эффективность сжатия изображения и требующаяся для передачи последовательности изображений скорость обработки данных увеличивается при остающемся одинаковым качестве.

В известном из [1] способе действия все предшествующие изображения, которые учитывают в рамках оценки движения по множеству предшествующих по времени изображений, запоминают полностью. Это приводит к значительной потребности в памяти, в частности, в применениях, в которых в распоряжении имеется только относительно мало места в памяти, например, в видеотелефонии. В этомизвестном способе действия требуется многократное от обычно имеющегося в распоряжении места в памяти, чтобы запомнить необходимую видеоинформацию множества предшествующих по времени изображений.

В основе изобретения лежит тем самым задача запоминания и обработки видеоинформации множества следующих по времени друг за другом изображений, причем качество оценки движения или маскирования ошибок является подобным, как и в способе действия, известном из [1], однако потребность в памяти для запоминания множества предшествующих по времени изображений уменьшается.

Эта задача решается посредством способа, устройства, компьютерночитаемой запоминающей среды, а также элемента компьютерной программы с признаками согласно независимым пунктам формулы изобретения.

В способе для запоминания и обработки видеоинформации следующих по времени друг за другом изображений из каждого учтенного предшествующего по времени изображения выбирают по меньшей мере одну область изображения. Определенную из каждой выбранной области изображения видеоинформацию запоминают с информацией размещения, с которой возможно соотнесение соответствующей области изображения и тем самым также видеоинформации соответствующей области изображения с соответствующим изображением и положением области изображения внутри соответствующего изображения. Из видеоинформации соответственно запомненных, выбранных областей изображения с учетом информации размещения образуют по меньшей мере одно микшированное изображение. Микшированное изображение используют для изображения в рамках оценки движения или компенсации движения или маскирования ошибок.

Устройство для запоминания и обработки видеоинформации следующих по времени друг за другом изображений содержит процессор, который выполнен таким образом, что могут выполняться следующие операции:

- из каждого учтенного предшествующего по времени изображения выбирают соответственно по меньшей мере одну область изображения,

- видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения, с которой возможно соотнесение соответствующей области изображения с соответствующим изображением и с положением области изображения внутри изображения, из видеоинформации из запомненных, выбранных областей изображения образуют по меньшей мере одно микшированное изображение с учетом соответствующей информации размещения,

- микшированное изображение используют для изображения в рамках оценки движения, компенсации движения или маскирования ошибок.

В компьютерночитаемой запоминающей среде запомнена компьютерная программа для запоминания и обработки видеоинформации следующих по времени друг за другом изображений, которая, если она выполняется процессором, содержит следующие операции способа:

- из каждого учтенного предшествующего по времени изображения выбирают соответственно по меньшей мере одну область изображения,

- видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения, с которой возможно соотнесение соответствующей области изображения с соответствующим изображением и с положением области изображения внутри изображения,

- из видеоинформации из запомненных, выбранных областей изображения образуют по меньшей мере одно микшированное изображение с учетом соответствующей информации размещения,

- микшированное изображение используют для изображения в рамках оценки движения, компенсации движения или маскирования ошибок.

Элемент компьютерной программы для запоминания и обработки видеоинформации следующих друг за другом по времени изображений, если он выполняется процессором, содержит следующие операции способа:

- из каждого учтенного предшествующего по времени изображения выбирают соответственно по меньшей мере одну область изображения,

- видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения, с которой возможно соотнесение соответствующей области изображения с соответствующим изображением и с положением области изображения внутри изображения,

- из видеоинформации из запомненных, выбранных областей изображения образуют по меньшей мере одно микшированное изображение с учетом соответствующей информации размещения,

- микшированное изображение используют для изображения в рамках оценки движения, компенсации движения или маскирования ошибок.

Так как за счет изобретения возможно запоминать не все предшествующие по времени изображения, а выбирать и запоминать области изображения предшествующих по времени изображений, достигается значительное снижение необходимой потребности в памяти.

Несмотря на это достигаемое качество изображения в основном остается одинаковым с качеством, которое может быть достигнуто со способом, известным из [1].

Наглядно изобретение можно видеть в том, что предпочтительным образом запоминают существенные области учтенных для оценки движения предшествующих по времени изображений вместо того, чтобы запоминать всю видеоинформацию предшествующих по времени изображений для оценки движения на множестве предшествующих по времени изображений.

Изобретение может быть реализовано как посредством компьютерной программы, то есть в программном обеспечении, так и посредством специальной электронной схемы в аппаратурном обеспечении.

Предпочтительные формы дальнейшего развития изобретения следуют из зависимых пунктов формулы изобретения.

Описанные ниже формы выполнения относятся как к способу, устройству, компьютерночитаемой запоминающей среде, так и к элементу компьютерной программы.

В форме дальнейшего развития изобретения предусмотрено выбирать область изображения тогда, когда видеоинформация в соответствующей области изображения в достаточной степени является пригодной для оценки движения двух следующих по времени друг за другом изображений относительно заранее заданного критерия, то есть если видеоинформация удовлетворяет заранее заданному критерию.

В дальнейшей форме выполнения изобретения предусмотрено использовать множество следующих по времени друг за другом предшествующих изображений, чтобы выбирать и запоминать из этих изображений области изображений.

Видеоинформацию можно запоминать в кольцевой системе памяти, это означает, что для запоминания видеоинформации предшествующих по времени изображений в распоряжение может быть предоставлено место в памяти различной величины и для случая, когда предоставленное в распоряжение место в памяти является заполненным, можно перезаписывать соответственно области изображений, то есть видеоинформацию соответствующих областей изображений, "более актуальной" видеоинформацией.

Это можно производить за счет того, что видеоинформацию, которая была наиболее долгое время запомнена в памяти, перезаписывают более актуальной, снова подлежащей запоминанию видеоинформацией.

Альтернативно можно заменять видеоинформацию, которая была выбрана в рамках оценки движения, компенсации движения или маскирования ошибок реже всего, так как эта видеоинформация с эвристической точки зрения не пригодна в достаточной мере для оценки движения и таким образом также не должна больше оставаться запомненной.

С этой формой дальнейшего развития можно гарантировать детерминированно заданную потребность в памяти, которая лежит значительно ниже потребности в памяти в случае способа действия, известного из [1].

По меньшей мере для одного микшированного изображения можно производить оценку движения относительно подлежащего обработке изображения.

Далее из видеоинформации из областей изображений множества предшествующих по времени изображений можно образовывать множество микшированных изображений и для каждого микшированного изображения можно производить оценку движения относительно изображения.

Согласно этой форме дальнейшего развития выбирают микшированное изображение, для которого оценка движения относительно ранее заданного критерия дает наилучший результат. Для областей изображения выбранного микшированного изображения образуют векторы движения, которые, наконец, можно применять в рамках компенсации движения или маскирования ошибок.

Микшированные изображения можно образовывать итеративно для каждого учтенного предшествующего по времени изображения последовательно, исходя из изображения, для которого предусмотрена дальнейшая обработка.

Это можно производить за счет того, что запомненную видеоинформацию соответственно предшествующего по времени изображения копируют в микшированное изображение и получающееся микшированное изображение запоминают. Запомненную видеоинформацию соответственно предшествующего по времени изображения копируют в микшированное изображение, полученное в предыдущую операцию. Способ повторяют последовательно для каждого формируемого микшированного изображения до тех пор, пока будут приняты во внимание все предшествующие по времени изображения.

Выбираемая область изображения может иметь в общем любую форму, однако предпочтительно объект изображения имеет задаваемую форму или является макроблоком или блоком изображения.

За счет этого дальнейшего развития является возможным использовать способ без каких-либо проблем в обычных блочно-ориентированных и/или объектно-ориентированных способах кодирования изображений.

Изобретение может быть использовано как в рамках видеотелефонии, так и в цифровом телевидении или в так называемом телевидении высокого разрешения. Далее изобретение можно успешно использовать в потоковом видео в Интернете, в области видео по требованию, в коммерческом телевидении, или в телевидении в Интернете.

Следует указать на то, что изобретение может быть использовано в рамках любого способа кодирования изображений, в котором производят оценку движения, то есть в любом предсказательном способе кодирования изображений.

В дальнейшей форме выполнения предусмотрено сжатие видеоинформации из каждой выбранной области изображения и/или соответствующей информации размещения перед запоминанием.

Пример выполнения изобретения представлен на чертежах и поясняется в последующем более подробно.

При этом показывают:

Фиг.1 эскиз, на котором представлен принцип способа действий согласно примеру выполнения изобретения;

Фиг.2 устройство кодирования согласно примеру выполнения изобретения;

Фиг.3 блок-схема последовательности операций, на которой представлены отдельные операции способа согласно примеру выполнения изобретения;

Фиг.4 устройство декодирования согласно примеру выполнения изобретения.

Фиг.2 показывает устройство кодирования 200 с камерой 201, которая снимает изображения пользователя 202 устройства кодирования 200. Камера 201 по линии 203 соединена с исходным кодером 204. В исходном кодере 204 снятые камерой и преобразованные в цифровую форму видеоизображения кодируются в исходном коде согласно описанному ниже принципу действий.

Отдельные видеоизображения содержат точки изображения, которым придана в соответствие информация кодирования, например, цветовая информация или информация о яркости. Точки изображения сгруппированы в блоки изображения 205, которые в свою очередь сгруппированы в так называемые макроблоки.

Блоки изображения 205 подлежащего кодированию изображения подводят к исходному кодеру 204. В исходном кодере 204 блоки изображения 205 подводят к блоку для оценки движения 206, а также к блоку коммутации 207. Через блок коммутации 207 под управлением от не представленного блока управления определяют, будет ли для блока изображения производиться оценка движения и тем самым должна ли быть получена разностная видеоинформация 208 между информацией кодирования подлежащего кодированию блока изображения и блока изображения предшествующего по времени изображения или должна ли подводиться к блоку преобразования 209 через блок коммутации 207 полная информация кодирования 208 подлежащего кодированию блока изображения 205.

В блоке преобразования 209 выполняется дискретное косинусоидальное преобразование (ДКП) на подлежащей кодированию информации кодирования или, соответственно, разностной информации кодирования, за счет чего образуют коэффициенты преобразования 210, которые в блоке квантования 211 квантуют в квантованные коэффициенты преобразования 212.

Квантованные коэффициенты преобразования 212 подводят к блоку для кодирования со сжатием последовательности одинаковых символов 213. Кодированные со сжатием последовательности одинаковых символов коэффициенты преобразования 214 записывают в выходной буфер 215. Из выходного буфера 215 кодированные со сжатием последовательности одинаковых символов коэффициенты преобразования 214 считывают и подводят, например, к канальному кодированию и передают к приемнику.

Квантованные коэффициенты преобразования 212 подводят далее в цепи обратной связи к инверсному блоку квантования 216, где их инверсно квантуют в инверсно квантованные коэффициенты преобразования 217.

Инверсно квантованные коэффициенты преобразования 217 подводят к инверсному блоку преобразования 218, где инверсно квантованные коэффициенты преобразования 217 подвергают инверсному дискретному косинусоидальному преобразованию (ДКП), за счет чего образуются инверсно преобразованные коэффициенты 219, которые запоминают в первом запоминающем устройстве 220.

В блоке для оценки движения 206 с применением запомненных в первом запоминающем устройстве 220 инверсно преобразованных коэффициентов 219 производят оценку движения.

После произведенной оценки движения согласно этому примеру выполнения решают, хорошо ли блок изображения годится для оценки движения или нет.

Это происходит, как это описано в последующем, за счет анализа множества изображений и проверки, годится ли соответствующий блок изображения для оценки движения, то есть может вызывать статистически малое значение ошибки в рамках оценки движения и гарантировать тем самым статистически низкую скорость обработки данных.

Это имеет место, например, для блоков изображения, которые описывают освобождающийся фон, то есть блоков изображения, которые описывают объект, который между следующими по времени друг за другом изображениями сильно изменяется относительно своего положения внутри последовательности изображений. Выбранные блоки изображения, то есть видеоинформацию выбранных блоков изображения, запоминают во втором запоминающем устройстве 222.

Этот способ действия поясняется в последующем более подробно с помощью Фиг.1.

Получающиеся в рамках оценки движения векторы движения 223 подводят к блоку для кодирования со сжатием последовательности одинаковых символов 213 и кодируют там со сжатием последовательности одинаковых символов и обрабатывают дальше.

Фиг.1 показывает последовательность 100 изображений в цифровой форме 101, 102, 103, 104, 105. Согласно этому примеру выполнения символом F(n) обозначено актуальное подлежащее кодированию изображение, для которого должна быть произведена оценка движения. По времени наиболее удаленное предшествующее изображение, которое учитывают в рамках описываемого в последующем способа, обозначают F(n-k). Это означает, что в рамках способа для оценки движения учитывают k предшествующих по времени изображений.

Изображения содержат блоки 106. Выбранные блоки изображения обозначают ссылочной позицией 107. Информацию кодирования выбранных блоков изображения 107 запоминают во втором запоминающем устройстве 222 вместе с информацией размещения. Информация размещения содержит данные об изображении, в котором находится выбранный блок изображения, и координатные данные, которыми однозначно описывается положение выбранного блока изображения внутри соответствующего изображения.

Информацию размещения обозначают B(i, х, y), причем

- i обозначает соответствующее изображение, в котором находится выбранный блок изображения,

- х обозначает координатные данные х, которыми указано положение относительно координаты х внутри выбранного блока изображения внутри соответствующего предшествующего по времени изображения, а

- y обозначает координатные данные y, которыми указано положение относительно координаты y внутри выбранного блока изображения внутри соответствующего предшествующего по времени изображения.

Второе запоминающее устройство 222 имеет кольцевую структуру памяти, как это показано на Фиг.1.

Если блоком для оценки движения 207 производят оценку движения, то это происходит представленным на Фиг.3 образом внутри области поиска 108.

Фиг.3 показывает отдельные операции способа для оценки движения 300 согласно этому примеру выполнения.

В первой операции (операция 301) способ стартуют.

В следующей операции для области поиска 108 образуют микшированное изображение инициализации 109 из информации кодирования блоков изображения исключительно непосредственно предшествующего по времени изображения (операция 302). Эта информация находится полностью в распоряжении, за счет чего гарантировано, что информация кодирования находится в распоряжении для оценки движения во всей области поиска.

Для соответствующего подлежащего кодированию блока изображения внутри области поиска 108 в микшированном изображении инициализации 109 производят оценку движения (операция 303), посредством чего образуют первый вектор движения. Результатом оценки движения далее является значение ошибки, которым указывают, насколько сильно информация кодирования в выбранной области внутри области поиска в микшированном изображении инициализации 302 отличается по сравнению с информацией кодирования в подлежащем кодированию блоке изображения. Это можно производить, например, путем образования суммы квадратичных разностей отдельных информации кодирования учтенных точек изображения.

Значение ошибки, а также соответствующий вектор движения запоминают (операция 304).

В последующей операции (операция 305) образуют второе микшированное изображение 109 за счет того, что выбранные блоки изображения по времени следующего предшествующего изображения F(n-1), которые находятся в выбранной области поиска 108, копируют в микшированное изображение инициализации 109 и переписывают в соответствующем положении информацию кодирования блоков изображения микшированного изображения инициализации.

Для следующего микшированного изображения производят теперь оценку движения опять-таки относительно подлежащего кодированию изображения (операция 306) и образуют второй вектор движения и второе значение ошибки, которые опять-таки запоминают (операция 307).

В операции проверки (операция 308) проверяют, выполнен ли критерий прерывания.

Критерий прерывания согласно этому примеру выполнения означает, является ли значение ошибки или второе значение ошибки меньше, чем заданное пороговое значение.

Если ни значение ошибки, ни второе значение ошибки не меньше, чем заданное пороговое значение, то таким же образом образуют третье микшированное изображение, как и следующее микшированное изображение, итеративно посредством перезаписи выбранных блоков изображения третьего по времени предшествующего изображения, блоки изображения которого находятся в области поиска.

В общем соответственно, если проверяют, выполнен ли критерий прерывания, и получается, что критерий прерывания не выполнен, то микшированное изображение следующей итерации образуют посредством перезаписи информации кодирования предшествующего по времени микшированного изображения информацией кодирования из блоков изображения следующего по времени дальше предшествующего изображения, блоки изображения которого находятся в области поиска, и соответственно опять-таки производят оценку движения для следующего микшированного изображения следующей итерации, за счет чего образуют вектор движения соответственно следующей итерации и следующее значение ошибки следующей итерации и опять-таки операцию проверки (операция 308) применяют, в частности, к значению ошибки следующей итерации. Если критерий прерывания выполнен, то соответствующий образованный следующий вектор движения, а также данные, в какой итерации соответствующего микшированного изображения был определен этот вектор движения, подводят к блоку кодирования со сжатием последовательности одинаковых символов 213.

Далее информацию кодирования соответствующей выбранной области изображения в области поиска подводят в качестве выбранного блока изображения для образования разницы к блоку коммутации 207 (операция 309).

Если заданная область памяти второго запоминающего устройства 222 является полной, то дальнейшие информации кодирования следующих, более актуальных выбранных блоков изображения, векторы движения, кодированные со сжатием последовательности одинаковых символов, и соответствующую информацию размещения также декодируют со сжатием последовательности одинаковых символов (не представлено) и запоминают в первом запоминающем устройстве 220, в результате чего запомненные информации кодирования, которые наиболее долго не были использованы в рамках оценки движения, перезаписываются.

Векторы движения, кодированные со сжатием последовательности одинаковых символов, индексы микшированного изображения, а также коэффициенты преобразования, кодированные со сжатием последовательности одинаковых символов, принимают приемником и там подводят к блоку для декодирования 400 (сравни Фиг.4).

Коэффициенты преобразования, кодированные со сжатием последовательности одинаковых символов 214, подводят к блоку для инверсного квантования 401, за счет чего образуются инверсно квантованные коэффициенты преобразования 402.

Инверсно квантованные коэффициенты преобразования 402 подводят к инверсному блоку преобразования 403, в котором посредством выполнения инверсного дискретного косинусного преобразования образуют инверсно преобразованные коэффициенты 404 и запоминают в первом запоминающем устройстве 405.

При применении определенных векторов движения и реконструированных изображений в рамках декодирования соответственно требующееся микшированное изображение запоминают во втором запоминающем устройстве 406.

В блоке для компенсации движения 407 посредством соответствующего вектора движения и микшированного изображения происходит реконструкция необходимого блока изображения, то есть информации кодирования соответствующего блока изображения, которую в качестве разностной информации 408 подводят к суммирующему устройству 409 и суммируют в соответствии с реконструированной разностной информацией кодирования.

Таким образом создают реконструированное изображение посредством последовательности реконструированных блоков изображения.

В последующем описываются некоторые альтернативы в представленном выше примере выполнения.

Предусмотрены различные возможности, чтобы выбирать существенные блоки изображения, которые запоминают во втором запоминающем устройстве 222. Так можно выбирать те блоки изображения, информация кодирования которых явно изменилась по сравнению с соответствующим блоком изображения предшествующего изображения, то есть разница информации кодирования которых больше, чем заданное второе пороговое значение.

Другим критерием выбора может быть то, что выбирают так называемые интра-кодированные блоки изображения, то есть блоки изображения, информация кодирования которых является кодированной полностью, а не только как разностные блоки изображения.

Этот принцип действия является пригодным, в частности, для случая, что интра-кодируют не все изображение, а только части изображения.

Изобретение является также пригодным для маскирования ошибок, то есть для маскирования ошибок в устройстве кодирования.

В случае этой альтернативной формы выполнения согласно представленному на Фиг.3 способу реконструируют принятое изображение с соответствующими микшированными изображениями и для содержащего ошибку блока изображения, для которого не известно, как его следует декодировать, выбирают соответствующий блок изображения из одного из микшированных изображений предшествующих по времени изображений и записывают в соответствующую содержащую ошибку область изображения.

Далее возможно предварительно загрузить второе запоминающее устройство типичными образцами изображений, что в основном подобно векторному квантованию. В качестве таких образцов изображений могут служить, например, плоские, телесного цвета блоки изображения или также применяться открытые или, соответственно, закрытые глаза, которые служат наглядно в качестве кодовой книги в рамках векторного квантования.

Источник информации

1: ITU-T H.263+, Annex N.

Изобретение относится к способу и устройству для запоминания и обработки информации следующих по времени друг за другом изображений. Техническим результатом является уменьшение потребности в памяти для запоминания множества предшествующих по времени изображений. Технический результат достигается тем, что из каждого учтенного предшествующего по времени изображения выбирают соответственно по меньшей мере одну область изображения и запоминают соответствующую видеоинформацию с информацией размещения. Из видеоинформации образуют по меньшей мере одно микшированное изображение с учетом соответствующей информации размещения. Микшированное изображение используют для изображения в рамках оценки движения, компенсации движения или маскирования ошибок. 3 н. и 10 з.п. ф-лы, 4 ил.

1. Способ для запоминания и обработки видеоинформации следующих по времени друг за другом изображений (101, ..., 105),

а) в котором из каждого учтенного предшествующего по времени изображения (F(n-k)) выбирают соответственно по меньшей мере одну область изображения,

b) в котором видеоинформацию из каждой выбранной области изображения запоминают с информацией размещения (B(i, x, y)), которая позволяет соотнести соответствующую область изображения с соответствующим предшествующим по времени изображением (F(n-k)) и с положением указанной области изображения внутри указанного изображения,

c) в котором по меньшей мере одно микшированное изображение (109) из видеоинформации из запомненных, выбранных областей изображения образуют с учетом соответствующей информации размещения,

d) в котором микшированное изображение (109) используют для кодируемого или реконструируемого в настоящий момент изображения в рамках оценки движения, компенсации движения или маскирования ошибок.

a) в котором образуют множество микшированных изображений (109) из видеоинформации из областей изображения множества предшествующих по времени изображений (F(n-k)),

b) в котором для каждого микшированного изображения (109) производят оценку движения относительно кодируемого в настоящий момент изображения,

c) в котором выбирают микшированное изображение (109), для которого оценка движения относительно заданного критерия дает лучший результат,

d) в котором для областей изображения выбранного микшированного изображения (109) образуют векторы движения.