СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ НЕЛИНЕЙНОЙ ФОРМИРУЮЩЕЙ СИСТЕМЫ Российский патент 2017 года по МПК H04N19/50 H04N19/136 

Изобретение относится к вычислительной технике, а именно к области обработки видеоинформации.

Важность информационной поддержки деятельности должностных лиц органов управления определяет потребность в расширении перечня и повышении качества предоставляемых им инфокоммуникационных услуг. При этом наибольшей содержательностью и удобством отличается визуальная форма представления информации, обеспечивающая получение таких сведений об объектах управления, которые другими видами и способами информационного обмена получить невозможно. Характерной особенностью видеоинформации является наличие различных видов избыточности. При устранении избыточности видеоинформации в основном используются методы, учитывающие линейные связи между элементами.

Известен способ (Recommendation ITU-T Н.264. Advanced video coding for generic audiovisual services (Series H: Audiovisual and multimedia systems. Infrastructure of audiovisual services - Coding of moving video) - 2012 - 01 - 01. - ITU, 2012. - 680 с.), согласно которому берут макроблоки размером 16×16 точек обрабатываемого кадра изображения, формируют прогноз макроблока из выборок текущего кадра, предварительно закодированных и восстановленных (INTRA-режим), или с учетом изменений, которые произошли в текущем кадре по сравнению с одним или несколькими предыдущими или последующими (INTER-режим), вычисляют макроблок остаточных коэффициентов путем вычитания полученного прогноза из текущего макроблока, выполняют квазиортогональное частотное преобразование остаточных коэффициентов, квантуют полученный на основе частотного преобразования набор частотных коэффициентов, при этом набор преобразованных и квантованных коэффициентов служит исходным для обратного канала реконструкции данных, далее выстраивают коэффициенты в линейный массив в порядке возрастания и производят энтропийное кодирование упорядоченного массива коэффициентов, при этом формируют выходную битовую последовательность кодера из закодированных коэффициентов и дополнительной информации, требуемой для правильного декодирования макроблока (режима прогноза, коэффициента квантования и т.д.).

Недостатком указанного способа является недостаточно высокое качество восстановленной видеоинформации при кодировании малоконтрастных изображений и изображениях с малым динамическим диапазоном (d≤100) [Стремоухов, М.В. Проблемы эффективного кодирования изображений с малой контрастностью и узким динамическим диапазоном. / М.В. Стремоухов, С.В. Чистяков, И.В. Фурцев // Актуальные направления развития систем охраны, специальной связи и информации для нужд государственного управления: IX Всероссийская межведомственная научная конференция (Орел, 11-12 февраля 2015 года). В 12 ч. Ч. 9. / Под общ. ред. В.В. Мизерова. - Орел: Академия ФСО России, 2015. - 163 с., С. 148-151].

Наиболее близким по технической сущности к заявляемому способу и выбранным в качестве прототипа является способ для прогнозирующего кодирования изображений (патент RU 2526764 от 25.12.2009), заключающийся в том, что разделяют входное изображение на множество блоков, формируют сигнал прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков, формируют остаточный сигнал между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования, при этом на этапе формирования сигнала прогнозирования подразделяют рассматриваемый блок на множество небольших областей, причемпо меньшей мере одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и на этапе формирования сигнала прогнозирования формируют сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной, формируют сжатый сигнал посредством кодирования остаточного сигнала, распаковывают сжатый сигнал и сохраняют распакованный сигнал в качестве восстановленного сигнала пикселов.

Недостатком способа-прототипа является недостаточно высокое качество восстановленной видеоинформации на приеме при кодировании изображений, содержащих мелкие контрастные элементы (надписи), малоконтрастных изображений, изображений, полученных в условиях сумерек, слабой освещенности, при тумане и задымлении, определяемое следующим:

1) применение алгоритмов, основанных на двумерном косинусном преобразовании (ДКП), при стандартных процедурах квантования его коэффициентов приводит к существенному снижению общего субъективного качества восстановленной видеоинформации при достаточно высоких значениях объективного показателя по критерию пикового отношения сигнал/шум (ПОСШ);

2) отсутствие эффективных процедур кодирования, учитывающих нелинейные взаимосвязи между элементами изображений, обладающих малой контрастностью или узким динамическим диапазоном.

При существующих требованиях к качеству восстанавливаемой на приеме видеоинформации необходима ее более тщательная обработка. В данных условиях способы, не учитывающие нелинейные взаимосвязи между элементами изображений, обладающих малой контрастностью или узким динамическим диапазоном, становятся неприемлемыми и не обеспечивают достаточного качества восстановленной видеоинформации.

Данное обстоятельство определяет необходимость разработки способов повышения качества восстановленной видеоинформации за счет улучшения визуального восприятия изображений, обладающих малой контрастностью или узким динамическим диапазоном, путем добавления при эффективном кодировании процедур, учитывающих нелинейные взаимосвязи между элементами таких изображений.

Задачей изобретения является разработка способа кодирования изображений на основе нелинейной формирующей системы, позволяющего повысить визуальное субъективное качество восстановленной видеоинформации по сравнению с известным методом частотного преобразования ДКП при достаточно сопоставимых значениях объективного показателя по критерию ПОСШ.

В заявленном способе эта задача решается тем, что в известном способе для прогнозирующего кодирования изображений, заключающемся в том, что разделяют входное изображение на множество блоков, формируют сигнал прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков, формируют остаточный сигнал между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования, при этом на этапе формирования сигнала прогнозирования подразделяют рассматриваемый блок на множество небольших областей, причем по меньшей мере одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и на этапе формирования сигнала прогнозирования формируют сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной, дополнительно на этапе формирования сжатого сигнала идентифицируют обрабатываемый блок на принадлежность к малоконтрастному или высококонтрастному изображению, осуществляют для малоконтрастного изображения предварительную обработку (развертку), оценивают параметры нелинейной формирующей системы, формируют сжатый сигнал посредством кодирования параметров нелинейной формирующей системы, формируют для высококонтрастного изображения сжатый сигнал посредством кодирования остаточного сигнала, распаковывают сжатый сигнал и сохраняют распакованный сигнал в качестве восстановленного сигнала пикселов.

Новая совокупность существенных признаков позволяет достичь указанного технического результата за счет того, что идентифицируют обрабатываемый блок на принадлежность к малоконтрастному или высококонтрастному изображению, осуществляют для малоконтрастного изображения предварительную обработку (развертку), оценивают параметры нелинейной формирующей системы, формируют сжатый сигнал посредством кодирования параметров нелинейной формирующей системы, формируют для высококонтрастного изображения сжатый сигнал посредством кодирования остаточного сигнала, распаковывают сжатый сигнал и сохраняют распакованный сигнал в качестве восстановленного сигнала пикселов.

Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного способа кодирования изображений на основе нелинейной формирующей системы, отсутствуют. Следовательно, заявленное изобретение соответствует условию патентоспособности «новизна».

Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность влияния предусматриваемых существенными признаками заявленного изобретения преобразований на достижение указанного технического результата. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».

Заявленное изобретение поясняется следующими чертежами:

фиг. 1 - вариант реализации системы эффективного кодирования видеоинформации, обеспечивающей улучшение восприятия восстановленных изображений согласно предлагаемому способу;

фиг. 2 - этапы эффективного кодирования видеоинформации согласно предлагаемому способу;

фиг. 3 - результаты оценки качества восприятия восстановленных изображений в устройствах эффективного кодирования видеоинформации.

Реализация заявленного способа включает в себя этапы: разделения входного изображения на множество блоков, дополнительного разделения блока на множество небольших областей, при этом по меньшей мере одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны; формирование сигналов прогнозирования относительно сигнала пикселов, включенного в рассматриваемую небольшую область; формирование остаточного сигнала между сигналами пикселов рассматриваемой небольшой области и сформированным сигналом прогнозирования; формирование сжатого сигнала посредством кодирования остаточного сигнала; и формирование сжатых данных изображений, которые включают в себя сжатый сигнал и связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области при прогнозирующем кодировании; извлечения остаточного сигнала небольшой области из данных сжатых изображений и распаковки восстановленного остаточного сигнала; извлечения связанной с формированием сигналов прогнозирования информации из данных сжатых изображений; и формирования сигнала прогнозирования небольшой области на основе связанной с формированием сигналов прогнозирования информации; распаковки сигнала пикселов небольшой области посредством добавления восстановленного остаточного сигнала к сигналу прогнозирования небольшой области; и сохранения распакованного сигнала пикселов как восстановленного сигнала пикселов.

Кроме того, на этапе формирования сжатого сигнала остаточный сигнал с узкими диапазонами значений яркости и контрастности (d≤100) [Стремоухов, М.В. Проблемы эффективного кодирования изображений с малой контрастностью и узким динамическим диапазоном. / М.В. Стремоухов, С.В. Чистяков, И.В. Фурцев // Актуальные направления развития систем охраны, специальной связи и информации для нужд государственного управления: IX Всероссийская межведомственная научная конференция (Орел, 11-12 февраля 2015 года). В 12 ч. Ч. 9. / Под общ. ред. В.В. Мизерова. - Орел: Академия ФСО России, 2015. - 163 с., С. 148-151] может быть отнесен к изображениям, обладающим малой контрастностью или узким динамическим диапазоном.

Кроме того, сжатый сигнал для указанного остаточного сигнала может быть получен путем его предварительной обработки, оценки параметров и кодирования параметров нелинейной формирующей системы.

Кроме того, на этапе формирования сжатых данных изображений связанная с формированием сжатого сигнала информация, указывающая способ формирования сжатого сигнала в зависимости от яркости и контрастности, может быть кодирована и сигнал, полученный посредством кодирования, может быть выведен вместе со сжатым сигналом.

Описание способа кодирования изображений на основе нелинейной формирующей системы.

Совокупность функциональных блоков и система логических связей между ними, реализующих заявленный способ кодирования, представлены на фиг. 1.

Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей способ кодирования изображений на основе нелинейной формирующей системы согласно варианту осуществления изобретения.

В частности, как описано выше, фиг. 2 иллюстрирует процесс кодирования на основе нелинейной формирующей системы для каждого блока разделенного на блоки изображения.

На этапе 201 по фиг. 2 регистрируют изображение [Фисенко, В.Т. Компьютерная обработка и распознавание изображений: Учеб. пособие. / В.Т. Фисенко, Т.Ю. Фисенко. – СПб.: СПбГУ ИТМО, 2008. - 192 с., С. 3-11, 31-45], которое поблочно поступает на вход системы кодирования в качестве исходных данных.

На этапе 202 подразделяют рассматриваемый блок изображения, имеющий N×N пикселов, на множество небольших областей при помощи делителя на блоки 101 по фиг. 1а. В этом варианте осуществления, несмотря на то, что число N равно 8 (N=8), оно может быть равно другому целому числу. Небольшая область в варианте осуществления прототипа показывается как имеющая неквадратную форму.

Затем, на этапе 203 выполняют первоначальную установку значения t=1 счетчика t, обеспечивающего идентификацию небольших областей, которые должны обрабатываться, после чего процессы на этапах 204-215, которые должны описываться ниже, выполняются относительно соответствующих небольших областей, определяемых счетчиком t, который после каждого цикла этапов 204-215 прирастает на "1" вплоть до значения t=N. При этом сначала на этапе 204 формируют множество вариантов сигналов прогнозирования относительно рассматриваемой небольшой области (например, при (t=1) - первой небольшой области) при помощи формирователя сигналов прогнозирования 103. В варианте осуществления прототипа на этапе 205 сигнал прогнозирования для первой небольшой области формируют посредством экстраполяции уже восстановленного пиксела (сигнал пикселов группы уже восстановленных пикселов является сигналом пикселов, который кодирован и затем распакован ранее и сохранен в запоминающем устройстве кадров 108), который контактирует с рассматриваемой небольшой областью, путем выбора одного из девяти способов экстраполяции среднего значения уже восстановленных пикселов, дающего наименьшую ошибку из вариантов сигналов прогнозирования, полученных посредством девяти указанных способов в качестве сигнала прогнозирования, и определяет способ формирования определенного сигнала прогнозирования в качестве сигнала режима прогнозирования (в дальнейшем называемого "связанной с формированием сигналов прогнозирования информацией"). Для последующих небольших областей в качестве сигнала прогнозирования используют небольшую область, имеющую наименьшую ошибку из девяти вариантов сигналов прогнозирования, полученных посредством девяти указанных способов. Вышеуказанные этапы 202-203 могут быть выполнены в соответствии с описанием, представленном в прототипе [Пат. 2526764 Российская Федерация, МПК⁷ H04N 19/50. Устройство, способ и программа для прогнозирующего кодирования изображений, устройство, способ и программа для прогнозирующего декодирования изображений и система и способ кодирования/декодирования. / Боон Ч.С. Сузуки Йосинори, Тан Т.К.; заявитель и патентообладатель НТТ ДОКОМО, ИНК. (JP) - №2011134659/08; заявл. 25.12.09; опубл. 27.08.14, Бюл. №24. - 42 с.: ил., С. 13, 14, 16, 17]. Затем выполняется этап 206, на котором получают разность между сигналом пикселов рассматриваемой t-й небольшой области и сигналом прогнозирования данной небольшой области (называемую в последующем "остаточным сигналом между сигналами пикселов рассматриваемой небольшой области и сформированным сигналом прогнозирования", или "остаточным сигналом", или "разностным изображением") при помощи модуля вычитания 102, отличающийся тем, что анализируется разность между сигналом пикселов рассматриваемой t-й небольшой области и сигналом прогнозирования данной небольшой области и определяется способ формирования определенного сигнала способа формирования сжатого сигнала в зависимости от яркости и контрастности, в качестве сигнала способа формирования сжатого сигнала (в дальнейшем называемого "связанной с формированием сжатого сигнала информацией"), в зависимости от диапазона значений яркости и контрастности относится к обычным изображениям, - тогда с помощью блока переключения режимов кодирования 104 обеспечивают выполнение этапа 207: частотное преобразование полученного остаточного сигнала преобразователем 105, последующее квантование преобразованного остаточного сигнала в блоке 109 и энтропийное кодирование квантованного остаточного сигнала с помощью кода переменной длины или арифметического кода в блоке 113, формируя, тем самым, сжатый сигнал [Пат. 2526764 Российская Федерация, МПК⁷ H04N 19/50. Устройство, способ и программа для прогнозирующего кодирования изображений, устройство, способ и программа для прогнозирующего декодирования изображений и система и способ кодирования/декодирования. / Боон Ч.С., Сузуки Йосинори, Тан Т.К.; заявитель и патентообладатель НТТ ДОКОМО, ИНК. (JP) - №2011134659/08; заявл. 25.12.09; опубл. 27.08.14, Бюл. №24. - 42 с.: ил., С. 14, 17], - либо к изображениям, обладающим малой контрастностью или узким динамическим диапазоном [Стремоухов, М.В. Проблемы эффективного кодирования изображений с малой контрастностью и узким динамическим диапазоном. / М.В. Стремоухов, С.В. Чистяков, И.В. Фурцев // Актуальные направления развития систем охраны, специальной связи и информации для нужд государственного управления: IX Всероссийская межведомственная научная конференция (Орел, 11-12 февраля 2015 года). В 12 ч. Ч. 9. / Под общ. ред. B.В. Мизерова. - Орел: Академия ФСО России, 2015. - 163 с., С. 148-151]. В последнем случае переключатель режима кодирования 104 обеспечивает: на этапе 208 - преобразование рассматриваемой t-й небольшой области в последовательность пикселов (развертку) при помощи блока предварительной обработки 107 (используя, например, какую-либо рекурсивную развертку [Александров, В.В. Представление и обработка изображений: Рекурсивный подход. / В.В. Александров, Н.Д. Горский. - Л.: Наука, 1985. - 192 с., C. 38-44]) и на этапе 209 - оценку параметров нелинейной формирующей системы блоком 106 путем формирования из полученной на предыдущем этапе последовательности пикселов текущего кодируемого субблока с одновременным формированием соответствующей данному субблоку возбуждающей последовательности (этап 210), обеспечивающих идентификацию параметров нелинейной формирующей системы (этап 211), являющейся параметрической моделью кодируемого субблока [Стремоухов, М.В. Математическая модель формирующей системы, учитывающая нелинейные статистические зависимости изображений. / М.В. Стремоухов, С.В. Чистяков // Известия ЮФУ. Технические науки. - 2012. - №6. - С. 156-161]; затем на этапе 213 - последующее квантование в блоке 109 полученных значений параметров нелинейной формирующей системы и энтропийное кодирование в блоке 113 квантованных значений параметров нелинейной формирующей системы с помощью кода переменной длины или арифметического кода, также формирующее сжатый сигнал в соответствии с процедурами, предусмотренными стандартом Н.264 [Гук, И. Особенности сжатия видеоданных по рекомендации Н.264 / MPEG 4 Part 10 / И. Гук // Компоненты и технологии. – 2006. - №2. - С. 5-7. - Guk_2006_02_20.pdf. Источник: http://www.kit-e.ru]. Затем на следующем этапе 213 выводятся из терминала 114 вывода сжатый сигнал и связанная с формированием сигналов прогнозирования и связанная с формирования сжатого сигнала информация, полученная на этапах 207 или 212.

Кодированный сигнал t-й небольшой области используется для того, чтобы прогнозировать t+1 небольшую область, которая должна обрабатываться следующей. Вследствие этого остаточный сигнал t-й небольшой области деквантуется посредством деквантователя 110, обратно преобразуется посредством обратного преобразователя 111, при этом в зависимости от связанной с формированием сжатого сигнала информацией блоком переключения режимов кодирования 104 (фиг. 1б) выбирается соответствующий режим обратного преобразования (при помощи блока 111.3 для обычных изображений или при помощи блоков 111.1 и 111.2 для изображений, обладающих малой контрастностью или узким динамическим диапазоном, притом блок 111.1 может быть реализован в соответствии с уже известным решением (патент №125749 от 10.03.2013), а блок 111.2 реализует процедуры, обратные выполняемым блоком 107 (подобно описанным в литературе [Александров, В.В. Представление и обработка изображений: Рекурсивный подход. / В.В. Александров, Н.Д. Горский. - Л.: Наука, 1985. - 192 с., С. 38-44]), и, затем, добавляется к сигналу прогнозирования, полученному так, как указано выше, посредством сумматора 112, чтобы формировать восстановленный сигнал t-й небольшой области (этап 214). Затем, чтобы формировать сигнал прогнозирования следующей t+1 небольшой области, восстановленный сигнал t-й небольшой области временно сохраняется в запоминающем устройстве 108 кадров (этап 215).

Процессы на этапах 204-215 выполняются относительно соответствующих рассматриваемых блоков, определяемых счетчиком t, и когда определяется то, что обработка всех рассматриваемых блоков завершена (значения t=N), на этапе 203, процесс по фиг. 2 заканчивается.

Заявленный способ кодирования изображений на основе нелинейной формирующей системы обеспечивает повышение визуального субъективного качества восстановления видеоинформации по сравнению с известным методом частотного преобразования ДКП при сопоставимых значениях объективного показателя по критерию пикового отношения сигнал/шум (ПОСШ). Для доказательства достижения заявленного технического результата приведены экспериментальные исследования в соответствии с Рекомендацией МСЭ-Т ВТ.500-13 с ограниченной сферой охвата для "домашней среды" группой до 15 наблюдателей, не являющихся экспертами.

Для определения субъективной оценки качества использовались наборы тестовых обычных изображений и изображений, являющихся малоконтрастными и обладающих узким динамическим диапазоном.

Указанные изображения обрабатывались с использованием варианта выполнения согласно способу-прототипу и варианта реализации кодирования изображений на основе нелинейной формирующей системы (фиг. 1) согласно предлагаемому способу.

Результаты оценивания согласно способу-прототипу и предлагаемому способу (фиг. 3) указывают на повышение визуального субъективного качества восстановления видеоинформации по сравнению с известным методом частотного преобразования ДКП при достаточно сопоставимых значениях объективного показателя по критерию пикового отношения сигнал/шум (ПОСШ) в заявляемом способе и решение поставленной задачи изобретения.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества восстановленной видеоинформации. Предложен способ кодирования изображений на основе нелинейной формирующей системы, в котором на этапе формирования сигнала прогнозирования подразделяют рассматриваемый блок на множество небольших областей и формируют сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела или блока пикселов, которые контактируют с первой стороной, при этом на этапе формирования сжатого сигнала идентифицируют обрабатываемый блок в зависимости от диапазона значений яркости и контрастности на принадлежность к высококонтрастному либо обладающему малой контрастностью изображению, осуществляют для идентифицированного как обладающего малой контрастностью изображения преобразование рассматриваемого блока в последовательность пикселов, оценку параметров нелинейной формирующей системы, формирование сжатого сигнала посредством кодирования параметров нелинейной формирующей системы, осуществляют для идентифицированного как высококонтрастного изображения формирование сжатого сигнала посредством кодирования остаточного сигнала, распаковывают сжатый сигнал и сохраняют распакованный сигнал в качестве восстановленного сигнала пикселов. 3 ил.

Способ кодирования изображений на основе нелинейной формирующей системы, содержащий этапы, на которых разделяют входное изображение на множество блоков, формируют сигнал прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков, формируют остаточный сигнал между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования, при этом на этапе формирования сигнала прогнозирования подразделяют рассматриваемый блок на множество небольших областей, причем по меньшей мере одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и на этапе формирования сигнала прогнозирования формируют сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела или блока пикселов, которые контактируют с первой стороной, отличающийся тем, что на этапе формирования сжатого сигнала идентифицируют обрабатываемый блок в зависимости от диапазона значений яркости и контрастности на принадлежность к высококонтрастному либо обладающему малой контрастностью или узким динамическим диапазоном изображению, осуществляют для идентифицированного как обладающего малой контрастностью или узким динамическим диапазоном изображения преобразование рассматриваемого блока в последовательность пикселов, оценку параметров нелинейной формирующей системы, формирование сжатого сигнала посредством кодирования параметров нелинейной формирующей системы, осуществляют для идентифицированного как высококонтрастного изображения формирование сжатого сигнала посредством кодирования остаточного сигнала, распаковывают сжатый сигнал и сохраняют распакованный сигнал в качестве восстановленного сигнала пикселов.