СПОСОБ ПОВЫШЕНИЯ РАЗРЕШАЮЩЕЙ СПОСОБНОСТИ ВИДЕОСИСТЕМ Российский патент 2015 года по МПК H04N5/349 H04N7/15 G06T5/00 

Предлагаемое изобретение может быть использовано в системах передачи телевизионных изображений, например, с помощью приборов, выполненных на основе твердого тела с электрической разверткой и с электрическим сканированием.

Известен способ повышения разрешающей способности видеосистем (см., например, патент США №4038690 «Система формирования видеосигнала на ПЗС», МПК H04N 3/14, опубл. 26.07.1977 г. ), включающий использование двух матриц ПЗС, выполненных с зазорами между пикселями, взаимное расположение которых предусматривает возможность смещения по горизонтали пикселей одной из матриц относительно другой на половину ширины пикселя.

Известный способ потенциально обеспечивает возможность повышения разрешающей способности такой телевизионной камеры по горизонтали вдвое по сравнению с телекамерой на одной матрице ПЗС, однако при практической ее реализации возникает проблема поддержания высокой точности относительного смещения двух матриц ПЗС, а кроме того, наличие зазоров между элементами в матрицах ПЗС вызывает потери части воспринимаемого матрицами светового потока и, следовательно, уменьшение чувствительности телекамеры.

Наиболее близким аналогом-прототипом является способ повышения разрешающей способности видеосистем, основанный на использовании субпиксельного сдвига в соседних кадрах изображения одного и того же объекта (см., например, Восстановление изображения со сверх разрешением: технический обзор (Park S.Ch., Park М.K. Kang M.Gi. Super-resolution image reconstruction: a technical overview. Signal Processing Magazine. IEEE. Volume 20. Issue 3. May 2003. Page(s): 21-23. Digital Object Identifier 10.1109/MSR. 2003.12003207), см. также приложение 1).

Данный способ обеспечивает возможность повышения разрешения и по горизонтали, и по вертикали, однако при его использовании возникает целый ряд заранее не решаемых вопросов: как получать смещенные изображения, сколько кадров необходимо, как определить величину смещения между кадрами, как бороться с шумом, возникающим от дублирования информации, не теряя получаемую детальность, какова будет кратность увеличения разрешения и т.д.

Задача изобретения состоит в разработке способа, обеспечивающего двукратное повышение разрешающей способности видеосистем и снимающего поставленные выше вопросы.

Сущность изобретения состоит в том, что в способе повышения разрешающей способности видеосистем, основанном на использовании субпиксельного сдвига матричного изображения в соседних кадрах при съеме информации, четные кадры снимают со сдвигом по диагонали на полпикселя относительно нечетных кадров и снятые кадры запоминают, после чего размеры этих кадров увеличивают путем введения в их матричную структуру нулевых столбцов и строк и эти увеличенные кадры тоже запоминают, а потом производят формирование последовательности выходных сигналов путем одновременного или последовательного считывания данных каждого увеличенного нечетного и соответствующего увеличенного четного кадров, при этом снимаемые выходные сигналы обрабатывают с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот (ФНЧ), который выполняют с областью пропускания в виде октаэдра.

При этом, если четные кадры снимают со сдвигом слева направо сверху вниз по диагонали на полпикселя относительно нечетных кадров, то размеры снятых кадров видеоизображения увеличивают путем введения в их матричную структуру в нечетные кадры четных нулевых столбцов и строк, а в четные кадры - соответственно нечетных столбцов и строк; если четные кадры снимают со сдвигом справа налево снизу вверх по диагонали на полпикселя относительно нечетных кадров, то размеры снятых кадров видеоизображения увеличивают путем введения в их матричную структуру в нечетные кадры нечетных нулевых столбцов и строк, а в четные кадры - соответственно четных столбцов и строк; если четные кадры снимают со сдвигом слева направо снизу верх по диагонали на полпикселя относительно нечетных кадров, то размеры снятых кадров видеоизображения увеличивают путем введения в их матричную структуру в нечетные кадры нулевых четных столбцов и нечетных строк, а в четные кадры - соответственно нечетных столбцов и четных строк; если четные кадры снимают со сдвигом справа налево сверху вниз по диагонали на полпикселя относительно нечетных кадров, то размеры снятых кадров видеоизображения увеличивают путем введения в их матричную структуру в нечетные кадры нулевых нечетных столбцов и четных строк, а в четные кадры - соответственно четных столбцов и нечетных строк.

При этом пиксели исходных кадров перемежают нулевыми строками и столбцами и таким образом формируют пространственно-временную решетку из двух кадров с треугольной дискретизацией, причем интерполяцию этих двух кадров осуществляют с помощью трехмерного интерполяционного пространственно-временного ФНЧ с областью пропускания в виде октаэдра

Техническим результатом предлагаемого изобретения является повышение разрешающей способности видеосистем за счет двукратного увеличения пиксельного размера кадра.

На фиг. 1 представлен вариант устройства для реализации способа повышения разрешающей способности видеосистем с помощью двух одинаковых матриц, обеспечивающих возможность получения изображения путем формирования смещенных по диагонали на полпикселя кадров; на фиг. 2 приведена схема взаимного расположения кадров изображения, смещенных на полпикселя по диагонали; на фиг. 3 представлена пространственно-частотная характеристика (ПЧХ) синтезированного трехмерного интерполяционного пространственно-временного ФНЧ.

Формирование двух кадров, смещенных на полпикселя по диагонали, можно осуществлять с помощью устройства с одной матрицей, например матрицей ПЗС (см., например, http://www.youtobe.com/watch?v=XqtYSO9auvo) за счет вибрирования носителя (камеры). Для последующей обработки информации, получаемой от такого устройства, необходима реализация трехмерного интерполяционного пространственно-временного ФНЧ с осуществлением задержки на кадр.

Другим вариантом устройства для реализации способа повышения разрешающей способности видеосистем является устройство, в котором использованы две одинаковые матрицы (фиг. 1), в котором с помощью полупрозрачного и непрозрачного зеркал (соответственно 1 и 2) осуществляют деление проходящего через объектив 3 светового потока между матрицами (соответственно 4 и 5), установленными с возможностью формирования кадров сцен, смещенных относительно друг друга на полпикселя по диагонали. При такой схеме в каждый момент времени одновременно производят съем информации с двух диагонально смещенных кадров, что упрощает реализацию трехмерного интерполяционного пространственно-временного ФНЧ, исключая необходимость осуществления задержки на кадр.

Для синтеза такого трехмерного интерполяционного пространственно-временного ФНЧ можно воспользоваться методом многомерной рекурсивно-нерекурсивной фильтрации (см., например, Бородянский А.А., Дрынкин В.Н. Синтез многомерных рекурсивно-нерекурсивных фильтров. «Радиотехника», 1986 г., №4, с. 47-51). Согласно теории дискретизации восстановление изображения по его отсчетам сводится к синтезу многомерного интерполяционного ФНЧ, область пропускания (или прозрачности) которого согласована (совпадает) с областью существования спектра изображения (см., например, Бородянский А.А. Гипертреугольная дискретизация n-мерных сообщений. «Радиотехника», 1985 г., №4).

Степень практического соответствия требуемой и получаемой конфигураций области пропускания будет определяться точностью аппроксимации частотных характеристик нерекурсивных фильтров обратных связей и, следовательно, протяженностью импульсных характеристик этих фильтров (см., например, Бородянский А.А., Дрынкин В.Н. Синтез многомерных рекурсивно-нерекурсивных фильтров. «Радиотехника», 1986 г., №4, с. 47-51).

В случае треугольной дискретизации с учетом анизотропии спектров реальных изображений определим область пропускания трехмерного интерполяционного пространственно-временного ФНЧ в виде октаэдра вида:

где - соответствующие нормированные продольные, поперечные и временные частоты, принимающие значения от 0 до 1.

Учитывая, что кадр повышенного разрешения формируют из двух соседних кадров, ограничимся трехмерным интерполяционным пространственно-временным ФНЧ первого порядка с фиксированным нулем передаточной функции z₀=-1 на основе Чебышевского одномерного аналогового прототипа, имеющего один вещественный полюс w_p.

Синтезируемый трехмерный интерполяционный пространственно-временной ФНЧ представляет собой каскадное включение трехмерного, двумерного и одномерного звеньев:

Конфигурация области пропускания синтезируемого трехмерного интерполяционного пространственно-временного ФНЧ (2) в направлении временных частот v_t полностью определяется трехмерным рекурсивно-нерекурсивным звеном, содержащем память на кадр

где

представляет собой ПЧХ двумерной нерекурсивной цепи обратной связи.

Для получения практически реализуемой структуры примем а=0,8 и, учитывая, что Чебышевский одномерный аналоговый прототип при неравномерности частотной характеристики в полосе пропускания δ=1 дБ имеет w_p=-1,9652267 (см., например, Альбац М.Е. Справочник по расчету фильтров и линий задержки. Госэнергоиздат. - М.-Л., 1963), аппроксимируем выражение (4) двумерным тригонометрическим рядом:

Здесь представляет собой двумерную нерекурсивную цепь, содержащую 2 задержки на строку и 6 задержек на элемент строки.

Коэффициенты этого ряда определяют с помощью двумерного быстрого преобразования Фурье (БПФ) относительно (4), а коэффициент γ=0,81 выбирают из соображений обеспечения устойчивости синтезируемого трехмерного интерполяционного пространственно-временного ФНЧ.

Конфигурация области пропускания синтезируемого трехмерного интерполяционного пространственно-временного ФНЧ (2) в плоскости изображения (v_x,v_y) определяется двумерным рекурсивно-нерекурсивным звеном, содержащим память на строку

где

Для получения практически реализуемой структуры этой цепи аппроксимируем (7) одномерным тригонометрическим рядом с учетом а=0,8 и w_p=-1,9652267.

где представляет собой одномерную нерекурсивную цепь, содержащую 8 задержек на элемент строки.

Одномерное звено K(v_x) выражения (2), содержащее память на элемент строки , задает частоту среза трехмерного интерполяционного пространственно-временного ФНЧ в направлении частот v_x и для фильтра первого порядка имеет вид

где с учетом сделанных выше допущений

Результирующая ПЧХ трехмерного интерполяционного пространственно-временного ФНЧ показана на фиг. 3 в виде поверхности уровня K(v_x, v_y, v_t)=0,8 для положительной области нормированных частот.

Аппаратная реализация трехмерного интерполяционного пространственно-временного ФНЧ производилась на элементной базе программируемой логической интегральной схемы (ПЛИС) марки EP3C25F324C6 фирмы Altera из семейства Cyclone III, программирование ПЛИС осуществлялось на универсальном языке описания аппаратуры Verilog HDL при помощи среды разработки Quartus II версии 12.1 (см., например, Бондаренко А.В., Докучаев И.В., Дрынкин В.Н.и др. Аппаратная реализация трехмерного фильтра // Техническое зрение в системах управления - 2013. Труды научно-технической конференции. Москва, ИКИ РАН, 12-14 марта 2013 г. (в печати)).

В приложении 2 приведены структурные схемы трехмерных интерполяционных пространственно-временных ФНЧ для случая формирования изображения повышенного разрешения путем смещения кадров на полпикселя по диагонали друг относительно друга с помощью одной матрицы (фиг. 1 приложения 2), когда нечетные и четные кадры видеоизображения последовательно поступают на вход трехмерного звена, содержащего память на кадр, и для случая формирования видеоизображения повышенного разрешения путем смещения кадров на полпикселя по диагонали друг относительно друга с помощью двух матриц (фиг. 2 приложения 2), когда память на кадр отсутствует.

Кроме того, в приложении 2 представлены схемы формирования кадров видеоизображений в соответствии с приведенными в формуле изобретения вариантами (фиг. 3-6 приложения 2), а также приведено изображение штриховой миры повышенного разрешения, полученное с помощью трехмерного интерполяционного ФНЧ из двух диагонально смещенных на полпикселя входных кадров низкого разрешения (фиг. 7 приложения 2), и для сравнения показан один из входных кадров низкого разрешения (фиг. 8 приложения 2).

ПРИЛОЖЕНИЕ 2 ДОПОЛНЕНИЕ

Комментарий к фигурам описания

Фиг. 1. Устройство для реализации способа повышения разрешающей способности видеосистем с помощью двух одинаковых матриц, обеспечивающих возможность получения изображения путем формирования смещенных по диагонали на полпикселя кадров.

На фиг. 1 показан пример выполнения устройства, в котором использованы две одинаковые матрицы. В этом устройстве с помощью полупрозрачного и непрозрачного зеркал (соответственно 1 и 2) осуществляют деление проходящего через объектив 3 светового потока между матрицами 4 и 5, установленными с возможностью формирования кадров сцен, смещенных относительно друг друга на полпикселя по диагонали (фиг. 2). При такой схеме в каждый момент времени одновременно производят съем информации с двух диагонально смещенных кадров, что упрощает реализацию трехмерного интерполяционного пространственно-временного ФНЧ, исключая необходимость осуществления задержки на кадр.

Фиг. 2. Схема взаимного расположения кадров изображения, смещенных на полпикселя по диагонали.

Фиг. 3. Пространственно-частотная характеристика синтезированного трехмерного интерполяционного пространственно-временного ФНЧ в виде поверхности уровня для положительной области нормированных частот.

Согласно теории дискретизации восстановление изображения по его отсчетам сводится к синтезу многомерного интерполяционного пространственно-временного ФНЧ, область пропускания частотной характеристики которого согласована с областью существования спектра изображения. Изображенная на фиг. 3 область пропускания представляет собой аппроксимацию октаэдра Такая область пропускания наилучшим образом согласована со спектрами существования реальных изображений, что обеспечивает полное восстановление пикселей изображения, а также ослабление помех дискретизации и высокочастотных шумов.

Описание фигур Приложения 2

Фиг. 1. Структурная схема трехмерного интерполяционного пространственно-временного ФНЧ для случая формирования изображения повышенного разрешения путем смещения кадров на полпикселя по диагонали друг относительно друга с помощью одной матрицы, где и - соответственно Фурье-образы нечетного и четного диагонально смещенных входных кадров, - Фурье-образ выходного кадра повышенного разрешения.

На фиг. 1 изображен пример реализации трехмерного интерполяционного пространственно-временного ФНЧ, в котором нечетные S₁ и четные S₂ кадры видеоизображения последовательно поступают на вход ФНЧ. Интерполяция (восстановление) пикселей осуществляется с помощью каскадно включенных трехмерного рекурсивно-нерекурсивного звена, содержащего память на кадр двумерного рекурсивно-нерекурсивного звена, содержащего память на строку и одномерного рекурсивно-нерекурсивного звена, содержащего память на элемент строки

В трехмерном звене значение текущего элемента кадра (например, S₂) складывается в сумматоре 1 с нерекурсивно взвешенными в соответствии с выражением (5) двумя предыдущими элементами двух предыдущих строк, двумя соответствующими элементами двух предыдущих строк, двумя предыдущими элементами соответствующей строки и соответствующим элементом предыдущего (например, S₁) кадра (по цепи рекурсивной обратной связи). Затем полученное значение усредняется в сумматоре 2 с соответствующим элементом предыдущего кадра (по цепи нерекурсивной прямой связи).

В двумерном звене значение текущего элемента строки складывается в сумматоре 3 с нерекурсивно взвешенными в соответствии с выражением (8) восемью предыдущими элементами и соответствующим элементом предыдущей строки (по цепи рекурсивной обратной связи), а затем полученное значение усредняется в сумматоре 4 с соответствующим элементом предыдущей строки (по цепи нерекурсивной прямой связи).

В одномерном звене значение текущего элемента строки складывается в сумматоре 5 со взвешенным на коэффициент β значением предыдущего элемента строки (по цепи рекурсивной обратной связи), а затем полученное значение усредняется в сумматоре 6 с тем же самым предыдущим элементом строки (по цепи нерекурсивной прямой связи).

Фиг. 2. Структурная схема трехмерного интерполяционного пространственно-временного ФНЧ для случая формирования видеоизображения повышенного разрешения путем смещения кадров на полпикселя по диагонали друг относительно друга с помощью двух матриц, когда память на кадр отсутствует.

На фиг. 2 изображен пример реализации трехмерного интерполяционного пространственно-временного ФНЧ, в котором нечетные S₁ и четные S₂ кадры видеоизображения одновременно поступают на вход трехмерного интерполяционного пространственно-временного ФНЧ. Дальнейшая интерполяция (восстановление) пикселей осуществляется аналогично примеру реализации трехмерного интерполяционного пространственно-временного ФНЧ, изображенному на фиг. 1.

Фиг. 3. Схема формирования кадров видеоизображений для случая, когда четные кадры снимают со сдвигом слева направо сверху вниз по диагонали на полпикселя относительно нечетных кадров.

Фиг. 4. Схема формирования кадров видеоизображений для случая, когда четные кадры снимают со сдвигом справа налево снизу вверх по диагонали на полпикселя относительно нечетных кадров.

Фиг. 5. Схема формирования кадров видеоизображений для случая, когда четные кадры снимают со сдвигом слева направо снизу верх по диагонали на полпикселя относительно нечетных кадров.

Фиг. 6. Схема формирования кадров видеоизображений для случая, когда четные кадры снимают со сдвигом справа налево сверху вниз по диагонали на полпикселя относительно нечетных кадров.

На фиг. 3-6 увеличенные кадры имеют вдвое больший по горизонтали и по вертикали пиксельный размер за счет введения в их матричную структуру нулевых столбцов и строк.

Фиг. 7. Пример выходного изображения штриховой миры повышенного разрешения, полученного с помощью трехмерного интерполяционного пространственно-временного ФНЧ из двух диагонально смещенных на полпикселя входных кадров.

Фиг. 8. Один из входных кадров изображения штриховой миры.

Изобретение относится к системам передачи телевизионных изображений, например, с помощью приборов, выполненных на основе твердого тела с электрической разверткой и с электрическим сканированием. Техническим результатом является повышение разрешающей способности видеосистем за счет двукратного увеличения пиксельного размера кадра. Предложен способ повышения разрешающей способности видеосистем, основанный на использовании субпиксельного сдвига матричного изображения в соседних кадрах при съеме информации, характеризуется тем, что четные кадры снимают со сдвигом по диагонали на полпикселя относительно нечетных кадров и снятые кадры запоминают, после чего размеры этих кадров увеличивают путем введения в их матричную структуру нулевых столбцов и строк и эти увеличенные кадры тоже запоминают, а потом производят формирование последовательности выходных сигналов путем одновременного или последовательного считывания данных каждого увеличенного нечетного и соответствующего увеличенного четного кадров, при этом снимаемые выходные сигналы обрабатывают с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот, который выполняют с областью прозрачности в виде октаэдра. 9 з.п. ф-лы, 3 ил., 2 прил.

1. Способ повышения разрешающей способности видеосистем, основанный на использовании субпиксельного сдвига матричного изображения в соседних кадрах при съеме информации, характеризующийся тем, что четные кадры снимают со сдвигом по диагонали на полпикселя относительно нечетных кадров и снятые кадры запоминают, после чего размеры этих кадров увеличивают путем введения в их матричную структуру нулевых столбцов и строк и эти увеличенные кадры тоже запоминают, а потом производят формирование последовательности выходных сигналов путем одновременного или последовательного считывания данных каждого увеличенного нечетного и соответствующего увеличенного четного кадров, при этом снимаемые выходные сигналы обрабатывают с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот.

2. Способ повышения разрешающей способности видеосистем по п.1, отличающийся тем, что трехмерный интерполяционный пространственно-временной фильтр нижних частот выполняют с областью пропускания в виде октаэдра.

3. Способ повышения разрешающей способности видеосистем по п.1, отличающийся тем, что четные кадры снимают со сдвигом слева направо сверху вниз по диагонали на полпикселя относительно нечетных кадров.

4. Способ повышения разрешающей способности видеосистем по п.1 или 3, отличающийся тем, что размеры снятых кадров видеоизображения увеличивают путем введения в их матричную структуру в нечетные кадры четных нулевых столбцов и строк, а в четные кадры соответственно нечетных столбцов и строк.

5. Способ повышения разрешающей способности видеосистем по п.1, отличающийся тем, что четные кадры снимают со сдвигом справа налево снизу вверх по диагонали на полпикселя относительно нечетных кадров.

6. Способ повышения разрешающей способности видеосистем по п.1 или 5, отличающийся тем, что размеры снятых кадров видеоизображения увеличивают путем введения в их матричную структуру в нечетные кадры нечетных нулевых столбцов и строк, а в четные кадры соответственно четных столбцов и строк.

7. Способ повышения разрешающей способности видеосистем по п.1, отличающийся тем, что четные кадры снимают со сдвигом слева направо снизу верх по диагонали на полпикселя относительно нечетных кадров.

8. Способ повышения разрешающей способности видеосистем по п.1 или 7, отличающийся тем, что размеры снятых кадров видеоизображения увеличивают путем введения в их матричную структуру в нечетные кадры нулевых четных столбцов и нечетных строк, а в четные кадры соответственно нечетных столбцов и четных строк.

9. Способ повышения разрешающей способности видеосистем по п.1, отличающийся тем, что четные кадры снимают со сдвигом справа налево сверху вниз по диагонали на полпикселя относительно нечетных кадров.

10. Способ повышения разрешающей способности видеосистем по п.1 или 9, отличающийся тем, что размеры снятых кадров видеоизображения увеличивают путем введения в их матричную структуру в нечетные кадры нулевых нечетных столбцов и четных строк, а в четные кадры соответственно четных столбцов и нечетных строк.