СПОСОБ УВЕЛИЧЕНИЯ РАЗРЕШЕНИЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ Российский патент 2012 года по МПК G06T9/20 G06K9/36 

Изобретение относится к области цифровой обработки движущихся изображений и может быть использовано в компактных, любительских и профессиональных фото/видеокамерах при решении задачи создания качественной видеозаписи.

Известен способ увеличения разрешения видеопоследовательности, основанный на вейвлет-анализе, в котором каждый кадр видеопоследовательности представляют как набор вейвлет-коэффициентов, полученных из блока декодирования видео, использующего дискретное вейвлет-преобразование (заявка на изобретение РФ №2007132982, дата публикации 10.03.2009). Этот набор вейвлет-коэффициентов преобразуют методом уточнения коэффициентов, и далее модифицированный набор вейвлет-коэффициентов используют в качестве входных данных при интерполяции путем путем обратного дискретного вейвлет-преобразования, в результате которого получают увеличенный кадр видеопоследовательности; при этом интерполяцию интегрируют с декодированием, используя промежуточные коэффициенты, полученные при декодировании, в качестве входных данных для интерполяции; и при уточнении вейвлет-коэффициентов выполняют линейную интерполяцию с использованием информации о направлении границ.

Недостаток данного способа (а также всех способов, использующих интерполяцию) заключается в том, что интерполяция не позволяет извлечь новую качественную информацию из изображений и тем самым объективно повысить детализацию и динамический диапазон изображения.

Известен способ помехоустойчивого градиентного выделения контура объектов на цифровых изображениях (заявка на изобретение РФ №2008133097 МПК G06K 9/48, H04N 1/409, дата публикации 27.06.09), решающий задачу распознавания образов по их контурам на цифровых изображениях. Техническим результатом является повышение устойчивости градиентых операторов выделения контура к импульсным помехам, возникающим вследствие многих условий передачи и преобразования изображений. Способ помехоустойчивого градиентного выделения контуров объектов на цифровых полутоновых изображениях основан на том, что предварительно осуществляют операцию оценивания локальных импульсных помех на изображении, после чего формируют четыре вспомогательные маски, а также четыре соответствующих управляющих вектора, соответствующих четырем разноориентированным маскам Превитта. После этого с использованием данных масок вычисляют приближенное значение модуля градиента изображения и путем его порогового преобразования получают контуры объектов на изображении.

Техническим результатом является повышение разрешения и динамического диапазона видеопоследовательности, а также возможность получения изображения фотографического качества из видеопоследовательности.

Поставленная задача решается тем, что разработан новый способ помехоустойчивого градиентного выделения контура объектов на цифровых изображениях, отличающийся от существующих тем, что для выделения контуров в видеопоследовательности низкого разрешения, используется информация с фотографий высокого разрешения (выделение градиентных контуров) и взаимная идентификация контуров с фотографии и видеопоследовательности.

Во время записи видео с помощью стандартных последовательностей сжатия при разрешении записи (a*b), где a - горизонтальная составляющая разрешения видеозаписи, b - вертикальная составляющая разрешения видеозаписи, осуществляется вставка фотографий с разрешением (A*B), где A - горизонтальная составляющая разрешения фотографии, B - вертикальная составляющая разрешения фотографии, причем A>a, B>b, полученную с фотографий информацию передают анализатору, производящему корреляционный анализ видеопоследовательности и фотографий, а в дальнейшем - генератору для генерирования видеопоследовательности более высокого качества, чем основной поток видеоданных.

Кроме того, для получения вспомогательных фотографий и фиксации видеопоследовательности используют разные приемные фиксирующие датчики.

С матрицы для приема фотографий считывают параметры - баланс белого, экспозиция в разных участках кадра для передачи анализатору видеопоследовательности, с целью улучшения динамического диапазона итоговой видеопоследовательности.

В новом способе увеличения разрешения видеопоследовательности предлагается использовать способ для получения контуров объектов на видеопоследовательности низкого разрешения и вспомогательных фотографиях высокого разрешения, который осуществляет операцию оценивания локальных импульсных помех на видеопоследовательности и фотографиях, после чего формирует вспомогательные маски, а также соответствующие управляющие вектора. После этого с использованием данных масок вычисляют приближенное значение модуля градиента изображения на видеопоследовательности и вспомогательных фотографиях и путем его преобразования получают контуры объектов на изображениях, затем с помощью сравнения производят взаимную идентификацию объектов на видеопоследовательности и вспомогательных фотографиях для генерирования итоговой видеопоследовательности фотографического качества.

Предлагаемый новый способ увеличения разрешения видеопоследовательности на основе преобразования информации из вспомогательных фотографий является весьма актуальным.

Существо изобретения поясняется чертежом. На чертеже изображены: основной объектив для получения видеопоследовательности и вспомогательных фотографий (1), дополнительный (необязательный) объектив для получения вспомогательных фотографий (2), фиксирующие датчики: приемная матрица для приема основного потока видеопоследовательности с низким разрешеним (3), матрица для приема вспомогательных фотографий высокого разрешения (4), корреляционный анализатор (5), генератор видеопоследовательности (6).

Изображения, поступающее на объективы 1 и 2, независимо принимаются приемными датчиками изображения (приемными матрицами 3 и 4).

Информация, полученная с приемных датчиков изображения (3, 4) передается анализатору (5), производящему корреляционный анализ видеопоследовательности и вспомогательных фотографий, а в дальнейшем - генератору (6) для генерирования видеопоследовательности более высокого качества, чем основной поток видеоданных.

ПРИМЕР КОНКРЕТНОЙ РЕАЛИЗАЦИИ

Создан поток видеоданных П1 разрешением 320*240 точек, снимающий движущийся по определенной циклической траектории объект О (с периодом повторения Т₀) с помощью цифрового фотоаппарата ФА1 (Olympus С-725). Затем, в начале следующего повторения цикла движения объекта О, в момент времени (T₁>T₀) производится фотография объекта О с разрешением 1984*1488 точек Ф1 с помощью цифрового фотоаппарата ФА1. Также с помощью цифрового фотоаппарата ФА1 производится съемка объекта О с интервалом 1 с (фотографии Фi в моменты времени Ti>=T1+i (с)). С помощью программы VirtualDub производится вставка фотографий Фi в поток П1 с соответствующими временными метками (Ti-T1). В дальнейшем, с помощью специально разработанного программного обеспечения производится идентификация контуров изображения в видеопоследовательности П1 и на вспомогательных фотографиях Фi в этой же последовательности, нахождение корреляции и моделирование кадров с разрешением 1984*1488 точек. Таким образом, создается итоговая видеопоследовательность с разрешением 1984*1488 точек и частотой кадров, равной частоте видеопоследовательности П1.

Изобретение относится к средствам цифровой обработки изображений. Техническим результатом является повышение разрешения и динамического диапазона видеопоследовательности. В способе для выделения контуров движущегося объекта в видеопоследовательности низкого разрешения используется информация со вспомогательных фотографий указанного объекта, снятых с высоким разрешением, осуществляется взаимная идентификация контуров с фотографии и видеопоследовательности в соответствующие моменты времени в той же последовательности с корреляцией и моделированием кадров с высоким разрешением. 4 з.п. ф-лы, 1 ил.

1. Способ помехоустойчивого градиентного выделения контура объектов на цифровых изображениях, который осуществляет операцию оценивания локальных импульсных помех на изображении, после чего формируются вспомогательные маски, а также соответствующие управляющие вектора, отличающийся от существующих тем, что для выделения контуров движущегося объекта, снятого с помощью цифрового фотоаппарата, в видеопоследовательности низкого разрешения используется информация со вспомогательных фотографий движущегося объекта, снятых с высоким разрешением, и осуществляется взаимная идентификация контуров с фотографии и видеопоследовательности в соответствующие моменты времени в той же последовательности с корреляцией и моделированием кадров с высоким разрешением.

2. Способ по п.1, отличающийся тем, что во время записи видео с разрешением записи а·b, где а - горизонтальная составляющая разрешения видеозаписи, b - вертикальная составляющая разрешения видеозаписи, осуществляется вставка фотографий с разрешением А·В, где А - горизонтальная составляющая разрешения фотографий, В - вертикальная составляющая разрешения фотографий, причем А>а, В>b, полученная с фотографий информация передается анализатору, производящему корреляционный анализ видеопоследовательности и вспомогательных фотографий, выделение и сопоставление контуров изображений на видеопоследовательности и фотографиях, а в дальнейшем - генератору для генерирования видеопоследовательности более высокого разрешения, чем основной поток видеоданных.

3. Способ по п.2, отличающийся тем, что для получения вспомогательных фотографий и фиксации видеопоследовательности используют разные приемные фиксирующие датчики.

4. Способ по п.2, отличающийся тем, что для приема основных видеоданных и вспомогательных фотографий используют разные объективы.

5. Способ по п.2, отличающийся тем, что с матрицы при приеме вспомогательных фотографий считывают параметры - баланс белого, экспозиция в разных участках кадра для передачи анализатору видеопоследовательности, с целью улучшения динамического диапазона итоговой видеопоследовательности.