УСТРОЙСТВО СТАБИЛИЗАЦИИ ИЗОБРАЖЕНИЯ Российский патент 2020 года по МПК H04N5/00 

Предлагаемое изобретение относится к области телевидения и цифровой фотографии, к устройствам стабилизации изображения.

Существует очень важная задача скоростной стабилизации изображения, когда в возмущениях визирной оси телевизионной камеры присутствуют частоты вибрации до 200 кГц относительно низкой амплитуды (доли пикселя). Для компенсации данных возмущений необходимо использовать устройства стабилизации, основанные на прямых методах измерения смещения изображения.

Известно устройство, в котором используется прямой метод измерения смещения, и с целью уменьшения задержек на формирование сигнала смещения измерение производят не по сигналу кадра основной фотоприемной матрицы, а по сигналу дополнительного фотоприемника (Д.Н. Еськов, Ю.П. Ларионов, В.А. Новиков и др. «Автоматическая стабилизация оптического изображения» - Л., Машиностроение, 1988. С. 37]. При этом для оценки смещения изображения используется одноэлементный фотоприемник, так же, как и основная фотоприемная матрица, расположенный в фокальной плоскости объектива, сигналы с которого обрабатываются автокорреляционным методом (Д.Н. Еськов, Ю.П. Ларионов, В.А. Новиков и др. «Автоматическая стабилизация оптического изображения» - Л., Машиностроение, 1988. С. 124).

Основным недостатком данного устройства является возможность измерения смещения лишь при поступательном движении изображения относительно фотоприемника, так как при вибрации (возвратно-поступательном движении) на одноэлементный фотоприемник может проецироваться участок кадра с постоянной освещенностью. Данное устройство может найти ограниченное применение в видеоинформационных системах с достаточно равномерным движением основания, например, в некоторых авиакосмических системах мониторинга (Бузников А.А., Купянский А.В. «Динамическое совмещение полутоновых аэрокосмических и графических изображений» // Изв. ВУЗов, сер. «Геодезия и аэрофотосъемка», 1993, №3. С. 102-107).

Наиболее близким по своей технической сущности к заявляемому является устройство стабилизации изображения, по патенту РФ №2517347 (МПК H04N 5/232, приор. 07.12.2012, опубл. 27.05.2014), содержащее основной матричный массив фоточувствительных элементов и два дополнительных взаимно перпендикулярных линейных фотоприемника, измеритель смещения, блок управления, подвижный элемент и объектив (фиг. 1). При этом в измеритель смещения входят режекторный фильтр, коррелятор и интерполятор.

Недостатком прототипа является недостаточно высокая точность измерения смещения изображения и, как следствие, недостаточно точное позиционирование подвижного элемента для компенсации возмущений. Также в прототипе решается задача только компенсации смещения изображения и ничего не предусмотрено для компенсации поворота изображения.

Техническая проблема состоит в том, что из-за наличия двух дополнительных фотоприемников происходит потеря значительной части поля зрения объектива и, как следствие, происходит снижение разрешения основного фотоприемника. Отсутствие возможности проводить измерение поворота изображения затрудняет применение устройства на практике, т.к. в реальной системе вибрации носят не только поступательный, но и вращательный характер. Как следствие, увеличиваются габариты не только фотоприемного узла, но и габариты исполнительного устройства.

Проблема разрешается за счет того, что в систему стабилизации изображения, содержащую матричный массив фоточувствительных элементов, измеритель смещения, блок управления, подвижный элемент и объектив, дополнительно введен измеритель поворота, вход которого соединен с выходом матричного фотоприемника, а выход соединен со входом блока управления, вход измерителя смещения соединен с выходом матричного массива фоточувствительных элементов, а выход измерителя смещения соединен со входом блока управления. Кроме того, матричный массив фоточувствительных элементов выполнен с возможностью осуществления функции неразрушающего считывания, позволяющей без потери разрешения изображения считывать видеоинформацию для измерения смещения и поворота изображения с частотой, значительно (на 2-4 порядка) превышающей основную кадровую частоту.

Существующие фотоприемники с неразрушающим считыванием не предназначены для решения задач скоростной стабилизации изображения. Увеличение частоты получения субкадров в фотоприемнике с неразрушающим считыванием с частотой, на 2-4 порядка превышающих основную кадровую частоту, позволяет компенсировать высокочастотные низкоамплитудные возмущения. Кроме того, предложенная организация отдельного выхода для измерения смещения и поворота в фотоприемнике неразрушающего считывания позволяет увеличить быстродействие устройства стабилизации за счет параллельного процесса вычислений сдвига и поворота в реальном времени, что является критичным в рамках важной технической проблемы - компенсации высокочастотных низкоамплитудных (меньше размера пикселя) возмущений визирной оси телевизионной камеры.

Особенностями предлагаемого устройства являются:

- Способность компенсации высокочастотных низкоамплитудных вибраций (на несколько порядков выше основной кадровой частоты), обусловленных как смещением, так и поворотом изображения.

- Использование всей области считывания фотоприемного массива для оценки смещения и поворота и, как следствие, - отсутствие потерь в разрешении изображения, увеличение точности оценки скоростного смещения изображения.

Технический результат состоит в улучшении ряда параметров, таких как: уменьшение погрешности измерений смещения изображения при малых смещениях, увеличение разрешения основного фотоприемника, добавление возможности компенсации поворота изображения, уменьшение габаритов фотоприемной области. Если увеличение разрешения основного приемника не требуется для устройства стабилизации, то технический результат также состоит в значительном уменьшении габаритов предлагаемого устройства, а именно: фотоприемной области, исполнительного устройства, объектива.

На фиг. 1 изображена функциональная схема устройства-прототипа системы стабилизации изображения.

На фиг. 2 - функциональная схема предлагаемого устройства стабилизации изображения.

На фиг. 3 - демонстрация потери разрешения в фотоприемной области устройства-прототипа (за счет использования дополнительных линейных фотоприемных массивов) по сравнению с предлагаемым устройством.

На фиг. 4 показано визуальное представление кадров i и субкадров k.

Устройство стабилизации изображения (фиг. 2) содержит матричный фотоприемник неразрушающего считывания 1, блоки измерения смещения и поворота 2 и 3, блок управления 4, подвижный элемент 5 и объектив 6.

Устройство работает следующим образом. Сигналы с фотоприемника неразрушающего считывания (субкадры) передаются в блоки измерения смещения и поворота 2 и 3, где происходит вычисление смещения и поворота изображения. Далее сигналы поступают в блок управления 4. Далее блок управления 4 выдает сигналы подвижному элементу 5 для компенсации возмущений.

Отличие заявленного устройства от прототипа заключается в том, что оценка смещения в устройстве происходит за счет использования технологии неразрушающего считывания в фотоприемнике и, как следствие, за счет использования информации с субкадров, а не за счет использования дополнительных линейных фотоприемников. Кроме того, по сравнению с прототипом, помимо вычисления смещения, предложено вычисление поворота изображения.

На фиг. 3 показано одно из преимуществ, предложенного устройства стабилизации изображения. В прототипе происходят значительные потери разрешения за счет введения дополнительных линейных фотоприемных массивов. Эти потери достигают порядка 40-130% от площади основного фотоприемного массива (показано штриховой линией на фиг. 3). В фотоприемнике неразрушающего считывания потерь не происходит.

Неразрушающее считывание представляет собой процесс считывания сигналов с фотоприемника без разрушения накопившейся информации. В промежутках между операциями сброса видеосигналов, полученных в результате накопления фотонов, можно считывать видеоинформацию. Таким образом, формируются как стандартные кадры к, имеющие как время начала накопления, так и время сброса, так и субкадры, которые формируются без операции сброса сигналов (фиг. 4). Далее в измерителях смещения и поворота изображения происходит вычисление разницы между текущими кадрами и предыдущими и вычисление численных значений смещения и поворота. С алгоритмической точки зрения по отношению к этой разности субкадров фактически возможно применение всех известных алгоритмов оценки смещения и поворота, используемых для стандартных изображений. Это позволяет производить более точную оценку смещения по сравнению с прототипом, где для оценки смещения изображения используются линейные фотоприемные массивы (по сути представляющие из себя пиксель-строку и пиксель-столбец), находящиеся по краям поля зрения.

В качестве оценки поворота изображения можно применять методы, основанные на одномерной фазовой корреляции (Sei Nagashima, Koichi Ito, Takafumi Aoki, Hideaki Ishii, and Koji Kobayashi. «A High-Accuracy Rotation Estimation Algorithm Based on 1D Phase-Only Correlatio». M. Kamel and A. Campilho (Eds.): ICIAR 2007, LNCS 4633, pp. 210-221, 2007), на интерполяционно-связанных спектральных сигнатурах (Weimin Wei, Shuozhong Wang, Xinpeng Zhang, and Zhenjun Tang. «Estimation of Image Rotation Angle Using Interpolation-Related Spectral Signatures With Application to Blind Detection of Image Forgery». IEEE Transactions on Information Forensics and Security, Vol. 5, No. 3, September 2010), а также многие другие.

Следует отметить отсутствие существующих устройств с блоком измерителя поворота, несмотря на наличие множества алгоритмов измерения поворота, применяемых, в основном, для задач постобработки изображений.

Для оценки смещения изображения эффективными являются корреляционные методы (Д.О. Малашин «Экспериментальное исследование прямого метода измерения смещения изображения с субпиксельной точностью» // Известия высших учебных заведений России, сер. Радиоэлектроника, 2013, вып. 3. С. 55-58), (Ho-Gun На, In-Su Jang, Kyung-Woo Ko, and Yeong-Ho Ha. «Robust subpixel shift estimation using iterative phase correlation of a local region». Robust subpixel shift estimation using iterative phase correlation of a local region SPIE Vol. 7241, 724115 ⋅ 2009), градиентные методы оценки смещения (Martin Rais, Jean-Michel Morel, and Gabriele Facciolo «Iterative gradient-based shift estimation: to multiscale or not to multiscale?» CIARP 2015: Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications, pp 416-423) и другие.

Фотоприемники с неразрушающим считыванием находят все большее применение в современной фото и видео технике. Сегодня, в основном, неразрушающее считывание используется для увеличения отношения сигнал/шум на изображениях, например, в локализационной микроскопии (Samuel F.Н. Barnett, Mary Snape, С. Neil Hunter, Miguel A. Juarez & Ashley J. Cadby. «A Novel Application of Non-Destructive Readout Technology to Localisation Microscopy». Scientific Reports volume 7, Article number: 42313, 2017). Неразрушающее считывание позволяет уменьшить эффекты от шумов вызванных считыванием сигналов и от температурных шумов фотоприемника.

По сравнению с прототипом переход с нескольких отдельных фотоприемных массивов на фотоприемник с неразрушающим считыванием также значительно увеличивает точность измерения смещения за счет того, что теперь измерение смещения осуществляется по всему полю основного изображения, а не с двух фотоприемных областей, расположенных по краям от основного фотоприемника, измерение смещения с которых обладает дополнительной погрешностью по сравнению с фактическим измерением смещения с основного фотоприемника, которое требуется стабилизировать. Предложенное решение расширяет использование неразрушающего считывания для задач скоростной стабилизации изображения.

Заявляемое устройство позволяет вплотную приблизиться к созданию фото- и видеотехники со скоростной механической/оптической стабилизацией, по своим масса-габаритным характеристикам сравнимым с фото-/видеоустройствами без стабилизации изображения.

Изобретение относится к области телевидения и цифровой фотографии, а именно к устройствам стабилизации изображения. Техническим результатом является уменьшение погрешности измерений смещения изображения при малых смещениях, увеличение разрешения основного фотоприемника, обеспечение возможности компенсации поворота изображения. Результат достигается тем, что в систему стабилизации изображения, содержащую матричный массив фоточувствительных элементов, измеритель смещения, блок управления, подвижный элемент и объектив, дополнительно введен измеритель поворота, вход которого соединен с выходом матричного фотоприемника, а выход соединен со входом блока управления, вход измерителя смещения соединен с выходом матричного массива фоточувствительных элементов, а выход измерителя смещения соединен со входом блока управления. Матричный массив фоточувствительных элементов выполнен с возможностью осуществления функции неразрушающего считывания, позволяющей без потери разрешения изображения считывать видеоинформацию для измерения смещения и поворота изображения с частотой, значительно (на 2-4 порядка) превышающей основную кадровую частоту. 4 ил.

Система стабилизации изображения, содержащая матричный массив фоточувствительных элементов, измеритель смещения, блок управления, подвижный элемент и объектив, отличающаяся тем, что она дополнительно содержит измеритель поворота, вход которого соединен с выходом матричного фотоприемника, а выход соединен со входом блока управления, причем матричный массив фоточувствительных элементов выполнен с возможностью реализации функции неразрушающего считывания с частотой считывания субкадров, превышающей основную кадровую частоту, вход измерителя смещения соединен с выходом матричного массива фоточувствительных элементов, а выход измерителя смещения соединен со входом блока управления.