Способ формирования цифрового изображения с помощью нескольких ПЗС и устройства для его реализации Российский патент 2022 года по МПК H04N5/335 

Изобретения относится к телевизионным способам получения изображения. Оно может быть использовано в телевизионных системах распознавания номерных знаков автомобилей и в системах идентификации по радужной оболочке глаза. Наиболее актуально использовать данное изобретение при создании телевизионных систем 4K UHDTV и 8K UHDTV цифровых форматов, а также профессиональных цифровых фотоаппаратов для студийной или художественной съемки с полиграфическим качеством.

Повышение разрешающей способности цифровой видеоаппаратуры, которая использует ПЗС-матрицы, «разменивается» на понижение ее чувствительности. Под цифровой видеоаппаратурой понимаются цифровые фотоаппараты и видеокамеры. Известно [Айсман, Кэтрин, Дугган, Шон, Грей Тим. А36 Энциклопедия цифровой фотографии, 3-е изд.: пер. с англ. - М.: ООО «И.Д. Вильяме», 2011. - 560 с.: ил. - Парал. Тит англ. ISBN 978-5-8459-1724-9, стр. 73 (рус.)], что уменьшение размеров пикселей не всегда приводит к повышению общего качества изображения. В связи с тем, что мелкие пиксели менее чувствительны к свету, сигнал приходится больше усиливать, а следовательно, повышается уровень шума в окончательном изображении. Существуют безаберационные оптические системы для крупного формата. Поэтому, для повышения качества цифрового изображения, необходимо иметь ПЗС-матрицу с такой площадью, на которой можно разместить максимальное число пикселей большого размера. Но создание ПЗС-матриц таких размеров и с такими параметрами сопряжено с колоссальными затратами. Известно [Large Sense b8911 - первая крупноформатная цифровая фотокамера. Cameralabs.org. Largesense LS911], что первая в мире крупноформатная цифровая камера LS 911, имеющая 12-мегапиксельную SMOS-матрицу 9*11 дюймов, стоит 106 тысяч долларов.

Известен способ формирования изображения, который имеет гигапиксельное разрешение [Ferra.Ru Гигапиксельная камера AWARE2...,21.06.2012]. Изображение формируют с помощью 98 фотомодулей. Каждый фотомодуль содержит 14-мегапиксельный сенсор. Результирующее черно-белое изображение формируют путем компьютерной «склейки» отдельных кадров в течение 18 секунд.

К недостаткам данного способа относятся высокая стоимость, высокое энергопотребление, невозможность снимать подвижные предметы и необходимость в охлаждении.

Известен способ сканирования цветного изображения и устройство для его осуществления [Патент РФ № 2158486, МПК H04N 1/04, H04N 1/10, опубл. 21.10.2000]. Суть его работы заключается в разбиении всего поля сканирования на элементарные участки, многократном сканировании каждого участка головкой, которая содержит ПЗС-матрицу. Затем осуществляют усреднение видеосигнала (в/с) от нескольких сканирований каждого участка для повышения отношения сигнал/шум (с/ш). Формирование изображения всего поля сканирования с увеличенным разрешением происходит путем электронного объединения всех элементарных участков.

К недостаткам данного способа относятся наличие электромеханического узла, который ухудшает надежность работы системы и невозможность снимать подвижные предметы.

Известен способ получения телевизионных изображений высокой четкости в камере на обычных ПЗС [Патент РФ № 2143789, МПК H04N 5/335, H04N 5/225, опубл. 27.12.1999], выбранный в качестве прототипа, у которого совпадающими существенными признаками с заявляемым объектом изобретения являются: получение в/с от ПЗС-матриц, работающих параллельно, одновременные оцифровка, предварительная обработка и запись в/с в память, с последующим считыванием на увеличенной тактовой частоте и окончательная обработка в/с.

Известно устройство для получения телевизионных изображений высокой четкости в камере на обычных ПЗС [Патент РФ № 2143789, МПК H04N 5/335, H04N 5/225, опубл. 27.12.1999], выбранное в качестве прототипа, основанное на том, что оптический блок формирует два одинаковых по оптическим параметрам изображения, которые проецируется на две ПЗС-матрицы так, что получается два совмещенных изображения.

Эти изображения сдвинуты относительно друг друга. Сдвиг по горизонтали равен половине расстояния между пикселями. Сдвиг по вертикали равен половине межстрочного промежутка. Видеосигналы от ПЗС-матриц, работающих в обычном стандарте разложения, одновременно оцифровываются, предварительно обрабатываются и записываются в память каждый в своем канале.

Таким образом, создается информационное поле. Ячейки информационного поля заполняются обработанным сигналом и расположены в шахматном порядке.

Для получения телевизионного изображения высокой четкости производится параллельно-последовательное считывание информации из памяти. Считывание производится на учетверенной тактовой частоте по принципу «через элемент/через строку». Происходит простое суммирование в/с от обеих ПЗС-матриц. Затем данная информация окончательно обрабатывается.

Недостатками данного способа и устройства являются:

- низкое качество телевизионного изображения, которое ограниченно параметрами ТВЧ;

- низкое качество телевизионного изображения вследствие размывания мелких деталей и контуров оптического изображения.

Единым техническим результатом, достигаемым при осуществлении заявленной группы изобретений, является повышение качества цифрового изображения за счет увеличения его разрешения в n раз. При этом чувствительность устройств не ухудшается и определяется выбранными ПЗС-матрицами.

Заявленный способ формирования цифрового изображения с помощью нескольких ПЗС, также как в прототипе заключается в том, что ПЗС-матрицы работают в обычном стандарте разложения и параллельно. На ПЗС-матрицы одновременно проецируют оптическое изображение. ПЗС-матрицы сдвигают относительно друг друга, а все видеосигналы от ПЗС-матриц одновременно оцифровывают, предварительно обрабатывают, записывают в память, благодаря чему создают информационное поле, которое считывают на увеличенной тактовой частоте и окончательно обрабатывают.

Согласно изобретению формируют оптическое изображение на площади, равной сумме светочувствительных площадок n ПЗС-матриц, которое по четырем каналам одновременно проецируют на все ПЗС-матрицы, которые сдвигают относительно друг друга так, что каждая из них формирует видеосигнал только от одного из n секторов данного изображения.

Число n=m², где m-количество ПЗС-матриц как по вертикали, так и по горизонтали, начиная с двух. Причем ПЗС-матрицы одного канала формируют видеосигналы от тех секторов изображения, которые не граничат друг с другом.

Считывают информационное поле на частоте в n раз выше тактовой путем последовательного электронного объединения видеосигналов строк ПЗС-матриц, которые преобразуют соседние сектора изображения по горизонтали, но находящиеся в разных каналах и с помощью последовательного электронного объединения видеосигналов кадров ПЗС-матриц, которые преобразуют соседние сектора изображения по вертикали, но находящиеся в разных каналах.

Устройство формирования цифрового изображения с помощью нескольких ПЗС, также как в прототипе, содержит оптический блок, в состав которого входят оптически связанные объектив и нейтральное полупрозрачное зеркало, выходы оптического блока соединены с соответствующими входами преобразователей оптического изображения в цифровой сигнал, которые состоят из последовательно соединенных ПЗС, АЦП, блока предварительной обработки и блока памяти, а выходы преобразователей оптического изображения в цифровой сигнал через коммутатор соединены с входом блока окончательной обработки, выход которого является выходом устройства, а управляющие входы ПЗС, АЦП, блока памяти и коммутатора соединены с соответствующими выходами блока управления.

Согласно изобретению объектив формирует оптическое изображение на площади, равной сумме светочувствительных площадок n ПЗС-матриц, в оптический блок введены два нейтральных полупрозрачных зеркала, в результате чего он выполнен с четырьмя выходами, соединенными с соответствующими входами n преобразователей оптического излучения в цифровой сигнал, выходы последних соединены с входами коммутатора.

Под величиной светочувствительной площадки понимают не всю площадь секции накопления ПЗС-матрицы, которая определяет полное разрешение, а ту площадь, которая определяет эффективное разрешение. Площадь, которая определяет эффективное разрешение, ограничена межстрочными промежутками ПЗС-матрицы по вертикали и диффузионными областями по горизонтали. При этом эффективное разрешение всегда немного меньше полного потому, что расположенные по краям кристалла элементы больше подвержены браку. Вся накопленная в ПЗС-матрицах информация одновременно выводится на низкой тактовой частоте, оцифровывается, предварительно обрабатывается и записывается в память только та часть, которая относится к светочувствительным площадкам.

Четыре одинаковых оптических изображения является необходимым и достаточным условием при создании цифрового изображения с помощью n одинаковых ПЗС-матриц по заявленной группе изобретений. ПЗС-матрицы устанавливают в плоскости изображения так, чтобы площадь, которая определяет эффективное разрешение, совпала с площадью соответствующего сектора изображения.

Использование объектива, формирующего оптическое изображение необходимого формата и нейтральных полупрозрачных зеркал, с помощью которых проецируют по четырем каналам данное изображение на n ПЗС-матриц, где каждая из них формирует видеосигнал только от одного из n секторов данного изображения, позволяет повысить качество цифрового изображения. Это происходит, в том числе, благодаря электронному объединению видеосигналов ПЗС-матриц, преобразующих соседние сектора изображения как по горизонтали, так и по вертикали.

Таким образом, выбирая ПЗС-матрицы с определенным размером пикселя (определенную чувствительность), увеличивают их количество до получения необходимого разрешения. При использовании данного метода отпадает необходимость в ПЗС-матрице, на которой можно разместить максимальное число пикселей большого размера.

Предложенные технические решения позволяют повысить качество цифрового изображения за счет увеличения его разрешения в n раз. При этом чувствительность не ухудшается и определяется выбранными ПЗС-матрицами.

На фиг. 1 представлена блок-схема устройства формирования цифрового изображения с помощью нескольких ПЗС.

На фиг. 2 показаны предмет изображения 6, схема формирования четырех одинаковых изображений 16, 17, 18, 19 и расположение секций накопления 12, 13, 14, 15 соответствующих ПЗС 1, ПЗС 2, ПЗС 3, и ПЗС 4 в плоскостях данных изображений.

На фиг. 3 показан принцип электронного объединения в/с соответствующих строк ПЗС 1 и ПЗС 2, а также в/с соответствующих строк ПЗС 3 и ПЗС 4.

На фиг. 4 показано расположение секций накопления 20, 21, …28 соответствующих ПЗС 5, ПЗС 6,....ПЗС 13 в плоскостях оптического изображения 16, 17, 18 и 19.

На фиг. 5 показан принцип электронного объединения в/с соответствующих строк ПЗС 5, ПЗС 9 и ПЗС 6, а также в/с соответствующих строк ПЗС 11, ПЗС 13 и ПЗС 12, а также в/с соответствующих строк ПЗС 7, ПЗС 10 и ПЗС 8.

Устройство формирования цифрового изображения с помощью нескольких ПЗС (фиг. 1), содержит оптический блок 1 (ОБ), четыре выхода которого соединены с входами n преобразователей оптического излучения в цифровой сигнал 2 (ПОИЦС), выходы которых через коммутатор 3 (К) подключены к входу блока окончательной обработки 4 (БОО). Выход 4 является выходом устройства. Управляющие входы 2 и 3 соединены с соответствующими выходами блока управления 5 (БУ).

Оптический блок 1 формирует изображение на площади, равной сумме светочувствительных площадок n ПЗС-матриц. Данное изображение по четырем каналам поступает на входы n (ПОИЦС). Все ПОИЦС обозначены цифрой 2, так как они идентичны и каждая из них состоит из последовательно соединенных ПЗС, АЦП, блока предварительной обработки и блока памяти. Все элементы блок-схемы устройства (фиг. 1) известны и освоены промышленностью. Причем, оцифрованные видеосигналы, каждый в своем канале балансируются по уровням «черного» и «белого» с точностью до одного младшего разряда квантования, проходят необходимую специальную обработку и записываются в блоки памяти. В блоке окончательной обработки 4 производиться окончательная обработка, в том числе полная апертурная коррекция.

Работа устройства при n=4.

В качестве предмета изображения 6 выбран кувшин (фиг. 2). Объектив 7 (О) формирует изображение, на площади, равной сумме светочувствительных площадок четырех ПЗС-матриц, которое с помощью нейтральных полупрозрачных зеркал 8 (П/3), 9(П/3) и 10 (П/3) преобразуется в четыре конгруэнтных изображения 16, 17, 18 и 19, которые одновременно проецируют по четырем каналам на секции накопления 12, 13, 14 и 15 соответствующих ПЗС 1, ПЗС 2, ПЗС 3 и ПЗС 4.

ПЗС-матрицы сдвигают относительно друг друга так, что каждая из них формирует в/с только от одного из четырех секторов данного изображения.

ПЗС-матрицы устанавливают в плоскостях изображения так, чтобы границы секторов, показанные на фиг. 2 штриховой линией проходили по межстрочным промежуткам ПЗС-матриц по горизонтали и по диффузионным областям по вертикали. Сектора изображения должны быть одинаковыми и совпадать по размеру со светочувствительными площадками ПЗС-матриц. Видеосигналы от ПЗС-матриц, работающих в стандартных режимах, одновременно оцифровываются, предварительно обрабатываются и записываются в память соответствующих ПОИЦС 2. Так создается информационное поле. С выходов ПОИЦС 2 информационное поле считывается на учетверенной тактовой частоте с помощью (К) 3, (БУ) 5 и подается на вход (БОО) 4. На выходе 4 образуется цифровой в/с, который соответствует цифровому изображению высокого качества. Из фиг. 2 видно, что пространственное расположение секций накопления 12, 13, 14 и 15 соответствующих ПЗС 1, ПЗС 2, ПЗС 3 и ПЗС 4 в плоскостях четырех изображений 16, 17, 18 и 19 позволяет сформировать соответствующий цифровой в/с.

Цифровой в/с по горизонтали формируется с помощью последовательного электронного объединения в/с соответствующих строк ПЗС 1 с ПЗС 2 и ПЗС 3 с ПЗС 4. Цифровой в/с по вертикали формируется с помощью последовательного электронного объединения в/с соответствующих кадров ПЗС 1 с ПЗС 3 и ПЗС 2 с ПЗС 4. Данные ПЗС-матрицы преобразуют соседние сектора изображения, но находятся в разных каналах.

Электронные объединения в/с позволяют увеличить разрешение по горизонтали в два раза и по вертикали в два раза. Для наглядности строки ПЗС-матриц (фиг. 3) содержат по 16 светочувствительных элементов в аналоговой форме.

Из описания графического материала следует, что изображение преобразовывается в цифровой в/с с увеличенным в четыре раза разрешением при выбранной чувствительности используемых ПЗС-матриц. При этом время вывода кадра не изменяется. Значит повысилось качество цифрового изображения

Работа устройства при n=9.

В данном случае весь процесс формирования цифрового изображения по существу не отличается от рассмотренного выше. Отличие заключается в том, что О 7 формирует изображение на площади, равной сумме светочувствительных площадок девяти ПЗС-матриц и считывают информационное поле из соответствующих ПОИЦС 2 на частоте в девять раз выше тактовой.

На фиг. 4 вариант расположения секций накопления 20, 21, …28 соответствующих ПЗС 5, ПЗС 6, …ПЗС 13 в плоскостях четырех изображений 16, 17, 18 и 19. ПЗС-матрицы сдвигают так, что каждая из них формирует в/с только от одного из девяти секторов данного изображения. Из фиг. 5 видно, что ПЗС-матрицы одного канала формируют в/с от тех секторов изображения, которые не граничат друг с другом.

Цифровой в/с по горизонтали формируется с помощью последовательного электронного объединения в/с соответствующих строк ПЗС 5 с ПЗС 9 и с ПЗС 6, а также в/с ПЗС 11 с ПЗС 13 и с ПЗС 12, а также в/с ПЗС 7 с ПЗС 10 и с ПЗС 8. Цифровой в/с по вертикали формируется с помощью последовательного электронного объединения в/с соответствующих кадров ПЗС 5 с ПЗС 11 и с ПЗС 7, а также в/с ПЗС 9 с ПЗС 13 и с ПЗС 10, а также в/с ПЗС 6 с ПЗС 12 и с ПЗС 8. Данные ПЗС-матрицы преобразуют соседние сектора изображения, но находятся в разных каналах. При этом увеличивается разрешение по строке в три раза и по кадру в три раза. Для наглядности строки ПЗС-матриц (фиг. 5) содержат по десять светочувствительных элементов в аналоговой форме.

Из описания графического материала следует, что оптическое изображение преобразовывается в цифровой в/с с увеличенным в девять раз разрешением при выбранной чувствительности используемых ПЗС-матриц. При этом время вывода кадра не изменяется. Значит повысилось качество цифрового изображения.

Единым технический результатом, достигаемым при осуществлении заявленной группы изобретений, является повышение качества цифрового изображения за счет увеличения его разрешения в n раз. При этом чувствительность устройств не ухудшилась и определяется выбранными ПЗС-матрицами. Предельно достижимое качество цифрового изображения зависит от способности оптической системы создавать в фокальной плоскости оптическое изображение необходимого формата.

Изобретение относится к телевизионным способам получения изображения. Техническим результатом является повышение качества цифрового изображения за счет увеличения его разрешения в n раз. Результат достигается тем, что объектив формирует изображение на площади, равной сумме светочувствительных площадок n ПЗС-матриц. ПЗС матрицы сдвигают относительно друг друга. Данное изображение по четырем каналам проецируют на все ПЗС-матрицы так, что каждая из них формирует видеосигнал только от одного из n секторов данного изображения. Видеосигналы от ПЗС-матриц, которые работают параллельно, оцифровывают, предварительно обрабатывают и записывают в память, откуда считывают на частоте, в n раз выше тактовой. При этом цифровое изображение получают путем электронного объединения видеосигналов ПЗС-матриц, которые преобразуют соседние сектора изображения, после чего видеосигнал окончательно обрабатывают. Способ реализуется с помощью устройства, содержащего оптический блок, n преобразователей оптического изображения в цифровой сигнал, блок управления, коммутатор и блок окончательной обработки. 2 н.п. ф-лы, 5 ил.

1. Способ формирования цифрового изображения с помощью нескольких ПЗС, заключающийся в том, что ПЗС-матрицы работают в обычном стандарте разложения и параллельно, на ПЗС-матрицы одновременно проецируют оптическое изображение, ПЗС-матрицы сдвигают относительно друг друга, а все видеосигналы от ПЗС-матриц одновременно оцифровывают, предварительно обрабатывают, записывают в память, благодаря чему создают информационное поле, которое считывают на увеличенной тактовой частоте и окончательно обрабатывают, отличающийся тем, что формируют оптическое изображение на площади, равной сумме светочувствительных площадок n ПЗС-матриц, которое по четырем каналам одновременно проецируют на все ПЗС-матрицы, которые сдвигают относительно друг друга так, что каждая из них формирует видеосигнал только от одного из n секторов данного изображения, число n=m², где m – количество ПЗС-матриц как по вертикали, так и по горизонтали, начиная с двух, причем ПЗС-матрицы одного канала формируют видеосигналы от тех секторов изображения, которые не граничат друг с другом, считывают информационное поле на частоте в n раз выше тактовой путем последовательного электронного объединения видеосигналов строк ПЗС-матриц, которые преобразуют соседние сектора изображения по горизонтали, но находящиеся в разных каналах и с помощью последовательного электронного объединения видеосигналов кадров ПЗС-матриц, которые преобразуют соседние сектора изображения по вертикали, но находящиеся в разных каналах.

2. Устройство формирования цифрового изображения с помощью нескольких ПЗС, содержащее оптический блок, в состав которого входят оптически связанные объектив и нейтральное полупрозрачное зеркало, выходы оптического блока соединены с соответствующими входами преобразователей оптического изображения в цифровой сигнал, которые состоят из последовательно соединенных ПЗС, АЦП, блока предварительной обработки и блока памяти, а выходы преобразователей оптического изображения в цифровой сигнал через коммутатор соединены с входом блока окончательной обработки, выход которого является выходом устройства, а управляющие входы ПЗС, АЦП, блока памяти и коммутатора соединены с соответствующими выходами блока управления, отличающееся тем, что объектив формирует оптическое изображение на площади, равной сумме светочувствительных площадок n ПЗС-матриц, в оптический блок введены два нейтральных полупрозрачных зеркала, в результате чего он выполнен с четырьмя выходами, соединенными с соответствующими входами n преобразователей оптического излучения в цифровой сигнал, выходы последних соединены с входами коммутатора.