СПОСОБ ЭЛЕКТРОННОЙ ОБРАБОТКИ СИГНАЛОВ ФОТОПРИЕМНИКА ПРИ ФОРМИРОВАНИИ ИЗОБРАЖЕНИЯ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2011 года по МПК H04N5/33 

Изобретения относятся к технике формирования изображений, в частности, в тепловизионных системах при визуализации изображений объектов, регистрируемых многоэлементными фотоприемниками в ИК-диапазонах спектра, и предназначены для обработки сигналов матричных или линейчатых фотоприемников.

Известен способ электронной обработки сигналов фотоприемника при формировании изображения (патент РФ № 2066057 на изобретение, МПК 6 H04N 5/33), заключающийся в том, что осуществляют формирование кода компенсации фонового сигнала и дрейфа сигнала для каждого фоточувствительного элемента фотоприемника; формирование кода коррекции чувствительности для каждого фоточувствительного элемента фотоприемника; прием подлежащего регистрации потока излучения. На фотоприемник осуществляют подачу первого опорного потока излучения при отсутствии приема подлежащего регистрации потока излучения с формированием и запоминанием электрического сигнала, вырабатываемого при реагировании на первый опорный поток излучения, и компенсацией фоновой составляющей сигнала фотоприемника при приеме подлежащего регистрации потока излучения путем суммирования электрического сигнала от регистрируемого потока излучения с электрическим сигналом, в отношении которого осуществлено запоминание. При этом в течение приема первого опорного потока излучения формируют и запоминают электрический сигнал компенсации фонового сигнала и дрейфа сигнала для каждого фоточувствительного элемента фотоприемника. Дополнительно, при отсутствии приема подлежащего регистрации потока излучения осуществляют подачу второго опорного потока излучения с формированием и запоминанием электрического сигнала коррекции чувствительности для каждого фоточувствительного элемента фотоприемника. При приеме подлежащего регистрации потока излучения одновременно с компенсацией фонового сигнала и дрейфа сигнала для каждого фоточувствительного элемента фотоприемника путем суммирования предварительно обработанного сигнала соответствующего элемента с сигналом компенсации его фонового сигнала, в отношении которого осуществлено запоминание, и дрейфа сигнала, осуществляют коррекцию чувствительности для каждого фоточувствительного элемента фотоприемника путем изменения амплитуды просуммированного сигнала для каждого фоточувствительного элемента в соответствии с сигналом коррекции его чувствительности, в отношении которого осуществлено запоминание.

В способе величину первого опорного потока излучения устанавливают пропорционально величине потока внешнего фонового излучения.

В способе при приеме первого опорного потока излучения, в течение которого формируют сигнал компенсации фонового сигнала и дрейфа сигнала в виде цифрового кода для каждого фоточувствительного элемента, считывают сигнал с элементов синхронно с последовательной выборкой адреса ячеек организуемой первой цифровой оперативной памяти, число ячеек которой выбирают равным числу фоточувствительных элементов фотоприемника, считывают по заданному адресу цифровой код, запоминают его и, преобразовав в аналоговое напряжение, суммируют с предварительно обработанным сигналом соответствующего фоточувствительного элемента, просуммированный сигнал сравнивают с нулевым напряжением, по результату сравнения уменьшают или увеличивают код, в отношении которого произведено запоминание, на единицу младшего разряда и записывают его в ту ячейку памяти, из которой он был считан. При приеме второго опорного потока излучения, в течение которого формируют сигнал коррекции чувствительности в виде цифрового кода для каждого фоточувствительного элемента, считывают сигнал с элементов фотоприемника синхронно с последовательной выборкой адреса ячеек первой цифровой оперативной памяти и организуемой второй цифровой оперативной памяти, число ячеек которой выбирают равным числу фоточувствительных элементов, считывают по заданному адресу цифровой код компенсации фонового сигнала и дрейфа сигнала из первой памяти и, преобразовав в аналоговое напряжение, суммируют с предварительно обработанным сигналом соответствующего элемента фотоприемника, одновременно считывают по тому же адресу цифровой код из второй памяти, запоминают его и с его помощью уменьшают или увеличивают по амплитуде просуммированный сигнал, который сравнивают с опорным напряжением, по результату сравнения уменьшают или увеличивают код, в отношении которого произведено запоминание, на единицу младшего разряда и записывают его в ту ячейку второй памяти, из которой он был считан. При приеме подлежащего регистрации потока излучения считывают сигнал с фоточувствительных элементов синхронно с последовательной выборкой адреса ячеек первой и второй памяти считывают по заданному адресу цифровой код компенсации фонового сигнала и дрейфа сигнала из первой памяти и, преобразовав в аналоговое напряжение, суммируют с предварительно обработанным сигналом соответствующего фоточувствительного элемента, одновременно считывают по тому же адресу цифровой код коррекции чувствительности из второй памяти и с его помощью уменьшают или увеличивают по амплитуде просуммированный сигнал.

К недостаткам приведенного способа относится узость функциональных возможностей и незначительная пропускная способность при обработке сигналов. Указанные недостатки обусловлены следующими причинами. Вычислительные действия при формировании кода компенсации фонового сигнала и дрейфа сигнала для каждого фоточувствительного элемента фотоприемника и формировании кода коррекции чувствительности для каждого фоточувствительного элемента фотоприемника основаны на применении аналоговых элементов, что в силу ограничения полосы пропускания цифроаналогового преобразователя (ЦАП) и аналого-цифрового преобразователя (АЦП) существенно сужает возможные функции. Кроме того, способ не позволяет реализовать возможности искусственного восстановления сигналов с дефектных элементов, что является одной из важнейших особенностей обработки сигналов фотоприемника.

Известно устройство электронной обработки сигналов фотоприемника при формировании изображения (патент РФ № 2066057 на изобретение, МПК: 6 H04N 5/33), выполненное в следующем составе. Оптико-механического блока с источниками первого и второго опорных излучений, оптически связанного с фотоприемником. Узла предварительной обработки сигнала, вход которого электрически связан с фотоприемником. Узла выборки адреса и синхронизации считывания сигналов с элементов фотоприемника, содержащего синхрогенератор тактовых импульсов, электрически связанный с фотоприемником, и адресного счетчика, с входом которого связан синхрогенератор. Узла формирования кода компенсации фонового сигнала и дрейфа сигнала для каждого фоточувствительного элемента фотоприемника, выполненного в составе блока оперативной памяти для хранения кода компенсации фонового сигнала и дрейфа сигнала, цифроаналогового преобразователя (ЦАП), реверсивного счетчика, сумматора, компаратора и шины с нулевым напряжением. При этом многоразрядный вход блока оперативной памяти для хранения кода компенсации фонового сигнала и дрейфа сигнала электрически связан с узлом выборки адреса и синхронизации считывания сигналов с элементов фотоприемника, а его многоразрядный выход - с многоразрядным входом реверсивного счетчика и ЦАП. Многоразрядный выход реверсивного счетчика подключен к многоразрядному входу ЦАП и многоразрядному выходу блока оперативной памяти для хранения кода компенсации фонового сигнала и дрейфа сигнала. Выход ЦАП подключен к одному из входов сумматора, второй вход которого соединен с выходом узла предварительной обработки сигнала. Выход сумматора соединен с одним из входов компаратора, второй вход которого подключен к шине с нулевым напряжением, а выход компаратора связан со вторым входом реверсивного счетчика. В устройстве выполнен также узел формирования кода коррекции чувствительности для каждого элемента фотоприемника в составе блока оперативной памяти для хранения кода коррекции чувствительности, второго ЦАП, второго реверсивного счетчика, усилителя, второго компаратора и источника опорного напряжения. При этом многоразрядный вход блока оперативной памяти для хранения кода коррекции чувствительности электрически связан с узлом выборки адреса и синхронизации считывания сигналов с элементов фотоприемника, а его многоразрядный выход - с многоразрядным входом второго реверсивного счетчика и второго ЦАП. Многоразрядный выход второго реверсивного счетчика подключен к многоразрядному входу второго ЦАП и многоразрядному выходу блока оперативной памяти для хранения кода коррекции чувствительности. Выход второго ЦАП подключен к одному из входов усилителя, второй вход которого соединен с выходом сумматора узла формирования кода компенсации фонового сигнала и дрейфа сигнала. Выход усилителя соединен с одним из входов второго компаратора, второй вход которого подключен к источнику опорного напряжения, а выход второго компаратора связан со вторым входом второго реверсивного счетчика. Выход усилителя предназначен для съема обработанных сигналов фотоприемника. Узел предварительной обработки сигнала выполнен с возможностью осуществления усиления, интегрирования, фильтрации, выборки смещения. Усилитель выполнен с функцией регулирования коэффициента передачи.

К недостаткам приведенного устройства относится узость функциональных возможностей и незначительная пропускная способность устройства при обработке сигналов. Указанные недостатки обусловлены следующими причинами. Вычислительные действия в известном устройстве при формировании кода компенсации фонового сигнала и дрейфа сигнала для каждого фоточувствительного элемента фотоприемника и формировании кода коррекции чувствительности для каждого фоточувствительного элемента фотоприемника осуществляются на основе применения аналоговых элементов, что в силу ограничения полосы пропускания ЦАП и АЦП существенно сужает возможные функции. Кроме того, устройство не позволяет реализовать возможность искусственного восстановления сигналов с дефектных элементов, что является одной из важнейших особенностей обработки сигналов фотоприемника.

В качестве ближайшего аналога заявляемого способа выбран способ электронной обработки сигналов фотоприемника при формировании изображения (Тарасов В.В., Якушенков Ю.Г. Инфракрасные системы «смотрящего» типа. - М.: Логос, 2004 г. - 444 с., с.с.244-247), заключающийся в том, что сигнал с фотоприемника преобразуют из аналоговой формы в цифровую и затем обрабатывают процессором обработки сигнала (ПОС). При обработке осуществляют точную коррекцию неоднородной чувствительности элементов, коррекцию дефектных пикселей (замещение дефектных элементов), автоматическую регулировку яркости и контрастности, электронное масштабирование. Далее формируют цифровой видеосигнал. При периодически повторяемых процедурах калибровки при помощи ПОС рассчитывают значения коэффициентов коррекции, которые сохраняют в оперативно запоминающем устройстве (ОЗУ). Режимами ПОС, а также параметрами видеосигнала, такими как яркость, контрастность, коэффициент электронного масштабирования, управляют с пульта управления. Цифровой видеосигнал с помощью видеопроцессора преобразуют в стандартный аналоговый сигнал PAL или NTSC.

До преобразования сигнала с фотоприемника из аналоговой формы в цифровую с целью снижения геометрического шума проводят компенсацию неоднородности параметров чувствительных элементов в аналоговой форме.

К недостаткам ближайшего аналога заявляемого способа относится узость функциональных возможностей и незначительная пропускная способность при обработке сигналов. Указанные недостатки обусловлены следующими причинами. Использование ПОС для выполнения основных функций обработки накладывает ограничение на производительность электронной обработки сигналов фотоприемника, поскольку имеющиеся у современных процессоров каналы ввода-вывода не позволяют производить передачу больших массивов данных изображения в реальном масштабе времени. Также все вышеуказанные функции обработки в процессоре выполняют последовательно. Такое выполнение требует наличия очень высокой производительности, что пока не свойственно современным процессорам цифровой обработки сигналов.

В качестве ближайшего аналога заявляемого устройства выбрано устройство электронной обработки сигналов фотоприемника при формировании изображения (И.И.Кремис, Ю.Ф.Однолько. Унифицированная система обработки сигналов многоэлементного фотоприемного устройства ИК-диапазона на основе микросхемы программируемой логики типа FPGA // Прикладная физика, 2007, № 4, с.с.133-140), содержащее аналого-цифровой преобразователь (АЦП), оперативно запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), программируемую логическую интегральную схему (ПЛИС), процессор обработки сигналов (ПОС), цифроаналоговый преобразователь (ЦАП), микроконтроллер, драйвер интерфейса USB 1.1 (USB - последовательный интерфейс передачи данных для среднескоростных и низкоскоростных периферийных устройств в вычислительной технике). На основе ПЛИС, являющейся ядром блока управления и обработки данных, реализованы арифметико-логическое устройство (АЛУ), схема управления, формирователь сигналов управления матрицей фотоприемника, формирователь телевизионного сигнала. АЦП связан с ПЛИС, преобразованный сигнал из аналоговой формы в цифровую поступает в АЛУ, в котором подвергается действию алгоритмов обработки. ПЛИС через АЛУ связана с банками памяти - ОЗУ и ПЗУ.

К недостаткам ближайшего аналога заявляемого устройства относятся узость функциональных возможностей и незначительная пропускная способность при обработке сигналов. Указанные недостатки обусловлены следующими причинами. Отсутствие промежуточной памяти между ПОС и ПЛИС не позволяет процессору накапливать полноформатные массивы изображения и осуществлять над ними функции обработки и при этом выполнять их одновременно с выполнением ПЛИС собственных функций обработки изображения. Далее, ОЗУ на основе микросхем CMOS SRAM имеет небольшие объемы памяти на кристалле и относительно невысокую рабочую частоту. Кроме того, в устройстве используется микроконтроллер, что принципиально ограничивает функциональные возможности. Также замена сигнала дефектного элемента в известном устройстве происходит на сигнал соседнего элемента, при этом пиксель растягивается, что создает эффект тянущихся пикселей на изображении.

Техническим результатом группы изобретений является:

- расширение функциональных возможностей;

- повышение показателей пропускной способности при обработке сигналов.

Технический результат достигают тем, что в способе электронной обработки сигналов фотоприемника при формировании изображения, заключающемся в том, что сигналы с фотоприемника преобразуют из аналоговой формы в цифровую и затем обрабатывают, причем процесс обработки подразделяют на три стадии - исходную, промежуточную и окончательную, причем исходную и промежуточную стадии осуществляют совместно, на промежуточной стадии, при обработке, производят процессором накопление полноформатных массивов изображения и осуществляют над ними функции обработки, при этом указанные действия промежуточной стадии выполняют совместно с осуществлением программируемой логической интегральной схемой собственных функций обработки изображения, составляющим содержание исходной стадии, результаты которой записывают в промежуточную память с общими шинами адреса и данных в отношении процессора и программируемой логической интегральной схемы, а также в телевизионную память с индивидуальными шинами адреса и данных, подключенную к программируемой логической интегральной схеме, в свою очередь, после обработки процессором массивы данных пересылают в оперативно запоминающие устройства с индивидуальными шинами адреса и данных, подключенные к программируемой логической интегральной схеме, хранящие данные коэффициентов коррекции неоднородной чувствительности, коэффициенты коррекции темнового фона и данные дефектных элементов, при реализации процесса обработки посредством процессора осуществляют периодическое, в любой заданный момент времени, обращение к любому упомянутому оперативно запоминающему устройству, подключенному к программируемой логической интегральной схеме, на окончательной стадии, осуществляемой посредством программируемой логической интегральной схемы, данные с выполненной коррекцией неоднородной чувствительности и коррекцией темнового фона, считывают из телевизионной памяти и с обновлением по дефектным элементам проводят замещение дефектных элементов, после чего сигнал преобразуют в аналоговую форму.

В способе на исходной стадии при осуществлении программируемой логической интегральной схемой собственных функций обработки изображения выполняют алгоритмы коррекции темнового фона и/или коррекции неоднородной чувствительности, при этом считывают соответствующий массив данных синхронно со значением адресной шины оперативно запоминающих устройств, хранящих данные коэффициентов коррекции неоднородной чувствительности, коэффициенты коррекции темнового фона и дефектных элементов, результат выполнения алгоритмов записывают в оперативно запоминающее устройство, являющееся промежуточной памятью, и в одно из двух оперативно запоминающих устройств, являющихся телевизионной памятью, шины адреса и данных которой переключают с частотой смены кадров телевизионного монитора, предоставляя возможность попеременного использования одного из оперативно запоминающих устройств телевизионной памяти для записи исходно обработанных программируемой логической интегральной схемой данных, а другого - для чтения данных и проведения на окончательной стадии замещения дефектных элементов; количество оперативно запоминающих устройств, хранящих данные коэффициентов коррекции неоднородной чувствительности, коэффициентов коррекции темнового фона и дефектных элементов, выбирают в соответствии с количеством переменных, используемых в алгоритмах обработки, тем самым устанавливая каждому адресу памяти соответствующее значение пикселя в массиве данных с фотоприемника.

В способе на промежуточной стадии при проведении процессором накопления полноформатных массивов изображения и осуществлении над ними функции обработки массив данных, полученный в результате исходной обработки и записанный в промежуточную память, накапливают требуемое количество раз и обрабатывают процессором, после завершения цикла обработки процессором результирующий массив данных пересылают в оперативно запоминающие устройства, хранящие данные коэффициентов коррекции неоднородной чувствительности, коэффициентов коррекции темнового фона и дефектных элементов.

В способе на промежуточной стадии при выполнении функции обработки за счет записи промежуточных данных программируемой логической интегральной схемой в промежуточную память в начальных кадрах полного цикла обработки - значения темнового фона и значения скорректированного изображения, а в последних кадрах записи из промежуточной памяти в оперативно запоминающие устройства, хранящие данные коэффициентов коррекции неоднородной чувствительности, коэффициентов коррекции темнового фона и данные дефектных элементов, - обновленной таблицы дефектных элементов, обновленного массива коэффициентов коррекции неоднородной чувствительности и усредненного в соответствии с заданным количеством раз темнового фона, в течение времени, равного времени за вычетом из полного цикла обработки упомянутых кадров, процессором осуществляют накопление массива данных темнового фона заданное количество раз, формируют скорректированную таблицу дефектных элементов и обновляют коэффициенты коррекции неоднородной чувствительности.

В способе на окончательной стадии при считывании данных с выполненной коррекцией неоднородной чувствительности и коррекцией темнового фона из телевизионной памяти и проведении замещения дефектных элементов данные, прошедшие предшествующие совместные стадии обработки, считывают из одного из запоминающих устройств телевизионной памяти, дефектному элементу устанавливают среднее значение от соседних справа и слева полноценных элементов, после чего осуществляют привязку к телевизионным сигналам синхронизации, затем регулируют яркость и контраст, далее в массив изображения вставляют символы служебной информации и осуществляют непосредственно замещение дефектного элемента на среднее значение от окружающих полноценных элементов и медианную фильтрацию изображения.

В способе разделение действий исходной и окончательной стадий обработки осуществляют посредством телевизионной памяти из двух оперативно запоминающих устройств с индивидуальными шинами адреса и данных, которые переключают с частотой смены кадров телевизионного монитора, предоставляя возможность попеременного использования одного из оперативно запоминающих устройств телевизионной памяти для записи обработанных программируемой логической интегральной схемой и процессором данных, а другого - для чтения данных и проведения окончательной стадии обработки.

Техническим результат достигают тем, что в устройстве электронной обработки сигналов фотоприемника при формировании изображения, содержащем аналого-цифровой преобразователь, программируемую логическую интегральную схему, процессор, цифроаналоговый преобразователь, на базе программируемой логической интегральной схемы реализован узел исходной обработки, осуществляющий собственные функции обработки изображения, и узел окончательной обработки, осуществляющий замещение дефектных элементов, на базе процессора реализован узел промежуточной обработки, накапливающий полноформатные массивы изображения и осуществляющий над ними функции обработки, который связан с узлом исходной обработки посредством промежуточной памяти с общими шинами адреса и данных, с возможностью обращения к промежуточной памяти процессора и программируемой логической интегральной схемы для записи и считывания данных, аналого-цифровой преобразователь связан с узлом исходной обработки, узел исходной обработки снабжен оперативно запоминающими устройствами, подключенными к программируемой логической интегральной схеме, с индивидуальными шинами адреса и данных, в количестве, равном количеству переменных, используемых в алгоритмах обработки, причем процессор выполнен с возможностью обращения к любому оперативно запоминающему устройству, подключенному к программируемой логической интегральной схеме, узел исходной обработки связан с узлом окончательной обработки посредством телевизионной памяти, подключенной к программируемой логической интегральной схеме, а узел окончательной обработки связан с цифроаналоговым преобразователем.

В устройстве узел исходной обработки, осуществляющий собственные функции обработки изображения, реализованный на базе программируемой логической интегральной схемы, выполнен в составе арифметико-логического устройства программируемой логической интегральной схемы; узел исходной обработки снабжен оперативно запоминающими устройствами, подключенными к программируемой логической интегральной схеме, с индивидуальными шинами адреса и данных, в количестве, равном количеству переменных, используемых в алгоритмах обработки, а именно синхронным динамическим оперативно запоминающим устройством хранения дефектных элементов, синхронным динамическим оперативно запоминающим устройством хранения коэффициентов коррекции неоднородной чувствительности элементов, синхронным динамическим оперативно запоминающим устройством хранения коэффициентов коррекции темнового фона; арифметико-логическое устройство связано с указанными оперативно запоминающими устройствами через контроллер памяти.

В устройстве телевизионная память, подключенная к программируемой логической интегральной схеме, выполнена в составе первого и второго синхронного динамического оперативно запоминающих устройств хранения данных изображения, которые подключены к программируемой логической интегральной схеме посредством контроллера памяти, оперативно запоминающие устройства телевизионной памяти выполнены с индивидуальными шинами адреса и данных, с возможностью переключения их с частотой смены кадров телевизионного монитора, обеспечивая использование одного из них для записи обработанных узлом исходной обработки данных, а другого - для чтения данных и окончательной обработки.

В устройстве узел промежуточной обработки, реализованный на базе процессора, накапливающий полноформатные массивы изображения и осуществляющий над ними функции обработки, выполнен в составе непосредственно процессора, контроллера USB, с которым связан процессор для доступа к персональному компьютеру, флэш-памяти, связанной с процессором, хранящей массивы коэффициентов коррекции неоднородной чувствительности и темнового фона для периодической, при необходимости, их перезаписи процессором в промежуточную память, электрически перепрограммируемого постоянного запоминающего устройства, связанного с процессором для осуществления учета времени работы.

В устройстве промежуточная память с общими шинами адреса и данных с возможностью обращения к ней процессора и программируемой логической интегральной схемы для записи и считывания данных выполнена в составе синхронного динамического оперативно запоминающего устройства, для достижения возможности обращения к ней программируемой логической интегральной схемы выводы процессора реализованы с возможностью переключения в третье состояние.

В устройстве подключение шин адреса и данных процессора к программируемой логической интегральной схеме выполнено с возможностью обращения к любому оперативно запоминающему устройству, подключенному к программируемой логической интегральной схеме, посредством использования контроллера памяти.

В устройстве реализованный на базе программируемой логической интегральной схемы узел окончательной обработки, осуществляющий замещение дефектных элементов, выполнен в составе последовательно связанных узла замещения дефектных элементов, телевизионного генератора, узла регулировки яркости и контраста, узла формирования служебных символов, узла цифровой фильтрации и связан посредством последнего с телевизионной памятью, предоставляющей возможность считывания обработанных узлами исходной и промежуточной обработки данных, а узел цифровой фильтрации связан с цифроаналоговым преобразователем.

В устройстве аналого-цифровой преобразователь связан с узлом исходной обработки, реализованным на базе программируемой логической интегральной схемы, посредством арифметико-логического устройства, осуществляющего алгоритмы обработки в отношении поступающих на него с аналого-цифрового преобразователя сигналов.

В устройстве узлы исходной, промежуточной и окончательной обработки посредством контроллера памяти синхронизированы с обрабатываемым потоком данных.

Сущность группы изобретений поясняется нижеследующим описанием и прилагаемым чертеже.

На чертеже приведена структурная схема устройства электронной обработки сигналов фотоприемника при формировании изображения, где 1 - аналого-цифровой преобразователь (АЦП), 2 - программируемая логическая интегральная схема (ПЛИС), 3 - синхронное динамическое оперативно запоминающее устройство хранения дефектных элементов (SDRAM), 4 - контроллер USB (USB - последовательный интерфейс передачи данных для среднескоростных и низкоскоростных периферийных устройств в вычислительной технике), 5 - синхронное динамическое оперативно запоминающее устройство хранения коэффициентов коррекции неоднородной чувствительности элементов (SDRAM), 6 - арифметико-логическое устройство (АЛУ); 7 - синхронное динамическое оперативно запоминающее устройство хранения коэффициентов коррекции темнового фона (SDRAM), 8 - процессор обработки сигналов (ПОС), 9 - синхронное динамическое оперативно запоминающее устройство хранения промежуточных, ПОС-ПЛИС, данных (SDRAM), 10 - узел замещения дефектных элементов, 11 - контроллер памяти, 12 - телевизионный генератор, 13 - первое синхронное динамическое оперативно запоминающее устройство хранения данных изображения (SDRAM), 14 - узел регулировки яркости и контраста, 15 - флэш-память, 16 - электрически перепрограммируемое постоянное запоминающее устройство (EEPROM), 17 - второе синхронное динамическое оперативно запоминающее устройство хранения данных изображения (SDRAM), 18 - узел формирования символов, 19 - узел цифровой фильтрации, 20 - цифроаналоговый преобразователь (ЦАП).

Достижение технического результата в группе изобретений осуществляется следующим образом.

В предлагаемом способе дополнительно к обработке сигналов процессором (ПОС) используют обработку программируемой логической интегральной схемой (ПЛИС), причем ПЛИС выбирают в качестве основы для реализации функций обработки. Весь процесс обработки подразделяют на три стадии: исходную, промежуточную и окончательную. Две части функций обработки на исходной и окончательной стадиях выполняет ПЛИС, третью часть функций обработки на промежуточной стадии выполняет ПОС. При этом исходную и промежуточную стадии обработки осуществляют совместно. Роль ПЛИС заключается в выполнении собственных функций обработки изображения, а ПОС отводится накопление полноформатных массивов изображения и осуществление над ними функции обработки. Указанное подразделение процесса на стадии с распределением функций между ПОС и ПЛИС позволяет отойти от последовательного выполнения функций обработки; повысить производительность электронной обработки сигналов фотоприемника, предоставляя возможность производить передачу больших массивов данных изображения в реальном масштабе времени.

Для проведения исходной стадии обработки в ПЛИС используют оперативно запоминающие устройства, хранящие данные, необходимые для выполнения алгоритмов обработки, а именно массивы дефектных элементов, коэффициентов неоднородной чувствительности и коэффициентов коррекции темнового фона. Считывание данных осуществляют синхронно, что позволяет, в частности, в три раза увеличить пропускную способность при обработке сигналов. Количество оперативно запоминающих устройств выбирают равным количеству переменных, используемых в алгоритмах обработки. Каждому адресу памяти соответствует определенное значение пикселя (чувствительного элемента) в массиве данных с фотоприемника, считывание которых из оперативно запоминающих устройств осуществляют синхронно с тактами частоты опроса пикселей фотоприемника. Данные, полученные в результате проведения исходной стадии обработки сигналов, записывают в телевизионную память - в составе двух оперативно запоминающих устройств, подключенных к ПЛИС, хранящих данные изображения. Каждое из всех вышеупомянутых запоминающих устройств имеет независимую адресную шину и шину данных.

Кроме того, для осуществления промежуточной стадии обработки, проводимой совместно с исходной стадией, на которой обрабатывают промежуточные массивы данных, используют аналогичное оперативно запоминающее устройство - промежуточную память, в которую записывают данные, полученные в результате проведения исходной стадии обработки ПЛИС, к которой осуществляют обращение ПОС. Указанное запоминающее устройство - промежуточная память имеет общие шины адреса и данных для совместного использования в отношении ПОС и ПЛИС. При осуществлении обращения ПЛИС к промежуточной памяти выводы ПОС переводят в третье состояние. При реализации промежуточной стадии^- процесса обработки посредством ПОС осуществляют периодическое, в любой заданный момент времени, обращение к любому оперативно запоминающему устройству, подключенному к ПЛИС.

При выполнении заданной функции обработки промежуточных данных, периодически, в заданный момент времени полного цикла обработки, соответствующий начальным кадрам цикла, посредством ПЛИС записывают результирующий массив данных изображения (значения темнового фона и значения скорректированного изображения) кроме телевизионной памяти также и в промежуточную память, тем самым предоставляя ПОС для обработки оставшееся от полного цикла время, соответствующее кадрам, следующим после осуществления записи в начальных кадрах и свободным от записи. В свою очередь, посредством ПОС при выполнении заданной функции обработки промежуточных данных также записывают в заданный момент времени, соответствующий последним кадрам цикла обработки, обработанный массив данных изображения (обновленной таблицы дефектных элементов, обновленного массива коэффициентов коррекции неоднородной чувствительности и усредненного в соответствии с заданным количеством раз темнового фона) из промежуточной памяти в любое оперативно запоминающее устройство, тем самым предоставляя ПОС для обработки оставшееся время цикла, соответствующее предшествующим кадрам, свободным от записи.

Для разделения действий исходной и окончательной стадий обработки ПЛИС в телевизионной памяти используют два отдельных оперативно запоминающих устройства, хранящих данные изображения. Шины адреса и данных этих устройств переключают с частотой смены кадров телевизионного монитора, что позволяет попеременно использовать одно оперативно запоминающее устройство для записи данных, полученных в результате исходной обработки, а второе - для чтения данных и их обработки в окончательной стадии.

На окончательной стадии обработки на предшествующих совместных стадиях обработанные данные, записанные в телевизионную память, считывают из одного из оперативно запоминающих устройств телевизионной памяти и производят замещение дефектных элементов, при котором последние замещают на среднее значение от соседних справа и слева полноценных элементов. При этом считывают данные с выполненной над ними коррекцией неоднородной чувствительности и коррекцией темнового фона из телевизионной памяти, дефектному элементу по обновленной таблице устанавливают среднее значение от соседних справа и слева полноценных элементов, после чего осуществляют привязку к телевизионным сигналам синхронизации, затем регулируют яркость и контраст, далее в массив изображения вставляют символы служебной информации и осуществляют непосредственно замещение дефектного элемента на среднее значение от окружающих полноценных элементов и медианную фильтрацию изображения.

Таким образом, достижение указанного технического результата в способе базируется на следующем. Во-первых, на возможности обеспечения накопления ПОС полноформатных массивов изображения и осуществления над ними функции обработки, что выполняют совместно с осуществлением ПЛИС собственных функций обработки изображения и записью результатов обработки ПЛИС в промежуточную память с общими шинами адреса и данных в отношении ПОС и ПЛИС, а также в телевизионную память с индивидуальными шинами адреса и данных, подключенную к ПЛИС. Во-вторых, накопление ПОС полноформатных массивов изображений и осуществление над ними функции обработки сопровождают пересылкой данных в оперативно запоминающие устройства с индивидуальными шинами адреса и данных, подключенные к ПЛИС, хранящие данные коэффициентов коррекции неоднородной чувствительности, коэффициенты коррекции темнового фона и дефектных элементов. В-третьих, в процессе обработки посредством ПОС осуществляют периодическое, в любой заданный момент времени, обращение к любому оперативно запоминающему устройству, подключенному к ПЛИС. В-четвертых, в финале процесса обработки данные с выполненной коррекцией неоднородной чувствительности и коррекцией темнового фона считывают из телевизионной памяти и проводят замещение дефектных элементов. При этом весь процесс обработки сигналов фотоприемника разбит таким образом, что сначала проводят обработку сигналов с коррекцией неоднородности чувствительности и темнового фона - исходная и промежуточная стадии, выполняемые совместно, а завершают обработку сигналов замещением дефектных элементов на окончательной стадии, которая следует после проведения исходной и промежуточной.

В предлагаемом устройстве главное значение для достижения технического результата имеют следующие особенности его выполнения. На базе ПЛИС (2) реализован узел исходной обработки, осуществляющий собственные функции обработки изображения, и узел окончательной обработки, осуществляющий замещение дефектных элементов. На базе ПОС (8) реализован узел промежуточной обработки, накапливающий полноформатные массивы изображения и осуществляющий над ними функции обработки. Узлы исходной и промежуточной обработки функционируют совместно. Распределение функций между ПОС (8) и ПЛИС (2) позволяет отойти от последовательного выполнения функций обработки и повысить производительность электронной обработки сигналов фотоприемника, предоставляя возможность производить передачу больших массивов данных изображения в реальном масштабе времени. Между процессором ПОС (8) и программируемой логической интегральной схемой - ПЛИС (2) (см. чертеж) выполнена промежуточная память - синхронное динамическое оперативно запоминающее устройство хранения промежуточных данных SDRAM (9), что позволяет процессору накапливать полноформатные массивы изображения и осуществлять над ними функции обработки и при этом выполнять их совместно с выполнением ПЛИС (2) собственных функций, представляющей собой основу для реализации функций обработки. При этом промежуточная память SDRAM (9) имеет общие шины адреса и данных, обеспечивающие возможность обращения к промежуточной памяти как ПОС (8), так и ПЛИС (2). Результат исходной обработки для формирования промежуточных массивов данных записывается в устройство хранения промежуточных данных ПОС-ПЛИС-SDRAM (9) для выполнения промежуточной обработки над формируемым массивом данных. Данный массив может накапливаться требуемое количество раз и обрабатываться ПОС (8). Также узел исходной обработки снабжен оперативно запоминающими устройствами, подключенными к ПЛИС (2), с индивидуальными шинами адреса и данных, хранящими данные о дефектных элементах, коэффициенты коррекции неоднородной чувствительности элементов и темнового фона. Количество упомянутых устройств равно количеству переменных, используемых в алгоритмах обработки. Данная особенность позволяет получить максимальную пропускную способность устройства, ограниченную только интерфейсом, через который на обработку поступает поток видеоданных с фотоприемника. После обработки ПОС (8) пересылает массив данных в оперативно запоминающие устройства, подключенными к ПЛИС (2), хранящие данные о дефектных элементах, коэффициенты коррекции неоднородной чувствительности элементов и темнового фона. ПОС (8) выполнен с возможностью обращения к любому оперативно запоминающему устройству, подключенному к ПЛИС (2). Узел исходной обработки связан с узлом окончательной обработки посредством телевизионной памяти, подключенной к ПЛИС (2). Этим осуществляется разделение действий узлов исходной и окончательной обработок. Наличие трех узлов обработки со строгим распределением в отношении их функций обработки сигналов также позволяет расширить функциональные возможности устройства электронной обработки сигналов фотоприемника.

Предлагаемое устройство электронной обработки сигналов фотоприемника при формировании изображения содержит следующие элементы (см. чертеж): АЦП (1), ПЛИС (2), синхронное динамическое оперативно запоминающее устройство хранения дефектных элементов - SDRAM (3), контроллер USB (4), синхронное динамическое оперативно запоминающее устройство хранения коэффициентов коррекции неоднородной чувствительности элементов - SDRAM (5), АЛУ (6), синхронное динамическое оперативно запоминающее устройство хранения коэффициентов коррекции темнового фона - SDRAM (7), процессор обработки сигналов - ПОС (8), синхронное динамическое оперативно запоминающее устройство хранения промежуточных, ПОС-ПЛИС, данных - SDRAM (9), узел замещения дефектных элементов (10), контроллер памяти (11), телевизионный генератор (12), первое синхронное динамическое оперативно запоминающее устройство хранения данных изображения - SDRAM (13), узел регулировки яркости и контраста (14), флэш-память (15), электрически перепрограммируемое постоянное запоминающее устройство - EEPROM (16), второе синхронное динамическое оперативно запоминающее устройство хранения данных изображения - SDRAM (17), узел формирования символов (18), узел цифровой фильтрации (19), ЦАП (20).

В общем случае устройство электронной обработки сигналов фотоприемника при формировании изображения выполнено в составе АЦП (1), ПЛИС (2), ПОС (8), ЦАП (20), промежуточной памяти - SDRAM (9), телевизионной памяти, оперативно запоминающих устройств в количестве, равном количеству переменных, используемых в алгоритмах обработки. При этом на базе ПЛИС (2) реализован узел исходной обработки, осуществляющий собственные функции обработки изображения, и узел окончательной обработки, осуществляющий замещение дефектных элементов. На базе ПОС (8) реализован узел промежуточной обработки, накапливающий полноформатные массивы изображения и осуществляющий над ними функции обработки. Узел промежуточной обработки связан с узлом исходной обработки посредством промежуточной памяти SDRAM (9), предназначенной для хранения промежуточных данных. SDRAM (9) имеет общие шины адреса и данных в отношении ПОС (8) и ПЛИС (2), что обеспечивает возможность обращения к промежуточной памяти SDRAM (9) ПОС (8) и ПЛИС (2) для записи и считывания данных. АЦП (1) связан с узлом исходной обработки. Узел исходной обработки снабжен оперативно запоминающими устройствами, подключенными к программируемой логической интегральной схеме, с индивидуальными шинами адреса и данных в указанном количестве. ПОС (8) выполнен с возможностью обращения к любому оперативно запоминающему устройству, подключенному к ПЛИС (2). Узел исходной обработки связан с узлом окончательной обработки посредством телевизионной памяти, подключенной к ПЛИС (2). Узел окончательной обработки связан с ЦАП (20).

Узел исходной обработки, осуществляющий собственные функции обработки изображения, реализованный на базе ПЛИС (2), в частности, выполнен в составе АЛУ (6) ПЛИС (2). В конкретном случае реализации, узел исходной обработки снабжен синхронным динамическим оперативно запоминающим устройством хранения дефектных элементов SDRAM (3), синхронным динамическим оперативно запоминающим устройством хранения коэффициентов коррекции неоднородной чувствительности элементов SDRAM (5) и синхронным динамическим оперативно запоминающим устройством хранения коэффициентов коррекции темнового фона SDRAM (7). АЛУ (6) связано с указанными SDRAM (3), SDRAM (5) и SDRAM (7) через контроллер памяти (11).

Телевизионная память, подключенная к ПЛИС (2), выполнена в составе первого и второго синхронных динамических оперативно запоминающих устройств хранения данных изображения SDRAM (13) и SDRAM (17) соответственно, которые подключены к ПЛИС (2) посредством контроллера памяти (11). SDRAM (13) и SDRAM (17) выполнены с индивидуальными шинами адреса и данных с возможностью переключения их с частотой смены кадров телевизионного монитора. Указанное выполнение обеспечивает использование одного из них для записи обработанных узлом исходной обработки данных, а другого - для чтения данных и окончательной обработки.

Узел промежуточной обработки, реализованный на базе ПОС (8), накапливающий полноформатные массивы изображения и осуществляющий над ними функции обработки, выполнен в составе непосредственно ПОС (8), контроллера USB (4), флэш-памяти (15) и EEPROM (16). ПОС (8) связан с контроллером USB (4) для доступа к персональному компьютеру. Флэш-память (15), связанная с ПОС (8), используется для хранения массивов коэффициентов коррекции неоднородной чувствительности и темнового фона с целью периодической, при необходимости, их перезаписи ПОС (8) в промежуточную память SDRAM (9). Электрически перепрограммируемое постоянное запоминающее устройство EEPROM (16) связано с ПОС (8) и используется для осуществления ПОС (8) учета времени работы.

Для достижения возможности обращения ПЛИС (2) к промежуточной памяти SDRAM (9) с общими шинами адреса и данных и возможностью обращения к ней ПОС (8) и ПЛИС (2) для записи и считывания данных, выполненной в составе синхронного динамического оперативно запоминающего устройства, выводы ПОС (8) реализованы с возможностью переключения их в третье состояние.

ПОС (8) выполнен с возможностью обращения к любому подключенному к ПЛИС (2) синхронному динамическому оперативно запоминающему устройству: SDRAM (3), SDRAM (5) и SDRAM (7), а также SDKAM(9), посредством использования контроллера памяти (11). Подключение шин адреса и данных ПОС (8) к ПЛИС (2) посредством контроллера памяти (11) обеспечивает возможность обращения к любому оперативно запоминающему устройству, подключенному к ПЛИС (2).

Реализованный на базе ПЛИС (2) узел окончательной обработки, осуществляющий замещение дефектных элементов, выполнен в составе последовательно связанных узла замещения дефектных элементов (10), телевизионного генератора (12), узла регулировки яркости и контраста (14), узла формирования служебных символов (18), узла цифровой фильтрации (19). Элементы (10) - (19) являются составными ПЛИС (2). Узел замещения дефектных элементов (10) связан с телевизионной памятью, предоставляющей возможность считывания обработанных узлами исходной и промежуточной обработки данных. Узел цифровой фильтрации (19) связан с ЦАП (20).

АЦП (1) связан с узлом исходной обработки, реализованным на базе ПЛИС (2), посредством АЛУ (6), осуществляющего алгоритмы обработки в отношении поступающих на него с АЦП (1) сигналов.

В устройстве узлы исходной, промежуточной и окончательной обработки посредством контроллера памяти (11) синхронизированы с обрабатываемым потоком данных.

Для практической реализации устройства возможно, например, использовать следующие электронные компоненты: в качестве ПЛИС (2) - микросхему ПЛИС EP3C120F78017; в качестве ПОС (8) - микросхему процессор ADSP-BF533SBBC500; в качестве контроллера USB (4) - микросхему контроллер USB FT2232HQ; в качестве оперативно запоминающих устройств SDRAM (3), SDRAM (5), SDRAM (7), SDRAM (9), SDRAM (13), SDRAM (17) - микросхему SDRAM MT48LC16M16A2BG-75 IT; в качестве флэш-памяти (15) - микросхему FLASH память M25P64VME6G; в качестве электрически перепрограммируемого постоянного запоминающего устройства EEPROM (16) -микросхему EEPROM AT25256AN-10SI-2.7; в качестве АЦП (1) - микросхему АЦП ADS850; в качестве ЦАП (20) - микросхему ЦАП AD9762ARU.

Устройство функционирует следующим образом (см. чертеж).

Видеосигнал с фотоприемника поступает перед исходной обработкой на АЦП (1), где из аналоговой формы он преобразуется в цифровую. В цифровой форме сигнал подается на узел исходной обработки, реализованный на базе ПЛИС (2), а именно поступает на АЛУ (6), которое осуществляет выполнение алгоритмов коррекции темнового фона или коррекции неоднородной чувствительности элементов. В каждом из этих случаев, синхронно со значением каждой адресной шины оперативно запоминающих устройств, подключенных к ПЛИС (2), - SDRAM (3), (5) и (7) считывается соответствующий массив данных. Каждому адресу памяти соответствует значение пикселя в массиве данных с фотоприемника. В микросхемах SDRAM (3), (5) и (7) хранятся, соответственно, массивы дефектных элементов, коэффициентов коррекции неоднородной чувствительности и коррекции темнового фона. Считывание данных из указанных оперативно запоминающих устройств происходит синхронно с тактами частоты опроса фотоприемника, что позволяет за один такт частоты опроса получить для АЛУ (6) значения трех переменных для арифметических операций. Это также позволяет в три раза соответственно увеличить полосу пропускания системы по сравнению с использованием последовательного доступа к тем же массивам данных, если они расположены в одном оперативно запоминающем устройстве. Результат арифметических операций записывается в телевизионную память - в одно из оперативно запоминающих устройств телевизионного вывода, SDRAM (13) или SDRAM (17). Шины адреса и данных оперативно запоминающих устройств SDRAM (13) и SDRAM (17) переключаются с частотой смены кадров телевизионного монитора, что позволяет попеременно использовать одно из них для записи обработанных АЛУ (6) данных, а другое для чтения данных и окончательной их обработки.

Совместно с узлом исходной обработки осуществляет свои функции узел промежуточной обработки.

После выполнения обработки в АЛУ (6), результат которой кроме телевизионной памяти (SDRAM (13) и SDRAM (17)) записывается в промежуточную память SDRAM (9), где данный массив может накапливаться требуемое количество раз и далее обрабатываться процессором ПОС (8). После обработки процессор ПОС (8) пересылает массив данных в синхронные динамические оперативно запоминающие устройства SDRAM (3), (5) и (7). Если положить за полный цикл обработки промежуточных данных 50 кадров, то записывая в промежуточную память SDRAM (9), в первом кадре значение темнового фона, во втором кадре значение скорректированного изображения, а в 48 кадре записывая из промежуточной памяти SDRAM (9) в оперативно запоминающее устройство SDRAM (3) обновленную таблицу дефектных элементов, в 49 кадре записывая из промежуточной памяти SDRAM (9) в оперативно запоминающее устройство SDRAM (5) обновленный массив коэффициентов коррекции неоднородной чувствительности элементов, в 50 кадре записывая из промежуточной памяти SDRAM (9) в оперативно запоминающее устройство SDRAM (7) усредненный по заданному количеству раз темновой фон массива элементов фотоприемника, то оставшееся время, включая с 3 кадра по 47 кадр, процессор ПОС (8) выполняет накопление темнового фона заданное количество раз, формирует скорректированную таблицу дефектных элементов и обновляет коэффициенты коррекции неоднородной чувствительности в зависимости от температуры наблюдаемого объекта. Кроме того, массивы коэффициентов коррекции неоднородной чувствительности элементов фотоприемника, хранящиеся во флэш-памяти (15), периодически, в зависимости от внешних условий, переписываются процессором ПОС (8) в промежуточную память SDRAM (9). Также процессор ПОС (8) осуществляет учет времени работы системы и записывает данную информацию в электрически перепрограммируемое постоянное запоминающее устройство EEPROM (16). Загрузка первичных данных в указанные микросхемы памяти и управление обработкой осуществляется посредством использования USB. Доступ процессора ПОС (8) к каждому оперативно запоминающему устройству осуществляется благодаря контроллеру памяти (11) и позволяет использовать процессор ПОС (8) для чтения-записи массивов данных по каналу контроллер USB (4) персональный компьютер (ПК).

Узел окончательной обработки осуществляет свои функции следующим образом.

Обработанные при совместном действии узлов исходной и промежуточной обработки данные считываются из оперативно запоминающего устройства SDRAM (13) или SDRAM (17) телевизионной памяти и поступают на узел замещения дефектных элементов (10). Дефектному элементу устанавливается среднее значение от соседних справа и слева полноценных элементов. Сигнал поступает на телевизионный генератор (12) и осуществляется привязка к телевизионным сигналам синхронизации. Далее сигнал поступает на узел регулировки яркости и контраста (14), анализируется массив изображения для формирования значений необходимых при работе автоматических регулировок яркости и контраста. После чего сигнал поступает на узел формирования символов (18), где в массив изображения вставляют символы служебной информации. В завершении окончательной обработки сигнал поступает на узел цифровой фильтрации (19), где происходит непосредственно замещение дефектных элементов на среднее значение от окружающих полноценных элементов и медианная фильтрация изображения.

Прошедший все стадии обработки цифровой сигнал поступает на ЦАП (20) и преобразуется в аналоговую форму.

Таким образом, предлагаемая группа изобретений позволяет выполнять следующие функции: компенсацию фона, коррекцию неоднородной чувствительности элементов фотоприемника, замещение дефектных элементов соседними справа и слева элементами или средним значением от окружающих элементов, масштабирование, вставку символьной информации в изображение, автоматическую и ручную регулировку яркости и контраста изображения, медианную и ФНЧ (фоновую низко частотную) фильтрацию изображения, фильтрацию нерезкого маскирования, накопление кадра компенсации фона, накопление кадров текущего изображения и вывод их среднего кадра, формирование и коррекцию таблицы дефектных элементов в реальном масштабе времени, коррекцию коэффициентов коррекции неоднородной чувствительности элементов фотоприемника в реальном масштабе времени, загрузку массива коэффициентов коррекции в зависимости от температуры наблюдаемых объектов в реальном масштабе времени, учет времени работы и количества включений прибора, обмен данными с ПК по интерфейсу USB.

Данные функции отсутствуют, в совокупности, у всех известных технических решений аналогичного назначения и определяют преимущества предлагаемого технического решения, если предлагаемое сравнивать с выбранным прототипом, а также и другими аналогами, при равных условиях, включающих, например, показатели энергопотребления и набор электронных компонентов для его практической реализации. Использование микросхем оперативной памяти типа SDRAM значительно снижает энергопотребление системы.

Изобретение относится к технике формирования изображений в тепловизионных системах, работающих в ИК-диапазонах спектра, и предназначено для обработки сигналов фотоприемников. Техническим результатом является расширение арсенала технических возможностей. Результат достигается тем, что сигналы с фотоприемника преобразуют из аналоговой формы в цифровую и затем обрабатывают. Процесс обработки подразделяют на исходную, промежуточную и окончательную стадии. Первые две осуществляют совместно. На промежуточной стадии процессором производят накопление полноформатных массивов изображения и осуществляют над ними функции обработки. На исходной стадии осуществляют посредством ПЛИС собственных функций обработки изображения. Результаты записывают в промежуточную память с общими шинами адреса и данных в отношении процессора и ПЛИС, и в телевизионную память с индивидуальными шинами адреса и данных, подключенную к ПЛИС. После обработки процессором массивы данных пересылают в ОЗУ с индивидуальными шинами адреса и данных, подключенные к ПЛИС, хранящие коэффициенты коррекции неоднородной чувствительности, коэффициенты коррекции темнового фона и данные дефектных элементов. Посредством процессора осуществляют в любой заданный момент времени обращение к любому упомянутому ОЗУ. На окончательной стадии посредством ПЛИС данные с выполненной коррекцией неоднородной чувствительности и коррекцией темнового фона считывают из телевизионной памяти и проводят замещение дефектных элементов. Далее сигнал преобразуют в аналоговую форму. В устройстве выполнены АЦП, ПЛИС, процессор, ЦАП. На базе ПЛИС реализованы узлы исходной и окончательной обработки. На базе процессора - узел промежуточной обработки. Последний связан с узлом исходной обработки посредством промежуточной памяти с общими шинами адреса и данных. Узел исходной обработки снабжен ОЗУ, подключенными к ПЛИС, с индивидуальными шинами адреса и данных в количестве, равном количеству переменных, используемых в алгоритмах обработки. Процессор реализован с возможностью обращения к любому ОЗУ. Узел исходной обработки связан с узлом окончательной обработки посредством телевизионной памяти, подключенной к ПЛИС. В результате обеспечиваются расширение функциональных возможностей и повышение показателей пропускной способности при обработке сигналов. 2 н. и 14 з.п. ф-лы, 1 ил.

1. Способ электронной обработки сигналов фотоприемника при формировании изображения, заключающийся в том, что сигналы с фотоприемника преобразуют из аналоговой формы в цифровую и затем обрабатывают, отличающийся тем, что процесс обработки подразделяют на три стадии - исходную, промежуточную и окончательную, причем исходную и промежуточную стадии осуществляют совместно, на промежуточной стадии при обработке производят процессором накопление полноформатных массивов изображения и осуществляют над ними функции обработки, при этом указанные действия промежуточной стадии выполняют совместно с осуществлением программируемой логической интегральной схемой собственных функций обработки изображения, составляющим содержание исходной стадии, результаты которой записывают в промежуточную память с общими шинами адреса и данных в отношении процессора и программируемой логической интегральной схемы, а также в телевизионную память с индивидуальными шинами адреса и данных, подключенную к программируемой логической интегральной схеме, в свою очередь, после обработки процессором массивы данных пересылают в оперативно запоминающие устройства с индивидуальными шинами адреса и данных, подключенные к программируемой логической интегральной схеме, хранящие данные коэффициентов коррекции неоднородной чувствительности, коэффициенты коррекции темнового фона и данные дефектных элементов, при реализации процесса обработки посредством процессора осуществляют периодическое, в любой заданный момент времени, обращение к любому упомянутому оперативно запоминающему устройству, подключенному к программируемой логической интегральной схеме, на окончательной стадии, осуществляемой посредством программируемой логической интегральной схемы, данные с выполненной коррекцией неоднородной чувствительности и коррекцией темнового фона считывают из телевизионной памяти и с обновлением по дефектным элементам проводят замещение дефектных элементов, после чего сигнал преобразуют в аналоговую форму.

2. Способ по п.1, отличающийся тем, что на исходной стадии при осуществлении программируемой логической интегральной схемой собственных функций обработки изображения выполняют алгоритмы коррекции темнового фона и/или коррекции неоднородной чувствительности, при этом считывают соответствующий массив данных синхронно со значением адресной шины оперативно запоминающих устройств, хранящих данные коэффициентов коррекции неоднородной чувствительности, коэффициенты коррекции темнового фона и дефектных элементов, результат выполнения алгоритмов записывают в оперативно запоминающее устройство, являющееся промежуточной памятью, и в одно из двух оперативно запоминающих устройств, являющихся телевизионной памятью, шины адреса и данных которой переключают с частотой смены кадров телевизионного монитора, предоставляя возможность попеременного использования одного из оперативно запоминающих устройств телевизионной памяти для записи исходно обработанных программируемой логической интегральной схемой данных, а другого - для чтения данных и проведения на окончательной стадии замещения дефектных элементов; количество оперативно запоминающих устройств, хранящих данные коэффициентов коррекции неоднородной чувствительности, коэффициентов коррекции темнового фона и дефектных элементов, выбирают в соответствии с количеством переменных, используемых в алгоритмах обработки, тем самым устанавливая каждому адресу памяти соответствующее значение пикселя в массиве данных с фотоприемника.

3. Способ по п.1, отличающийся тем, что на промежуточной стадии при проведении процессором накопления полноформатных массивов изображения и осуществлении над ними функции обработки массив данных, полученный в результате исходной обработки и записанный в промежуточную память, накапливают требуемое количество раз и обрабатывают процессором, после завершения цикла обработки процессором результирующий массив данных пересылают в оперативно запоминающие устройства, хранящие данные коэффициентов коррекции неоднородной чувствительности, коэффициентов коррекции темнового фона и дефектных элементов.

4. Способ по п.1 или 3, отличающийся тем, что на промежуточной стадии при выполнении функции обработки за счет записи промежуточных данных программируемой логической интегральной схемой в промежуточную память в начальных кадрах полного цикла обработки - значения темнового фона и значения скорректированного изображения, а в последних кадрах записи из промежуточной памяти в оперативно запоминающие устройства, хранящие данные коэффициентов коррекции неоднородной чувствительности, коэффициентов коррекции темнового фона и данные дефектных элементов, - обновленной таблицы дефектных элементов, обновленного массива коэффициентов коррекции неоднородной чувствительности и усредненного в соответствии с заданным количеством раз темнового фона, в течение времени, равного времени за вычетом из полного цикла обработки упомянутых кадров, процессором осуществляют накопление массива данных темнового фона заданное количество раз, формируют скорректированную таблицу дефектных элементов и обновляют коэффициенты коррекции неоднородной чувствительности.

5. Способ по п.1, отличающийся тем, что на окончательной стадии при считывании данных с выполненной коррекцией неоднородной чувствительности и коррекцией темнового фона из телевизионной памяти и проведении замещения дефектных элементов данные, прошедшие предшествующие совместные стадии обработки, считывают из одного из запоминающих устройств телевизионной памяти, дефектному элементу устанавливают среднее значение от соседних справа и слева полноценных элементов, после чего осуществляют привязку к телевизионным сигналам синхронизации, затем регулируют яркость и контраст, далее в массив изображения вставляют символы служебной информации и осуществляют непосредственно замещение дефектного элемента на среднее значение от окружающих полноценных элементов и медианную фильтрацию изображения.

6. Способ по п.2, отличающийся тем, что на окончательной стадии при считывании данных с выполненной коррекцией неоднородной чувствительности и коррекцией темнового фона из телевизионной памяти и проведении замещения дефектных элементов данные, прошедшие предшествующие совместные стадии обработки, считывают из одного из запоминающих устройств телевизионной памяти, дефектному элементу устанавливают среднее значение от соседних справа и слева полноценных элементов, после чего осуществляют привязку к телевизионным сигналам синхронизации, затем регулируют яркость и контраст, далее в массив изображения вставляют символы служебной информации и осуществляют непосредственно замещение дефектного элемента на среднее значение от окружающих полноценных элементов и медианную фильтрацию изображения.

7. Способ по п.1, или 2, или 5, или 6, отличающийся тем, что разделение действий исходной и окончательной стадий обработки осуществляют посредством телевизионной памяти из двух оперативно запоминающих устройств с индивидуальными шинами адреса и данных, которые переключают с частотой смены кадров телевизионного монитора, предоставляя возможность попеременного использования одного из оперативно запоминающих устройств телевизионной памяти для записи обработанных программируемой логической интегральной схемой и процессором данных, а другого - для чтения данных и проведения окончательной стадии обработки.

8. Устройство электронной обработки сигналов фотоприемника при формировании изображения, содержащее аналогово-цифровой преобразователь, программируемую логическую интегральную схему, процессор, цифроаналоговый преобразователь, отличающееся тем, что на базе программируемой логической интегральной схемы реализован узел исходной обработки, осуществляющий собственные функции обработки изображения, и узел окончательной обработки, осуществляющий замещение дефектных элементов, на базе процессора реализован узел промежуточной обработки, накапливающий полноформатные массивы изображения и осуществляющий над ними функции обработки, который связан с узлом исходной обработки посредством промежуточной памяти с общими шинами адреса и данных, с возможностью обращения к промежуточной памяти процессора и программируемой логической интегральной схемы для записи и считывания данных, аналогово-цифровой преобразователь связан с узлом исходной обработки, узел исходной обработки снабжен оперативно запоминающими устройствами, подключенными к программируемой логической интегральной схеме, с индивидуальными шинами адреса и данных, в количестве, равном количеству переменных, используемых в алгоритмах обработки, причем процессор выполнен с возможностью обращения к любому оперативно запоминающему устройству, подключенному к программируемой логической интегральной схеме, узел исходной обработки связан с узлом окончательной обработки посредством телевизионной памяти, подключенной к программируемой логической интегральной схеме, а узел окончательной обработки связан с цифроаналоговым преобразователем.

9. Устройство по п.8, отличающееся тем, что узел исходной обработки, осуществляющий собственные функции обработки изображения, реализованный на базе программируемой логической интегральной схемы, выполнен в составе арифметико-логического устройства программируемой логической интегральной схемы; узел исходной обработки снабжен оперативно запоминающими устройствами, подключенными к программируемой логической интегральной схеме, с индивидуальными шинами адреса и данных в количестве, равном количеству переменных, используемых в алгоритмах обработки, а именно синхронным динамическим оперативно запоминающим устройством хранения дефектных элементов, синхронным динамическим оперативно запоминающим устройством хранения коэффициентов коррекции неоднородной чувствительности элементов, синхронным динамическим оперативно запоминающим устройством хранения коэффициентов коррекции темнового фона; арифметико-логическое устройство связано с указанными оперативно запоминающими устройствами через контроллер памяти.

10. Устройство по п.8, отличающееся тем, что телевизионная память, подключенная к программируемой логической интегральной схеме, выполнена в составе первого и второго синхронных динамических оперативно запоминающих устройств хранения данных изображения, которые подключены к программируемой логической интегральной схеме посредством контроллера памяти, оперативно запоминающие устройства телевизионной памяти выполнены с индивидуальными шинами адреса и данных, с возможностью переключения их с частотой смены кадров телевизионного монитора, обеспечивая использование одного из них для записи обработанных узлом исходной обработки данных, а другого - для чтения данных и окончательной обработки.

11. Устройство по п.8, отличающееся тем, что узел промежуточной обработки, реализованный на базе процессора, накапливающий полноформатные массивы изображения и осуществляющий над ними функции обработки, выполнен в составе непосредственно процессора, контроллера USB, с которым связан процессор для доступа к персональному компьютеру, флэш-памяти, связанной с процессором, хранящей массивы коэффициентов коррекции неоднородной чувствительности и темнового фона для периодической, при необходимости, их перезаписи процессором в промежуточную память, электрически перепрограммируемого постоянного запоминающего устройства, связанного с процессором для осуществления учета времени работы.

12. Устройство по п.8, отличающееся тем, что промежуточная память с общими шинами адреса и данных, с возможностью обращения к ней процессора и программируемой логической интегральной схемы для записи и считывания данных выполнена в составе синхронного динамического оперативно запоминающего устройства, для достижения возможности обращения к ней программируемой логической интегральной схемы выводы процессора реализованы с возможностью переключения в третье состояние.

13. Устройство по п.8, отличающееся тем, что подключение шин адреса и данных процессора к программируемой логической интегральной схеме выполнено с возможностью обращения к любому оперативно запоминающему устройству, подключенному к программируемой логической интегральной схеме, посредством использования контроллера памяти.

14. Устройство по п.8, отличающееся тем, что реализованный на базе программируемой логической интегральной схемы узел окончательной обработки, осуществляющий замещение дефектных элементов, выполнен в составе последовательно связанных узла замещения дефектных элементов, телевизионного генератора, узла регулировки яркости и контраста, узла формирования служебных символов, узла цифровой фильтрации и связан посредством последнего с телевизионной памятью, предоставляющей возможность считывания обработанных узлами исходной и промежуточной обработки данных, а узел цифровой фильтрации связан с цифроаналоговым преобразователем.

15. Устройство по п.8, отличающееся тем, что аналогово-цифровой преобразователь связан с узлом исходной обработки, реализованным на базе программируемой логической интегральной схемы, посредством арифметико-логического устройства, осуществляющего алгоритмы обработки в отношении поступающих на него с аналогово-цифрового преобразователя сигналов.

16. Устройство по п.8, отличающееся тем, что узлы исходной, промежуточной и окончательной обработки посредством контроллера памяти синхронизированы с обрабатываемым потоком данных.