СПОСОБ ДЛЯ ДЕТЕКТИРОВАНИЯ И КЛАССИФИЦИРОВАНИЯ СОБЫТИЙ СЦЕНЫ Российский патент 2019 года по МПК G06K9/00 G01J1/02 G01J5/00 G01J5/60 

Область техники, к которой относится данное изобретение, является областью классификации событий в наблюдаемой сцене. Эта классификация событий относится к детектированию угроз перед стрельбой или после стрельбы для самозащиты или дополнительной защиты транспортных средств, плавательных средств, летательных аппаратов, таких как вертолеты или самолеты, или же военных или гражданских объектов инфраструктуры.

Эти платформы подвержены воздействию различных типов угроз, которые могут исходить со всех направлений в пределах 360° по азимуту вокруг платформы или в областях с телесным углом 2π стерадиан или более (сверх-полусферических), для наземных платформ, или же 4π стерадиан для надземных платформ. Этими угрозами являются: стрельба боеприпасами, лазерная подсветка, боевые прицельные системы, люди, которые их используют (стрелки), или возможные платформы, в которые они встроены.

Некоторые системы типа «Soft Kill» («Поражение выведением из строя») (нейтрализация угрозы перед стрельбой) или «Hard Kill» («Поражение с физическим уничтожением») (нейтрализация угрозы после стрельбы), которые объединяют функции детектирования угроз, средства реакции, защиты, или выживания транспортного средства или его экипажа, и ответных действий, нуждаются в функциях детектирования в режиме реального времени с очень короткими периодами времени реакции.

В настоящее время существует очень малое количество доступных видов оборудования, которые соответствуют разнообразию таких угроз. Однако, существуют:

- детекторы начала обстрела (или «HFI», что является сокращением от «Hostile Fire Indicator» («Индикатор вражеского обстрела»)), которые основаны на акустических решениях, или радиолокации, или инфракрасном диапазоне 2 или MWIR (среднем инфракрасном диапазоне 3 мкм – 5 мкм) или UV (Ultra Violet (ультрафиолетовом диапазоне)), или же на комбинации этих технологий;

- детекторы снайперов на основе акустических решений, для детектирования дульной волны и сверхзвуковой волны боеприпаса, или для детектирования, посредством эффекта «кошачьего глаза» (детекторы нацеленных оптических систем (Pointed-Optics Detector - POD), их средств прицеливания;

- детекторы пусков ракет (Missile Departure Detector – MDD) или датчики предупреждения об обнаружении ракет (Missile Warning Sensor - MWS) на основе радиолокации, UV или MWIR детектирования;

- детекторы предупреждения о лазерном облучении (Laser Warning Detector - LWD), на основе оптического детектирования на основе длин волн лазеров, используемых для военных применений.

Эти типы приемников иногда встречаются на дорогостоящих самолетах, таких как самолет-истребитель. На бронированных транспортных средствах, они встречаются реже, в силу стоимостей единицы продукции такого оборудования и стоимости встраивания его в систему защиты, по сравнению со стоимостью платформы.

LWD или MDD присутствуют на рынке более 20 лет и не нашли никакого фактического применения на наземных транспортных средствах.

Некоторые компании предлагают оборудование с различными уровнями технологического развития, для детектирования пусков ракет или обстрела, на основе технологий объединения N камер – например, 4, причем каждая из них покрывает азимутальный сектор 90°, для обеспечения покрытия 360°. Эти сети из N распределенных и синхронизированных камер, тем не менее, образуют решения, которые при встраивании являются дорогостоящими и сложными и, фактически, являются нерентабельными. Фактически, в настоящее время, большинство бронированных транспортных средств не имеют средств защиты, кроме своей брони. Действительно, существующие решения наземной сферы действия являются неудовлетворительными, конкретно, вследствие стоимости и сложности компоновки полной системы защиты. Действительно, бесполезно детектировать угрозы, если неизвестно, как реагировать таким образом, чтобы обеспечить, чтобы угроза или ее эффекты были нейтрализованы, для обеспечения, таким образом, выживания экипажа или платформы, или же, для обеспечения того, чтобы выполнение задачи было продолжено.

Задача данного изобретения состоит в устранении этих недостатков.

Более конкретно, предметом данного изобретения является способ для детектирования и классифицирования событий типа угроз стрельбы в сцене, посредством однозрачковой системы формирования изображения, установленной на мобильной платформе и снабженной несколькими детекторами, включающими в себя детектор в диапазоне длин волн 0,6 мкм – 1,1 мкм, называемый детектором видимого и ближнего инфракрасного диапазона (Visible Near InfraRed – VisNIR), и детектор в диапазоне длин волн 0,9 мкм – 1,7 мкм, или диапазоне 1, называемый детектором коротковолнового инфракрасного диапазона (Short Wave InfraRed – SWIR), связанными с блоком обработки, который содержит этап получения последовательных двумерных изображений сцены, которые поступают от VisNIR-детектора и называются VisNIR-изображениями, и последовательных двумерных изображений сцены, которые поступают от SWIR-детектора и синхронизированы с VisNIR-изображениями и называются SWIR-изображениями, этап отображения VisNIR-изображений, и этап обработки VisNIR-изображений и SWIR-изображений посредством блока обработки. Он, главным образом, отличается тем, что этот этап обработки изображений содержит следующие подэтапы:

- сравнение последовательных SWIR-изображений для определения, для каждого пиксела (x₁,y₁) и смежных пикселов, изменения в освещенности от одного SWIR-изображения к другому, и пикового значения e₁(t) этих так называемых SWIR-освещенностей,

если это изменение в SWIR-освещенности является большим, чем заданный порог освещенности, то тогда это изменение в SWIR-освещенности, во время которого она является большей, чем упомянутый порог, назначают в качестве признака события i, и событие связывают с упомянутым пикселом (x₁,y₁) или с барицентром рассматриваемых пикселов, и:

- определяют дату t_i события i,

- определяют временную форму и длительность δt_i признака события i,

- определяют координаты пиксела (x₂,y₂) и смежных пикселов, соответствующих пикселу (x₁,y₁) или барицентру, в VisNIR-изображениях, синхронизированных с SWIR-изображениями, и для этого пиксела (x₂,y₂) и этих смежных пикселов:

○ вычисляют изменение в освещенности от одного VisNIR-изображения к другому и пиковое значение e₂(t) этих так называемых VisNIR-освещенностей, и сравнивают эти изменения в SWIR- и VisNIR-освещенностях и их пиковые значения e₁(t) и e₂(t) для оценки температуры события на основе заданной справочной таблицы,

▪ если сцена является дневной сценой, и температура является большей, чем температурный порог, то тогда событие является ложным предупредительным сигналом (= событие отклоняют), и предыдущие этапы повторяют с другим пикселом,

▪ в противном случае:

○ на основе измерений угловых скоростей элементов сцены и скорости платформы, и VisNIR-изображений, оценивают расстояние R_i соответствующей точки сцены, для вычисления интенсивности I_i события i на основе SWIR- и VisNIR-освещенностей этого пиксела и на основе этого расстояния R_i,

○ общую энергию E_i события оценивают на основе временной формы признака события и интенсивности I_i,

- событие i классифицируют в зависимости от его длительности δt_i, его температуры T_i, его интенсивности I_i и его энергии E_i,

- предыдущие этапы повторяют для другого пиксела SWIR-изображений.

Посредством этого способа, VisNIR-детектор обеспечивает возможность обеспечения основной функции высокоразрешающего дневного и ночного видения, вместе с дополнительными функциями, для детектирования, определения углового положения и классификации событий (или угроз), или для отклонения ложных предупредительных сигналов, посредством совместного использования одного (или нескольких) детектора (детекторов) SWIR-типа, возможно, многоспектрального, и посредством определения атрибутов длительности, температуры и интенсивности этих событий.

Когда событие связано с несколькими смежными пикселами, например, более чем с 4*4 пикселами, то тогда определяют яркость события в SWIR-диапазоне, и событие также классифицируют в зависимости его яркости в SWIR-области.

В видимом и ближнем инфракрасном диапазоне, также можно измерить видимую яркость, связанную с событием. Эти две яркости, SWIR и VisNIR, обеспечивают возможность оценки температуры события (уже оцененной, как указано выше) с большей точностью. Кроме того, при оценке расстояния до события, можно оценить его амплитуду, его интенсивность и его общую энергию.

Предпочтительно, событие вставляют в отображаемое VisNIR-изображение, необязательно, вместе с соответствующим расстоянием. Оно может быть вставлено в дополненную реальность посредством вставки символа, например, цветного перекрестья с соответствующими данными. Эта информация о расстоянии обеспечивает более надежное выполнение классификации детектированной угрозы, и обеспечивает возможность оценки степени угрозы или степени приоритета, и оценки того, находимся ли мы в диапазоне смертельного поражения этой угрозы, и, необязательно, совершения подходящих ответных действий, автоматических или управляемых оператором (перемещение, маскировка посредством отстрела дымовых гранат, ответные действия для нейтрализации угрожающей огневой точки, ответные действия для нейтрализации боеприпаса, например).

Согласно одной характеристике данного изобретения, блок обработки связан с системой управления событиями, и способ детектирования и классифицирования, дополнительно, предусматривает этап запуска этой системы управления на основе классифицированного события и расстояния до него.

Предметом данного изобретения также является компьютерный программный продукт, причем упомянутая компьютерная программа содержит кодовые команды, обеспечивающие возможность выполнения этапов способа, описанного выше, когда упомянутая программа исполняется на компьютере.

Предметом данного изобретения также является система для детектирования и классифицирования событий сцены, которая содержит:

- систему для однозрачкового формирования изображения сцены, установленную на мобильной платформе и снабженную несколькими детекторами, включающими в себя детектор видимого и ближнего инфракрасного диапазона и SWIR-детектор,

- блок обработки, связанный с детекторами,

- средство для оценки расстояний между точками сцены и системой формирования изображения,

- устройство отображения, связанное с блоком обработки,

которая отличается тем, что блок обработки содержит средство для реализации способа детектирования и классификации, описанного выше.

Другие характеристики и преимущества данного изобретения станут понятны после прочтения нижеследующего подробного описания, выполненного посредством неограничивающего примера, со ссылкой на приложенные чертежи, в которых:

Фиг. 1 схематично представляет иллюстративную систему, используемую для реализации способа согласно данному изобретению,

Фиг. 2 представляет иллюстративную последовательность этапов способа согласно данному изобретению,

Фигуры 3 являются примерами изображений, полученных посредством SWIR-детектора (фиг. 3А), посредством VisNIR-детектора без вставки (фиг. 3b) и со вставкой (фиг. 3с) детектированного события на SWIR-изображении, вместе с расстоянием, связанным с этим событием,

Фиг. 4 представляет иллюстративное увеличенное SWIR-изображение решенного события,

Фиг. 5 показывает пример классификации угрозы, определенной в зависимости от ее атрибутов.

Во всех фигурах, одинаковые элементы обозначены одинаковыми ссылочными позициями.

Способ детектирования и классифицирования, согласно данному изобретению, реализован посредством однозрачковой системы формирования изображения, показанной на фиг. 1, содержащей оптическую систему 10, выполненную с возможностью обеспечения по меньшей мере двух фокальных плоскостей, в одном случае, с детектором 22 видимого и ближнего инфракрасного диапазона (0,6 мкм – 1,1 мкм или же 0,4 мкм – 1,1 мкм, включающих в себя видимый диапазон), и, в другом случае, с детектором 21 Диапазона 1 или SWIR (0,9 мкм – 1,7 мкм). Эта оптическая система, предпочтительно, выполнена с возможностью образования на каждом детекторе панорамного изображения сцены, подлежащей наблюдению; она содержит передний модуль 11 с полусферическим или даже большим полем, за ним следуют оптические элементы 12 для формирования изображений, дихроичный разделитель 13 и, на каждом спектральном канале, адаптирующая оптическая система 14 и 15. Например, используют катадиоптрическую комбинацию (зеркала и диоптры, выполненные из стекла), поскольку она может функционировать в очень широком спектральном диапазоне: видимом, ближнем инфракрасном (Near IR - NIR) и Диапазоне 1 (SWIR). Использование оптической системы, которая является общей для двух детекторов, обеспечивает возможность предотвращения эффекта параллакса на изображениях, поступающих от этих детекторов.

SWIR матричный детектор 21, который выполнен, например, на основе InGaAs, обычно имеет формат матрицы 320 строк * 256 столбцов с промежутком 30 мкм и частотой изображений 400 Гц, или 640 строк * 512 столбцов с промежутком 15 мкм и частотой изображений 300 Гц, что соответствует текущему состоянию уровня техники. Этот детектор обычно имеет пространственное разрешение 4 mrd для пиксела с форматом 640*512. Могут быть предусмотрены большие форматы. Однако, выполнение требований по частоте изображений и временному отклику для классификации угроз, которые являются, обычно, очень короткими (длительностью обычно <100 мс) нуждается в частотах получения, равных или больших, чем 200 Гц или даже 1000 Гц, если необходимо классифицировать малые калибры. Детектор включает в себя свою схему считывания и мультиплексирования, называемую интегральной схемой считывания (Read Out Integrated Circuit, сокращенно ROIC).

Пикселы снабжены одним или несколькими подходящими фильтрами, такими как:

- Единственный фильтр над всей матрицей пикселов 211, который одновременно обеспечивает пропускание узкого диапазона около 1,064 мкм и широкого диапазона выше 1,4 мкм вплоть до граничной длины волны детектора, например, 1,7 мкм или выше.

- Несколько разных фильтров, каждый из которых подходит для пиксела, например, при разбиении 2*2, с наличием:

○ поддиапазона для детектирования признаков начала взрыва (1.4-1.7 мкм)

○ узких диапазонов, настроенных на лазерные спектральные линии (1.06 мкм, 1.5 мкм, …)

Схема считывания или ROIC связана с электронными схемами 210 определения близости (или E-prox) детектора; в ROIC и/или E-prox встроены конкретные функции, такие как, например:

- высокочастотное считывание с частотой выше 200 Гц или с периодом менее 5 мс, и временем интегрирования без нерабочего времени; время интегрирования равно или очень близко к периоду получения кадров изображения.

- расширенный динамический диапазон (режим HDR (high dynamic range)), который может быть достигнут различными способами: двойным интегрированием, корневым или логарифмическим нелинейным откликом, например, сбросом перед обратным отсчетом насыщения …

CMOS кремниевый детектор используют, например, в качестве детектора 22 видимого диапазона. Он имеет высокое пространственное разрешение (например, 1 mrd на 1 пиксел) и функционирует на частоте 25 Гц или более, обычно между 25 Гц и 100 Гц. 4T или 5T CMOS матрица 221 (с 4 или 5 транзисторами в каждом пикселе), с низким шумом, усилением и постолбцовым параллельным аналого-цифровым преобразованием, такая как s-CMOS (научная CMOS) матрица, может быть приведена в качестве примера такого детектора. CMOS детектор 221 включает в себя свою схему считывания и мультиплексирования (или ROIC), которая связана с электронными схемами 220 определения близости (или E-prox) детектора. Эти электронные схемы определения близости, связанные с ROIC, выполняют операции аналого-цифрового преобразования и восстановления сигнала (коррекции неоднородности (Non Uniformity Correction – NUC), для обеспечения возможности использования изображений, приобретенных с максимальной производительностью, в дневное и ночное время. Они связаны с устройством 40 отображения, для обеспечения функции наблюдения сцены для оператора. Видимое изображение 42 отображают, но не обязательно отображают SWIR-изображение 41.

Эти детекторы 22, 21 связаны с блоком 50 обработки видимого изображения 42 и SWIR-изображения 41, полученных, соответственно, двумя детекторами, который может реализовать следующие этапы, описанные в сочетании с фиг. 1 и последовательностью этапов фиг. 2. Угрозы (или события) характеризуются оптическими признаками на полученных изображениях. Согласно данному изобретению, событие детектируют, и, затем, определяют четыре атрибута, на основе которых эти оптические признаки будут классифицированы.

Все угрозы характеризуются очень короткими оптическими признаками, которые, таким образом, оператору очень трудно различить на глаз при наблюдении экрана или даже при прямом наблюдении, вследствие спектральной области излучения; таким образом, они должны быть детектированы посредством автоматической обработки.

Временные профили признаков, а именно, их длительность, и, возможно, время нарастания и профиль спада, образуют первый атрибут, который получают следующим образом.

Событие сначала детектируют с помощью средства 51 детектирования, и некоторые его характеристики оценивают следующим образом. Изображения сцены, подлежащей наблюдению, называемые SWIR-изображениями 41, получают последовательно посредством SWIR-детектора. Изображения этой сцены, называемые VisNIR-изображениями 42, получают одновременно посредством детектора видимого диапазона, причем эти SWIR-изображения и VisNIR-изображения синхронизированы во времени друг с другом посредством электронных схем 30 для управления и синхронизации детекторов, и, затем, их сохраняют в памяти в целях классификации. Эта синхронизация может быть обеспечена в результате получения изображений с одинаковой частотой для обоих детекторов, но обычно эти частоты являются разными, как было упомянуто выше.

SWIR-изображения 41 сравнивают друг с другом для определения для каждого пиксела (x_i1, y_i1) изменения в SWIR-освещенности. Освещенность e_i1 задана посредством сигнала, интегрируемого в пикселе, на котором формируется изображение угрозы. Если это изменение в освещенности является большим, чем заданный порог, или порог, который может быть адаптирован согласно признакам пространственно-временного фона, то тогда считают, что оно представляет SWIR-признак события: событие i детектируют, как показано на фиг. 3а. Этот порог освещенности является обычно от 2 до 10 раз большим, чем изменение в среднеквадратическом отклонении фона, согласно вероятностям детектирования и частотам ложных предупредительных сигналов, необходимых на данном этапе. Освещенность e_i1 в Вт/м² определяют, таким образом, в спектральном диапазоне приема, определенном SWIR-детектором, его оптической системой 15 и его возможными фильтрами.

Также определяют длительность δt_i в секундах, а именно, длительность, в течение которой это изменение в освещенности является большим, чем этот порог. Эта длительность δt_i, таким образом, образует первый атрибут для классификации события (этап А).

На основе этого детектирования события, выполненного в SWIR-области, можно будет измерить, на основе VisNIR-изображений 42, уровень потока, собираемый синхронно в том же поле зрения. Выполняют следующее.

Средство 53 используют для определения координат пиксела (x_i2, y_i2), соответствующих этому событию в VisNIR-изображениях 42, синхронизированных с упомянутыми SWIR-изображениями. Когда размеры SWIR-изображений и VisNIR-изображений являются одинаковыми, координаты пиксела в видимых изображениях являются идентичными координатам пиксела в SWIR-изображениях; таким образом, мы имеем x_i1=x_i2 и y_i1=y_i2. Если VisNIR-изображения имеют большее разрешение, чем SWIR-изображения, вследствие того, что пространственное разрешение VisNIR-детектора является большим, чем пространственное разрешение SWIR-детектора, как в примере на фигурах 3, то координаты VisNIR-пикселов определяют в соответствии с SWIR-пикселом, на основе которого выполнено детектирование. Эта операция определения соответствия для VisNIR и SWIR пикселов может быть выполнена при изготовлении, после встраивания матриц детекторов в оптическую систему. Если детектирование выполнено на основе смежных SWIR-пикселов, то определяют положение его барицентра, и определяют положение VisNIR-пикселов, соответствующих положению этого барицентра. Посредством измерения пикового сигнала в VisNIR-диапазоне или посредством суммирования вклада смежных пикселов, освещенных событием, определяют VisNIR-освещенность события e_i2 в Вт/м2 в спектральном диапазоне данного приемника. Может случиться, что событие не сможет быть детектировано на VisNIR-канале. В этом случае, освещенность e_i2 равна нулю или не может быть определена вследствие того, что ее амплитуда является слишком низкой относительно шума или погрешности.

Для этого пиксела вычисляют отношение e_i2/e_i1. Это отношение VisNIR-освещенности к SWIR-освещенности обеспечивает возможность оценки температуры T_i (в K) события (этап В), с помощью средства 54 для вычисления атрибутов. Эта температура является вторым атрибутом оптического признака. Для этой цели, используют заданную таблицу, которая обеспечивает возможность установления соответствия между этими отношениями освещенностей и соответствующей температурой черного тела или серого тела, с использованием, например, закона Планка, вклад от которых интегрируют для двух спектральных диапазонов, SWIR и VisNIR, в зависимости от температуры. Цифровой сигнал, поступающий из двух каналов, калибруют в Вт/м² для обеспечения измерений в этих единицах. Альтернативно, детекторы могут быть откалиброваны посредством измерения сигнала, который они выдают при прицеливании в калибровочное черное тело в лаборатории.

Эту температуру обычно используют для отклонения источника ложных предупредительных сигналов, состоящего из Солнца или его модуляций или его рассеяния облаками, или же его отражения зеркалами, металлическими контурами (такими как окна или дорожные указатели), или же отражений от воды. Действительно, на мобильной платформе, эти солнечные отражения могут генерировать пространственно-временные признаки в SWIR-области, которые очень близки к признакам искомых боеприпасов. Солнце или его отражения, температура абсолютно черного тела которых составляет, приблизительно, 5800К, будут генерировать интенсивный признак на более короткой длине волны (в видимом и ближнем инфракрасном диапазоне), который гораздо сильнее, чем признаки, связанные с пиротехническими признаками начала взрывов, имеющих температуру абсолютно черного тела менее чем 2000К. Детектирование интенсивных признаков в видимом или ближнем инфракрасном диапазоне, таким образом, обеспечивает возможность нейтрализации возможных детектирований в SWIR на основе пикселов, покрывающих то же самое мгновенное поле зрения. Уровень потока, собранный на детекторе видимого диапазона, обеспечивает возможность, посредством температуры, подтвердить или отклонить детектирование события: для дневной сцены, если температура является большей, чем порог (например, 5000К), то тогда это событие является ложным предупредительным сигналом, в противном случае, это событие подтверждают (этап С). Подтвержденное событие может быть, дополнительно, вставлено в видимое изображение для привлечения внимания оператора.

Этот температурный атрибут, предпочтительно, определяют посредством блока обработки параллельно с первым атрибутом (длительностью).

Вся боевая техника, от которой эти угрозы исходят, характеризуется диапазонами Р смертельного поражения или эффективности, за пределами которых угроза больше не является эффективной. Они находятся в классе 100м, для RPG или противотанковых ракет ближнего действия, и в классе 500м-8км для противотанковых ракет, в зависимости от их типа, или боеприпаса, в зависимости от их калибра и их заряда.

Согласно данному изобретению, блок обработки содержит средство 52 для оценки расстояния R_i точки видимого изображения 42 (точка объекта сцены – система формирования изображения).

Систему формирования изображения устанавливают на борту платформы, например, наземной платформы. Посредством установления направлений по углу возвышения и азимуту в системе координат VisNIR-детектора, и посредством установления его положения в соответствии с высотой и ориентацией относительно платформы, или, что еще лучше, относительно земли (с использованием информации относительно соответствующего положения платформы относительно земли), можно оценить расстояние точек изображения от земли в зависимости от их видимого возвышения, предполагая, что земля является горизонтальной и плоской, или, что еще лучше, с использованием цифровой модели местности (digital terrain model - DTM), картированной посредством GPS-положения транспортного средства и посредством данных, поступающих от изображений, поставляемых детектором видимого диапазона, обеспечивающих профиль горизонта, или посредством определения местоположения ориентиров в поле изображения. Когда платформа зафиксирована на инфраструктуре, можно, во время ее установления, образовать пары всех точек видимого изображения наземной сцены и расстояний до них. Когда платформа является мобильной, угловые скорости характеристических точек сцены могут быть измерены между последовательными VisNIR-изображениями с хорошей точностью, с учетом углового разрешения системы формирования изображения. Это поле угловых скоростей во всей сцене называют оптическим потоком. Это обеспечивает возможность измерения поворота или поворотов поля и направления вектора скорости платформы (после деротации поля), для которого оптический поток равен нулю. Широкое покрытие углового поля панорамной системы формирования изображения обеспечивает возможность обеспечения того, чтобы направление вектора скорости платформы находилось в поле наблюдения и совпадало с пикселом. Посредством установления скорости платформы, информации, поставляемой ее поведением и ее поступательным движением, или с использованием информации от инерциального блока, или же информации, измеренной с использованием наземного оптического потока ближнего действия, измерения угловой скорости элементов сцены и измерения углового отклонения между пикселом, совпадающим с вектором скорости платформы, и направлением, связанным с изображением элемента сцены, угловая скорость которого оценена, может быть оценено расстояние R до него.

Как показано на фиг. 3с, расстояние R_i, связанное с событием i, может быть отображено в режиме реального времени на видимом изображении 42; событие i может быть вставлено на видимое изображение с использованием, например, заданного символа, такого как цветное перекрестье. SWIR-изображение 41, показанное на фиг. 3а, обычно не отображают.

На основе этого расстояния и видимой освещенности, полученной для этого события, средство 54 используют для вычисления его интенсивности I_i (в Вт/ср), причем она является третьим атрибутом (этап D). Действительно, следует напомнить, что амплитуда SWIR-освещенности зависит от расстояния R по закону 1/R² и от атмосферного ослабления T_atm, что обеспечит коэффициент передачи, который зависит от расстояния R. Мы имеем:

I_i=(1/T_atm)e_iR_i².

В SWIR-изображениях 41, оптические признаки источников являются либо разрешенными (расширенными на несколько пикселов), либо неразрешенными (изображение источника сформировано на единственном пикселе), либо, в промежуточной ситуации, являются едва расширенными относительно мгновенного поля зрения, определяемого размером пиксела, фокальной длиной оптической системы и ее функции передачи модуляции (Modulation Transfer Function – MTF) в диапазоне 1.

Когда признак является пространственно разрешенным, как показано в примере фиг. 3 или 4, освещенность e_i1, соответствующая амплитуде пикового сигнала, видимого на пикселе, определяют посредством яркости признака в течение времени интегрирования (этап Е), и получают с помощью средства 54. Это значение образует четвертый атрибут для классификации угрозы. Этот атрибут является очень надежным, поскольку он не зависит от расстояния R по закону 1/R², как в случае освещенности, обеспечиваемой неразрешенным источником. В этом случае, яркость L_i в Вт/ср/м² события задают посредством пиковой освещенности, видимой на пикселе, через соотношение:

L_i=e_i1/[T_atm(IFOV)²],

причем IFOV является телесным углом мгновенного поля зрения детектора. Альтернативно, средняя яркость может быть задана посредством интегрирования сигнала e_i1, собранного смежными пикселами, на которых сформировано изображение источника, деленного на телесный угол Ω в стерадианах, под которым видно разрешенное событие. Поскольку принятая освещенность зависит от расстояния R (закон 1/R2), она не образует атрибута для классифицирования угрозы. Только барицентр этого признака имеет значение, обеспечивая определение углового местоположения в соответствии с возвышением и азимутом в системе координат SWIR-детектора, или в системе координат платформы, поскольку известно движение формирователя относительно шасси, если система формирования изображения установлена на элементе, шарнирно соединенным с платформой (турель, «поворотно-наклонная» платформа). Это событие, затем, классифицируют как «разрешенное», в зависимости от его длительности, его температуры, его интенсивности и его яркости.

Наконец, интенсивность события или его яркость, связанные с его амплитудой и с его длительностью, обеспечивают возможность оценки энергии E_i (в Дж) события (этап F), которая может быть связана с оценкой диапазона угрозы и ее боеприпаса. Их вычисляют с помощью средства 54.

Когда событие i является разрешенным, мы имеем: E_i=L_i Ω R_i² 4 π δt_i.

Когда событие i является неразрешенным, мы имеем: E_i=I_i 4π δt_i.

Эти четыре (если признак является неразрешенным) или пять (если признак является разрешенным) атрибутов обеспечивают возможность надежной классификации угрозы с помощью средства 55. Когда событие было подтверждено на основе его температуры, или же не было предположено, что оно является ложным предупредительным сигналом, его, затем, классифицируют на основе его длительности, его температуры, его интенсивности, его энергии и, возможно, его яркости и заданных классов, как показано в таблице на фиг. 5. Эти этапы повторяют для каждого другого пиксела SWIR-изображения.

Посредством связи классификации угрозы и оценки расстояния и энергии события, можно решить, находится или нет система формирования изображения или наблюдатель в зоне Р смертельного поражения угрозы и, таким образом, предпринять, при необходимости и возможности, подходящие ответные действия в режиме реального времени. Эти ответные действия могут быть запущены автоматически с помощью средства 56 блока обработки, как показано на фиг. 1, или вручную оператором.

Этот способ детектирования и классифицирования может быть, конкретно, реализован на основе компьютерного программного продукта, причем эта компьютерная программа содержит кодовые команды, обеспечивающие возможность выполнения этапов этого способа. Ее записывают на носителе, считываемом компьютером, а также используют для синхронизации SWIR-изображений и видимых изображений. Этот носитель может быть электронным, магнитным, оптическим, электромагнитным, или может быть средой передачи инфракрасного типа. Такими носителями являются, например, полупроводниковые устройства памяти (память с произвольным доступом (Random Access Memory - RAM), постоянное запоминающее устройство (Read-Only Memory - ROM)), ленты, магнитные или оптические дискеты или диски (постоянное запоминающее устройство на компакт-диске (Compact Disk – Read Only Memory - CD-ROM), перезаписываемый компакт-диск (Compact Disk – Read/Write - CD-R/W) и DVD).

Изобретение относится к области детектирования и классифицирования событий сцены. Технический результат – обеспечение надежного распознавания событий сцены. Достижение результата обеспечивается посредством однозрачковой системы формирования изображения, снабженной VisNIR-детектором в диапазоне длин волн 0,6–1,1 мкм и SWIR-детектором. При этом выполняют этап получения синхронизированных VisNIR и SWIR последовательных двумерных изображений, этап отображения VisNIR-изображений и этап обработки этих изображений, который состоит в сравнении SWIR-изображений для определения, для каждого пиксела, изменения в освещенности от одного SWIR-изображения к другому и пикового значения этих SWIR-освещенностей. 3 н. и 4 з.п. ф-лы, 7 ил.

1. Способ для детектирования и классифицирования событий типа угроз стрельбы в сцене посредством однозрачковой системы формирования изображения, установленной на мобильной платформе и снабженной несколькими детекторами, включающими в себя детектор в диапазоне длин волн 0,6–1,1 мкм, называемый VisNIR-детектором (22), и детектор в диапазоне длин волн 0,9–1,7 мкм, называемый SWIR-детектором (21), связанными с блоком (50) обработки, который содержит этап получения последовательных двумерных изображений сцены, которые поступают от VisNIR-детектора и называются VisNIR-изображениями (42), и последовательных двумерных изображений сцены, которые поступают от SWIR-детектора и синхронизированы с VisNIR-изображениями и называются SWIR-изображениями (41), этап отображения VisNIR-изображений и этап обработки VisNIR-изображений и SWIR-изображений посредством блока обработки, отличающийся тем, что этот этап обработки изображений содержит следующие подэтапы:

- сравнение последовательных SWIR-изображений для определения, для каждого пиксела (x₁,y₁) и смежных пикселов, изменения в освещенности от одного SWIR-изображения к другому и пикового значения e₁(t) этих так называемых SWIR-освещенностей,

если это изменение в SWIR-освещенности является большим, чем заданный порог освещенности, то тогда изменение в SWIR-освещенности, во время которого превышен упомянутый порог, назначают в качестве признака события i, и событие связывают с упомянутым пикселом (x₁,y₁) или с барицентром рассматриваемых пикселов, и этап обработки изображений дополнительно содержит подэтапы:

- определение даты t_i события i,

- определение (этап А) временной формы и длительности δt_i признака события,

- определение координат пиксела (x₂,y₂) и смежных пикселов, соответствующих пикселу (x₁,y₁) или барицентру в VisNIR-изображениях, синхронизированных с SWIR-изображениями, и для этого пиксела (x₂,y₂) и этих смежных пикселов:

○ вычисляют изменение в освещенности от одного VisNIR-изображения к другому VisNIR-изображению и пиковое значение e₂(t) этих так называемых VisNIR-освещенностей, и сравнивают эти изменения в SWIR- и VisNIR-освещенностях и их пиковые значения e₁(t) и e₂(t), для оценки температуры события на основе заданной справочной таблицы (этап В),

▪ если сцена является дневной сценой и температура является большей, чем температурный порог, то тогда событие является ложным предупредительным сигналом (этап С), и предыдущие этапы повторяют с другим пикселом,

▪ в противном случае:

○ оценивают расстояние R_i соответствующей точки сцены в режиме реального времени на основе измерений угловых скоростей элементов сцены, скорости платформы и VisNIR-изображений,

○ вычисляют интенсивность I_i события i на основе SWIR- и VisNIR-освещенностей этого пиксела и на основе этого расстояния R_i (этап D),

○ оценивают общую энергию E_i события на основе временной формы признака и интенсивности I_i (этап F),

- классифицируют событие i в зависимости от его длительности δt_i, его температуры T_i, его интенсивности I_i и его энергии E_i,

- оценка диапазона P_i эффективности события на основе его классификации,

- сравнение диапазона P_i эффективности с расстоянием R_i,

○ если расстояние R_i является меньшим, чем диапазон P_i эффективности, то тогда, по возможности, запуск подходящих ответных действий в режиме реального времени,

- предыдущие этапы повторяют для другого пиксела SWIR-изображений.

2. Способ для классифицирования событий сцены по предшествующему пункту, отличающийся тем, что, если событие связано со смежными пикселами, то тогда определяют (этап Е) яркость набора этих событий, и этот набор событий также классифицируют в зависимости от его яркости.

3. Способ для классифицирования событий сцены по п. 1, отличающийся тем, что событие вставляют в отображаемое VisNIR-изображение (42).

4. Способ для классифицирования событий сцены по предшествующему пункту, отличающийся тем, что расстояние, связанное с событием, отображают на отображаемом VisNIR-изображении (42).

5. Способ для классифицирования событий сцены по одному из предшествующих пунктов, отличающийся тем, что ответные действия запускают автоматически или вручную оператором.

6. Система для детектирования и классифицирования событий сцены, которая содержит:

- систему для однозрачкового формирования изображения сцены, установленную на мобильной платформе и снабженную несколькими детекторами, включающими в себя VisNIR-детектор (22) и SWIR-детектор (21),

- блок (50) обработки, связанный с детекторами,

- средство для оценки расстояния между точками сцены и системой формирования изображения,

- систему управления событиями, связанную с блоком обработки и выполненную с возможностью запуска, на основе классифицированного события и расстояния до него,

- устройство (40) отображения, связанное с блоком обработки,

отличающаяся тем, что блок обработки содержит средство для реализации способа детектирования и классифицирования по одному из пп. 1-5.

7. Система для детектирования и классифицирования по предшествующему пункту, отличающаяся тем, что средство для реализации способа детектирования и классифицирования является компьютерной программой, содержащей кодовые команды, обеспечивающие возможность выполнения этапов способа по любому из пп. 1-5, когда упомянутая программа исполняется на компьютере.