ОПТИКО-ЭЛЕКТРОННАЯ СИСТЕМА, ИМЕЮЩАЯ СВЕРХПОЛУСФЕРИЧЕСКИЙ ОБЗОР Российский патент 2016 года по МПК G03B37/04 G02B13/06 

Областью техники данного изобретения является область наблюдения и разведки для охраны транспортного средства, колонны транспортных средств, платформы (наземной, морской или воздушной) или позиции.

Такое наблюдение или разведка, как правило, обеспечивается наблюдателем или экипажем на борту платформы; факультативно управление им может осуществляться дистанционно.

Среди существующих устройств, обеспечивающих выполнение задачи наблюдения, можно перечислить нижеследующие устройства, в которых используются:

- кольцо эпископов или перископов, которые проходят через броню, стенки и средства защиты основных боевых танков, или

- камера, установленная на поворотной опоре, способная ориентироваться по двум осям, типа PTZ, что означает «панорама/наклон/масштабирование», которая не позволяет мгновенно охватывать всю панораму, или

- сеть из нескольких распределенных камер, охватывающих панораму, которая делает необходимым управление сетью потока видеоданных, или

- датчик типа линейной матрицы в фокусе объектива, полностью сканирующий более 360° сцены в экваториальной плоскости, например, с частотами от 1 до 10 Гц.

Эти средства оптико-электронного типа передают сигналы, которые факультативно обрабатываются и отображаются на экранах.

Этих средств совершенно недостаточно:

- либо потому, что они не позволяют обеспечить полное восприятие окружающей обстановки, что может проявляться в виде множества мертвых углов; это важно, например, для транспортного средства, передвигающегося в условиях города, который может маневрировать в различных направлениях, при этом угрозы могут исходить с различных направлений;

- либо потому, что разрешающая способность совершенно недостаточна в отношении угловых размеров обнаруживаемых объектов, событий или угроз с учетом дальности, на которой должна обеспечиваться возможность их распознавания.

Фактически это включает в себя:

распознавание на дальности до 150 м снайперов, которые могут угрожать гранатометом (или RPG, что означает «активно-реактивная граната») либо которые занимают позиции на крышах зданий в условиях города,

распознавание транспортных средств, передвигающихся по земле, в радиусе до 500 м; в условиях города они редко за него выходят, на открытой местности обнаружение возможно на дальностях 1500 м,

распознавание объектов, расположенных на земле, таких как мины (или IED, что означает «самодельное взрывное устройство»): должна обеспечиваться возможность обнаружения объектов размером в несколько десятков см или м, расположенных в нескольких десятках метров, с тем, чтобы на ходу принимать решение об их объезде,

- либо потому, что частота обновления крайне недостаточна для перехода на восприятие, близкое к возможностям человека, иными словами, для обеспечения непрерывного восприятия в реальном времени окружающей обстановки и ее развития с учетом скорости передвижения транспортного средства и ответных решений, которые могут приниматься экипажем. Например, существуют устройства, основанные на использовании объектива, связанного с ПЗС-камерой, которые сканируют экваториальную плоскость на 360° с частотами от 1 до 10 Гц и ограничены по угловой высоте приблизительно двадцатью градусами: эти устройства основаны либо на небольших матрицах (2 мегапикселя или менее) для совместимости со скоростью передачи видеосигналов с высокой четкостью изображения (HD 25-50 Гц), либо на больших матрицах более 2 мегапикселей, но с ограничением по частоте (порядка 1-10 Гц), или же на линейных матрицах, сканирующих 360°, которые аналогичным образом ограничены частотами сканирования от 1 до 10 Гц.

Наконец, все эти предшествующие средства ограничены работой в дневное время, обладая чувствительностью в видимой или ближней инфракрасной области либо имея возможность теплового инфракрасного наблюдения в ночных условиях, которого недостаточно для различения угроз, и обеспечивая получение изображений в дневное время, которые сложнее использовать, чем изображения, получаемые с помощью камер видимого или ближнего инфракрасного диапазона.

Таким образом, в настоящее время сохраняется необходимость в системе, которая одновременно удовлетворяет всем вышеупомянутым требованиям к сектору обзора, разрешающей способности, непрерывности наблюдения, скорости и наблюдению в дневное/ночное время.

В частности, целью изобретения является оптико-электронная видеосистема со сверхполусферическим обзором сцены, которая включает в себя датчик со сверхполусферическим объективом и матрицу детекторов, расположенную в фокальной плоскости объектива, блок обработки получаемых изображений и средство отображения для обработанных изображений.

Главным образом она отличается тем, что:

- матричный детектор работает со скоростью передачи видеосигналов и содержит:

i. матрицу пикселей размером L×C, где L и C>2000, причем каждый пиксель использует двойную коррелированную выборку и способен обеспечивать преобразование заряда в напряжение, и

ii. 2С распараллеленных элементов аналого-цифрового преобразования, причем каждый элемент преобразования содержит первый аналого-цифровой преобразователь (ADC), имеющий на выходе низкий уровень и большой коэффициент усиления, и второй ADC, имеющий на выходе высокий уровень и малый коэффициент усиления,

- сверхполусферический объектив имеет фокусное расстояние f, регулируемое в зависимости от угла возвышения, причем фокусное расстояние максимально в экваториальной плоскости и имеет числовую апертуру f/D, лежащую в диапазоне от 0,9 до 1,6, где D - диаметр объектива,

- имеется средство для согласования динамического диапазона полученного изображения с динамическим диапазоном сцены путем регулирования времени экспозиции и/или коэффициента усиления, применяемого к сигналу,

- и что блок обработки включает в себя:

i. средство для коррекции неоднородностей детектора с помощью таблиц команд, изменяемых в зависимости от температуры и времени экспозиции детектора,

ii. средство для взвешенного суммирования нескольких соседних пикселей,

iii. средство для согласования динамического диапазона полученного изображения с динамическим диапазоном сцены, средство для сжатия динамического диапазона принимаемого изображения в зависимости от временного шума детектора, возрастающего с освещенностью сцены, средство для согласования динамического диапазона полученного изображения с динамическим диапазоном экрана дисплея и/или с динамическим диапазоном глаза путем восстановления высоких пространственных частот изображения и компенсации низких пространственных частот.

В соответствии с сущностью изобретения оно содержит средство для определения фокусного расстояния объектива и средство для коррекции дисторсий в зависимости от участка наблюдаемой сцены.

Датчик обеспечивает полусферический или больший обзор и разрешающую способность, согласующуюся с размерами и местоположениями потенциальных угроз. Мультимегапиксельный датчик может считываться со скоростью передачи видеосигналов или даже с более высокими скоростями при уровне чувствительности, который может регулироваться от дневных уровней освещенности вплоть до ночных уровней освещенности и в то же время может использоваться при наличии в сцене ярких источников. Последний аспект полезен при использовании в городской зоне.

Набор функций обработки, распределенных в датчике и в компьютере, позволяет отображать изображения на экране или экранах ЧМИ (человеко-машинных интерфейсов) со вставками, приспособленными под задачи пользователей.

Целью изобретения также является способная перемещаться платформа, оснащенная имеющей сверхполусферический обзор оптико-электронной системой видеонаблюдения типа описанной выше.

Благодаря этому данное изобретение позволяет пользователю воспринимать окружающую обстановку в реальном времени, оставаясь при этом внутри платформы без необходимости выхода наружу. В частности, в военных условиях или в опасной обстановке данная система помогает защитить экипаж. Она действительно позволяет обеспечивать пользователю полное круглосуточное наблюдение в реальном времени со скоростью передачи видеосигналов при разрешении, согласующемся с угловыми размерами этих угроз, с учетом их дальности и их возможных положений на панораме.

Прочие характеристики и преимущества изобретения будут ясны из нижеследующего подробного описания, представленного на не имеющем ограничительного характера примере и со ссылкой на фиг.1, на которой схематично представлен пример системы в соответствии с изобретением.

Изображенная на фиг.1 система 100 в соответствии с изобретением содержит датчик 10, компьютер 20, предназначенный для пользователя ЧМИ 30, такой как устройство индикации изображений, и ЧМИ 40, такой как устройство для управления пользователем некоторыми функциями системы.

Кроме того, система может принимать информацию, поступающую с платформы или иного оборудования 50, установленного на платформе, например измерение скорости ее перемещения, ее местоположение и ее ориентацию на карте (например, передаваемые с помощью системы GPS), либо принимать информацию, указывающую местоположение солдат или, например, других своих мобильных платформ.

Она устанавливается на борту платформы, такой как наземное транспортное средство.

Датчик 10 содержит объектив и детектор.

Сверхсветосильный объектив с переменной разрешающей способностью в поле зрения охватывает угловую область более полусферы, ось которой ориентирована в направлении зенита. При этом объектив может вносить значительные искажения с тем, чтобы обеспечивать повышенную разрешающую способность в некоторых угловых областях, например в экваториальной плоскости для увеличения своего диапазона.

Используется объектив, например, следующих типов:

- «Рыбий глаз» с фокусным расстоянием 4,5 мм и 12 пикселями/°; 1 или 2 линз достаточно для охвата поля 360°,

- «Рыбий глаз» с фокусным расстоянием 8 мм и 21 пикселями/°; 3 линз достаточно для охвата поля 360°,

- Объектив, имеющий очень большую дисторсию, или объектив типа Panomorph™, позволяющий охватывать поле 360°, с радиальным разрешением, варьирующимся в соответствии с углом возвышения, которое может изменяться от 20 до 22 пикселей/° или больше по радиальному разрешению (1 такой линзы достаточно); вертикальная ориентация такого объектива позволяет получать тангенциальное разрешение, которое возрастает с уменьшением угла возвышения и становится лучше для отрицательных возвышений. Объектив Panomorph™ представляет собой широкоугольный анаморфотный объектив, разработанный компанией Immervision и описанный в патентах FR 2826221 и FR 2827680, который контролирует искажения и создает увеличенное изображение, охватывающее поле, по меньшей мере, 360 градусов на 180 градусов. Геометрия изображения, сформированного таким объективом (согласующимся с нашими требованиями, как указано) на детекторе, обеспечивает охват 360° по азимуту или в экваториальной плоскости на 220° по возвышению или в меридиональных плоскостях.

Угол обзора в меридиональных плоскостях свыше 220° может различаться в зависимости от азимута с тем, чтобы оптимизировать установку на транспортном средстве и увеличить обзор, например, в переднем секторе и на ѕ сзади слева и справа, куда транспортное средство может передвигаться или маневрировать. Сверхполусферический объектив имеет переменное фокусное расстояние f, определяемое в зависимости от угла возвышения, причем фокусное расстояние является наибольшим в экваториальной плоскости, и числовая апертура f/D, лежащая в диапазоне от 0,9 до 1,6, где D - диаметр объектива.

Детектор работает со скоростью передачи видеосигналов (25-50 Гц) или с более высокой скоростью в видимом или ближнем инфракрасном диапазоне в дневное и ночное время и содержит по меньшей мере 5 мегапикселей. Он содержит, например, 2560 строк (L)×2160 столбцов (С) пикселей. Детектор типа КМОП (комплементарный металло-оксидный полупроводник) дополнительно обеспечивает режимы считывания и отображения и управление временем экспозиции, которые согласуются с режимом работы, как будет показано ниже. Наконец, детектор этого типа может непосредственно выдавать цифровой сигнал.

Детектор, расположенный в фокальной плоскости, обычно представляет собой матрицу КМОП 4Т (с 4 транзисторами в пикселе) или более, работающую на 25 Гц, с низким шумом (менее 2 электронов) и большим динамическим диапазоном (свыше 80 дБ). Каждый пиксель использует двойную коррелированную выборку, при этом в каждом пикселе обеспечивается преобразование заряда в напряжение, благодаря чему обеспечивается очень низкий уровень шума и большой мгновенный динамический диапазон детектора. Кроме того, управление временем экспозиции (или временем накопления), например, от длительностей менее 10 мкс до длительностей 40 мс обеспечивает функционирование в дневное и ночное время. В ночных условиях при очень низком уровне освещенности можно увеличивать время экспозиции, например, до 100 мс и уменьшать частоту смены изображений, например, до 10 Гц с тем, чтобы улучшить ОСШ (отношение сигнал - шум) восстановленного изображения.

Детектор функционирует в ближней ИК-области (650 нм - 1 мкм), которая может быть предпочтительной по отношению к видимой области для наблюдения в ночных условиях, чтобы использовать потоки фотонов и контрасты более высоких коэффициентов отражения поверхности для этого диапазона.

Каждый столбец матрицы связан, например, с двумя идентичными параллельными ADC, причем один из них имеет вход с низким коэффициентом усиления при высоком уровне освещенности, позволяющий кодировать уровень насыщения пикселей (например, 35000 электронов), а другой имеет вход с большим коэффициентом усиления при низком уровне освещенности благодаря коэффициенту усиления (кодирование фотоэлектронов с уровнем квантования, который ниже уровня шума или менее 1 электрона в динамическом диапазоне N бит). Эти два коэффициента усиления факультативно являются регулируемыми: это позволяет обеспечивать кодирование сигнала без потерь выходного сигнала пикселей каждого столбца для различных уровней освещенности. Помимо такого мгновенного динамического диапазона и такого мгновенного динамического размаха коэффициентов усиления детектора имеется регулируемый динамический размах времен экспозиции, позволяющий варьировать время экспозиции от 10 мкс до 40 мс или даже 100 мс путем снижения частоты до 10 Гц. Такое управление в реальном времени уровнями времени экспозиции, уровнем низкого коэффициента усиления и уровнем высокого коэффициента усиления, выполняемое параллельно, реализуется либо с помощью ЧМИ 40, который управляет этими уровнями, либо с помощью функции автоматического управления, обеспечиваемой процессором в камере. Оператор осуществляет регулирование с помощью двух курсоров, регулирующих яркость и контраст изображения, восстановленного на экране, следующим образом:

- путем переключения в ручной режим камера сохраняет последние настройки, созданные в режиме автоматического управления,

- или оператор решает установить камеру в ее состояние «по умолчанию», в котором в камере устанавливается минимальное время экспозиции 10 мкс и низкий коэффициент усиления.

Если он замечает, что не может различить сигнал в темных зонах изображения, то он увеличивает уровень яркости путем регулирования смещения сигнала. Если сигнал не достигает насыщения в полезных ярких зонах изображения, он увеличивает контраст. Такое управление контрастом действует: на управление временем экспозиции, увеличивая его в пределах 40 мс, а затем на используемый коэффициент усиления. При очень высоком коэффициенте усиления (для условий очень низкой освещенности) в случае, если он замечает чрезмерный шум в темных зонах изображения, он все же может увеличить время экспозиции свыше 40 мс и задать режим суммирования смежных пикселей («биннинг») 2×2, а затем 4×4. Предпочтительно такое суммирование или «биннинг» может взвешиваться по уровню шума каждого пикселя. При необходимости он вновь регулирует уровень яркости, чтобы регулировать темные зоны изображения до уровня немного выше уровня черного экрана. Посредством этого он может работать при высокой скорости обработки - при 25 изображениях в секунду, т.е. порядка 138 мегапикселей/с без ухудшения ОСШ в динамическом диапазоне изображения.

Система 100 обеспечивает выполнение следующих функций:

- Коррекция неоднородностей детектора в реальном времени, осуществляемая с помощью программируемой логической интегральной схемы (ПЛИС) или цифрового сигнального процессора (ЦСП), встроенного в датчик 10, или осуществляемая на уровне компьютера 20. Она выполняет, по меньшей мере, вычитание смещения, вычитание темнового тока посредством корректировочных таблиц, осуществляемое в зависимости от температуры и времени экспозиции детектора, и деление на однородное поле яркости или плоское поле, что обеспечивает коррекцию неоднородностей чувствительности пикселей. Кроме того, компьютер сможет учитывать нелинейности чувствительности для каждого пикселя и неоднородности уровня временного шума каждого пикселя с тем, чтобы улучшить общее отношение сигнал - шум в восстанавливаемом таким образом изображении.

- Управление частотой смены изображений, осуществляемое электроникой камеры, управляющей детектором либо автоматически либо задаваемое вручную оператором с тем, чтобы варьировать частоту от 25 до 100 Гц. Такой режим может оказаться очень полезным во время движения в дневных условиях или в случаях, когда это позволяют более низкие уровни освещенности, с целью увеличения плавности изображений и снижения времени задержки.

- Режим взвешенного «биннинга» (группирования) для суммирования сигналов S от соседних пикселей, взвешиваемых, например, с использованием обратной величины шума (1/шум) каждого пикселя и умножения общей величины на суммарный шум. Такой режим взвешенного «биннинга» может выполняться, например, по 2×2, 3×3 или 4×4 пикселям.

- Линейный выход на 16 бит детектора, поскольку линейного выхода на 12 бит недостаточно с точки зрения динамического диапазона сцены и динамического диапазона датчика; квантование по 2×11 бит находится на пределе аналоговых характеристик датчика и соответствует точности операций для коррекции неоднородностей. Пиксель может иметь RMS (что означает «среднеквадратическое значение») уровня шума менее 1 электрона. RMS шума величиной 0,5 электрона было измерено на наименее зашумленных пикселях для цифрового сигнала, кодируемого при уровнях шума 0,6 электрона за интервал, при этом, несомненно, могут быть достигнуты более низкие уровни шума. Наиболее слабыми сигналами в действительности могут быть сигналы при 0 в полной темноте, а затем от 1 фотоэлектрона на пикселе; поэтому интервал кодирования менее 1 электрона или в действительности менее RMS уровня шума целесообразен для обработки сигналов с тем, чтобы ограничивать шум, вносимый при цифровом кодировании. RMS шума квантования равно интервалу квантования, деленному на √12. В данном случае этот шум квантования равен 0,6/√12=0,17, что в действительности мало по отношению к RMS шума величиной 0,5 электрона. Пиксель может иметь уровень насыщения более 35000 электронов. Поэтому линейное кодирование по 65536 уровням или 16 битам приближается к нашему требованию. Возможно, лучше применять кодирование двумя преобразователями, имеющими меньший динамический диапазон, с двумя различными коэффициентами усиления (кодирование с двумя наклонами). Таким образом, при кодировании с низким коэффициентом усиления по 11 битам будут кодироваться высокие уровни по 2048 уровням с 17 до 35000 электронов в интервалах 17 электронов. При кодировании с высоким коэффициентом усиления будут кодироваться уровни, начиная от самых низших уровней, соответствующих шуму в темноте (например, 0,5 электрона), до уровней, превышающих квадрат минимального уровня преобразователя с низким коэффициентом усиления, т.е. как минимум 292. В действительности RMS шума сигнала с амплитудой, равной N фотоэлектронам, в соответствии со статистикой, описываемой законом Пуассона, имеет амплитуду, равную √N; при этом вперед от этого уровня в 292 RMS шума становится ниже, чем интервал квантования. При этом кодирование от 0 до 1024 электронов может осуществляться с интервалом кодирования 0,5 электрона при 11 битах для выхода с высоким коэффициентом усиления. Отношение коэффициентов усиления - высокого коэффициента усиления и низкого коэффициента усиления - при этом составляет 35000/1024, т.е. 34. Предпочтительным является преобразование 2×12 бит, чтобы иметь некоторый запас в отношении предшествующего анализа с целью выполнения арифметических операций для коррекции неоднородностей и нелинейности при одновременном ограничении влияния уровней квантования на образующийся при этом результирующий шум и обеспечения возможности достижения более низкого уровня шума и более высоких потенциально достижимых уровней насыщения.

- Управление таблицей для преобразования сигнала на выходе (известной как «таблица преобразования») после операций коррекции неоднородностей и нелинейности с тем, чтобы понизить уровни изображений, корректируемые с помощью различных законов по всему динамическому диапазону сцены: например, отклик на несколько наклонов, корневой отклик, логарифмический отклик, выравнивание гистограммы. Это позволяет сохранить динамический диапазон сигнала при одновременном снижении скорости передачи данных с минимальными потерями.

- Считывание и отображение интересующих областей с высокой скоростью, определяемые автоматизированным средством или человеко-машинным интерфейсом 40. Эти интересующие области определяются различными способами в зависимости от задачи, операций, выполняемых каждым человеком, и состояния транспортного средства либо во время движения либо в неподвижном положении. Например, командир корабля будет контролировать секторы потенциальных угроз, стрелок сможет использовать изображение, охватывающее сектор направления его прицеливания, водитель транспортного средства сможет использовать изображение, охватывающее передний сектор перед транспортным средством во время движения (или задний сектор при передвижении задним ходом или для получения функции заднего вида). В случае если транспортное средство передвигается вперед, программное средство обработки изображений, основанное на анализе оптического потока, может автоматически отображать для командира корабля вновь обнаруженные секторы сцены. В случае если транспортное средство неподвижно, программное средство обработки изображений может автоматически обнаруживать события в сцене (появления, исчезновения, события) с одновременным формированием оповещений для экипажа, отметок обнаружения и траекторий на ситуационном экране, отображающем окружающую обстановку транспортного средства, и с одновременным формированием при этом изображений с высокой скоростью и с полным разрешением для обеспечения оператору возможности определения наличия угрозы и выполнения ответных действий. Наконец, транспортное средство или имеющаяся в нем бортовая информационная сеть может быть оснащена другими датчиками, способными формировать оповещения и целеуказания, для которых наша система сможет отображать для операторов изображение углового сектора.

Датчик 10 и компьютер 20 обеспечивают различного рода функции обработки в реальном времени:

- Низкоуровневая обработка сигналов, поступающих с детектора, с тем, чтобы обработать источники шумов и восстановить сигналы в большем динамическом диапазоне.

- Обработка для компенсации дисторсий оптической системы и детектора алгоритмическими средствами с использованием определения фокусного расстояния объектива в зависимости от участка отображаемого изображения с тем, чтобы отображать на экране 30 изображения или субизображения в зависимости от углов возвышения и азимута, фактически охватываемых каждым элементом изображения или пикселем.

- Обработка изображений согласно информации с платформы и в зависимости от окружающей обстановки с целью обеспечения различных функций, таких как обнаружение и формирование оповещений, входящих в изображение, отображаемое в соответствии с системой координат платформы.

- Обработка для согласования динамического диапазона обнаруженного изображения с динамическим диапазоном средства отображения и/или с динамическим диапазоном глаза с тем, чтобы восстанавливать на этих экранах или человеко-машинных интерфейсах 30 изображения, соответствующие эргономическим и эксплуатационным требованиям пользователей. При этом, например, система обнаруживает участки с максимальной яркостью или с избыточной яркостью, насыщающей пиксели, которые являются на изображении точечными или квазиточечными. Они могут быть связаны, например, с Солнцем в дневное время или с фонарными столбами и маяками в ночное время. Эти зоны отображаются на изображении как белые и не способствуют автоматическому управлению временем экспозиции и коэффициентом усиления, описанному выше. Кроме того, в случае очень большого динамического диапазона сцены, например при наличии ярко освещенных Солнцем зон и одновременно темных зон в тени при отображении изображений, восстанавливаются высокие пространственные частоты (детали изображения) и компенсируются колебания яркости при низкой пространственной частоте, например, с помощью метода нечеткой маски или посредством многозональной нормализации или вейвлет-фильтрации.

Ниже перечислены операции обработки, выполняемые системой 100 и распределенные между датчиком, компьютером 20 и ЧМИ 30 и 40:

- В объективе датчика, помимо всего прочего содержащем диафрагму - управление открытием и закрытием диафрагмы (при ее наличии) датчика, поддержание тепловых режимов датчика, предотвращение запотевания и обледенения переднего диоптра объектива, управление фокусировкой объектива.

- Управление временем экспозиции.

- Управление коэффициентом усиления детектора.

- Управление отображением изображений широкоформатного панорамного радиолокатора в виде увеличительного стекла на секторах изображений или интересующих зонах с коррекцией дисторсий и передвижений транспортного средства.

Указанное управление временем экспозиции, коэффициентом усиления детектора и отображением осуществляется, например, последовательно. По умолчанию диафрагма датчика, например, закрыта, а время экспозиции и коэффициент усиления установлены на минимум; при этом формируется гистограмма изображения, которая в данном случае представляет собой черное изображение. Затем диафрагма открывается и формируется гистограмма полученного изображения с одновременной проверкой того, что она простирается от самого низшего уровня до самого высшего уровня. Затем при открытой диафрагме увеличивается время экспозиции: если оно является недостаточным (то есть гистограмма не простирается надлежащим образом), то дополнительно увеличивается время экспозиции и факультативно коэффициент усиления. Наоборот, можно начать с белого, полностью насыщенного изображения. Как указано выше, можно также обходиться без диафрагмы и регулировать время экспозиции и коэффициент усиления. Можно также использовать фильтр, который применяется к объективу для ослабления сигнала и/или ограничения спектрального диапазона.

Можно также привести в качестве операций обработки, выполняемых системой 100 и распределяемых между датчиком, компьютером 20 и ЧМИ 30 и 40:

- Введение в изображение данных об обстановке (север, направление вектора скорости, картографирование, положение своих, зоны угроз и т.д.).

- Автоматическое обнаружение событий, передвижения в изображении и обновлений изображения (поступающих от сцены) с тем, чтобы сформировать оповещения и ввести их в восстановленное изображение.

- Отображение изображений в окнах с коррекцией дисторсий и движений транспортного средства.

- Реализацию функции прозрачной брони с использованием очков с коллиматорным микродисплеем, надетых на шлем и управляемых за счет контроля ориентации головы пользователя в географической системе координат, привязанной к транспортному средству.

- Функцию отображения в географической системе координат набора изображений в виде мозаики, получаемых по земле (или по 3-мерной наземной панораме) во время движения, и восстановления этих изображений в географической системе координат или системе координат транспортного средства.

- Распространение изображений и вставок, выполняемых каждым пользователем, среди остальных членов экипажа, например, для обеспечения командиру транспортного средства возможности указания направления, в котором должен передвигаться водитель, или указания стрелку зон, контролируемых с помощью его средств прицеливания.

- Во время движения кадрирование недавно появившихся демаскированных зон изображения посредством автоматической обработки, обнаруживающей прерывание оптического потока в изображении, или оператором с помощью клавиатуры или джойстика.

- Отправку целеуказаний, например, на боевые комплексы.

В случае если датчик 10 закреплен на транспортном средстве, компьютер 20 предпочтительно снабжен средствами для осуществления:

- Стабилизации изображения в бесплатформенной инерциальной системе координат (на экране, установленном на транспортном средстве) или масштабирования с увеличением >1 с помощью программного средства для стабилизации изображений в инерциальной системе координат или после обнаружения общих движений изображения.

- Прямого вывода с ограниченной задержкой для отображения изображений на коллиматорном экране с увеличением 1, закрепленном на транспортном средстве (в той же системе координат, что и транспортное средство).

- Вывода, компенсирующего относительные движения между датчиком и коллиматорным экраном (движения орудийной башни, зондовая платформа и т.д.) и обработки задержек между получением изображений и их отображением.

- Вывода, компенсирующего относительные движения головы пользователя по отношению к платформе посредством «устройства слежения за положением головы пользователя», установленного на голове и отслеживающего опорные точки в кабине, либо установленного в кабине, или же посредством инерциального датчика, установленного на голове, и инерциального датчика, установленного на транспортном средстве, и вычисления разности между ними.

Это позволяет объединять набор изображений земли, полученный во время движения, позволяя обеспечивать обзор земли или проезжей части, в том числе на ходу или под транспортным средством, посредством этого обеспечивая возможность полного обзора.

Кроме того, во время движения измерение прерываний оптического потока в изображении позволяет обнаруживать демаскированные зоны и посредством этого привлекать внимание экипажа к контролируемым полям, в которых должны быть выявлены новые угрозы.

Средства отображения изображений либо являются специфичными для системы либо в них используются уже существующие средства отображения, для которых осуществляются видоизменения в операциях обработки для восстановления используемых изображений. Эти средства отображения изображений могут быть выполнены с плоским экраном (или множеством плоских экранов), факультативно тактильным, с коллиматорным экраном или же с коллиматроными микроэкранами, закрепленными на голове или надетыми на шлем. Они могут быть встроены в существующие системы наблюдения, такие как эпископы или средства восстановления изображений в камере командира танка. Эти экраны и средства отображения соответствуют определенным требованиям каждого транспортного средства и его экипажа с учетом их задач.

Система в соответствии с изобретением может содержать 2 или 3 датчика с тем, чтобы решать возможные проблемы маскировки платформы или обеспечивать возможности стереообзора.

Система в соответствии с изобретением обеспечивает панорамный обзор в дневное и ночное время в реальном времени для экипажа в бронированном транспортном средстве. Она соответствует множеству требований по восприятию окружающей обстановки и по защите экипажа от потенциальных угроз. Она обеспечивает распознавание:

- снайпера на здании высотой 25 м на расстоянии до 150 м,

- танка на 500 м,

- 30-сантиметрового объекта (мины, самодельного взрывного устройства), расположенного на земле в 20 метрах с тем, чтобы (в порядке важности):

- обеспечивать защиту экипажа,

- поддерживать взаимодействие сторон,

- получать тактическую информацию.

Она оказывает помощь людям и обеспечивает выполнение следующих функций:

- формирование изображений во время движения,

- автоматическую разведку в неподвижном положении: автоматическая обработка для формирования оповещений по обнаружению передвижения или, что лучше, классификация угроз,

- регистрацию и донесение о выполнении задачи,

- построение мозаики в условиях дополненной реальности ситуации, поступающей с TIS (Системы тактической информации). В действительности транспортное средство находится в сети, обмениваясь информацией о цифровом районе боевых действий. В связи с этим оно принимает из сети и передает в нее информацию о геопозиционировании. Значительное количество информации при этом может быть включено в восстановленное нашей системой панорамное изображение, например местоположение своих и местоположение угроз, определяемое, например, с помощью сети.

- сервер изображений не в реальном времени или в реальном времени.

Система в соответствии с изобретением имеет следующие преимущества:

- обзор в дневное и ночное время,

- защиту от различных угроз, таких как снайперы, транспортные средства, мины,

- дальность распознавания транспортных средств до 500 м,

- систему на базе одного детектора 5,5 мегапикселей,

- сверхполусферический обзор в реальном времени,

- панорамный объектив с разрешением, согласующимся с высотой,

- легко устанавливается на платформе,

- низкую стоимость,

- удобный в обращении ЧМИ,

- «скрытый» неподвижный датчик, поскольку он не имеет вращающихся элементов, тем самым не позволяя определить, в каком направлении осуществляется наблюдение,

- операции обработки: LLL, что означает «низкий уровень освещенности», автоматическое обнаружение, управление движением платформы, определение местоположения демаскированных зон при движении вперед.

Видеосистема включает датчик со сверхполусферическим объективом и матрицей детекторов, блок обработки получаемых изображений и средство отображения для обработанных изображений. Матричный детектор работает со скоростью передачи видеосигналов и содержит L×C пикселей, где L и C > 2000, причем каждый пиксель использует двойную коррелированную выборку и обеспечивает преобразование заряда в напряжение, и 2С распараллеленных элементов аналого-цифрового преобразования, каждый из которых содержит первый аналого-цифровой преобразователь (ADC), имеющий на выходе низкий уровень и большой коэффициент усиления, и второй ADC, имеющий на выходе высокий уровень и малый коэффициент усиления. Фокусное расстояние объектива регулируется в зависимости от угла возвышения и максимально в экваториальной плоскости. Объектив имеет числовую апертуру в диапазоне от 0,9 до 1,6. Блок обработки включает средство для коррекции неоднородностей, средство для взвешенного суммирования нескольких соседних пикселей и средство для согласования и сжатия принимаемого изображения. Технический результат - увеличение сектора обзора, разрешающей способности и скорости, обеспечение непрерывности наблюдения в дневное/ночное время. 4 з.п. ф-лы, 1 ил.

1. Оптико-электронная видеосистема (100) со сверхполусферическим обзором сцены, которая включает в себя датчик (10) со сверхполусферическим объективом и матрицу детекторов, расположенную в фокальной плоскости объектива, блок (20) обработки получаемых изображений и средство (30) отображения для обработанных изображений, отличающаяся тем, что:
- матричный детектор работает со скоростью передачи видеосигналов и содержит:
i. L×C пикселей, где L и C>2000, причем каждый пиксель использует двойную коррелированную выборку и способен обеспечивать преобразование заряда в напряжение, и
ii. 2С распараллеленных элементов аналого-цифрового преобразования (или аналого-цифровых преобразователей (ADC)), причем каждый элемент преобразования содержит первый ADC, имеющий на выходе низкий уровень и большой коэффициент усиления, и второй ADC, имеющий на выходе высокий уровень и малый коэффициент усиления,
- сверхполусферический объектив имеет фокусное расстояние f, регулируемое в зависимости от угла возвышения, причем фокусное расстояние максимально в экваториальной плоскости, и имеет числовую апертуру f/D, лежащую в диапазоне от 0,9 до 1,6, где D - диаметр объектива,
- имеется средство для согласования динамического диапазона полученного изображения с динамическим диапазоном сцены путем регулирования времени экспозиции и/или коэффициента усиления, применяемого к сигналу,
- и что блок обработки включает в себя:
i. средство для коррекции неоднородностей детектора с помощью таблиц поправок, изменяемых в зависимости от температуры и времени экспозиции детектора,
ii. средство для взвешенного суммирования нескольких соседних пикселей,
iii. средство для сжатия динамического диапазона регистрируемого изображения в зависимости от временного шума детектора, возрастающего с освещенностью сцены, средство для согласования динамического диапазона полученного изображения с динамическим диапазоном средства отображения и/или с динамическим диапазоном глаза путем восстановления высоких пространственных частот изображения и компенсации низких пространственных частот.

2. Оптико-электронная видеосистема со сверхполусферическим обзором по п.1, отличающаяся тем, что объектив датчика содержит диафрагму, он содержит средство для согласования динамического диапазона принимаемого изображения с динамическим диапазоном сцены путем регулирования апертуры в диафрагме.

3. Оптико-электронная видеосистема со сверхполусферическим обзором по п.1, отличающаяся тем, что она содержит средства для определения фокусного расстояния объектива и средства для коррекции дисторсий объектива в зависимости от участка отображаемой сцены, в зависимости от требований пользователей системы или в зависимости от операций автоматической обработки, выполняемых блоком обработки.

4. Оптико-электронная видеосистема со сверхполусферическим обзором по п.1, отличающаяся тем, что блок обработки содержит средства для управления временем экспозиции, коэффициента усиления и частоты смены изображений детектора в зависимости от внешних условий, средства для стабилизации изображений в зависимости от передвижений системы или средств отображения, средства для обнаружения вновь демаскированных участков сцены, для обнаружения и отслеживания событий или передвижений в сцене и для введения в отображаемое изображение информации, поступающей с других интерфейсов (50).

5. Оптико-электронная видеосистема со сверхполусферическим обзором по одному из предыдущих пунктов, которая содержит 2 или 3 датчика (10).