СИСТЕМА НАБЛЮДЕНИЯ И СПОСОБ ОБНАРУЖЕНИЯ ЗАСОРЕНИЯ ИЛИ ПОВРЕЖДЕНИЯ АЭРОДРОМА ПОСТОРОННИМИ ПРЕДМЕТАМИ Российский патент 2016 года по МПК G06T7/00 G08B21/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к системе наблюдения и способу обнаружения засорения или повреждения аэродрома посторонними предметами, более точно, к наблюдению за аэродромом (включая наблюдение за взлетно-посадочной полосой и/или рулежной дорожкой и/или подъездными путями и/или внутренними частями/травянистыми частями и/или бетонированной площадкой и/или покрытием на аэродроме), обнаружению/определению размера/классификации засорения посторонними предметами (FOD) и повреждения (трещин, воронок, обломков, UXO, каверн) и оценке повреждения аэродрома.

Предпосылки создания изобретения

Наблюдение за взлетно-посадочной полосой имеет большое значение для работы аэродрома. Взлетно-посадочные полосы постоянно подвергаются повреждениям, таким как выбоины, возникающие в результате износа, вызываемого летательными аппаратами и другими транспортными средствами, использующими взлетно-посадочные полосы. Время от времени на взлетно-посадочных полосах могут засоряться посторонними предметами, образующимися при воздействии струи реактивного двигателя, при взлете/посадке, по естественным причинам и т.д. Засорение или повреждение посторонними предметами действующей взлетно-посадочной полосы, по которой перемещаются летательные аппараты, может привести к авиационному происшествию, сопряженному с жертвами, что чревато серьезными убытками для авиационных компаний.

Применяются различные способы наблюдения за взлетно-посадочной полосой. Традиционно персонал службы технического контроля перемещается по взлетно-посадочным полосам аэродрома с целью периодического осуществления визуального и ручного осмотра. Визуальный осмотр является медленным и трудоемким процессом. Кроме того, он ненадежен и подвержен влиянию окружающих условий на взлетно-посадочной полосе.

На некоторых аэродромах используются автоматизированные системы с применением радиолокаторов для обнаружения повреждений, засорения и других опасных предметов на взлетно-посадочной полосе и прилегающих территориях. В системе с применением радиолокаторов через взлетно-посадочную полосу передается сверхвысокочастотный сигнал, обнаруживаются и анализируются сигналы, отражающиеся от любых посторонних предметов. Поскольку сверхвысокочастотные сигналы являются пульсирующими или структурированными, вычисляется время, которое требуется сигналу для достижения приемника, на основании чего определяется расстояние до посторонних предметов. За счет использования радиолокационных датчиков, в которых используют волны меньшей длины и более высокие частоты следования импульсов, может достигаться более высокая разрешающая способность по дальности, что в свою очередь может ослаблять радиолокационные помехи.

Тем не менее, система с использованием радиолокаторов для наблюдения за взлетно-посадочной полосой имеет собственные недостатки. Хотя радиолокатор является отличным средством обнаружения металлических предметов, он является менее чувствительным при обнаружении неметаллических объектов, таких как резина. Предметы из материалов со слабой радиолокационной сигнатурой (например, резина) способны создавать серьезные затруднения для таких радиолокационных систем. Кроме того, на радиолокатор нельзя полагаться при обнаружении неметаллических объектов. Дополнительные недостатки радиолокаторов включают мертвые зоны или затенения из-за помех, создаваемых другими объектами или инфраструктурой. Помимо этого, радиолокатор может вызывать срабатывание сигнала ложной тревоги, индицируя сильный сигнал в случае сигналов, отраженных даже от небольших металлических объектов, которые не могут являться настолько опасными. Соответственно, у радиолокационной системы наблюдения отсутствует "интеллект", и она не способна обеспечивать видимое изображение предмета для его проверки и описания характера оператором.

В некоторых аэродромах используются инфракрасные или тепловизионные системы формирования изображений для обнаружения предметов, трещин, пустот и т.д. на взлетно-посадочной полосе. Тем не менее, инфракрасные или тепловизионные системы формирования изображений способны воспринимать только инфракрасное излучение (испускаемое предметами) вне теплового равновесия окружающей среды, т.е. способны обнаруживать только предметы (например, куски теплых металлических обломков на холодной взлетно-посадочной полосе) с достаточным тепловым контрастом. Небольшие предметы со слабым тепловым контрастом могут создавать значительные сложности для инфракрасной/тепловизионной системы формирования изображений. Кроме того, характеристики таких систем являются непредсказуемыми при неблагоприятных погодных условиях (например, в холодную погоду). Помимо этого, инфракрасные/тепловизионные системы формирования изображений также не обеспечивают разрешающую способность, необходимую для обнаружения, описания характера и классификации предмета.

Недавно было предложено наблюдение с использованием одной или нескольких видеокамер, размещенных вблизи взлетно-посадочной полосы. Видеосигналы, поступающие от камер, визуально контролируются оператором на пульте в диспетчерском пункте аэродрома.

Для обнаружения FOD или повреждений взлетно-посадочной полосы также предлагалось использовать обработку изображений (например, исключение фона) путем обработки видеоизображений взлетно-посадочной полосы, получаемых от камер наблюдения.

Обнаружение FOD или повреждений взлетно-посадочной полосы с использованием исключения фона сопряжено с рядом сложностей. Во-первых, свойства элементов изображения (пикселов) не всегда являются достаточными для правильного различения пиксела фона и основного изображения. Кроме того, фон подвержен изменениям, например, вследствие шума, мешающих отражений, внешних явлений, изменений условий освещения и погодных условий.

Помимо этого, применяемая в настоящее время система обработки изображений зависит от условий окружающего освещения и неприменима в условиях слабого освещения, что создает значительные затруднения при описании характера пикселов.

Для видеокамер, используемых в существующих системах наблюдения, необходимо дополнительное вспомогательное освещение, такое как лазерный свет или инфракрасный свет для ночного наблюдения. Для этого на аэродроме, на котором применяется такая система, в свою очередь требуется значительная инфраструктура, что увеличивается расходы. Кроме того, присутствующий источник света, такой как лазерный или инфракрасный источник, способен создавать помехи для других систем, используемых на аэродроме, может являться угрозой для безопасной навигации летательных аппаратов, пилотов и т.д.

Помимо этого, одной из наиболее эффективных тактик нападения является упреждающий удар по аэродромам неприятеля. После того, как взлетно-посадочные полосы разрушены, и летательные аппараты не могут подняться в воздух, эти аэродромы становятся более легкими мишенями для дальнейшего нападения. Эта угроза усилилась в результате разработки современных видов оружия, рассчитанных на разрушение взлетно-посадочных полос, например, кассетных бомб, пусковых установок для запуска множества ракет (MRL).

Оценка боевого ущерба (ОБУ), нанесенного целевому объекту (например, взлетно-посадочной полосе военного аэродрома), очень важна во время войны. Традиционно направляют разведывательный отряд для обследования взлетно-посадочный полосы по всей длине и нанесения на карту ущерба с указанием диаметра, глубины и положений воронок на взлетно-посадочной полосе. Для составления карты обычно требуется около 60-120 минут. Такая длительная ручная операция является неэффективной в боевых условиях и неизбежно подвергает личный состав угрозе дальнейших бомбардировок.

Соответственно, существует потребность в системе наблюдения за взлетно-посадочной полосой и оценки повреждений аэродрома, в которой преодолен один или несколько из перечисленных недостатков.

Краткое изложение сущности изобретения

В соответствии с одной из особенностей настоящего изобретения предложена система наблюдения для обнаружения засорения или повреждения аэродрома посторонними предметами, содержащая одну или несколько камер для получения изображений или видеоизображений аэродрома; блок обработки для обнаружения засорения или повреждения аэродрома посторонними предметами на основании изображений, полученных одной или несколькими камерами; и систему наблюдения за поражающим действием оружия с целью определения поражающего действия оружия на аэродроме и наведения одной или нескольких камер с целью получения изображений в области обнаруженного поражающего действия оружия.

Одна или несколько камер может представлять собой сочетание неподвижных и подвижных камер.

Одна или несколько камер могут увеличивать масштаб или фокусироваться на области обнаруженного поражающего действия оружия для получения подробных изображений с целью определения типа повреждения.

Поражающее действие оружия может определяться на основании изображений взрыва, дыма, пыли, вспышки или звука, вызванного поражающим действием оружия.

Система наблюдения может содержать вычислительный модуль с целью определения минимальной рабочей зоны (МРЗ) для приземляющегося летательного аппарата, исходя из местоположения засорения или повреждения посторонними предметами, обнаруженного на аэродроме.

Система наблюдения может обнаруживать трещины, воронки, каверны, обломки, UXO или живое существо на аэродроме.

Блок обработки может определять размер воронок, каверн или обломков путем определения степени засорения области вокруг воронок, каверн или обломков, соответственно.

Одна или несколько камер могут быть оснащены широкоугольным объективом для получения широкоугольного изображения аэродрома.

Одна или несколько камер могут быть установлены на летательном аппарате, который выполняет полеты над аэродромом с целью получения изображений аэродрома.

Система наблюдения может содержать один или несколько осветительных приборов инфракрасной или видимой области спектра для обеспечения искусственного освещения в условиях плохой видимости или слабого общего освещения.

Блок обработки может быть сконфигурирован на определение размера или физических свойств засорения или повреждения посторонними предметами.

Повреждения, обнаруженные на аэродроме, могут быть на карту аэродрома.

Система наблюдения может содержать площадной детектор для обнаружения области на полученных изображения, которая может являться засорением или повреждением посторонними предметами; и контурный детектор для обнаружения контуров всех предметов на полученных изображениях, при этом на изображениях сохраняется обнаруженная площадным детектором область, которая перекрывается с обнаруженными контурным детектором контурами на изображениях.

Изображения, получаемые одной или несколькими камерами, могут совмещаться друг с другом, и на позднее полученных изображениях могут выделяться области отличий от ранее полученных изображений.

Система наблюдения за поражающим действием оружия может быть сконфигурирована на подачу визуального или звукового сигнала тревоги при обнаружении поражающего действия оружия.

Система наблюдения может содержать модуль оценки и планирования ремонтных работ для оценки и планирования ремонтных работ, исходя из местоположения поражающего действия оружия или информации о повреждениях.

Одна или несколько камер могут быть установлены на противоположных сторонах взлетно-посадочной полосы, и их поля обзора могут перекрывать друг друга.

Поля обзора одной или нескольких камер могут перекрывать друг друга.

Система наблюдения может содержать одно или несколько мобильных карманных устройств для приема дистанционного сигнала тревоги и наиболее важной информации для устранения повреждений или удаления посторонних предметов на аэродроме.

Система наблюдения может содержать компенсатор смещения изображения для коррекции смещения между текущим полученным изображение и снятым камерой эталонным изображением, исходя из положения обычного объекта, находящегося на текущем полученном изображении и на эталонном изображении

В компенсаторе смещения изображения может использоваться несколько обычных объектов на текущем полученном изображении и на эталонном изображении с целью определения подлежащего корректировке смещения между текущим полученным изображение и эталонным изображением.

С целью определения подлежащего корректировке смещения между текущим полученным изображением и эталонным изображением может использоваться линейная регрессия, при этом величина смещения, вычисленная, исходя из положения обычного объекта на текущем полученном изображении и на эталонном изображении, принимается за линейную регрессию, если степень согласования обычного объекта на текущем полученном изображении и на эталонном изображении превышает заданную пороговую величину.

Система наблюдения может дополнительно содержать вычислительный модуль с целью определения минимальной рабочей поверхности аэродрома (МРПА) для летательного аппарата, исходя из местоположения засорения или повреждения посторонними предметами, обнаруженного на аэродроме.

Система наблюдения может содержать один или несколько осветительных приборов видимой области спектра для обеспечения искусственного освещения в условиях плохой видимости или слабого общего освещения.

Поражающее действие оружия может определяться на основании звука, создаваемого поражающим действием оружия.

В соответствии с другой особенностью настоящего изобретения предложен способ обнаружения засорения или повреждения аэродрома посторонними предметами, включающий получение изображений аэродрома; обнаружение засорения или повреждения аэродрома посторонними предметами на основании полученных изображений; определение поражающего действия оружия на аэродроме; и наведение одной или нескольких камер для получения изображений в области обнаруженного поражающего действия оружия.

Краткое описание чертежей

Настоящее изобретение будет описано далее на примере не ограничивающих его вариантов осуществления со ссылкой на сопровождающие чертежи, на которых:

на фиг.1А, 1Б и 1В схематически проиллюстрировано расположение камер наблюдения в системе наблюдения для обнаружения засорения или повреждения посторонними предметами (FOD) и повреждений взлетно-посадочной полосы и/или рулежной дорожки аэродрома,

на фиг.2 показана базовая блок-схема обнаружения FOD и повреждений аэродрома согласно одному из вариантов осуществления,

на фиг.3А и 3Б показаны подробные блок-схемы одного из вариантов осуществления настоящего изобретения,

на фиг.4 показана диаграмма, иллюстрирующая справочную таблицу, используемую для создания карты контуров на фиг.3А,

на фиг.5 схематически проиллюстрирована дублирующая зона обзора камер наблюдения в системе наблюдения для обнаружения FOD или повреждений взлетно-посадочной полосы и/или рулежной дорожки аэродрома,

на фиг.6 схематически проиллюстрировано сканирование поверхности взлетно-посадочной полосы согласно одному из альтернативных вариантов осуществления,

на фиг.7 схематически проиллюстрирован один из вариантов осуществления линий на взлетно-посадочной полосе, которые используются для калибровки изображений (отображения пикселов в виде реальных координат),

на фиг.8 схематически проиллюстрирована компьютерная система для реализации способа и системы согласно одному из примеров осуществления,

на фиг.9 схематически проиллюстрирована интегрированная система оценки повреждений аэродрома, в которую входит система обнаружения засорения или повреждения посторонними предметами (FOD) и повреждений аэродрома на взлетно-посадочной полосе и система наблюдения за поражающим действием оружия согласно одному из примеров осуществления,

на фиг.10 схематически проиллюстрирована система определения поражающего действия с использованием проиллюстрированной на фиг.9 системы наблюдения за поражающим действием оружия,

на фиг.11 показана схема расположения программных модулей, используемых в проиллюстрированной на фиг.9 интегрированной системе оценки повреждений аэродрома,

на фиг.12 показана схема расположения, иллюстрирующая взаимодействие проиллюстрированных на фиг.11 программных модулей в военное время,

на фиг.13 показана схема расположения, иллюстрирующая взаимодействие проиллюстрированных на фиг.11 программных модулей в мирное время,

на фиг.14 схематически проиллюстрирована схема расположения аппаратуры проиллюстрированной на фиг.9 интегрированной системы оценки повреждений аэродрома,

на фиг.15 показано совмещенное изображение взлетно-посадочной полосы, на котором выделены некоторые засорения посторонними предметами и область повреждения на изображении взлетно-посадочной полосы,

на фиг.16 показана блок-схема, иллюстрирующая обнаружение засорения посторонними предметами (FOD) или повреждений на изображении аэродрома с использованием детекторов двух типов,

на фиг.17 проиллюстрированы ориентиры на различных участках аэродрома, которые используются для калибровки изображений,

на фиг.18 схематически проиллюстрировано смещение текущего изображения относительно базового изображения,

на фиг.19 схематически проиллюстрирована коррекция смещения текущего изображения относительно базового изображения,

на фиг.20 показана блок-схема, иллюстрирующая применение линейной регрессии для компенсации смещения изображений аэродрома.

Подробное описание

На фиг.1А схематически проиллюстрировано расположение камер наблюдения в системе 100 наблюдения за взлетно-посадочной полосой аэродрома для обнаружения посторонних засорения или повреждения посторонними предметами (FOD) и повреждения взлетно-посадочной полосы 106 согласно одному из примеров осуществления. Взлетно-посадочная полоса 106 расположена посередине вблизи рулежных дорожек 103, 104 и травянистых частей 102. Вдоль одного края рулежной дорожки 104 установлено множество камер 108 наблюдения, обращенных в сторону взлетно-посадочной полосы, при этом ось каждой камеры 108 наблюдения перпендикулярна продольной оси взлетно-посадочной полосы 106. Каждая камера 108 наблюдения имеет поле 110 обзора с горизонтальным углом 111 обзора. В каждое поле 110 обзора входят участки рулежных дорожек 103, 104, взлетно-посадочной полосы 106 и травянистых частей 102. В каждое поле 110 обзора также входят пересекающиеся участки 112 обзора соседней камеры 108, установленной вдоль взлетно-посадочной полосы 106.

Камеры 108 наблюдения расположены на расстоянии 150-700 м от взлетно-посадочной полосы, при этом поля обзора соседних камер перекрывают друг друга примерно на 10-50%.

Видеоизображение и/или изображение, поступающее от каждой камеры 108, вводят в прикладную компьютерную систему (не показанную) на диспетчерской вышке или в диспетчерском пункте 135 аэродрома. Принимаемое видеоизображение и/или изображение обрабатывается блоком обработки видеоизображений прикладной компьютерной системы. Прикладная компьютерная система непрерывно обрабатывает видеоизображение и/или изображение, поступающее от камер наблюдения, с целью обнаружения FOD и повреждения взлетно-посадочной полосы и уведомления оператора в случае обнаружения FOD или повреждения взлетно-посадочной полосы. Оператор на диспетчерской вышке или в диспетчерском пункте 135 также имеет возможность визуально контролировать видеоизображения и/или изображения в реальном времени взлетно-посадочной полосы на видеодисплее (не показанном). В случае обнаружения какого-либо засорения или повреждения посторонними предметами (FOD) при обработке видеоданных прикладной компьютерной системой оператор уведомляется об этом (путем визуального и/или слышимого сигнала и/или путем дистанционного радиооповещения с использованием средств связи с подвижными объектами, таких как SMS-сообщения или MMS-сообщения системы GSM). После приема уведомления сигнала тревоги и/или дистанционного радиооповещения оператор наводит камеру 108 наблюдения на обнаруженный предмет, чтобы визуально удостовериться в наличии FOD или повреждения взлетно-посадочной полосы. Если FOD или повреждение взлетно-посадочной полосы подтверждается, на диспетчерской вышке или в диспетчерском пункте 135 срабатывает устройство аварийной сигнализации (слышимой и/или визуальной). При обнаружении FOD или повреждения взлетно-посадочной полосы также срабатывает устройство дистанционной аварийной сигнализации (слышимой и/или визуальной), расположенное вблизи взлетно-посадочной полосы 106. Также передается радиооповещение (такое как SMS или MMS сообщение системы GSM) с целью оповещения бригады по восстановлению взлетно-посадочной полосы или ремонтной бригады на аэродроме. Соответственно, бригадой по восстановлению взлетно-посадочной полосы немедленно направляется ремонтный автомобиль, чтобы устранить обнаруженное FOD, т.е. удалить засоряющие посторонние предметы или устранить повреждение.

Используемые камеры наблюдения являются пассивными и не оснащены осветительными приборами (такими как лазерные или инфракрасные осветительные приборы). Каждой из камер 108 наблюдения может являться одно из следующего: камера дневного/ночного видения высокого разрешения, высокочувствительная цветная камера, работающая в условиях низкой освещенности, камера на ПЗС с электронно-оптическим преобразователем (ICCD-камера), камера на ПЗС с фотоэлектронным умножителем (EM-CCD камера), камера ночного видения, неподвижная камера, мегапиксельная камера высокого разрешения, подвижная камера (такая как, панорамная камера, камера с функциями поворота, наклона и масштабирования (ПНМ-камера) или камера с функцией масштабирования), коротковолновая инфракрасная камера (SWIR-камера) и средневолновая инфракрасная камера (MWIR-камера) или тепловизор. Таким образом, система наблюдения способна действовать с использованием только пассивных камер и не требует установки дополнительного вспомогательного освещения (такого как, инфракрасные или лазерные осветительные приборы).

Камеры 108 наблюдения, используемые в системе 100, способны получать видеоизображения или цифровые изображения взлетно-посадочной полосы для их обработки. Тем не менее, также могут использоваться цифровые видеокамеры для покадровой съемки, получающие цифровые неподвижные изображения взлетно-посадочной полосы для их обработки.

Например, камера с функцией масштабирования или камера с функциями поворота, наклона и масштабирования (ПНМ) может использоваться для автоматического увеличения масштаба изображения любого участка взлетно-посадочной полосы с целью получения подробного изображения FOD или повреждения взлетно-посадочной полосы. Поскольку видеоизображения в увеличенном масштабе содержат больше подробностей интересующего участка взлетно-посадочной полосы, оператору легче оценить потенциальную угрозу, создаваемую обнаруженным FOD или повреждением взлетно-посадочной полосы, и немедленно инициировать соответствующее действие. В одном из примеров осуществления ПНМ-камера или камера с функцией масштабирования может дистанционно управляться прикладной компьютерной системой с целью увеличения масштаба изображения интересующего участка взлетно-посадочной полосы при обнаружении прикладной компьютерной системой FOD или повреждения взлетно-посадочной полосы. В качестве альтернативы, ПНМ-камера или камера с функцией масштабирования также могут управляться вручную оператором с целью увеличения масштаба изображения конкретного участка аэродрома и получения видеоизображения или изображений в увеличенном масштабе.

На фиг.1Б схематически проиллюстрировано альтернативное расположение камер наблюдения в системе 500 наблюдения за взлетно-посадочной полосой для обнаружения FOD или повреждения взлетно-посадочной полосы 106. Вдоль одного края рулежной дорожки 104 установлено множество камер 508 наблюдения, обращенных в сторону взлетно-посадочной полосы. Вдоль другого дальнего края рулежной дорожки 103 установлено другое множество камер 509 наблюдения, обращенных к взлетно-посадочной полосе. Ось каждой камеры 508, 509 перпендикулярна продольной оси взлетно-посадочной полосы 106. Каждая камера 508 наблюдения имеет поле 510 обзора с горизонтальным углом 511 обзора. Каждая камера 509 наблюдения имеет поле 515 обзора с горизонтальным углом 521 обзора. В каждое поле 510, 515 обзора входят участки рулежных дорожек 103, 104, взлетно-посадочной полосы 106 и травянистых частей 102. Камеры 508, 509 расположены таким образом, что поля 510 и 515 обзора соседних камер камеры чередуются и имеют четкую линию раздела и частично перекрывают друг друга. Перекрывающиеся поля обзора соседних камер наблюдения также обеспечивают определенную степень дублирования, и при отказе какой-либо камеры наблюдения соседняя камера наблюдения также способна охватывать зону обзора отказавшей камеры. Камеры наблюдения также могут быть расположены таким образом, чтобы каждый сектор взлетно-посадочной полосы охватывался по меньшей мере двумя камерами наблюдения с целью обеспечения дублирования полей обзора. Так, по меньшей мере две камеры могут наблюдать за одним и тем же сектором взлетно-посадочной полосы и повреждениями взлетно-посадочной полосы (воронками, кавернами, обломками, UXO) или FOD. Тем самым также облегчается решение проблемы преград, мешающих обнаруживать повреждение взлетно-посадочной полосы/FOD, в случае использования одной камеры для наблюдения за конкретным сектором или участком взлетно-посадочной полосы аэродрома. Соответственно, при таком расположении можно получать два различных изображения одного и того повреждения взлетно-посадочной полосы (воронок, каверн, обломков, UXO) или FOD с использованием двух различных камер. Тем самым, ускоряется обнаружение, определение размера и классификация повреждения взлетно-посадочной полосы или FOD.

На фиг.1В схематически проиллюстрирован еще один альтернативный вариант расположения камер наблюдения за взлетно-посадочной полосой в системе 550 наблюдения для обнаружения повреждения или FOD взлетно-посадочной полосы 105. Вдоль одного края рулежной дорожки 104 установлено множество камер 551 наблюдения, обращенных в сторону взлетно-посадочной полосы. Вдоль другого дальнего края рулежной дорожки 103 установлено другое множество камер 552 наблюдения, обращенных к взлетно-посадочной полосе. Ось каждой камеры 551, 552 перпендикулярна продольной оси взлетно-посадочной полосы 105. Каждая камера 551 наблюдения имеет поле 555 обзора с горизонтальным углом 553 обзора. Каждая камера 552 наблюдения имеет поле 556 обзора с горизонтальным углом 554 обзора. В каждое поле 555, 556 обзора входят участки рулежных дорожек 103, 104, взлетно-посадочной полосы 105 и травянистых частей (включая внутренние части) 102. За счет такого расположения каждый сектор взлетно-посадочной полосы и/или рулежной дорожки может контролироваться по меньшей мере двумя 2 камерами наблюдения, установленными с каждой стороны взлетно-посадочной полосы. Тем самым обеспечивается дублирование зон обзора. Кроме того, также облегчается решение проблемы преград, блокирующих поле обзора камеры наблюдения и мешающих обнаруживать повреждение взлетно-посадочной полосы (воронки, каверны, обломки, UXO) или FOD. Такие преграды могут создаваться другими FOD или повреждениями взлетно-посадочной полосы, находящимися в поле обзора камеры наблюдения, и могут возникать только при использовании одной камеры для наблюдения за конкретным участком аэродрома.

Поля обзора камер наблюдения, установленных с противоположных сторон взлетно-посадочной полосы, до определенной степени перекрываются, обеспечивая дублирование зон обзора взлетно-посадочной полосы и/или рулежной дорожки. Таким образом, установка камер наблюдения с противоположных сторон взлетно-посадочной полосы также помогает решать затрудняемую преградами задачу точного обнаружения/определения размера/классификации воронок/каверн/обломков/UXO и FOD на взлетно-посадочной полосе и/или рулежной дорожке.

Некоторые части следующего далее описания в прямой или подразумеваемой форме представлены в терминах, относящихся к алгоритмам и функциональным или символическим записям операций с данными в компьютерной памяти. Это описание алгоритмов и функциональные или символические записи являются средствами, которые используют специалисты в области обработки данных для наиболее эффективного доведения сущности своей работы до сведения других специалистов в данной области техники. Подразумевается, что термин "алгоритм" означает самосогласованную последовательность шагов, ведущих к достижению желаемого результата. Шагами являются шаги, требующие физических манипуляций физическими величинами, такими как величины, выраженные в виде электрических, магнитных или оптических сигналов, допускающих хранение, передачу, объединение, сравнение и иные манипуляции.

Если конкретно не указано иное и, как очевидно из нижеследующего, подразумевается, что такие используемые в описании термины, как "вычисление", "определение", "замена", "генерирование", "инициализация", "вывод" и т.п. относятся к работе и процессам, выполняемым посредством компьютерной системы или аналогичных электронных вычислительных устройств, которые осуществляют манипулирование и преобразование данных, представленных в виде физических величин в компьютерной системе, в другие данные, которые аналогичным образом представлены в виде физических величин в компьютерной системе или в иных устройствах для хранения, передачи или отображения информации.

В настоящей заявке также описано устройство для выполнения шагов способа. Такое устройство может быть специально сконструировано согласно требуемому назначению или может представлять собой универсальный компьютер или другое устройство, избирательно приводимое в действие или реконфигурируемое компьютерной программой, хранящейся в компьютере. Представленные в описании алгоритмы и дисплеи по своей природе не связаны с каким-либо конкретным компьютером или другим устройством. В соответствии с идеями настоящего изобретения с программами могут использоваться различные универсальные машины. В качестве альтернативы, может быть сконструировано более специализированное устройство для выполнения требуемых шагов способа. Конструкция традиционного универсального компьютера станет ясна из следующего далее описания.

Кроме того, в настоящем описании также косвенным образом раскрыта компьютерная программа, поскольку специалистам в данной области техники ясно, что отдельные шаги способа могут быть реализованы посредством компьютерного кода. Подразумевается, что компьютерная программа не ограничена каким-либо конкретным языком программирования и его реализацией. Следует учесть, что для реализации идей, изложенных в описании, могут использоваться разнообразные языки программирования и их кодирование. Помимо этого, подразумевается, что компьютерная программа не ограничена каким-либо конкретным потоком команд управления. Существует множество других разновидностей компьютерной программы, в которых могут использоваться отличающиеся потоки команд управления и которые не выходят за пределы существа и объема изобретения.

Кроме того, один или несколько из шагов компьютерной программы могут выполняться параллельно, а не последовательно. Такая компьютерная программа может храниться на любом машиночитаемом носителе. Машиночитаемый носитель может содержать запоминающие устройства, такие как магнитные или оптические диски, микросхемы памяти или другие запоминающие устройства, применимые для сопряжения с универсальным компьютером. Машиночитаемый носитель также может содержать проводной носитель, например, реализованный в сети Интернет, или беспроводной носитель, например, реализованный в системе телефонной связи с подвижными объектами. Компьютерная программа при ее загрузке и выполнении в таком универсальном компьютере эффективно обеспечивает устройство для реализации шагов предпочтительного способа.

Изобретение также может быть реализовано в виде аппаратных модулей. Более точно, применительно к аппаратному обеспечению модулем является функциональный аппаратный блок, рассчитанный на применение с другими компонентами или модулями. Например, модуль может быть реализован с использованием дискретных электронных компонентов или он может являться частью всей электронной схемы, такой как специализированная интегральная схема (ASIC). Существует множество других возможностей. Специалисты в данной области техники учтут, что система также может быть реализована в виде сочетания аппаратных и программных модулей.

Прикладная компьютерная система на диспетчерской вышке или в диспетчерском пункте 135 (фиг.1А) выполняет следующие функции.

1. Конфигурирование системы наблюдения в том, что касается числа камер, зоны (поля обзора) каждой камеры, калибровки камер, событий, при которых должен подаваться сигнал тревоги, типов сигналов тревоги и т.п.

2. Выбор поля обзора для каждой камеры наблюдения (за счет дистанционной настройки угла обзора камеры), чтобы позволить оператору эффективно подтверждать наличие FOD или повреждения взлетно-посадочной полосы, определять, является ли FOD засорением или повреждением взлетно-посадочный полосы посторонними предметами (воронками, кавернами, обломками, UXO), и классифицировать посторонние предметы или повреждение взлетно-посадочной полосы. Видеоизображения множества камер наблюдения могут выводиться на дисплей с мультиплексированием.

3. Выбор поля обзора (угла обзора) для каждой камеры с функциями поворота, наклона и масштабирования (ПНМ) или камеры с функцией масштабирования путем автоматической настройки каждой ПНМ-камеры или камеры с функцией масштабирования на панорамирование, наклон и/или масштабирование требуемого интересующего участка взлетно-посадочной полосы. Прикладная компьютерная система подает соответствующей ПНМ-камере или камере с функцией масштабирования дистанционную команду автоматического увеличения масштаба участка, который предположительно поврежден или засорен посторонними предметами. Эта функция также может вручную и дистанционно выполняться оператором с использованием прикладной компьютерной программы.

4. Конфигурирование слышимых или визуальных сигналов тревоги, при этом в случае обнаружения проблемы на взлетно-посадочной полосе (т.е. обнаружения FOD или повреждения взлетно-посадочной полосы) система способна автоматически создавать список очередности сигналов тревоги, в котором высший приоритет имеет самая крупная воронка или наиболее опасное засорение или повреждение взлетно-посадочной полосы посторонними предметами (воронками, кавернами, обломками, UXO) с тем, чтобы оператор мог предпринять необходимые корректирующие действия в соответствии со списком очередности. Сигнал тревоги может быть сконфигурирован как звуковой и/или визуальный или комбинированный сигнал тревоги. Сигнал также может предусматривать дистанционное радиооповещение об опасности с использованием средств связи с подвижными объектам, например, SMS-сообщений или MMS-сообщений системы GSM или 3G-связи с подвижными объектами.

5. Обработка и регистрация видеоизображений и/или неподвижных изображений, полученных различными камерами наблюдения в случае обнаружения системой FOD или повреждения на взлетно-посадочной полосе или рулежной дорожке и воспроизведение записанных видеоизображений и/или неподвижных изображений взлетно-посадочной полосы.

6. Управление данными о событиях, видеоданными и другими хранящимися данными. Все релевантные данные регистрируются в базе данных, что облегчает их поиск и составление различных отчетов.

7. Системный интерфейс, позволяющий другим системам получать доступ к базе данных.

8. Системный интерфейс для совместного использования поступающих в режиме реального времени данных, позволяющий другим системам получать данные в реальном времени в масштабе системы, включая подробные сведения обо всем оборудовании на аэродроме. Интегрирование поступающих в режиме реального времени данных и данных системы управления посадкой/взлетом полезно для обеспечения непосредственной безопасности летательного аппарата и экипажа.

На фиг.2 показана базовая блок-схема обнаружения FOD или повреждения взлетно-посадочной полосы согласно одному из вариантов осуществления.

На шаге 201 камеры наблюдения получают соответствующие изображения части взлетно-посадочной полосы. Шаги обработки полученных изображений, описаны в следующих абзацах.

На шаге 203 осуществляется повышение качества полученного изображения с целью его предварительной обработки. Удаляются постепенные изменения шкалы серых тонов в направлении по оси X (параллельно продольной оси взлетно-посадочной полосы) и высококонтрастные белые линии на взлетно-посадочной полосе, чтобы усилить элементы с высокоградиентным изменением в направлении, параллельном продольной оси взлетно-посадочной полосы (эти элементы характерны почти для всех реальных трехмерных повреждений или засорений посторонними предметами (FOD).

Все пикселы выводимого изображения становятся практически нулевыми (включая белые линии на взлетно-посадочной полосе и участки с изменением градиента шкалы серых тонов из-за движения облаков или дождя) за исключением некоторых заметных сигнальных огней на взлетно-посадочной полосе и FOD. Это шаг способствует достоверному обнаружению FOD или повреждения взлетно-посадочной полосы при малой частоте сигналов ложной тревоги.

Для достижения оптимальных результатов используются высокочастотные фильтры, такие как прямой и обратный оператор Собеля или оператор Шарра.

На шаге 205 определяется присутствие ненормальных условий освещения для осуществления обнаружения в ночное время. Неожиданное появление яркого света или светлого пятна на изображении взлетно-посадочной полосы может привести к появлению расплывчатого изображения, поступающего от камеры 108 наблюдения. Это может происходить при посадке, взлете самолета или во время движения наземного транспортного средства в ночное время. Такие ситуации предусмотрены алгоритмом обнаружения. При обнаружении ненормальных условий освещения, изображения не учитываются. Согласно алгоритму составляется общая гистограмма, и проводится статистический анализ (например, усредняется шкала серых тонов) для сравнения полученных изображений с постепенно обновляемым изображением. Для обнаружения ненормальных условий освещения в алгоритме также используются параметры светлых пятен (такие как размер, площадь и т.д.).

На шаге 207 осуществляется оценка параметров оптимального обнаружения, и создается карта адаптивных контуров на уровне пикселов. При различных погодных условиях и в дневное/ночное время изображение взлетно-посадочной полосы 106 может сильно различаться. Изображение может быть сглаженным, резким или содержать множество отблесков. На этом шаге адаптивно оценивается оптимальный порог выделения контуров FOD или повреждения с целью определения реальных контуров FOD или повреждения с минимальными искажениями. В алгоритме используется статистический метод (например, среднее отклонение) на основе оригинального (за исключением области движения) или постепенно изучаемого изображения фона с целью создания справочной таблицы шкалы серых тонов для использования при создании карты пороговых значений на уровне пикселов.

На шаге 209 к набору карт контуров применяется временная фильтрация для сохранения четких контуров с меньшими искажениями. Временная фильтрация осуществляется на уровне пикселов. Только скопления пикселов со значениями, превышающими конкретное пороговое значение, считаются пикселами с четким контуром (для использования в карте четких контуров). Мерцающие пикселы не способны образовывать скопления со значениями, превышающими пороговое значение, и, соответственно, удаляются (не используются на карте четких контуров).

На шаге 211 осуществляется изучение адаптивного фона с использованием принципа бесконечной импульсной характеристики.

B_t: фоновое изображение в момент времени t,

B_t-1: фоновое изображение в момент времени t-1,

I_t: текущее изображение в момент времени t,

Затем фоновое изображение обновляется согласно следующей формуле:

B_t=B_t-1*α+I_t*(1-α).

Для изучения фона в системе в основном используется карта контуров.

Изучаемые элементы включают в основном центральные огни и некоторые боковые огни, частично находящиеся в пределах участка взлетно-посадочной полосы из-за малого угла обзора камеры. Основными задачами изучения адаптивного фона являются регистрация процесса медленного изменения элементов на взлетно-посадочной полосе для слияния с фоном без подачи сигналов ложной тревоги и ежедневное сохранение карты контуров изученного фона в файле или базе данных для использования в качестве карты контуров фона на следующий день. Это позволяет системе максимально быстро адаптироваться к изменениям разметки взлетно-посадочной полосы.

На шаге 213 создается сводная карта контуров фона. На сводной карте контуров фона отображена разметка взлетно-посадочной полосы/рулежной дорожки. Сводная карта контуров фона состоит из карты адаптивных контуров фона, сохраненной карты контуров фона предыдущего дня и необязательно карты сезонной разметки (которая создается для конкретного времени года или погодных условий, таких как, снегопад). Эти карты могут просто суммироваться или подвергаться дальнейшей обработке с целью получения окончательных контуров фона.

На шаге 215 выделяются предполагаемые контуры путем сравнения карты контуров и сводной карты контуров фона. На этом шаге с обработанного на шаге 213 изображения (сводной карты контуров фона) удаляются контуры разметки взлетно-посадочной полосы/рулежной дорожки. Оставшиеся контуры могут являться контурами FOD или повреждений аэродрома.

На шаге 217 осуществляется фильтрация контуров, чтобы отфильтровать те из них, которые не являются частью FOD или повреждения взлетно-посадочной полосы/ рулежной дорожки, а могут возникать под действием погодных условий, например, снега, дождя или слепящего утреннего света. Погодные условия определяются датчиками и/или путем обработки изображений. На этом шаге применяется один или несколько выбираемых алгоритмов для обнаружения таких погодных условий. Например, когда огни взлетно-посадочной полосы включены из-за дождя время дождя, на полосе может появляться отражение. Конкретный алгоритм фильтрации определяет местоположение огней и отфильтровывает контуры отражения.

На шаге 219 осуществляется классификация объектов, чтобы определить, является ли объект, обнаруженный на шаге 217, на самом деле FOD или повреждением взлетно-посадочной полосы/рулежной дорожки (воронкой, каверной, обломком, UXO). Некоторые примеры методов классификации объектов включают согласование с образцом, классификатор Байеса, классификатор по линейному дискриминанту, классификатор на основе нейронной сети, нечеткий классификатор и нечеткий нейронный классификатор, классификатор ближайшего соседа. Может также определяться, является ли повреждение взлетно-посадочной полосы/рулежной дорожки воронкой или каверной или обломком, и определяться его размер путем обнаружения и определения степени засорения области вокруг воронки или каверны или обломка.

С помощью отфильтрованных на шаге 217 контуров система выделяет важные параметры объекта, например, длину, высоту, периметр, площадь, текстуру, цветовые характеристики (цвет и насыщенность), силу света (уровень серого). Эти параметры объекта образуют входной вектор для классификации объекта, чтобы определить, является ли он в действительности FOD или повреждением аэродрома.

После обнаружения на шаге 221 FOD или повреждения взлетно-посадочной полосы оператор на диспетчерской вышке или в диспетчерском пункте уведомляется об этом посредством визуального и/или слышимого сигнала и/или радиооповещения (такого как, SMS или MMS сообщение системы GSM). При получении аварийного сигнала и/или радиооповещения оператор наводит камеру наблюдения на обнаруженное FOD или повреждение взлетно-посадочной полосы/рулежной дорожки. Если наличие FOD или повреждения взлетно-посадочной полосы/рулежной дорожки подтверждается, на диспетчерской вышке или в диспетчерском пункте срабатывает другой устройство аварийной сигнализации (слышимой и/или визуальной). При подтверждении наличия FOD также срабатывает устройство дистанционной аварийной сигнализации (слышимой и/или визуальной), расположенное рядом с взлетно-посадочными полосами или рулежными дорожками. Дополнительно или в качестве альтернативы также может срабатывать радиооповещение (например, такое как SMS или MMS сообщение системы GSM) для уведомления бригады по восстановлению взлетно-посадочной полосы. Бригада по восстановлению взлетно-посадочной полосы немедленно направляет ремонтный автомобиль, чтобы устранить обнаруженное FOD, т.е. удалить засоряющие посторонние предметы или устранить повреждение взлетно-посадочной полосы/рулежной дорожки.

На фиг.3А и 3Б показаны подробные блок-схемы одного из вариантов осуществления настоящего изобретения. После того, как на шаге 301 начинается осуществление способа, на шаге 302 инициализируется система. На шаге 303 камера наблюдения получает исходное изображение части взлетно-посадочной полосы или рулежной дорожки.

Изображения анализируются с целью обнаружения какого-либо движения. В этом примере осуществления для изучения фона используются и впоследствии сохраняются в базе данных в качестве эталонных изображений фона только изображения, на которых отсутствует движение.

На шаге 305 осуществляется повышение качества полученного изображения с целью его предварительной обработки. После предварительной обработки изображения все его пикселы становятся нулевыми (включая пикселы, соответствующие белым линиям взлетно-посадочной полосы и участкам с изменениями градиента шкалы серых тонов вследствие движения облаков или дождя) за исключением некоторых заметных сигнальных огней на взлетно-посадочной полосе.

На шаге 307 определяется, происходит ли переход от дня к ночи или наоборот. Это может делаться, например, путем контроля различия в силе света датчика или камеры. При переходе от дня к ночи или обратно сила света, как правило, изменяется более значительно, чем вследствие изменения погодных условий. В случае обнаружении перехода от дня к ночи или наоборот или ночных условий шаге 309 определяется наличие ненормальных условий освещения. При выявлении ненормальных условий освещения на шаге 311 ранее полученное изображение игнорируется, и в качестве следующего изображения используется изображение, полученное на шаге 303. Если ненормальные условия освещения не обнаружены, на шаге 313 определяются расчетные оптимальные параметры обнаружения засорения или повреждения посторонними предметами (FOD) в различных условиях окружающей среды (например, днем/ночью, во время дождя, снегопада, задымления и т.п.), которые распознаются на шаге 315.

Например, различные условия окружающей среды (день/ночь, дождь, задымление и т.п.) могут обнаруживаться одним или несколькими датчиками. Может также использоваться система камер с ирисовой диафрагмой и встроенным одним или несколькими пороговыми значениями для внесения изменения. Например, порог может быть установлен на уровне 50 в дневное время и повышен до 70 в ночное время суток. Также может применяться временной фильтр, посредством которого в течение определенного времени сохраняется определенное значение, чтобы определять, день сейчас или ночь. С целью определения дневных или ночных условий прикладная компьютерная система также может использовать другие входные данные даты и времени, включая входные данные, поступающие от ее часов реального времени и электронного календаря.

Разметка взлетно-посадочной полосы или рулежной дорожки различается в дневное и ночное время. Обычно ночью используется больше знаков разметки. Ночная разметка замещает дневную разметку.

На шаге 317 создается карта адаптивных контуров на уровне пикселов (фиг.4), на основании которой из справочной таблицы выводится оптимальный порог выделения контуров FOD или повреждения взлетно-посадочной полосы/рулежной дорожки с целью определения его реальных контуров с минимальными искажениями.

На шаге 319 (фиг.3Б) осуществляется фильтрация контуров движения для создания карты неподвижных контуров. На шаге 321 осуществляется временная фильтрация с целью выделения карты четких контуров. Только скопления пикселов со значениями, превышающими конкретное пороговое значение, считаются пикселами с четким контуром (для использования в карте четких контуров). Мерцающие пикселы не способны образовывать скопления со значениями, превышающими пороговое значение, и, соответственно, удаляются (не используются на карте четких контуров).

На шаге 323 проверяется, изучен ли адаптивный фон. Для изучения фона система использует карту контуров. Если на шаге 322 установлено, что адаптивный фон не изучен, на шаге 325 активируется/обновляется карта контуров адаптивного фона. На шаге 327 проверяется, выполняет ли карта адаптивного фона предварительно заданное условие. Если это так, на шаге 329 устанавливается флажковый индикатор, подтверждающий, что адаптивный фон изучен. Если это не так, способ возвращается к 303 (фиг.3А), на котором продолжается получение изображений.

Если на шаге 322 установлено, что адаптивный фон изучен, на шаге 331 создается сводная карта контуров фона. Сводная карта фона состоит из карты адаптивных контуров фона, генерированной/обновленной на шаге 325, ранее сохраненной карты фона в дневное/ночное время и карты сезонной разметки, которые используются на шаге 333 после начала обработки на шаге 302 (фиг.3А). Сезонная разметка означает разметку взлетно-посадочной полосы в определенное время года или при конкретных погодных условиях (например, снегопаде или дожде). Путем обработки изображений или с помощью внешних датчиков система способна определять время года или погодные условия, чтобы снизить количество сигналов ложной тревоги. Сводная карта фона содержит разметку взлетно-посадочной полосы.

На шаге 335 выделяется карта предполагаемых контуров путем сравнения сводной карты фона и карты контуров. На шаге 337 применяется фильтр контуров для удаления любых нежелательных контуров, появление которых связанно с резкими изменениями условий окружающей среды, таких как отражения из-за дождя. Например, во время дождя изображение сигнальные огни ВПП взлетно-посадочной полосы могут распознаваться как яркое пятно, напоминающее FOD или повреждение взлетно-посадочной полосы/рулежной дорожки. Система способна обнаруживать такие потенциальные сигналы ложной тревоги путем сравнения с ранее сохраненными изображениями.

После выполнения шага 337 на шаге 339 уточняется карта адаптивного фона, а на шаге 341 также проверяется наличие перехода от дня к ночи или наоборот. Если на шаге 341 обнаружен переход от дня к ночи или наоборот, на шаге 343 загружается последняя карта фона в дневное или ночное время для немедленного использования, и на шаге 345 сохраняется карта адаптивного фона в качестве карты фона в дневное или ночное время для использования на следующий день. Если на шаге 341 не обнаружен переход от дня к ночи или наоборот, способ возвращается к шагу 303 (фиг.3А), и продолжается получение изображений.

На шаге 347 вычисляются параметры контуров (например, размер, площадь и т.д.) на основе отфильтрованной на шаге 337 карты предполагаемых контуров. На шаге 349 проверяется, превышают ли параметры контуров пороговое значение. Если это так, на шаге 351 подозрительный участок взлетно-посадочной полосы выводится на дисплей, и об этом уведомляется оператор на диспетчерской вышке или в диспетчерском пункте посредством слышимого и/или визуального сигнала и/или посредством радиооповещения (например, SMS или MMS сообщения системы GSM или системы 3G). После получения оповещения на шаге 353 оператор осуществляет панорамирование и/или наклон и/или увеличение масштаба с помощью камер наблюдения с целью визуального подтверждения. Если на шаге 353 подтверждено FOD или повреждение взлетно-посадочной полосы, на шаге 357 с помощью беспроводных средств (например, например, SMS или MMS сообщения системы GSM или системы 3G) немедленно оповещается бригада по восстановлению взлетно-посадочной полосы. На шаге 359 изображение FOD или повреждения взлетно-посадочной полосы/рулежной дорожки продолжает оставаться на дисплее, и аварийный сигнал подается до устранения или расчистки FOD (т.е. удаления посторонних предметов или засорения или устранения повреждения взлетно-посадочной полосы/рулежной дорожки).

На фиг.4 показана диаграмма, иллюстрирующая справочную таблицу (LUT), используемую для создания карты адаптивных контуров на уровне пикселей на шаге 207 и шаге 317 (фиг.3А), как описано выше.

P1, Р2 … Pn и Т1, Т2 … Tn являются расчетными значениями, основанными на статистическом анализе полученного изображения, постепенно изученного изображения и входных данных внешнего датчика, что позволяет вычислять оптимальную кусочную справочную таблицу для генерирования порогового значения уровней пикселей, используемую при создании карты контуров FOD или повреждений с минимальными искажениями. С помощью указанной таблицы значение пикселей на полученном изображении или постепенно изученном фоновом изображении преобразуется в пороговое значение на пороговом изображении. После этого из полученного изображения вычитается пороговое изображение. Любое значение пикселей, превышающее 0, устанавливается на 255. Получаемое в результате изображение соответствует карте адаптивных контуров на уровне пикселов (шаг 207 на фиг.2 и шаг 317 на фиг.3А).

В вариантах осуществления настоящего изобретения может производиться калибровка картины взлетно-посадочной полосы и повреждения взлетно-посадочной полосы/рулежной дорожки и определяться положение, размер и/или классифицироваться FOD и повреждение.

В вариантах осуществления настоящего изобретения также применяются цветные камеры наблюдения и предусмотрена обработка цветных изображений.

Тем не менее, все описанные выше технологии и методы обработки изображений применимы как к черно-белым, так и цветным изображениям. Следовательно, в системе наблюдения за взлетно-посадочной полосой могут использовать черно-белые (включая действующие в видимом спектре, инфракрасные и тепловизионные камеры) или цветные камеры.

Изображение взлетно-посадочной полосы/рулежной дорожки, полученное камерой наблюдения в примерах осуществления, предварительно калибруется таким образом, что физическое положение и расстояние, соответствующие каждому пикселу на изображении, вычисляются с помощью математических формул или предварительно вычисленной справочной таблицы, в которой каждый пиксел изображения взлетно-посадочной полосы отображается в виде точных конкретных координат в реальной двухмерной или трехмерной физической системе координат (х, у, z) на основе исходных данных (таких как WGS 84 или координатная сетка аэродрома), заданных в зоне наблюдения, такой как взлетно-посадочная полоса.

В системе используются неподвижные элементы взлетно-посадочной полосы/рулежной дорожки для калибровки изображения взлетно-посадочной полосы. Например, путем наземной съемки, физических измерений или на основании карты взлетно-посадочной полосы может предварительно определяться положение и расстояние до этих неподвижных элементов взлетно-посадочной полосы относительно некоторых реальных неподвижных точек отсчета. Например, одним из таких полезных элементов является размещение ориентиров или использование боковых огней вдоль взлетно-посадочной полосы и на одинаковом расстоянии по вертикали (оси у) от ее края. Поскольку такие ориентиры размещены в продольном (горизонтальном) направлении взлетно-посадочной полосы и на одинаковом расстоянии по вертикали от ее края, расстояние по горизонтали (по оси х) между ориентирами также может отображаться в виде конкретного количества пикселов на картине взлетно-посадочной полосы. Соответственно, путем деления физического горизонтального расстояние на местности между двумя ориентирами на ширину в пикселах по горизонтали (число пикселов между двумя ориентирами на изображении взлетно-посадочной полосы) может быть выведен коэффициент отображения пикселов по горизонтали (оси х) (метр/пиксел). Для калибровки каждого изображения могут использоваться по меньшей мере два неподвижных элемента взлетно-посадочной полосы, расположение которых известно.

Например, для более точной калибровки изображения и с учетом неровной поверхности взлетно-посадочной полосы вдоль полосы (на одинаковом расстоянии по вертикали от ее края) предпочтительно размещают несколько пар ориентиров для разметки ряда виртуальных горизонтальных линий на взлетно-посадочной полосе. Физическое расстояние на местности между этими виртуальными горизонтальными линиями (между каждой парой ориентиров) может измеряться с помощью рулетки или курвиметра или GPS-приемника. Для настройки конкретной камеры определяют число пикселов на такой виртуальной горизонтальной линии изображении участка взлетно-посадочной полосы.

Например, поле обзора камеры наблюдения на взлетно-посадочной полосе имеет форму трапеции. Соответственно, коэффициент отображения пикселов (метр/пиксел) в вертикальном направлении (по оси у) взлетно-посадочной полосы отличается. Так, дальняя сторона полосы выглядит более узкой и имеет более высокий коэффициент отображения пикселов (метр/пиксел), а ближняя сторона выглядит более широкой и имеет более низкий коэффициент отображения пикселов (метр/пиксел). В системе используются две параллельные горизонтальные линии с каждой стороны осевой линии на взлетно-посадочной полосе и осевая линия для определения верного коэффициента отображения пикселов (по вертикальной оси у) и отображения пикселов изображения в виде конкретных координат реальной опорной системы координат на основе используемых исходных данных (которыми могут являться WGS 84, координатная сетка аэродрома или прямоугольная система координат). Так, поскольку физическое расстояние по вертикали (по оси у) между горизонтальной линией на взлетно-посадочной полосе и ее осевой линией может быть измерено на местности, коэффициент отображения пикселов по вертикали (метр/пиксел) может быть выведен путем деления физического расстояния по вертикали (измеренного на местности) между этими линиями на число пикселов между ними (определенное на основании ширины в пикселах по вертикали на изображении взлетно-посадочной полосы).

На фиг.7 схематически проиллюстрирован один из примеров осуществления линий на взлетно-посадочной полосе. Одна горизонтальная линия 802 нанесена на дальней стороне взлетно-посадочной полосы, а другая горизонтальная линия 803 на ее ближней стороне. Линией 802 также может являться краевая линия взлетно-посадочной полосы на ее дальней стороне, а линией 803 также может являться краевая линия взлетно-посадочной полосы на ее ближней стороне. Обе эти линии 802, 803 параллельны осевой линии 801, при этом все эти линии проходят по взлетно-посадочной полосе в горизонтальном направлении (по оси х). Физическое расстояние по вертикали между горизонтальной линией 803 на ближней стороне и осевой линией 801 составляет 805, а ширина в пикселах (число пикселов) по вертикали между этими двумя линиями на изображении взлетно-посадочной полосы составляет y1 пикселов. Таким образом, коэффициент отображения пикселов по вертикали для ближней стороны рассчитывается путем деления 805 на y1 (метр/пиксел). Аналогичным образом, физическое расстояние по вертикали между горизонтальной линией 802 на дальней стороне и осевой линией 801 составляет 804, а ширина в пикселях (число пикселов) по вертикали между этими двумя линиями на изображении взлетно-посадочной полосы составляет у2 пикселов. Следовательно, коэффициент отображения пикселов по вертикали для дальней стороны взлетно-посадочной полосы рассчитывается путем деления 804 на у2 (метр/пиксел). Таким образом, в зависимости от того, находятся ли пикселы на ближней или дальней стороне взлетно-посадочной полосы, для их отображения на изображении взлетно-посадочной полосы в виде конкретных координат реальной опорной системы координат используются два различных коэффициента 805/у1 и 804/у2 отображения по вертикали (по оси у) с использованием осевой линии в качестве линии отсчета.

Описанный метод способен повышать точность отображения пикселов. В основе калибровки могут лежать эталонные данные различных систем координат, например, WGS84, координатной сетки аэродрома или декартовой системы координат.

Краевые/горизонтальные/осевые линии взлетно-посадочной полосы могут иметь любой цвет. Калибровка может осуществляться при условии контраста между краевыми/горизонтальными/осевой линиями взлетно-посадочной полосы и ее поверхностью. Кроме того, краевые и осевые линии необязательно должны являться непрерывными. Непрерывные линии могут быть получены путем интерполирования смежных линий.

В альтернативных вариантах осуществления настоящего изобретения может необязательно или дополнительно применяться стереоскопическая СТЗ с использованием пары камер наблюдения для контроля одного и того же участка взлетно-посадочной полосы. При использовании стереоскопической СТЗ расстояние до повреждения взлетно-посадочной полосы/рулежной дорожки или FOD и его расположение также могут вычисляться на основании различий между полученными изображениями путем сравнения двух изображений двух камерам с одним и тем же наблюдаемым участком (полем обзора) взлетно-посадочной полосы.

На каждом из изображений пары стереоскопических изображений определяются локальные элементы, которые затем сравниваются. В результате получают разреженное, множество высококачественных векторов рассогласования (которые являются показателем относительного положения элементов изображения так, как они видны на каждом изображении). На основании этих векторов рассогласования могут вычисляться двухмерные и трехмерные расчетные значения положения элементов и сравниваться с плоской (или по меньшей мере гладкой) моделью поверхности взлетно-посадочной полосы. В качестве альтернативы, изображения могут быть получены на уровне пикселов, что обеспечивает получение плотного множества векторов рассогласования менее постоянного качества.

Одной из сложностей при использовании стереоскопических изображений является определение соответствий между пикселами двух изображений, используемых при вычислении расстояния. Применяемые методы соотнесения пикселов включают использование оператора взаимной корреляции, согласование знаков с реляционными ограничениями и их сочетания.

Например, если необходимо соотнести пикселы двух изображений (изображения 1, изображения 2), полученных комплектом стереоскопических камер, в основе взаимной корреляцией лежит допущение того, что для заданной точки Р1 на изображении 1 существует фиксированная область изображения 2, в которой должна быть найдена точка Р2, соответствующая точке Р1. Размер этой области определяется относящимся к установкам камер параметрами, которые были получены в результате калибровки камер. В случае определения соответствия методом согласования знаков на одном изображении осуществляется поиск элемента, совпадающего с элементом на другом изображении. Типичными используемыми элементами являются переходы, отрезки прямых линий или области. При совпадении переходов получают разреженную карту глубин, на которой известна глубина только для небольшого множества точек. При совпадении отрезков прямых линий могут совпадать их конечные точки.

В одном из альтернативных вариантов осуществления используется одна или несколько неподвижных камер наблюдения, оснащенных широкоугольным объективом для обеспечения широкого обзора взлетно-посадочной полосы и/или рулежной дорожки и/или внутренней части аэродрома. Неподвижная камера наблюдения способна обнаруживать любое внезапное нападение, налет или бомбардировку аэродрома и направлять одну или несколько камер с функциями поворота, наклона и масштабирования (ПНМ) на конкретную область(-и) обнаруженного на взлетно-посадочной полосе/рулежной дорожке повреждения или FOD с целью быстрого обнаружения/определения размера/классификации повреждения взлетно-посадочной полосы (воронок, каверн, обломков, UXO) и FOD.

В альтернативных вариантах осуществления настоящего изобретения также может использоваться летательный аппарат, такой как беспилотный самолет или беспилотный летательный аппарат (UAV), выполняющий полеты над взлетно-посадочной полосой/рулежной дорожкой с целью получения цифровых изображений или видеоизображения взлетно-посадочной полосы/рулежной дорожки путем аэросъемки. Также может использоваться самолет вертикального взлета и посадки (VTOL), выполняющий полеты над взлетно-посадочной полосой/рулежной дорожкой с целью получения цифровых изображений или видеоизображения взлетно-посадочной полосы/рулежной дорожки путем аэросъемки. Цифровые изображения или видеоизображение регистрируется с помощью бортовых электрооптических датчиков (ЭО датчиков), установленных на UAV или VTOL. ЭО датчики могут являться пассивными, и им не требуется искусственное освещение. Цифровые изображения и видеоизображение, зарегистрированное ЭО датчикам, анализируется/обрабатывается в реальном времени с целью обеспечения обнаружения/определения размера/классификации повреждения взлетно-посадочной полосы (воронок/каверн/обломков и UXO) и FOD. В условиях плохого освещения, таких как ночное время, также может использоваться искусственное инфракрасное (ИК) освещение с целью улучшения возможностей для обнаружения повреждения взлетно-посадочной полосы или FOD.

В одном из альтернативных вариантов осуществления настоящего изобретения также используется инфракрасный (ИК) осветительный прибор или действующий в видимом спектре осветительный прибор для обеспечения искусственного освещения в условиях плохой видимости и слабого общего освещения (такого как в ночное время). ИК или действующий в видимом спектре осветительный прибор генерирует сфокусированный луч узкий ИК или видимого света для освещения сектора взлетно-посадочной полосы/рулежной дорожки/внутренней части аэродрома, сканируемого камерой(-ами) наблюдения. ИК или действующий в видимом спектре осветительный прибор также может иметь функции панорамирования, наклона, масштабирования (ПНМ). Управление ИК или действующим в видимом спектре осветительным прибором (включение/выключение, сила света, ПНМ) может осуществляться видеопроцессором (ВП) или центральной компьютерной системой (ЦКС) с целью обеспечения оптимального искусственного освещения в условиях плохой видимости.

В одном из альтернативных вариантов осуществления настоящего изобретения предусмотрена дублирующая зона обзора камер наблюдения. На фиг.5 схематически проиллюстрирована дублирующая зона обзора камер наблюдения в системе 600 наблюдения для обнаружения FOD или повреждений на взлетно-посадочной полосе. Камеры 601, 603, 605, 607, 609 наблюдения расположены с одного края рулежной дорожки 104. Если все камер 601, 603, 605, 607, 609 наблюдения действуют нормально, угол 611 наблюдения (обзора) каждой камеры 601, 603, 605, 607, 609 наблюдения обычно остается одинаковым. Если камера 603 выходит из строя и бездействует, угол 611 наблюдения (обзора) каждой из камер 601 и 605 наблюдения по соседству с бездействующей камерой 603 расширяется до угла 613 в сторону поля обзора бездействующей камеры 603. Тем самым система наблюдения за взлетно-посадочной полосой/рулежной дорожкой аэродрома, состоящая из камер наблюдения 601, 603, 605, 607, 609, способна обеспечивать полный охват взлетно-посадочной полосы аэродрома даже в случае отказа одной или нескольких камер наблюдения. Например, поле обзора (угол обзора) камеры может корректироваться вручную или дистанционно оператором с использованием прикладной компьютерной системы, которая дистанционно управляет функцией масштабирования или ПНМ камеры. Коррекция также может осуществляться автоматически прикладной компьютерной системой. Например, для изменения поля обзора (угла обзора) может использоваться камера с функцией масштабирования или камера с функциями поворота, наклона и масштабирования (ПНМ).

На фиг.6 схематически проиллюстрировано сканирование поверхности взлетно-посадочной полосы согласно одному из альтернативных вариантов осуществления.

Наблюдаемая площадь поверхности 700 взлетно-посадочной полосы делится на множество сегментов 702, охватывающих небольшие участки поверхности 700 взлетно-посадочной полосы. Вся поверхность 700 взлетно-посадочной полосы сегмент за сегментом сканируется с использованием одной или нескольких камер 708, способных обеспечивать поле обзора с горизонтальным углом 711 обзора. Примером подвижной камеры является камера с функциями поворота, наклона и масштабирования (ПНМ) или камера с функцией масштабирования. Функции поворота, наклона и масштабирования камеры ПНМ или функция масштабирования камеры с функцией масштабирования дистанционно управляется прикладной компьютерной системой или контроллером. Площадь поверхности 700 взлетно-посадочной полосы сканируется последовательно от одного конца 710 к другому концу 720 в продольном направлении 703 с помощью одной или нескольких подвижных камер.

Согласно одному из альтернативных вариантов осуществления сканирование поверхности взлетно-посадочной полосы управляется прикладной компьютерной системой или контроллером. Недостатком этого способа сканирования взлетно-посадочной полосы является длительное время обнаружения FOD или повреждения взлетно-посадочной полосы, в особенности, когда FOD или повреждение взлетно-посадочной полосы оказывается в пределах сегмента вблизи конца цикла сканирования. В качестве альтернативы, для сокращения продолжительности цикла сканирования взлетно-посадочной полосы пропускают один или даже два сегмента, т.е. сканируют один из каждых двух или даже трех сегментов. В течение следующего цикла сканирования сканируют ранее пропущенные сегменты и пропускают сканированные во время предыдущего цикла сегменты. При сканировании взлетно-посадочной полосы приходиться мириться с длительным временем обнаружения FOD, которое оказывается в пределах не сканированных сегментов поверхности взлетно-посадочной полосы.

Поскольку причиной FOD на взлетно-посадочной полосе в основном является взлет и посадка самолетов, в одном из альтернативных вариантов осуществления предложен другой способ сокращения времени обнаружения FOD за счет использования сочетания подвижных или неподвижных камер наблюдения. Неподвижная камера предпочтительно имеет в достаточно широкое поле обзора (широкий угол обзора) для охвата значительного участка взлетно-посадочной полосы и/или рулежной дорожки. Путем обработки изображений, получаемых неподвижной камерой наблюдения в реальном времени, прикладная компьютерная система способна обнаруживать и определять местоположение взлета и посадки самолета на взлетно-посадочной полосе. После этого прикладная компьютерная система может навести подвижную камеру наблюдения, чтобы сначала сканировать сегменты, охватывающие конкретные местоположения на взлетно-посадочной полосе, в которых только что произошла посадка или взлет самолета. Этот способ может способствовать сокращению времени обнаружения FOD.

Если неподвижная камера наблюдения обнаруживает FOD или повреждение взлетно-посадочной полосы, прикладная компьютерная система на диспетчерской вышке или в диспетчерском пункте определяет положение на взлетно-посадочной полосе и расстояние до обнаруженного FOD или повреждения взлетно-посадочной полосы на основании изображений, полученных неподвижной камерой. Определение положения на взлетно-посадочной полосе и расстояния до обнаруженного FOD или повреждения на поверхности взлетно-посадочной полосы/рулежной дорожки осуществляется с использованием моноскопической СТЗ и калиброванного изображения взлетно-посадочной полосы. Например, каждый пиксел калиброванного изображения взлетно-посадочной полосы отображается в виде точных координат в реальной двухмерной или трехмерной физической системе координат (которая может быть основана на исходных данных, таких как WGS 84 или координатная сетка аэродрома). В качестве альтернативы, также могут применяться методы определения местоположения и расстояния до объектов на основе стереоскопической СТЗ.

Данные расстояния и местоположения FOD или повреждения взлетно-посадочной полосы/рулежной дорожки, обнаруженного неподвижной камерой наблюдения (моноскопической или стереоскопической), используются системой для автоматического управления подвижными камерами (например, панорамной камерой или камерой с функциями поворота, наклона и масштабирования (ПНМ) или камерой с функцией масштабирования) с целью поворота и/или наклона и/или масштабирования и/или фокусировки на FOD или повреждении взлетно-посадочной полосы/рулежной дорожки или интересующей области на взлетно-посадочной полосе/рулежной дорожке и отображения на дисплее полученных при помощи телеобъектива изображений FOD или интересующей области на взлетно-посадочной полосе/рулежной дорожке с достаточными подробностями для того, чтобы подтвердить присутствие обнаруженного FOD или повреждения взлетно-посадочной полосы/рулежной дорожки или отфильтровать сигнал ложной тревоги. Эти полученные при помощи телеобъектива изображения также используются для точного определения размера, описания характера и классификации обнаруженного FOD или повреждения взлетно-посадочной полосы/рулежной дорожки. Из таких изображений можно выделить точные признаки объекта, включающие длину, высоту, площадь, кривизну, периметр, текстуру, цветовые характеристики, которые могут использоваться в качестве данных для ввода в предварительно изученный классификатор объектов.

В вариантах осуществления настоящего изобретения также может быть предусмотрена интегрированная система оценки повреждений аэродрома и взлетно-посадочной полосы/рулежной дорожки (фиг.9), в которую входит система 100 обнаружения/определения размера/классификации засорения или повреждения посторонними предметами (FOD), повреждений рулежной дорожки или взлетно-посадочной полосы и система наблюдения за поражающим действием оружия.

На фиг.9 схематически проиллюстрирована интегрированная система 952 оценки повреждений аэродрома, в которую согласно одному из примеров осуществления входит система 100 обнаружения засорения или повреждения посторонними предметами (FOD) и повреждения взлетно-посадочной полосы/рулежной дорожки и система 950 наблюдения за поражающим действием оружия согласно одному из примеров осуществления,

На фиг.10 схематически проиллюстрирована система определения поражающего действия с использованием проиллюстрированной на фиг.9 системы наблюдения за поражающим действием оружия. После нападения неприятеля на аэродром сначала обнаруживают все повреждения, например, 1003 и в качестве входных данных наносят на план 1000 аэродрома с использованием видеоданных, поступающих от неподвижных камер 951 системы наблюдения за поражающим действием оружия. Затем определяют минимальную рабочую поверхность аэродрома (МРПА) и/или минимальную рабочую зону (МРЗ) 1007 в зависимости от типа летательных аппаратов, полезной нагрузки и окружающих условий и минимальный объем начальных ремонтных работ, необходимый для возобновления полетов. При определении МРПА и МРЗ 1007 учитывает одно или несколько, предпочтительно все из следующего: размер и местоположение воронок 1003; удобство доступа к местоположению воронок 1003; удобство доступа летательных аппаратов к МРЗ 907 по поврежденным рулежным дорожкам или подъездным путям 1009; и местоположение невзорвавшихся бомб (UXO) или воронок, например, 1011.

В вариантах осуществления настоящего изобретения используется интеллектуальная обработка видеоизображений/изображений, которая способна выгодно обеспечивать:

автоматизированное обнаружение в реальном времени повреждений взлетно-посадочной полосы/рулежной дорожки (воронок, каверн, UXO, обломков) и FOD;

визуальный контроль и точное определение местоположения повреждений взлетно-посадочной полосы/рулежной дорожки (воронок; каверн, UXO, обломков) и FOD;

определение размера/физических параметров повреждений взлетно-посадочной полосы/рулежной дорожки (воронок, каверн, UXO, обломков) и FOD; и

отображение степени повреждений аэродрома или взлетно-посадочной полосы на карте аэродрома или карте взлетно-посадочной полосы.

Совокупные данные, выведенные из системы на основе интеллектуальной обработки видеоизображений/изображений, предпочтительно обеспечивают эффективное средство поддержки принятия решений.

Система 950 технического зрения для наблюдения за поражающим действием оружия автоматически обнаруживает и оценивает поражающее действие ракет и бомб, способствуя реалистичному обучению пользованию оружием и отработке оборонительных действий воздушных, морских и сухопутных сил. Система 950 наблюдения способна оценивать единичные или множественные поражения на суше и на воде как в дневное, так и ночное время. Система 950 наблюдения за поражающим действием оружия имеет открытую архитектуру и может быть объединена с приборным оборудованием для отработки техники воздушного боя (ACMI) в одну из подсистем комплекса тренажеров для подготовки операторов систем радиоэлектронной борьбы (EWTS).

Варианты осуществления усовершенствованной системы 950 оценка боевого ущерба (ОБУ) предпочтительно реализованы на основе:

технического опыта в области интеллектуальной обработки видеоизображений/изображений;

адаптации проверенных на практике систем технического зрения к военной сфере и/или условиям аэродрома;

надежности и робастности системного проектирования, аппаратного и программного обеспечения с возможностью интегрирования в военно-воздушные силы;

экономической эффективности с точки зрения инвестиций как в военное, так и мирное время.

В вариантах осуществления настоящего изобретения предложена усовершенствованная автоматизированная система 950 ОБУ на основе интегрирования системы 950 наблюдения за поражающим действием оружия (фиг.9) и системы 100 обнаружения повреждения взлетно-посадочной полосы/рулежной дорожки и FOD (фиг.9).

Система 1000 наблюдения за поражающим действием оружия (фиг.10) способна автоматически и точно обнаруживать и наносить на карту единичные или множественные поражения при широком или нормальном или узком угле обзора участка аэродрома. Поражающие действия оружия характерных типов включают поражения ракетами класса воздух-земля и земля-земля, реактивными снарядами, бомбами и артиллерийскими снарядами, обычно сопровождающиеся заметными эффектами, такими как взрыв, дым, пыль или какого-либо рода вспышка (в ночное время). С целью определения местоположения поражающего действия оружия в системе 1000 наблюдения за поражающим действием оружия также может использоваться создаваемый им звук. Это может осуществляться с помощью микрофонов, размещенных в стратегических положениях, и с использованием методов прослеживания источника звука.

В то же время, система 100 обнаружения повреждения взлетно-посадочной полосы/рулежной дорожки и FOD (фиг.9) преимущественно оснащена средствами визуализации в увеличенном масштабе, предварительно запрограммированными на сканирование, поиск и обнаружение очень мелких предметов (например, FOD размером 4 см), UXO, повреждений взлетно-посадочной полосы/рулежной дорожки (воронок, каверн, обломков) и определение состояния покрытия (например, трещин) взлетно-посадочной полосы/рулежной дорожки/бетонированной площадки. Действующая круглосуточно система 100 обнаружения FOD (фиг.9) оснащена специализированными электрооптическими (ЭО) датчиками, интегрированными с программными средствами обработки и повышения качества изображений, что позволяет системе "видеть" и обнаруживать очень мелкие предметы даже в ночных условиях. Система 100 обнаружения повреждения взлетно-посадочной полосы/рулежной дорожки и FOD (фиг.9) осуществляет дистанционный мониторинг и проверку заданных покрытий аэродрома с безопасного расстояния и точно определяет местоположение обнаруженного целевого объекта.

На фиг.11 показана схема расположения программных модулей, используемых в проиллюстрированной на фиг.9 интегрированной системе 952 оценки повреждений аэродрома. За счет применения множество средств программного обеспечения, устойчивых к изменяющимся условиям окружающей среды на аэродроме, программное обеспечение ОБУ способно самообучаться и адаптироваться к изменяющейся картине с целью распознавания признаков бомбардировки (воронок, каверн, обломков) или UXO или FOD от возможных сигналов ложной тревоги. Алгоритм обнаружения выделяет релевантные характеристики целевого объекта, такие как длина, высота, глубина, периметр, площадь, текстура, кривизна, цветовые характеристики (цветовой тон и насыщенность), сила света (уровень серого) и т.д., чтобы идентифицировать и измерить целевой объект. Некоторые из методов, применяемых в примерах осуществления, включают:

интеллектуальный анализ видеоизображений на основе методов динамического моделирования фона и обнаружения изменений изображений. В целях достоверного обнаружения на изображении фона постоянно обновляются даже следы шин на взлетно-посадочной полосе;

фильтрацию шума с целью уменьшения (ослабления) шумовых составляющих видеоизображения или изображения вследствие изменений погоды, тепловых волн и т.д.;

методы агрегирования изображений с целью получения изображения наивысшего качества в условиях плохого освещения/видимости для анализа/ обработки;

обнаружение неподвижных целевых объектов, чтобы отличать неподвижный целевой объект от допустимых подвижных объектов, таких как летательный аппарат, транспортное средство, человек, живая природа и т.д. на взлетно-посадочной полосе/рулежной дорожке; и

методы искусственного интеллекта, применяемые для непрерывного самообучения и адаптации к изменениям изображений, таким как изменения окружающих условий при переходе от дня к ночи, отбрасываемые тени, дождь и снег.

В то же время, осуществляется одновременная обработка изображений, поступающих от отдельных специализированных датчиков:

обработка данных, поступающих от датчиков 951 (фиг.9), используемых для наблюдения и оценки поражающего действия оружия; алгоритм сначала анализирует заданное широкоугольное поле обзора взлетно-посадочной полосы/рулежной дорожки, чтобы обнаружить и отличить действительные идентифицируемые признаки поражающего действия оружия от других фоновых эффектов. После обнаружения программное обеспечение инициирует визуальный и звуковой сигнал тревоги и отдает датчику 108 FOD (фиг.9) команду выполнить функцию поворота-наклона-масштабирования с целью регистрации подробного изображения или видеоизображения конкретного местоположения поражения. Алгоритм обнаружения FOD и повреждений осуществляет поиск, обнаружение и определение степени повреждения; и

обработка данных, поступающих от датчиков FOD; алгоритм предварительно запрограммирован на сканирование и анализ сектор за сектором заданного изображения в увеличенном масштабе покрытия взлетно-посадочной полосы или рулежной дорожки покрытием с целью обнаружения воронок, каверн, обломков или UXO. После обнаружения программное обеспечение получает изображение или видеоизображение, вычисляет точное местоположение и передает пользователю визуальные или звуковой сигнал тревоги прежде, чем перейти к осмотру следующего сектора взлетно-посадочной полосы или рулежной дорожки.

За счет разрешения изображения на уровне пикселов программное обеспечение ОБУ способно определять местоположение воронок, каверн, обломков или UXO или FOD с точностью предпочтительно ±1 м (3,28 фута) и определять размеры воронок/каверн/обломков/UXO/FOD.

После этого программное обеспечение может получать моментальный снимок обнаруженных воронок, каверн, обломков или UXO или FOD 1003 (фиг.10), указывать дату и время появления, координаты и размеры воронок/каверн/обломков/UXO/FOD 1003 (фиг.10) и наносить результаты обнаружения и отображать на двухмерной карте 1000 геоинформационной системы (ГИС) (фиг.10).

Кроме того, для пользователя доступны поступающие в реальном времени от всех датчиков 951 и 108 (фиг.9) видеоизображения для оценки степени повреждения, состояния взлетно-посадочной полосы и рулежной дорожки, а также состояния покрытий.

Как показано на фиг.11, в системном модуле 1103 ОБУ объединен системный модуль наблюдения за поражающим действием оружия и модуль обнаружения FOD. В одном из примеров осуществления это возможно благодаря применению модульного проектирования по стандартам открытых систем, что выгодно обеспечивает удобную расширяемость, ремонтопригодность, обеспечение соответствия требованиям заказчика и выявление неисправностей.

В одном из примеров осуществления основными модулями являются:

модуль 1129 ЭО датчиков (ЭОД) системы наблюдения за поражающим действием оружия для регистрации видеоизображений или изображений целевой области аэродрома;

модуль 1131 ЭО датчиков (ЭОД) и поворота-наклона-масштабирования (ПНМ) системы наблюдения за аэродромом (для обнаружения FOD и повреждений) для регулирования степени ПНМ в системе обнаружения FOD и повреждений с целью сканирования (с функциями поворота-наклона-масштабирования) конкретной целевой области аэродрома;

модуль 1133 передачи изображений для передачи (по проводам/по радиосвязи) ВП изображений от ЭО датчиков и ПНМ датчиков;

модуль 1135 получения изображений для контроля, коррекции и тонкой настройки качества изображения и частоты кадров;

модуль 1137 стабилизации изображений для обнаружения контрольных отметок в каждом кадре и стабилизации/восстановления исходного изображения при вибрации датчиков;

модуль 1139 расчет эталонных изображений для создания и обновления в каждом кадре эталонного изображения фона, которое будет использоваться в модуле выделения переднего плана;

модуль 1141 выделения переднего плана для вычитания текущего кадра из эталонного изображения фона и обнаружения значительного изменения пикселов изображения;

модуль 1143 обнаружения поражения для распознавания значительных изменений, обнаруженных на основании образов, содержащихся в нескольких последовательных кадрах, после обнаружения поражающего действия оружия;

модуль 1145 обнаружения FOD для распознавания значительных изменений, обнаруженных на основании различных характеристик, после обнаружения объекта (такого как FOD или повреждение аэродрома);

модуль 1147 ОБУ выделения обнаруженного местоположения FOD или повреждений (включая местоположение воронок, каверн, обломков, UXO);

модуль 1149 ОБУ определения физических размеров FOD или повреждений (включая воронки, каверны, обломки, UXO);

вычислительный модуль 1151 для вычисления наилучшей (оптимальной) МРПА и МРЗ;

модуль 1153 оценки и планирования требуемых ремонтных работ, включая оценку и планирование требуемых ремонтных работ для обеспечения наилучшей МРЗ и/или МРПА;

записывающий модуль 1155, позволяющий записывать и воспроизводить записанное видеоизображение для исследования/анализа;

модуль 1157 отображения видеоизображения или изображения и вычисленных данных повреждений аэродрома на графическом интерфейсе пользователя.

На фиг.12 показана схема расположения, иллюстрирующая взаимодействие проиллюстрированных на фиг.11 программных модулей в военное время. В вариантах осуществления системы 952 ОБУ (фиг.9) согласно настоящему изобретению могут обеспечиваться следующие преимущества в военное время.

Система 952 ОБУ (фиг.9) обеспечивает круглосуточное обнаружение бомбардировки аэродрома и определяет местоположение и размер воронок, каверн, обломков, UXO и FOD в военное время. Своевременная и точная оценка повреждения аэродрома/взлетно-посадочной полосы, причиненного в ходе военной операции, имеет решающее значение в военное время. За счет обеспечения данных о степени физического повреждения, причиненного аэродрому (включая взлетно-посадочную полосу и рулежную дорожку), выгодно облегчается перепланирование взлета и посадки самолетов и установление очередности ремонта взлетно-посадочной полосы/рулежной дорожки.

Путем анализа на уровне пикселов система 952 ОБУ (фиг.9) автоматически обнаруживает бомбардировку, точно определяет местоположение и размер воронок, каверн, обломков, UXO, FOD. Исходя из этого, пользователь (такой как начальник аэродрома) может оценивать и определять количество ресурсов, времени и материалов, необходимых для максимально быстрого устранения повреждений взлетно-посадочной полосы/рулежной дорожки.

Кроме того, система 952 ОБУ (фиг.9) способна отображать степень повреждений аэродрома.

Путем автоматического анализа данных размера и местоположения воронок система 952 отображает степень повреждений аэродрома на двухмерной карте аэродрома и оказывает пользователю интеллектуальную поддержку при определении условий эксплуатации взлетно-посадочных полос/рулежных дорожек всего аэродрома, включающих:

а) количества, местоположения и размеры воронок, каверн, обломков, UXO, FOD на взлетно-посадочной полосе;

б) местоположения/зону взлетно-посадочной полосы, пригодную для операций взлета/посадки;

в) местоположения/зону взлетно-посадочной полосы, которая повреждена и требует ремонта, и

г) рекомендуемую минимальную рабочую поверхность аэродрома (МРПА) и минимальную рабочую зону (МРЗ) в зависимости от типов самолетов и местоположений эскадрилий.

Система 952 ОБУ (фиг.9) является "пассивной" системой, безопасной в эксплуатации в условиях аэродрома и не создающей препятствий/помех для наземных и воздушных систем. Она является полностью неагрессивной, имеет нулевое активное излучение и не поддерживается каким-либо активным источником света. Она не создает опасности для здоровья людей или помех работе существующего оборудования или будущей реализации систем на земле и самолетах. В отличие от "активной" системы предлагаемая "пассивная технология" особенно важна для военно-воздушных баз в военное время, поскольку она предотвращает нападения с использованием противорадиолокационных ракет (HARM).

Могут быть разработаны и созданы варианты осуществления системы ОБУ, рассчитанной на круглосуточную работу в любых погодных условиях для защиты аэродрома, взлетно-посадочной полосы и рулежной дорожки. Как показали практические испытания вариантов осуществления системы 950 ОБУ (фиг.9), она "видит" и обнаруживает очень мелкие предметы (FOD) и повреждения взлетно-посадочной полосы и рулежной дорожки (воронки, каверны, обломки, UXO) как в дневное, так и ночное время. Варианты осуществления системы ОБУ эффективно действую в экстремальных условиях тумана (при показателе загрязненности воздуха 120 и видимости 200 метров) и обильных осадков (28 мм/ч).

Могут быть предусмотрены варианты осуществления системы ОБУ, рассчитанные на дублирование с частичным или полным перекрыванием полей обзора для обеспечения безотказной работы системы в военное время.

Для обеспечения дублирования устанавливают датчики 508 и 509 (фиг.1Б) обнаружения FOD или повреждений на расстоянии в несколько сот метров друг от друга с противоположных сторон взлетно-посадочной полосы; и в случае отказа какого-либо датчика соседние и/или находящиеся с противоположной стороны датчики продолжат обеспечивать мониторинг "потерянного" сектора, за который отвечал отказавший датчик.

Кроме того, система содержит дублирующий(-ие) сервер для сведения к минимуму незапланированных простоев. Предусмотрено обеспечение важнейшими запасными частями для своевременной замены отказавших компонентов.

На фиг.13 показана схема расположения, иллюстрирующая взаимодействие проиллюстрированных на фиг.11 программных модулей в мирное время. Варианты осуществления системы ОБУ согласно настоящему изобретению способны обеспечивать следующие преимущества в мирное время.

Помимо сканирования/поиска воронок/UXO на взлетно-посадочной полосе ЭО датчики 108 FOD (фиг.9) также способны обнаруживать другие FOD и повреждения взлетно-посадочной полосы/рулежной дорожки (такие как каверны и обломки). Это помогает автоматизировать обнаружение FOD и повреждений взлетно-посадочной полосы в режиме реального времени и тем самым повышать уровень информированности об обстановке и оперативной готовности авиабазы. Технологии на основе встроенного искусственного интеллекта обеспечивают объективную достоверную идентификацию FOD и повреждений взлетно-посадочной полосы/рулежной дорожки с исключением субъективных ошибок или халатности.

Применение ЭО датчиков FOD позволяет оператору ясно видеть аэродром в условиях сверхнизкой освещенности. Некоторые из сценариев, в которых ЭО датчики FOD способны содействовать наблюдению за аэродромом, включают:

наблюдение за опасными ситуациями

нарушение границ/выкатывание за пределы взлетно-посадочной полосы и/или рулежной дорожки

оценка повреждений взлетно-посадочной полосы и/или рулежной дорожки

обнаружение/определение размера/классификация повреждений взлетно-посадочной полосы и/или рулежной дорожки (воронок, каверн, обломков, UX) и FOD

соударение концов крыльев

поломка самолета

вынужденная/аварийная посадка

общее наблюдение

общее наблюдение за "воздушной стороной"

мониторинг состояния поверхности взлетно-посадочной полосы

обеспечение соблюдения мер безопасности на аэродроме (например, при буксировке самолетов, укладке покрытий или строительных работах и т.д.)

контроль состояния поверхности/покрытия взлетно-посадочной полосы/рулежной дорожки.

Подобно всем остальным системам аэродрома взлетно-посадочные полосы и рулежные дорожки с течением времени подвержены износу под действием факторов окружающей среды. Участки с утраченным покрытием обычно обнаруживают во время нечастых и требующих много времени осмотров вручную. В некоторых частях взлетно-посадочной полосы или рулежной дорожки, в особенности, на участках взлета и посадки обычно происходит значительный отрыв крупных кусков асфальта/бетона.

Поскольку ЭО датчики FOD непрерывно контролируют взлетно-посадочную полосу и/или рулежную дорожку и получают изображения поверхности взлетно-посадочной полосы и/или рулежной дорожки увеличенной крупности с очень высоким разрешением, они выгодно обеспечивают возможность тщательного исследования состояния поверхности с целью обнаружения обломков, значительных трещин или повреждений взлетно-посадочной полосы или рулежной дорожки.

Например, на уровне земли могут происходить столкновения самолета с птицами. Обычно в течение года активность некоторых видов птиц возрастает в периоды миграции. Варианты осуществления настоящего изобретения могут быть полезны для обнаружения присутствия птиц на взлетно-посадочной полосе и/или рулежной дорожке, что обеспечивает эффективную систему поддержки принятия решений, помогающую авиадиспетчеру предотвращать столкновения с птицами на земле.

В примерах осуществления при обеспечении безопасности на взлетно-посадочной полосе также предпочтительно учитываются такие проблемы, как животные, перемещающиеся по взлетно-посадочной полосе. За счет использования интеллектуальной видеотехнологии в примерах осуществления предпочтительно обеспечивается обнаружение змей, черепах, ящериц и других живых существ на взлетно-посадочной полосе и/или рулежной дорожке. В целях безопасности при обнаружении живых существ на взлетно-посадочной полосе и/или рулежной дорожке авиадиспетчеру может предлагаться закрыть взлетно-посадочную полосу и/или рулежную дорожку и направить наземные службы с целью отлова и удаления живого существа с взлетно-посадочной полосы.

На фиг.14 схематически проиллюстрирована схема расположения аппаратуры 1400 проиллюстрированной на фиг.9 интегрированной системы оценки повреждений аэродрома.

Аппаратура 1400 (фиг.14) интегрированной системы ОБУ содержит электрооптическую (ЭО) систему 1401 и центральную компьютерную систему (ЦКС) 1403 и 1409.

ЭО система 1401 (фиг.14) состоит из множества ЭО датчиков (камер) 1405а-d и соответствующих выделенных видеопроцессоров (ВП) 1407. ЭО датчик (камера) 1405а установлен на вышке или строительной конструкции с целью контроля и получения в реальном времени видеоизображения или изображений целевой области аэродрома. В одном из вариантов осуществления в автоматической системе наблюдения используется мегапиксельный неподвижный ЭО датчик с широким полем обзора, охватывающим до 700 м (2297 футов) длины взлетно-посадочной полосы/рулежной дорожки. В одном из вариантов осуществления в системе ЭО датчиков 1405b-d обнаружения FOD применяются ЭО датчики с функциями поворота/наклона/масштабирования и трансфокатором высокой четкости для работы при сверхнизкой освещенности для обзора/исследования подсектор за подсектором подсекторов взлетно-посадочной полосы/рулежной дорожки. Каждый подсектор имеет длину около 5,5 м (18 футов), а каждый из ЭО датчиков с функциями ПНМ охватывает до 350 м (1148 футов) длины взлетно-посадочной полосы/рулежной дорожки. Каждый ВП 1407 предназначен для обработки видеоизображения, поступающего от определенного ЭО датчика. Через оптический приемопередатчик это видеоизображение в виде потока направляется в ВП для обработки. Из ВП 1407 изображение или видеоизображение и данные поступают в управляющие серверы 1409 центральной компьютерной системы (ЦКС).

В целях обеспечения робастности в системе 1400 ОБУ (фиг.14) предусмотрены два уровня механизма дублирования, а именно, входного и выходного встроенного дублирования для обеспечения высокой доступности работы систем. ЭО датчики 108 обнаружения FOD и повреждений (фиг.9) и ЕО датчики 951 (фиг.9) наблюдения за поражающим действием оружия установлены с одной взлетно-посадочной полосы во всех случаях на расстоянии по меньшей мере 300 м (984 футов) от осевой линии взлетно-посадочной полосы. В случае выхода из строя датчиков 951 наблюдения за поражающим действием оружия при бомбардировке датчики 108 обнаружения FOD и повреждений могут продолжать поиск, обнаружение и определение размера FOD или повреждений (таких как воронок/UXO). Аналогичным образом, в случае выхода из строя датчиков обнаружения FOD и повреждений датчики 951 наблюдения за поражающим действием оружия также способны обнаруживать и определять местоположение повреждений взлетно-посадочной полосы/рулежной дорожки.

Поскольку в системе 1400 также учитывается выход из строя каких-либо ЭО датчиков и предусматривается дублирование, у ЭО датчиков имеются достаточные перекрывающиеся поля обзора, и соседние ЭО датчики обеспечивают резервирование неисправных ЭО датчиков. Выходное дублирование предотвращает отказ управляющих серверов. Иными словами, управляющие серверы рассчитаны (по меньшей мере) на парное развертывание в целях дублирования. В целях обеспечения высокой доступности дублирующий сервер автоматически берет на себя функции отказавшего основного сервера.

В одном из примеров осуществления центральная компьютерная система (ЦКС) состоит из управляющих серверов (с дублированием) 1409, цифрового видеорегистратора (ЦВР) 1411, рабочей станции 1413 оператора, рабочей станции 1415 администратора/руководителя работ по техническому обслуживанию и мобильного карманного устройства 1417.

Управляющий сервер 1409 является центральной базой данных для операций системного уровня, включая управление доступом пользователя, конфигурацию системы, конфигурацию предупреждений, управление изображениями и сопутствующими данными, запрос данных и генерирование отчетов. В случае отказа управляющего сервера эту функцию берет на себя дублирующий сервер. ЦВР 1411 обеспечивает непрерывную цифровую видеорегистрацию в реальном времени изображений, поступающих от всех датчиков. В одном из вариантов осуществления ЦВР 1411 рассчитан на хранение видеоизображений в течение 30 дней с возможностью при необходимости их архивирования на DVD. Тем самым обеспечивается возможность воспроизведения видеоизображений для анализа и изучения.

Рабочая станция 1413 оператора служит основным пользовательским интерфейсом для регистрации, мониторинга и управления системой 1400. Рабочая станция 1415 администратора/руководителя работ по техническому обслуживанию используется в основном для технической поддержки при проверке готовности и выявлении неисправностей в сети и оборудовании. Она также может служить запасным вариантом для использования в случае неисправности рабочей станции 1413 оператора.

Мобильные карманные устройства 1417 выдаются персоналу бригады наземного обслуживания для приема дистанционных сигналов тревоги и наиболее важной информации (даты/времени, местоположения, степени повреждения, изображения и т.д.) до и/или во время вызова с целью устранения воронок или удаления обломков с взлетно-посадочной полосы/рулежной дорожки. Эта информация позволяет бригаде наземного обслуживания реагировать на вызов, располагая достаточными ресурсами и материалами для быстрого обнаружения целевого объекта.

Входная электрооптическая система 1401 содержит ЭО датчики 1405a-d и ВП 1407. Все ЭО датчики 1405a-d на протяжении взлетно-посадочной полосы/рулежной дорожки обеспечиваются питанием для непрерывной работы и соединены оптоволоконным кабелем с выходной аппаратной. Каждый датчик 1407 соединен оптоволоконным кабелем с выделенным ему ВП 1407 и распределителем видеосигналов с ЦВР 1411 для записи.

Выходное оборудование состоит из управляющих серверов 1409, ЦВР 1411, коммутаторов 1419 и рабочих станций 1413, 1415 оператора/администратора. Рабочие станции 1413, 1415 предпочтительно расположены в центре управления наземной эксплуатацией или командном пункте аэродрома. В системе 1400 также может выгодно применяться существующая ЛВС, если она доступна, с использованием протокола управления передачей/Интернет-протокола. Видеоизображение обрабатывается ВП 1407 и после обнаружения, например, воронок передается с сопутствующими данными управляющим (дублирующим) серверам 1409. Управляющий сервер запоминает аварийную ситуацию, определяет местоположение и размер воронок и выводит данные на рабочую станцию 1413 оператора. Если пользователь выбирает ручной (прямой) просмотр, с выбранного датчика поступает поток видеоизображения в реальном времени. Пользователь может загружать из ЦВР сохраненные записи и воспроизводить видеоизображение в целях изучения и анализа. Например, персоналу бригады наземного обслуживания может выдаваться по одному карманному мобильному устройству 1417 на каждую взлетно-посадочную полосу.

После подтверждения пользователем целевого объекта и инициации ремонта взлетно-посадочной полосы/рулежной дорожки карманное устройство1417 принимает наиболее важную информацию, включая изображение для подготовки бригады наземного обслуживания к восстановлению или ремонту взлетно-посадочной полосы/рулежной дорожки.

В различных вариантах осуществления система ОБУ предпочтительно способна обнаруживать воронки следующего размера:

небольшие воронки размером от 10 см до 1,5 м от небольших реактивных снарядов, пушечных снарядов, боеприпасов с контактным взрывателем;

средние воронки размером от 1,5 м до 6 м от кассетных боеприпасов, крупных реактивных снарядов, небольших боеприпасов, пробивающих бетон;

крупные воронки размер более 6 м от боеприпасов с взрывателем замедленного действия, крупных боеприпасов, пробивающих бетон.

Помимо воронок система ОБУ также способна обнаруживать и определять размер каверн, обломков UXO и FOD на взлетно-посадочной полосе и рулежной дорожке.

Далее пояснена блок-схема системы ОБУ согласно одному из вариантов осуществления:

а) автоматически регистрируются и обрабатывается в реальном времени видеоизображения или изображения, поступающие от выделенного неподвижного ЭО датчика 1405а, с целью обеспечения достоверной идентификации поражающего действия оружия, и автоматически регистрируются и обрабатывается в реальном времени видеоизображения, поступающие от выделенных панорамных ЭО датчиков 1405b-d, с целью обеспечения достоверной идентификации обнаруженного повреждения/UXO/FOD;

б) в центре управления наземной эксплуатацией или командном пункте на одном дисплее отображается видеоизображение и сигналы тревоги с целью полной оценки состояния взлетно-посадочной полосы/рулежной дорожки;

в) в случае бомбардировки на рабочей станции оператора автоматически высвечивается и передается сообщение об обнаруженных воронках, кавернах, обломках, UXO или FOD. После обнаружения поражающего действия оружия неподвижным ЭО датчиком 1405а на его местоположение наводятся панорамные ЭО датчики 1405b-d для детального определения размера FOD или повреждений аэродрома;

г) на рабочей станции оператора в целях визуального контроля отображается компьютерное изображение в увеличенном масштабе обнаруженного целевого объекта, а также сопутствующие данные местоположения и размера;

д) в зависимости от типа самолета и местоположения эскадрилий система дает рекомендации относительно минимальной рабочей поверхности аэродрома (МРПА) и минимальной рабочей зоны (МРЗ) для первоочередного ремонта;

е) после подтверждения пользователем на карманное устройство в распоряжении бригады наземного обслуживания или ремонтной бригады по сети беспроводной связи GSM или 3G сети связи с подвижными объектами передается дистанционный сигнал. Карманное устройство обеспечивает такие данные, как дата/время, местоположение(-я) воронок/каверн/обломков/UXO/FOD, размер(-ы) воронок/каверн/обломков/UXO/FOD, тип и порядок срочности ремонта;

ж) пользователь прекращает операции взлета и посадки и направляет бригаду для устранения воронок/каверн/обломков или удаления UXO/FOD с взлетно-посадочной полосы/рулежной дорожки, и

з) по завершении ремонта/удаления и возобновления работы взлетно-посадочной полосы записи видео, изображений и сигналов тревоги могут извлекаться для генерирования отчетов и последующего анализа/изучения.

В соответствии с регулятивными нормами Международной организации гражданской авиации (ИКАО) и Федерального управления гражданской авиации (FAA) на расстоянии в пределах 150 м (492 фута) от осевой линии взлетно-посадочной полосы допускается установка только необходимого навигационного оборудования, а в отношении всех прочих существенных сооружений за пределами 150-метровой зоны действует ограничение Г.7 по высоте. В вариантах осуществления системы ОБУ согласно настоящему изобретению предпочтительно выполняются требования ИКАО, FAA и других организаций.

В описанных ранее вариантах осуществления настоящего изобретения также может использоваться фильтрация радиолокационных помех вследствие дождя. Обычно мешающие отражения от дождя возникают не только на локальном участке взлетно-посадочной полосы или рулежной дорожки, но также на протяжении всей взлетно-посадочной полосы. Дождь также может создавать мешающие отражения от движения на изображении взлетно-посадочной полосы с характерными признаками, такими как брызги при попадании дождя на поверхность взлетно-посадочной полосы. Соответственно, одним из способов фильтрации мешающих отражений от дождя является обнаружение и распознавание на изображении взлетно-посадочной полосы или рулежной дорожки мешающих отражений от движения с характерными для дождя признаками, наблюдаемыми на протяжении всей взлетно-посадочной полосы. Поскольку мешающие отражения от дождя не являются статическими и изменяются от кадра к кадру, для их фильтрации также может использоваться временная фильтрация. Соответственно, мешающие отражения от движения с характерными для дождя признаками, наблюдаемыми на протяжении всей взлетно-посадочной полосы или рулежной дорожки, будут отфильтрованы как мешающие отражения от дождя. В одном из альтернативных вариантов осуществления указанный принцип также может применяться к фильтрации радиолокационных помех вследствие снегопада. Соответственно, мешающие отражения от движения с характерными для снегопада признаками, наблюдаемыми на протяжении всей взлетно-посадочной полосы, будут отфильтрованы как мешающие отражения от снегопада с использованием временной фильтрации.

В примерах осуществления настоящего изобретения эталонные изображения фона, получаемые от камер наблюдения, предварительно обрабатываются с использованием методов обнаружения контуров для повышения устойчивости системы к изменениям освещения, мешающим отражениям и для уменьшения сигналов ложной тревоги.

Методы выделения и обнаружения контуров применяются для идентификации контуров элементов взлетно-посадочной полосы или рулежной дорожки. Контуром на изображении является граница, за которой резкой изменяются свойства элементов изображения (пикселов). Выделение и обнаружение контуров применяется для повышения устойчивости к изменениям освещения для идентификации пикселов основного изображения методом исключения и/или изучения фона.

В описанных выше вариантах осуществления настоящего изобретения может использоваться один или несколько из следующих признаков:

повышение качества изображения взлетно-посадочной полосы с использованием высокочастотных фильтров (таких как прямой и обратный оператор Собеля или оператор Шарра) с целью выделения элементов с высокоградиентным изменением в направлении, параллельном взлетно-посадочной полосе;

оценка оптимального порога выделения контуров FOD или повреждения. Оценка адаптирована к различным условиям окружающей среды (например, дождю, отражению света, ночному времени и т.д.) и осуществляется с использованием статистических методов на основе карты контуров постепенно изучаемого изображения фона для формирования справочной таблицы шкалы серых тонов (LUT), используемой при создании карты пороговых уровней значений пикселов с целью выделения карты адаптивных контуров на уровне пикселов;

временная фильтрация на уровне пикселов с целью сохранения четких контуров путем использования набора карт контуров для уменьшения помех. Только пикселы со значениями, превышающими пороговое значение, считаются пикселами с четким контуром, а остальные пикселы не используются для карты контуров;

изучение адаптивного фона путем сравнения текущего изображение контуров с изображением фона в предшествующие моменты времени с целью регистрации процесса медленного изменения элементов на взлетно-посадочной полосе или рулежной дорожке и обеспечения слияния этих элементов с фоном без генерирования сигнала ложной тревоги;

сводная карта контуров фона, состоящая из карты адаптивных контуров фона и карты ранее изученного фона и необязательно сезонной разметки (которая создается для конкретного времени года или погодных условий, таких как, снегопад);

создание карта предполагаемых контуров путем сравнения карты контуров и сводной карты фона;

фильтрация контуров для исключения некоторых из контуров, которые могли возникнуть в результате неожиданного изменения условий окружающей среды, например, отражения из-за дождя или других погодных условий;

обнаружение FOD или повреждений взлетно-посадочной полосы/рулежной дорожки с обнаружением ненормальных условий освещения в ночное время (таких как при посадке, взлете, движении наземных транспортных средств и т.д.) путем использования общей гистограммы и статистического анализа для сравнения с постепенно обновляемым изображением для обнаружения ненормальных условий освещения;

наблюдение в дневное/ночное время с целью обнаружения FOD или повреждений взлетно-посадочной полосы/рулежной дорожки без необходимости устанавливать вспомогательное освещение (такое как лазерные или инфракрасные осветительные приборы);

средства формирования изображений для получения изображений взлетно-посадочной полосы или рулежной дорожки с возможностями автоматического, компьютеризированного и/или ручного просмотра изображений в увеличенном масштабе с целью гарантировать точное обнаружение, идентификацию и определение местоположения всех посторонних предметов на взлетно-посадочной полосе или рулежной дорожке;

пассивность по характеру, не требующая установки вспомогательного освещения (такого как лазерные или инфракрасные осветительные приборы) в темное время суток и в условиях плохого освещения;

получение цветных изображений в дневное и ночное время;

обработка видеоизображений и/или неподвижных изображений, получаемых от сети камер наблюдения, методами обработки изображений машинного зрения с целью обнаружения, определения местоположения или идентификации FOD или повреждения взлетно-посадочной полосы/рулежной дорожки. Может использоваться одна или несколько камер, которые могут быть подвижными и/или неподвижными с возможностью гибкого размещения в назначенной зоне наблюдения;

В одном из примеров осуществления камеры могут располагаться на большем расстоянии от взлетно-посадочной полосы или рулежной дорожки, чем в существующих системах за счет усовершенствованной обработки изображений с использованием адаптивной обработки изображений, что позволяет сократить число используемых камер и/или уменьшить "помехи" для существующей инфраструктуры и/или уменьшить преграды вблизи взлетно-посадочной полосы.

Система ОБУ может быть сконфигурирована на работу в качестве системы обнаружения засорения посторонними предметам (FOD) в нормальном режиме (в мирное время).

После оповещения об угрожающем воздушном налете система ОБУ может переходить в предупреждающий режим и переключаться на обнаружение, определение размера и классификацию повреждений аэродрома. На основании результатов обнаружение/определение размера/классификации повреждений аэродрома вычисляются МРПА и МРЗ, необходимые для безопасного взлета и посадки, избегая повреждений вследствие поражающего действия оружия на аэродроме.

Что касается блока 1407 обработки видеоизображений на фиг.14 и управляющего сервера 1409 на фиг.14, каждый блок 1407 обработки видеоизображений отвечает за обнаружение, определение размера и классификацию элементов повреждений взлетно-посадочной полосы под углом обзора одной камеры (на основании видеоизображения/изображения, поступившего от одного ЭОД) и передачу результатов обнаружения, определения размера и классификации управляющему серверу 1409 для объединение и оптимизации. Управляющий сервер 1409 способен оптимизировать видеоизображения/изображения и/или результаты обнаружения/определения размера/классификации FOD или повреждений, выведенные множеством блоков 1407 обработки видеоизображений 1407 на основании видеоизображений/изображений, полученных множеством камер. Такая оптимизация включает слияние множества входных изображений одной и той же области с целью получения более информативного изображения области, чем любое из ее входных изображений. Управляющий сервер 1409 также может обеспечивать совмещенные изображения аэродрома с выделенными областями повреждений аэродрома для отображения в модуле 1157 отображения (фиг.11) и на рабочей станции 1413 оператора (фиг.14).

Управляющий сервер 1409 также может отвечать за запуск всего процесса ОБУ в системе ОБУ, включающего различные процессы, выполняемые различными блоками 1407 обработки видеоизображений и управляющим сервером 1409. Обслуживающие процессы (выполняемые управляющим сервером 1409) принимают результаты обнаружения, определения размера и классификации FOD и/или повреждений от нескольких блоков 1407 обработки видеоизображений.

После этого обслуживающие процессы дополнительно обрабатывают и оптимизируют результаты обнаружения, определения размера и классификации, относящиеся к одному и тому же элементу FOD или повреждений (такому как воронки или UXO), обнаруженному множеством смежных ЭОД (под различными углами обзора камер) и выведенному множеством блоков 1407 обработки видеоизображений. Обслуживающие процессы способны выполнять обработку на основании определенных критериев, таких как ближайшее расстояние, сходный размер и т.д. для каждого обнаруженного элемента повреждений аэродрома. Впоследствии обслуживающие процессы могут даже заново определять размер и/или заново классифицировать обнаруженные элементы FOD или повреждений аэродрома и вычислять величину элемента повреждений с использованием углов обзора по меньшей мере двух камер (на основании видеоизображений/изображений, поступающих от двух соседних ЭОД) с целью повышения точности обнаружения, определения размера и классификации. Использование изображений, полученных от двух камер с различными углами обзора, является усовершенствованием, поскольку обслуживающий процесс способен оптимально объединять множество входных изображений одной и той же области, от двух камер с различными углами обзора, с целью обеспечения более информативных результирующих изображений области, чем любое из входных изображений, поступающих от одного ЭОД. Это также помогает решать проблему преграждения FOD или повреждений, которое может происходить при использовании одного ЭОД для наблюдения за конкретной областью аэродрома.

При работе в предупреждающем режиме обслуживающий процесс системы ОБУ запускает процессы системы наблюдения за поражающим действием оружия (WISS). Видеоизображения/изображения, одновременно поступающие от нескольких ЭОД, обрабатываются в блоках 1407 обработки видеоизображений посредством нескольких процессов. После того, как обслуживающие процессы инициируют процессы WISS, процессы WISS могут немедленно запускать процесс обнаружения поражающего действия оружия, при этом любое обнаруженное поражающее действие оружия будет немедленно инициировать уведомление управляющего сервера 1409, а местоположение поражения может наноситься на цифровую карту аэродрома на рабочей станции 1413 оператора.

По окончании воздушного налета и перехода системы ОБУ в режим "после нападения" начальник аэродрома может принять решение осуществить обнаружение, определения размера и классификации повреждений методом ОБУ и вычисление МРПА и МРЗ. Начальнику может вручную передаваться сигнал, позволяющий ему приводить в действие различные процессы ОБУ с целью запуска обнаружения, определения размера и классификации FOD и/или повреждений аэродрома методом подробной ОБУ.

После того, как процессоры, используемые в системе ОБУ, завершают обнаружение, определение размера и классификацию методом ОБУ с использованием изображений одной камеры, результаты могут быть объединены и дополнительно оптимизированы обслуживающим процессом. В случае каких-либо дублирующихся результатов обнаружения/определения размера/классификации FOD и повреждений аэродрома методом ОБУ обслуживающими процессами может быть осуществлена повторная классификация и определение размеров с более высокой точностью и достоверностью.

Окончательные результаты обнаружения, определения размера и классификации FOD и/или повреждений методом ОБУ могут передаваться прикладной программе для вычисления МРПА/МРЗ.

Система ОБУ может быть сконфигурирована на выполнение базового процесса изучения с целью получения полного набора изображений аэродрома (также известного как "базовые изображения"). Базовые изображения означают изображения аэродрома при отсутствии засорения или повреждения неизвестными посторонними предметами или при отсутствии неизвестных изменений на изображениях аэродрома, получаемых от камер в момент регистрации базовых изображений.

Система ОБУ сканирует один цикл всех секторов/подсекторов с использованием ЭОД, чтобы генерировать базовые изображения аэродрома, а затем вводит в цикл быстрого сканирования, совмещения и обнаружения. Сектором является заданная область аэродрома. Сектор дополнительно подразделяется на подсектора. Цикл быстрого сканирования, совмещения и обнаружения осуществляет сканирование аэродрома и совмещение друг с другом изображений различных подсекторов. Он также обнаруживает существенные отличия на изображении аэродрома после его сравнения с базовыми изображениями. Области со значительными отличиями выделяются, например, цветом, чтобы позволить начальнику аэродрома увеличить их масштаб на дисплее с целью начальной быстрой оценки повреждений. Соответственно, изображения, получаемые ЭОД (т.е. одной или несколькими камерами) совмещаются друг с другом, и на позднее полученных совмещенных изображениях взлетно-посадочной полосы или рулежной дорожки выделяются области различий между ранее полученными совмещенными изображениями и позднее полученными совмещенными изображениями.

На фиг.15 показано совмещенное изображение 1502 взлетно-посадочной полосы с выделенным поврежденным участком 1506. Совмещенное изображение генерируется посредством цикла быстрого сканирования, совмещения и обнаружения. На фиг.15 также показан вид 1504 в увеличенном масштабе поврежденного участка. На совмещенном изображении 1502 взлетно-посадочной полосы показано, что участок 1506 взлетно-посадочной полосы серьезно поврежден во время воздушного налета. На виде 1504 в увеличенном масштабе ясно представлены элементы повреждений на взлетно-посадочной полосе, и он может быть полезен для предварительной оценки повреждений начальником аэродрома.

Цикл быстрого сканирования, совмещения и обнаружения может быть сконфигурирован на продолжение работы в качестве бесконечного цикла для обеспечения обновленных совмещенных изображений взлетно-посадочной полосы пока, например, воздушный налет не закончится и система ОБУ не перейдет в режим "после нападения". Когда это происходит, начальник аэродрома приводит в действие систему ОБУ, чтобы начать процесс обнаружения, определения размера и классификации повреждений аэродрома методом ОБУ.

Затем система ОБУ может выполнять полный цикл обнаружения с целью определения все потенциальных элементов повреждений на аэродроме. После этого она приступает к классификации и определению размера отдельных элементов повреждений (таких как воронки или UXO). Окончательные результаты обнаружения, определения размера и классификации (выведенные из нескольких блоков 1407 обработки видеоизображений) передаются серверу для их объединения и оптимизации (т.е. согласования множества изображений и/или результатов обнаружения/определения размера/классификации с целью получения более информативных изображений).

В системе ОБУ одновременно могут использоваться два детектора на основе обработки изображений для обнаружения засорения или повреждения аэродрома посторонними предметами. Одним из детекторов может являться площадной детектор, который сравнивает полутона на полученных изображениях какой-либо области, чтобы идентифицировать участки, которые изменились, что может предполагать наличие засорения или повреждения аэродрома посторонними предметами. Тем не менее, из-за меняющихся погодных условий площадные детекторы как таковые могут являться ненадежными. Они имеют тенденцию генерировать избыточное ложное обнаружение, когда изменения освещения вызывают изменения полутонов на изображении. С другой стороны, контурный детектор, который используется для обнаружения контуров (т.е. границы или очертания) объектов на изображениях, менее чувствителен к изменениям освещения и способен обнаруживать контуры объекта даже при изменении погодных условий.

В качестве основного детектора может использоваться контурный детектор, а в качестве вспомогательного детектора - площадной детектор. В процессе работы сначала площадной детектор определяет участки на полученных изображениях, идентифицированные как местоположения возможных засорений или повреждений посторонними предметами. Затем обработанное площадным детектором выходное изображение сравнивается с обработанным контурным детектором выходным изображением, на котором выделены все обнаруженные контуры. Участки, идентифицированные на обработанном площадным детектором выходном изображении, без выраженных элементов контуров (т.е. четких очертаний) на обработанном контурным детектором выходном изображении, отбрасываются и считаются недостоверными. Идентифицированные участки с выраженными элементами контуров направляют на дальнейшую обработку, например, проиллюстрированным на фиг.11 модулем 1147 ОБУ выделения местоположения для получения данных местоположения участка с выраженными элементами контуров, который был обнаружен, и проиллюстрированным на фиг.11 модулем 1149 ОБУ определения размера с целью определения размера участка с выраженными элементами контуров на изображениях на уровне пикселов и преобразования результатов в физические размеры. Затем физические размеры могут быть классифицированы, чтобы определить, например, какого типа повреждения (воронки, каверны, обломки, UXO) или FOD в действительности находятся на идентифицированных участках изображений.

На фиг.16 показана блок-схема алгоритма обнаружения при использовании двух детекторов: площадного детектора и контурного детектора.

На шаге 1602 из одной из нескольких камер (т.е. ЭОД), сконфигурированных на получение изображений аэродрома, извлекаются изображения.

На шаге 1604 осуществляется ослабление помех, присутствующих на изображениях, извлеченных на шаге 1602.

На шаге 1606, контурный детектор осуществляет выделение контуров, чтобы обнаружить присутствие контуров всех объектов на изображении, полученном на шаге 1604.

На шаге 1608 извлекаются данные контуров или очертаний, обнаруженных на шаге 1606. До извлечения элементы контуров должны быть признаны выраженными. Может быть предварительно задан порог для сравнения с ним при определении того, что считается выраженным элементом контура.

Одновременно площадной детектор выполняет шаг 1614 с использованием полученного на шаге 1604 изображения, чтобы извлечь данные участков изображения, на которых возможно нахождение засорение или повреждение посторонними предметами.

На шаге 1610 сравниваются извлеченные на шаге 1614 данные участков и извлеченные на шаге 1608 данных контуров. В качестве результата выполнения шага 1610 сохраняются и запоминаются только участки, перекрывающиеся с контурами.

На шаге 1612 выполняется полная сегментация объектов с использованием полученных на шаге 1610 результатов. Она предусматривает анализ изображений, полученных в результате выполнения шага 1610, и классификацию обнаруженных участков, чтобы определить, к какому типу повреждения (воронки, каверны, обломки, UXO) или FOD они в действительности относятся.

Во время воздушного налета вышка с ЭОД (т.е. вышка на аэродроме, на которой установлена одна или несколько камеры) может быть искривлена, смещена или повреждена. В этом случае, когда система ОБУ начинает получать изображения секторов/подсекторов аэродрома и сравнивать их с базовыми (или эталонными) изображениями аэродрома до того, как вышка была искривлена, смещена или повреждена, может генерироваться множество нежелательных искусственных объектов вследствие несогласованности углов обзора камер из искривления, смещения или повреждения вышки. Это приводит к передаче сигналов ложной тревоги и ошибкам при обнаружении.

Для сведения к минимуму числа сигналов ложной тревоги вследствие такого смещения вышки с ЭОД в системе ОБУ предусмотрен компенсатор смещения изображения для осуществления автоматической компенсации калибровки с целью коррекции эффекта смещения вышки с ЭОД на текущих изображениях и базовых изображениях (т.е. эталонных изображениях) и получения скорректированного изображения для точного обнаружения, определения размера и классификации повреждения.

Одним из методов коррекции рассогласования ЭОД является применение хорошо заметных ориентиров из числа ближайших ориентиров или ориентиров в пределах каждого подсектор аэродрома, таких как боковые огни взлетно-посадочной полосы, рекламные щиты и конструкции вышек с ЭОД. Эти объекты регистрируются в качестве контрольных ориентиров в процессе калибровки. Когда во время обнаружения ЭОД начинает цикл обнаружения, сначала проверяются положения ориентиров в различных подсекторах со степенью достоверности, превышающей предварительно заданный пороговый уровень. Затем вычисляется соответствующее смещение. После этого начинается обнаружение повреждений аэродрома с использованием вычисленного смещения, которое применяется к каждому соответствующему изображению подсектора.

На фиг.17 проиллюстрированы ориентиры, используемые для автоматической коррекции калибровки. Для коррекции калибровки выбираются четыре ориентира 1702, 1704, 1706 и 1708 в четырех подсекторах 1710, 1712, 1714 и 1716 на участке аэродрома из девяти подсекторов.

На фиг.18 показаны два изображения 1802 и 1804. Изображение 1802 (базовое изображение) является базовым изображением третьего подсектора 1712 (фиг.17) в процессе калибровки. Область вокруг ориентира m2 1806 (которым в данном случае являются боковые огни взлетно-посадочной полосы), обозначенная прямоугольником 1808, выбирается в качестве контрольной целевой области эталонной целевой области для совмещения. На изображении 1804 (текущем изображении) показано текущее положение ориентира m2 1806 на текущем изображении, полученном камерой наблюдения за третьим подсектором 1712 (фиг.17). Прямоугольником 1810 обозначено положение ориентира m2 1806 на текущем изображении, и ясно видно, что оно смещено относительно области ориентира m2 1806, обозначенной прямоугольником 1808 на базовом изображении 1802.

Как показано на фиг.18 и 19, в системе ОБУ применяются методы целеуказания, такие как согласование с образцом или обнаружение интересующих областей или сочетание того и другого для нахождения точного положения ориентира m2 1806 на текущем изображении 1804. С целью определения местоположения скорректированной области 1908 как на базовом изображении 1802, так и текущем изображении 1804 с целью обнаружения и определения местоположения засорения или повреждения посторонними предметами может использоваться смещение по Х-координате и Y-координате (Δ_х 1904, Δ_y, 1906) (фиг.19). Область, обозначенная прямоугольником 1908 на каждом изображении 1802 и 1804, принимается за скорректированную область 1908.

Следует учесть, что может учитываться степень достоверности согласования базового изображения, например, 1802 и текущего изображения, например, 1804. Коррекция начинается только, когда степень достоверности превышает определенный порог.

За счет использования множества ориентиров (т.е. обычных объектов на текущем изображении базовом изображении) повышается робастность и надежность коррекции калибровки, поскольку местоположение одного ориентира может оказаться слишком случайным, и согласование может оказаться неточным, или может быть осуществлено согласование с неверным эталоном вследствие изменений окружающих природных условий или случайных объектов в определенные моменты времени. При согласовании множества ориентиров может обеспечиваться больше данных для верификации и лучшего представления действительного смещения между базовым изображением, например, 1802 и полученным текущим изображением, например, 1804.

Если допустить, что существуют n местоположений ориентиров, степенью достоверности согласования является C_i, при этом i=1, n.

Соответственно, смещение составляет (Δ_xi, Δ_yi), i=1, n.

Если допустить, что минимальной степенью достоверности согласования является Т_с. В таком случае действительным смещением может являться средний дрейф достоверных ориентиров, которые отвечают условию $$T_c:\left({\overline{\Delta }}_x,{\overline{\Delta }}_y\right)$$ или могут быть получены с использованием линейной регрессии.

На фиг.20 проиллюстрировано применение линейной регрессии с целью определения действительного смещения между базовым (эталонным) изображением и текущим изображением. Предполагается, что существует число n уже идентифицированных местоположений ориентиров. Согласование ориентиров осуществляется от первого ориентира от последнего ориентира. Ориентиром i является один из ориентиров от первого до последнего. Все ориентиры с высокими степенями достоверности вносятся в список, в котором смещение по осям X/Y (т.е. Х-координатам и Y-координатам) представлен в пересчете на значения пикселов. Величина Тс является заданной минимальной степенью согласования, с высокой степенью достоверности положительно подтверждающей правильное согласование, когда действительная вычисленная степень согласования превышает ее.

После согласования последнего ориентира осуществляется подбор прямой для списка, поскольку считается, что смещение на изображениях является линейным. Оценивается погрешность подбора. Если погрешность подбора является небольшой, это значит, что смещение согласуется с множеством ориентиров и тем самым может применяться в текущем изображении и базовом изображении. Если погрешность подбора является большой, смещение не может быть компенсировано. В этом примере T_f означает максимальную погрешность смещения в пикселах.

На шаге 2002 проверяется положение ориентира i, чтобы определить действительное смещение, при этом ориентиром i является один из ориентиров из числа n местоположений ориентиров.

На шаге 2004 проверяется местоположение ориентира i, чтобы определить, является ли он последним ориентиром.

Если ориентир i является последним ориентиром, на шаге 2006 осуществляется линейная регрессия, исходя из списка смещений, в котором содержатся все величины смещений, соответствующие ориентирам. Следует отметить, что каждый ориентир способен генерировать собственные заданные величины смещения после сравнения базового изображения и текущего изображения.

На шаге 2008 проверяется, превышает ли погрешность регрессии величину T_f.

Если на шаге 2008 установлено, что погрешность регрессии превышает величину T_f, на шаге 2010 осуществляется компенсация, чтобы сместить текущее изображение и получить скорректированную область. В противном случае процесс завершается.

Если на шаге 2004 установлено, что ориентир i не является последним ориентиром, на шаге 2012 осуществляется согласование базового изображения и текущего изображения относительно ориентира i. Исходя из ориентира i, также определяется величина смещения.

На шаге 2014 проверяется, превышает ли степень согласования, определенная путем согласования ориентира i на текущем изображение и на базовом изображении, пороговую величину Т_с.

Если на шаге 2014 установлено, что пороговая величина Т_с превышена, на шаге 2016 величины смещения для ориентира i включаются в список смещений. В противном случае процесс переходит к шагу 2002.

Способ и система согласно описанным примерам осуществления могут быть реализованы в компьютерной системе 900, схематически показанной на фиг.8. Они могут быть реализованы в виде программного обеспечения, такого как программа, выполняемая в компьютерной системе 900 и отдающая ей команды осуществления способа согласно примерам осуществления.

Компьютерная система 900 содержит компьютерный модуль 902, модули ввода, такие как, клавиатура 904 и мышь 906 и множество устройств вывода, таких как, дисплей 908 и принтер 910.

Компьютерный модуль 902 соединен с компьютерной сетью 912 посредством соответствующего приемопередатчика 914 для обеспечения доступа, например, к сетевым системам, таким как локальная вычислительная сеть (ЛВС) или глобальная вычислительная сеть (ГВС).

В одном из примеров осуществления компьютерный модуль 902 содержит процессор 918, оперативное запоминающее устройство (ОЗУ) 920 и постоянное запоминающее устройство (ПЗУ) 922. Компьютерный модуль 902 15 также содержит несколько интерфейсов ввода-вывода, например, интерфейс 924 ввода-вывода данных на дисплей 908 и интерфейс 926 ввода-вывода данных на клавиатуру 904.

Компоненты компьютерного модуля 902 обычно поддерживают связь посредством соединительной шины 928 способом, известным специалистам в данной области техники.

Прикладная программа, как правило, поставляется пользователю компьютерной системы 900 в закодированном виде на носителе данных, таком как ПЗУ на компакт-диске или карта флэш-памяти, и считывается с помощью соответствующего дисковода запоминающего устройства 930. Считывание прикладной программы и управление ее выполнением осуществляется процессором 918. Может осуществляться промежуточное хранение программных данных с помощью ОЗУ 920.

Следует учесть, что содержащиеся в описании упоминания аэродрома касаются всех областей на аэродроме, включая взлетно-посадочную полосу и/или рулежную дорожку и/или подъездные пути и/или внутреннюю часть/травянистые части и/или бетонированную площадку и/или покрытие. Следует учесть, что любое упоминание наблюдения за засорением посторонними предметами или за повреждением какого-либо типа и наблюдения за поражающим действием оружия на взлетно-посадочной полосе или рулежной дорожке или взлетно-посадочной полосе/рулежной дорожке также относится к другим областям аэродрома, таким как подъездные пути и/или внутренняя часть/травянистые части и/или бетонированная площадка и/или покрытие.

Следует учесть, что содержащиеся в описании упоминания повреждений включает воронки, UXO, обломки, каверны.

Изобретение не ограничено описанными вариантами осуществления. Тем не менее, специалисты в данной области техники согласятся с тем, что, исходя из приведенных в описании сведений, изобретение может быть осуществлено путем его модификации, не выходящей за пределы объема изобретения.

Изобретение относится к системе наблюдения и способу обнаружения засорения или повреждения аэродрома посторонними предметами. Система содержит одну или несколько камер для получения изображений аэродрома. Блок обработки на основании изображений, полученных одной или несколькими камерами, обнаруживает засорение или повреждение аэродрома посторонними предметами. Систему наблюдения определяет поражающее действие оружия на аэродроме и наводит одну или несколько камер с целью получения изображений в области обнаруженного поражающего действия оружия. Технический результат - повышение эффективности и безопасности обнаружения засорения или повреждения аэродрома посторонними предметами. 2 н. и 52 з.п. ф-лы, 23 ил.

1. Система наблюдения для обнаружения засорения или повреждения аэродрома посторонними предметами, содержащая:
одну или несколько камер для получения изображений аэродрома,
блок обработки для обнаружения засорения или повреждения аэродрома посторонними предметами на основании изображений, полученных одной или несколькими камерами, и
систему наблюдения за поражающим действием оружия с целью определения поражающего действия оружия на аэродроме и наведения одной или нескольких камер для получения изображений в области обнаруженного поражающего действия оружия.

2. Система наблюдения по п.1, в которой одна или несколько камер представляют собой сочетание неподвижных и подвижных камер.

3. Система наблюдения по п.1 или 2, в которой одна или несколько камер увеличивают масштаб или фокусируются на области обнаруженного поражающего действия оружия для получения подробных изображений с целью определения типа повреждения.

4. Система наблюдения по п.1 или 2, в которой поражающее действие оружия обнаруживается на основании изображения взрыва, дыма, пыли или вспышки в результате поражающего действия оружия.

5. Система наблюдения по п.1 или 2, содержащая вычислительный модуль для определения минимальной рабочей зоны (МРЗ) для посадки самолета исходя из местоположения засорения или повреждения посторонними предметами, обнаруженного на аэродроме.

6. Система наблюдения по п.1 или 2, в которой блок обработки обнаруживает трещины, воронки, каверны, обломки, UXO или животное на аэродроме.

7. Система наблюдения по п.6, в которой блок обработки определяет размер воронок, каверн или обломков путем определения степени засорения вокруг воронок, каверн или обломков, соответственно.

8. Система наблюдения по п.1 или 2, в которой одна или несколько камер оснащены широкоугольным объективом для получения широкоугольных изображений аэродрома.

9. Система наблюдения по п.1 или 2, в которой одна или несколько камер установлены на летательном аппарате, выполняющем полеты над аэродромом для получения изображений аэродрома.

10. Система наблюдения по п.1 или 2, содержащая один или несколько инфракрасных осветительных приборов для обеспечения искусственного освещения в условиях плохой видимости или слабого общего освещения.

11. Система наблюдения по п.1 или 2, в которой блок обработки сконфигурирован на определение размера или физических свойств засорения или повреждения посторонними предметами.

12. Система наблюдения по п.1 или 2, в которой повреждения, обнаруженные на аэродроме, наносятся на карту аэродрома.

13. Система наблюдения по п.1 или 2, содержащая
площадной детектор для обнаружения области на полученных изображениях, которая может являться засорением или повреждением посторонними предметами, и
контурный детектор для обнаружения контуров всех предметов на полученных изображениях,
при этом на изображениях сохраняется обнаруженная площадным детектором область, которая перекрывается с обнаруженными контурным детектором контурами на изображениях.

14. Система наблюдения по п.1 или 2, в которой изображения, получаемые одной или несколькими камерами, совмещаются друг с другом, и на позднее полученных совмещенных изображениях выделяются области различий между ранее полученными совмещенными изображениями и позднее полученными совмещенными изображениями.

15. Система наблюдения по п.1 или 2, в которой система наблюдения за поражающим действием оружия сконфигурирована на приведение в действие визуального или звукового сигнала тревоги после обнаружения поражающего действия оружия.

16. Система наблюдения по п.1 или 2, содержащая модуль оценки и планирования ремонтных работ для оценки и планирования ремонтных работ исходя из местоположения поражающего действия оружия или информации о повреждениях аэродрома.

17. Система наблюдения по п.1 или 2, в которой одна или несколько камер установлены на противоположных сторонах взлетно-посадочной полосы и их поля обзора перекрывают друг друга.

18. Система наблюдения по п.1 или 2, в которой поля обзора одной или нескольких камер перекрывают друг друга для обеспечения дублирования зоны обзора.

19. Система наблюдения по п.1 или 2, содержащая одно или несколько мобильных карманных устройств для приема дистанционного сигнала тревоги и наиболее важной информации для устранения повреждений или удаления посторонних предметов на аэродроме.

20. Система наблюдения по п.1 или 2, содержащая компенсатор смещения изображения для коррекции смещения между текущим полученным изображением и снятым камерой эталонным изображением исходя из положения обычного объекта, находящегося на текущем полученном изображении и на эталонном изображении.

21. Система наблюдения по п.20, в которой в компенсаторе смещения используется несколько обычных объектов на текущем полученном изображении и на эталонном изображении с целью определения подлежащего корректировке смещения между текущим полученным изображением и эталонным изображением.

22. Система наблюдения по п.21, в которой с целью определения подлежащего корректировке смещения между текущим полученным изображением и эталонным изображением может использоваться линейная регрессия, при этом величина смещения, вычисленная исходя из положения обычного объекта на текущем полученном изображении и на эталонном изображении, принимается за линейную регрессию, если степень согласования обычного объекта на текущем полученном изображении и на эталонном изображении превышает заданную пороговую величину.

23. Система наблюдения по п.1 или 2, дополнительно содержащая вычислительный модуль для определения минимальной рабочей поверхности аэродрома (МРПА) для летательного аппарата исходя из местоположения засорения или повреждения посторонними предметами, обнаруженного на аэродроме.

24. Система наблюдения по п.1 или 2, содержащая один или несколько действующих в видимом спектре осветительных приборов для обеспечения искусственного освещения в условиях плохой видимости или слабого общего освещения.

25. Система наблюдения по п.1 или 2, в которой поражающее действие оружия обнаруживается на основании звука поражающего действия оружия.

26. Система наблюдения по п.1 или 2, в которой блок обработки обнаруживает засорения или повреждения аэродрома посторонними предметами на основании адаптивной обработки изображений изображения, полученных камерами, а система наблюдения приспособлена для обнаружения засорения или повреждения посторонними предметами в условиях как дневного, так и ночного общего освещения без вспомогательного освещения, такого как инфракрасные или лазерные осветительные приборы.

27. Система наблюдения по п.1 или 2, в которой блок обработки применяет методы повышения качества полученных изображений.

28. Система наблюдения по п.27, в которой повышения качества полученных изображений включают высокочастотный фильтр, прямой и обратный оператор Собеля или оператор Шара.

29. Система наблюдения по п.27, в которой блок обработки определяет, является ли момент обработки дневным временем или ночным временем, и обнаруживает присутствие на полученных в ночное время изображениях ненормальных условий освещения, таких как при посадке, взлете самолета или во время движения наземного транспортного средства в ночное время.

30. Система наблюдения по п.29, в которой для обнаружения присутствия ненормальных условий освещения используется общая гистограмма и статистический анализ для сравнения каждого изображения с одним или несколькими предшествующими изображениями, определяется присутствие ненормальных условий освещения на основании изменений силы света относительно порогового значения.

31. Система наблюдения по п.29, в которой изображения, на которых обнаружено присутствие ненормальных условий освещения, исключаются из дальнейшей обработки.

32. Система наблюдения по п.27, в которой блок обработки адаптивно оценивает одно или несколько пороговых значений для оптимального выделения контуров засорения или повреждения посторонними предметами при различных условиях окружающей среды и создает карту контуров на уровне пикселов с использованием статистического метода, основанного на карте контуров постепенно изучаемого изображения фона, для формирования справочной таблицы шкалы серых тонов (LUT), используемой для создания карты пороговых уровней значений пикселов.

33. Система наблюдения по п.32, в которой блок обработки дополнительно применяет временную фильтрацию к набору карт контуров на уровне пикселов с целью сохранения только карты четких контуров, содержащей только скопления пикселов со значениями, превышающими пороговое значение.

34. Система наблюдения по п.33, в которой блок обработки дополнительно осуществляет изучение адаптивного фона карты четких контуров, включающее:
сравнение изображений контуров фона, полученных в предыдущие моменты, с изображением,
идентификацию медленно изменяющихся элементов на аэродроме и
обновление изображения контуров фона с медленно изменяющимися элементами.

35. Система наблюдения по п.34, в которой блок обработки дополнительно создает сводную карту контуров фона, содержащую карту адаптивных контуров фона, ранее изученную и сохраненную карту контуров фона в дневное или ночное время и карту сезонной разметки, которая создается для конкретного времени года или погодных условий.

36. Система наблюдения по п.35, в которой блок обработки дополнительно сравнивает сводную карту контуров фона и карту четких контуров и удаляет контуры фона, чтобы выделить карту предполагаемых контуров засорения или повреждения посторонними предметами.

37. Система наблюдения по п.36, в которой блок обработки дополнительно осуществляет фильтрацию контуров, чтобы отфильтровать на карте предполагаемых контуров нежелательные контуры, имеющие отношение к изменениям условий окружающей среды, и вычисляет параметры контуров засорения или повреждения посторонними предметами на основании карты предполагаемых контуров.

38. Система наблюдения по п.37, в которой условия окружающей среды включают переход от дня к ночи или от ночи ко дню, погодные условия, дождь, дым, облака и т.п.

39. Система наблюдения по п.1 или 2, в которой обработка изображений, выполняемая блоком обработки, включает наложение изображения засорения или повреждения посторонними предметами на предполагаемую область аэродрома на видеодисплее, чтобы уведомить оператора на диспетчерской вышке в диспетчерском пункте об обнаружении засорения или повреждения посторонними предметами.

40. Система наблюдения по п.1 или 2, в которой блок обработки дополнительно классифицирует засорения или повреждения посторонними предметами.

41. Система наблюдения по п.1, в которой одна или несколько камер размещены с одной стороны взлетно-посадочной полосы аэродрома.

42. Система наблюдения по п.1 или 2, в которой при отказе одной или нескольких камер соответствующие соседние камеры способны охватывать зону обзора отказавшей камеры.

43. Система наблюдения по п.1 или 2, в которой одна или несколько камер представляют собой одну или несколько черно-белых камер, одну или несколько цветных камер или то и другое.

44. Система наблюдения по п.1 или 2, дополнительно содержащая одну или несколько камер ночного видения.

45. Система наблюдения по п.1 или 2, в которой поверхность взлетно-посадочной полосы на аэродроме поделена на множество сегментов, и одна или несколько подвижных камер сегмент за сегментом последовательно сканируют взлетно-посадочную полосу с целью обнаружения засорения или повреждения посторонними предметами.

46. Система наблюдения по п.1 или 2, в которой неподвижная камера обнаруживает соответствующие местоположения взлета и посадки на взлетно-посадочной полосе, а подвижная камера используется, чтобы сканировать сначала сегменты взлетно-посадочной полосы в соответствующих местоположениях взлета и посадки для сокращения времени обнаружения засорения или повреждения посторонними предметами.

47. Система наблюдения по п.1 или 2, в которой блок обработки применяет временную фильтрацию, чтобы отфильтровать мешающие отражения от дождя на изображениях взлетно-посадочной полосы путем распознавания характерных для дождя признаков мешающих отражений от движения и на основании мешающих отражений от движения вследствие дождя, наблюдаемых на протяжении всей взлетно-посадочной полосы.

48. Система наблюдения по п.1 или 2, в которой блок обработки применяет временную фильтрацию, чтобы отфильтровать мешающие отражения от снегопада на изображениях взлетно-посадочной полосы путем распознавания характерных для снегопада признаков мешающих отражений от движения и на основании мешающих отражений от движения вследствие снегопада, наблюдаемых на протяжении всей взлетно-посадочной полосы.

49. Система наблюдения по п.1 или 2, в которой блок обработки использует ориентиры или боковые огни взлетно-посадочной полосы, установленные вдоль взлетно-посадочной полосы на одинаковом расстоянии от взлетно-посадочной полосы, для калибровки изображения взлетно-посадочной полосы и отображения пикселов изображений взлетно-посадочной полосы в виде точных координат на реальной сетке координат.

50. Система наблюдения по п.1 или 2, в которой блок обработки использует две параллельные горизонтальные линии с каждой стороны от осевой линии взлетно-посадочной полосы и осевую линию взлетно-посадочной полосы, чтобы вывести коэффициента отображения пикселов по вертикали для калибровки изображения взлетно-посадочной полосы и отображения пикселов изображений взлетно-посадочной полосы в виде точных координат на реальной сетке координат.

51. Система наблюдения по п.1 или 2, в которой блок обработки использует моноскопическую СТЗ и калиброванное изображение взлетно-посадочной полосы, полученное моноскопической камерой, для определения положения и расстояния до засорения или повреждения посторонними предметами на взлетно-посадочной полосе на аэродроме.

52. Система наблюдения по п.1 или 2, в которой положение и расстояние до засорения или повреждения посторонними предметами, определенное неподвижной камерой, и калиброванное изображение взлетно-посадочной полосы используется для автоматического управления подвижной камерой с функциями поворота, наклона, масштабирования или фокусировки на засорение или повреждение посторонними предметами и получения изображения засорения или повреждения посторонними предметами с подробностями, позволяющими проверять точность обнаружения засорения или повреждения посторонними предметами или отфильтровывать сигнал ложной тревоги.

53. Система наблюдения по п.1 или 2, в которой для контроля одного и того же сегмента взлетно-посадочной полосы на аэродроме используется стереоскопическая СТЗ, содержащая пару камер наблюдения, а положение и расстояние до засорения или повреждения посторонними предметами может вычисляться на основании различий между полученными изображениями путем сравнения изображений пары камер наблюдения с перекрывающимися полями обзора.

54. Способ обнаружения засорения или повреждения аэродрома посторонними предметами, включающий:
получение изображений аэродрома,
обнаружение засорения или повреждения аэродрома посторонними предметами на основании полученных изображений,
обнаружение поражающего действия оружия на аэродроме и
наведение одной или нескольких камер с целью получения изображений в области обнаруженного поражающего действия оружия.