СПОСОБ НАБЛЮДЕНИЯ ЗА ВЗЛЕТНО-ПОСАДОЧНОЙ ПОЛОСОЙ И СИСТЕМА ДЛЯ РЕАЛИЗАЦИИ СПОСОБА Российский патент 2014 года по МПК G06T7/00 G08B21/00 

Область техники, к которой относится изобретение

Настоящее изобретение в целом относится к системам и методам наблюдения за взлетно-посадочной полосой (ВПП).

Уровень техники

Наблюдение за ВПП имеет большое значение для работы аэропорта. На ВПП постоянно возникают повреждения (например, выбоины), появляющиеся в результате износа, вызванного работой самолетов и других транспортных средств на полосе. Время от времени на ВПП могут появляться продукты износа или посторонние предметы от струи реактивного двигателя, в результате взлета/посадки самолета, по естественным причинам и т.д. На действующей полосе, где происходит движение самолетов, наличие повреждений от посторонних предметов может привести к аварии самолета и последующему уменьшению его срока службы, что, в свою очередь, может принести значительный ущерб авиакомпаниям.

Для ведения наблюдения за ВПП используются различные методы. Обычно проверяющий регулярно обходит полосы аэропорта и проводит обследование визуально и вручную. Визуальный осмотр - это долгий и трудоемкий процесс. Более того, он ненадежен, поскольку он зависит от условий среды, окружающей ВПП.

В некоторых аэропортах используются автоматизированные системы, применяющие радиолокатор для обнаружения повреждений, обломков и других опасностей на полосе аэропорта и прилегающих к ней территориях. В системах с использованием радиолокатора микроволновый сигнал, как правило, распространяется над ВПП, а сигналы, отраженные от любых посторонних предметов, принимаются и анализируются. Поскольку микроволновые сигналы являются импульсными или структурированными, то можно рассчитать время, необходимое сигналу для достижения приемника, а из него получить расстояние до постороннего предмета.

За счет применения радиолокационных датчиков с более короткой длиной волны и более высокой частотой следования импульсов можно добиться лучшего разрешения в диапазоне, что, в свою очередь, уменьшает фоновые помехи.

Как бы то ни было, система, включающая в себя любой радиолокатор для наблюдения за ВПП, имеет свои ограничения. Радиолокатор является прекрасным средством обнаружения металлических предметов, но его чувствительность при поиске неметаллических объектов, например резины, является более низкой. Предметы, изготовленные из материалов с невысокой эффективной отражающей способностью (например, резина), могут создать для таких радиолокационных систем значительные затруднения. Кроме того, радиолокатор недостаточно надежен при поиске небольших неметаллических предметов. Дополнительными недостатками являются мертвые или слепые зоны радиолокатора, вызванные затенением от других предметов или объектов инфраструктуры. Помимо этого радиолокатор может подавать ложные сигналы тревоги, посылая высокий сигнал в ответ на сигналы, отраженные даже от небольших металлических объектов, которые могут быть не столь опасны. Таким образом, системам наблюдения на основе радиолокатора не хватает "интеллекта". Им недостает способности обеспечивать визуальное изображение предмета для проверки оператором и определения его характеристик.

В некоторых аэропортах применяются инфракрасные или тепловизионные системы обнаружения объектов, трещин, пустот и т.п. на ВПП. Однако инфракрасные или тепловизионные системы чувствительны только к инфракрасному излучению, исходящему от предметов и нарушающему тепловой баланс окружающей среды. Это значит, что инфракрасная или тепловизионная система может обнаружить только те объекты, которые имеют достаточный тепловой контраст (например, теплый металлический обломок на холодной полосе). Небольшие предметы с незначительным тепловым контрастом могут представлять значительные затруднения для инфракрасной/тепловизионной системы при обнаружении. Более того, невозможно предсказать эксплуатационные характеристики систем в неблагоприятных погодных условиях (например, в условиях холодной погоды). Помимо этого, инфракрасные/тепловизионные системы обладают недостаточным разрешением для обнаружения, определения характеристик и классификации объектов.

В последнее время было предложено использовать для наблюдения одну или несколько видеокамер, расположенных рядом с ВПП. Видеосигналы, полученные от камер, визуально контролируются оператором на пульте в диспетчерском пункте аэропорта.

Было также предложено в процессе поиска любых повреждений от посторонних предметов опираться на результаты обработки видеоизображений полосы, полученных с камер наблюдения (например, при удалении фона).

Обнаружение повреждений от посторонних предметов посредством удаления фона создает множество трудностей. Во-первых, уровень разрешения не всегда позволяет правильно различить элементы фона и переднего плана. Кроме того, под влиянием помех, мешающих отраженных сигналов, внешних воздействий, изменений условий освещенности и погоды на заднем плане могут возникать изменения.

К тому же используемые в настоящее время системы обработки изображений зависят от наружной освещенности. Они не подходят для работы в условиях недостаточной освещенности, поскольку это создает значительные трудности при определении характеристик разрешения.

Видеокамеры в существующих системах наблюдения требуют дополнительного принудительного освещения для наблюдения в ночное время, например луча лазера или инфракрасного освещения. Для достижения этой цели в аэропорту, где применяется подобная система, необходимо создание сложной инфраструктуры, что увеличивает его издержки. Наличие видимого света (луча лазера или инфракрасного света) может также создавать помехи другим системам аэропорта. Это может привести к снижению уровня безопасности при перемещении самолетов в аэропорту, создать угрозу для летчиков и т.д.

Следовательно, существует необходимость обеспечить такое наблюдение за ВПП, которое бы позволило решить одну или несколько из вышеупомянутых проблем.

Краткое изложение сущности изобретения

Согласно первому аспекту данного изобретения, предусматривается система наблюдения с целью обнаружения посторонних предметов, продуктов износа или повреждений на ВПП. Она включает в себя одну или несколько камер для получения изображений ВПП, а также систему адаптивной обработки изображений с камер с целью обнаружения повреждений от посторонних предметов на ВПП. Данная система наблюдения пригодна в зависимости от условий для обнаружения повреждений от посторонних предметов в условиях естественной освещенности как в дневное, так и в ночное время без использования дополнительного освещения, например от инфракрасных или лазерных световых приборов.

Система обработки изображений может задействовать методы улучшения качества изображений для повышения их четкости.

Средства для улучшения качества полученных изображений могут состоять из высокочастотного фильтра, прямого и обратного фильтра Собела (Sobel) или фильтра Шарра (Scharr).

Система обработки изображений может определить, относится ли обрабатываемый момент к дневному или ночному времени суток. На изображениях, снятых в ночное время, она может обнаружить нетипичные условия освещенности, например, возникающие при посадке или взлете самолета, движении наземного транспортного средства.

Поиск нетипичных условий освещенности может включать общую гистограмму и статистический анализ для сравнения каждого изображения с одним или несколькими предыдущими. Нетипичные условия освещенности определяются исходя из изменения интенсивности относительно порогового значения.

Изображения, на которых обнаружены нетипичные условия освещенности, могут не учитываться при дальнейшей обработке.

Система обработки изображений может в соответствии с условиями оценивать одно или несколько пороговых значений с целью оптимального определения контуров повреждения от постороннего предмета в различных условиях окружающей среды. Она также может создавать карту уровней разрешения на контуре с помощью статистического метода на базе карты контуров постепенно сканируемого фонового изображения. Это позволяет разработать таблицу преобразования шкалы серых тонов, которую следует использовать при создании карты пороговых значений уровней разрешения.

В дальнейшем система обработки изображений может применить к нескольким картам уровней разрешения на контуре временную фильтрацию, чтобы сохранить только карту четких контуров, состоящую только из пикселей, которые сгруппированы для преодоления порогового значения.

Далее система обработки изображений может провести исследование адаптивного фона карты четких контуров. При этом сравниваются изображения контуров фона, полученные в предыдущий и текущий моменты времени, определяются медленно изменяющиеся элементы на ВПП, и уточняются изображения контуров фона с учетом медленно изменяющихся элементов.

После этого система обработки изображений может создать сводную карту контуров фона, включающую карту контуров адаптивного фона, ранее изученную и сохраненную карту контуров фона в дневное или ночное время и карту сезонной маркировки для определенного времени года или погодных условий.

В дальнейшем система обработки изображений может провести сравнение сводной карты контуров фона и карты четких контуров и удалить контуры фона, чтобы получить карту предполагаемых контуров повреждения от постороннего предмета.

Впоследствии система обработки изображений может отфильтровать с карты предполагаемых контуров нежелательные контуры, появление которых связано с изменениями условий окружающей среды, а также рассчитать параметры контуров повреждений от постороннего предмета, исходя из карты предполагаемых контуров,

Условия окружающей среды могут включать в себя переход от дневного времени суток к ночному или наоборот, погодные условия, дождь, задымление, облачность и т.п.

В процессе дальнейшей обработки изображения можно наложить графические данные повреждения от постороннего предмета на предполагаемый участок ВПП на дисплее, чтобы предупредить оператора на диспетчерской вышке или в диспетчерском пункте об обнаружении повреждения от постороннего предмета.

Для визуального подтверждения информации можно использовать одну или несколько штатных, или же одну или несколько дополнительных камер, которые дадут увеличенное изображение предполагаемого участка.

После этого система обработки изображений сможет классифицировать повреждение от постороннего предмета.

Одна или несколько камер могут представлять собой одну или несколько неподвижных камер, одну или несколько подвижных камер или же и то, и другое.

Допускается размещать камеры с одной стороны от ВПП.

Можно расположить камеры и с обеих сторон от ВПП в шахматном порядке.

Если одна или более камер выходят из строя, соответствующие смежные камеры можно использовать для охвата тех зон, которые контролировали неисправные камеры.

Одна или несколько камер могут представлять собой одну или несколько черно-белых камер, одну или несколько цветных камер или же и то, и другое.

Более того, в систему наблюдения может входить одна или несколько камер ночного видения.

Поверхность ВПП можно разделить на несколько участков. Для обнаружения повреждений от посторонних предметов одна или несколько подвижных камер будут последовательно осматривать ВПП участок за участком.

Неподвижная камера может регистрировать соответствующие места взлета и посадки самолета на полосе, таким образом, подвижная камера, в первую очередь, направляется для контроля участков ВПП в этих местах, что позволяет уменьшить время обнаружения повреждений от посторонних предметов.

Система обработки изображений может использовать временную фильтрацию для удаления с изображений ВПП помех от дождевых капель. Это делается за счет распознавания характеристик, присущих помехам, отраженным от движения дождевых капель, а также с учетом помех от дождя, идущего по всей полосе.

Система обработки изображений может использовать временную фильтрацию для удаления с изображений ВПП помех от снега. Это делается за счет распознавания характеристик, присущих помехам от снега, а также с учетом помех, отраженных от снега, идущего по всей полосе.

Система обработки изображений может задействовать маркерные радиомаяки или боковые огни ВПП, расположенные вдоль полосы (по горизонтали) на одинаковой высоте от ее края. Они используются для калибровки объекта съемки на ВПП с целью расположить пиксели на ее изображениях в точных координатах реальной системы координат (например, WGS84 - Мировая геодезическая система или координатная сетка аэропорта).

Система обработки изображений может использовать две параллельные горизонтальные линии по обеим сторонам от средней линии ВПП, а также саму среднюю линию для получения двух соотношений отображения пикселей по вертикали. Они применяются для калибровки объекта съемки на ВПП с целью расположения пикселей на изображениях в точных координатах реальной системы координат (например, WGS84 или координатной сетке аэропорта).

Система обработки изображений может воспользоваться монокулярной системой технического зрения (СТЗ) и откалиброванным изображением объекта съемки на ВПП, полученным от монокулярной камеры, для определения положения и расстояния до повреждения от постороннего предмета на полосе.

Система использует положение и расстояние до повреждения от постороннего предмета, определенные неподвижной камерой, а также согласно данным откалиброванного изображения объекта съемки на ВПП для автоматического управления подвижной камерой (например, камера с функциями «панорама/наклон/наезд») с целью выполнить панорамное, наклонное и/или увеличенное изображение и/или сфокусироваться на повреждении от постороннего предмета. Это позволяет получить с телеобъектива достаточно подробные изображения повреждения от постороннего предмета, чтобы проверить обнаруженные повреждения от постороннего предмета или отфильтровать ложный сигнал тревоги.

Система может использовать стереоскопическую СТЗ, включающую пару камер наблюдения для покрытия одного и того же участка ВПП. Это позволяет рассчитать положение повреждения и расстояние от постороннего предмета до повреждения исходя из дифференциального изображения, полученного при сравнении двух изображений, снятых двумя камерами в одной зоне наблюдения (зоне обзора) на полосе.

Согласно второму аспекту данного изобретения оно предоставляет собой метод наблюдения с целью обнаружения посторонних предметов, продуктов износа или повреждений на ВПП. Данный метод включает в себя получение изображений ВПП; проведение адаптивной обработки изображений, снятых для обнаружения повреждений от посторонних предметов на полосе. Данный метод пригоден в зависимости от условий для обнаружения повреждений от посторонних предметов в условиях естественной освещенности как в дневное, так и в ночное время без использования дополнительного освещения, например, от инфракрасных или лазерных световых приборов.

Краткое описание чертежей

Далее настоящее изобретение описывается с помощью способов его осуществления, не ограничивающих объем запатентованного изобретения со ссылками на приложенные чертежи, где:

Фигуры 1А и 1В - схематические чертежи расположения камер в системе наблюдения для обнаружения посторонних предметов, продуктов износа или повреждений на ВПП;

Фигура 2 - основная блок-схема поиска повреждений от посторонних предметов согласно одному из способов осуществления;

Фигуры 3А и 3В - подробные блок-схемы для одного из способов осуществления данного изобретения;

Фигура 4 - диаграмма с таблицей преобразования, используемой для выделения карты контуров на Фигуре 3А;

Фигура 5 - схематический чертеж, демонстрирующий резервные зоны наблюдения камер в системе наблюдения для обнаружения повреждений от посторонних предметов на ВПП;

Фигура 6 - схематический чертеж осмотра поверхности ВПП согласно альтернативному способу осуществления изобретения; и

Фигура 7 - схематический чертеж линий ВПП согласно способу осуществления, в котором данные линии используются для калибровки изображений (перевода пикселей в реальные координаты);

Фигура 8 - схематические чертежи компьютерной системы для внедрения методов и системы согласно способу осуществления, приведенному в качестве примера.

Подробное описание предпочтительного способа осуществления

Фигура 1А - это схематический чертеж расположения камер в системе наблюдения за ВПП 100 для обнаружения посторонних предметов, продуктов износа или повреждений на ВПП 106 согласно способу осуществления изобретения, представленному в качестве примера. ВПП 106 расположена по центру рядом с рулежными дорожками 103, 104 и участками газона 102. Большая часть камер наблюдения 108, обращенных к ВПП, размещены вдоль одного края рулежной дорожки 104. Таким образом, ось каждой камеры наблюдения 108 перпендикулярна продольному направлению ВПП 10. Каждая из камер наблюдения 108 работает в зоне обзора 110 с горизонтальным углом обзора 111. Все зоны обзора 110 включают в себя участки рулежных дорожек 103, 104, ВПП 106 и газона 102. В каждой из зон обзора 110 также имеется участок пересечения зон обзора 112 со смежной камерой 108, расположенной вдоль ВПП 106.

Камеры наблюдения 108 расположены на расстоянии 200~300 м от полосы и создают примерно 15% перекрытие зон обзора смежных камер.

Видеоинформация со всех камер 108 передается на прикладную компьютерную систему (не показана) на диспетчерской вышке или в диспетчерском пункте аэропорта 135. Полученная видеоинформация обрабатывается блоком обработки видеоданных прикладной компьютерной системы. Данная система непрерывно обрабатывает видеоизображение с камер наблюдения для поиска повреждений от посторонних предметов и предупреждения оператора в случае их обнаружения. Оператор на диспетчерской вышке или в диспетчерском пункте 135 будет иметь возможность визуального контроля изображения ВПП на дисплее (не показан) в режиме реального времени. Если в процессе обработки видеоданных прикладной компьютерной системой обнаруживается какой-либо посторонний предмет, продукты износа или повреждение, предупреждение об этом передается оператору (визуальный и/или звуковой сигнал и/или дистанционное беспроводное оповещение о тревоге по средствам мобильной связи, например GSM SMS или MMS). При получении аварийного сигнала и/или дистанционного радиооповещения о тревоге, оператор направляет камеру наблюдения 108 и увеличивает изображение обнаруженного объекта для визуальной проверки повреждения от постороннего предмета. Если обнаружение повреждения от постороннего предмета подтверждается, на диспетчерскую вышку или в диспетчерский пункт 135 подается сигнал тревоги (звуковой и/или визуальный). При обнаружении повреждения от постороннего предмета также запускается дистанционный сигнал тревоги (звуковой и/или визуальный), расположенный рядом с ВПП 106. Помимо этого включается беспроводное оповещение о тревоге (например, GSM SMS или MMS) для извещения аварийно-ремонтной бригады ВПП. Таким образом, аварийно-ремонтная бригада ВПП немедленно посылает аварийный автомобиль для устранения обнаруженного повреждения от постороннего предмета, т.е. удаления постороннего предмета, продуктов износа или ремонта повреждения.

Используемые камеры наблюдения являются пассивными и не оборудованы световыми приборами (например, лазерными или инфракрасными светильниками). Любая из камер наблюдения 108 может быть следующего типа:

камера дневного/ночного видения высокого разрешения, высокочувствительная цветная камера, работающая в условиях низкой освещенности, камера с усиленной матрицей прибора с зарядной связью (ICCD камера), камера с ПЗС-матрицей и электронным умножителем (EM-CCD камера), камера ночного видения, неподвижная камера, мегапиксельная камера высокого разрешения, подвижная камера (например, панорамная камера, камера типа «панорама/наклон/наезд» (PTZ-камера) или увеличивающая камера) или тепловизор. Таким образом, система наблюдения может работать с использованием только пассивных камер и не требует установки дополнительного принудительного освещения (например, инфракрасных или лазерных световых приборов).

Камеры наблюдения 108 в системе 100 способны создавать видеоизображения ВПП, подходящие для обработки. Для этого однако также допускается использовать цифровые фотоаппараты, дающие цифровые фотоснимки полосы.

Например, приближающую камеру или PTZ-камеру можно задействовать для детализации изображения любой зоны ВПП, чтобы получить развернутое изображение повреждения от постороннего предмета. Поскольку увеличенные видеоизображения более детально описывают интересующую зону ВПП, оператор может лучше оценить потенциальную опасность, вызванную обнаруженным повреждением от постороннего предмета. Это позволяет ему немедленно предпринять надлежащие действия. В случае осуществления изобретения способом, представленным в качестве примера, прикладная компьютерная система при обнаружении ею повреждения от постороннего предмета может дистанционно подавать команды на PTZ-камеру или приближающую камеру, чтобы получить увеличенное изображение интересующей зоны ВПП.

Фигура 1В - схематический чертеж альтернативного размещения камер наблюдения в системе наблюдения за ВПП (500) для обнаружения на полосе 106 повреждения от постороннего предмета. Несколько камер 508 расположены вдоль края рулежной дорожки 104 и направлены на ВПП. Еще несколько камер 509 размещены вдоль дальнего конца рулежной дорожки 103 и также направлены на ВПП. Ось каждой камеры наблюдения 508, 509 перпендикулярна продольному направлению полосы 106. Все камеры наблюдения 508 имеют зону обзора 510 с горизонтальным углом обзора 511. Каждая из камер наблюдения 509 работает в зоне обзора 515 с горизонтальным углом обзора 521. Зоны обзора 510, 515 включают в себя участки рулежных дорожек 103, 104, ВПП 106 и газона 102. Камеры 508, 509 расположены с чередованием так, чтобы зоны обзора 510 и 515 смежных камер сменяли друг друга и имели четкую границу или немного перекрывали друг друга.

Некоторые части приведенного ниже описания явно или косвенно представлены через алгоритмы и функциональные или символические обозначения операций с данными, происходящих в памяти компьютера. Такие алгоритмические описания и функциональные или символические обозначения являются теми средствами, которые специалисты по обработке информации используют для наиболее эффективной передачи сути своей работы другим специалистам в этой области. В данной ситуации и в общем случае алгоритм представляет собой согласованную последовательность этапов, приводящих к желаемому результату. Этапы - это необходимые физические действия с физическими величинами, например электрическими, магнитными или оптическими сигналами, которые можно сохранить, передать, объединить, сравнить и провести с ними другие действия.

Если иное не оговорено особо, и как явно следует из нижеприведенного, по достоинству будет оценен тот факт, что посредством данного описания пояснения с использованием таких терминов, как "расчет", "определение", "замена", "выработка", "запуск", "производство" или сходные будут относиться и к действиям и процессам компьютерной системы или аналогичного электронного устройства. Такие устройства работают с данными, представленными в виде физических величин внутри компьютерной системы, и преобразуют их в другие данные, также представленные как физические величины в компьютерной системе или других устройствах хранения, передачи и отображения информации.

В данном описании также рассматриваются средства выполнения операций согласно указанным методам. Подобные средства могут специально создаваться для конкретных целей или же включать в себя универсальный компьютер или другое устройство, выборочно запускаемое или перенастраиваемое хранящейся в компьютере программой. Алгоритмы и изображения на дисплее, представленные в данном документе, по существу, не связаны с каким-либо конкретным компьютером или другим средством. Допускается использовать различные универсальные машины с программами, отвечающими положениям данного документа. В противном случае целесообразным может оказаться создание более специализированных средств для осуществления необходимых методов. Ниже приведено описание структуры стандартного универсального компьютера.

Кроме того, в настоящем описании также косвенно рассматривается компьютерная программа, из которой специалисту в данной области станет понятно, что отдельные этапы описанного здесь метода могут осуществляться посредством компьютерного кода. Не подразумевается, что компьютерная программа будет ограничиваться каким-либо конкретным языком программирования, а следовательно, и способом выполнения. Будет учтен и тот факт, что для реализации положений описанного здесь изобретения существует возможность использования нескольких языков программирования и кодировок. Более того, не предполагается, что компьютерная программа будет ограничена каким-либо конкретным потоком команд управления. Существует множество других вариантов компьютерных программ, способных использовать различные потоки управления без отклонения от сути или объема изобретения.

К тому же, один или несколько этапов компьютерной программы могут выполняться параллельно, а не последовательно. Подобная компьютерная программа может храниться на любом машиночитаемом носителе. Такие носители могут включать запоминающие устройства, например, магнитные или оптические диски, микросхемы памяти или другие устройства хранения, способные установить связь с универсальным компьютером. Машиночитаемый носитель может также представлять собой проводные средства, примером которых является сеть Интернет, или беспроводные средства, например примером которых является система мобильной телефонной связи. Компьютерная программа при загрузке и выполнении на подобном универсальном компьютере, по сути, обеспечивает создание устройства, реализующего этапы предпочтительного метода.

Изобретение может быть реализовано в виде аппаратных модулей. Конкретнее, с точки зрения оборудования, модуль - это функциональный аппаратный блок, предназначенный для использования совместно с другими компонентами или модулями. Например, модуль может быть создан с помощью отдельных электронных компонентов или же представлять собой часть целой электронной схемы, например специализированной интегральной микросхемы. Существует также множество других возможностей. Специалисты высоко оценят тот факт, что система может быть реализована как сочетание аппаратных и программных модулей.

Прикладная компьютерная система на диспетчерской вышке или в диспетчерском пункте 135 выполняет следующие функции:

1. Определение конфигурации системы наблюдения с учетом количества камер, зоны покрытия (зоны обзора) каждой из них, калибровки камеры, событий, при появлении которых должен подаваться сигнал тревоги, типов сигналов тревоги и т.п.;

2. Выбор зон обзора для каждой камеры наблюдения (за счет дистанционной настройки угла обзора камеры), что позволяет оператору эффективно подтверждать наличие повреждений от посторонних предметов, определять является ли объект посторонним предметом, продуктом износа или повреждением от постороннего предмета на ВПП и классифицировать данный посторонний предмет. Существует возможность выведения на дисплей мультиплексного видеоизображения с нескольких камер наблюдения;

3. Выбор зон обзора (угла обзора) для каждой PTZ-камеры или приближающей камеры за счет автоматической настройки каждой из них на панорамирование, наклон и/или приближение необходимого участка ВПП. Прикладная компьютерная система дистанционно подает команду соответствующей PTZ- или приближающей камере на автоматическое приближение того участка, где предполагается наличие повреждений, продуктов износа или посторонних предметов. Оператор может выполнить данную функцию вручную и дистанционно с использованием прикладной компьютерной программы;

4. Задание конфигурации звуковых или визуальных сигналов тревоги. При возникновении сложного объекта съемки на ВПП (т.е. обнаружении повреждения от постороннего предмета) система автоматически создает список очередности сигналов тревоги, в котором приоритет имеют самые большие воронки, наиболее опасные продукты износа или посторонние предметы. Таким образом, оператору дается возможность предпринять необходимые корректирующие действия согласно листу очередности. Можно задать звуковую и/или визуальную или смешанную конфигурацию сигнала тревоги. Такой сигнал может также включать в себя дистанционное беспроводное оповещение об опасности с использованием средств мобильной связи, например системы коротких сообщений или мультимедийных сообщений GSM;

5. Обработка и регистрация видеоизображений и/или фотоснимков, зафиксированных различными камерами наблюдения в случае обнаружения системой повреждения от постороннего предмета на полосе, а также воспроизведение записанных видеоизображений и/или фотоснимков ситуации на ВПП;

6. Контроль данных о событиях, видеоизображений и другой хранящейся информации. Вся существенная информация регистрируется в базе данных, что облегчает ее поиск и составление различных отчетов;

7. Системный интерфейс, позволяющий другим системам получить доступ к базе данных;

8. Системный интерфейс для совместного использования данных, поступающих в режиме реального времени, позволяющий другим системам получать информацию в реальном времени и масштабе системы, включая подробную информацию обо всем полевом оборудовании. Интегрирование данных, поступающих в режиме реального времени, с данными системы управления посадкой/взлетом самолетов имеет значение для обеспечения оперативной безопасности самого самолета и экипажа.

Фигура 2 - основная блок-схема поиска повреждения от посторонних предметов согласно одному из способов осуществления.

На этапе 201 камеры наблюдения фиксируют соответствующие изображения части ВПП. Этапы, предусмотренные для обработки отснятых изображений, описаны ниже.

На этапе 203 проводятся предварительные работы по улучшению качества изображения перед его обработкой. Удаляются постепенные изменения шкалы серых тонов в направлении оси X (параллельно ходу ВПП), а также высококонтрастные белые линии ВПП. Это позволяет усилить характеристики, имеющие высокоградиентные изменения в направлении, параллельном ходу полосы (почти все реальные трехмерные посторонние предмеры, повреждения или продукты износа обладают такими характеристиками).

Все пиксели получающегося изображения становятся практически нулевыми (включая белые линии ВПП и участки с изменениями градиента шкалы серых тонов из-за движения облаков или дождя), за исключением некоторых выступающих огней ВПП и повреждений от посторонних предметов. Данный этап может помочь более достоверно обнаружить повреждения от посторонних предметов, обеспечивая низкий уровень ложных сигналов тревоги.

Для достижения оптимальных результатов используются высокочастотные фильтры, например прямой и обратный фильтр Собела или фильтр Шарра.

На этапе 205 для осуществления поиска в ночное время проводится детектирование нетипичных условий освещенности. Неожиданное появление яркого света или светлого пятна на ВПП может привести к появлению расплывчатого изображения с камеры наблюдения 108. Это может произойти при посадке, взлете самолета или во время движения наземного транспортного средства в ночное время. Такие ситуации предусмотрены алгоритмом обнаружения. При обнаружении нетипичных условий освещенности, изображения не учитываются. Согласно алгоритму составляется общая гистограмма и проводится статистический анализ (например, усредняется шкала серых тонов) для сравнения отснятых изображений с постепенно уточняющимися. В алгоритме для определения наличия нетипичных условий освещенности также используются параметры светлых пятен (например, размер, площадь и т.д.).

На этапе 207 проводится оценка параметров, необходимых для оптимального обнаружения, и создается адаптивная карта контуров уровней разрешения. При различных погодных условиях, а также в дневное и ночное время изображение ВПП 106 может быть очень разным. Оно может быть сглаженным, резким или содержать множество отблесков. Целью данного этапа является адаптивная оценка оптимальных пороговых значений для выделения контуров повреждения от постороннего предмета, чтобы определять его настоящие контуры с минимальными искажениями. В алгоритме используется статистический метод (например, среднее значение, отклонение), выполненный на базе оригинального (исключая зону движения) или постепенно изучаемого изображения фона, что позволяет разработать таблицу преобразования шкалы серых тонов, которую необходимо применять для создания карты пороговых значений уровней разрешения.

На этапе 209 к нескольким картам контуров применяется временная фильтрация для сохранения более четких контуров с меньшим количеством искажений. Временная фильтрация задействуется на уровне пикселей. Только пиксели, сгруппированные для преодоления конкретного порогового значения, считаются пикселями, образующими четкий контур (используются в картах четких контуров). Мерцающие пиксели, которые неспособны объединиться для прохождения порогового значения, удаляются (не используются в карте четких контуров).

На этапе 211 проводится изучение адаптивного фона с помощью принципа бесконечной импульсной характеристик.

В₁: фоновое изображение в момент времени t,

B_t-1: фоновое изображение в момент времени t-1,

I_t : текущее изображение в момент времени t.

Далее фоновое изображение уточняется согласно следующей формуле:

B_t=B_t-1*α+I_t*(1-α)

В первую очередь, для изучения фона система использует карту контуров. Изучаемые элементы включают в основном центральные огни и некоторые боковые огни, частично попадающие на участок ВПП из-за малого угла обзора камеры. Базовыми задачами изучения адаптивного фона являются регистрация медленного процесса изменения элементов на ВПП для того, чтобы слиться с фоном. При этом не должен запускаться ложный сигнал тревоги. Также необходимо ежедневно сохранять карты контуров изученного фона в файле или базе данных для использования в качестве карты контуров фона на следующий день. Это позволяет системе максимально быстро адаптироваться к изменениям разметки ВПП.

На этапе 213 создается сводная карта контуров фона. Сводная карта контуров фона представляет собой разметку ВПП. Данная карта включает карту контуров адаптивного фона, карту контуров фона, сохраненную в предыдущий день, и дополнительную сезонную разметку (сезонная разметка создается в течение конкретного времени года или погодных условий, например снега). Их можно просто суммировать или провести дальнейшую обработку, чтобы определить окончательные контуры фона.

На этапе 215 выделяются предполагаемые контуры путем сравнения карты контуров и сводной карты контуров фона. На данном этапе с изображения, обработанного на этапе 213 (сводная карта контуров фона), удаляются контуры разметки ВПП. Оставшиеся контуры могут принадлежать повреждению от постороннего предмета.

На этапе 217 проводится фильтрация контуров для отделения тех из них, которые не являются частью повреждения от постороннего предмета, а возникают из-за погодных условий, например снега, дождя или яркого утреннего света. Погодные условия определяются датчиками и/или с помощью методов обработки изображения. На данном этапе предполагается применение одного или нескольких произвольных алгоритмов для выявления таких погодных условий. Например, когда огни ВПП включаются во время дождя, на полосе может появиться отражение. Специальный алгоритм фильтрации определяет местоположение огней и отделяет контуры отражения.

На этапе 219 поводится классификация объектов для определения того, является ли объект, обнаруженный на этапе 217, на самом деле повреждением от постороннего предмета. Некоторые примеры методов классификации объектов включают сопоставление образцов, классификатор Байеса, классификатор по линейному дискриминанту, классификатор на основе нейронной сети, нечеткий классификатор и нечеткий нейронный классификатор.

С помощью контуров, полученных в результате фильтрования на этапе 217, система выделяет важные параметры объекта, например длина, высота, периметр, площадь, текстура, цветовые характеристики (цвет и насыщенность), сила света (уровень серого). Данные параметры объекта образуют входной вектор для его классификации с целью установления, является ли он на самом деле повреждением от постороннего предмета.

После обнаружения на этапе 221 повреждения от постороннего предмета оператору на диспетчерской вышке или в диспетчерском пункте подается предупреждающий сигнал. Он может быть выполнен в виде визуального и/или звукового аварийного сигнала и/или радиооповещения об опасности (например, коротких сообщений или мультимедийных сообщений GSM). При получении аварийного сигнала и/или радиооповещения об опасности оператор наводит камеры наблюдения на обнаруженное повреждение от постороннего предмета. Если наличие повреждение от постороннего предмета подтверждается, на диспетчерской вышке или в диспетчерском пункте запускается другой сигнал тревоги (звуковой и/или визуальный). Подтверждение наличия повреждения от постороннего предмета также запускает подачу дистанционного сигнала тревоги (звукового и/или визуального), расположенного рядом с ВПП. Помимо этого или в качестве альтернативы может активизироваться и беспроводное оповещение об опасности (например, при помощи коротких сообщений или мультимедийных сообщений GSM) для уведомления аварийно-ремонтной бригады ВПП. Аварийно-ремонтная бригада ВПП немедленно посылает аварийный автомобиль для устранения обнаруженного повреждения от постороннего предмета, т.е. удаления постороннего предмета, продуктов износа или ремонта повреждения.

Фигуры 3А и 3В - это подробные блок-схемы одного из способов осуществления данного изобретения. Если процесс начинается на этапе 301, то система запускается на этапе 302. На этапе 303 камера наблюдения фиксирует первоначальное изображение участка ВПП.

Изображения анализируются с целью обнаружения какого-либо движения. При изучении фона используются только изображения, на которых движение отсутствует. При данном способе реализации изобретения, изображения, в конечном счете, сохраняются в базе данных в качестве контрольных фоновых изображений.

На этапе 305 проводятся предварительные работы по улучшению качества отснятого изображения перед его обработкой. После предварительно обработки изображения все его пиксели становятся нулевыми (включая пиксели, соответствующие белым линиям ВПП и участкам с изменениями градиента шкалы серых тонов из-за движения облаков или дождя), за исключением некоторых выступающих огней ВПП.

На этапе 307 проверяется наличие перехода от дневного времени к ночному или наоборот. Это можно сделать, например, за счет контроля разницы в интенсивности освещенности датчика или камеры. При переходе от дневного времени к ночному или обратно интенсивность освещенности, как правило, изменяется более значительно, нежели при изменениях погодных условий. На этапе 309 при определении перехода от дневного времени к ночному или наоборот или же в случае работы в ночных условиях проводится проверка на наличие нетипичного освещения. На этапе 311 при выявлении нетипичного освещения снятое ранее изображение опускается, а следующее изображение фиксируется, начиная с этапа 303. Если нетипичного освещения не обнаружено, на этапе 313 определяются примерные оптимальные параметры обнаружения посторонних предметов, продуктов износа или повреждений в различных условиях окружающей среды (например, день/ночь, дождь, задымление и т.п.). Данные условия распознаются на этапе 315.

Например, различные условия окружающей среды (день/ночь, дождь, задымление и т.п.) могут быть обнаружены одним или несколькими датчиками. Допускается также использовать систему на основе инфракрасных камер со встроенным двойным пороговым значением. Например, порог может быть установлен на уровне 50 в дневное время и повышен до 70 в ночное время суток. Также возможно применение временного фильтра, посредством которого в течение некоторого времени поддерживается определенное значение для подтверждения того, что в данный момент происходит дневной или ночной период. Для подтверждения работы в дневных или ночных условиях прикладная компьютерная система может использовать и другую информацию и входные данные времени, включая входные данные от собственных часов реального времени и электронного календаря.

Разметка ВПП в дневное и ночное время отличается. Обычно ночью используется больше знаков разметки. Ночная разметка замещает дневную.

На этапе 317 создается адаптивная карта контуров уровней пикселей (см. Фигура 4). На ее основе из таблицы преобразования выводится оптимальное пороговое значение для выделения контуров повреждения от постороннего предмета с целью определения его реальных контуров с минимальными искажениями.

На этапе 319 (Фигура 3В) проводится фильтрование контуров движения для создания карты статических контуров. На этапе 321 проводится временная фильтрация для создания карты четких контуров. Только пиксели, сгруппированные для прохождения определенного порогового значения, считаются пикселями четкого контура (используются на карте четких контуров). Мерцающие пиксели не могут объединиться для прохождения порогового уровня, а следовательно, удаляются (не используются на карте четких контуров).

На этапе 323 проверяется изученность адаптивного фона. Для изучения фона система использует карты контуров. Если адаптивный фон (323) не изучен, на этапе 325 включается/уточняется карта контуров адаптивного фона. На этапе 327 проверяется, обеспечивает ли карта адаптивного фона заранее заданные условия. Если да, то на этапе 329 подается сигнал, подтверждающий изучение адаптивного фона. Если нет, процесс возвращается к этапу 303, где возобновляется фиксация изображений.

Если адаптивный фон изучен 323, на этапе 331 создается сводная карта контуров фона. Сводная карта фона включает карту адаптивного фона, разработанную/уточненную на этапе 325, ранее сохраненную карту фона в дневное/ночное время и карту сезонной разметки. Эти карты разрабатываются на этапе 333, как только на этапе 302 запускается обработка. Сезонная разметка имеет отношение к разметке ВПП в определенное время года или при конкретных погодных условиях (например, снег или дождь). При обработке изображений или с помощью внешних датчиков система определяет такое время года или погодные условия, чтобы снизить количество ложных аварийных сигналов. Сводная карта фона включает разметку ВПП.

На этапе 335 создается карта предполагаемых контуров за счет сравнения сводной карты фона и карты контуров. На этапе 337 применяется фильтр контуров для удаления любых нежелательных контуров, появление которых связанно с резкими изменениями условий окружающей среды, как то отблески из-за дождя. Например, во время дождя изображение огня ВПП может определяться как яркое пятно, напоминающее повреждение от постороннего предмета. Система способна обнаруживать такие потенциальные ложные сигналы тревоги путем сравнения с ранее сохраненными изображениями.

После этапа 337 на этапе 339 уточняется карта адаптивного фона, а на этапе 341 также проверяется наличие перехода от дневного времени к ночному или наоборот. При наличии перехода от дневного времени к ночному или наоборот, на этапе 343 для немедленного использования загружается последняя карта фона в дневное или ночное время. На этапе 345 карта адаптивного фона сохраняется в качестве карты фона в дневное или ночное время для использования на следующий день. Если перехода от дневного времени к ночному или наоборот нет, на этапе 341 процесс возвращается к этапу 303, где возобновляется фиксирование изображений.

На этапе 347 рассчитываются параметры контуров (например, размер, площадь и т.п.) на основе карты предполагаемых контуров, прошедших на этапе 337 процесс фильтрации. На этапе 349 проверяется, превышают ли параметры контуров пороговые значения. Если да, то на этапе 351 подозрительный участок ВПП выводится на дисплей, а оператору на диспетчерской вышке или в диспетчерском пункте подается сигнал тревоги. Сигнал может быть звуковым и/или визуальным и/или беспроводным оповещением об опасности (например, при помощи коротких сообщений или мультимедийных сообщений GSM). При получении сигнала тревоги на этапе 353 оператор для визуального подтверждения использует панорамирование и/или наклон и/или приближение с помощью камер наблюдения. После подтверждения обнаружения повреждения от постороннего предмета (ППП) на этапе 353, на этапе 357 с помощью беспроводных средств (например, Системы коротких сообщений или мультимедийных сообщений GSM) немедленно оповещается аварийно-ремонтная бригада ВПП. На этапе 359 изображение повреждения от постороннего предмета выводится на дисплей постоянно, а аварийный сигнал подается непрерывно, пока аварийная бригада устраняет или расчищает повреждения от посторонних предметов на полосе (т.е. удаляет посторонний предмет, продукты износа или ремонтирует повреждения ВПП).

Фигура 4 - это диаграмма с таблицей преобразования, используемой для создания адаптивной карты контуров уровней пикселей на этапе 207 и этапе 317, как описано выше.

Точки P1, P2…Pn и T1, T2…Tn являются оценочными значениями, основанными на статистическом анализе отснятого изображения, постепенно изученного изображения и входных данных с внешнего датчика. Таким образом, появляется возможность рассчитать оптимальную таблицу преобразования фрагментов изображения для получения порогового значения уровней пикселей, которое используется для создания карты контуров повреждения от постороннего предмета с минимальными искажениями.

Посредством вышеупомянутой таблицы преобразования значение пикселей на зафиксированном изображении или постепенно изученном фоновом изображении переводится в пороговое значение на пороговом изображении. После этого с отснятого изображения удаляется пороговое изображение. Любое значение пикселей, превышающее 0, устанавливается на 255. Изображение, получающееся в результате этого, соответствует адаптивной карте контуров уровней пикселей (этап 207 на Рисунке 2 и этап 317 на Рисунке 3А).

Способы осуществления настоящего изобретения позволяют откалибровать ситуацию на ВПП и определить положение повреждения от постороннего предмета.

Способы осуществления данного изобретения также задействуют цветные камеры наблюдения и обеспечивают обработку цветных изображений.

Как бы то ни было, все технологии и методы обработки изображений, описанные выше, применимы при работе как с черно-белыми, так и с цветными изображениями. Следовательно, система наблюдения за ВПП может использовать либо черно-белые, либо цветные камеры.

С учетом способов осуществления изобретения, представленных в качестве примера, изображения объекта съемки на ВПП, полученные камерами наблюдения, предварительно калибруются. Это делается таким образом, что физическое положение и расстояние, соответствующие каждому пикселю на изображении ситуации, рассчитываются с помощью математических формул или заранее разработанной таблицы преобразования. Она помещает каждый пиксель на изображении объекта съемки на ВПП в точных конкретных координатах реальной двухмерной или трехмерной абсолютной системы координат (x, у, z) с опорной точкой (например, WGS 84 или координатной сетки аэропорта), заданной в зоне наблюдения, например ВПП.

Система использует неподвижные элементы ВПП для калибровки объекта съемки на полосе. Например, положение и расстояние до этих неподвижных элементов ВПП относительно некоторых реальных неподвижных точек отсчета можно заранее определить посредством наземной съемки, физических измерений или карты ВПП. Например, одним из таких важных элементов является расположение маркерных радиомаяков или использование боковых огней ВПП вдоль полосы на одинаковом расстоянии по вертикали (ось y) от ее края. Поскольку такие радиомаяки размещаются на полосе в продольном (горизонтальном) направлении и на одинаковом расстоянии по вертикали от ее края, расстояние по горизонтали (ось x) между маяками также можно отобразить в виде конкретного количества пикселей на изображении объекта съемки на ВПП. Следовательно, коэффициент отображения пикселей по горизонтали (ось x) (м/пиксель) можно получить, разделив физическое горизонтальное расстояние на местности между 2 маркерными радиомаяками на ширину в пикселях по горизонтали (количество пикселей между 2 радиомаяками на изображении ВПП). Для калибровки каждого изображения ситуации можно использовать как минимум два неподвижных элемента ВПП, расположение которых известно.

Например, для более точной калибровки объекта съемки и приспособления к неровностям поверхности ВПП, предпочтительнее разместить несколько пар маркерных радиомаяков вдоль полосы (на одном расстоянии по вертикали от ее края). Они обозначат ряд виртуальных горизонтальных линий на ВПП. Физическое расстояние на местности между этими виртуальными горизонтальными линиями (между каждой парой радиомаяков) можно измерить с помощью рулетки, курвиметра или GPS-приемника. Для настройки конкретной камеры количество пикселей на такой виртуальной горизонтальной линии подсчитывается по изображению участка ВПП.

Например, зона обзора камеры наблюдения на ВПП имеет форму трапеции. Следовательно, коэффициент отображения пикселей (м/пиксель) в вертикальном направлении (ось Y) на изображении ВПП будет различным. Таким образом, дальняя сторона полосы будет выглядеть уже и иметь больший коэффициент отображения пикселей (м/пиксель), в то время как ближняя сторона будет казаться шире и иметь более низкий коэффициент отображения пикселей (м/пиксель). Система использует две параллельные горизонтальные линии по обе стороны от центральной оси ВПП, а также саму центральную ось для определения верного коэффициента отображения пикселей (для вертикальной оси y). Это делается для того, чтобы расположить пиксели изображения в конкретных координатах реальной опорной системы координат, базирующейся на используемой точке отсчета (которая может быть WGS 84, координатной сеткой аэропорта или прямоугольной системой координат). Следовательно, поскольку физическое расстояние по вертикали (ось y) между горизонтальными линиями и центральной осью ВПП можно измерить на местности, существует возможность рассчитать и коэффициент вертикального отображения пикселей (м/пиксель). Это делается путем деления физического расстояния по вертикали между этими линиями (измеренного на местности) на количество пикселей между ними (рассчитано из ширины в пикселях по вертикали на изображении ВПП).

Фигура 7 - это схема, демонстрирующая пример расположения линий ВПП согласно способу осуществления изобретения, представленному в качестве примера. Одна горизонтальная линия 802 нанесена на дальней стороне ВПП, другая горизонтальная линия 803 - не ее ближней стороне. Линия 802 также может использоваться как линия боковой кромки ВПП на дальней стороне, а линия 803 выполнять ту же функцию на ее ближней стороне. Обе линии 802, 803 параллельны средней оси 801, и все эти линии нанесены на ВПП в горизонтальном направлении (ось x). Физическое расстояние по вертикали между горизонтальной линией 803 на ближней стороне и средней осью 801 равняется значению 805, а ширина в пикселях (количество пикселей) по вертикали между этими 2 линиями на изображении ВПП равняется y1 пикселей. Таким образом, коэффициент отображения пикселей по вертикали для ближней стороны рассчитывается путем деления значения 805 на y1 (м/пиксель). Аналогично, физическое расстояние по вертикали между горизонтальной линией 802 на дальней стороне и средней осью 801 равняется значению 804, а ширина в пикселях (количество пикселей) по вертикали между этими 2 линиями на изображении ВПП равняется y2 пикселей. Следовательно, коэффициент отображения пикселей по вертикали для дальней стороны ВПП рассчитывается путем деления значения 804 на y2 (м/пиксель). Таким образом, для расположения пикселей на изображении ВПП в конкретных координатах реальной опорной системы координат используются 2 различных коэффициента их отображения по вертикали (ось y) 805/y1 и 804/y2. Пиксели располагаются на изображении в зависимости от того, находятся ли они на ближней или дальней стороне ВПП. При этом средняя ось служит базовой линией.

Вышеупомянутая технология может повысить точность отображения пикселей. Калибровка может учитывать различные опорные точки реальных систем координат, например WGS84, координатной сетки аэропорта или декартовой системы координат.

Линии боковой кромки/средняя ось/горизонтальные линии ВПП могут быть любого цвета. Калибровку можно проводить, пока существует контраст между линиями боковой кромки/средней осью/горизонтальными линиями ВПП и ее поверхностью. Кроме того, линии боковой кромки и средняя ось необязательно должны быть непрерывными. Непрерывные линии можно создать за счет интерполирования смежных линий.

Альтернативные способы осуществления данного изобретения могут по желанию или дополнительно задействовать стереоскопическую СТЗ, где пара камер наблюдения осматривает один и тот же участок ВПП. При использовании стереоскопической СТЗ, расположение и расстояние до повреждения от постороннего предмета также можно рассчитать, используя дифференциальное изображение, полученное при сравнении двух изображений, зафиксированных двумя камерами на одном участке зоны наблюдения (зоны обзора) на ВПП.

На каждом из двух стереоскопических изображений определяются локальные элементы, которые затем сравниваются. В результате получают небольшой, но качественный набор векторов рассогласования (которые измеряют относительное положение элементов изображения так, как они видны на каждом изображении). Данные вектора рассогласования позволяют рассчитать двухмерные и трехмерные оценочные значения расположения элементов и сравнить их с плоской (или, по крайней мере, ровной) моделью поверхности ВПП. В противном случае, изображения можно зафиксировать на уровне пикселей, что обеспечивает получение большего по количеству набор векторов рассогласования различного качества.

Сложность в использовании стереоскопических изображений состоит в определении соответствий пикселей на двух изображениях, используемых в расчетах расстояния. Применяемые техники соотнесения пикселей включают использование оператора взаимной корреляции, сопоставление знаков с реляционными ограничениями и сочетания этих способов.

Например, если необходимо соотнести пиксели двух изображений (Изображение 1, Изображение 2), полученных со стереоскопических камер, взаимная корреляция основывается на допущении, что для заданной точки P1 Изображения 1 существует установленная область Изображения 2. В этой области необходимо найти точку P2, которая и соответствует P1. Размер такой области определяется параметрами, связанными с установками камерами, которые были получены в процессе ее настройки. В рамках подхода, предполагающего сопоставление знаков для определения соответствия, на одном изображении ведется поиск элемента, совпадающего с элементом на втором изображении. Как правило, используются такие элементы, как переходы, отрезки прямых линий или области. Совпадение переходов дает разреженную карту глубин, где глубина известна только для небольшого количества точек. Совпадение отрезков прямых линий может дать соответствие их конечных точек.

Альтернативный способ осуществления данного изобретения обеспечивает резервную зону покрытия камер наблюдения. Фигура 5 - схематический чертеж, демонстрирующий резервную зону покрытия камер наблюдения в системе наблюдения 600 для обнаружения повреждений от посторонних предметов на ВПП. Камеры наблюдения 601, 603, 605, 607, 609 расположены на одной стороне рулежной дорожки 104. Если все камеры наблюдения 601, 603, 605, 607, 609 функционируют нормально, угол зоны покрытия (угол обзора) 611 каждой из камер наблюдения 601, 603, 605, 607, 609 обычно остается одинаковым. Если в камере 603 возникает неисправность и она не пригодна для дальнейшего использования, обычный угол зоны покрытия (угол обзора) 611 камер наблюдения 601 и 605, смежных с неисправной камерой 603, расширяется до значения 613 в направлении зоны обзора неисправной камеры 603. Таким образом, система наблюдения 600 способна работать, даже если одна или несколько камер выходят из строя. Например, зона покрытия (угол обзора) камеры может быть настроена оператором вручную или дистанционно с помощью прикладной компьютерной системы, которая дистанционно управляет функциями приближения, панорамирования или наклона камеры. Регулировка также может быть выполнена прикладной компьютерной системой автоматически. Например, можно использовать камеру с функцией приближения или PTZ-камеру для изменения зоны покрытия (угла обзора).

Фигура 6 - это схематический чертеж осмотра поверхности ВПП согласно альтернативному способу осуществления изобретения.

Площадь поверхности ВПП 700, подлежащая осмотру, делится на несколько участков 702, занимающих небольшие зоны на поверхности ВПП 700. Вся площадь поверхности ВПП 700 осматривается участок за участком с помощью одной или нескольких подвижных камер 708. Они могут работать в зоне обзора с горизонтальным углом обзора 711. Примером подвижной камеры служит PTZ-камера. Функция панорамирования/наклона/приближения PTZ-камеры управляется дистанционно прикладной компьютерной системой или контроллером видеокамер. Площадь поверхности ВПП 700 осматривается последовательно от одного конца 710 к другому 720 в продольном направлении 703 с помощью одной или нескольких подвижных камер.

Обследование поверхности ВПП согласно альтернативному способу осуществления изобретения управляется прикладной компьютерной системой или контроллером видеокамер. Затруднение при использовании данного метода осмотра ВПП состоит в длительности периода обнаружения повреждений от посторонних предметов, особенно если повреждение от постороннего предмета располагается на участке, близком к концу цикла осмотра. Согласно одному из вариантов метода для ускорения цикла осмотра ВПП можно пропустить один или даже два участка, т.е. обследовать один участок из двух или даже трех. Во время следующего цикла осмотра обследуются ранее неосмотренные участки, в то время как уже обследованные во время предыдущего цикла пропускаются. При использовании метода осмотра ВПП приходится смириться с продолжительностью времени, необходимого для обнаружения повреждения от постороннего предмета, которое возникает на необследованном участке поверхности ВПП.

Поскольку повреждение от постороннего предмета возникают на ВПП в основном из-за взлета и посадки самолетов, еще один метод сокращения времени обнаружения повреждений от посторонних предметов при альтернативном способе осуществления изобретения предполагает использование сочетания подвижных и неподвижных камер наблюдения. Неподвижная камера имеет достаточно большую зону обзора (широкий угол обзора) для покрытия значительного участка ВПП. При обработке изображений, отснятых неподвижной камерой наблюдения в реальном времени, прикладная компьютерная система может зафиксировать факт и место взлета и посадки самолета на полосе. После этого прикладная компьютерная система может направить подвижную камеру наблюдения для осмотра, в первую очередь, тех участков ВПП, где только что произошла посадка или взлет самолета. Данный метод может помочь сократить время обнаружения повреждений от посторонних предметов.

Если неподвижная камера наблюдения обнаруживает повреждение от постороннего предмета, прикладная компьютерная система на диспетчерской вышке или в диспетчерском пункте определяет расположение и расстояние до обнаруженного повреждения от постороннего предмета на ВПП исходя из изображений ситуации, зафиксированных неподвижной камерой. Положение и расстояние до обнаруженного повреждения от постороннего предмета на поверхности ВПП определяется с помощью монокулярной СТЗ и откалиброванного изображения объекта съемки на ВПП. Например, на откалиброванном изображении объекта съемки на ВПП каждый пиксель расположен в конкретных координатах реальной системы координат (построенной на опорной точке WGS 84 или Координатной сетки аэропорта). В противном случае допускается также использовать технологии определения места и расстояния до предмета, основанные на применении стереоскопической СТЗ.

Данные о расположении и расстоянии до повреждения от постороннего предмета, обнаруженного неподвижной камерой наблюдения (монокулярной или стереоскопической), используются системой для автоматического управления подвижными камерами (например, панорамной, приближающей или PTZ-камерой). Это делается для панорамирования и/или наклона и/или приближения и/или фокусировки на повреждении от постороннего предмета или интересующей зоне ВПП с целью получения на дисплее их изображений с телеобъектива. Они должны быть достаточно подробными, чтобы позволить подтвердить наличие обнаруженного повреждения от постороннего предмета или отфильтровать ложные сигналы тревоги. Данные изображения с телеобъектива также используются для точной характеристики и классификации обнаруженного повреждения от постороннего предмета. Из таких изображений можно выделить точные параметры предмета (включая его длину, высоту, площадь, периметр, текстуру, цветовые характеристики), которые допускается использовать как вводные данные для предварительно подготовленного классификатора объектов.

Альтернативные способы осуществления данного изобретения также могут обеспечивать удаление фоновых помех, возникающих из-за дождя. Как правило, помехи от дождя возникают не только на ограниченном участке ВПП, но и по всей полосе. Дождь может приводить к появлению на изображении объекта съемки на ВПП помех от движения, имеющих специфические характеристики (например, брызги от падения дождевых капель на поверхность ВПП). Следовательно, одним из методов удаления помех от дождя является определение и распознавание на изображении объекта съемки на ВПП помех от движения, имеющего сходные с дождем характеристики, если такое движение происходит по всей полосе. Поскольку помехи от дождя не являются статическими и изменяются от кадра к кадру, для их выделения также можно использовать временную фильтрацию. Таким образом, помехи от движения, имеющего сходные с дождем характеристики и происходящего по всей ВПП, будут фильтроваться как помехи от дождя. При альтернативном способе осуществления данного изобретения вышеприведенный принцип также применим и к фильтрации фоновых помех, возникающих из-за снега. Следовательно, помехи от движения, имеющего сходные со снегом характеристики и происходящего по всей ВПП, будут удаляться посредством временной фильтрации как помехи от снега.

Согласно способам осуществления данного изобретения, представленным в качестве примера, контрольные изображения фона, полученные с камер наблюдения, проходят предварительную обработку с помощью технологий выделения контуров. Это позволяет повысить отказоустойчивость системы при изменениях освещенности, помехах, а также уменьшить количество ложных сигналов тревоги.

Технологии обнаружения и повышения четкости контуров применяются для определения контуров элементов ВПП. Контур изображения - это линия, за пределами которой свойства пикселей резко меняются. Определение и повышение четкости контуров проводится для повышения отказоустойчивости при изменениях освещенности в процессе выделения фоновых пикселей с учетом удаления и/или изучения фона.

Вышеописанные способы осуществления данного изобретения могут включать один или несколько следующих параметров:

- улучшение качества изображения ВПП за счет использования высокочастотных фильтров (например, прямого или обратного фильтра Собела или фильтра Шарра) для выделения элементов со значительным изменением градиента в направлении, параллельном ВПП;

- оптимальная оценка порогового значения для выделения контуров повреждения от постороннего предмета. Процесс оценки подстраивается под различные условия окружающей среды (например, дождь, отражение света, ночное время и т.п.). Он также включает статистические методы, основанные на постепенно изученной карте контуров фона, которая позволяет создать таблицу преобразования шкалы серых тонов. Ее следует использовать при разработке карты пороговых значений уровней разрешения для получения адаптивной карты контуров уровней пикселей;

- временная фильтрация на уровне пикселей для сохранения четких контуров с использованием нескольких карт контуров, что уменьшает искажение. Только пиксели, превышающие пороговое значение, классифицируются как пиксели четких контуров, остальные пиксели на карте контуров не используются;

- изучение адаптивного фона, при котором текущее изображение контуров сравнивается с фоновым изображением в предыдущий момент времени для регистрации медленного процесса изменения элементов на ВПП. Это позволяет таким элементам слиться с фоном и избежать подачи ложного сигнала тревоги;

- сводная карта контуров фона, которая состоит из карты контуров адаптивного фона и ранее изученной карты фона, а также дополнительной сезонной разметки (создаваемой для конкретного времени года или погодных условий, например, снег);

- разработка карты предполагаемых контуров посредством сравнения карты контуров со сводной картой фона;

- фильтрация контуров для отделения тех из них, которые возможно возникли в результате неожиданного изменения условий окружающей среды, например отражение из-за дождя или другие погодные условия;

- обнаружение повреждений от посторонних предметов на ВПП за счет определения нетипичных условий освещенности в ночное время (например, из-за посадки, взлета самолета, движения наземного транспортного средства и т.п.). При этом определение нетипичных условий освещенности включает использование общей гистограммы и статистического анализа для сравнения с постепенно уточняемым изображением;

- наблюдение в дневное/ночное время для обнаружения повреждений от посторонних предметов на ВПП. При этом не требуется устанавливать принудительное освещение (например, лазерные или инфракрасные световые приборы);

- схемы формирования изображения для фиксирования изображений ВПП с возможностями просмотра в режиме автоматического, автоматизированного и/или ручного увеличения. Это обеспечивает точное обнаружение, идентификацию и определение расположения всех посторонних предметов на ВПП;

- пассивный характер, не требующий установки принудительного освещения (например, лазерные или инфракрасные световые приборы) в темное время суток и в условиях недостаточной освещенности;

- цветные изображения в дневное и ночное время;

- обработка видеоизображений и/или фотоснимков, полученных из сети камер наблюдения, с помощью компьютерных технологий обработки зрительных изображений, позволяющих обнаружить, определить расположение или идентифицировать повреждения от посторонних предметов. Существует возможность использовать одну или несколько камер, которые могут быть подвижными и/или неподвижными и размещаться в зоне наблюдения по усмотрению;

- камеры можно располагать на более значительном расстоянии от ВПП благодаря усовершенствованному процессу обработки изображений. В приведенных в качестве примера способах осуществления изобретения усовершенствование по сравнению с существующими системами включает использование адаптивной обработки изображений. Она может сократить количество задействованных камер, и/или снизить уровень «помех» от существующей инфраструктуры, и/или уменьшить количество препятствий рядом с ВПП.

Методы и система, представленные в способах осуществления изобретения, приведенных в качестве примера, могут быть реализованы в компьютерной системе 900, схема которой показана на Фигуре 8. Они могут реализовываться в виде программного обеспечения. Например, выполняемая в компьютерной системе 900 программа, которая выдает этой системе команды на выполнение методики согласно способу осуществления изобретения, приведенному в качестве примера.

Компьютерная система 900 включает в себя компьютерный модуль 902, входные модули, например клавиатура 904 и мышь 906, а также множество выходных устройств, например дисплей 908 и принтер 910.

Компьютерный модуль 902 соединен с компьютерной сетью 912 через подходящий приемопередатчик 914, что обеспечивает доступ, например, к сетевым системам (локальная компьютерная сеть или глобальная сеть).

Компьютерный модуль 902, приведенный в примере, включает процессор 918, оперативное запоминающее устройство (ОЗУ) 920 и постоянное запоминающее устройство (ПЗУ) 922. Компьютерный модуль 902 также включает несколько интерфейсов ввода-вывода, например интерфейс ввода-вывода 924 на дисплей 908 и интерфейс ввода-вывода 926 на клавиатуру 904.

Компоненты компьютерного модуля 902 обычно обмениваются информацией через шину сообщений 928 способом, известным специалисту в соответствующей области.

Прикладная программа, как правило, поставляется пользователю компьютерной системы 900 в закодированном виде на запоминающем устройстве, например компакт-диске или флэш-карте памяти. Она считывается с помощью соответствующего дисковода запоминающего устройства 930. Прикладная программа считывается, а ее выполнение контролируется процессором 918. Промежуточное хранение программных данных может осуществляться с помощью ОЗУ 920.

Изобретение не ограничивается вышеприведенными способами его осуществления. Однако специалисты в данной области понимают, что после модификации данное изобретение допускается применять с учетом приведенной здесь информации, не отклоняясь от объема изобретения.

Изобретение относится к системе и способу наблюдения за взлетно-посадочной полосой (ВПП). Техническим результатом является обеспечение обнаружения повреждений от посторонних предметов в условиях естественной освещенности как в дневное, так и в ночное время без использования дополнительного освещения, например от инфракрасных или лазерных световых приборов. Система включает одну или несколько камер, фиксирующих изображения ВПП; и систему обработки изображений для обнаружения повреждений от посторонних предметов на ВПП на основе адаптивной обработки изображений, отснятых камерами, и для использования способов улучшения качества изображений для повышения их четкости; при этом система обработки изображений сформирована таким образом, чтобы обнаружить движения в отснятых изображениях, изучить фон, используя только изображения, на которых движение отсутствует, разработать сводную карту контуров во время изучения фона; при этом сводная карта контуров фона состоит из карты контуров адаптивного фона и ранее изученной карты фона, а также дополнительной сезонной разметки, создаваемой для конкретного времени года или погодных условий; при этом система наблюдения адаптивно пригодна для обнаружения повреждений от посторонних предметов в условиях наружной освещенности как в дневное, так и в ночное время без принудительного освещения, включая инфракрасные или лазерные световые приборы. 2 н. и 28 з.п. ф-лы, 10 ил.

1. Система наблюдения для обнаружения посторонних предметов, продуктов износа или повреждений (повреждений от посторонних предметов) на ВПП, включающая:
одну или несколько камер, фиксирующих изображения ВПП; и
систему обработки изображений для обнаружения повреждений от посторонних предметов на ВПП на основе адаптивной обработки изображений, отснятых камерами, и для использования способов улучшения качества изображений для повышения их четкости;
при этом система обработки изображений сформирована таким образом, чтобы обнаружить движения в отснятых изображениях, изучить фон, используя только изображения, на которых движение отсутствует, разработать сводную карту контуров во время изучения фона; при этом сводная карта контуров фона состоит из карты контуров адаптивного фона и ранее изученной карты фона, а также дополнительной сезонной разметки, создаваемой для конкретного времени года или погодных условий;
при этом система наблюдения адаптивно пригодна для обнаружения повреждений от посторонних предметов в условиях наружной освещенности как в дневное, так и в ночное время без принудительного освещения, включая инфракрасные или лазерные световые приборы.

2. Система по п.1, отличающаяся тем, что качество отснятых изображений повышается с помощью высокочастотных фильтров (прямой и обратный фильтр Собела или фильтр Шарра) для отснятых изображений.

3. Система по п.1 или 2, отличающаяся тем, что система обработки изображений определяет, относится ли обрабатываемый момент времени к светлому или темному времени суток; а также на изображении, полученном в ночное время, обнаруживает нетипичные условия освещенности, возникающие, в том числе, в связи с посадкой или взлетом самолета или движением наземного транспортного средства.

4. Система по п.3, отличающаяся тем, что для обнаружения нетипичных условий освещенности используют общую гистограмму и статистический анализ для сравнения каждого изображения с одним или несколькими предшествующими изображениями и определения нетипичных условий освещенности, исходя из изменения интенсивности с учетом порогового значения.

5. Система по п.3 или 4, отличающаяся тем, что изображения, на которых обнаружены нетипичные условия освещенности, не учитываются при дальнейшей обработке.

6. Система по любому из пп.2-5, отличающаяся тем, что система обработки изображений адаптивно оценивает одно или несколько пороговых значений для оптимального выделения контуров повреждения от постороннего предмета в различных условиях окружающей среды; и создает карту контуров уровней пикселей с помощью статистического метода, основанного на карте контуров фонового изображения, постепенно изученного с целью создания таблицы преобразования шкалы серых тонов, которую необходимо использовать для разработки карты пороговых значений уровней пикселей.

7. Система по п.6, отличающаяся тем, что в дальнейшем система обработки изображений применяет к нескольким картам контуров уровней пикселей временную фильтрацию для сохранения только карты четких контуров, которая включает только пиксели, сгруппированные для преодоления порогового значения.

8. Система по п.7, отличающаяся тем, что после этого система обработки изображений проводит изучение адаптивного фона на карте четких контуров; изучение адаптивного фона включает следующее:
сравнения изображений контуров фона, полученных ранее, с текущим изображением;
определение медленно изменяющихся элементов на ВПП; и
уточнение изображения контуров фона с учетом медленно изменяющихся элементов.

9. Система по п.8, отличающаяся тем, что система обработки изображений далее сравнивает сводную карту контуров фона и карту четких контуров; и удаляет контуры фона, чтобы создать карту предполагаемых контуров повреждения от постороннего предмета.

10. Система по п.9, отличающаяся тем, что система обработки изображений позднее проводит фильтрацию контуров для удаления с карты предполагаемых контуров ненужных контуров, появление которых связано с изменениями окружающей среды; а также на основе карты предполагаемых контуров рассчитывает параметры контуров повреждения от постороннего предмета.

11. Система по п.10, отличающаяся тем, что условия окружающей среды включают в себя переход от дневного времени к ночному или наоборот, погодные условия, дождь, задымление, облака или т.п.

12. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что при дальнейшей обработке изображений графические данные повреждения от постороннего предмета накладываются на предполагаемый участок ВПП на дисплее, чтобы предупредить оператора на диспетчерской вышке или в диспетчерском пункте об обнаружении повреждения от постороннего предмета.

13. Система по п.12, отличающаяся тем, что для визуального подтверждения одна или несколько камер или же одна или несколько дополнительных камер направляются на предполагаемый участок для получения увеличенного изображения.

14. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что после этого система обработки изображений классифицирует повреждение от постороннего предмета.

15. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что одна или несколько камер включают одну или несколько неподвижных камер, одну или несколько подвижных камер или сочетание того и другого.

16. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что одна или несколько камер размещаются на одной стороне ВПП.

17. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что одна или несколько камер размещены на обеих сторонах ВПП в шахматном порядке.

18. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что в случае выхода из строя одной или нескольких камер, соответствующие смежные камеры могут использоваться для покрытия зон, в которых ранее работали неисправные камеры.

19. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что одна или несколько камер включают одну или несколько черно-белых камер, одну или несколько цветных камер или и то, и другое.

20. Система наблюдения по любому из предыдущих пунктов, кроме всего прочего включает одну или несколько камер ночного видения.

21. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что поверхность ВПП разделена на несколько участков, и одна или несколько подвижных камер последовательно осматривают полосу участок за участком с целью обнаружения повреждений от посторонних предметов.

22. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что неподвижная камера определяет места, соответствующие взлету и посадке самолета на ВПП, таким образом, подвижная камера, в первую очередь, направляется на осмотр участков ВПП в этих местах, что сокращает время обнаружения повреждений от посторонних предметов.

23. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что система обработки изображений применяет временную фильтрацию для удаления с изображений объекта съемки на ВПП помех от дождя; это делается за счет распознавания характеристик, присущих помехам от движения дождевых капель, а также с учетом помех от движения, возникающих, когда дождь идет по всей полосе.

24. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что система обработки изображений применяет временную фильтрацию для удаления с изображений объекта съемки на ВПП помех от снега; это делается за счет распознавания характеристик, присущих помехам от движения снежинок, а также с учетом помех от движения, возникающих, когда снег идет по всей полосе.

25. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что система обработки изображений для калибровки изображений объекта съемки на ВПП использует маркерные радиомаяки или боковые огни ВПП, расположенные вдоль (в горизонтальном направлении) ВПП на одинаковом расстоянии по вертикали от ее края, при этом калибровка проводится для размещения пикселей на изображении ВПП в конкретных координатах реальной системы координат (в том числе WGS384 или Координатной сетки аэропорта).

26. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что система обработки изображений использует две параллельные горизонтальные линии ВПП с обеих сторон от ее средней линии, а также саму среднюю линию для получения двух коэффициентов отображения пикселей по вертикали, чтобы откалибровать изображение объекта съемки на ВПП, при этом калибровка проводится для размещения
пикселей на изображении ВПП в конкретных координатах реальной системы координат (в том числе WGS384 или Координатной сетки аэропорта).

27. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что система обработки изображений использует монокулярную СТЗ и откалиброванные изображения объекта съемки на ВПП, зафиксированные монокулярной камерой, для определения положения и расстояния до повреждения от постороннего предмета на ВПП.

28. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что система использует положение и расстояние до повреждения от постороннего предмета, определенные по данным неподвижной камеры и откалиброванного изображения объекта съемки на ВПП, для автоматического управления подвижной камерой (в том числе, PTZ-камерой), камера настраивается на панорамирование и/или наклон и/или приближение и/или фокусирование на повреждении от постороннего предмета, чтобы получить изображения данного повреждения с телеобъектива, которые должны быть достаточно подробными для того, чтобы подтвердить обнаружение повреждения от постороннего предмета или отфильтровать ложных сигналов тревоги.

29. Система наблюдения по любому из предыдущих пунктов, отличающаяся тем, что система использует стереоскопическую СТЗ, включающую пару камер наблюдения для покрытия одного участка ВПП; таким образом, расположение и расстояние до повреждения от постороннего предмета можно рассчитать, исходя из дифференциального изображения, полученного путем сравнения двух изображений, зафиксированных этими двумя камерами с одной и той же зоной наблюдения (зоной обзора) на ВПП.

30. Способ наблюдения для обнаружения посторонних предметов, продуктов износа или повреждений на ВПП; включающий в себя следующее:
фиксирование изображений ВПП;
проведение адаптивной обработки изображений, зафиксированных для обнаружения повреждений от посторонних предметов на ВПП;
определение движения на отснятых изображениях;
изучение фона только по изображениям, на которых движение отсутствует;
разработка сводной карты контуров во время изучения фона; сводная карта контуров фона состоит из карты контуров адаптивного фона и ранее изученной карты фона, а также дополнительной сезонной разметки, создаваемой для конкретного времени года или погодных условий;
отличающийся тем, что он адаптивно пригоден для обнаружения повреждений от посторонних предметов в условиях наружной освещенности как в дневное, так и в ночное время без принудительного освещения, например инфракрасных или лазерных приборов освещения.