СИСТЕМА КАМЕР СТЕРЕОЗРЕНИЯ ДЛЯ ПРЕДОТВРАЩЕНИЯ СТОЛКНОВЕНИЙ ВО ВРЕМЯ НАЗЕМНЫХ ОПЕРАЦИЙ ЛЕТАТЕЛЬНОГО АППАРАТА Российский патент 2020 года по МПК G08G5/06 G08G5/04 B64D45/00 

ОБЛАСТЬ ТЕХНИКИ И УРОВЕНЬ ТЕХНИКИ

[001] Изобретение в целом относится к системам и способам предотвращения столкновений во время маневрирования летательного аппарата на земле.

[002] В настоящее время в авиационной промышленности теряются значительные средства в результате повреждений при столкновениях во время наземных операций. Большинство столкновений на земле происходит на рулежных дорожках и районах выходов на посадку/зонах подхода в пределах аэропорта. Системы предотвращения столкновений становятся обычными в автомобильной промышленности, однако возможность их применения для летательных аппаратов только начинает исследоваться. Существует два возможных подхода к решению этой проблемы: посредством стационарной установки в каждом аэропорту или с использованием датчиков на борту каждого летательного аппарата. Центристский (на основе летательного аппарата) подход к обнаружению препятствий имеет важные преимущества, поскольку он не зависит от управления с земли или наземных установок, его реализация не требует бдительности других лиц или инвестиционных затрат в каждом аэропорту использования, и для него не нужны ни внешние данные, ни снаряжение.

[003] Многие современные летательные аппараты имеют систему внешних камер, которая предназначена для помощи пилоту при выполнении операций наземного маневрирования. Системы этого типа выполняют две основные функции: помочь пилоту удержать шасси летательного аппарата на покрытии и предотвратить столкновения с препятствиями. Система внешних камер может показывать виды законцовок крыльев, что позволяет пилотам контролировать положение каждой законцовки крыла относительно препятствий при близком сближении, чтобы ослабить нежелательные последствия столкновений законцовок крыльев в сложенном или выдвинутом положениях. Однако в зависимости от того, где находится камера, может возникать проблема перспективы. В частности, если камера установлена на секции оперения летательного аппарата и показывает виды законцовки крыла, между этими двумя элементами существует значительное внеосевое расстояние, которое очень осложняет оценку положения законцовки крыла относительно земли или каких-либо препятствий в непосредственной близости от законцовки крыла.

[004] В соответствии с одной известной системой камер для наземного маневрирования на летательном аппарате установлены множество видеокамер, нацеленных в прямом направлении. В частности, известная система камер для наземного маневрирования содержит:

(a) первую видеокамеру, установленную на нижней стороне фюзеляжа в месте, расположенном за передней опорой шасси и перед линией, которая проходит между основными опорами шасси в левом и правом крыле;

(b) вторую видеокамеру, установленную на передней кромке вертикального стабилизатора летательного аппарата в месте, расположенном по существу на осевой линии фюзеляжа; и

(c) третью и четвертую видеокамеры, соответственно установленные на левой и правой сторонах вертикального стабилизатора или на передних кромках левой и правой частей горизонтального стабилизатора.

Работа этой системы камер для наземного маневрирования не основана на стереоскопии. Также, некоторые из камер могут не видеть друг друга и не соединены жестко друг с другом. Например, камеры, установленные на крыльях или горизонтальных стабилизаторах, могут перемещаться относительно камер, прикрепленных к фюзеляжу или вертикальному стабилизатору, вследствие изгиба крыльев или горизонтальных стабилизаторов, которые закреплены только на одном конце.

[005] Для выполненной на основе камер системы предотвращения столкновений при работе на земле, которая устанавливается на коммерческих и военных реактивных летательных аппаратах, нужны по меньшей мере две камеры для обеспечения надежного трехмерного (3-D) отслеживания объектов. Принимая во внимание стоимость монтажа камер на летательном аппарате (затраты на модернизацию оборудования очень высоки), требуется минимальная система камер, выполненная с возможностью максимально возможного обзора объектов спереди и сбоку вокруг летательного аппарата во время руления.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[006] В качестве объекта изобретения, подробно раскрытого ниже, предложена система предотвращения столкновений, размещенная на борту летательного аппарата и содержащая датчики, обрабатывающий блок на основе машинного зрения и систему для информирования пилотов о возможном столкновении. В соответствии с одним вариантом реализации изобретения датчики содержат пару камер, установленных на вертикальном стабилизаторе летательного аппарата на расстоянии разделения, а обрабатывающий блок на основе машинного зрения выполнен с возможностью обработки данных изображений, захваченных камерами, с использованием методов стереоскопии и определения структуры объекта по отображению движения (structure from motion, SFM) для обнаружению препятствия, находящегося вблизи или на пути перемещения летательного аппарата. При использовании далее, термин "камера" означает видеокамеру.

[007] Преимущество систем с камерами заключается в том, что они являются полностью пассивными, благодаря чему устраняются проблемы помех или необходимость лицензирования работы в конкретных аэропортах. Для выполненной на основе камер системы предотвращения столкновений нужны по меньшей мере две камеры, чтобы обеспечить трехмерное отслеживание объектов с использованием методов стереоскопии. Две камеры, установленные с большим вертикальным разделением, и очень широкоугольные линзы предпочтительны для обнаружения столкновений во время руления. Эти камеры могут быть либо камерами видимого света, инфракрасными камерами, либо какой-либо комбинацией, которая сможет обеспечить возможность работы днем или днем и ночью.

[008] Методы стереоскопии требуют получения двух видов каждого объекта возможного столкновения, для чего необходимо измерить расстояния. Каждый объект, представляющий интерес, имеет немного отличающееся местоположение на каждом виде от камеры. Такое несоответствие/смещение (disparity) прямо пропорционально расстоянию. Таким образом, при обработке каждого кадра видеоизображения скорость изменения расстояния каждого объекта до каждой точки на летательном аппарате также может быть оценена на основании изменения расстояния по одному или более кадрам вместе с данной частотой кадров для камер, известной геометрии летательного аппарата и места установки камер. С помощью расстояния и скорости изменения расстояния может быть оценено время до столкновения для каждой точки летательного аппарата. Таким образом, может быть оценено время до столкновения, и пилоту может быть выдано звуковое предупреждение (далее "звуковая подсказка") на основании близости возможного столкновения, при этом более угрожающие столкновения характеризуются более громкими или более частыми звуковыми подсказками, например. В альтернативном варианте реализации или дополнительно на экране устройства отображения информации в кабине экипажа может быть отображена графическая подсказка, указывающая на близость возможного столкновения.

[009] Одной проблемой, связанной с модернизацией летательного аппарата с помощью камер, установленных на вертикальном стабилизаторе, является стоимость калибровки такой системы во время установки. Эта проблема возникает вследствие несовершенства механического монтажа и возможного изменения относительного положения камеры и центрального угла обзора в зависимости от незначительных различий при монтаже. Это может привести к большим ошибкам при оценке расстояния с использованием способов стереоскопии и определения структуры объекта по отображению движения. Еще одна проблема заключается в том, что механическое сгибание с течением времени может привести к раскалибровкам и неправильным расстояниям. Для общей калибровки стереосредств в области машинного зрения обычно используют изображения в виде шахматной доски или другие изображения с многочисленными фиксированными особенностями в композиции, которые должны быть согласованы между камерами. Это требует больших трудовых и временных затрат, если калибровку выполняют для каждой установки летательного аппарата, что приводит к увеличению стоимости такой системы. Система, подробно описанная ниже, решает эту проблему благодаря созданию способа самокалибровки при включении питания с использованием существующих особенных точек на "виде сверху" летательного аппарата для корректировки сохраненных матриц калибровки камер системы стереозрения, используемых в алгоритмах стереоскопии и определения структуры объекта по отображению движения.

[0010] В соответствии с одним вариантом реализации изобретения хвостовые камеры жестко установлены таким образом, что их относительные положения и ориентации не будут меняться или изменения в течение длительных периодов времени будут очень небольшими. Также, почти вся видимая область, находящаяся впереди пути перемещения летательного аппарата, доступна для обеих камер (за исключением зоны непосредственно перед кабиной экипажа, где пилоты имеют полную видимость). Поэтому система, работающая на земле с использованием самокалибрующихся установленных на хвосте камер (которые выполняют самокалибровку во время включения питания), имеет очевидные преимущества, заключающиеся в ее простоте. Также, процесс самоопределения (является она верхней или нижней) каждой камеры при установке на хвосте летательного аппарата посредством использования шаблона с метками для нижней камеры (который может быть виден только верхней камерой) обеспечивает для программного обеспечения, связанного с каждой камерой, возможность указать номер детали.

[0011] Согласно одному аспекту объекта изобретения, подробно раскрытому ниже, предложена система для предупреждения пилота о риске столкновения, содержащая:

первую камеру, установленную на первой высоте на передней кромке вертикального стабилизатора летательного аппарата, для создания первого потока видеокадров, которые включают в себя первые данные изображения, представляющие изображение объекта в сцене, и вторые данные изображения, представляющие изображение части летательного аппарата;

вторую камеру, установленную на второй высоте на передней кромке вертикального стабилизатора, для создания второго потока видеокадров, которые включают в себя третьи данные изображения, представляющие изображение объекта в сцене, и четвертые данные изображения, представляющие изображение указанной части летательного аппарата, при этом вторая высота меньше, чем первая высота;

систему обеспечения подсказок в кабине экипажа летательного аппарата, выполненную с возможностью выработки подсказки; и

компьютерную систему.

Компьютерная система запрограммирована на выполнение следующих операций:

обработку видеокадров первого и второго потоков для определения расстояния до объекта и скорости изменения расстояния, с которой изменяется расстояние до объекта за промежуток времени;

вычисление времени до столкновения на основании по меньшей мере указанных расстояния и скорости изменения расстояния и

включение системы обеспечения подсказок для создания подсказки, в случае если время до столкновения меньше, чем пороговое значение обнаружения. Первая и вторая камеры нацелены в прямом направлении вдоль осевой линии летательного аппарата с соответствующими полями зрения, которые по меньшей мере частично перекрываются.

[0012] В соответствии с некоторыми вариантами реализации, видеокадры первого и второго потоков обрабатывают с использованием метода стереоскопии для оценки глубины объекта и с использованием метода определения структуры объекта по отображению движения для оценки трехмерной структуры сцены. В соответствии с этими же или другими вариантами реализации компьютерная система также запрограммирована на:

приведение в действие первой и второй камер для захвата первого и второго изображений;

калибровку первой и второй камер на основании указанных первого и второго изображений;

обнаружение на первом изображении данных изображения, соотносящихся с шаблоном камеры; и

объявления первой камеры верхней камерой при обнаружении на первом изображении данных изображения, соотносящихся с шаблоном камеры.

[0013] Согласно другому аспекту объекта изобретения, подробно раскрытому ниже, предложена система для предупреждения пилота о риске столкновения, содержащая:

первую камеру, установленную на первой высоте на передней кромке вертикального стабилизатора летательного аппарата;

вторую камеру, установленную на второй высоте на передней кромке вертикального стабилизатора, при этом вторая высота отличается от первой высоты; и

компьютерную систему, запрограммированную на:

приведение в действие первой и второй камер для захвата первого и второго изображений;

обнаружения данных изображения, соотносящихся с шаблоном камеры, в одном из первого и второго изображений; и

объявления одной из первой и второй камер верхней камерой на основании того, какое из первого и второго изображений, содержащих данные изображения, соотносится с шаблоном камеры.

[0014] Согласно еще одному аспекту объекта изобретения, подробно раскрытому ниже, предложен способ предупреждения о существовании риска столкновения, включающий:

активирование первой камеры, установленной на первой высоте на передней кромке вертикального стабилизатора летательного аппарата, для создания первого потока видеокадров, которые включают в себя первые данные изображения, представляющие изображение объекта в сцене, и вторые данные изображения, представляющие изображение части летательного аппарата;

активирование второй камеры, установленной на второй высоте на передней кромке вертикального стабилизатора, для создания второго потока видеокадров, которые включают в себя третьи данные изображения, представляющие изображение объекта в сцене, и четвертые данные изображения, представляющие изображение указанной части летательного аппарата, при этом вторая высота меньше, чем первая высота;

обработку видеокадров первого и второго потоков для определения расстояния до объекта и скорости изменения расстояния, с которой изменяется расстояние до объекта за промежуток времени;

вычисление времени до столкновения на основании по меньшей мере указанных расстояния и скорости изменения расстояния и

создание подсказки, в случае если время до столкновения меньше, чем пороговое значение обнаружения.

[0015] Согласно еще одному аспекту предложен способ калибровки пары камер, включающий:

активирование первой и второй камер, установленных на передней кромке вертикального стабилизатора летательного аппарата, для захвата первого и второго изображений;

калибровку первой и второй камер на основании указанных первого и второго изображений,

обнаружение на первом изображении данных изображения, соотносящихся с шаблоном камеры; и

объявление первой камеры верхней камерой при обнаружении на первом изображении данных изображения, которые соотносятся с шаблоном камеры.

[0016] Ниже раскрыты другие аспекты систем со стереокамерами для предотвращения столкновений во время наземных операций летательного аппарата.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0017] Особенности, функции и преимущества, раскрытые в предыдущих разделах, могут быть получены независимо в различных вариантах реализации или могут быть скомбинированы еще в одних вариантах реализации. Различные варианты реализации далее будут описаны со ссылкой на фигуры чертежей в целях иллюстрации вышеописанных и других аспектов.

[0018] На ФИГ. 1 схематически показан вид сбоку летательного аппарата, имеющего две камеры, установленные на передней кромке вертикального стабилизатора, в соответствии с примером реализации.

[0019] На ФИГ. 1А схематически показан увеличенный вид сбоку части летательного аппарата, изображенной прямоугольником из пунктирных линий, обозначенной 1А на ФИГ. 1.

[0020] На ФИГ. 2 показана блок-схема, на которой указаны компоненты системы обнаружения объектов и предотвращения столкновений с ними, расположенной на борту летательного аппарата, изображенного на ФИГ. 1, при этом система содержит верхнюю и нижнюю камеры, установленные на вертикальном стабилизаторе летательного аппарата, и обрабатывающий блок на основе машинного зрения, выполненный с возможностью обработки полученных данных изображения с использованием методов стереоскопии и определения структуры объекта по отображению движения.

[0021] На ФИГ. 3 показана структурная схема, на которой указаны этапы способа озвучивания подсказки в кабине экипажа на основании величины сближения объекта возможного столкновения с летательным аппаратом на взлетно-посадочной полосе.

[0022] На ФИГ. 4 показана структурная схема, на которой указаны этапы алгоритма калибровки при включении питания для использования при калибровке верхней и нижней камер, установленных на вертикальном стабилизаторе летательного аппарата.

[0023] На ФИГ. 5А-5С схематично показаны соответственно работа линзы при отсутствии дисторсии (ФИГ. 5А), проявление положительной радиальной "бочкообразной" дисторсии (ФИГ. 5В) и проявление отрицательной радиальной "подушкообразной" дисторсии (ФИГ. 5С).

[0024] На ФИГ. 6А и 6В схематично показаны соответственно линза камеры и датчик изображений, размещенные параллельно (ФИГ. 6А), так что тангенциальная дисторсия не возникает, и не параллельно (ФИГ. 6В) настолько, что возникает тангенциальная дисторсия.

[0025] На ФИГ. 7 показана структурная схема, на которой указаны этапы процесса вычисления времени до столкновения между объектом и летательным аппаратом на земле в соответствии с одним вариантом реализации изобретения.

[0026] Далее будут сделаны ссылки на фигуры чертежей, на которых аналогичные элементы на различных чертежах имеют аналогичные ссылочные номера.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0027] Различные варианты реализации бортовой системы предотвращения столкновений для оказания помощи пилоту во время маневрирования летательного аппарата на земле теперь будут подробно описаны только для целей иллюстрации. Однако следует понимать, что бортовая система предотвращения столкновений, раскрытая в настоящем документе, не ограничивается в своем применении только летательными аппаратами, она также может быть установлена на транспортных средствах и внутри транспортных средств других типов при условии, что такое транспортное средство имеет конструкцию, обеспечивающую возможность установки с относительным вертикальным смещением пары камер, нацеленных в прямом направлении.

[0028] Каждый вариант реализации, раскрытый в настоящем документе, содержит датчики, обрабатывающий блок на основе машинного зрения и систему для информирования пилота о возможном столкновении. В соответствии с одним вариантом реализации изобретения датчики содержат пару камер, установленных (т.е. размещенных друг от друга на расстоянии разделения) на вертикальном стабилизаторе летательного аппарата, а обрабатывающий блок на основе машинного зрения выполнен с возможностью обработки данных изображений, захваченных камерами, с использованием методов стереоскопии и определения структуры объекта по отображению движения для обнаружения какого-либо препятствия, находящегося вблизи или на предполагаемом пути перемещения летательного аппарата. Две камеры, установленные с большим вертикальным разделением, и очень широкоугольные линзы предпочтительны для обнаружения столкновений во время руления. Эти камеры могут быть либо камерами видимого света, инфракрасными камерами, либо какой-либо их комбинацией, которая сможет обеспечить возможность работы днем или днем и ночью.

[0029] На ФИГ. 1 схематически показан летательный аппарат 10, содержащий фюзеляж 12, пару крыльев (видно только одно крыло 14), горизонтальный стабилизатор 16, пару двигателей (виден только один двигатель 18) и вертикальный стабилизатор 20. На передней кромке вертикального стабилизатора 20 установлены верхняя камера 2 и нижняя камера 4, при этом обе камеры нацелены в прямом направлении вдоль осевой линии летательного аппарата с перекрывающимися по меньшей мере частично полями зрения.

[0030] На ФИГ. 1А показан увеличенный вид сбоку части летательного аппарата, изображенной на ФИГ. 1 прямоугольником из пунктирных линий, обозначенной 1А, и включающей в себя верхнюю камеру 2. В соответствии с одной моделируемой конфигурацией верхняя камера 2 и нижняя камера 4 разделены расстоянием, величиной в 10 футов (3,0 м), при этом каждая камера имеет разрешение 640 на 480 пикселей и поле зрения величиной в 90 градусов на 67,5 градусов. При фактической реализации положение и ориентация верхней камеры 2 и нижней камеры 4 регулируют так, что нижняя камера находится в поле зрения верхней камеры, а верхняя камера не находится в поле зрения нижней камеры. Для установки этих камер могут быть использованы различные известные устройства, которые здесь подробно не описаны. Как легко поймут специалисты в области систем с камерами, могут быть использованы камеры различных типов, например, камеры с низкой освещенностью или инфракрасные/тепловые камеры могут быть использованы для ночных операций.

[0031] Летательный аппарат 10 может двигаться вдоль пути перемещения (например, по взлетно-посадочной полосе). Объект (не показано на ФИГ. 1) может двигаться вдоль того же самого или отличающегося (например, пересекающегося) пути перемещения. В зависимости от относительных положений и/или относительных перемещений летательного аппарата 10 и/или объекта может существовать риск столкновения объекта и летательного аппарата 10. Система предотвращения столкновений, раскрытая в настоящем документе, может быть установлена на летательном аппарате типа, отличающегося от типа, изображенного на ФИГ. 1. Например, летательный аппарат может быть коммерческим пассажирским летательным аппаратом, эксплуатируемым авиакомпанией, грузовым летательным аппаратом, эксплуатируемым частной или государственной организацией, военным летательным аппаратом, эксплуатируемым военной или другой правительственной организацией, личным летательным аппаратом, эксплуатируемым физическим лицом, или летательным аппаратом любого другого типа, эксплуатируемым любым другим эксплуатантом летательного аппарата. Объект может быть другим летательным аппаратом на земле или любым наземным транспортным средством типа, обычно встречающегося в аэропорту.

[0032] Верхняя камера 2 и нижняя камера 4 выполнены с возможностью захвата данных изображений, представляющих изображения в соответствующих полях зрения камер. В одном примере реализации каждая из верхней камеры 2 и нижней камеры 4 может содержать камеру с широкоугольным полем зрения (т.е. больше чем 90 градусов). Указанные две камеры могут представлять собой камеры одного и того же типа или отличающихся типов. В альтернативных вариантах реализации система камер может включать в себя одну или более дополнительных камер.

[0033] Верхняя камера 2 и нижняя камера 4 может работать в любом диапазоне или любых диапазонах длин волн для захвата изображений. Например и без ограничения, верхняя камера 2 и нижняя камера 4 могут быть выполнены с возможностью получения изображений в одном или более из таких диапазонов длин волн, как инфракрасный, ближний инфракрасный, видимый и ультрафиолетовый. Камеры могут быть выполнены с возможностью захвата изображений посредством регистрации поляризованного света.

[0034] В одном примере реализации каждая из верхней камеры 2 и нижней камеры 4 захватывает видеоизображения, содержащие ряд последовательных кадров цифрового видео изображения, захватываемых с высокой частотой (например, 30 Гц) в течение определенного периода времени. Изображения, захватываемые верхней камерой 2 и нижней камерой 4, обрабатывают с использованием методов стереоскопии и определения структуры объекта по отображению движения для обнаружения присутствия одного или более объектов. При необходимости эти изображения также могут быть использованы для определения одной или более характеристик любых обнаруженных объектов с использованием технологии распознавания объектов.

[0035] В соответствии с одним вариантом реализации изобретения верхняя камера 2 и нижняя камера 4 установлены на вертикальном стабилизаторе 20 летательного аппарата 10, направлены вперед и имеют широкоугольное поле зрения. Например, боковой угол поля зрения предпочтительно больше, чем вертикальный угол поля зрения. Соответствующие поля зрения указанных двух камер перекрываются по меньшей мере частично, а в предпочтительном варианте перекрываются по существу полностью.

[0036] Система обнаружения объектов и предотвращения столкновений с ними также содержит дополнительные компоненты, обозначенные на ФИГ. 2, содержащие обрабатывающий блок 6 на основе машинного зрения, расположенный внутри фюзеляжа летательного аппарата, но соединенный с верхней камерой 2 и нижней камерой 4 с возможностью передачи данных, так что от этих камер обеспечена возможность приема данных изображений в виде соответствующих потоков видеокадров. Обрабатывающий блок 6 на основе машинного зрения может быть выполнен с возможностью извлечения информации о трехмерной форме и цвете из захваченных изображений объектов с использованием любого из множества способов, известных в данной области техники.

[0037] В соответствии с одним вариантом реализации изобретения обрабатывающий блок 6 на основе машинного зрения содержит компьютерную систему, которая исполняет программное обеспечение, выполненное с возможностью обработки принимаемых данных изображений, с использованием для обработки кадров алгоритмов стереоскопии и определения структуры объекта по отображению движения, чтобы определить, существует ли опасность столкновения с каким-либо объектом, находящимся поблизости. Согласно методу стереоскопии устанавливают соответствие точек или линий между двумя изображениями, захваченными двумя камерами, и оценивают, исходя из положений камер и пар соответствующих точек или линий на правом и левом изображениях, положения точек и линий на пространстве сцены, соответствующие указанным парам соответствующих точек или линий. Согласно методу определения структуры объекта по отображению движения отслеживают отдельные особенные точки на множестве изображений, полученных движущейся камерой, и оценивают положения точек в пространстве сцены, соответствующие особенным точкам.

[0038] Кроме того, программное обеспечение, исполняемое обрабатывающим блоком 6 на основе машинного зрения, выполнено с возможностью вычисления расстояния до каждого объекта возможного столкновения, появляющегося в поле зрения обеих камер, на основании данных изображений в соответствующих видеокадрах, одновременно полученных этими камерами, а также на основании данных о геометрии летательного аппарата, извлекаемых из конфигурационного файла 8 модели самолета, и данных о состоянии летательного аппарата (например, путевой скорости, курсе), принимаемых от блока 28 совмещенной инерциальной системы и системы воздушных сигналов (air data inertial reference unit, ADIRU). Конфигурационный файл 8 модели самолета содержит информацию о конкретной модели летательного аппарата (такую как возможности торможения и размеры летательного аппарата), которая необходима для определения, нужно ли, а если нужно, то когда выдать указания в кабину экипажа. Информация о размерах летательного аппарата описывает размер и форму всей внешней части летательного аппарата.

[0039] Обрабатывающий блок 6 на основе машинного зрения исполняет инструкции, сохраненные в некратковременном материальном компьютерочитаемом носителе информации (не показано на ФИГ. 2), таком как внутренний блок хранения данных, внешний блок хранения данных или их комбинация. Обрабатывающий блок 6 на основе машинного зрения может содержать любые средства, относящиеся к различным типам технологии обработки данных. Например, обрабатывающий блок 6 на основе машинного зрения может содержать электронный процессор специального назначения или компьютер общего назначения. Возможно использование других типов процессоров и технологий, относящихся к блокам обработки. Схожим образом, некратковременный материальный компьютерочитаемый носитель информации может содержать любые средства хранения данных. Например, некратковременный материальный компьютерочитаемый носитель информации может содержать оперативное запоминающее устройство, постоянное запоминающее устройство, твердотельную память или любую их комбинацию. Возможно использование других типов запоминающих устройств и технологий, относящихся к блокам хранения данных.

[0040] Система предотвращения столкновений, раскрытая в настоящем документе, регистрирует содержащую изображения сцену от двух отличающихся обеспечивающих перспективу точек обзора с использованием верхней камеры 2 и нижней камеры 4, показанных на ФИГ. 1. Синхронизированные во времени пары последовательностей изображений, выдаваемых этими камерами, содержат в неявном виде информацию о глубине сцены. Для извлечения этой информацию о глубине обрабатывающий блок 6 на основе машинного зрения использует обработку кадров (т.е. изображения) средствами стереоскопии и методом определения структуры объекта по отображению движения.

[0041] В соответствии с одним вариантом осуществления изобретения обрабатывающий блок 6 на основе машинного зрения содержит компьютерную систему, которая реализует программное обеспечение, выполненное с возможностью обрабатывать последовательные пары видов (т.е. видеокадров) для каждого объекта возможного столкновения, которые требуют измерения расстояния. Каждый объект, представляющий интерес, имеет немного отличающееся расположение в поле обзора каждой камеры. Это несоответствие/смещение прямо пропорционально расстоянию. Во время обработки последовательных видеокадров также может быть оценена скорость изменения расстояния каждого объекта до каждой точки на летательном аппарате на основании изменения расстояния across одного или более видеокадров вместе с данной частотой кадров камер, известной геометрии летательного аппарата и места установки камер. С помощью расстояния и скорости изменения расстояния, обрабатывающим блоком 6 на основе машинного зрения может быть вычислено время до столкновения в направлении каждой точки летательного аппарата. Таким образом, время до столкновения может быть оценено и сравнено с предварительно сохраненными пороговыми значениями обнаружения. Когда пороговое значение обнаружения превышено, сигнал включения звуковой подсказки отправляют в находящуюся в кабине экипажа систему 34 звуковой сигнализации, которая, таким образом, приводится в действие для озвучивания подсказки через акустическую систему 36. Конкретное звучание звуковой подсказки зависит от величины сближения с объектом или близости возможного столкновения. В соответствии с одним вариантом осуществления изобретения, когда время до столкновения уменьшается, происходит превышение соответствующих пороговых значений обнаружения, которые приводят к включению соответствующих звуковых индикаторов, представляющих соответствующие уровни риска. Например, на основании близости возможного столкновения пилоту может быть выдано звуковое предупреждение, при этом более угрожающие столкновения характеризуются более громкими (т.е. с большей громкостью или амплитудой) или более частыми (т.е. с большей частотой повторения) звуковыми подсказками.

[0042] Как показано на ФИГ. 2, обрабатывающий блок 6 на основе машинного зрения также регистрирует указанные две обеспечивающие перспективу точки обзора от камер и объединяет их для обеспечения стереоскопической последовательности изображений, которую отправляют в находящуюся в кабине экипажа систему отображения или электронный планшет 30 летчика и затем отображают на устройстве 32 отображения информации в кабине экипажа для просмотра пилотом. Кроме того, обрабатывающий блок 6 на основе машинного зрения отправляет данные о времени до столкновения в находящуюся в кабине экипажа систему отображения или электронный планшет 30 летчика для отображения на устройстве 32 отображения информации в кабине экипажа.

[0043] На ФИГ. 3 показана структурная схема, на которой указаны этапы способа озвучивания подсказки в кабине экипажа на основании величины сближения объекта возможного столкновения с летательным аппаратом на взлетно-посадочной полосе. Обрабатывающий блок 6 на основе машинного зрения (см. ФИГ. 2) содержит прошивку 40, находящуюся в энергонезависимом запоминающем устройстве, таком как постоянное запоминающее устройство, стираемое программируемое постоянное запоминающее устройство или флэш-память. В соответствии с одним вариантом реализации изобретения данные, вводимые в прошивку 40, включают в себя шаблоны для особенностей модели летательного аппарата, которые содержат шаблоны изображений и информацию о метках и оборудовании, видимых на верхней части летательного аппарата, для регистрации/калибровки камер. Особенности, которые могут быть использованы для калибровки, находящиеся на летательном аппарате определенной модели, включают в себя трубки Пито, антенны, верхние центры окон, особенности крыши, передние и задние кромки законцовок крыльев, нижнюю часть вертикального стабилизатора и нижнюю камеру. Данные, вводимые в прошивку 40 также включают в себя данные о геометрии летательного аппарата и данные о состоянии летательного аппарата. Данные о геометрии летательного аппарата включают в себя общую внешнюю геометрическую модель летательного аппарата для использования при обработке основных вычислений времени до столкновения, а также заданную представляющую интерес область вокруг летательного аппарата, в которой следует рассматривать события столкновения с целью их выявления. Данные о состоянии летательного аппарата включают в себя данные, взятые из конфигурационного файла 8 модели самолета (см. ФИГ. 2), который содержит информацию о конкретной модели летательного аппарата, необходимую для определения, нужно ли, а если нужно, то когда, выдать указания в кабину экипажа (такую информацию, как возможности торможения и размеры летательного аппарата). Данные о состоянии летательного аппарата могут также содержать метеорологические данные и данные, представляющие условия аэропорта (влажное/сухое покрытие, специальные сведения относительно аэропорта и т.д.). Четвертый элемент данных, используемых только при обработке на основе времени до столкновения (подробно описано ниже), представляет собой набор моделей образов безопасных объектов, используемых для удаления из сцены объектов, для которых не нужно проводить обработку в целях предотвращения столкновений. Эти объекты включают в себя, например, людей, идущих через сцену, пассажирские трапы, бензовозы, багажные тележки и т.д. Такие ожидаемые объекты не должны приводить к созданию внешних подсказок.

[0044] После загрузки прошивки 40 система готова к калибровке. Обрабатывающий блок 6 на основе машинного зрения выполнен с возможностью реализации процесса 42 калибровки для каждой камеры в ответ на прием сигнала, указывающего на включение электрического питания летательного аппарата. После калибровки обеих камер система обнаружения объектов и предотвращения столкновений с ними готова для использования во время наземных операций летательного аппарата. Верхняя и нижняя камеры захватывают последовательные изображения в виде видеокадров, когда летательный аппарат находится на земле (этап 44). Эти видеокадры затем обрабатывают с использованием известных методов стереоскопии и определения структуры объекта по отображению движения (этап 46). Например, соответствующие изображения объекта в парных видеокадрах выявляют, сегментируют, связывают известным способом и измеряют стереоскопические несоответствия/смещения. Обработанные видеокадры отправляют в находящуюся в кабине экипажа систему отображения или электронный планшет 30 летчика (см. ФИГ. 2) и затем отображают на устройстве 32 отображения информации в кабине экипажа для просмотра пилотом. Кроме того, измерения несоответствий/смещений используют для вычисления минимального времени до столкновения (time-to-collision, ТТС) (этап 48) на основании вычисленных расстояний и скорости изменения расстояния. Полученные в результате данные времени до столкновения отправляют в находящуюся в кабине экипажа систему отображения или электронный планшет 30 летчика для отображения на устройстве 32 отображения информации в кабине экипажа. Данные времени до столкновения также отправляют в компаратор, который сравнивает минимальное время до столкновения с одним или более пороговыми значениями обнаружения (этап 50). Если компаратор определяет, что превышено пороговое значение обнаружения, сигнал звуковой подсказки времени до столкновения отправляют в находящуюся в кабине экипажа систему 34 звуковой сигнализации (см. ФИГ. 2), которая приводится в действие, таким образом, для озвучивания соответствующей подсказки. Например, может быть оценено время до столкновения, и на основании близости возможного столкновения может быть создана звуковая подсказка, при этом более угрожающие столкновения характеризуются более громкими или более частыми звуковыми подсказками. В альтернативном варианте реализации или дополнительно на устройстве 32 отображения информации в кабине экипажа может быть отображена графическая подсказка, указывающая на близость возможного столкновения.

[0045] Процесс 42 самокалибровки при включении питания использует шаблоны и корреляцию для определения местоположения каждой особенной точки, а также специальный шаблон для особенности, соответствующий нижней камере 4, на виде ниже верхней камеры 2. На ФИГ. 4 показана структурная схема, на которой указаны этапы алгоритма калибровки при включении питания, реализуемого обрабатывающим блоком 6 на основе машинного зрения в соответствии с одним вариантом реализации изобретения. Этот алгоритм используют для калибровки верхней и нижней камер относительно системы координат летательного аппарата. Во время процесса калибровки обрабатывающий блок 6 на основе машинного зрения (или отдельный компьютер, соединенный с блоком 6 с возможностью передачи данных, или отдельные процессоры, встроенные в камеры) приводит в действие обе камеры для съемки верхней части летательного аппарата в ответ на прием сигнала включения питания (этап 52). Обрабатывающий блок 6 на основе машинного зрения (см. ФИГ. 2) сегментирует части летательного аппарата, видимые на обоих изображениях, с использованием мест расположения особенностей с размерами, подходящими для шаблонов изображений каждой особенности (этап 54). Затем соотносят каждый сегмент, содержащий особенность, с ее изображением в шаблоне и вычисляют максимальный коэффициент корреляции вместе со смещением от первоначального места расположения особенности (этап 56). Максимальный коэффициент корреляции сравнивают с пороговым значением коэффициента корреляции, и если он больше порогового значения коэффициента корреляции, корреляцию считают хорошей (этап 58). Сохраняют результаты сравнения для каждой особенности (этап 60). Затем определяют, было ли установлено достаточное количество хороших корреляций или нет (этап 62). Если хорошими являются недостаточное количество корреляций, используют предыдущие данные стереокалибровки в виде существенной матрицы (этап 66). [В системах компьютерного зрения существенной матрицей является матрица размером 3×3 (более подробно описано ниже) с некоторыми дополнительными свойствами, называемыми внутренними ограничениями, которая соотносит соответствующие точки в стереоизображениях при условии, что камеры удовлетворяют модели камеры-обскура.] Если хорошими являются достаточное количество корреляций, используют все значения смещения при хорошей корреляции для повторного вычисления существенной матрицы (этап 64). После сохранения результатов сравнения для каждой особенности (этап 60) выполняют определение, может ли быть найден в обрабатываемом изображении шаблон нижней камеры или нет (этап 68). Если корреляция между отображаемой особенностью и шаблоном нижней камеры является хорошей, используемую в настоящий момент камеру, подвергаемую калибровке, объявляют верхней камерой 2 (этап 72). В противном случае используемую в настоящий момент камеру, подвергаемую калибровке, объявляют нижней камерой 4 (этап 70).

[0046] В соответствии с одним вариантом реализации изобретения верхнюю камеру 2 и нижнюю камеру 4 калибруют с использованием оцененных параметров камеры. Оценка параметров одиночной камеры требует оценки внутренних и внешних параметров и коэффициентов дисторсии одиночной камеры. Эти оценки могут быть выполнены в зависимости от комбинации камера/линза и будут одинаковыми для всех установок камеры. Они могут быть выполнены автономно с использованием стандартных методов, но модифицированных для широкоугольной линзы или линзы с эффектом "рыбий глаз", чтобы лучше смоделировать дисторсию линз. В случае использования пары камер для формирования стереоскопических изображений эти две камеры необходимо откалибровать относительно системы координат летательного аппарата для обеспечения смотрящей вперед стереосистемы предотвращения столкновений.

[0047] Для моделирования внутренних параметров камеры в алгоритме калибровки принимают линейную модель камеры, чтобы правильно смоделировать систему координат камеры с целью построить карту соответствия пикселей. Это выполняют для устранения дисторсий местоположений изображений внешних объектов, с тем чтобы обеспечить возможность использования измерения несоответствия/смещения и методов определения структуры объекта по отображению движения для точной обработки всего поля зрения. Использование точной калибровки камер обеспечит возможность точной оценки расстояния и скорости изменения расстояния внешних объектов для всего поля зрения указанной пары камер.

[0048] В частности, линейная модель для одиночной камеры выглядит следующим образом:

, где

(X, Y, Z) - мировые координаты точки;

(х, у) - координаты соответствующей точки изображения;

w - масштабный коэффициент, показывающий отношение нормализованного пиксельного расстояния к мировому расстоянию;

K - матрица 3×3 внутренних параметров камеры;

R - матрица 3×3, представляющая трехмерный поворот камеры; и

Т - перенос 1×3 камеры относительно системы мировых координат.

[0049] Матрица K внутренних параметров камеры содержит пять внутренних параметров, как показано ниже:

[0050] Эти параметры включают фокусное расстояние, формат датчика изображений и главную точку. Параметры α_x=ƒ⋅m_x и α_у=ƒ⋅m_y представляют фокусное расстояние в пикселях, где m_x и m_y - масштабные коэффициенты, показывающие отношение пикселей к расстоянию, и ƒ - фокусное расстояние в показателях расстояния. Также, γ характеризует коэффициент наклона между осями х и у, и u₀ и v₀ представляют главную точку, которая в идеальном случае должна находиться в центре изображения.

[0051] Вышеприведенная линейная модель должна быть скорректирована с использованием дополнительных нелинейных факторов для учета радиальной (линзовой) дисторсии и тангенциальной дисторсии. Они часто определяются полиномиальными моделями и используются для корректировки пикселей точек изображения, не подвергнутого дисторсии, с получением пикселей точек изображения, подвергнутого дисторсии (или наоборот). Для нахождения этих полиномиальных параметров иногда используются методы нелинейной оптимизации.

[0052] При радиальной (линзовой) дисторсии, с множества углов и расстояний и по полю зрения камеры или пары камер получают изображения стандартной испытательной таблицы, такой как шахматная доска или фрактальный узор. Затем оценивают преобразование, которое выравнивает особенные точки в пиксельном пространстве камер. Есть несколько важных эффектов в отношении моделирования с преобразованием. На ФИГ. 5А-5С схематично показаны соответственно работа 74 линзы при отсутствии дисторсии (ФИГ. 5А), проявление положительной радиальной "бочкообразной" дисторсии 76 (ФИГ. 5В) и проявление отрицательной радиальной "подушкообразной" дисторсии 78 (ФИГ. 5С).

[0053] В геометрической оптике дисторсия является отклонением от прямолинейной проекции, при которой прямые линии в сцене остаются прямыми на изображении. Она является видом оптической аберрации. Как раскрыто выше, оценка параметров одиночной камеры требует оценки внутренних и внешних параметров и коэффициентов дисторсии одиночной камеры.

[0054] В соответствии с одним вариантом реализации изобретения с множества углов и расстояний и по полю зрения камеры получают изображения стандартной прямоугольной испытательной таблицы, такой как шахматная доска (см. ФИГ. 5А). Затем оценивают преобразование, которое выравнивает особенные точки в пиксельном пространстве камеры. Есть несколько важных эффектов в отношении моделирования с преобразованием. Это преобразование приводит к устранению радиальной дисторсии, вызываемой линзой. Наиболее часто встречающиеся дисторсии являются симметричными в радиальном направлении или почти симметричными в радиальном направлении. Такие радиальные дисторсии возникают вследствие симметрии фотографической линзы. Эти радиальные дисторсии обычно могут быть классифицированы как положительные радиальные (т.е. бочкообразные) дисторсии или отрицательные радиальные (т.е. подушкообразные) дисторсии. Бочкообразная дисторсия, обычно видна на широкоугольных линзах и возникает потому, что поле зрения линзы гораздо шире, чем размер датчика изображений, и, следовательно, оно нуждается в "сжатии" для подгонки. При бочкообразной дисторсии увеличение изображения уменьшается с увеличением расстояния от оптической оси. Видимый эффект (изображенный на ФИГ. 5В) состоит в отображении изображения вокруг сферы (или бочки). При подушкообразной дисторсии увеличение изображения увеличивается с увеличением расстояния от оптической оси. Видимый эффект (изображенный на ФИГ. 5С) состоит в том, что линии, которые не проходят через центр изображения, изгибаются внутрь, по направлению к центру изображения, как подушечка.

[0055] В соответствии с одним вариантом реализации изобретения, раскрытым в настоящем документе, вычисляют матрицу преобразования, которая позволит устранить радиальные дисторсии, вызываемые линзой, обусловливающей появление таких эффектов, как те, которые изображены на ФИГ. 5В и 5С. Обычно это делается с использованием полиномиального моделирования, например с помощью следующих уравнений, в которых точки дисторсии обозначены как x_distorted и y_distorted соответственно:

x_distorted=х(1+k₁*r²+k₂*r⁴+k₃*r⁶+…)

y_distorted=у(1+k₁*r²+k₂*r⁴+k₃*r⁶+…), где

х и у - места расположения пикселей неискаженного изображения;

k₁, k₂ и k₃ - коэффициенты радиальной дисторсии линзы; и

r² - расстояние от центра матрицы пикселей (т.е. r²=х²+у²).

Большая дисторсия, которая, например, возникает в широкоугольных линзах, требует большего количества коэффициентов для точного моделирования.

[0056] Дополнительная нелинейная дисторсия вызывается тангенциальной дисторсией, возникающей, когда линза и плоскость изображения (т.е. датчик) не параллельны. На ФИГ. 6А показана линза 4 камеры и датчик 6 камеры, которые параллельны вертикальной плоскости 8. В отличие от этого, на ФИГ. 6В показана линза 4 камеры, которая параллельна вертикальной плоскости 8, а датчик 6 камеры не параллелен линзе 4 камеры. Коэффициенты тангенциальной дисторсии моделируют тип дисторсии, изображенный на ФИГ. 6В.

[0057] Точки дисторсии обозначены как x_distorted и y_distorted соответственно:

x_distorted=x+[2*p₁*x*y+p₂*(r²+2*x²)]

y_distorted=у+[p₁*(r²+2*у²)+2*р₂*х*у], где

х и у - места расположения пикселей неискаженного изображения;

p₁ и р₂ - коэффициенты тангенциальной дисторсии линзы; и

r² - расстояние от центра матрицы пикселей (т.е. r²=х²+у²).

[0058] Для стереокалибровки камер требуются по меньшей мере относительные положение и ориентация указанной пары камер. Если камеры калибруют по отдельности, должны быть указаны относительные положение и ориентация указанной пары камер. В частности, вышеуказанные модели могут включать в себя две матрицы R12 и R21 поворота величиной 3×3, которые соотносят поворот первой камеры с поворотом второй камеры и наоборот. Также имеются две вектора Т12 и Т21 переноса величиной 3×1, которые соотносят перенос первой камеры с переносом второй камеры и наоборот. Кроме того, указанная пара камер может также иметь отличающиеся матрицы K1 и K2 внутренних параметров камер, а также отличающиеся нелинейные дисторсии.

[0059] В качестве альтернативы, чтобы способствовать стереообработке, вышеуказанные линейные модели могут быть скомбинированы для соотнесения нормализованных мест расположения пикселей в указанных двух камерах с использованием того, что называется существенной матрицей Е, которая является матрицей 3×3, которая соотносит указанные две камеры, так что они удовлетворяют следующему уравнению:

[х₂, у₂, 1]*E*[x₁, у₁, 1]=0, где точки выражены в нормализованных координатах изображения. Здесь начало координат находится в оптическом центре камеры, а координаты х и у пикселей нормализованы фокусным расстоянием f_x и f_y. (Этот простой линейный вариант не охватывает отдельные нелинейные дисторсии в обеих камерах, описанные выше.) Существенная матрица определяется как матричное произведение одной матрицы поворота и одной кососимметричной матрицы, обе из которых имеют размер 3×3. Кососимметричная матрица должна иметь два сингулярных значения, которые равны, и одно из которых равно нулю. Умножение матрицы поворота не изменяет сингулярные значения, что означает, что существенная матрица также имеет два сингулярных значения, которые равны, и одно из которых равно нулю.

[0060] Результатом процесса калибровки является то, что обрабатывающий блок 6 на основе машинного зрения будет выполнен с возможностью определения того, какая видеопоследовательность поступает от верхней камеры 2, а какая видеопоследовательность поступает от нижней камеры 4. Принимая во внимание эту информацию и смещения, обрабатывающий блок 6 на основе машинного зрения производит обработку кадров для определения расстояния до объекта и скорости, с которой это расстояние изменяется. Для обработки кадров берут каждую пару изображений (синхронно) от указанных двух камер и создают показатель времени до столкновения для находящейся в кабине экипажа системы, чтобы представить его пилотам каким-либо подходящим образом (с помощью звуковых или визуальных подсказок). Первый этап заключается в создании трехмерного изображения по меньшей мере из двух двумерных изображений с использованием одного или более способов трехмерной обработки, таких как стереоскопия и определение структуры объекта по отображению движения. Для этого этапа используют известные методы обработки изображения. Общая информация об обработке методом стереоскопии (т.е. оценка глубины исходя из стерео видео) и обработке методом определения структуры объекта по отображению движения (т.е. оценка трехмерной структуры сцены из набора двумерных изображений) может быть найдена на веб-сайте www.mathworks.com и в книге "Multiple View Geometry in Computer Vision", Second Edition, авторов Richard Hartley и Andrew Zisserman, издательство Cambridge University Press, март 2004. Второй этап заключается в вычислении соответствующего минимального времени до столкновения между каждым объектом в сцене и летательным аппаратом. Значение этого параметра может быть "бесконечным", если ни для каких объектов не предсказывается столкновение. После этого находящееся в кабине экипажа программное обеспечение предупреждения столкновений может создать звуковую или визуальную подсказку, интенсивность которой может быть основана на величине минимального времени до столкновения, и только при заданных условиях (например, только при рулении, не в полете и не при стоянке у выхода на посадку).

[0061] На ФИГ. 7 показан процессор 80 предотвращения столкновений, запрограммированный на вычисление времени до столкновения между объектом и летательным аппаратом на земле. Процесс вычисления времени до столкновения может быть реализован посредством исполнения кода различных программных модулей, сохраненных в некратковременном материальном компьютерочитаемом носителе информации. Процессор 80 предотвращения столкновений может содержать множество блоков обработки, которые исполняют код соответствующих программных модулей.

[0062] Как показано на ФИГ. 7, процессор 80 предотвращения столкновений принимает данные, представляющие данные трехмерного изображения, от программного модуля обработки трехмерных изображений (не показано). Эти данные трехмерного изображения будут в мировых координатах (X,Y,Z,R,G,В), если существуют три цветовых плоскости - красная, зеленая и синяя. Это приводит к созданию облака точек в шестимерном пространстве. По существу есть пара двумерных изображений, из которых было получено это облако точек. Они представляют собой двумерные массивы в координатах пикселей с цветовыми векторами (R,G,В) для элементов, или то, что также представляется в виде трех двумерных массивов для красного, зеленого и синего цветов. Обработка для получения времени до столкновения включает обработку как облака точек (3-D), так и в цветовых плоскостях (2-D). Результаты обработки для получения времени до столкновения выводят из процессора 80 предотвращения столкновений в полетную систему 34 звуковой сигнализации и находящуюся в кабине экипажа систему отображения или электронный планшет 30 летчика. Следует отметить, что этап сравнения времени до столкновения с одним или более пороговыми значениями обнаружения может быть реализован либо в процессоре 80 предотвращения столкновений, либо в отдельном процессоре в находящейся в кабине экипажа системе 34 звуковой сигнализации. Если определение пороговых значений выполняют в процессоре 80 предотвращения столкновений, пороговые значения обнаружения включены в данные 40с о состоянии летательного аппарата.

[0063] В соответствии с одним вариантом реализации изобретения процессор 80 предотвращения столкновений выполняет по меньшей мере этапы, указанные на ФИГ. 7. Сначала данные облака точек обрезают путем удаления всех точек в облаке точек, которые находятся за пределами представляющей интерес области (region of interest, ROI) летательного аппарата (этап 82). Это исключает обработку данных облака точек, которые могут привести к обнаружению столкновений со взлетно-посадочной полосой и "небом", а также объектами, которые находятся слишком далеко или прикреплены к летательному аппарату. Такая функция обрезки облака точек использует данные 40а о геометрии летательного аппарата в прошивке 40.

[0064] Далее, данные изображения, представляющие безопасные объекты, сегментируют в данных обрезанных двумерных изображений (этап 84). Для сегментации безопасных объектов используют стандартную обработку сегментации изображений для вычленения сегментацией "безопасных" объектов, представляемых набором моделей 40b образов безопасных объектов, загруженных в прошивку 40. Процесс сегментации безопасных объектов приводит к исключению находящихся на сцене объектов, для которых не следует производить обработку с целью предупреждения столкновений. Эти объекты включают в себя, например, людей, идущих через сцену, пассажирские трапы, бензовозы, багажные тележки и т.д. Такие ожидаемые объекты не должны вызывать внешних сигналов тревоги. Указанное приводит к созданию наборов пикселей для каждого такого объекта. Каждый пиксель безопасного сегмента связывают с точкой в облаке точек (этап 88) посредством карты расстояний, полученной в результате обработки методом стереоскопии. Каждую такую безопасную точку в облаке точек удаляют (этап 84).

[0065] После этого к облаку точек применяют низкочастотный фильтр 90 для многомерных изображений. Этот фильтр задают таким образом, чтобы при обработке учитывать тот факт, что чем дальше от камер находится каждая точка, тем менее плотным является облако точек. Таким образом, фильтр должен реагировать с более широким импульсом для более отдаленных мест его применения. Стандартный метод заключается в вычислении y_d=conv_d([1]_R,x_d), где conv_d() является вычислением стандартной d-мерной

свертки, a [1]_R обозначает d-мерную матрицу, каждый элемент которой является единицей для, и имеет размер R в каждом измерении, где R - расстояние точки x_d от начала координат пространства облака точек (в центральной точке между двумя камерами).

[0066] Следующий этап обработки заключается в необходимости обнаружения событий (т.е. "пятнышек" (blobs)), которые представляют или характеризуют присутствие объекта в отфильтрованных данных облака точек, и этот объект не является безопасным объектом (этап 92). Данные, касающиеся различных объектов, находящихся на изображениях, могут быть сохранены в виде стохастической гистограммы. Эти события соответствуют областям гистограммы, которые накапливаются с течением времени. При обработке, реализующей обнаружение событий, происходит отслеживание накопления данных в стохастической гистограмме для обнаружения события. Событием, например, может быть факт, когда значение для конкретного интервала в стохастической гистограмме больше, чем некоторое выбранное значение. Существуют различные способы обнаружения событий, например, с использованием методов "среднее значение поверх среднего значения" (mean above mean), раскрытых в патенте US 9,046,593, или с использованием способов на основе штрих-кодов, раскрытых в патенте US 9,430,688.

[0067] Затем процессор 80 предотвращения столкновений вычисляет среднее местоположение и вектор скорости каждого объекта, соответствующего соответствующему пятнышку в текущем видеокадре (этап 94). Вектор скорости вычисляют как разность между средними местоположениями объекта, соответствующего пятнышку в текущем видеокадре и пятнышку в предыдущем видеокадре, и с последующим делением разности на частоту кадров.

[0068] После этого процессор 80 предотвращения столкновений принимает среднее местоположение объекта и вычисляет, где объект, соответствующий конкретному пятнышку, может пересечь геометрическую форму летательного аппарата, с использованием данных 40с о состоянии летательного аппарата, загруженных в прошивку 40, а также с использованием вектора скорости. В математических терминах происходит простое вычисление пересечения луча или линии сегмента с каждым из треугольников в геометрической модели летательного аппарата. Один подходящий метод вычисления пересечения луча или линии сегмента с треугольником раскрыт по Интернет-адресу http://geomalgorithms.com/a06-_intersect-2.html. В результате этого вычисления также вычисляют показатель времени до этой точки пересечения. Это показатель времени изменяют так, чтобы отразить тот факт, что объект, представленный пятнышком, имеет определенный размер, и, таким образом, полученное время уменьшают на отношение радиуса объекта с учетом нормы вектора скорости объекта, при этом результатом этого вычитания является величина времени до столкновения (ТТС), так как он учитывает оценки, когда передняя часть объекта совершит столкновение (не его центр). Затем эта величина времени до столкновения может быть выдана в находящиеся в кабине экипажа системы.

[0069] Следует отметить, что приведенные в данном документе ссылки на скорость означают скорость относительно летательного аппарата, а не абсолютную скорость (т.е. не по отношению к земле). Модель летательного аппарата может быть выполнена крупнее, чтобы решать вопросы, касающиеся неточности оценок направления скорости.

[0070] Кодированные инструкции для реализации способа обнаружения могут быть сохранены в запоминающем устройстве большой емкости, в энергозависимой памяти, в энергонезависимой памяти и/или на съемном некратковременном материальном компьютерочитаемом носителе информации, таком как оптический диск для хранения цифровых данных.

[0071] Способ обнаружения может быть реализован с использованием машиночитаемых инструкций, которые содержат программу для исполнения процессором, таким как процессор 80 предотвращения столкновений, показанный на ФИГ. 7. Программа может быть реализована в программном обеспечении, сохраненном на некратковременном материальном компьютерочитаемом носителе информации, таком как оптический диск, гибкий диск, жесткий диск или запоминающее устройство, связанное с процессором 80 предотвращения столкновений, однако в альтернативном варианте реализации вся программа и/или ее части могут быть исполнены с помощью устройства, воплощенного в прошивке или специализированных аппаратных средствах.

[0072] Установленная на летательном аппарате система обнаружения объектов и предотвращения столкновений с ними, раскрытая в настоящем документе, может быть реализована посредством аппаратных средств, программного обеспечения, прошивки и/или любой комбинации аппаратных средств, программного обеспечения и/или прошивки. Так, например, установленная на летательном аппарате система обнаружения объектов и предотвращения столкновений с ними может быть реализована с использованием аналоговых или цифровых схем, логических схем, программируемых процессоров, специализированных интегральных схем, программируемых логических устройств или полевых программируемых логических устройств.

[0073] Кроме того, установка двух камер на вертикальном стабилизаторе летательного аппарата позволяет проводить стереоизмерения в режиме реального времени. Эти стереоизмерения в режиме реального времени позволяют сфокусировать каждую из указанных двух камер на объекте и выполнить захват соответствующих двумерных видов. Данные изображения могут быть использованы для вычисления размера объекта, расстояния до объекта и скорости, с которой расстояние до объекта изменяется, когда движутся объект и летательный аппарат.

[0074] В соответствии с одним вариантом реализации изобретения сначала обнаруживают вторжение, когда объект входит в поле зрения камеры, и это запускает часы для отсчета времени, при котором следует остановить летательный аппарат до возникновения столкновения. Обнаружение может выполняться примерно с частотой кадров камеры, при условии достаточных вычислительных ресурсов. На этот момент пилот будет иметь некоторое время реакции до того, как он приведет в действие тормоза. Тормозной путь крупного летательного аппарата занимает некоторое время, которое изменяется в зависимости от условий покрытия, например сухого, влажного или ледяного покрытия.

[0075] В соответствии с одним вариантом осуществления изобретения верхняя и нижняя камеры установлены на передней кромке вертикального стабилизатора летательного аппарата, при этом камеры разделены расстоянием, величиной в 10 футов (3,0 м). Обе камеры имеют боковое поле зрения величиной в 90-градусов и нацелены вдоль осевой линии летательного аппарата.

[0076] Таким образом, описана система предотвращения столкновений на летательном аппарате, выполняющем наземные операции, в котором установлены широкоугольные стереоскопические камеры на передней кромке вертикального стабилизатора. Эти камеры могут быть либо камерами видимого света, инфракрасными камерами, либо какой-либо их комбинацией, которая сможет обеспечить возможность работы днем или днем и ночью без необходимости лицензирования активных систем, таких как и лазерный локатор. Эти камеры могут быть установлены на летательном аппарате, находящемся в эксплуатации, во время проведения модернизации. Раскрытая система реализует способ самокалибровки при включении питания с использованием существующих особенных точек на "виде сверху" летательного аппарата для корректировки сохраненных матриц калибровки камер системы стереозрения, используемых в алгоритме метода стереоскопии при установке и во время каждой операции включения питания. Наконец, используя маркировку для особенностей камеры, можно использовать идентичное программное обеспечение для верхней и нижней камер.

[0077] Хотя системы предотвращения столкновений были описаны со ссылкой на различные вариантов реализации, специалистам в данной области техники должно быть понятно, что могут быть сделаны различные изменения, и их элементы могут быть заменены эквивалентными, не выходя за пределы объема формулы изобретения, представленной далее. Кроме того, многие модификации могут быть сделаны, чтобы адаптировать положения, раскрытые в настоящем документе, для конкретной ситуации без отступления от объема формулы изобретения.

[0078] Термин "компьютерная система" при использовании в формуле изобретения следует толковать в широком смысле для охвата системы, имеющей по меньшей мере один компьютер или процессор, при этом она может иметь множество компьютеров или процессоров, которые выполняют обработку независимо или которые осуществляют связь через сеть или шину.

Группа изобретений содержит два варианта системы для предупреждения пилота о риске столкновения и способ предупреждения пилота, а также способ калибровки камер. Каждый из вариантов систем предупреждения содержит две камеры, установленные на определенных высотах в определенном месте самолета, систему обеспечения подсказок в кабине экипажа летательного аппарата, компьютерную систему, запрограммированную определенным образом для каждого варианта. Для реализации способа приводят в действие обе камеры для создания первого и второго потоков видеокадров, представляющие изображения объекта в сцене и изображение соответствующей части летательного аппарата, производят обработку видеокадров для вычисления расстояния до препятствия, скорости сближения и промежуток времени до столкновения. Калибровку камер производят на основании вышеуказанных потоков видеокадров. Обеспечивается возможность оценки времени до столкновения для каждой точки летательного аппарата. 4 н. и 16 з.п. ф-лы, 7 ил.

1. Система для предупреждения пилота о риске столкновения, содержащая:

- первую камеру, установленную на первой высоте на передней кромке вертикального стабилизатора летательного аппарата для создания первого потока видеокадров, которые включают в себя первые данные изображения, представляющие изображение объекта в сцене, и вторые данные изображения, представляющие изображение части летательного аппарата;

- вторую камеру, установленную на второй высоте на передней кромке вертикального стабилизатора для создания второго потока видеокадров, которые включают в себя третьи данные изображения, представляющие изображение объекта в сцене, и четвертые данные изображения, представляющие изображение указанной части летательного аппарата, причем вторая высота меньше, чем первая высота;

- систему обеспечения подсказок в кабине экипажа летательного аппарата, выполненную с возможностью выработки подсказки; и

- компьютерную систему, запрограммированную на:

обработку видеокадров первого и второго потоков для определения первого расстояния до объекта и первой скорости изменения расстояния, с которой изменяется расстояние до объекта за первый промежуток времени;

вычисление первого промежутка времени до столкновения на основании по меньшей мере указанных первого расстояния и первой скорости изменения расстояния; и

включение системы обеспечения подсказок для создания первой подсказки, в случае если первый промежуток времени до столкновения меньше, чем первое пороговое значение обнаружения.

2. Система по п. 1, в которой компьютерная система также запрограммирована на: обработку видеокадров первого и второго потоков для определения второго расстояния до объекта и второй скорости изменения расстояния, с которой указанное расстояние изменяется за второй промежуток времени, следующий за первым промежутком времени;

вычисление второго промежутка времени до столкновения на основании по меньшей мере указанных второго расстояния и второй скорости изменения расстояния; и

включение системы обеспечения подсказок для создания второй подсказки, отличной от первой подсказки, в случае если второй промежуток времени до столкновения меньше, чем второе пороговое значение обнаружения, причем второе пороговое значение обнаружения меньше, чем первое пороговое значение обнаружения.

3. Система по п. 2, в которой первая подсказка представляет собой звук, имеющий первую громкость, а вторая подсказка представляет собой звук, имеющий вторую громкость, превышающую первую громкость.

4. Система по п. 2, в которой первая подсказка представляет собой повторяющийся звук, имеющий первую частоту повторения, а вторая подсказка представляет собой повторяющийся звук, имеющий вторую частоту повторения, превышающую первую частоту повторения.

5. Система по п. 1, в которой обеспечена возможность обработки видеокадров первого и второго потоков с использованием метода стереоскопии для оценки глубины объекта.

6. Система по п. 1, в которой обеспечена возможность обработки видеокадров первого и второго потоков с использованием метода определения структуры объекта по отображению движения для оценки трехмерной структуры сцены.

7. Система по п. 1, в которой первая и вторая камеры нацелены в прямом направлении вдоль осевой линии летательного аппарата с соответствующими полями зрения, которые по меньшей мере частично перекрываются.

8. Система по п. 1, в которой компьютерная система также запрограммирована на: приведение в действие первой и второй камер для захвата первого и второго изображений и калибровку первой и второй камер на основании указанных первого и второго изображений.

9. Система по п. 8, в которой компьютерная система также запрограммирована на:

обнаружение на первом изображении данных изображения, соотносящихся с шаблоном камеры; и

объявление первой камеры верхней камерой при обнаружении на первом изображении данных изображения, соотносящихся с шаблоном камеры.

10. Система по п. 1, в которой компьютерная система также запрограммирована на:

сегментирование данных изображения на первом и втором изображениях, которые представляют части летательного аппарата, видимые на обоих изображениях, с использованием мест расположения особенностей с размерами, подходящими для шаблонов изображений каждой особенности;

соотнесение каждого сегмента, содержащего особенность, с ее изображением в шаблоне;

вычисление максимального коэффициента корреляции вместе со смещением от первоначального места расположения особенности;

сравнение максимального коэффициента корреляции с пороговым значением коэффициента корреляции и

определение существенной матрицы по меньшей мере частично на основании результатов сравнения максимального коэффициента корреляции с пороговым значением коэффициента корреляции.

11. Система для предупреждения пилота о риске столкновения, содержащая:

- первую камеру, установленную на первой высоте на передней кромке вертикального стабилизатора летательного аппарата;

- вторую камеру, установленную на второй высоте на передней кромке вертикального стабилизатора, при этом вторая высота отличается от первой высоты; и

- компьютерную систему, запрограммированную на:

приведение в действие первой и второй камер для захвата первого и второго изображений;

обнаружение данных изображения, соотносящихся с шаблоном камеры, в одном из первого и второго изображений и

объявление одной из первой и второй камер верхней камерой на основании того, какое из первого и второго изображений, содержащих данные изображения, соотносится с шаблоном камеры.

12. Способ предупреждения о существовании риска столкновения, включающий:

приведение в действие первой камеры, установленной на первой высоте на передней кромке вертикального стабилизатора летательного аппарата, для создания первого потока видеокадров, которые включают в себя первые данные изображения, представляющие изображение объекта в сцене, и вторые данные изображения, представляющие изображение части летательного аппарата;

приведение в действие второй камеры, установленной на второй высоте на передней кромке вертикального стабилизатора, для создания второго потока видеокадров, которые включают в себя третьи данные изображения, представляющие изображение объекта в сцене, и четвертые данные изображения, представляющие изображение указанной части летательного аппарата, при этом вторая высота меньше, чем первая высота;

обработку видеокадров первого и второго потоков для определения первого расстояния до объекта и первой скорости изменения расстояния, с которой расстояние до объекта изменяется за первый промежуток времени;

вычисление первого промежутка времени до столкновения на основании по меньшей мере указанных первого расстояния и первой скорости изменения расстояния; и

создание первой подсказки, в случае если первый промежуток времени до столкновения меньше, чем первое пороговое значение обнаружения.

13. Способ по п. 12, также включающий:

обработку видеокадров первого и второго потоков для определения второго расстояния до объекта и второй скорости изменения расстояния, с которой указанное расстояние изменяется за второй промежуток времени, следующий за первым промежутком времени;

вычисление второго промежутка времени до столкновения на основании по меньшей мере указанных второго расстояния и второй скорости изменения расстояния и

создание второй подсказки, отличной от первой подсказки, в случае если второй промежуток времени до столкновения меньше, чем второе пороговое значение обнаружения, причем второе пороговое значение обнаружения меньше, чем первое пороговое значение обнаружения.

14. Способ по п. 13, согласно которому первая подсказка представляет собой звук, имеющий первую громкость, а вторая подсказка представляет собой звук, имеющий вторую громкость, превышающую первую громкость.

15. Способ по п. 13, согласно которому первая подсказка представляет собой повторяющийся звук, имеющий первую частоту повторения, а вторая подсказка представляет собой повторяющийся звук, имеющий вторую частоту повторения, превышающую первую частоту повторения.

16. Способ по п. 12, согласно которому видеокадры первого и второго потоков обрабатывают с использованием метода стереоскопии для оценки глубины объекта.

17. Способ по п. 12, согласно которому видеокадры первого и второго потоков обрабатывают с использованием метода определения структуры объекта по отображению движения для оценки трехмерной структуры сцены.

18. Способ по п. 12, также включающий:

сегментирование данных изображения на первом и втором изображениях, которые представляют части летательного аппарата, видимые на обоих изображениях, с использованием мест расположения особенностей с размерами, подходящими для шаблонов изображений каждой особенности;

соотнесение каждого сегмента, содержащего особенность, с ее изображением в шаблоне;

вычисление максимального коэффициента корреляции вместе со смещением от первоначального места расположения особенности;

сравнение максимального коэффициента корреляции с пороговым значением коэффициента корреляции и

определение существенной матрицы по меньшей мере частично на основании результатов сравнения максимального коэффициента корреляции с пороговым значением коэффициента корреляции.

19. Способ калибровки пары камер, включающий:

приведение в действие первой и второй камер, установленных на передней кромке вертикального стабилизатора летательного аппарата, для захвата первого и второго изображений и

калибровку первой и второй камер на основании первого и второго изображений.

20. Способ по п. 19, также включающий:

обнаружение на первом изображении данных изображения, соотносящихся с шаблоном камеры; и

объявление первой камеры верхней камерой при обнаружении на первом изображении данных изображения, которые соотносятся с шаблоном камеры.