СПОСОБ ОПРЕДЕЛЕНИЯ ИНТЕНСИВНОСТИ ОСАДКОВ В РЕАЛЬНОМ ВРЕМЕНИ В АВИАЦИОННЫХ СИСТЕМАХ УЛУЧШЕННОГО ВИДЕНИЯ Российский патент 2017 года по МПК G01W1/14 G06T7/00 

Область техники, к которой относится изобретение

Изобретение относится к способам измерения текущей гидрометеорологической информации и может быть использовано в составе бортовых авиационных систем улучшенного и синтезированного видения.

Уровень техники

Наиболее традиционными способами определения интенсивности осадков являются методы прямого измерения объема осадков, собираемых в специальные осадкосборные устройства [1, 2] либо пролетающих через них [3]. Данные способы могут обеспечить высокую точность измерений, однако их применимость существенно ограничена, поскольку их реализация требует специальных условий организации процесса сбора осадков (минимизация воздействия ветра на прибор, а также влияния самой станции на воздушный поток и т.д.). Известны способы определения интенсивности осадков, основанные на зондировании исследуемой области атмосферы с помощью поочередно посылаемых оптических лазерных [4], радиолокационных [5] или акустических импульсов [6]. В процессе зондирования осуществляется прием обратного рассеянного излучения с последующей обработкой принятых сигналов и прогнозом метеорологических параметров. Данные способы и устройства измерения содержат специализированное и дорогостоящее оборудование: лидары, метеолокаторы и т.д. Указанное оборудование требует специальной настройки, монтажа и обслуживания, обладает высоким энергопотреблением.

В случае летательных аппаратов, оснащенных системой улучшенного видения, наиболее простым и низкозатратным способом определения наличия и уровня интенсивности осадков является использование в качестве исходной информации об осадках видеоизображений, получаемых телевизионной камерой, входящей в состав системы улучшенного видения.

Известен ряд способов, позволяющих получать информацию о наличии осадков и уровне их интенсивности на основе видеоданных [7-13]. Все эти способы ориентированы на обработку видеоизображений, получаемых с помощью стационарных камер, поскольку используют стохастическую модель неподвижного заднего плана и дают существенно худшие результаты на фоне движущихся объектов. Кроме того, их вычислительная сложность не позволяет обеспечить реализацию в реальном масштабе времени при помощи специализированных бортовых вычислительных машин, быстродействие которых существенно уступает настольным вычислительным системам.

Ближайшим из известных является способ обнаружения дождя на видеоизображениях с использованием превалирующего направления фильтров Габора [13]. В соответствии с этим способом, к видеопоследовательности применяется вычитание фона для выделения движущихся фрагментов и свертка с фильтрами Габора, имеющими различную направленность (угловую ориентацию). В качестве превалирующей выбирается направленность такого фильтра Габора, свертка с которым обеспечивает максимальную энергию отфильтрованного изображения. Эта энергия и характеризует интенсивность осадков, а направленность соответствующего фильтра Габора - направление их выпадения. Главным недостатком данного способа является использование метода вычитания фона, исключающее возможность его применения для обработки видеоизображений, получаемых с маневренных авиационных носителей. Кроме того, свертка изображения с набором фильтров Габора различной направленности требует дополнительных вычислительных ресурсов и объемов памяти для хранения промежуточных результатов.

Раскрытие изобретения

Задачей предлагаемого технического решения является обеспечение возможности автоматического определения наличия осадков и их интенсивности в режиме реального времени с помощью аппаратуры, входящей в состав бортовой авиационной системы, установленной на маневренном авиационном носителе, а также повышение быстродействия при уменьшении вычислительных ресурсов.

Поставленная задача решается в предложенном способе определения наличия осадков и уровня их интенсивности, включающем этапы, на которых:

- получают видеоизображение посредством телевизионной камеры видимого диапазона спектра,

- производят цифровую обработку видеоизображения,

- производят анализ полученных в результате обработки видеоизображения данных, на основе которого определяют наличие осадков.

В отличие от прототипа на этапе цифровой обработки обрабатывают один кадр видеоизображения с помощью бортовой цифровой вычислительной машины, при этом выполняют следующие операции:

- поиск векторов градиента функции изображения в каждой точке изображения;

- построение ориентированной гистограммы двумерного поля градиентов функции изображения;

- определение преимущественного направления вектора градиента функции изображения;

- поиск границ, соответствующих преимущественному направлению вектора градиента функции изображения;

- свертку изображения с двумерным вейвлетом Хаара для детектирования линий;

- определение интенсивности осадков.

В предпочтительном варианте поиск вектора градиента функции изображения в каждой точке изображения, построение ориентированной гистограммы изображения и определение преимущественного направления вектора градиента функции изображения производят по формулам:

где:

|∇₁(x,y)| - модуль вектора градиента функции изображения, вклад, который вносит точка (х,у) в компоненту гистограммы, ближайшую к аргументу вектора градиента функции изображения,

arg(∇₁(x,y)) - аргумент вектора градиента функции изображения,

I(x,y) - функция изображения,

* - оператор свертки,

и - результаты свертки функции изображения с матрицами

соответственно.

В предпочтительном варианте поиск границ, соответствующих преимущественному вектору градиента функции изображения, производят по формуле:

R(x,y)=I(x,y)*S_θ,

где:

S_θ - матрица, размерностью 3 на 3, соответствующая преимущественному направлению вектора градиента функции изображения:

R(x,y) - результат свертки функции изображения с оператором S_θ (препарат).

В предпочтительном варианте свертку изображений с двумерным вейвлетом Хаара для детектирования линий производят по формуле:

G(x,y)=R(x,y)*H_θ,

где:

Н_θ - разновидности вейвлетов Хаара для детектирования тонких линий с различными углами наклона θ;

G(x,y) - результат свертки препарата R(x,y) с двумерным вейвлетом Хаара Н_θ.

В предпочтительном варианте определение интенсивности J осадков производят по формуле:

где:

М и N - размеры изображения по вертикали и горизонтали соответственно;

J - интенсивность регулярных протяженных импульсных помех.

В предпочтительном варианте определяют пороговый промежуток, которому принадлежит полученная интенсивность, и принимают решение об уровне интенсивности осадков:

- от J₀=7.3 до J₁=8.6 для слабого уровня интенсивности;

- от J₁=8.6 до J₂=10.0 для умеренного;

- от J₂=10-0 до J₃=12.4 для сильного;

- больше J₃=12.4 для очень сильного уровня интенсивности.

В предпочтительном варианте видеоизображение получают посредством телевизионной камеры, установленной на борту летательного аппарата.

Сущность изобретения заключается в том, что производят периодический анализ видеоизображения окружающей обстановки на предмет наличия помех, характерных для съемки в условиях осадков, и применении к видеопотоку, получаемому с помощью телевизионной камеры, установленной на борту летательного аппарата, методов цифровой обработки изображений с целью определения наличия осадков и уровня их интенсивности. Видеоизображение, получаемое телевизионной камерой видимого диапазона спектра, оцифровывается при помощи платы видеозахвата и обрабатывается бортовой цифровой вычислительной машиной, где к нему для достижения технического результата последовательно применяются следующие методы цифровой обработки изображений: поиск векторов градиента функции изображения в каждой точке изображения; построение ориентированной гистограммы двумерного поля градиентов функции изображения; определение преимущественного направления вектора градиента функции изображения; поиск границ, соответствующих преимущественному направлению вектора градиента функции изображения; свертка изображения с двумерным вейвлетом Хаара для детектирования линий; определение интенсивностиосадков.

В предлагаемом способе преимущественное направление выпадения осадков определяется по гистограмме ориентированных градиентов функции изображения, что обусловило применимость способа к обработке видеопоследовательностей, получаемых с маневренных носителей, поскольку в данном случае не требуется неподвижности заднего плана. Для определения уровня интенсивности осадков в предлагаемом способе производится свертка изображения только с одним вейвлетом Хаара, имеющим заранее определенную угловую ориентацию, что позволило повысить быстродействие и уменьшить требуемый объем оперативной памяти по сравнению с прототипом. Кроме того, использование вейвлетов Хаара вместо фильтров Габора способствовало дополнительному повышению быстродействия, поскольку свертка изображения с вейвлетами Хаара, в отличие от фильтров Габора, не требует операций умножения.

Основным техническим результатом, достигаемым при использовании предлагаемого изобретения, является повышение быстродействия и уменьшение требуемого объема оперативной памяти для осуществления обработки и анализа видеопотока.

Кроме того, предложенный способ исключает необходимость использования специализированного метеорологического оборудования, поскольку используемый способ обработки изображения не требует неподвижности заднего плана и поэтому для получения изображения может быть применена телевизионная камера, входящая в состав бортовой аппаратуры. За счет этого снижаются массогабаритные характеристики оборудования, установленного на летательном аппарате.

Кроме того, заявленный способ позволяет определить не только факт наличия осадков, но также вычислить уровень его интенсивности.

Краткое описание чертежей

На Фиг. 1 показано изображение камеры видимого диапазона при отсутствии осадков.

На Фиг. 2 показано изображение камеры видимого диапазона наличии осадков.

На Фиг. 3 показана свертка изображений видимого диапазона при отсутствии осадков с оператором.

На Фиг. 4 показана свертка изображений видимого диапазона наличии осадков с оператором.

На Фиг. 5 показаны разновидности вейвлетов Хаара для детектирования тонких линий с различными углами наклона.

На Фиг. 6 показаны результаты свертки препаратов с соответствующим вейвлетом Хаара при отсутствии осадков.

На Фиг. 7 показаны результаты свертки препаратов с соответствующим вейвлетом Хаара наличии осадков.

На Фиг. 8 показан график зависимости, используемый для принятия решения о наличии осадков и уровне их интенсивности.

Осуществление изобретения

Сущность способа определения наличия осадков и уровня их интенсивности поясняется на чертежах. Видеоизображение получают посредством телевизионной камеры видимого диапазона спектра, установленной на маневренном авиационном носителе и входящей в состав бортовой авиационной системы улучшенного или синтезированного видения. Полученное видеоизображение оцифровывают при помощи платы видеозахвата и обрабатывают бортовой цифровой вычислительной машиной.

На фиг. 1 и 2 представлены примеры кадров видеоизображения, на которых отсутствуют (Фиг. 1) и присутствуют (Фиг. 2) осадки. Присутствие осадков на видеоизображении, помимо общего снижения контрастности, приводит к проявлению особого вида импульсных помех. Данные помехи представляют собой сонаправленные протяженные низкоуровневые детали, в поперечном направлении аналогичные шуму «соль и перец». Интенсивность помех зависит от объема осадков, выпадающих за единицу времени.

Для обнаружения факта наличия осадков и определения их интенсивности производится цифровая обработка изображения, включающая в себя четыре основных этапа:

1. поиск градиента функции изображения в каждой точке и построение ориентированной гистограммы изображения для определения преимущественного направления вектора градиента функции изображения;

2. поиск границ, соответствующих преимущественному направлению вектора градиента функции изображения;

3. свертка изображения с двумерным вейвлетом Хаара для детектирования линий;

4. определение интенсивности осадков.

Поиск модуля и направления градиента ∇₁(х,у) функции изображения I(х,у) в каждой точке осуществляется по формулам, используемым в методике, описанной в литературе [14]:

где * - оператор свертки, и - частные производные функции изображения по х и у соответственно,

Ориентированная гистограмма состоит из следующих компонент: 0°(180°), 30°(210°), 45°(225°), 60°(240°), ±90°, 120°(-60°), 135°(-45°), 150°(-30°). Формируется гистограмма следующим образом: каждая точка (х,у) вносит вклад, равный величине, определяемой по формуле (1), в ту компоненту гистограммы, которая ближе всего соответствует направлению градиента функции изображения, вычисленному по формуле (2). Преимущественное направление вектора градиента в функции изображения лежит в промежутке, покрываемом максимальной компонентой гистограммы.

С целью выделения границ, соответствующих преимущественному направлению вектора градиента θ функции изображения, производится свертка исходного изображения 1(х,у) с одним из операторов S_θ:

где

Результаты свертки изображений с фиг. 1 и 2 с оператором S_θ, соответствующим преимущественному направлению вектора градиента функции изображения, представлены на фиг. 3 и 4. Как видно из рисунков, препарат R(x,у), полученный при наличии осадков, отличается высокой интенсивностью регулярных сонаправленных протяженных импульсных помех. Оба препарата R(x,y) содержат контуры объектов, имеющие вид ярких утолщенных линий, а также двумерные импульсные помехи случайной формы.

Для подавления контуров объектов и случайных шумовых составляющих производится свертка препарата R(x,y) с двумерным вейвлетом Хаара, представляющим собой разность между суммами интенсивностей пикселей в смежных областях:

Разновидности вейвлетов Хаара Н_θ для детектирования тонких линий с различными углами наклона θ изображены на фиг. 5. Результаты свертки препаратов R(x,y) с вейвлетом Хаара, соответствующим преимущественному направлению вектора градиента функции изображения, представлены на фиг. 6-7.

Заключительным этапом алгоритма является определение интенсивности J регулярных протяженных импульсных помех:

где М и N - размеры изображения по вертикали и горизонтали. Решение о наличии осадков и их интенсивности принимается в зависимости от соотношения J и следующих пороговых значений J_i (фиг. 8):

- от J₀=7.3 до J₁=8.6 для слабого уровня интенсивности;

- от J₁=8.6 до J₂=10.0 для умеренного;

- от J₂=10.0 до J₃=124 для сильного;

- больше J₃=124 для очень сильного уровня интенсивности.

Пороговые значения J_i были определены экспериментальным способом путем анализа видеоизображений, полученных при отсутствии осадков, а также в условиях осадков различной степени интенсивности.

Для изображений, представленных на фиг. 1 и 2, значения J составили соответственно 5.8 и 9.6, что соответствует отсутствию дождя (Фиг. 1) и умеренному дождю (Фиг. 2).

Таким образом, предложенный способ позволяет получать информацию о наличии и уровне интенсивности атмосферных осадков автоматически в реальном масштабе времени с использованием телевизионной камеры, входящей в состав бортового оборудования, установленного на летательном аппарате. При этом достигается технический результат - повышение быстродействия и уменьшение требуемого объема оперативной памяти для осуществления обработки и анализа видеопотока, а также снижение массогабаритных характеристик бортовой аппаратуры.

Литература

1. Авторское свидетельство СССР №1728830.

2. Патент РФ №2054730.

3. Патент РФ №2097797.

4. Авторское свидетельство СССР №1187595.

5. Патент РФ №2097798.

6. Авторское свидетельство СССР №932435.

7. К. Garg, S.K. Nayar, "Detection and removal of rain from videos", in Computer Vision and Pattern Recognition, Proceedings of the 2004 IEEE Computer Society Conference on, IEEE, 2004, Vol. 521, pp. I-528-I-535.

8. X. Zhang, H. Li, Y. Qi, W.K. Leow, Т.К. Ng, "Rain removal in video by combining temporal and chromatic properties", Multimedia and Expo, IEEE International Conference on, IEEE, 2006, pp. 461-464.

9. M. Shen, P. Xue, "A fast algorithm for rain detection and removal from videos, in Multimedia and Expo (ICME), IEEE International Conference on, IEEE, 2011, pp. 1-6.

10. P.C. Barnum, S. Narasimhan, T. Kanade, "Analysis of rain and snow in frequency space", International Journal of Computer Vision, Vol. 86, No. 2-3, Jan. 2010, pp. 256-274.

11. W.-J. Park, K.-H. Lee, "Rain removal using Kalman filter in video, Smart Manufacturing Application", in ICSMA 2008, International Conference on, IEEE, 2008, pp. 494-497.

12. X. Zhao, P. Liu, J. Liu, T. Xianglong, "The application of histogram on rain detection in video", Proceedings of the 11th Joint Conference on Information Science, 2008.

13. G. Malekshahi, H. Ebrahimnezhad, "Detection and Removal of Rain from Video Using Predominant Direction of Gabor Filters", Journal of Information Systems and Telecommunication, Vol. 3, No. 1, Jan. 2015, pp. 41-49.

14. Цифровая обработка изображений в информационных системах: Учеб. пособие / И.С. Грузман, B.C. Киричук и др. - Новосибирск: Изд-во НГТУ, 2002. - 352 с.

Изобретение относится к области метеорологии и может быть использовано для определения интенсивности осадков в реальном времени в авиационных системах улучшенного видения. Сущность: получают видеоизображение посредством телевизионной камеры видимого диапазона спектра. Производят цифровую обработку видеоизображения. Анализируя полученные в результате обработки видеоизображения данные, определяют наличие осадков. Причем на этапе цифровой обработки обрабатывают один кадр видеоизображения с помощью бортовой цифровой вычислительной машины, выполняя при этом следующие операции: поиск векторов градиента функции изображения в каждой точке изображения; построение ориентированной гистограммы двумерного поля градиентов функции изображения; определение преимущественного направления вектора градиента функции изображения; поиск границ, соответствующих преимущественному направлению вектора градиента функции изображения; свертку изображения с двумерным вейвлетом Хаара для детектирования линий; определение интенсивности осадков. Технический результат: повышение быстродействия и уменьшение требуемого объема оперативной памяти для осуществления обработки и анализа видеопотока, а также снижение массогабаритных характеристик бортовой аппаратуры. 6 з.п. ф-лы, 8 ил.

1. Способ определения наличия осадков и уровня их интенсивности, содержащий этапы, на которых:

- получают видеоизображение посредством телевизионной камеры видимого диапазона спектра,

- производят цифровую обработку видеоизображения,

- производят анализ полученных в результате обработки видеоизображения данных, на основе которого определяют наличие осадков,

отличающийся тем, что на этапе цифровой обработки обрабатывают один кадр видеоизображения с помощью бортовой цифровой вычислительной машины, при этом выполняют:

- поиск векторов градиента функции изображения в каждой точке изображения;

- построение ориентированной гистограммы двумерного поля градиентов функции изображения;

- определение преимущественного направления вектора градиента функции изображения;

- поиск границ, соответствующих преимущественному направлению вектора градиента функции изображения;

- свертку изображения с двумерным вейвлетом Хаара для детектирования линий;

- определение интенсивности осадков.

2. Способ по п.1, отличающийся тем, что поиск градиента функции изображения в каждой точке изображения, построение ориентированной гистограммы изображения и определение преимущественного направления вектора градиента функции изображения производят по формулам:

где:

|∇₁(x,y)| - модуль вектора градиента функции изображения - вклад, который вносит каждая точка изображения (х,у) в компоненту гистограммы, ближайшую к аргументу вектора градиента функции изображения,

arg(∇₁(x,y)) - аргумент вектора градиента функции изображения,

I(х, у) - функция изображения,

* - оператор свертки,

и - результаты свертки функции изображения с матрицами

соответственно.

3. Способ по п.1, отличающийся тем, что поиск границ, соответствующих преимущественному вектору градиента функции изображения, производят по формуле:

R(x,y)=I(x,y)*S_θ, где:

R(x,y) - результат свертки функции изображения с оператором S_θ (препарат),

θ - направление вектора градиента функции изображения,

S_θ - матрица размерностью 3 на 3, соответствующая преимущественному направлению вектора градиента функции изображения:

4. Способ по п.1, отличающийся тем, что свертку изображений с двумерным вейвлетом Хаара для детектирования линий производят по формуле:

G(x,y)=R(x,y)*H_θ, где:

G(x,y) - результат свертки препарата R(x,y) с двумерным вейвлетом Хаара Н_θ,

Н_θ - разновидности вейвлетов Хаара для детектирования тонких линий с различными углами наклона θ.

5. Способ по п.1, отличающийся тем, что определение интенсивности осадков производят по формуле:

где:

J - интенсивность регулярных протяженных импульсных помех,

М и N - размеры изображения по вертикали и горизонтали соответственно.

6. Способ по п.5, отличающийся тем, что определяют пороговый промежуток, которому принадлежит полученная интенсивность, и принимают решение об уровне интенсивности осадков:

- от J₀=7.3 до J₁=8.6 для слабого уровня интенсивности;

- от J₁=8.6 до J₂=10.0 для умеренного;

- от J₂=10.0 до J₃=12.4 для сильного;

- больше J₃=12.4 для очень сильного уровня интенсивности.

7. Способ по любому из пп.1-6, отличающийся тем, что видеоизображение получают посредством телевизионной камеры, установленной на борту летательного аппарата.