Изобретение относится к области бесконтактного определения дальности до удаленных наблюдаемых объектов в рассеивающих средах и может быть использовано для формирования изображения карты дальностей до наблюдаемых объектов, в том числе, при навигации автономных мобильных роботов, беспилотных автомобилей в сложных метеоусловиях (для обнаружения препятствий на дороге), подводных аппаратах, выполняющих обследование дна, а также в военном деле для определения дистанций до объектов и их габаритных размеров в условиях низкой прозрачности среды распространения оптического излучения.
Для обнаружения, наблюдения и измерения основных параметров объектов, а также построения их трехмерных визуализаций используются телевизионные системы с импульсным методом наблюдения пространства [Волков, В.Г. Техническое зрение / В.Г. Волков, П.Д. Гиндин // Инновации. - М.: ТЕХНОСФЕРА. - 2014. - 840 с.]. Телевизионная система с импульсным методом наблюдения пространства и возможностью проведения измерений каких-либо параметров наблюдаемых объектов называется активно-импульсной телевизионной измерительной системой (АИ ТИС).
АИ ТИС могут применятся для обнаружения и распознавания объектов в сложных условиях видения (дым, туман, дождь, снегопад и т.п.) благодаря их способности устранять помеху обратного рассеяния, принцип работы подобных систем также позволяет формировать карты дальностей в своем поле зрения, где каждому пикселю двумерной картины соответствует дальность до объекта, который проецируется на этот пиксель., в том числе в масштабе реального времени.
Простейшие АИ ТИС имеют невысокую точность измерения дальности до объектов. Так при наблюдении объекта, находящегося в активной зоне видения (АЗВ), которая имеет треугольную форму, используя известное значение текущей задержки стробирования можно оценить дальность до данного объекта. Однако при проведении такого однократного измерения максимальная ошибка может составлять до половины протяженности АЗВ и по разным источникам составляет от ±5 метров или более [Волков, В.Г. Активно-импульсные ПНВ и тепловизионные приборы. Анализ возможности применения / В.Г. Волков // Фотоника. - 2007. - № 4. - С. 24 - 28], [Белоконев, В.М. Активно-импульсный ночной бинокль / В. М. Белоконев, М. А. Баюканский, В. Г. Волков, В. Л. Саликов, С. А. Украинский // Прикл. Физика. - 2007. № 5. С 127 - 129]. В некоторых исследованиях, посвященных повышению точности определения расстояния до объектов наблюдения, практически не учитывается форма АЗВ. Достаточно основательно подошли к вопросу определения расстояния до объектов при помощи АИ ТИС в работе [Горобец, В.А. Активно-импульсные системы видения и алгоритмы определения расстояний до объектов / В.А. Горобец // Журнал прикладной спектроскопии. - 2014. - Т. 81. - №. 2. - С. 283-291]. Основной идеей авторов является расчет формы АЗВ и ее характерных точек. Недостатком данного метода при его реализации является то, что авторы не учитывают форму импульсов подсвета пространства (ИПП) и стробирования электронно-оптического преобразователя, проводя вычисления исключительно с идеальными формами сигналов в виде прямоугольных импульсов.
Стремление к повышению точности измерения дальности в АИ ТИС приводит к необходимости разработки методов, использующих множество двумерных изображений, получаемых изменением времени задержки импульса стробирования фотоприемника (ИСФ) относительно ИПП. К таким методам можно отнести метод максимального сигнала и метод сканирования по дальности поля зрения (depth scanning) [Kabashnikov, V., & Kuntsevich, B. (2017). Distance determination based on the delay time-intensity profile analysis in range-gated imaging. Appliedoptics, 56(30), 8378-8384].
Используя метод максимального сигнала, ошибку измерения дальности можно достаточно просто уменьшить даже для протяженных АЗВ при условии их треугольной формы. Для этого после обнаружения объекта необходимо изменять задержку стробирования до тех пор, пока яркость наблюдаемого объекта не станет максимальной, т.е. совместить середину треугольной АЗВ с положением данного объекта по дальности. Найденная таким образом задержка стробирования наиболее точно (±0,5 м) укажет на дальность до объекта [Kabashnikov, V., & Kuntsevich, B. (2017, October). Method for distance determination using range-gated imaging suitable for an arbitrary pulse shape. In Electro Optical and Infrared Systems: Technology and Applications XIV (Vol. 10433, p. 1043309). International Society for Opticsand Photonics]. Однако данный способ может быть весьма затратным по времени измерения, особенно при малом шаге изменения задержки стробирования. Кроме того, перечисленные методы не обеспечивают условий для формирования карты дальностей до наблюдаемых объектов в реальном времени.
Для того, чтобы сократить время измерения расстояний и формирования карты дальностей был предложен метод корреляции «расстояние-интенсивность» (range-intensity correlation). Принцип измерения расстояния, основан на использовании двух АЗВ, сдвинутых по задержке стробирования на время длительности ИПП. В настоящее время разработаны два варианта реализации данного метода на основе разных АЗВ. Один вариант метода использует треугольные АЗВ [Xinwei, W., Yan, Z., Songtao, F., Jun, H., & Yuliang, L. (2011). Four dimensional flash trajectory imaging using time-delay-modulated range-gated viewing. Opticsletters, 36(3), 364-366], а второй использует АЗВ трапецеидальной формы [Xinwei, W., Youfu, L., &Yan, Z. (2013). Triangular-range-intensity profile spatial-correlation method for 3D super-resolution range-gated imaging. Appliedoptics, 52(30), 7399-7406].
В работе [Кабашников, В.П. Погрешность определения расстояний методами корреляции расстояние-интенсивность для непрямоугольной формы импульса подсветки / В.П. Кабашников, Б.Ф. Кунцевич // Журнал прикладной спектроскопии. - 2018. - 85(4) - С. 645-651] проведен анализ погрешности определения расстояний данным методом в случае произвольной формы ИПП. Показано, что абсолютная ошибка пропорциональна длительности импульса отраженного сигнала. При этом для получения большого диапазона измерения дальности и соответственно большой протяженности карты дальностей требуется прямоугольная форма и большая длительность ИПП, что ограничивает разнообразность выбора импульсного лазерного источника и стробируемого фотоприемника.
Известен способ определения пространственной формы объектов, патент SU 1840824 A1 Варгин П.С. Способ определения пространственной формы объектов., в котором объект подсвечивается импульсами лазерного излучения. Отраженный от объекта сигнал разделяют на два и каждый из этих сигналов преобразуют в двумерное изображение объекта. Оба изображения записывают, причем в процессе записи один из сигналов модулируют по интенсивности по выбранному закону и определяют пространственную форму удаленного объекта по форме двух записанных изображений, выбранному закону модуляции, форме импульсов и скорости распространения лазерного излучения.
Однако данный способ обладает недостатками, так как использование двух неидентичных оптико-электронных каналов, включающих в себя два фотоприемных устройства и модулятор яркости будет приводить к существенному снижению точности определения дальности до объектов по полю изображения. Использование двух оптико-электронных каналов увеличивает массогабаритные параметры, стоимость устройства и снижает его надежность, а также требует калибровки яркостных и координатных искажений этих оптико-электронных каналов.
В работе [Григорьев, Л. В. Система лазерного видения, работающая в безопасном для глаз спектральном диапазоне / Л. В. Григорьев, А. В. Сандуленко, А. Ф. Крячко // Вопросы радиоэлектроники. Серия: Техника телевидения. - 2023. - № 4. - С. 45-53.] описан макет адаптивной лазерно-стробируемой системы видения для работы в сложной оптической помеховой обстановке. Для подсветки пространства использованы DPSS-лазеры безопасного для глаз диапазона излучения с длиной волны - 1,54 мкм. Адаптивность системы заключается в использовании в оптической схеме макета системы биморфного пьезоэлектрически деформируемого зеркала для коррекции влияния турбулентности атмосферы с целью повышения максимальной дальности обнаружения малоразмерных объектов. Однако применение принципов адаптивной оптики значительно усложнит конструкцию АИ ТИС и позволит лишь скорректировать вносимые турбулентной атмосферой искажения волнового фронта, но не устранит влияния остаточной помехи обратного рассеяния (ПОР) на точность измерения дальности.
Из уровня техники известно техническое решение [Мовчан А.К. Методы и алгоритмы прецизионного измерения дальности в активно-импульсных телевизионных измерительных системах: диссертация на соискание ученой степени кандидата технических наук. Томск. 2021], которое взято за прототип заявляемого способа.
Способ формирования изображения карты дальностей до наблюдаемых объектов, включающий импульсный подсвет пространства, в котором используется матричный фотоприемник с импульсным динамическим экспонированием и одновременной обработкой его нечетного и четного кадров, при этом каждый нечетный кадр изображения формируется за счет импульсной экспозиции, соответствующей величине выбранного диапазона дальностей до наблюдаемых объектов, а каждый четный кадр изображения формируется с увеличением экспозиции по мере увеличения дальности, для формирования изображения карты дальностей до наблюдаемых объектов выполняется операция поэлементного деления значений амплитуд видеосигнала четного кадра на значения амплитуд видеосигнала нечетного кадра.
Недостатком прототипа является низкая точность измерения дальности до наблюдаемых объектов в рассеивающих средах из-за воздействия остаточной ПОР.
Целью настоящего изобретения является повышение точности формирования изображения карты дальностей до наблюдаемых объектов в рассеивающих средах.
Поставленная цель достигается тем, что в способе формирования изображения карты дальностей до наблюдаемых объектов в рассеивающих средах средние уровни фоновых составляющих в нечетных (ФСнчк) и четных (ФСчк) видеокадрах, сформированных на матричном фотоприемнике после импульсного динамического экспонирования, где каждый нечетный кадр изображения формируется за счет импульсной экспозиции, соответствующей величине выбранного диапазона дальностей до наблюдаемых объектов, а каждый четный кадр изображения формируется с увеличением экспозиции по мере увеличения дальности, определяются как средние значения яркости изображений, например, в соответствии с выражением
где fнчк(чк)(x, y) - изображения формируемые матричным фотоприемником в нечетном и четном кадрах, соответственно;
M x N элементов - размер изображения;
x=0, 1, 2,…M-1;
y=0, 1, 2,…N-1.
Вычисленные значения ФС1нчк и ФС1чк, обусловленные ПОР, вычитаются из видеосигналов нечетного и четного кадров, соответственно, и для формирования изображения карты дальностей до наблюдаемых объектов в рассеивающих средах выполняется операция поэлементного деления значений амплитуд видеосигнала изображения с вычтенным средним уровнем фоновой составляющей в нечетных кадрах на значения амплитуд видеосигнала изображения с вычтенным средним уровнем фоновой составляющей в четных кадрах.
Это приводит к увеличению точности измерения дальности до наблюдаемых объектов в рассеивающих средах, особенно при малой загруженности сцены объектами наблюдения в поле зрения матричного фотоприемника и выбранного диапазона измерения дальностей.
При большой загруженности сцены объектами наблюдения значения ФС2нчк(чк) измеряются по элементам изображения не включающих в себя сегментированные области обнаруженных объектов наблюдения в нечетных и четных кадрах согласно выражению
где SОСО - площадь в элементах обнаруженных сегментированных объектов (ОСО), СO(x, y) - стробирующая матрица с элементами равными «0» - в области ОСО и «1» - в области «фоновых» элементов.
При таком способе измерения среднего уровня фоновых составляющих в нечетных и четных кадрах наблюдается дополнительное повышение точности определения дальности до наблюдаемых объектов в рассеивающих средах, особенно про большой загруженности сцены объектами наблюдения в заданном диапазоне измерения дальностей.
В случае, когда значения ФСнчк(чк) по полю изображения, обусловленные ПОР, могут быть различными по величине, то по каждому из объектов наблюдения они измеряются по «фоновой» области элементов, граничащих с данными ОСО в соответствии с выражением
где Siф-площадь «фоновой» области для i -объекта;
Oiф - область окрестности «фоновых» элементов граничащих с i - объектом.
В данном случае возможно дополнительное увеличение точности измерения дальности до наблюдаемых объектов.
При полной загруженности сцены объектами наблюдения в заданном диапазоне измерения дальности ФС4нчк(чк) определяют до выбранного диапазона измерения дальностей где не содержатся объекты наблюдения по выражению
где K4 - коэффициент, определенный исходя из известного значения коэффициента ослабления и диапазона измеряемых дальностей;
Для подтверждения достижения поставленной цели в предлагаемом способе - повышение точности формирования карты дальностей до наблюдаемых объектов в рассеивающих средах был проведен эксперимент в большой аэрозольной камере (БАК) Института оптики атмосферы им. В.Е. Зуева Сибирского отделения Российской академии наук (ИОА СО РАН) с образцом АИ ТИС, разработанным авторами предлагаемого изобретения.
На первом этапе эксперимента внутри БАК были установлены пронумерованные транспаранты на заранее измеренных дальностях 12, 14, 15, 16, 18, 20, 22 и 24 метра, после чего с использованием образца АИ ТИС выполнялась запись четного и нечетного кадров согласно способу, указанному в прототипе.
На втором этапе выполнялось затуманивание БАК и после распределения аэрозолей по всему объему БАК, выполнялись измерения показателя ослабления среды распространения оптического излучения и запись четного и нечетного кадров аналогично первому этапу, для их последующего сравнения.
Таким образом в ходе эксперимента были получены четные и нечетные кадры с изображениями транспарантов в чистой среде и в условиях тумана (при коэффициенте ослабления βext, м-1 = 0,197). Согласно предлагаемому способу из четных и нечетных кадров вычитались измеренные значения фоновых составляющих, после чего для формирования изображения карты дальностей до наблюдаемых объектов выполнялась операция поэлементного деления значений амплитуд видеосигнала четного кадра на значения амплитуд видеосигнала нечетного кадра. По полученной карте дальностей определялась дальность до одного из транспарантов, расположенного на дистанции 14 метров:
- способ, используемый в прототипе в чистой среде показал результат 14,159 м, погрешность составила 0,159 м, в условиях тумана измеренное значение составило 12,073 м, погрешность составила 1,927 м;
- способ предлагаемого изобретения в условиях тумана при вычитании ФС1нчк(чк) показал результат 13,032 м, погрешность составила 0,968 м.
- способ предлагаемого изобретения в условиях тумана при вычитании ФС2нчк(чк) показал результат 14,245 м погрешность составила 0,245 м.
На фиг. 1 приведены полученные в результате эксперимента изображения: а - четный кадр в условиях тумана; б - четный кадр после вычитания ФС2нчк(чк); в - карта дальностей в условиях тумана; г - карта дальностей после вычитания ФС2нчк(чк).
Таким образом результаты проведенных экспериментальных исследований подтвердили возможность повышения точности формирования карты дальностей до наблюдаемых объектов в рассеивающих средах.
На фиг. 2 изображена схема устройства, реализующего предлагаемый способ. Способ формирования изображения карты дальности до наблюдаемых объектов в рассеивающих средах заключается в том, что отраженный от объектов пространства оптический сигнал поступает на стробируемый матричный фотоприемник, на котором формируется двумерное изображение объектов в определенном диапазоне дальностей пространства. Стробируемый матричный фотоприемник динамически экспонирует четные и нечетные кадры, при этом в четном кадре изображение формируется при импульсной экспозиции, соответствующей заданной величине выбранного диапазона дальностей до наблюдаемых объектов, а в нечетном кадре с увеличением экспозиции по мере увеличения дальности до наблюдаемых объектов, при этом средние уровни фоновых составляющих обусловленные помехой обратного рассеяния, вычисляются либо непосредственно по нечетным и четным кадрам содержащим объекты наблюдения либо по кадрам, полученным в диапазонах измерения дальностей расположенных до объектов наблюдения. Измеренные уровни фоновых составляющих затем вычитаются из амплитуд видеосигналов нечетных и четных кадров, полученных в диапазонах дальностей, содержащих объекты наблюдения, а для формирования изображения карты дальностей в рассеивающих средах выполняется поэлементное деление значений амплитуд видеосигнала нечетного кадра с вычтенной фоновой составляющей на значения амплитуд видеосигнала четного кадра с вычтенной фоновой составляющей.
Согласно схеме, представленной на фиг.1, устройство для реализации предлагаемого способа содержит, формирователь управляющих импульсов (синхрогенератор) 1, который формирует импульс подсвета пространства (ИПП), импульс стробирования фотоприемника (ИСФ), сигнал нечетного кадра (СНК) и сигнал измерения фона (СИФ). При этом частота повторения ИПП и ИСФ кратно превышает кадровую частоту фотоприемника. ИПП поступает на устройство подсвета 2, где формируется короткий лазерный импульс, который после прохождения оптической передающей системы 3 в заданном угле поля зрения облучает наблюдаемые объекты. С выхода блока 1 ИСФ с заданной задержкой относительно ИПП, поступает на вход стробирования матричного фотоприемника 5, формируя тем самым в четном кадре импульсную экспозицию, соответствующую заданной величине выбранного диапазона дальностей до наблюдаемых объектов, а в нечетном кадре экспозицию, увеличивающуюся по мере увеличения дальности до наблюдаемых объектов. Отраженный оптический сигнал через приемную оптическую систему 6 поступает на фоточувствительную поверхность матричного фотоприемника 5. Поступающий с выхода матричного фотоприемника 5 сформированный видеосигнал (ВС), содержащий последовательность кадров, поступает через управляемый сигналом СИФ коммутатор 7 на вычислитель средних уровней фоновых составляющих в ВС 4 и на коммутатор 8. Вычислитель средних уровней фоновых составляющих в ВС 4 по сигналу СНК производит вычисление среднего уровня фоновой составляющей для нечетного кадра (ФСнчк) и среднего уровня фоновой составляющей для четного кадра (ФСчк), далее вычисленные значения средних уровней фоновых составляющих ФСнчк и ФСчк поступают на соответствующие вычитатели 9 и 10, на которые с коммутатора 8 под управлением СНК поступают ВС нечетных и четных кадров. При измерении фоновых составляющих по кадрам, полученным вне диапазона дальностей, содержащего объекты наблюдения, коммутатор 7 в начале по сигналу СИФ размыкает связь с коммутатором 8, измеренные по ВС в 4 ФСнчк и ФСчк поступают на соответствующие вычитатели 9 и 10, далее коммутатор 7 по сигналу СИФ размыкает связь с вычислителем средних уровней фоновых составляющих в ВС 4 и замыкает связь с коммутатором 8 с которого под управлением СНК ВС нечетных и четных кадров полученных в диапазоне дальностей содержащих объекты наблюдения поступают на вычитатели 9 и 10.
Далее результат вычитания ФСнчк из каждого нечетного кадра с выхода вычитателя 9 поступает на линию задержки 11, где задерживается на время длительности кадра и далее поступает на первый вход делителя 12. В тот же момент времени на второй вход делителя 12 с выхода вычитателя 10 поступает результат вычитания ФСчк из каждого четного кадра.
В результате поэлементного деления значений амплитуд ВС после вычитания ФСнчк для каждого нечетного кадра на значения амплитуд ВС после вычитания ФСчк каждого четного кадра на выходе делителя 12 формируется нормированное изображение с прямопропорциональной зависимостью яркости от дальности до наблюдаемых объектов в рассеивающих средах.
Изобретение относится к области бесконтактного определения дальности до удаленных наблюдаемых объектов в рассеивающих средах и может быть использовано для формирования изображения карты дальностей до наблюдаемых объектов. В способе формирования изображения карты дальностей до наблюдаемых объектов в рассеивающих средах измеренные средние уровни фоновых составляющих вычитаются из нечетных и четных видеокадров, сформированных на матричном фотоприемнике после импульсного динамического экспонирования, где каждый нечетный кадр изображения формируется за счет импульсной экспозиции, соответствующей величине выбранного диапазона дальностей до наблюдаемых объектов, а каждый четный кадр изображения формируется с увеличением экспозиции по мере увеличения дальности. Технический результат - повышение точности формирования изображения карты дальностей до наблюдаемых объектов в рассеивающих средах. 1 з.п. ф-лы, 2 ил.
1. Способ формирования изображения карты дальности до наблюдаемых объектов в рассеивающих средах, включающий импульсный подсвет пространства, импульсное динамическое экспонирование отраженного от объектов оптического сигнала стробируемым матричным фотоприемником, на котором формируется двумерное изображение объектов, фотоприемник динамически экспонирует четные и нечетные кадры, при этом каждый четный кадр изображения формируется при экспозиции, соответствующей величине выбранного диапазона измерения дальностей до наблюдаемых объектов, а каждый нечетный кадр изображения формируется с увеличением экспозиции по мере увеличения дальности, отличающийся тем, что из полученных в нечетных и четных кадрах изображений наблюдаемого пространства вычитаются средние уровни фоновых составляющих, обусловленные помехой обратного рассеяния, после чего выполняется операция поэлементного деления значений амплитуд изображения с вычтенным средним уровнем фоновой составляющей в нечетных кадрах на значения амплитуд видеосигнала изображения с вычтенным средним уровнем фоновой составляющей в четных кадрах.
2. Способ по п. 1, отличающийся тем, что значения средних уровней фоновых составляющих измеряются по всему полю изображения, сформированному в диапазоне дальностей, расположенном до объектов наблюдения, после чего диапазон измерения дальностей переключается на диапазон, содержащий объекты наблюдения для формирования нечетных и четных кадров, из которых вычитаются ранее измеренные средние уровни фоновых составляющих.
| US 2017272651 A1, 21.09.2017 | |||
| CN 114240767 A, 25.03.2022 | |||
| WO 2021007184 A1, 14.01.2021. |
