СПОСОБ ОПРЕДЕЛЕНИЯ МЕСТОНАХОЖДЕНИЯ ОБЪЕКТА В ОКРУЖАЮЩЕМ ПРОСТРАНСТВЕ Российский патент 2014 года по МПК G03B37/04 G02B13/06 

Область техники

Изобретение относится к методам фото и видеосъемки. Более конкретно, к оптическим стереоскопическим способам определения местонахождения объекта в окружающем пространстве, включающим определение расстояний до интересующих объектов, а также их угловых координат. Изобретение применимо, например, в автоматических системах определения местонахождения объектов при выполнении технологических операций, в частности на АЭС, а также в охранной сигнализации.

Предшествующий уровень техники

Известен способ селекции объектов на удаленном фоне [патент РФ №2363018, кл. G01S 17/06 от 06.11.2007, авторы Подгорнов В.А., Подгорнов С.В., Щербина А.Н.]. Способ заключается в приеме и формировании опорного и сравниваемого изображений двумя идентичными видеосистемами, установленными на небольшом расстоянии между собой относительно удаленного фона. У объективов параллельные главные оптические оси. Одновременно регистрируют оба изображения. Ищут фрагменты образов объектов на изображениях и ставят им в соответствие величины параллактического сдвига. Вычисляют расстояния до выявленных объектов в пространстве по формуле R=L·A/Δ_i, где L - расстояние между центрами объективов видеосистем, A - расстояние от видеоматрицы до главной оптической оси объектива видеосистемы, Δ_i - величина параллактического сдвига i-ого образа объекта. Данный способ позволяет с высокой точностью обнаруживать (селектировать) одиночные и множественные объекты с заранее неизвестной яркостью в условиях высококонтрастных фонов.

Недостатками способа является узость области пространства, в которой ведется обнаружение объектов. Данная область ограничена углами обзора объективов видеосистем. Для организации многоракурсного контроля пространства возможно вращение видеосистем, однако это решение не позволяет одномоментно обозревать всю область, за которой должно вестись наблюдение.

Возможен другой подход к организации многоракурсного контроля, лишенный указанного недостатка, описанный в патенте РФ №2390039 «Устройство для селекции объектов на неоднородном удаленном фоне», кл. G01S 17/66 от 26.11.2007, авторы: Подгорнов В.А., Подгорнов С.В., Бровкин В.Ф. Данный подход заключается в использовании при работе устройства нескольких пар идентичных видеосистем.

Недостатком данного подхода служит его техническая сложность, дороговизна, громоздкость и низкий уровень мобильности.

В качестве прототипа выбран «Способ для определения местонахождения объекта в окружающем пространстве и панорамная аппаратура для реализации способа», [патент РФ №2420774 от 04.02.2009, кл. G03B 37/04, G02B 13/06, авторы: Подгорнов В.А., Подгорнов С.В., Щербина А.Н.]. Способ заключается в формировании на плоскости многоэлементного фотоприемника двух панорамных изображений, фиксировании на каждом изображении наблюдаемый под заданным ракурсом образ интересующего участка окружающего пространства с находящимся в нем объектом, регистрации сформированных изображений, определении местонахождения объекта с оценкой расстояния до него, определении расстояния до объекта по взаимному расположению двух его образов на одновременно зарегистрированной паре разнесенных панорамных изображений.

Недостатками прототипа является невозможность наблюдения малоразмерных объектов, вследствие низкой разрешающей способности, так как на плоскости одного фотоприемника одновременно формируются два панорамных изображения, что приводит к недостаточному количеству пикселей, приходящихся на единицу площади обозреваемого пространства. При этом, если использовать фотоприемник с большим количеством пикселей, то снижается уровень быстродействия вследствие увеличения объема регистрируемой и передаваемой информации, что не позволяет обеспечить наблюдение за перемещающимися объектами (образы объектов на изображениях получаются смазанными или отсутствуют по причине выхода за границы зоны обзора оптической системы). Кроме того, в прототипе селекция объекта на изображении производится методами контурного анализа (например, методом дискретных разностей с использованием оператора Собеля) без осуществления дополнительных операций по подавлению фона, что снижает надежность селекции объекта в условиях неоднородного фона.

Задача изобретения заключается в определении местоположения в окружающем пространстве, в круговой зоне контроля, перемещающегося малоразмерного объекта, наблюдаемого посредством оптических систем на неоднородном фоне.

Технический результат заключается в формировании панорамного стереоскопического изображения с большей разрешающей способностью и скоростью регистрации кадра и увеличении надежности (достоверности) за счет селективного подавления образа удаленного неоднородного фона на зарегистрированном изображении, при этом сохраняется круговой обзор зоны контроля.

Раскрытие изобретения

Для достижения технического результата предлагается способ определения местонахождения объекта в окружающем пространстве. Способ включает формирование на плоскости многоэлементного фотоприемника двух панорамных изображений, фиксирование на каждом изображении наблюдаемый под заданным ракурсом образа интересующего участка окружающего пространства с находящимся в нем объектом, регистрацию сформированных изображений, определение местонахождения объекта с оценкой расстояния до него, при этом определение расстояния до объекта по взаимному расположению двух его образов на одновременно зарегистрированной паре разнесенных панорамных изображений. Согласно изобретению, наблюдают интересующий участок окружающего пространства двумя идентичными индивидуальными оптическими системами переноса изображения, каждая в виде широкоугольного объектива типа «рыбий глаз», что позволяет обеспечить панорамный (круговой) обзор окружающего пространства. Устанавливают системы переноса изображения в двух пространственно разнесенных точках. Ориентируют главные оптические оси систем переноса изображения так, чтобы они лежали на одной линии и были обращены в одну сторону. Формируют каждое панорамное изображение в плоскости собственного фотоприемника, посредством индивидуальной оптической системы переноса изображения наблюдаемого участка пространства на плоскость фотоприемника. Определяют расстояние до объекта по взаимному расположению двух его образов на разности двух зарегистрированных панорамных изображений.

Это позволяет формировать не просто два панорамных изображения, а стереоскопические изображения (стереопары). Стереопара образуется вследствие наблюдения одного и того же интересующего участка окружающего пространства под двумя заданными ракурсами за счет разнесения точек видения наблюдения. При этом анализ положения образов объекта на стереопаре позволяет определять расстояние до объекта. При указанной установке систем переноса формируют два панорамных изображения, каждое в плоскости собственного фотоприемника посредством индивидуальной оптической системы переноса изображения. Это приводит к увеличению количества пикселей, приходящихся на единицу площади обозреваемого пространства, что увеличивает разрешающую способность, по сравнению с прототипом, и позволяет наблюдать на регистрируемых изображениях объекты с меньшими размерами. При этом два параллельно работающих многоэлементных фотоприемника одновременно регистрируют панорамное стереоскопическое изображение, что увеличивает скорость его регистрации, по сравнению с прототипом, так как увеличивается производительность считывания регистрируемой информации за счет использования не одного, а двух каналов для считывания данных.

Разрешающая способность считается достаточной, если образы наблюдаемого объекта на регистрируемом изображении образованы не менее 2-3 пикселями. Скорость регистрации кадра считают достаточной, если образ перемещающегося наблюдаемого объекта фиксируется на изображении полностью и без значительного смазывания.

По взаимному расположению двух образов объекта на разности двух зарегистрированных панорамных изображений определяют расстояние до объекта. Вычитают друг из друга изображения, образующие одну стереопару. Формируют разность двух зарегистрированных панорамных изображений. Это позволяет селективно подавить на полученном разностном изображении образ удаленного неоднородного фона. Данный эффект достигается благодаря тому, что образ удаленного фона на двух панорамных изображениях, образующих стереопару, не смещается, а положение образов объекта, находящегося ближе удаленного фона, на изображениях смещается на величину параллактического сдвига. Селективное подавление удаленного неоднородного фона обеспечивает повышение надежности (достоверности) определения пространственного местоположения объекта наблюдаемого на удаленном неоднородном фоне за счет отсутствия возможности принятия за образ объекта фрагмента образа фона.

При этом пространственные угловые координаты объекта можно определять по положению одного из двух образов объекта на разностном изображение.

Возможно выбирать расстояние между двумя пространственно разнесенными точками установки оптических систем переноса изображения таким образом, чтобы обеспечить отсутствие параллактического сдвига образа фона, находящегося дальше интересующего участка пространства. Это приводит к тому, что параллактическое смещение образа фона на регистрируемой стереопаре составляет значение менее одного пикселя, как следствие на разности двух панорамных изображений удаленный фон подавляется (вычитается друг из друга).

В располагаемых источниках информации не обнаружено технических решений, содержащих в совокупности признаки, сходные с отличительными признаками заявляемого способа. Следовательно, изобретение соответствует критерию изобретательский уровень.

Наличие новых существенных признаков совместно с известными и общими с прототипом позволило создать новое техническое решение - способ определения местонахождения объекта в окружающем пространстве. Способ решает комплексно задачу увеличения скорости и надежности обработки сигнала при сохранении высокой обзорности и обеспечении увеличения разрешающей способности.

Краткое описание фигур и чертежей.

Предлагаемый способ определения местонахождения объекта в окружающем пространстве иллюстрируется чертежами.

На фиг.1 схематически показан принцип формирования панорамной стереопары заявляемым способом.

На фиг.2 - панорамное изображение 5, сформированное на многоэлементном фотоприемнике 3.

На фиг.3 - панорамное изображение 6, сформированное на многоэлементном фотоприемнике 4.

На фиг.4 - разностное изображение 16 двух зарегистрированных панорамных изображений 5 и 6.

Варианты осуществления изобретения.

Окружающее пространство обозревают при помощи двух идентичных индивидуальных оптических систем переноса изображения, каждая в виде широкоугольного объектива 1 и 2 типа «рыбий глаз», фиг.1.

Центры объективов - точки C₁, C₂ находятся друг от друга на расстоянии а (стереобазис). При этом главные оптические оси объективов 1 и 2 выстраивают по одной линии Z. Объективы 1 и 2 для ведения наблюдения ориентируют в одну сторону в направлении оси Z.

Каждый объектив 1 и 2 формирует на плоскости собственного многоэлементного фотоприемника 3 и 4 соответствующее панорамное изображение 5 и 6. В качестве многоэлементного фотоприемника может служить квадратный матричный фотоприемник. Панорамные изображения 5 и 6 ограничены полями зрения 7 и 8 объективов 1 и 2 в виде конических поверхностей с углами при вершинах λ и ε, как показано на фиг.1. Пересечение полей зрения 7 и 8 объективов 1 и 2 образует зону чувствительности 9. ограниченную телесным углом θ, при этом θ=(ε-λ₁)/2, в которой определяется местоположение объекта 10 в окружающем пространстве. Зону чувствительности 9 ориентируют таким образом, чтобы она захватывала интересующий участок окружающего пространства с находящимся в нем наблюдаемым объектом 10. Настройку размера угла θ зоны чувствительности 9 и ее относительного положения (углов λ и ε) производят при помощи изменения фокусного расстояния f между фотоприемником 3 и центром объектива 1, и между фотоприемником 4 и центром объектива 2.

За счет организованного указанным способом наблюдения, свет от объекта 10 (показано стрелками на фиг.1) поступает в объективы 1 и 2 и проецируется под соответствующими ракурсами (углами α и β) на плоскости многоэлементных фотоприемников 3 и 4.

Объект 11 находится на бесконечном удалении от объективов 1 и 2, и свет от него проецируется на плоскости фотоприемников 3 и 4 под одним и тем же ракурсом (углы α и β очень близки). Фоточувствительные элементы - пиксели фотоприемников 3 и 4 ограничены физическими размерами. Учитывая это, изображение 14 и 15 от объекта 11 на фотоприемниках 3 и 4 будут совпадать. Углы падения света от объекта 11 становятся неотличимо равными при удалении объекта 11 от объективов 1 и 2, начиная с определенного расстояния R_inf. На фиг.1 объекты 11 принимают в качестве фоновых объектов, которые составляют удаленный неоднородный фон.

Сформированные указанным способом панорамные изображения 5 и 6 одновременно фиксируются, как показано на фиг.2 и 3. При этом зарегистрированные панорамные изображения 5 и 6 выравнивают по яркости между собой при наличии разброса в чувствительности фотоприемников.

Как показано на фиг.2 и 3, на зарегистрированных изображениях 5 и 6 присутствуют образы 12 и 13 объекта 10 и образы 14 и 15 фонового объекта 11. При наложении изображения 5 на 6 местоположения соответствующих образов 14 и 15 фонового объекта 11 совпадают, вследствие совпадения углов, под которыми они наблюдаются. При этом образы 12 и 13 объекта 10 отнесены друг от друга.

Формируют разность двух зарегистрированных панорамных изображений 5 и 6, и на полученном разностном изображении 16 (на фиг.4) образы 14 и 15 фонового объекта 11 отсутствуют вследствие вычитания их друг из друга. Выделяют ненулевые образы 12 и 13, оставшиеся на разностном изображении 16. Выделение производят известными методами обработки изображений, например, методом сегментации.

Определяют положение центров выделенных образов 12 и 13, ставя им в соответствие полярные координаты φ (угол азимута), радиусы r₁, r₂ в системе координат O₁X₁Y₁ (фиг.2, 3, 4). Угол α, под которым наблюдается объект 10 (угол места) на плоскости фотоприемника 5, определяется по следующей формуле

$$\alpha =arctg\left(\frac{r_1}{f}\right)$$ ,

где r₁ - полярная координата (длина радиус-вектора) центра образа 12 в системе координат O₁X₁Y₁ (на фиг.2, 4),

f - фокусное расстояние (на фиг.1).

Оценивают расстояние R до объекта 10 от главной оптической оси Z объективов 1 и 2 по следующей формуле

где r₁ - полярная координата (длина радиус-вектора) центра образа 12 в системе координат O₁X₁Y₁ (на фиг.2, 4),

r₂ - полярная координата (длина радиус-вектора) центра образа 13 в системе координат O₁X₁Y₁ (на фиг.3, 4),

f - фокусное расстояние (на фиг.1).

Относительное местоположение объекта 10 в окружающем пространстве определяется углом азимута φ, углом места α и расстоянием R.

При этом расстояние a (на фиг.1) между двумя пространственно разнесенными объективами 1 и 2 установки оптических систем переноса изображения выбирают таким образом, чтобы обеспечить гарантированное отсутствие параллактического сдвига на регистрируемой стереопаре образа удаленного фона. Фон удален от точки C₁ на расстояние более R_inf, находящееся дальше интересующего участка пространства. Образ удаленного фона параллактически смещен на стереопаре на значение менее одного пикселя при условии, если расстояние а вычисляется по следующей формуле

,

где a - расстояние между двумя пространственно разнесенными объективами 1 и 2,

R_int - расстояние от объектива 1, за которым начинается фон,

ε - угол при вершине поля зрения 7 или 8,

N_px - количество светочувствительных элементов квадратного фотоприемника (3, 4), расположенных по его стороне (общее количество светочувствительных элементов на фотоприемнике равно N_px×N_px).

Работа аппаратуры для определения местонахождения объекта 10 в окружающем пространстве осуществляется следующим образом.

Сначала при помощи объективов 1 и 2 на плоскостях многоэлементных фотоприемников 3 и 4 формируют панорамные изображения (круговое изображение) окружающего пространства, образующие стереоскопическое изображение.

Данное изображение одновременно регистрируют двумя фотоприемниками 3 и 4, преобразуют в цифровое изображение и передают по электрической связи на сигнальный вход блока математической обработки.

В блоке математической обработки зарегистрированное изображение анализируют согласно заложенному в блок алгоритму, основанному на описанном способе. На разностном изображении 16 локализуется интересующий объект 10. Процесс локализации заключается в выделении двух ненулевых фрагментов образов интересующего объекта 10 при помощи известных алгоритмов сегментации. После чего на зарегистрированном изображении 16 находят полярные координаты центров фрагментов образов интересующего объекта (φ, r₁, r₂ в системе координат O₁X₁Y₁). Далее, используя найденные координаты и приведенные выше соотношения, оценивают значение угла места α и расстояния R до объекта 10 от главной оптической оси Z объективов 1 и 2.

В блоке математической обработки, формируется сигнал, содержащий угол азимута φ, угол места α и расстояние R, которые передаются на сигнальный вход монитора для представления оператору.

Техническая реализация панорамной аппаратуры для определения местонахождения объекта в окружающем пространстве осуществляется на серийно освоенных конструкционных узлах и элементах. Создание программы для обработки зарегистрированных изображений не составляет трудностей при использовании известных алгоритмов. Заявленный способ и панорамная аппаратура могут быть использованы в технологическом оборудовании, например, на погрузчиках для детектирования опасного их сближения с преградой, например стеной, что позволит предотвратить столкновение.

Способ относится к оптическим стереоскопическим способам определения местонахождения объекта в окружающем пространстве. Интересующий участок окружающего пространства наблюдают двумя широкоугольными объективами в двух пространственно разнесенных точках. Главные оптические оси систем переноса изображения ориентируют так, чтобы они лежали на одной линии и были обращены в одну сторону. Панорамные изображения формируют в плоскости собственного фотоприемника. Расстояние до объекта определяют по взаимному расположению двух его образов на разности двух зарегистрированных панорамных изображений. Технический результат - увеличение достоверности, разрешающей способности и скорости регистрации кадра, что позволяет определять местоположение в окружающем пространстве, в круговой зоне контроля, перемещающегося малоразмерного объекта, на неоднородном фоне. 1 з.п. ф-лы, 4 ил.

1. Способ определения местонахождения объекта в окружающем пространстве, включающий формирование на плоскости многоэлементного фотоприемника двух панорамных изображений, фиксирование на каждом изображении образа, наблюдаемого под заданным ракурсом, интересующего участка окружающего пространства с находящимся в нем объектом, регистрацию сформированных изображений, определение местонахождения объекта с оценкой расстояния до него, определение расстояния до объекта по взаимному расположению двух его образов на одновременно зарегистрированной паре разнесенных панорамных изображений, отличающийся тем, что наблюдают интересующий участок окружающего пространства двумя идентичными индивидуальными оптическими системами переноса изображения, каждая в виде широкоугольного объектива, устанавливают системы переноса изображения в двух пространственно разнесенных точках, ориентируют главные оптические оси систем переноса изображения так, чтобы они лежали на одной линии и были обращены в одну сторону, формируют каждое панорамное изображение в плоскости собственного фотоприемника посредством индивидуальной оптической системы переноса изображения наблюдаемого участка пространства на плоскость фотоприемника, определяют расстояние до объекта по взаимному расположению двух его образов на разности двух зарегистрированных панорамных изображений.

2. Способ по п.1, отличающийся тем, что выбирают расстояние между двумя пространственно разнесенными точками установки оптических систем переноса изображения таким образом, чтобы обеспечить отсутствие параллактического сдвига фона, находящегося дальше интересующего участка пространства.