СПОСОБ ДЛЯ ОПРЕДЕЛЕНИЯ МЕСТОНАХОЖДЕНИЯ ОБЪЕКТА В ОКРУЖАЮЩЕМ ПРОСТРАНСТВЕ И ПАНОРАМНАЯ АППАРАТУРА ДЛЯ РЕАЛИЗАЦИИ СПОСОБА Российский патент 2011 года по МПК G03B37/04 G02B13/06 

Изобретение относится к панорамным оптическим средствам обнаружения объектов в окружающем пространстве в заданном телесном угле.

Известны способы, обеспечивающие формирование изображения с большим полем зрения с тем, чтобы можно было получить как можно больше информации об изменениях, происходящих вокруг. В частности, это касается необходимости распознавания появляющихся объектов с одновременным определением расстояния до них.

Для этой цели можно использовать видеокамеру с широкоугольным объективом, например FISH EYE (объектив «рыбий глаз»), но и она имеет недостаточное поле зрения.

Известен способ формирования панорамного изображения, предложенный компанией Apple Computer, с использованием обычной 35-мм камеры и программы QuickTime.RTM.VR (QTVR). В соответствии с этим способом камеру, оборудованную широкоугольным объективом (фокусное расстояние составляет 15-18 мм), устанавливают на вращаемый вокруг вертикальной оси штатив и последовательно регистрируют 12 или более снимков через каждые 30 градусов, охватывая, таким образом, круговой обзор. Затем снимки «сшиваются» с помощью специальной программы, формируя панорамное изображение. Однако данный процесс не обеспечивает единовременного режима наблюдения за объектом, т.к. каждый снимок делается в различное время. Кроме того, наличие механического движения камеры также является определенным недостатком.

Известен также способ формирования панорамного изображения, в соответствии с которым используют множество плоских отражающих поверхностей совместно с множеством видеокамер, обращенных к ним, причем каждая камера рассматривает чуть больше 90 градусов 50-градусного телесного угла визуализируемого пространства (см. статью V.S. Nalwa "A True Omni-Directional Viewer", AT&T Bell Laboratories Technical Memorandum, BL0115500-960115-01, Jan. 1996, а также европейские патентные заявки №№0982946, 1056292, заявитель: LUCENT TECHNOLOGIES INC., изобретатель V.S. Nalwa, МПК G02B 27/14, G03B 37/00).

Недостаток способа в необходимости иметь множество воспринимающих датчиков, чтобы одновременно охватить 360-градусное изображение окружающего пространства.

Известны также способы формирования панорамного изображения окружающего пространства на поверхности единого фотоприемного устройства, воспринимающего через оптическую систему переноса изображения свет, отраженный от зеркальной поверхности, имеющей форму тела вращения. При этом тело вращения может иметь различные формы. В частности, это может быть конус или сфера (см., например, международную заявку WO 2001/044870, приоритет от 14.12.2000, заявитель UNIVERSITE DE MONTREAL, МПК G03B 37/00, 37/04).

Подобный способ, описанный в патенте США №6542184, приоритет от 08.03.2000, МПК G02B 13/06, G03B 37/00, Driscoll Jr. et al., может быть, в числе прочего, использован для определения местонахождения объекта в окружающем пространстве на зарегистрированном панорамном изображении. Этот способ и выбран прототипом заявляемого способа.

Сущность известного способа заключается в формировании на светочувствительной поверхности плоского многоэлементного фотоприемника панорамного изображения наблюдаемого участка окружающего пространства с помощью имеющей форму тела вращения выпуклой светоотражающей поверхности, направляющей отраженный от нее свет из окружающего пространства к оптической системе переноса наблюдаемого участка окружающего пространства на светочувствительную поверхность фотоприемника, в регистрации сформированного изображения и в определении координат интересующего объекта в окружающем пространстве.

Недостаток способа заключается в низкой точности определения расстояния до объекта, если его размеры заранее не известны, так как в данном случае невозможно точно сопоставить удаленность объекта с его размерами на изображении.

Задача заключается в создании способа, устраняющего указанный недостаток с сохранением возможности наблюдения объекта в окружающем пространстве в широком телесном угле.

Поставленная задача решается следующим образом.

В известном способе, заключающемся в формировании на плоскости многоэлементного фотоприемника панорамного изображения наблюдаемого участка пространства с помощью имеющей форму тела вращения выпуклой светоотражающей поверхности, направляющей отраженный от нее рассеянный свет к оптической системе переноса изображения наблюдаемого участка пространства на плоскость фотоприемника, в регистрации сформированного изображения и в определении координат интересующего объекта, согласно изобретению формируют двухракурсное отражение от светоотражающей поверхности, при этом на плоскости многоэлементного фотоприемника одновременно получают два разнесенных панорамных изображения, каждое из которых содержит наблюдаемый под заданным ракурсом образ участка окружающего пространства с находящимся в нем интересующим объектом, а расстояние до указанного объекта определяют по взаимному расположению двух его образов на одновременно зарегистрированной паре разнесенных панорамных изображений.

Технический результат заключается в получении на плоскости многоэлементного фотоприемника своеобразной, одновременно регистрируемой, панорамной стереопары вследствие формирования двухракурсного отражения, что позволяет оценивать с большей точностью расстояние до интересующего объекта с заранее неизвестными размерами, анализируя взаимное расположение образов интересующего объекта на зарегистрированной панорамной стереопаре, используя при этом известный математический аппарат.

В качестве прототипа панорамной аппаратуры для определения местонахождения объекта выбрана аппаратура, реализующая описанный выше способ, содержащая выпуклое зеркало со светоотражающей поверхностью, образованной телом вращения и охватывающей круговой обзор контролируемого пространства в заданном телесном угле, многоэлементный фотоприемник, оптическую систему переноса отраженного от зеркала панорамного изображения на плоскость многоэлементного фотоприемника, причем ось тела вращения совмещена с главной оптической осью объектива оптической системы переноса изображения, а также устройство регистрации и обработки полученного изображения (см. вышеуказанный патент США №6542184). Данное устройство предназначено для наблюдения за окружающей обстановкой в любом направлении обзора, охватывающего 360 градусов, в режиме реального времени с возможностью одномоментной регистрации происходящего вокруг. При этом используется единственная стационарно ориентированная относительно выпуклого зеркала видеокамера, в плоскости многоэлементного фотоприемника которой формируется круговое панорамное изображение.

Однако данное устройство не обеспечивает возможности точного определения координат незнакомого объекта, появившегося в поле зрения наблюдаемого пространства.

Задача заключается в создании устройства, обеспечивающего повышение точности определения координат интересующего объекта. Поставленная задача решается тем, что в панорамной аппаратуре, содержащей выпуклое зеркало со светоотражающей поверхностью, образованной телом вращения и охватывающей круговой обзор контролируемого пространства в заданном телесном угле, многоэлементный фотоприемник, оптическую систему переноса отраженного от зеркала панорамного изображения на плоскость многоэлементного фотоприемника, причем ось тела вращения совмещена с главной оптической осью объектива оптической системы переноса изображения, а также устройство регистрации и обработки полученного изображения, согласно изобретению светоотражающая поверхность выпуклого зеркала образована двумя телами вращения с общей осью вращения, переходящими одно в другое, геометрические параметры которых обеспечивают отображение на плоскости фотоприемника двух разноракурсных панорамных изображений наблюдаемого участка пространства.

Благодаря такому выполнению устройства становится возможной реализация вышеописанного способа за счет появления стереопары изображений окружающего пространства, в том числе с интересующим объектом, по которой выявляется взаимное расположение двух образов одного и того же объекта, снятых под разными ракурсами, используемое в математических выражениях для определения координат тела в пространстве относительно заданной точки наблюдения.

Варианты выполнения светоотражающей поверхности могут быть различными.

Светоотражающая поверхность выпуклого зеркала может быть образована двумя коническими поверхностями с разными углами при вершинах, при этом обе конические поверхности обращены своими вершинами к входной апертуре оптической системы переноса изображения, и вершина конуса с меньшим углом при вершине смещена ближе к входной апертуре оптической системы переноса изображения, чем вторая.

В другом варианте светоотражающая поверхность выпуклого зеркала может быть образована двумя сферическими поверхностями с разными радиусами, при этом сферическая поверхность с меньшим радиусом смещена ближе, чем другая, по отношению к входной апертуре оптической системы переноса изображения.

В третьем варианте светоотражающая поверхность выпуклого зеркала может быть образована двумя эллиптическими поверхностями с разной кривизной, при этом сферическая поверхность с меньшей кривизной смещена ближе, чем другая, по отношению к входной апертуре оптической системы переноса изображения.

В четвертом варианте светоотражающая поверхность зеркала образована двумя параболическими поверхностями с разной кривизной, при этом обе параболические поверхности обращены своими вершинами к входной апертуре оптической системы переноса изображения, и параболическая поверхность с меньшей кривизной смещена ближе, чем вторая, к входной апертуре оптической системы переноса изображения.

Выбор того или иного варианта зависит от требуемого телесного угла обзора окружающего пространства, при этом чем больше кривизна выпуклого зеркала, тем больше угол обзора.

Кроме того, выпуклое зеркало со светоотражающей поверхностью может быть выполнено составным из двух отдельных деталей, каждая из которых содержит светоотражающую поверхность в форме тела вращения, при этом детали закреплены относительно друг друга с условием совмещения их осей вращения с главной оптической осью объектива оптической системы переноса изображения.

В некоторых случаях это может оказаться более технологичным.

Кроме того, аппаратура содержит узел направленной подсветки, состоящий, по крайней мере, из одного источника света и, по крайней мере, из одного щелевого коллиматора с плоскостью щели, перпендикулярной главной оптической оси объектива оптической системы переноса изображения.

Благодаря этому обеспечивается определение расстояния до крупногабаритного равномерно окрашенного объекта, например стены, вследствие формирования светового реперного пятна или полосы на интересующем объекте.

На фиг.1 схематически показан принцип формирования панорамной стереопары заявляемым способом, а на фиг.2 соответствующее изображение, сформированное на плоскости многоэлементного фотоприемника. На фиг.3, 4, 5 схематически изображены варианты исполнения панорамной аппаратуры для определения местонахождения объекта в окружающем пространстве, реализующие способ, в которых для образования выпуклых светоотражающих поверхностей используются конусы (фиг.3), сферы (фиг.4), эллипсы (фиг.5). На фиг.6 показан один из вариантов исполнения выпуклого зеркала, состоящего из двух отдельных деталей, закрепленных на одной оправке.

Способ реализуется следующим образом.

Сначала на плоскости многоэлементного фотоприемника формируют панорамную стереопару. Свет (лучи ОА₁ и OB₁) из окружающего пространства поступает на выпуклую светоотражающую поверхность, имеющую форму тела вращения, и отражается от двух ее участков H₁ и Н₂ под двумя различными ракурсами (фиг.1). Свет (лучи A₁O₁ и B₁O₁), отраженный от H₁ и Н₂, проходя через систему переноса изображения наблюдаемого участка пространства, формирует на плоскости Н₃ многоэлементного фотоприемника два изображения (точки А₂ и В₂) одного и того же участка пространства (точки О), наблюдаемого под разными ракурсами. После чего панорамную стереопару, сформированную таким образом на плоскости фотоприемника, регистрируют. Как показано на фиг.2, первому панорамному изображению из состава стереопары соответствует область зарегистрированного изображения, ограниченная кругом радиусом R₁ с центром в точке О₂, являющейся точкой пересечения оси Y - главной оптической оси (г.о.о.) системы переноса изображения - с плоскостью Н₃ (фиг.1); а второму панорамному изображению - кольцевая область с центром в точке О₂, ограниченная внутренним радиусом R₁ и внешним радиусом R₂.

Конфигурацию и расположение поверхностей H₁ и Н₂ выбирают таким образом, чтобы лучи (OA₁ и OB₁), исходящие из одной точки объекта (точки О) и падающие на выпуклое зеркало, отражались от него и проходили через одну точку, например центр (точку O₁) входной линзы оптической системы переноса изображения наблюдаемого участка пространства, на плоскость многоэлементного фотоприемника. Форма светоотражающих поверхностей H₁ и Н₂ в зависимости от требуемого угла обзора окружающего пространства Θ может быть, например, конической, сферической, эллиптической или параболической. При этом чем больше кривизна светоотражающих поверхностей, тем больше угол обзора Θ. Максимальная дальность измерения расстояния до объекта также определяется конфигурацией и расположением поверхностей H₁ и Н₂, и в частности стереоскопическим базисом (отрезком а). Чем больше базис, тем больше максимальная дальность измерения расстояния до объекта.

Далее, чтобы определить координаты интересующего объекта (точки О) поступают следующим образом.

На зарегистрированном изображении (фиг.2) определяют координаты точек (А₂(φ,r₁) и В₂(φ,r₂)), соответствующих двум образам интересующего объекта, снятым под разными ракурсами.

Вычисляют углы α и β между осью X₁, параллельной плоскости Н₃ и направленной в сторону интересующего объекта (точки О), и лучами, отраженными от поверхностей H₁ и Н₂ соответственно (фиг.1). Данные углы вычисляют исходя из найденных координат (φ,r₁,r₂) и известных характеристик оптической системы переноса изображения (фокусного расстояния f).

Определяют координаты точек (А₁ и B₁) отражения (падения) лучей от поверхностей H₁ и Н₂, формирующих на плоскости Н₃ соответствующие разноракурсные образы интересующего объекта. Данные координаты точек (A₁(X_A1,Y_A1) и B₁(X_B1,Y_B1)) отражения (падения) лучей в системе O₁X₁Y определяются как решение следующих двух систем уравнений:

где F₁(x,y) - известное уравнение в неявном виде кривой, являющейся сечением отражающей поверхности H₁ плоскостью O₁X₁Y; F₂(x,y) - известное уравнение в неявном виде кривой, являющейся сечением отражающей поверхности Н₂ плоскостью O₁X₁Y. Для отражающих поверхностей конической формы соответствующие уравнения F₁(x,y)=0, F₂(x,y)=0 являются уравнениями прямых в неявном виде, для сферической формы - уравнениями дуг окружностей, для эллиптической - дуг эллипсов, для параболической - дуг парабол.

Вычисляют угол λ₁ - угол между лучом A₁O и вектором O₁X₁, и угол λ₂ - угол между лучом B₁O и вектором О₁Х₁, по следующим формулам, полученным на основе известных представлений геометрической оптики.

где , - значения частных производных по X и по Y функции F₁(x,y) в точке A₁(X_A1,Y_A1) соответственно; , - значения частных производных по X и по Y функции F₂(x,y) в точке B₁(X_B1,Y_B1) соответственно.

Находят координаты интересующего объекта (т. O(X_O,Y_O)) в системе O₁X₁Y из решения уравнения:

Таким образом, положение объекта (точки О) в пространстве полностью детерминируют найденный угол φ и координаты (т. O(X_O,Y_O)) в системе O₁X₁Y.

Панорамная аппаратура для определения местонахождения объекта в окружающем пространстве, реализующая способ, в общем виде содержит выпуклое зеркало 1, оптическую систему 2 переноса изображения, многоэлементный фотоприемник 3, блок 4 математической обработки зарегистрированного изображения, см. фиг.3, 4, 5.

В устройстве, приведенном на фиг.3, выпуклое зеркало 1 образовано первой конической светоотражающей поверхностью (H₁) с углом при вершине δ и второй конической светоотражающей поверхностью (Н₂) с углом при вершине ε. Центральные оси конических поверхностей совпадают с главной оптической осью (г.о.о.) системы 2. Первая коническая поверхность переходит во вторую коническую поверхность, при этом в центральном сечении образующая поверхности выпуклого зеркала представляет собой ломаную линию.

В устройстве, приведенном на фиг.4, выпуклое зеркало 1 образовано двумя пересекающимися светоотражающими сферическими поверхностями. Первая сферическая поверхность (H₁) с радиусом переходит во вторую сферическую поверхность (Н₂) с большим радиусом . Геометрические центры сфер находятся на главной оптической оси системы 2.

В устройстве, приведенном на фиг.5, показано выпуклое зеркало 1, образованное двумя пересекающимися светоотражающими эллиптическими поверхностями. Первая меньшая эллиптическая поверхность (H₁) переходит во вторую большую эллиптическую поверхность (Н₂). При этом одна из двух полуосей каждой эллиптической поверхности совпадает с главной оптической осью системы 2.

Для обеспечения большей технологичности выпуклое зеркало 1 может быть выполнено составным, см. фиг.6. При этом зеркало 1 состоит из двух отдельных деталей, каждая из которых содержит светоотражающую поверхность в форме тела вращения, при этом детали закреплены относительно друг друга на оправке 7 с условием совмещения их осей вращения с главной оптической осью объектива оптической системы 2.

Оптическая система 2 переноса изображения наблюдаемого участка пространства на плоскость фотоприемника 3 может быть выполнена в виде линзового объектива. В качестве фотоприемника 3 может использоваться многоэлементный прибор с зарядовой связью (ПЗС матрица) или многоэлементный комплементарный металлооксидный полупроводник (КМОП матрица).

Конфигурация выпуклого зеркала 1 и оптической системы 2 подобрана таким образом, чтобы весь падающий (в заданном телесном угле Θ с круговым охватом 360 градусов) на выпуклое зеркало 1 свет из окружающего пространства отражался от выпуклого зеркала 1 и проходил через одну точку, например центр входной линзы объектива оптической системы 2. При этом формируемое выпуклым зеркалом 1 и оптической системой 2 панорамное стереоскопическое изображение полностью отображается в плоскости многоэлементного фотоприемника 3.

Блок 4 математической обработки зарегистрированного изображения может быть выполнен в виде программируемой логической интегральной схемы (ПЛИС). Сигнальные входы блока 4 соединяются посредством электрической связи с сигнальными выходами фотоприемника 3.

Панорамная аппаратура для определения местонахождения объекта в окружающем пространстве может содержать узел направленной подсветки 5, см. фиг.5 (показан в разрезе), состоящий, по крайней мере, из одного источника света (обозначен буквой S) и, по крайней мере, из одного щелевого коллиматора с плоскостью щели, перпендикулярной главной оптической оси объектива оптической системы 2 переноса изображения. При этом щелевой коллиматор может быть выполнен в виде светонепроницаемой оболочки с сделанной в нем щелью 6. Узел 5 обеспечивает создание светового репера на крупногабаритном равномерно окрашенном объекте, например стене, что упрощает выделение на зарегистрированной стереопаре двух образов одного и того же фрагмента (светового пятна) объекта, снятых под разными ракурсами, анализ взаимного расположения которых проводится в дальнейшем для определения расстояния до объекта.

Электропитание панорамной аппаратуры для определения местонахождения объекта в окружающем пространстве может осуществляться по проводной электрической связи от отдельной системы энергоснабжения.

Работа панорамной аппаратуры для определения местонахождения объекта в окружающем пространстве осуществляется следующим образом.

Сначала при помощи выпуклого зеркала 1 и оптической системы 2 на плоскости (Н₃) многоэлементного фотоприемника 3 формируется панорамное (круговое) стереоскопическое изображение окружающего пространства в телесном угле Θ.

Данное изображение регистрируется фотоприемником 3, преобразуется в цифровое и передается по электрической связи на сигнальный вход блока 4 математической обработки.

В блоке 4 математической обработки зарегистрированное изображение анализируется согласно заложенному в блок алгоритму, основанному на описанном способе. На стереопаре локализуется интересующий объект. Процесс локализации заключается в выделении контуров двух образов интересующего объекта при помощи существующих алгоритмов (например, алгоритма Гаусса или Собеля) и двух областей, ограниченных данными контурами. После чего на зарегистрированном изображении находятся координаты точек ((А₂(φ,r₁) и В₂(φ,r₂)), фиг.1, 2), соответствующих центрам двух образов интересующего объекта (точки О - центра объекта). Далее, используя найденные координаты и приведенные выше системы уравнений и соотношения, находят координаты (т. O(X_O,Y_O)) в системе O₁X₁Y.

В блоке 4 формируется сигнал, содержащий найденный угол φ и координаты (т. O(X_O,Y_O)) в системе O₁X₁Y, который передается на сигнальный выход блока 4.

Техническая реализация панорамной аппаратуры для определения местонахождения объекта в окружающем пространстве осуществляется на серийно освоенных конструкционных узлах и элементах. Создание программы для обработки зарегистрированных изображений не составляет трудностей при использовании известных алгоритмов. Заявленный способ и панорамная аппаратура могут быть использованы в технологическом оборудовании, например на погрузчиках для детектирования опасного их сближения с преградой (стеной), что поможет позволить предотвращать столкновения.

Способ включает формирование двухракурсного отражения от выпуклой светоотражающей поверхности, направляющей свет к оптической системе переноса изображения на плоскость многоэлементного фотоприемника, регистрацию изображения и определение координат объекта. На плоскости фотоприемника получают два разнесенных панорамных изображения с находящимся на них объектом, по которым определяют расстояние до объекта. Панорамная аппаратура содержит выпуклое зеркало со светоотражающей поверхностью, охватывающей круговой обзор контролируемого пространства в заданном телесном угле и образованной двумя телами вращения, переходящими одно в другое, оптическую систему переноса, многоэлементный фотоприемник и устройство регистрации и обработки полученного изображения. Тела вращения имеют общую ось вращения, совмещенную с главной оптической осью объектива оптической системы переноса изображения. Геометрические параметры тел вращения обеспечивают отображение на плоскости фотоприемника двух разноракурсных панорамных изображений. Технический результат - повышение точности определения расстояния до объекта с сохранением возможности наблюдения объекта в широком телесном угле. 2 н. и 1 з.п. ф-лы, 6 ил.

1. Способ определения местонахождения объекта в окружающем пространстве, заключающийся в формировании на плоскости многоэлементного фотоприемника панорамного изображения наблюдаемого участка пространства с помощью выпуклой светоотражающей поверхности, направляющей отраженный от нее рассеянный свет к оптической системе переноса изображения наблюдаемого участка пространства на плоскость фотоприемника, в регистрации сформированного изображения и в определении координат интересующего объекта, отличающийся тем, что формируют двухракурсное отражение от светоотражающей поверхности, при этом на плоскости многоэлементного фотоприемника одновременно получают два разнесенных панорамных изображения, каждое из которых содержит наблюдаемый под заданным ракурсом образ участка окружающего пространства с находящимся в нем интересующим объектом, а расстояние до указанного объекта определяют по взаимному расположению двух его образов на одновременно зарегистрированной паре разнесенных панорамных изображений.

2. Панорамная аппаратура для определения местонахождения объекта в окружающем пространстве, содержащая выпуклое зеркало со светоотражающей поверхностью, охватывающей круговой обзор контролируемого пространства в заданном телесном угле, многоэлементный фотоприемник, оптическую систему переноса отраженного от зеркала панорамного изображения на плоскость многоэлементного фотоприемника, а также устройство регистрации и обработки полученного изображения, отличающаяся тем, что светоотражающая поверхность выпуклого зеркала образована двумя телами вращения, переходящими одно в другое, с общей осью вращения, совмещенной с главной оптической осью объектива оптической системы переноса изображения, геометрические параметры которых обеспечивают отображение на плоскости фотоприемника двух разноракурсных панорамных изображений наблюдаемого участка пространства.

3. Панорамная аппаратура по п.2, отличающаяся тем, что светоотражающая поверхность выпуклого зеркала образована двумя коническими поверхностями с разными углами при вершинах, при этом обе конические поверхности обращены своими вершинами к входной апертуре оптической системы переноса изображения, и вершина конуса с меньшим углом при вершине смещена ближе к входной апертуре оптической системы переноса изображения, чем вторая.