СПОСОБ ОПРЕДЕЛЕНИЯ ПРОСТРАНСТВЕННЫХ КООРДИНАТ ТОЧЕЧНЫХ ИСТОЧНИКОВ ПО ДВУХМЕРНЫМ ИЗОБРАЖЕНИЯМ Российский патент 2018 года по МПК G01C11/04 G06T7/45 

Изобретение относится к области фотограмметрии и может быть использовано для определения пространственных координат и интенсивностей точечных источников излучения по двухмерным изображениям.

Под точечными источниками будем понимать объекты в свободном пространстве, которые воспринимаются системой регистрации изображения как точечные или наиболее яркие точечные объекты на менее ярком фоне. Под интенсивностью точечных источников будем понимать интенсивность их отраженного освещения от естественных источников (например, Солнца), или от искусственного источника, или собственного излучения, например в инфракрасном диапазоне.

Будем полагать, что на плоскостях изображений регистрируются изображения области пространства, в которой находятся все анализируемые точечные источники. Будем далее эту область пространства называть контролируемой областью пространства. При этом полагаем известными пространственные положения плоскостей изображения. Число плоскостей изображения - два или более.

Известные способы определения пространственных координат точечных источников основаны на обязательном выявлении на зарегистрированных изображениях соответственных точек (т.е. точек, которые являются изображениями одного и того же источника) и определении по ним тем или иным образом пространственных координат. В заявляемом способе предлагается новый принцип определения пространственных координат точечных источников, в котором выявлять соответственные точки не нужно.

Известен способ (аналог) определения пространственных координат точек по двухмерным изображениям контролируемой области пространства, в котором для расчета пространственных координат точечных источников находят соответственные точки на изображениях [1] и по координатам этих точек в плоскостях изображений расчетным путем определяют пространственные координаты источников. Для нахождения соответственных точек используют, например, корреляционный метод [2], в котором для выявления соответственных точек выбирают анализируемую точку на одном изображении, выделяют небольшой участок изображения вокруг нее и сравнивают этот участок с перебираемыми участками второго изображения, определяя каждый раз корреляцию изображений сравниваемых участков. По максимальной корреляции выявляют соответственную точку на втором изображении.

Этот способ имеет следующие недостатки.

1. Он имеет ограниченную область применения, так как может работать только в том случае, если области вокруг изображений источников неоднородные, различающиеся по структуре. Если же изображения точечных источников имеют однородный, постоянный фон или находятся в свободном пространстве, выявить максимальное значение корреляции невозможно.

2. Этот способ требует существенных вычислительных затрат на корреляционную обработку.

3. Применение корреляционной обработки приводит к низкому быстродействию.

От указанных недостатков свободен другой способ (прототип) определения пространственных координат точечных источников [3], в котором к камерам, регистрирующим изображения, добавляют лазер, сканируют лазерным лучом контролируемую область пространства, для анализируемой точки на первом изображении находят эпиполярную линию, выявляют случай совпадения сканирующей линии с анализируемой точкой на первом изображении и по точке пересечения сканирующей линии с эпиполярной линией на втором изображении определяют соответственную точку; компьютер предварительно вычисляет пространственные координаты всех точек на первом изображении и всех точек соответствующих им эпиполярных линий, для каждой точки первого изображения и точки пересечения линий (сканирующей и эпиполярной) 2-го изображения ЭВМ выбирает из памяти соответствующие пространственные координаты этой точки.

Прототип, по сравнению с аналогом, имеет более широкую область применения - он может работать при однородном фоне на изображениях точечных источников. Кроме того, за счет предварительных компьютерных вычислений прототип имеет более высокое быстродействие.

Недостатки прототипа следующие.

1. Он неработоспособен, если источники находятся в свободном пространстве, от которого не будет отражаться лазерный луч, формируя сканирующую линию на втором изображении.

2. Для реализации прототипа необходимо использовать специальное оборудование - лазерную установку и систему сканирования, что сопровождается повышенным энергопотреблением.

3. Вся система определения пространственных координат точечных источников является активной, облучающей наблюдаемые объекты, что в некоторых случаях нежелательно.

Технической задачей данного изобретения является расширение области применения способа на определение пространственных координат точечных источников в свободном пространстве, сокращение измерительной аппаратуры и энергопотребления, обеспечение пассивного режима работы, а также повышение информативности за счет получения дополнительной информации об интенсивностях источников.

Поставленная задача достигается тем, что в способе определения пространственных координат точечных источников, заключающемся в регистрации под разными ракурсами контролируемой области пространства, в которой находятся точечные источники, и определении пространственных координат источников с использованием этих изображений и вычислительных процедур, согласно изобретению контролируемую область пространства разбивают на малые объемы - элементы разрешения, нумеруют их и фиксируют пространственные координаты каждого элемента разрешения, расчетным путем определяют положения всех элементов разрешения на плоскостях изображений, на каждой плоскости изображения выявляют элементы площади, на которые проецируются элементы разрешения контролируемой области пространства с учетом их наложений на один и тот же элемент площади, нумеруют элементы площади, для каждого из них формируют весовой вектор h, который включает столько компонент, сколько всего элементов разрешения содержит контролируемая область пространства, причем i-я компонента вектора h равна 1, если изображение i-го элемента разрешения совпадает с данным элементом площади, и равна 0, если не совпадает, все эти весовые векторы объединяют в весовую матрицу где K - число элементов площади на плоскости изображения, измеряют интенсивность изображения в каждом элементе площади и составляют из них вектор измерений g, в котором измеренные интенсивности располагают в соответствии с номерами элементов площади, полученные для всех изображений весовые матрицы объединяют в матрицу где - весовые матрицы 1-го, 2-го,…, М-го изображений, М - число изображений, а все векторы измерений объединяют в вектор где индекс Т обозначает транспонирование, из уравнения находят оценку вектора f распределения интенсивностей по элементам разрешения в контролируемой области пространства, например, методом псевдообращения по формуле где индекс + обозначает операцию псевдообращения, а - оценка вектора f, выделяют компоненты вектора превышающие фоновый уровень интенсивности, определяют пространственные координаты источников как координаты элементов разрешения, номера которых совпадают с номерами выделенных компонент вектора , и интенсивности источников - по значениям этих компонент.

Особенностью и главным преимуществом заявляемого способа является возможность вообще не выявлять на изображениях соответственные точки. Это обеспечивает его работоспособность даже в случаях совершенно одинаковых изображений точечных источников в отсутствие фона, если регистрируются, например, изображения одинаковых источников, находящихся в свободном пространстве.

Обоснование способа.

Решаемой задачей является определение пространственных координат и интенсив-ностей источников, расположенных в известной контролируемой области пространства Ω. Такими источниками могут быть точечные объекты в свободном пространстве или некие выделяющиеся своей интенсивностью на остальном фоне участки, воспринимаемые системами формирования изображений как точечные.

Будем полагать, что имеется М изображений, на которых отображается контролируемая область пространства в различающихся ракурсах.

Разобьем контролируемую область пространства на малые объемы - элементы разрешения (ЭР) пронумеруем их и зафиксируем координаты центра каждого ЭР, обозначив их трехмерными координатными векторами где N - число ЭР в контролируемой области пространства.

Введем в рассмотрение вектор f распределения интенсивностей по ЭР в контролируемой области пространства. Компоненты этого вектора равны либо интенсивности фона, если в ЭР с номером компоненты нет источника, либо интенсивности источника, если он в этом ЭР есть. В случае нахождения источников в свободном пространстве интенсивность фона равна 0.

Вектор f дает полную информацию о координатах, интенсивностях и количестве источников в контролируемой области пространства. Действительно, число компонент этого вектора, превышающих фоновый уровень, равно числу источников; номера этих компонент равны номерам ЭР, в которых есть источники и пространственные координаты которых известны; значения же этих компонент равны (с точностью до коэффициентов ослабления) интенсивностям источников. Коэффициенты ослабления излучения в первом приближении обратно пропорциональны квадрату дальности источников и могут быть учтены при определении интенсивностей.

Таким образом, для решения поставленной задачи определения пространственных координат и интенсивностей источников, расположенных в контролируемой области пространства, необходимо определить вектор f.

Решается задача следующим образом.

Определим расчетным путем положения всех ЭР на плоскостях изображений. Сделать это можно путем проецирования на плоскости изображения координатных векторов.

Пусть известно, что плоскость изображения перепендикулярна заданному вектору R. Найдем оператор проецирования на эту плоскость.

Согласно [4] оператор проецирования на вектор R определяется выражением а оператор проецирования на ортогональную вектору R плоскость (плоскость изображения) - оператором

Найдем базисные орты плоскости изображения. Будем полагать, что направление базисного орта оси ординат j₀ определяется проекцией базисного орта j базовой системы координат на плоскость изображения, а базисный орт оси абсцисс i₀ составляет с векторами j₀ и R правую систему координат. Это значит, что где оператор Q определяется выражением (1), - векторное произведение, - модуль вектора, равного векторному произведению входящих в выражение векторов.

Чтобы определить положения всех ЭР на плоскости изображения, необходимо найти проекции их координатных векторов на оси координат, задаваемые ортами i₀, j₀. Проецирующие на эти оси операторы определяются выражениями

В выражениях (2) учтены равенства

Таким образом, проекционный оператор на плоскость изображения равен а проекция вектора ρ_i на эту плоскость определяется выражением

в котором вектор ρ_i - трехмерный вектор пространственных координат i-го ЭР, ρ_i0 - двухмерный вектор координат проекции ρ_i на плоскость изображения, k_i - масштабирующий коэффициент, определяемый параметрами системы формирования изображения и положением ЭР.

Подставляя в (3) координатные векторы всех ЭР, получим все их проекции на плоскость изображения. Чтобы получить область изображения ЭР, его можно задать не только координатным вектором центра, но и дополнительными координатными векторами его границ. Другой вариант - окружить проекции центров ЭР областями с равноотстоящими от соседних центров границами.

Очевидно, что при проецировании не все ЭР займут отдельный участок плоскости изображения: во многих случаях они будут накладываться, попадая на плоскости изображения в один участок плоскости - элемент площади (ЭП). Количество ЭП будет при этом меньшим, чем число ЭР в контролируемой области пространства. Количество ЭП - это количество видимых на изображении проекций ЭР. Если в накладывающихся ЭР есть источники, то интенсивности их будут суммироваться в одном ЭП, что отвечает рассматриваемому случаю точечных источников.

Пронумеруем получившиеся ЭП, например, в соответствии со строчно-столбцовым сканированием изображения. Сформируем для каждого ЭП весовой вектор h, который включает столько компонент, сколько всего элементов разрешения содержит контролируемая область пространства, причем i-я компонента вектора h равна 1, если изображение i-го элемента разрешения совпадает с данным элементом площади, и равна 0, если не совпадает. Тогда интенсивность k-го ЭП определится формулой

где h_k - весовой вектор k-го ЭП, и - n-я компонента векторов h_k и искомого вектора f.

Измерим интенсивность изображения в каждом элементе площади и составим из них вектор измерений g, в котором измеренные интенсивности располагаются в соответствии с номерами ЭП: , а все весовые векторы объединим в весовую матрицу где K - число ЭП на плоскости изображения. С учетом этих обозначений, в соответствии с (4),

Опишем таким образом все имеющиеся изображения:

где М - число изображений контролируемой области пространства, зарегистрированных с разных ракурсов.

Заметим, что размеры векторов изображений в общем случае различны: g₁ имеет размер K₁ × 1, g₂ - K₂ × 1 и т.д. Соответствующие размеры имеют и матрицы Н₁, Н₂,…. Объединим полученные для всех изображений весовые матрицы в матрицу Н₀ = [Н₁, Н₂ … H_M], где Н₁ Н₂ ... H_M - весовые матрицы 1-го, 2-го, … изображений, М - число изображений, а все векторы измерений объединим в вектор и перепишем систему уравнений (5) в форме векторно-матричного уравнения

Теперь для определения вектора f надо решить уравнение (6). Сделать это можно, например, методом псевдообращения:

где индекс + обозначает операцию псевдообращения матрицы.

Компоненты вектора являются оценками интенсивностей излучения всех ЭР контролируемой области пространства. Это либо фоновое излучение, либо излучение источника, существенно превышающее фоновое.

Осталось определить по этому вектору интересующие нас параметры. Для этого выделим компоненты вектора превышающие фоновый уровень интенсивности. Номера этих компонент - это номера ЭР, в которых есть источники. Поэтому координаты источников равны координатам ЭР, номера которых совпадают с номерами выделенных компонент вектора Соответственно, интенсивности источников определяются значениями выделенных компонент. Без учета пространственного ослабления интенсивности излучений источников равны значениям выделенных компонент. Количество источников равно количеству выделенных компонент вектора

Преимущества предлагаемого способа по сравнению с прототипом следующие.

1. Пространственные координаты источников определяются без обычного для решения этой задачи нахождения соответственных точек на изображениях. А задача идентификации точек достаточно сложно решается. В случае точечных источников в свободном, не отражающем лазерное излучение пространстве, задача с помощью прототипа не решается, а заявляемым способом - решается. Таким образом, заявляемый способ имеет более широкую область применения.

2. В решении не используются и такие приемы, как активная лазерная подсветка, что обеспечивает пассивный характер реализации способа и пониженное энергопотребление. Сокращается, также, аппаратурная составляющая, необходимая для реализации способа.

3. Появляется возможность определять помимо пространственных координат также и интенсивности источников. Таким образом, заявляемый способ имеет большую информативность по сравнению с прототипом.

Источники информации

1) Назаров А.С. Фотограмметрия: учеб. пособие для студентов вузов. - Мн.: ТетраСистемс, 2006. - 368 с., стр. 153-155.

2) Назаров А.С. Фотограмметрия: учеб. пособие для студентов вузов. - Мн.: ТетраСистемс, 2006. - 368 с., стр. 271-273.

3) Коротаев В.В., Ждамийков Т.С., Нгуен Х.В., Ярышев С.Н. Метод определения пространственных координат в активной стереоскопической системе. // Научно-технический вестник информационных технологий, механики и оптики, 2014, №6 (94), стр. 48-53. (прототип).

4) Самойленко В.И., Пузырёв В.А., Грубрин И.В. Техническая кибернетика: Учеб. пособие. - М.: Изд-во МАИ, 1994. - 280 с., стр. 271-272.

Способ определения пространственных координат точечных источников по двухмерным изображениям заключается в регистрации под разными ракурсами изображений контролируемой области пространства, в которой находятся источники, разбиении этой области пространства на элементы разрешения (ЭР), нумерации их и фиксации пространственных координат, определении расчетным путем положений ЭР на плоскостях изображений. Также выявляют на каждой плоскости изображения элементы площади (ЭП), на которые проецируются ЭР; формируют для каждого ЭП весовой вектор. Далее формируют из этих векторов весовую матрицу. Оценивают вектор распределения интенсивностей по ЭР и выделяют компоненты полученной оценки, превышающие фоновый уровень интенсивности. Далее определяют пространственные координаты источников как координаты ЭР, номера которых совпадают с номерами выделенных компонент, и определяют интенсивности источников по значениям этих компонент. Технический результат заключается в расширении области применения способа на определение пространственных координат точечных источников в свободном пространстве, сокращении измерительной аппаратуры и энергопотребления, обеспечении пассивного режима работы, а также повышении информативности за счет получения дополнительной информации об интенсивностях источников.

Способ определения пространственных координат точечных источников по двухмерным изображениям, заключающийся в том, что регистрируют под разными ракурсами изображения контролируемой области пространства, в которой находятся точечные источники, и определяют пространственные координаты источников с использованием этих изображений и вычислительных процедур,

отличающийся тем, что контролируемую область пространства разбивают на малые объемы - элементы разрешения, нумеруют их и фиксируют пространственные координаты каждого элемента разрешения, расчетным путем определяют положения всех элементов разрешения на плоскостях изображений, на каждой плоскости изображения выявляют элементы площади, на которые проецируются элементы разрешения контролируемой области пространства с учетом их наложений на один и тот же элемент площади, нумеруют элементы площади, для каждого из них формируют весовой вектор h, который включает столько компонент, сколько всего элементов разрешения содержит контролируемая область пространства, причем i-я компонента вектора h равна 1, если изображение i-го элемента разрешения совпадает с данным элементом площади, и равна 0, если не совпадает, все эти весовые векторы объединяют в весовую матрицу H=[h₁ h₂ … h_K], где K - число элементов площади на плоскости изображения, измеряют интенсивность изображения в каждом элементе площади и составляют из них вектор измерений g, в котором измеренные интенсивности располагают в соответствии с номерами элементов площади, полученные для всех изображений весовые матрицы объединяют в матрицу Н₀=[Н₁ Н₂ … H_M], где Н₁ Н₂ … H_M - весовые матрицы 1-го, 2-го, …, М-го изображений, М - число изображений, а все векторы измерений объединяют в вектор , где индекс Т обозначает транспонирование, из уравнения находят оценку вектора f распределения интенсивностей по элементам разрешения в контролируемой области пространства, например, методом псевдообращения по формуле , где индекс + обозначает операцию псевдообращения, а - оценка вектора f, выделяют компоненты вектора , превышающие фоновый уровень интенсивности, определяют пространственные координаты источников как координаты элементов разрешения, номера которых совпадают с номерами выделенных компонент вектора , и интенсивности источников - по значениям этих компонент.