Способ получения стереоскопических снимков с синтезированной величиной стереобазы Российский патент 2019 года по МПК G03B35/10 G01S17/06 

Область техники, к которой относится изобретение

Изобретение относится к способам фото и видеосъемки. А именно, к способу получения оптических стереоскопических снимков, предназначенных для стереометрии. Изобретение применимо, например, в автоматических системах скрытного пассивного определения координат объектов при выполнении военных операций, в том числе разведки и рекогносцировки на поле боя, создавая преимущество ввиду отсутствия мощного демаскирующего излучения, характерного для лазерных дальномеров.

Изобретение относится к области стереометрии и позволяет производить съемку со стереобазой любых, неограниченных размеров, что, с учетом больших размеров базы, позволит получить увеличенный параллакс между одноименными объектами стереоснимков и, соответственно, большие возможности в повышении точности определения методами стереометрии расстояний до фотографируемых объектов в окружающем пространстве, в том числе, и до многочисленных целей на поле боя, используемых в расчетах по определению их координат на местности.

Предшествующий уровень техники

Имеющиеся на вооружении артиллерийские стереотрубы - дальномеры имеют ограниченные габариты и как следствие, стереобазу небольших размеров, обеспечивающую невысокую, но приемлемую для устаревшей полевой артиллерии точность пассивного измерения дальности. Кроме того, стереотрубы, как и лазерные дальномеры, позволяют измерять расстояние последовательно для каждой одиночной цели и не могут выдавать за одно измерение данные по дальности для множества наблюдаемых в пространстве (на поле боя) целей, за исключением случаев, когда цели находятся на одной линии прицеливания.

Из области техники, к которой относится заявленное изобретение, известно изобретение «Устройство для селекции объектов на неоднородном удаленном фоне», кл. G01S 17/66 от 26.11.2007, авторы: Подгорнов В.А., Подгорнов С.В., Бровкин В.Ф., патент РФ №2390039. Данный подход заключается в использовании при работе устройства нескольких пар идентичных видеосистем. Недостатком данного подхода служит его техническая сложность и низкий уровень мобильности.

Из уровня техники известен также «Способ для определения местонахождения объекта в окружающем пространстве и панорамная аппаратура для реализации способа», [патент РФ №2420774 от 04.02.2009, кл. G03B 37/04, G02B 13/06, авторы: Подгорнов В.А., Подгорнов С.В., Щербина А.Н.]. Способ заключается в формировании на плоскости многоэлементного фотоприемника двух панорамных изображений, фиксировании на каждом изображении наблюдаемого под заданным ракурсом образа интересующего участка окружающего пространства с находящимся в нем объектом, регистрации сформированных изображений, определении местонахождения объекта с оценкой расстояния до него, определении расстояния до объекта по взаимному расположению двух его образов на одновременно зарегистрированной паре разнесенных панорамных изображений.

Недостатками данного способа является ограниченный размер стереобазы и невысокая точность, поскольку на приемной площадке одного фотоприемника одновременно формируются два панорамных изображения, что приводит к недостаточному количеству пикселей, приходящихся на единицу площади обозреваемого пространства.

Из области техники известен также «Способ определения местонахождения объекта в окружающем пространстве» [патент ФГУП "Российский Федеральный Ядерный Центр-Всероссийский Научно-Исследовательский Институт Технической Физики имени академика Е.И. Забабахина" №2535631, кл. G03B 37/04, G02B 13/06 от 13.03.2013 г.: авторы Подгорнов В.А., Подгорнов С.В., Перевалов А.И.]. Способ заключается в определении местонахождения объекта в окружающем пространстве, включающий формирование на плоскости многоэлементного фотоприемника двух панорамных изображений, фиксирование на каждом изображении образа, наблюдаемого под заданным ракурсом, интересующего участка окружающего пространства с находящимся в нем объектом, регистрацию сформированных изображений, определение местонахождения объекта с оценкой расстояния до него, определение расстояния до объекта по взаимному расположению двух его образов на одновременно зарегистрированной паре разнесенных панорамных изображений, отличающийся тем, что наблюдают интересующий участок окружающего пространства двумя идентичными индивидуальными оптическими системами переноса изображения, каждая в виде широкоугольного объектива, устанавливают системы переноса изображения в двух пространственно разнесенных точках, ориентируют главные оптические оси систем переноса изображения так, чтобы они лежали на одной линии и были обращены в одну сторону, формируют каждое панорамное изображение в плоскости собственного фотоприемника посредством индивидуальной оптической системы переноса изображения наблюдаемого участка пространства на плоскость фотоприемника, определяют расстояние до объекта по взаимному расположению двух его образов на разности двух зарегистрированных панорамных изображений.

Вместе с тем, упомянутый способ подразумевает процесс, в ходе которого окружающее пространство обозревают при помощи двух идентичных индивидуальных оптических систем переноса изображения, каждая в виде широкоугольного объектива, с использованием нескольких многоэлементных фотоприемников, вследствие чего осуществление этого способа характеризуется повышенной технической сложностью.

В качестве прототипа выбран «Способ селекции объектов на удаленном фоне» [патент РФ №2363018, кл. G01S 17/06 от 06.11.2007, авторы Подгорнов В.А., Подгорнов С.В., Щербина А.Н.].

Способ заключается в приеме и формировании опорного и сравниваемого изображений двумя идентичными видеосистемами, установленными на небольшом расстоянии между собой относительно удаленного фона. У объективов параллельные главные оптические оси. Одновременно регистрируют оба изображения. Ищут фрагменты образов объектов на изображениях и ставят им в соответствие величины параллактического сдвига. Вычисляют расстояния до выявленных объектов в пространстве по формуле R=L⋅A/Δ_i, где L - расстояние между центрами объективов видеосистем, А - расстояние от видеоматрицы до главной оптической оси объектива видеосистемы, Δ_i - величина параллактического сдвига i-oro образа объекта. Данный способ позволяет селектировать по дальности одиночные и множественные объекты, на разных расстояниях от точки съемки.

Раскрытие сущности изобретения

Сущность изобретения заключается в следующем.

Известно, что современные стереометрические способы селекции объектов по дальности на удаленном фоне заключаются в создании опорного и сравниваемого изображений, формируемыми двумя идентичными видеосистемами, разнесенными на небольшое расстоянии между собой (базу), перпендикулярно наблюдаемой панораме, с параллельными главными оптическими осями и одновременной регистрацией обоих изображений.

В отличие от последнего упомянутого способа (прототипа), заявленный способ получения стереографических снимков с синтезированной величиной стереобазы заключается в приеме и формировании опорного и сравниваемого стереоизображения не двумя, а одной движущейся камерой. При этом скорость движения и интервал времени между кадрами движущейся камеры, определяют величину формируемой (синтезируемой) базы полученных стереоснимков. Компьютерное выравнивание обоих полученных снимков по вертикали и горизонтальное совмещение снимков по наиболее удаленному объекту, присутствующему на обоих снимках, позволяет через измерение величины параллакса между одноименными объектами рассчитать в реальном времени расстояние (дальность) для всех объектов и целей, присутствующих на стереоснимках. Соотношение величины параллакса и дальности имеет обратную зависимость, из-за чего погрешность измерения дальности методами стереометрии растет с увеличением дистанции до цели. Повышение точности измерения может быть достигнуто только за счет увеличения размера базы стереоснимка, поскольку точность измерения тем выше, чем больше величина стереобазы. Недоступная для прототипа высокая точность измерения дальности при обработке стереоснимков на основе стереобазы, сформированной по заявляемому способу, связана с тем, что размер стереобазы в данном случае не ограничивается возможностями конструкции, а формируется в пространстве, благодаря чему может иметь любую, неограниченную длину.

Задача изобретения - избавиться от ограничений по размерам стереобазы при выполнении стереосъемки с высоким пространственным разрешением предельно простым и удобным способом, наиболее пригодным в условиях боевых действий. Эта задача решается посредством формирования стереоснимков не двумя (как принято), а одной, но движущейся камерой, при этом, скорость движения и интервал между кадрами в движении, определяют величину формируемой (синтезируемой) базы стереоснимков.

Техническим результатом заявленного технического решения является автоматическое высокоточное определение расстояния (дальности) одновременно для большого числа целей на местности (поле боя) в реальном масштабе времени на основе одной полученной пары стереоснимков.

Краткое описание схемы заявленного способа

Фиг. 1 - Земная поверхность.

Фиг. 2 - Опорное изображение (левый снимок) - первый кадр, сделанный оптической стереоскопической системой с вертолета).

Фиг. 3 - Сравниваемое изображение (правый снимок) - второй кадр, сделанный оптической стереоскопической системой с вертолета.

Фиг. 2 цифра 1 - первый условный объект на опорном изображении.

Фиг. 2 цифра 2 - второй условный объект на опорном изображении.

Фиг. 2 цифра 3 - третий условный объект на опорном изображении.

Фиг. 2 цифра 4 - четвертый условный объект на опорном изображении.

Фиг. 2 цифра 5 - пятый условный объект на опорном изображении.

Фиг. 2 цифра 6 - шестой условный объект на опорном изображении.

Фиг. 3 цифра 1 - первый условный объект на сравниваемом изображении.

Фиг. 3 цифра 2 - второй условный объект на сравниваемом изображении.

Фиг. 3 цифра 3 - третий условный объект на сравниваемом изображении.

Фиг. 3 цифра 4 - четвертый условный объект на сравниваемом изображении.

Фиг. 3 цифра 5 - пятый условный объект на сравниваемом изображении.

Фиг. 3 цифра 6 - шестой условный объект на сравниваемом изображении.

Латинская буква А и двухконечная стрелка под нею - величина параллактического смещения пятого условного объекта.

Латинская буква В и двухконечная стрелка под нею - величина параллактического смещения шестого условного объекта.

Латинская буква С и двухконечная стрелка под нею - величина параллактического смещения третьего условного объекта.

Латинская буква D и двухконечная стрелка под нею - величина параллактического смещения второго условного объекта.

Латинская буква Е и двухконечная стрелка под нею - величина параллактического смещения четвертого условного объекта.

Латинская буква F и двухконечная стрелка под нею - величина параллактического смещения первого условного объекта.

Пунктирной линией и расположенной прямо под нею линией со стрелками на концах, обращенных к двум условным обозначениям вертолетов обозначена синтезированная стереобаза, то есть интервал между первым и вторым кадрами, полученным при движении вертолета.

Прямой вертикальной линией, проходящей по центру фиг. 1, фиг. 2 и фиг. 3 обозначается условный ориентир для выравнивания правого и левого снимков по горизонтали по самому удаленному объекту.

Осуществление изобретения

Заявленный способ измерения дальности на основе анализа величины параллакса между изображениями одних и тех же целей (объектов) на совмещенных снимках стереопары осуществляется в нижеизложенной последовательности.

Оптической стереоскопической системой одновременно регистрируют два полученных изображения (опорное - фиг. 2, и сравниваемое - фиг. 3).

На опорном (фиг. 2) и сравниваемом (фиг. 3) изображениях удаленный фон не смещен, а объекты, находящиеся ближе фона на сравниваемом изображении, смещены влево относительно тех же объектов на опорном изображении, причем, как видно из фиг. 2 и фиг. 3, величина смещения зависит от удаленности объекта на момент съемки. (При интервалах между кадрами стереопары, не превышающими одной секунды, все движущиеся наземные объекты можно рассматривать как статические).

Оба снимка выравниваются по горизонтали, при этом второй снимок стереопары (в случае движения камеры слева - направо) сдвигается влево, чтобы самый удаленный объект на правом и левом снимках стереопары находился на одной вертикали (см. вертикальная линия, проходящая через край наиболее удаленного объекта и проходящая по центру фигуры 1, фигуры 2 и фигуры 3). После выполненного совмещения параллакс между деталями удаляющихся от камеры объектов уменьшается, а у самых удаленных -стремится к нулю. Вместе с тем, параллакс на стереоснимках увеличивается по мере приближения объектов к фотокамере.

Величина параллакса между одним и тем же объектом на снимках стереопары может быть программно измерена в пикселях и затем, с учетом реального размера синтезированной стереобазы между кадрами и поправками, компенсирующими погрешность величины параллакса в зависимости от направления (справа - налево или слева - направо) движения вертолета, может быть пересчитана в дальность. Таким же образом измеряются и корректируются параллаксы и вычисляется дальность и до всех остальных объектов и целей на стереоснимке.

Основные отличительные признаки технического решения заключаются в формировании стереопары не двумя, а одной, смещаемой на заданное расстояние переносной или устанавливаемой на движущемся наземном, воздушном, космическом объекте (автомобиле, бронетехнике, беспилотном летательном аппарате, вертолете, самолете, искусственном спутнике) камерой, а также в формировании стереопары из двух, выполненных со смещением, последовательно сделанных фотоснимков. После выполнения первого снимка панорамы местности, объект, оборудованный камерой, смещается вдоль наблюдаемой панорамы на контролируемое расстояние (десятки, сотни метров) и делает второй снимок. Смещение камеры в горизонтальном направлении позволяет сформировать стереоснимок с горизонтальной базой, а при смещении камеры в вертикальном направлении, формируется стереоснимок с вертикальной базой. Помимо этого, в качестве снимков стереопары могут быть использованы отдельные, разнесенные по времени кадры видеофильма или прямой видеотрансляции (что характерно для авиационных разведывательных систем).

Дополнительно представленные стереоснимки (приложение №1) наглядно подтверждают возможность формирования стереоснимков не двумя (как принято), а одной, но движущейся камерой, при этом, скорость движения и интервал между кадрами в движении определяют величину формируемой (синтезируемой) базы стереоснимков. При этом, способ совершенно не ограничивает размеры стереобазы, а также не критичен к небольшому отклонению оптической оси камеры при выполнении второго кадра синтезируемой стереопары. Заявленный способ получения стереографических снимков с измерением дальности на основе анализа величины параллакса между изображениями одних и тех же целей (объектов) на совмещенных снимках стереопары характеризуется также следующим. Под совмещением подразумевается компьютерное выравнивание обоих снимков по вертикали, и сдвиг второго снимка стереопары (в случае движения камеры слева - направо) по горизонтали влево, чтобы, как показано на снимке (приложение №1) самый удаленный объект на правом и левом снимках стереопары находился на одной вертикали (белая вертикальная линия с перекрестиями, проходящая через край наиболее удаленного объекта). После смещения правого кадра влево, хорошо видно, что параллакс между деталями удаляющихся от камеры объектов уменьшается, а у самых удаленных - стремится к нулю (белая и зеленая линии и перекрестия). Однако параллакс увеличивается для объектов, приближающихся к камере (красные пары линий).

Также на снимках демонстрируется практическая возможность определения расстояний не для одной, как обычно, а одновременно для множества целей и объектов, попавших в поле зрения камеры.

Представленные стереоснимки с синтезированной базой (Приложение №1) являются двумя последовательными кадрами, в качестве примера снятыми с пролетающего вертолета. Временной отрезок между кадрами составляет, согласно видео, примерно 2 секунды. Ориентировочное расстояние, на которое сместился вертолет с камерой между кадрами (синтезированная стереобаза снимков), - соответствует примерно 48 метрам.

Данный метод может быть использован для определения дальности до объектов, находящихся на прямой видимости, каждым объектом военной техники, оборудованным фотокамерой и программным обеспечением (ПО), в частности в случаях, исключающих применение штатного лазерного дальномера из-за демаскировки.

Изобретение относится к способам фото и видеосъемки, а именно к оптическим стереоскопическим способам определения местонахождения объекта в окружающем пространстве, включающим определение расстояний до интересующих объектов, а при необходимости и координат. Изобретение применимо, например, в автоматических системах определения местонахождения объектов при выполнении военных операций, в том числе разведки и рекогносцировки. Заявленный способ получения стереоскопических снимков с синтезированной величиной стереобазы заключается в приеме и формировании опорного и сравниваемого стереоизображений не двумя, а одной видеосистемой на основе анализа величины параллакса между изображениями одних и тех же целей (объектов) на совмещенных снимках стереопары, посредством формирования стереоснимков не двумя, а одной, но движущейся камерой. При этом скорость движения и интервал между кадрами в движении определяют величину формируемой (синтезируемой) базы стереоснимков посредством компьютерного выравнивания обоих снимков по горизонтали, со смещением второго снимка стереопары влево или вправо так, чтобы наиболее удаленный объект на первом и втором снимках стереопары находился на одной вертикали, что позволяет через уменьшение параллакса между деталями удаляющихся от камеры объектов и через уменьшение параллакса до нуля у наиболее удаленных от камеры объектов определить с высокой точностью расстояние (дальность) для множественных целей на местности с высокой территориальной протяженностью в реальном масштабе времени. Технический результат – автоматическое высокоточное определение расстояния (дальности) одновременно для большого числа целей на местности (поле боя) в реальном масштабе времени на основе одной полученной пары стереоснимков. 3 ил.

Способ получения стереоскопических снимков с синтезированной величиной стереобазы, заключающийся в приеме и формировании опорного и сравниваемого стереоизображений не двумя, а одной видеосистемой на основе анализа величины параллакса между изображениями одних и тех же целей (объектов) на совмещенных снимках стереопары, посредством формирования стереоснимков не двумя, а одной, но движущейся камерой, при этом скорость движения и интервал между кадрами в движении определяют величину формируемой (синтезируемой) базы стереоснимков посредством компьютерного выравнивания обоих снимков по горизонтали, со смещением второго снимка стереопары влево или вправо так, чтобы наиболее удаленный объект на первом и втором снимках стереопары находился на одной вертикали, что позволяет через уменьшение параллакса между деталями удаляющихся от камеры объектов и через уменьшение параллакса до нуля у наиболее удаленных от камеры объектов определить с высокой точностью расстояние (дальность) для множественных целей на местности с высокой территориальной протяженностью в реальном масштабе времени.