Способ получения непрерывного стереоизображения земной поверхности с движущегося носителя Российский патент 2019 года по МПК G01C11/00 

Изобретение относится к дистанционному зондированию Земли, в частности к стереофотосъемке земной поверхности и может быть использовано для фотограмметрии, мониторинга обширных пространств и протяженных объектов, крупномасштабных топографических съемок и проектно-изыскательских работ.

Известен способ авиасъемки наземных объектов, который заключается в получении синхронного изображения на мониторах фотоприемника и видеоаппаратуры, выборе изображения, по которому будут ориентироваться при ведении регистрации наблюдаемых объектов, и выборе на изображении цели - объекта наблюдения для регистрации. Посредством ручного манипулятора, который позволяет устанавливать положение регистрирующего устройства вдоль и поперек оси самолета в пределах заданных углов наблюдения, наводят курсор на мониторе фотоприемника на выбранную цель и нажатием кнопки на рукоятке манипулятора осуществляют фотосъемку (Патент РФ №2298150).

Известный способ не позволяет осуществлять широкомасштабную стереосъемку, требует большого объема ручной работы, не позволяет получать детализированную информацию об объектах съемки.

Известен способ крупномасштабной аэрофотосъемки, включающий установку съемочного устройства над заданной точкой поверхности, плановую съемку заданного масштаба. Далее опускают съемочное устройство на высоту съемки увеличенного масштаба, обеспечивающее уверенное распознавание реперной точки на цифровом снимке. Перемещают съемочное устройство в горизонтальной плоскости так, чтобы реперная точка попала в поле зрения съемочного устройства. Выполняют съемку реперной точки поверхности. Затем перемещаются в следующую точку поверхности на расстояние, обеспечивающее необходимое перекрытие цифрового снимка заданного масштаба. Выполняют обработку материалов съемки (Патент РФ №2207504).

Недостатком способа является крайне низкая производительность, высокая трудоемкость съемки, возможность получения только двумерных изображений.

Данные способ и устройство имеют низкую производительность съемки, требуют больших вычислительных ресурсов автоматизированных систем обработки получаемой информации.

Известен способ получения изображения земной поверхности с движущегося носителя, включающий фотографирование наблюдаемой поверхности несколькими оптико-электронными фотоприемниками с частичным перекрытием получаемых от каждого фотоприемника субкадров, совместно образующих кадр центральной проекции в виде полосы, ориентированной длинной стороной поперек направления движения носителя, последовательное получение указанных кадров по мере движения носителя с их частичным перекрытием между собой и последующее объединение кадров в единое изображение (Публикация заявки США №2011/0122223, 2011 г.).

Недостатками известного способа выступают низкая производительность съемки, сложность получения конечного изображения, низкое качество получаемых изображений, обусловленное низкой светосилой оптики с большим углом поля зрения, наличие геометрических аберраций, искажающих снимки на краях. Кроме того, несинхронность съемки разными фотоприемниками в известном устройстве приводит к необходимости либо измерения параметров движения носителя с весьма высокой пространственной точностью (по крайней мере, не меньшей, чем 1/2-1/4 проекции пиксела на съемочную поверхность), либо стабилизации пространственного положения съемочной системы в мировой системе координат (СК) на осуществляемый период съемки. На практике это приводит к необходимости размещения аэрофотосъемочной системы на стабилизированной, с использованием гироскопических устройств, платформе и, как следствие, - к достаточно существенному ограничению эксплуатационных характеристик съемочной системы (остаточной геометрической плановой ошибке, «смазу» при съемке и т.п.). Такой способ не пригоден для получения стереоизображения земной поверхности с достаточно четким визуальным восприятием вследствие указанных выше недостатков.

Известен способ получения стереоизображения, включающий съемку с нескольких чередующихся точек при относительном угловом колебательном перемещении камеры и объекта и проекцию изображения на экран кинопроекционным аппаратом (патент РФ №2014645).

В авторском свидетельстве СССР №1835082 описан способ получения панорамного стереоизображения, заключающийся в составлении растрового изображения из изображений дискретного ряда стереопар, причем размеры участков данного ряда стереопар, чередуемых на растровом изображении изменяют пропорционально отношению размеров линзового растра к размерам изображений дискретного ряда стереопар, а в направлении чередования участков изображения их дополнительно сжимают.

Известные способы получения стереоизображений не позволяют получать стереоизображение удаленных площадных объектов, снимаемых с большого расстояния.

Принято считать, что нельзя получить эффектных стереоизображений, если сюжет содержит лишь удаленные объекты. Это справедливо как для зрения человека, так и известных технологий получения стереоизображений. При использовании известных технологий, кроме параллакса, требуется соблюсти еще ряд других требований. В частности, очень важно обеспечить вертикальное совмещение двух изображений, а также правильно настроить конвергенцию, то есть так выбрать точку пересечения оптических осей объективов при стереосъемке, чтобы достичь максимального стереоэффекта. Кроме того, при изменении фокусного расстояния нужно изменять конвергенцию в зависимости от того, уменьшается фокусное расстояние или увеличивается. Так, если расстояние увеличивается, точка конвергенции отдаляется и в пределе оптические оси становятся параллельными. Это объясняется тем, что чем дальше наблюдаемые объекты, тем более плоским представляется изображение. При уменьшении фокусного расстояния точка конвергенции приближается. Бывают случаи, когда вместо конвергенции нужно применять дивергенцию. Это когда фокусное расстояние крайне мало, а объект находится очень близко к объективу (http://ru.okno-tv.ru/biblio/detail.php?ELEMENT_ID=55208&SECTION_ID=55208).

В отличие от известных технологий, предлагаемая в настоящем изобретении позволяет получать полноценное стереоизображение удаленных объектов при панорамной съемке местности с воздушных или космических носителей.

Задачей настоящего изобретения служит получение непрерывного стереоизображения земной поверхности с высокой степенью стереоэффекта и высокой четкостью изображения.

Техническими результатами, достигаемыми изобретением, выступают получение высокой степени стереоэффекта изображения по всему полю непрерывной съемки с большого расстояния, снижение вероятности получения смазанного изображения.

Поставленная задача и получаемый технический результат достигаются тем, что осуществляют последовательное фотографирование наблюдаемой поверхности по направлению движения носителя с частичным перекрытием получаемых кадров, совместную триангуляцию полученного ряда кадров и ортотрансформирование каждого кадра по отдельности, после чего каждый ортотрансформированный кадр разрезают по его оси симметрии, ориентированной по длине кадра поперек направления движения носителя, а затем все одноименные полукадры, расположенные каждый по одну из сторон от линии разреза, сшивают в два непрерывных полотна изображения земной поверхности одинакового размера, которые затем накладывают друг на друга, совмещая полотна по линиям разреза кадров. Также достижению технического результата способствует то, что получаемые кадры имеют отношение ширины полосы кадра к ее длине в пределах 1:5…100, а периодичность получения снимков согласовывают с движением носителя, обеспечивая перекрытие между соседними кадрами не менее 51%.

Указанные отличительные признаки существенны.

Совместная триангуляция отснятых кадров и покадровое ортотрансформирование позволяют более точно исправлять геометрические искажения объектов на снимках до их сшивки, с тем, чтобы получить геометрически более точные полукадры для обеспечения возможности снижения ошибок при сшивке одноименных полукадров. Это позволяет минимизировать возможные несовпадения при совмещении сшитых из полукадров полотен.

Разрезание ортотрнасформированных кадров пополам по оси их симметрии, ориентированной поперек направления движения носителя с последующей сшивкой одноименных полукадров в два неразрывных полотна дает возможность получить два поля зрения для левого и правого глаза. При наложении этих полотен друг на друга с совмещением по линии разреза кодров получают стереоизображение, которое может быть визуализировано обычными методами для просмотра стереоизображений.

Из требования широкозахватности кадра с указанным соотношением сторон получаемой полосы кадра в пределах 1:5…100 непосредственно следует, с одной стороны, оптимальное изменение ракурса наблюдения объекта местности при переходе между смежными кадрами по маршруту, что, в свою очередь, облегчает автоматизацию поиска точек связывания смежных кадров и последующее решение задачи фототриангуляции, а с другой стороны, обеспечивает необходимый угол стереобазы для формирования стереоизображения местности. Под «широкозахватностью» понимается выбор соотношения размерности сторон выходного кадра таким образом, чтобы сторона кадра, ориентированная поперек движения носителя была существенно больше стороны, ориентированной по направлению движения носителя. Одновременно с этим выходной кадр данной схемы остается, несмотря на широкозахватность, гомоцентрическим кадром центральной проекции. Это позволяет в полной мере применить при обработке общедоступный и развитый математический аппарат кадровой фотограмметрии, а также исключить необходимость восстановления закона движения носителя на всем протяжении съемки. Оптимизация ракурсного изменения, с одной стороны, облегчает построение корреляционного автомата, обеспечивающего отождествление изображений отдельных объектов в зонах внутримаршрутного перекрытия при съемке, обычно называемого поиском точек связывания. При последующей фотограмметрической обработке координаты найденных точек в системе координат кадров используются для построения модели фототриангуляции и ее расчета, итогом которого являются значения параметров внешнего ориентирования устройства в момент съемки. При этом выход за нижнюю границу указанного соотношения длины и ширины полосы кадра приводит к существенному снижению производительности съемки, а выход за верхнюю границу к заметным геометрическим искажениям и трудности учета и компенсации проекционных искажений.

Перекрытие между кадрами по маршруту носителя не менее 51% обеспечивает возможность сшивки полукадров в непрерывное поле без разрывов в изображении местности, с одной стороны, и высокую степень отождествления изображений наблюдаемых объектов, с другой, что обеспечивает высокую точность сшивки отдельных кадров в единое полотно при условии поддержания высокой производительности съемки.

Способ реализуют следующим образом.

В процессе полета носителя фотоприемник периодически экспонируют, согласовывая периодичность фотографирования со скоростью самолета, высотой полета и углом поля зрения фотоприемника таким образом, чтобы обеспечивалось не менее 51% перекрытия между соседними кадрами по маршруту движения носителя. Получаемые кадры центральной проекции имеют вид длинной полосы, ориентированный длинной стороной поперек направления движения носителя с отношением ширины к длине 1:5…100. Такой кадр центральной проекции можно получить, используя, в частности, известные многообъективные аэрофотокамеры типа «OSDCAM» (http://www.poksi.ru/files/OSDCAM.pdf), в которых объективы ориентированы под углом к вертикали. Данное соотношение получено эмпирически в процессе выбора оптимальных размеров кадра и величины перекрытия соседних кадров по маршруту движения носителя с целью получения достаточного количества общих точек связывания для корректной сшивки кадров в выходное изображение. Минимально необходимо 30 общих точек связывания для правильной сшивки кадров. Такое количество обычно обнаруживается и надежно определяется при отношении ширины к длине полосы не менее 1:5. В противном случае, при меньшем соотношении весь кадр могут занять объекты, не имеющие выделяющихся точек, например, поле или озеро. При этом надо иметь в виду, что ширина полосы кадра должна быть достаточно узкой, соответствующей небольшому углу визирования для получения оптимальной стереобазы. Это необходимо для уверенного распознавания общих для смежных кадров точек, так как при больших углах одни и те же объекты на смежных кадрах, выбираемые в качестве данных точек, видимые под разными или большими углами визирования могут иметь разные характеристики, что существенно снижает вероятность их отождествления и искажает стереоизображение. Превышение верхнего предела соотношения, как уже указывалось выше, приводит к значительным и трудно исправимым искажениям на краях полосы кадра. Полученные кадры совместно подвергают триангуляции, а затем каждый кадр ортотрансформируют на имеющуюся цифровую модель рельефа. Затем каждый кадр разрезают пополам по оси симметрии кадра, ориентированной по длине кадра, то есть поперек направления движения носителя. Полученные полукадры, расположенные по одну сторону от оси симметрии кадра сшивают в одно единое полотно изображения местности, а полукадры, расположенные по другую сторону от оси симметрии кадра сшивают в другое единое полотно изображения местности. Получается два равновеликих изображения одной и той же местности, с той лишь разницей, что одно сшитое изображение показывает местность под одним углом визирования, а другое сшитое изображение - под противоположным углом визирования. Оба полотна накладывают друг на друга, совмещая по линиям разреза кадров и получают непрерывное стереоизображение земной поверхности, которое визуализируют любым известным способом, например, посредством затворной технологии.

Примеры, иллюстрирующие способ.

Пример 1

Для получения кадров применяют аэрофотокамеру, состоящую из 18 оптико-электронных фотоприемников с объективами и расположенными за ними цифровыми матрицами (соотношение сторон 4:3), по одной матрице за каждым объективом. Объективы имеют фокусное расстояние 50 мм. Угол поля зрения, соответствующий одному фотоприемнику в составе устройства равен 5,6 град. Фотоприемники камеры ориентированы таким образом, чтобы полный поперечный угол поля зрения составлял 100,3 град. Полный продольный угол поля зрения камеры - 4,5 град. В процессе полета по заданному маршруту фотоприемник экспонируют с временем выдержки 0,2 мс. Полет осуществляют при относительной высоте, на которой обеспечивается реальное разрешение 30 см/пиксел, - 3,05 км. Линейный размер кадра в направлении «поперек полета» при данной высоте полета, составляет 7,44 км. Линейный размер кадра в направлении «по полету» составляет 0, 24 км. Таким образом, отношение ширины полосы кадра к длине составляет 1:31. Продольное перекрытие между кадрами составляет 51%. Полученные кадры совместно подвергают триангуляции, а затем каждый кадр ортотрансформируют на имеющуюся цифровую модель рельефа. Затем каждый кадр разрезают пополам по оси симметрии кадра, ориентированной поперек направления движения носителя. Полученные полукадры, расположенные по одну сторону от оси симметрии кадра сшивают в одно единое полотно изображения местности, а полукадры, расположенные по другую сторону от оси симметрии кадра сшивают в другое единое полотно изображения местности. Получается два равновеликих изображения одной и той же местности. Оба полотна накладывают друг на друга, совмещая по линиям разреза кадров и получают непрерывное стереоизображение земной поверхности. Рассматривают стереоизображение с использованием затворной технологии.

Пример 2

Способ осуществляют аналогично примеру 1, но для получения кадров используют аэрофотокамеру, которая содержит 6 оптико-электронных фотоприемников с объективами и расположенными за ними цифровыми матрицами. По одной матрице за каждым объективом с соотношением сторон 4:3. Объективы имеют фокусное расстояние 16 мм. Угол поля зрения, соответствующий одному фотоприемнику в составе устройства равен 17,5 град. Объективы фотоприемников ориентированы таким образом, чтобы полный суммарный поперечный угол поля зрения устройства составлял 104,8 град. Полный учитываемый продольный угол поля зрения устройства (с учетом отклонения оптических осей) - 14 град. Относительная высота полета, на которой обеспечивается реальное разрешение - 30 см/пиксел, - 0,98 км. Линейный размер кадра в направлении «поперек полета» при данной высоте полета, составляет 2,53 км. Линейный размер кадра в направлении «по полету» составляет 0,24 км. Таким образом, отношение ширины полосы кадра к длине составляет 1:10,5. Фотоприемники экспонируют одновременно с временем выдержки 0,1 мс. Перекрытие между кадрами по направлению движения носителя составляет 70%.

Пример 3

Способ осуществляют аналогично примеру 1, но для получения кадров применяют аэрофотокамеру, которая содержит 10 оптико-электронных фотоприемников с объективами и расположенными за ними цифровыми матрицами. По три матрицы за каждым объективом с соотношением сторон каждой 4:3. Объективы имеют фокусное расстояние 100 мм. Угол поля зрения, соответствующий одному фотоприемнику в составе устройства равен 8,4 град. Полный поперечный угол поля зрения устройства составляет 83,5 град. Полный используемый продольный угол поля зрения устройства (с учетом отклонения оптических осей) - 2,3 град. Относительная высота полета, на которой обеспечивается реальное разрешение - 30 см/пиксел, - 6,11 км. Линейный размер кадра в направлении «поперек полета» при данной высоте полета, составляет 11,08 км. Линейный размер кадра в направлении «по полету» составляет 0, 24 км. Таким образом, отношение ширины полосы кадра к длине составляет 1:46. Продольное перекрытие между кадрами составляет 80%.

Пример 4

Способ реализуют с камерой аналогично примеру 3, но количество фотоприемников увеличено до 18, а соотношение сторон кадра составляет 1:100. Перекрытие между кадрами составляет 90%.

Пример 5

Способ реализуют с камерой аналогично примеру 2, но количество фотоприемников уменьшено до 4, а соотношение сторон кадра составляет 1:5. Продольное перекрытие между кадрами по направлению движения носителя составляет 60%.

Предложенный способ обеспечивают получение непрерывного стереоизображения местности с движущегося носителя при большом удалении камеры от объекта съемки.

Изобретение относится к дистанционному зондированию Земли, в частности к стереофотосъемке земной поверхности, и может быть использовано для фотограмметрии, мониторинга обширных пространств и протяженных объектов, крупномасштабных топографических съемок и проектно-изыскательских работ. Заявленный способ получения непрерывного стереоизображения земной поверхности с движущегося носителя заключается в фотографировании поверхности с получением последовательных кадров, имеющих перекрытие по ходу движения носителя не менее 51%. При этом отношение ширины полосы кадра к ее длине поддерживают в пределах 1:5…100. Кадры подвергают совместной триангуляции, а затем покадровому ортотрансформированию. После чего каждый кадр разрезают пополам по линии, ориентированной поперек направления движения носителя. Одноименные полукадры, расположенные по одну сторону от линии разреза, сшивают в единое полотно изображения местности, получая, таким образом, два полотна, которые накладывают друг на друга, совмещая по линиям разрезов кадров. Технический результат – получение высокой степени стереоэффекта изображения по всему полю непрерывной съемки с большого расстояния, а также снижение вероятности получения смазанного изображения. 2 з.п. ф-лы.

1. Способ получения непрерывного стереоизображения земной поверхности с движущегося носителя, включающий последовательное фотографирование наблюдаемой поверхности по направлению движения носителя с частичным перекрытием получаемых кадров, совместную триангуляцию полученного ряда кадров и ортотрансформирование каждого кадра по отдельности, после чего каждый ортотрансформированный кадр разрезают по его оси симметрии, ориентированной по длине кадра поперек направления движения носителя, а затем все одноименные полукадры, расположенные каждый по одну из сторон от линии разреза, сшивают в два непрерывных полотна изображения земной поверхности одинакового размера, которые затем накладывают друг на друга, совмещая полотна по линиям разреза кадров.

2. Способ по п. 1, отличающийся тем, что получаемые кадры имеют отношение ширины полосы кадра к ее длине в пределах 1: 5…100.

3. Способ по п. 1, отличающийся тем, что периодичность получения снимков согласовывают с движением носителя, обеспечивая перекрытие между соседними кадрами не менее 51%.