СПОСОБ ПОЛУЧЕНИЯ НЕПРЕРЫВНОГО СТЕРЕОИЗОБРАЖЕНИЯ ЗЕМНОЙ ПОВЕРХНОСТИ Российский патент 2024 года по МПК G01C11/04 G06V20/64 G06V10/20 

Изобретение относится к дистанционному зондированию Земли, в частности к аэрофотосъемке земной поверхности и стереофотограмметрической обработке снимков, а именно к способам получения непрерывного стереоизображения земной поверхности на основе площадной аэрофотосъемки, и может быть использовано:

- для картографирования и мониторинга территорий;

- проектно-строительных работ;

- проектирования застройки и реконструкции зданий, парков и скверов;

- локальных и комплексных кадастровых работ;

- для земельного надзора;

- для инвентаризации объектов городской инфраструктуры;

- для благоустройства территории общего пользования;

- для создания и ведения географических информационных систем федерального, регионального, муниципального назначения;

- для создания документов территориального планирования и проектов межевания.

Для однозначного и более полного понимания описания заявляемого изобретения приведено уточнение и раскрытие использованных понятий и терминов, а также описание отдельных этапов способа.

Площадная (многомаршрутная) аэрофотосъемка - аэрофотосъемка, при которой снимаемый участок сплошь покрывается серией параллельных прямолинейных аэросъемочных маршрутов, прокладываемых обычно с запада на восток.

Единое стереоизображение земной поверхности (единая 3D-стереомодель) - стереоизображение, включающее непрерывное стереоизображение земной поверхности (навигационную стереомодель), измерительное стереоизображение земной поверхности (измерительную стереомодель), построенные по ориентированным снимкам площадной аэрофотосъемки, стереоизображения векторных объектов и стереоизображения элементов вспомогательной графики.

Динамическое построение стереоизображения - построение стереоизображения в реальном режиме времени, позволяющем организовать интерактивное взаимодействие пользователя со стереоизображением. Скорость построения стереоизображения должна составлять как минимум 30 раз в секунду, а лучше 60.

Непрерывное стереоизображение земной поверхности (навигационная стереомодель) - стереоизображение земной поверхности, построенное по всем ориентированным снимкам площадной аэрофотосъемки, обладающее важным качеством - обзорностью, но не позволяющее выполнять высокоточные измерения.

Измерительное стереоизображение земной поверхности (измерительная стереомодель) - стереоизображение земной поверхности, построенное по ориентированным снимкам активной стереопары. Измерительная стереомодель строится только в области перекрытия ориентированных снимков активной стереопары, позволяет выполнять высокоточные измерения пространственных координат точек объектов земной поверхности.

Ориентированный снимок - снимок, для которого известны элементы внутреннего ориентирования, а также угловые и линейные элементы внешнего ориентирования, обеспечивающие определение пространственного положения точек местности с заданной (установленной) точностью фотограмметрическим методом по стереопаре снимков или по нескольким перекрывающимся снимкам.

Активная стереопара ориентированных снимков - пара перекрывающихся ориентированных снимков, выбранная из всех снимков площадной аэрофотосъемки вблизи центра поля зрения виртуальной стереокамеры и соответствующая другим заданным критериям отбора.

Предпочитаемый базис - критерий, используемый для выбора активной стереопары, включающий два параметра: длину и направление базиса фотографирования.

Виртуальная камера - математическая функция, определяющая закон проецирования 3D-сцены (3D-модели) на плоскость экрана.

Виртуальная стереокамера - набор из двух виртуальных камер для создания изображений для левого глаза (левая виртуальная камера) и правого глаза (правая виртуальная камера).

Макропараметры виртуальной стереокамеры - параметры, определяющие пространственное положение поля зрения виртуальной стереокамеры и масштаб стереоизображения.

Матрица «вид-проекция» виртуальной камеры - представление математической функции виртуальной камеры, используемой для проецирования точек 3D-сцены (3D-модели) на плоскость экрана, в виде матрицы.

Матрицы «вид-проекция» виртуальной стереокамеры - это матрицы «вид-проекция» виртуальных камер, из которых состоит виртуальная стереокамера.

Плоскость нулевых параллаксов - это плоскость во внешней системе координат, стереоизображения точек которой располагаются в плоскости виртуального экрана устройства наблюдения стереоизображения.

Позитивная картинная плоскость - картинная плоскость, расположенная между центром проекции и объектом съемки.

Устройство наблюдения стереоизображения - любое видеоустройство, способное формировать стереоизображение по сигналу, получаемому с видеокарты компьютера, для последующего наблюдения.

Анаглифический метод стереонаблюдения - метод стереонаблюдения, основанный на одновременном проектировании на экран монитора изображений левого и правого снимков стереопары, окрашенных соответственно в два основных цвета (красный-голубой). При наблюдении снимков через очки, в которых перед левым и правым глазом установлены аналогичного цвета светофильтры, левым глазом оператор наблюдает левый снимок, а правым глазом - правый снимок.

Чересстрочный метод стереонаблюдения - метод стереонаблюдения, в котором разделение изображений для левого и правого глаза осуществляется для четных и нечетных строк. Как правило, разделение выполняется по времени (чересстрочная развертка на экране, активные затворные очки) или поляризационно (построчно чередующиеся фильтры с различной линейной или круговой поляризацией на экране и соответствующие пассивные поляризационные стереоочки).

Элементы вспомогательной графики - стрелка компаса, мнимая или действительная измерительная марка, вспомогательные линии, элементы управления, подписи и др., отображаемые совместно со стереоизображением местности.

Параметры отображения элементов вспомогательной графики - параметры, от которых зависит вид и расположение элементов вспомогательной графики: цвет, толщина линий, пространственное положение, режим вычисления положения, размера и ориентации элементов на экране, тип и размер шрифта.

Батчинг - техника обработки данных, заключающаяся в группировке множества операций в одну, чтобы улучшить производительность и эффективность работы.

API графического сопроцессора - прикладной программный интерфейс для отдельного устройства вычислительной системы, предназначенного для эффективной обработки и отображения компьютерной графики.

Построение измерительной стереоскопической модели местности выполняется по паре снимков, называемых стереопарой.

Различают строгий и приближенный способ построения стереоскопической модели.

В строгом способе выполняется предварительное устранение дисторсии и трансформирование снимков в базисной системе взаимного ориентирования, после чего снимки отображаются в едином масштабе и совмещаются между собой по какой-либо общей точке (точке фокуса), что обеспечивает выполнение условия пересечения соответственных проектирующих лучей по всей отображаемой зоне стереопары, формируя ощущение объемного пространства у оператора (стереоскопическую модель).

Приближенный способ не предусматривает предварительного устранения дисторсии и трансформирования снимков. Совмещение снимков выполняется по рассчитанному положению мнимой марки или по точке вблизи нее. В этом методе накладываются существенные ограничения на фотограмметрическое качество аэрофотоснимков (на предельные углы наклона снимков, величину елочки (разворота снимков относительно направления маршрута съемки)). При значениях угла наклона снимков и елочки, близких к предельным, зона построения стереоскопической модели получается ограниченной, ее размер определяется индивидуальными качествами оператора.

В трехмерной графике существует геометрический эквивалент строгого способа построения стереоскопической модели (строгий 3D), в котором центр перспективной виртуальной камеры совмещается с положением центра фотографирования, оси x левой и правой виртуальных камер направлены вдоль базиса стереопары (линии, соединяющей центры фотографирования перекрывающихся снимков), оси z камер параллельны друг другу и перпендикулярны базису. При этом снимки проецируются на позитивную картинную плоскость, положение которой рассчитывается по элементам внешнего ориентирования снимков. Устранение дисторсии выполняется в узлах сетки, используемых для отображения снимков, путем ввода поправок в их пространственные или текстурные координаты. Измерительная марка может быть, как мнимой, так и действительной.

Все перечисленные способы позволяют совмещать с изображением местности, построенной по стереопаре, контура векторных топографических объектов, однако размер стереоскопической модели ограничен зоной перекрытия снимков в стереопаре. Переключение между стереопарами производится дискретно, по команде оператора или при приближении к краю зоны перекрытия.

Известен аппаратно-программный комплекс для изготовления цифровых планов и карт, включающий в свой состав: рабочее место сканирования фотоснимков (РМСФ), рабочее место фотограмметрическое (ФРМ), рабочее место ортотрансформирования цифровых изображений (РМО), телекоммуникационное оборудование и сервер, предназначенный для обеспечения защиты информации от несанкционированного доступа, для хранения данных, необходимых для функционирования рабочих мест комплекса и для передачи этих данных рабочим местам комплекса (Патент РФ на изобретение №2371768, приоритет от 19.11.2007, МПК G06T 1/00, G01C 11/00, опубл. 27.05.2009).

Недостатком описанного аппаратно-программного комплекса и способа построения стереоскопической модели местности с помощью него является отсутствие возможности получения непрерывного стереоизображения земной поверхности, обеспечивающего пространственное восприятие объектов территории съемки в целом.

Наиболее близким является способ получения непрерывного стереоизображения земной поверхности с движущегося носителя, который заключается в фотографировании поверхности с получением последовательных кадров, имеющих перекрытие по ходу движения носителя не менее 51%. При этом отношение ширины полосы кадра к ее длине поддерживают в пределах 1:5…100. Кадры подвергают совместной триангуляции, а затем покадровому ортотрансформированию. После чего каждый кадр разрезают пополам по линии, ориентированной поперек направления движения носителя. Одноименные полукадры, расположенные по одну сторону от линии разреза, сшивают в единое полотно изображения местности, получая, таким образом, два полотна, которые накладывают друг на друга, совмещая по линиям разрезов кадров. (Патент РФ на изобретение №2686513 приоритет от 31.05.2018, МПК G01C 11/00, опубл. 29.04.2019).

Недостатками данного способа являются:

- используется усредненное направление съемочных маршрутов, что не позволяет сформировать стереомодель местности, съемка которой производилась в несколько залетов со значительно отличающимся направлением съемки;

- на сформированной стереоскопической модели местности отсутствуют крупные формы рельефа из-за предварительного ортотрансформирования снимков, что значительно снижает степень стереоэффекта по всему непрерывному стереоизображению и не позволяет проводить высокоточные измерения объектов стереоизображения.

Технический результат, на достижение которого направлено настоящее изобретение, заключается в создании способа, обеспечивающего формирование непрерывного стереоизображения с повышенной точностью стереоскопических измерений и высокой степенью стереоэффекта по всему непрерывному стереоизображению. Дополнительный технический результат заявленного изобретения заключается в создании способа, обеспечивающего повышение быстродействия построения непрерывного стереоизображения.

Повышение точности стереоскопических измерений достигается за счет высокой четкости формируемого стереоизображения из исходных (не преобразованных) снимков, плавного перемещения измерительной марки с субпиксельной точностью, восстановления ортоскопии и взаимного положения снимков на момент аэрофотосъемки, строгого выполнения геометрических условий формирования стереоизображения и гибкого выбора стереопары для выполнения измерений объектов.

Высокая степень стереоэффекта по всему непрерывному стереоизображению территории аэрофотосъемки достигается за счет использования цифровой модели рельефа для передачи ощущения глубины пространства от крупных форм рельефа и использования разных частей изображений снимков для левого и правого глаза при текстурировании ЦМР для передачи ощущения глубины от локально расположенных объектов.

Повышение быстродействия процесса построения непрерывного стереоизображения достигается за счет оптимизации отрисовки графических элементов с использованием батчинга в API графического сопроцессора и загрузки изображений снимков в фоновом режиме.

Технический результат достигается тем, что согласно способу получения непрерывного стереоизображения земной поверхности, сначала выполняют площадную аэрофотосъемку с помощью цифровой фотографической аппаратуры, установленной на пилотируемом или беспилотном летательном аппарате, производят предварительную обработку полученных снимков для формирования фотограмметрического набора данных, заключающуюся в определении элементов внутреннего, внешнего ориентирования и параметров дисторсии снимков, затем осуществляют 1 этап, на котором загружают по меньшей мере один фотограмметрический набор данных, состоящий из ориентированных снимков площадной аэрофотосъемки, загружают соответствующие изображения в малом разрешении, загружают, при наличии, цифровую модель рельефа или цифровую модель поверхности на ту же территорию, задают размер предпочитаемого базиса фотографирования и его ориентацию, после этого осуществляют 2 этап, на котором определяют макропараметры виртуальной стереокамеры в интерактивном режиме, после чего на 3 этапе проводят поиск ориентированных снимков, попадающих в поле зрения виртуальной стереокамеры, комбинируют найденные снимки для формирования пар перекрывающихся ориентированных снимков, из полученных пар выбирают активную стереопару, соответствующую параметрам предпочитаемого базиса, на 4 этапе осуществляют расчет матриц «вид-проекция» виртуальной стереокамеры, отвечающей за формирование изображений для левого и правого глаза, на основе выбранной активной стереопары на 3 этапе, если на этапе 3 не находят активную стереопару, то тогда расчет матриц «вид-проекция» виртуальной стереокамеры проводят на основе макропараметров виртуальной стереокамеры, полученных на 2 этапе, затем на 5 этапе в фоновом режиме загружают в видеопамять графической подсистемы компьютера изображения ориентированных снимков для активной стереопары в полном разрешении и для заданного пользователем количества других ориентированных снимков вблизи центра поля зрения виртуальной стереокамеры в среднем разрешении, если на 3 этапе не находят активную стереопару, то тогда в фоновом режиме загружают только изображения ориентированных снимков вблизи центра поля зрения виртуальной стереокамеры в среднем разрешении, переходят на 6 этап, на котором проецируют изображения снимков малого и среднего разрешения на цифровую модель рельефа или на цифровую модель поверхности с учетом элементов внутреннего, внешнего ориентирования и параметров дисторсии ориентированных снимков, затем разрезают перекрывающиеся ориентированные снимки и для построения изображения для левого глаза сшивают их правые части, а для построения изображения для правого глаза сшивают левые части перекрывающихся ориентированных снимков и формируют непрерывное стереоизображение земной поверхности - навигационную стереомодель, если на 3 этапе была найдена активная стереопара ориентированных снимков, то переходят на 7 этап, если на 3 этапе не найдена активная стереопара, то переходят на 8 этап, на 7 этапе осуществляют восстановление пространственного положения позитивных картинных плоскостей для левого и правого ориентированных снимков активной стереопары, на которые проецируют изображения снимков в полном разрешении с устраненной дисторсией, при этом в области перекрытия изображений, сформированных для левого и правого глаза, строится измерительное стереоизображение земной поверхности - измерительная стереомодель, а изображения вне области перекрытия обрезают и удаляют, после этого на 8 этапе строят 3D-сцену векторных объектов с учетом матриц «вид-проекция» виртуальной стереокамеры, в результате чего формируется стереоизображение векторных объектов, на 9 этапе строят стереоизображение элементов вспомогательной графики с учетом параметров их отображения, затем на 10 этапе, если на 3 этапе была найдена активная стереопара, выполняют совмещение навигационной стереомодели, полученной по ориентированным снимкам на 6 этапе, измерительной стереомодели, полученной по ориентированным снимкам активной стереопары на 7 этапе, стереоизображения векторных объектов, полученного на 8 этапе, и стереоизображения элементов вспомогательной графики, полученного на 9 этапе, для получения единого непрерывного стереоизображения земной поверхности - единой 3D-стереомодели, если активная стереопара не была найдена на 3 этапе, то выполняют совмещение навигационной стереомодели, полученной по ориентированным снимкам на 6 этапе, стереоизображения векторных объектов, полученного на 8 этапе, и стереоизображения элементов вспомогательной графики, полученного на 9 этапе, для получения единого непрерывного стереоизображения земной поверхности с ограниченными измерительными возможностями, после чего на 11 этапе осуществляют визуализацию полученной единой 3D-стереомодели, затем этапы со 2 по 11 повторяют при изменении параметров предпочитаемого базиса и макропараметров виртуальной стереокамеры для получения плавного динамического непрерывного стереоизображения земной поверхности.

Для повышения быстродействия процесса построения непрерывного стереоизображения на 6 этапе проецирование изображений снимков малого и среднего разрешения, на 7 этапе проецирование изображений ориентированных снимков активной стереопары в полном разрешении с устраненной дисторсией, на 8 этапе формирование стереоизображения векторных объектов, на 9 этапе построение стереоизображения элементов вспомогательной графики осуществляют с использованием батчинга в API графического сопроцессора, на 10 этапе получение единой 3D-стереомодели и ее визуализацию на 11 этапе осуществляют с использованием API графического сопроцессора.

На фигурах показано:

Фиг. 1 - Алгоритм способа получения непрерывного стереоизображения земной поверхности;

Фиг. 2 - Визуальное сравнение изображений исходных снимков площадной аэрофотосъемки и полученного стереоизображения;

Фиг. 3 - Пример вывода измерительной информации (координаты точки объекта) стереоизображения (нижний правый угол дверного проема);

Фиг. 4 - Пример получения непрерывного стереоизображения с высокой степенью стереоэффекта, передающего ощущение глубины пространства от крупных форм рельефа (овраги) и от локально расположенных объектов (дома, деревья и пр.).

Способ получения непрерывного стереоизображения земной поверхности (Фиг. 1) осуществляется следующим образом.

Сначала выполняют площадную аэрофотосъемку с помощью цифровой фотографической аппаратуры, установленной на пилотируемом или беспилотном летательном аппарате, производят предварительную обработку полученных снимков для формирования фотограмметрического набора данных, заключающуюся в определении элементов внутреннего, внешнего ориентирования и параметров дисторсии снимков.

Затем на 1 этапе загружают по меньшей мере один фотограмметрический набор данных, состоящий из ориентированных снимков площадной аэрофотосъемки. Загружают соответствующие изображения снимков в малом разрешении; загружают, при наличии, цифровую модель рельефа (ЦМР) или цифровую модель поверхности (ЦМП) на ту же территорию; задают размер предпочитаемого базиса фотографирования и его ориентацию, используемые для поиска активной стереопары снимков из ориентированных снимков площадной аэрофотосъемки.

После этого на 2 этапе определяют макропараметры виртуальной стереокамеры - в интерактивном режиме с помощью графического манипулятора типа «мышь», клавиатуры и др. устройств определяют макропараметры виртуальной стереокамеры: пространственное положение поля зрения виртуальной стереокамеры и масштаб формируемого стереоизображения. Положение поля зрения виртуальной стереокамеры может быть задано, например, с помощью координат его центра. Масштаб формируемого стереоизображения может быть задан, например, через знаменатель масштаба или через угол поля зрения виртуальной камеры, или через размер отображаемого участка местности.

После этого на 3 этапе осуществляют поиск активной стереопары ориентированных снимков вблизи центра поля зрения виртуальной стереокамеры. Для этого сначала производят поиск ориентированных снимков, попадающих в поле зрения виртуальной стереокамеры, а затем из этих снимков комбинируют различные варианты стереопар, из которых в качестве активной стереопары последовательным перебором находят самую оптимальную. Одним из важных критериев выбора является недопущение потери ориентации пользователя на изображаемой местности, что может произойти из-за резкой смены направления базиса фотографирования. Для качественной и количественной оценки оптимальности стереопары используют параметры предпочитаемого базиса.

Возможен случай, когда ни один из вариантов стереопары не подходит по какому-либо критерию. В этом случае активная стереопара отсутствует.

Переходят на 4 этап, где проводят расчет матриц «вид-проекция» виртуальной стереокамеры. Выполняют расчет матриц «вид-проекция» виртуальных камер, отвечающих за формирование изображений для левого и правого глаза, на основе выбранной активной стереопары. Для формирования качественного стереоизображения необходимо, чтобы положение центров проекций перспективных виртуальных камер совпадали с центрами фотографирования соответственных снимков, оси виртуальных камер были параллельны и направлены преимущественно в надирном направлении, размер поля зрения согласован с соответствующим макропараметром виртуальной стереокамеры, задана плоскость нулевых параллаксов. В случае отсутствия выбранной активной стереопары на 3 этапе для расчета положения центров проекций перспективных виртуальных камер используют макропараметры виртуальной стереокамеры, описывающие положение ее поля зрения, и параметры предпочитаемого базиса.

Затем осуществляют 5 этап, а именно загрузку изображений ориентированных снимков в фоновом режиме. При перемещении поля зрения виртуальной стереокамеры и при выборе новой активной стереопары загружают изображения ориентированных снимков в полном разрешении для активной стереопары и для заданного пользователем количества других ориентированных снимков вблизи центра поля зрения виртуальной стереокамеры в среднем разрешении. Чтобы процесс загрузки изображений снимков не нарушал интерактивности взаимодействия пользователя с программой, загрузку производят в фоновом режиме, поэтому формально этот этап выполняется параллельно с построением единого стереоизображения земной поверхности (единой 3D-стереомодели). Если на 3 этапе не находят активную стереопару, то тогда в фоновом режиме загружают только изображения ориентированных снимков вблизи центра поля зрения виртуальной стереокамеры в среднем разрешении.

На следующем 6 этапе осуществляют построение непрерывного стереоизображения земной поверхности по ориентированным снимкам площадной аэрофотосъемки (навигационной стереомодели). Основой для построения непрерывного стереоизображения земной поверхности служит 3D-сцена, состоящая из ЦМР или ЦМП, на которую проецируют изображения снимков малого и среднего разрешения с учетом элементов внутреннего, внешнего ориентирования и параметров дисторсии ориентированных снимков с использованием батчинга в API графического сопроцессора, затем разрезают перекрывающиеся ориентированные снимки и для построения изображения для левого глаза сшивают их правые части, а для построения изображения для правого глаза сшивают левые части перекрывающихся ориентированных снимков и формируют непрерывное стереоизображение земной поверхности (навигационную стереомодель), обеспечивающее объемное ощущение от крупных форм рельефа и от локально расположенных объектов, имеющее глобальный охват и отличную обзорность. Однако из-за нестрогого формирования непрерывного стереоизображения земной поверхности высокоточные измерения по такой стереомодели выполнять нельзя.

Затем если на 3 этапе была найдена активная стереопара ориентированных снимков, то переходят на 7 этап, если на 3 этапе не найдена активная стереопара, то переходят на 8 этап.

На 7 этапе осуществляют построение измерительного стереоизображения земной поверхности (измерительной стереомодели) по ориентированным снимкам активной стереопары. При этом для левого и правого ориентированных снимков активной стереопары восстанавливают пространственное положение позитивных картинных плоскостей, на которые с использованием батчинга в API графического сопроцессора проецируют изображения левого и правого снимков в полном разрешении с устраненной дисторсией. В области перекрытия изображений, сформированных для левого и правого глаза, строится стереоизображение с учетом всех законов геометрической оптики, и, соответственно, позволяющее выполнять измерения пространственного положения объектов с максимально возможной точностью. Изображения вне зоны перекрытия обрезают и удаляют.

На 8 этапе строят стереоизображения векторных объектов. Для этого с использованием матриц «вид-проекция» виртуальной стереокамеры строят с использованием батчинга в API графического сопроцессора 3D-сцену векторных 2,5D и 3D объектов с учетом их стилей и текстур (при наличии).

Переходят на 9 этап. На 9 этапе создают стереоизображения элементов вспомогательной графики с учетом параметров их отображения с использованием батчинга в API графического сопроцессора: стрелки компаса, мнимой или действительной измерительных марок, вспомогательных линий, элементов управления, подписей и т. д. Некоторые из этих элементов «привязаны» к пространственному положению объектов, положение других «привязано» к координатам экрана, положение третьих «привязано» к пространственному положению объектов, а их ориентация и размер устанавливаются независимо, и т.д.

Затем на 10 этапе выполняют совмещение стереоизображений, построенных на предыдущих этапах, с использованием API графического сопроцессора.

Если на 3 этапе была найдена активная стереопара, выполняют совмещение непрерывного стереоизображения земной поверхности (навигационной стереомодели), полученного по ориентированным снимкам на 6 этапе, измерительного стереоизображения земной поверхности (измерительной стереомодели), полученного по ориентированным снимкам активной стереопары на 7 этапе, стереоизображения векторных объектов, полученного на 8 этапе, и стереоизображения элементов вспомогательной графики, полученного на 9 этапе, для получения единого стереоизображения земной поверхности (единой 3D-стереомодели).

Если активная стереопара не была найдена на 3 этапе, то выполняют совмещение непрерывного стереоизображения земной поверхности (навигационной стереомодели), полученного по ориентированным снимкам на 6 этапе, стереоизображения векторных объектов, полученного на 8 этапе, и стереоизображения элементов вспомогательной графики, полученного на 9 этапе, для получения единого непрерывного стереоизображения земной поверхности (с ограниченными измерительными возможностями).

После чего на 11 этапе осуществляют визуализацию полученного единого непрерывного стереоизображения земной поверхности на устройстве наблюдения стереоизображения с использованием API графического сопроцессора. Некоторые стереорежимы (анаглифический, чересстрочный) могут поддерживаться непосредственно, при этом левое и правое изображения объединяют, используя специализированные алгоритмы. Другие режимы и устройства наблюдения стереоизображения поддерживаются путем использования специальных расширений API графического сопроцессора: Quadro Buffering OpenGL или Stereoscopic 3D. В этом случае сформированные изображения для левого и правого глаза помещают в соответствующие буферы изображений, после чего визуализацией стереоизображений занимается операционная система, видеодрайвер и устройство наблюдения непосредственно.

Затем этапы со 2 по 11 повторяют с частой построения каждого кадра от 30 раз в секунду и выше для получения плавного динамического непрерывного стереоизображения земной поверхности. При этом параметры предпочитаемого базиса и макропараметры виртуальной стереокамеры меняют таким образом, чтобы обеспечить плавное изменение поля зрения стереокамеры.

Пример осуществления способа.

Способ осуществляется на примере аэрофотосъемки площадью 4156848 м².

Выполнили площадную аэрофотосъемку на территорию 4156848 м² п. Чагаси, Чувашская Республика, с помощью беспилотного летательного аппарата Геоскан-201(5М), камера Sony DSC-RX1RM2, объектив Carl Zeiss 35 мм f 2.0 Sonnar T, фокусное расстояние 35,0 мм, размер матрицы 5304х7952, размер пикселя 4,5 мкм, размер пикселя на местности 4,5-4,7 см, высота аэрофотосъемки 340-360 м, перекрытие (продольное/поперечное) 80/70 - 70/60.

Получили 303 снимка.

Затем выполнили фотограмметрическую обработку материалов аэрофотосъемки, получили фотограмметрический набор данных, состоящий из ориентированных снимков.

1 этап: загрузили фотограмметрический набор данных на указанную территорию, состоящий из 303 ориентированных снимков, загрузили 303 изображения снимков в малом разрешении, загрузили цифровую модель рельефа, загрузили векторный набор данных кадастрового плана территории, задали размер предпочитаемого базиса фотографирования (77,5 м) и его ориентацию (0,0 градусов).

2 этап: определили макропараметры виртуальной стереокамеры, а именно:

- положение окна просмотра 1237480,00 м 334805,00 м 148,0 м;

- размер окна просмотра 260,1 м.

3 этап: определили активную стереопару, состоящую из снимка 0967 и снимка 0968.

4 этап: рассчитали матрицы «вид-проекция» для левого и правого глаза:

Left

Right

5 этап: загрузили в фоновом режиме 2 изображения снимков активной стереопары в полном разрешении, 30 изображений снимков вблизи центра поля зрения виртуальной стереокамеры в среднем разрешении.

6 этап: спроецировали снимки малого и среднего разрешения на цифровую модель рельефа, получили непрерывное стереоизображение земной поверхности по ориентированным снимкам площадной аэрофотосъемки (навигационную стереомодель).

7 этап: так как на 3 этапе была найдена активная стереопара, построили измерительное стереоизображение земной поверхности (измерительную стереомодель) на область перекрытия снимков активной стереопары.

8 этап: построили стереоизображение векторных объектов кадастрового плана территории.

9 этап: построили стереоизображение элементов вспомогательной графики (здесь - измерительная марка, компас).

10 этап: совместили стереоизображения с этапов 6, 7, 8, 9 и получили единое непрерывное стереоизображение земной поверхности (единую 3D-стереомодель).

11 этап: осуществили визуализацию построенного на 10 этапе единого стереоизображения земной поверхности. В данном примере для этого использован синтез анаглифического изображения с последующей визуализацией.

Затем повторили этапы со 2 по 11 с разными макропараметрами виртуальной стереокамеры и получили плавное динамическое непрерывное стереоизображение земной поверхности.

С целью подтверждения высокого качества стереоизображения на фиг. 2 представлено визуальное сравнение изображений исходных снимков площадной аэрофотосъемки и полученного стереоизображения, свидетельствующее об отсутствии снижения разрешения снимков, искажения цветопередачи, искажения геометрии объектов.

На фиг. 3 представлены результаты измерения координат точки объекта стереоизображения (нижний правый угол дверного проема), в процессе которого пользователем выбран измеряемый объект на стереоизображении и наведена на него измерительная марка. Координаты измерительной марки (X, Y, Z) соответствуют координатам объекта.

Оценка точности измерения координат точек объектов на стереоизображении выполнена с использованием координат контрольных точек, полученных геодезическим методом. Средняя ошибка определения планового положения составила 0,03 м, высот - 0,07 м, что соответствует ГОСТ Р 58854-2020 «Фотограмметрия. Требования к созданию ориентированных аэроснимков для построения стереомоделей застроенных территорий».

На фиг. 4 показано полученное непрерывное стереоизображение, передающее ощущение глубины пространства от крупных форм рельефа (оврагов) и от локально расположенных объектов (домов, деревьев и пр.), что подтверждает его высокую степень стереоэффекта.

Скорость построения непрерывного стереоизображения на представленном наборе данных с использованием компьютера, оснащенного видеокартой NVIDIA GeForce GTX 1650, составила от 328 до 530 кадров в секунду.

Таким образом, предложенный способ получения непрерывного стереоизображения земной поверхности обеспечивает формирование стереоизображения с повышенной точностью стереоскопических измерений и высокой степенью стереоэффекта по всему непрерывному стереоизображению, а также повышает быстродействие построения непрерывного стереоизображения.

Предложенный способ получения непрерывного стереоизображения земной поверхности позволит создавать новый вид пространственной геоинформационной продукции в виде единого стереоскопического образа территории (единой 3D-стереомодели), обеспечивающий:

- максимально возможную точность для обрабатываемых материалов аэрофотосъемки, высокую информативность (на уровне исходных аэрофотоснимков);

- улучшение условий труда за счет наглядности, обзорности и удобства использования единой 3D-стереомодели, обеспечивающей привычное для человека объемное восприятие окружающей среды и возможность визуально изучать материалы аэрофотосъемки целиком, а не частями;

- сокращение сроков производственного процесса при создании и обновлении пространственных данных по материалам беспилотной и пилотируемой аэрофотосъемки благодаря использованию единой 3D-стереомодели вместо отдельных стереопар и отсутствию необходимости в постоянном переключении стереопар, что обеспечивает повышение скорости измерения координат одной точки местности в 1,5 раза;

- повышение качества продукции благодаря возможности выбора наилучшей стереопары снимков для наблюдения отображаемого объекта с оптимального ракурса съемки и выполнения высокоточных измерений;

- возможность многофункционального использования как фотограмметристами, так и специалистами других профессий для эффективного решения актуальных задач цифровой экономики.

Изобретение относится к стереофотограмметрической обработке снимков, а именно к способам получения непрерывного стереоизображения земной поверхности. Сущность предлагаемого технического решения заключается в поэтапном построении единой трёхмерной стереомодели земной поверхности как на основе активных стереопар изображений земной поверхности, так и в случае отсутствия таковых. Технический результат предлагаемого технического решения заключается в повышении точности стереоскопических измерений и повышении быстродействия построения непрерывного стереоизображения. 1 з.п. ф-лы, 4 ил.

1. Способ получения непрерывного стереоизображения земной поверхности, характеризующийся тем, что сначала выполняют площадную аэрофотосъемку с помощью цифровой фотографической аппаратуры, установленной на пилотируемом или беспилотном летательном аппарате, производят предварительную обработку полученных снимков для формирования фотограмметрического набора данных, заключающуюся в определении элементов внутреннего, внешнего ориентирования и параметров дисторсии снимков, затем осуществляют 1 этап, на котором загружают по меньшей мере один фотограмметрический набор данных, состоящий из ориентированных снимков площадной аэрофотосъемки, загружают соответствующие изображения в малом разрешении, загружают, при наличии, цифровую модель рельефа или цифровую модель поверхности на ту же территорию, задают размер предпочитаемого базиса фотографирования и его ориентацию, после этого осуществляют 2 этап, на котором определяют макропараметры виртуальной стереокамеры в интерактивном режиме, после чего на 3 этапе проводят поиск ориентированных снимков, попадающих в поле зрения виртуальной стереокамеры, комбинируют найденные снимки для формирования пар перекрывающихся ориентированных снимков, из полученных пар выбирают активную стереопару, соответствующую параметрам предпочитаемого базиса, на 4 этапе осуществляют расчет матриц «вид-проекция» виртуальной стереокамеры, отвечающей за формирование изображений для левого и правого глаза, на основе выбранной активной стереопары на 3 этапе, если на этапе 3 не находят активную стереопару, то тогда расчет матриц «вид-проекция» виртуальной стереокамеры проводят на основе макропараметров виртуальной стереокамеры, полученных на 2 этапе, затем на 5 этапе в фоновом режиме загружают в видеопамять графической подсистемы компьютера изображения ориентированных снимков для активной стереопары в полном разрешении и для заданного пользователем количества других ориентированных снимков вблизи центра поля зрения виртуальной стереокамеры в среднем разрешении, если на 3 этапе не находят активную стереопару, то тогда в фоновом режиме загружают только изображения ориентированных снимков вблизи центра поля зрения виртуальной стереокамеры в среднем разрешении, переходят на 6 этап, на котором проецируют изображения снимков малого и среднего разрешения на цифровую модель рельефа или на цифровую модель поверхности с учетом элементов внутреннего, внешнего ориентирования и параметров дисторсии ориентированных снимков, затем разрезают перекрывающиеся ориентированные снимки и для построения изображения для левого глаза сшивают их правые части, а для построения изображения для правого глаза сшивают левые части перекрывающихся ориентированных снимков и формируют непрерывное стереоизображение земной поверхности – навигационную стереомодель, если на 3 этапе была найдена активная стереопара ориентированных снимков, то переходят на 7 этап, если на 3 этапе не найдена активная стереопара, то переходят на 8 этап, на 7 этапе осуществляют восстановление пространственного положения позитивных картинных плоскостей для левого и правого ориентированных снимков активной стереопары, на которые проецируют изображения снимков в полном разрешении с устраненной дисторсией, при этом в области перекрытия изображений, сформированных для левого и правого глаза, строится измерительное стереоизображение земной поверхности – измерительная стереомодель, а изображения вне области перекрытия обрезают и удаляют, после этого на 8 этапе строят 3D-сцену векторных объектов с учетом матриц «вид-проекция» виртуальной стереокамеры, в результате чего формируется стереоизображение векторных объектов, на 9 этапе строят стереоизображение элементов вспомогательной графики с учетом параметров их отображения, затем на 10 этапе, если на 3 этапе была найдена активная стереопара, выполняют совмещение навигационной стереомодели, полученной по ориентированным снимкам на 6 этапе, измерительной стереомодели, полученной по ориентированным снимкам активной стереопары на 7 этапе, стереоизображения векторных объектов, полученного на 8 этапе, и стереоизображения элементов вспомогательной графики, полученного на 9 этапе, для получения единого непрерывного стереоизображения земной поверхности – единой 3D-стереомодели, если активная стереопара не была найдена на 3 этапе, то выполняют совмещение навигационной стереомодели, полученной по ориентированным снимкам на 6 этапе, стереоизображения векторных объектов, полученного на 8 этапе, и стереоизображения элементов вспомогательной графики, полученного на 9 этапе, для получения единого непрерывного стереоизображения земной поверхности с ограниченными измерительными возможностями, после чего на 11 этапе осуществляют визуализацию полученной единой 3D-стереомодели, затем этапы со 2 по 11 повторяют при изменении параметров предпочитаемого базиса и макропараметров виртуальной стереокамеры для получения плавного динамического непрерывного стереоизображения земной поверхности.

2. Способ получения непрерывного стереоизображения земной поверхности по п. 1, отличающийся тем, что на 6 этапе проецирование изображений снимков малого и среднего разрешения, на 7 этапе проецирование изображений ориентированных снимков активной стереопары в полном разрешении с устраненной дисторсией, на 8 этапе формирование стереоизображения векторных объектов, на 9 этапе построение стереоизображения элементов вспомогательной графики осуществляют с использованием батчинга в API графического сопроцессора, на 10 этапе получение единой 3D-стереомодели и ее визуализацию на 11 этапе осуществляют с использованием API графического сопроцессора.