Система определения геометрических параметров трехмерных объектов Российский патент 2018 года по МПК G01B9/27 

Система относится к области бесконтактных измерений контуров или кривых трехмерных объектов в реальном масштабе времени. Она может быть использована для получения линейных размеров и формы объектов, а также для определения расстояния от точки наблюдения до объекта наблюдения.

Известна «Система множественных бесконтактных измерений трехмерных координат поверхности детали» (Патент RU 100610 U1), которая относится к области бесконтактных измерений трехмерных координат поверхности детали и направлена на снижение вероятности ошибочных измерений и адаптивной настройки подсвета для деталей разных типов и отражающих характеристик поверхности за счет использования программно-управляемого проектора и применения интеллектуальных алгоритмов формирования структурированного подсвета, повышение скорости и плотности измерений, снижение вероятности ошибочных измерений. Указанный технический результат достигается в системе множественных бесконтактных измерений трехмерных координат поверхности детали, включающей, по меньшей мере, две цифровые видеокамеры, программно-управляемый проектор структурированного света и компьютер, при этом видеокамеры и проектор закреплены на жестком базисе, фиксирующем их взаимное положение в пространстве.

Принцип работы системы по патенту RU 100610 U1 следующий: система состоит из двух камер, регистрирующих объект с разных, но не слишком сильно отличающихся ракурсов. На полученных изображениях определяются соответствующие точки (стереоотождествление). Затем, зная внутренние параметры камер стереопары, а также их взаимное расположение, можно определить трехмерные координаты точек объекта методом триангуляции. Для получения более полной информации о контуре и неровностях объекта в систему вводят дополнительный проектор. На объект проецируется некоторая картина (структурированная подсветка), ее искажения, вызванные формой объекта, регистрируются камерой.

Общим недостатком систем использующих структурированную подсветку является наличие дополнительного оборудования, а также снижение эффективности при измерении объектов открытого пространства, так как возможность применения подсветки снижается с увеличением расстояния до измеряемого объекта.

Также в качестве аналога можно выделить «Установку автоматического бесконтактного определения геометрических параметров движущихся объектов» (Патент RU 67706 U1), состоящую из блока сканирования, а именно двух П-образных ферм, лазерных излучателей маркерной линии, измерительных модулей, блока обработки, а именно блока модуля обработки снимков маркерной линии и датчика присутствия объекта.

Недостаток данной системы заключается в сложности и громоздкости оборудования.

Близким к заявленному техническому решению является система измерения контура транспортных средств MVP 7000 от МАНА [http://www.maha.ru/news/388/]. Она производит полностью автоматические измерения ширины, высоты и длины профиля трейлеров, грузовых автомобилей и автобусов.

Система измерения контура транспортных средств MVP 7000 состоит из 4 лазерных сканеров и системы управления. Система может быть установлена как в автомастерской, так и опционально прямо на открытом воздухе. Два сенсора измеряют ширину и высоту профиля транспортного средства. В диагностическом зале сенсоры могут быть вмонтированы, к примеру, во въездные ворота с левой и правой стороны. Два других сенсора вмонтированы в пол помещения для диагностики на определенном расстоянии. Они предназначены для измерения длины и скорости.

Данные, полученные со сканеров, передаются на систему управления, которая вычисляет общие габариты транспортного средства.

В качестве недостатка системы можно отметить временные задержки, так как сканирование осуществляется постепенно, по мере продвижения объекта через сканеры, сложность установки и невозможность одновременного измерения нескольких объектов, через сканеры должен проходить только один объект. Также можно отметить плохую применимость используемого подхода к измерению более широкого круга задач, например нестандартных типов грузов, или неавтомобильного транспорта. Ограниченные функциональные возможности обусловлены необходимостью измерения контуров транспортных средств только на специально оборудованных пунктах.

Задачей, на решение которой направлено изобретение, является расширение функциональных возможностей системы за счет обеспечения работы в реальном масштабе времени, автоматического получения геометрических параметров трехмерных объектов, выявления ситуаций превышения допустимых размерных параметров, возможности одновременного измерения большого количества трехмерных объектов.

Техническим результатом изобретения является повышение скорости и точности контроля геометрических параметров трехмерных объектов.

Технический результат достигается тем, что система определения геометрических параметров трехмерных объектов, содержащая первую цифровую камеру и вторую цифровую камеру, образующих стереокамеру, датчик массы, датчик скорости, блок калибровки камер, блок работы с датчиками, блок построения промежуточной трехмерной модели и карт глубины, блок распознавания образов, блок интеллектуальной оценки положений и габаритов объектов, процессор для обработки данных, модуль хранения данных, модуль вывода данных, при этом первая цифровая камера и вторая цифровая камера соединены с блоком калибровки камер, датчик массы и датчик скорости соединены с блоком работы с датчиками, блок калибровки камер соединен с блоком построения промежуточной трехмерной модели и карт глубины и блоком распознавания образов, блок работы с датчиками соединен с блоком интеллектуальной оценки положений и габаритов объектов, блок построения промежуточной трехмерной модели и карт глубины соединен с блоком распознавания образов и блоком интеллектуальной оценки положений и габаритов объектов, блок распознавания образов соединен с блоком интеллектуальной оценки положений и габаритов объектов, блок интеллектуальной оценки положений и габаритов объектов соединен с процессором для обработки данных, процессор для обработки данных соединен с модулем хранения данных и модулем вывода данных.

Количество цифровых камер может быть больше двух.

Количество датчиков сбора данных, таких как датчик массы и датчик скорости, может быть более двух.

В качестве процессора для обработки данных может быть использован как высокопроизводительный центральный процессор ЭВМ совместно с графическим процессором, поддерживающим наличие графических ядер для параллельной обработки данных, так и облачные сервера распределенной обработки данных.

В качестве модуля хранения данных могут выступать как постоянное запоминающее устройство персонального компьютера, так и облачные сервера хранения и обработки данных.

В качестве модуля вывода данных могут выступать как монитор персонального компьютера, так и удаленные веб-серверы.

Применение принципа 3d реконструкции пространства при помощи стереопары изображений позволяет производить определение геометрических параметров трехмерных объектов в большом числе областей.

Процессы обработки и анализа данных довольно требовательны к производительной мощности. Обеспечение работы в реальном масштабе времени достигается тем, что система определения геометрических параметров трехмерных объектов для обработки данных использует высокопроизводительный процессор для обработки данных.

Автоматическое получение геометрических параметров трехмерных объектов достигается тем, что система определения геометрических параметров трехмерных объектов использует блок распознавания образов и блок интеллектуальной оценки положений и габаритов объектов, который работает на основе современных алгоритмов аппарата нечеткой логики и искусственных нейронных сетей (Свидетельство о государственной регистрации программы для ЭВМ №2016615673), позволяющих распознавать трехмерные объекты в сцене и определять их геометрические параметры.

Выявление ситуаций превышения допустимых размерных параметров достигается тем, что система определения геометрических параметров трехмерных объектов использует модуль хранения данных с информацией о ранее определенных трехмерных объектах и их общих габаритах, а также информацию эталонных значений для различных классов объектов, определяет размеры нового объекта и классифицирует его относительно ранее полученных и эталонных данных, может выявить ситуацию превышения габаритных размеров. При получении информации с датчика массы и датчика скорости происходит сопоставление массы и скорости измеряемого трехмерного объекта с его габаритными размерами. Эти данные сохраняются в модуле хранения данных и могут быть использованы при дальнейшем выявлении ситуаций превышения допустимых параметров для объектов со схожими геометрическими параметрами.

Возможность одновременного измерения большого количества трехмерных объектов достигается тем, что система определения геометрических параметров трехмерных объектов, используя первую цифровую камеру и вторую цифровую камеру, блок построения промежуточной трехмерной модели и карт глубины, блок распознавания образов, блок интеллектуальной оценки положений и габаритов объектов определяет геометрические параметры всех трехмерных объектов, попадающих в угол обзора цифровых камер, образующих стереокамеру.

Совокупность элементов и связей между ними обеспечивают достижение положительного эффекта - расширение функциональных возможностей за счет использования более простого оборудования и интеллектуализации процессов сбора и анализа данных за счет использования современных алгоритмов, облегчая, а иногда и полностью исключая, работу оператора в процессах принятия решений.

Система определения геометрических параметров трехмерных объектов является новым техническим решением в области бесконтактных измерений контуров или кривых трехмерных объектов в реальном масштабе времени, поскольку результаты проведенного заявителем анализа аналогов и прототипа не позволили выявить признаки, тождественные всем существенным признакам данного изобретения.

Предложенная система определения геометрических параметров трехмерных объектов имеет изобретательский уровень, так как из опубликованных научных данных и существующих технических решений явным образом не следует, что заявляемая совокупность блоков и связей между ними позволяет повысить точность измерений габаритных размеров трехмерных объектов.

Предложенная система определения геометрических параметров трехмерных объектов промышленно применима, поскольку ее техническая реализация возможна с использованием типовых блоков и элементов.

Система определения геометрических параметров трехмерных объектов поясняется функциональной схемой на фиг. 1, где первая цифровая камера 1; вторая цифровая камера 2; датчик массы 3; датчик скорости 4; блок калибровки камер 5; блок работы с датчиками 6; блок построения промежуточной трехмерной модели и карт глубины 7; блок распознавания образов 8; блок интеллектуальной оценки положений и габаритов объектов 9; процессор для обработки данных 10; модуль хранения данных 11; модуль вывода данных 12;

В системе присутствуют следующие связи:

- Первая цифровая камера 1 соединена с блоком калибровки камер 5;

- Вторая цифровая камера 2 соединена с блоком калибровки камер 5;

- Датчик массы 3 соединен с блоком работы с датчиками 6;

- Датчик скорости 4 соединен с блоком работы с датчиками 6;

- Блок калибровки камер 5 соединен с блоком построения промежуточной трехмерной модели и карт глубины 7 и блоком распознавания образов 8;

- Блок работы с датчиками 6 соединен с блоком интеллектуальной оценки положений и габаритов объектов 9;

- Блок построения промежуточной трехмерной модели и карт глубины 7 соединен с блоком распознавания образов 8 и блоком интеллектуальной оценки положений и габаритов объектов 9;

- Блок распознавания образов 8 соединен с блоком интеллектуальной оценки положений и габаритов объектов 9;

- Блок интеллектуальной оценки положений и габаритов объектов 9 соединен с процессором для обработки данных 10;

- Процессор для обработки данных 10 соединен с модулем хранения данных 11 и модулем вывода данных 12;

Система определения геометрических параметров трехмерных объектов работает по принципу 3d реконструкции и оценки пространства при помощи методов проективной геометрии и аппарата нечеткой логики, с последующим анализом объектов сцены, их положения, габаритных размеров и общей классификацией.

Система работает следующим образом: устанавливают датчик массы 3, датчик скорости 4 и камеры видеофиксации - первую цифровую камеру 1, вторую цифровую камеру 2 для получения стереопары изображений.

В зависимости от задачи применения системы, будь то определение и классификация или измерение трехмерных объектов, в соответствии с требуемой точностью измерений, разрешение цифровых камер следует выбирать эмпирическим путем, т.к. чем выше разрешающая способность у цифровых камер, тем выше точность получаемых значений геометрических параметров.

Установка и настройка камер осуществляется при помощи блока калибровки камер 5. Калибровка может осуществляться в автоматическом режиме. Изображения с первой цифровой камеры 1 и второй цифровой камеры 2 поступают на блок калибровки камер 5, далее информация поступает в блок для построения карт глубины 7.

Карта глубины - это изображение, на котором для каждого пикселя, вместо цвета, хранится расстояние от соответствующей точки пространства до камеры. Карта глубины может быть построена по стереопаре изображений следующим образом: для каждой точки на одном изображении выполняется поиск парной ей точки на другом изображении. По паре соответствующих точек можно выполнить триангуляцию и определить координаты их прообраза в трехмерном пространстве. Зная трехмерные координаты прообраза, глубина вычисляется, как расстояние до плоскости камеры. Парную точку следует искать на эпиполярной линии. Для упрощения поиска, изображения выравнивают так, чтобы все эпиполярные линии были параллельны сторонам изображения. Более того, изображения выравнивают так, чтобы для точки с координатами (x₀, y₀) соответствующая ей эпиполярная линия задавалась уравнением x = x₀, тогда для каждой точки соответствующую ей парную точку нужно искать в той же строчке на изображении со второй камеры. Такой процесс выравнивания изображений называют ректификацией. Обычно ректификацию совершают путем корректировки исходных изображений и избавления их от эффектов нелинейных искажений.

После того как изображения ректифицированы, выполняют поиск соответствующих пар точек. Для каждого пикселя левой картинки с координатами (x₀, y₀) выполняется поиск пикселя на правой картинке. При этом предполагается, что пиксель на правой картинке должен иметь координаты (x₀ - d, y₀), где d - величина называемая несоответствием (смещением).

Для определения трехмерных координат точки пространства по координатам ее проекций используется триангуляция.

Пусть имеются две откалиброванные камеры с матрицами P₁ и Р₂, x₁ и x₂ - однородные координаты проекций некоторой точки пространства X. Тогда можно составить следующую систему уравнений:

В качестве практического примера для решения системы можно привести следующий подход: векторно умножить первое уравнение на x₁, второе на x₂, избавится от линейно зависимых уравнений, и привести систему к виду АХ = 0, где А-матрица размером 4×4. Далее можно либо исходить из того, что вектор X является однородным с координатами точки, записать его последнюю компоненту равной 1 и решать полученную систему из трех уравнений с тремя неизвестными, либо взять любое ненулевое решение системы АХ = 0.

Имея данные о положении и ориентации камер, а также данные карты глубины можно перейти к метрическому представлению пространства и определить положение, ориентацию и размерные характеристики объектов пространства относительно точки наблюдения. Полученные карты глубины передаются блоку распознавания образов 8 и блоку интеллектуальной оценки положений и габаритов объектов 9.

Оператором, при помощи специальной программы, вводятся значения параметров для блока интеллектуальной оценки положений и габаритов объектов 9, которые поступают от блока построения промежуточной трехмерной модели и карт глубины 7, блока распознавания образов 8, а также от блока работы с датчиками 6. Определяется область пространства, на которой будет происходить видеофиксация, задаются ближняя и дальняя плоскости камер для карт глубины в блоке построения промежуточной трехмерной модели и карт глубины 7. Вводятся максимальные параметры весовых и скоростных характеристик трехмерных объектов для датчика массы 3 и датчика скорости 4 в блок работы с датчиками 6.

Распознает и анализирует измеряемый трехмерный объект блок распознавания образов 8, работающий на основе искусственных нейронных сетей. Блок распознавания образов 8 сопоставляет данные исходных изображений с данными, полученными с блока построения промежуточной трехмерной модели и карт глубины 7 и, на основе полученной информации, выделяет объекты в сцене. Он определяет объекты на карте глубины в заданных ранее пределах дальности, сопоставляя информацию о расстоянии до объекта сцены с его масштабом и анализируя те объекты, которые по размерным параметрам попадают в минимально и максимально допустимые параметры.

Далее блок интеллектуальной оценки положений и габаритов объектов 9 выполняет определение геометрических параметров трехмерных объектов и сопоставляет визуальную информацию с данными, полученными от блока работы с датчиками 6. Происходит фиксация габаритных размеров, контроль между получаемыми данными и максимально допустимыми, сопоставление массы трехмерного объекта от датчика массы 3, с размерными характеристиками.

Затем информация сохраняется в модуле хранения данных 11. В качестве хранилища могут выступать как персональный компьютер, так и, например, облачные сервера хранения и обработки данных.

После обработки и анализа информация поступает оператору на модуль вывода данных 12.

Предложенное изобретение относится к области бесконтактных измерений контуров или кривых трехмерных объектов в реальном масштабе времени. Система определения геометрических параметров трехмерных объектов содержит первую цифровую камеру и вторую цифровую камеру, образующих стереокамеру, датчик массы, датчик скорости, блок калибровки камер, блок работы с датчиками, блок построения промежуточной трехмерной модели и карт глубины, блок распознавания образов, блок интеллектуальной оценки положений и габаритов объектов, процессор для обработки данных, модуль хранения данных, модуль вывода данных, при этом первая цифровая камера и вторая цифровая камера соединены с блоком калибровки камер, датчик массы и датчик скорости соединены с блоком работы с датчиками, блок калибровки камер соединен с блоком построения промежуточной трехмерной модели и карт глубины и блоком распознавания образов, блок работы с датчиками соединен с блоком интеллектуальной оценки положений и габаритов объектов, блок построения промежуточной трехмерной модели и карт глубины соединен с блоком распознавания образов и блоком интеллектуальной оценки положений и габаритов объектов, блок распознавания образов соединен с блоком интеллектуальной оценки положений и габаритов объектов, блок интеллектуальной оценки положений и габаритов объектов соединен с процессором для обработки данных, процессор для обработки данных соединен с модулем хранения данных и модулем вывода данных. Техническим результатом изобретения является повышение скорости и точности контроля геометрических параметров трехмерных объектов. 5 з.п. ф-лы, 1 ил.

1. Система определения геометрических параметров трехмерных объектов, содержащая первую цифровую камеру и вторую цифровую камеру, образующих стереокамеру, датчик массы, датчик скорости, блок калибровки камер, блок работы с датчиками, блок построения промежуточной трехмерной модели и карт глубины, блок распознавания образов, блок интеллектуальной оценки положений и габаритов объектов, процессор для обработки данных, модуль хранения данных, модуль вывода данных, при этом первая цифровая камера и вторая цифровая камера соединены с блоком калибровки камер, датчик массы и датчик скорости соединены с блоком работы с датчиками, блок калибровки камер соединен с блоком построения промежуточной трехмерной модели и карт глубины и блоком распознавания образов, блок работы с датчиками соединен с блоком интеллектуальной оценки положений и габаритов объектов, блок построения промежуточной трехмерной модели и карт глубины соединен с блоком распознавания образов и блоком интеллектуальной оценки положений и габаритов объектов, блок распознавания образов соединен с блоком интеллектуальной оценки положений и габаритов объектов, блок интеллектуальной оценки положений и габаритов объектов соединен с процессором для обработки данных, процессор для обработки данных соединен с модулем хранения данных и модулем вывода данных.

2. Система определения геометрических параметров трехмерных объектов по п. 1, отличающаяся тем, что количество цифровых камер может быть больше двух.

3. Система определения геометрических параметров трехмерных объектов по п. 1, отличающаяся тем, что количество датчиков сбора данных, таких как датчик массы и датчик скорости, может быть более двух.

4. Система определения геометрических параметров трехмерных объектов по п. 1, отличающаяся тем, что в качестве процессора для обработки данных может быть использован как высокопроизводительный центральный процессор ЭВМ совместно с графическим процессором, поддерживающим наличие графических ядер для параллельной обработки данных, так и облачные сервера распределенной обработки данных.

5. Система определения геометрических параметров трехмерных объектов по п. 1, отличающаяся тем, что в качестве модуля хранения данных могут выступать как постоянное запоминающее устройство персонального компьютера, так и облачные сервера хранения и обработки данных.

6. Система определения геометрических параметров трехмерных объектов по п. 1, отличающаяся тем, что в качестве модуля вывода данных могут выступать как монитор персонального компьютера, так и удаленные веб-серверы.