СПОСОБ АВТОМАТИЗИРОВАННОГО ИЗМЕРЕНИЯ С ИСПОЛЬЗОВАНИЕМ МОДЕЛИ ВНЕШНЕЙ СРЕДЫ В СТЕРЕОТЕЛЕВИЗИОННОЙ СИСТЕМЕ ТЕХНИЧЕСКОГО ЗРЕНИЯ Российский патент 2000 года по МПК G01C11/26 

Изобретение относится к робототехнике и (полу)автоматическому измерению трехмерных объектов на расстоянии, в частности к системам технического зрения (СТЗ) в оптическом диапазоне.

В настоящее время известны различные способы обработки стереоизображений в устройствах технического зрения роботов, которые состоят из стереосистем, сопряженных с ЭВМ, и используют стереопару, преобразованную в двумерный цифровой сигнал - цифровое изображение.

Особый интерес представляют СТЗ для целенаправленного измерения лишь тех объектов, которые на изображении выбраны оператором.

В качестве аналога для измерения упорядоченной последовательности точек можно указать способ сканирования пространства, осуществляемый путем развертки его плоскостного изображения, т.е. перемещение на изображении точки считывания сигнала яркости [1]. Процесс сканирования пространства заключается в последовательном перемещении в пространстве некоторой точки, соответствующей пересечению двух проектирующих лучей стереотелевизионной системы, исходящих из точек экрана телевизионных трубок, в которые в данный момент попадают электронные (проектирующие) лучи и которые называются точками считывания сигнала изображения. При этом проектирующие лучи перемещаются в плоскостях, пересекающихся по прямой, перпендикулярной к плановой плоскости и проходящей через заданную проекцию на эту плоскость измеряемой точки. В способе [1] достигается заранее заданное распределение в пространстве точек съема данных о реальной поверхности путем соответствующего задания их проекций на плановую плоскость. При этом интересующая точка может не попасть в число заранее задаваемых перед началом измерений. Кроме того, измеряемая точка должна иметь в своем окружении достаточно контрастный сигнал изображения для надежного отождествления с аналогичным сигналом на стереоизображениях, что исключает возможность измерения точек на однотоновой поверхности.

Известен способ (прототип) автоматизированного (по указанию оператора) измерения точек внешней среды для построения ее трехмерной модели с использованием стереотелевизионной системы технического зрения [2]. Способ реализуется в человеко-машинном измерительном комплексе, основу которого составляет система технического зрения, включающая телевизионный стереоблок, сопряженный с персональной электронно-вычислительной машиной (ПЭВМ), дисплей для визуализации изображения и устройство управления перемещением курсора. Измеряемая точка наблюдаемой сцены указывается оператором с помощью курсора на экране дисплея, а ее три пространственные координаты вычисляются автоматически с использованием программы на ПЭВМ и визуализируются на экране дисплея. Объединение измеренных точек в модель внешней среды происходит на основе их принадлежности к наблюдаемым объектам (выявляемой оператором), что повышает достоверность модели.

Способ заключается в том, что получают стереопару наблюдаемой сцены в виде двух оцифрованных изображений в системе координат Xл, Yл и Xп, Yп, где оси Xл и Xп ортогональны базису стереосистемы B; визуально осуществляют выбор области левого изображения на экране дисплея; выделяют фрагмент области по характерному перепаду яркости с применением указывающего устройства; выделяют на фрагменте левого изображения идентифицируемый элемент (измеряемую точку); выделяют фрагменты правого изображения в соответствии с расчетным диапазоном параллаксов, выделяют на фрагменте правого изображения группы отождествляемых элементов; осуществляют поиск корреспондирующей пары на множестве элементов группы; вычисляют параллакс корреспондирующей точки, соответствующей этой паре, вычисляют пространственные координаты измеряемой точки и объединяют измеренные точки в модель.

Особенностью способа является то, что выделяемый фрагмент области должен содержать достаточно заметный (контрастный) перепад яркости в окрестности измеряемой точки. Это необходимо для надежного поиска корреспондирующей пары. Указанная особенность существенно снижает возможности известного способа.

Во всех устройствах, подобных прототипу, измеряемые точки на изображении принадлежат в основном его краям (на которых реализуется требование наличия достаточно контрастного перепада яркости), а точки, принадлежащие однородным по яркости фрагментам на изображении, принципиально не могут быть измерены.

Целью предложенного способа является устранение указанного недостатка, увеличение возможностей способа путем измерения точек изображения, расположенных на гладких поверхностях, например плоских гранях объекта, однородных по яркости, а также точек, расположенных в пространстве между физическими объектами сцены. Эти точки помечаются на модели внешней среды курсором, управляемым оператором с помощью устройства "мышь", и автоматически переносятся на изображение наблюдаемой сцены для идентификации с реальными объектами (см. чертеж). В предлагаемом способе модель внешней среды играет роль связующего звена в человеко-машинном диалоге по измерению объектов внешней среды, наблюдаемых оператором на экране дисплея ПЭВМ.

На чертеже представлена схема измерения пространственных координат точки (A), указанной оператором на модели объекта (A_M), где 1, 2, 3 - измеренные точки для построения модели.

Поставленная цель достигается тем, что в отличие от известного способа автоматизированного измерения внешней среды робота, заключающегося в получении стереопары измеряемого объекта; выводе одного изображения (левого) на экран монитора; установке оператором с помощью устройства "мышь" курсора на интересующую точку объекта (достаточно контрастную); пересылке координаты этой точки (Xл, Yл) в память ПЭВМ; фрагментации левого изображения по координате Y на малой окрестности Xл + DX; уточнении положения точки контрастного элемента в этой окрестности (Xл, Yл); вычислении параметров отождествляемого элемента; передаче уточненной координаты в ПЭВМ; выделении фрагмента на строке второго изображения при ограничении на параллакс P
Pmin • P • Pmax, (1)
где Pmin, Pmax - минимальный и максимальный допустимые параллаксы; отождествлении на множестве элементов стереопары, входящих в указанную группу; вычислении параллаксов соответственных элементов; вычислении координат точек объектов, соответствующих этим элементам, и построении модели внешней среды, предлагается способ, отличающийся тем, что после построения модели внешней среды, состоящей из моделей объектов, представляющих собой выпуклые трехмерные тела: пирамиды, прямоугольные призмы, конусы, цилиндры, сферы (тип модели задается оператором), выбирают требуемый ракурс осмотра измеряемой модели объекта; подводят курсор к измеряемой поверхности модели объекта; вычисляют по уравнению поверхности (например, плоскости) и двумерным координатам курсора (Xк, Yк) трехмерные координаты (X, Y, Z) точки поверхности; вычисляют по известным параметрам оптической системы левой камеры и трехмерным координатам точки поверхности модели объекта (X, Y, Z) двумерные координаты проекции этой же точки на плоскость левого изображения (Xл, Yл); отображают точку с координатами (Xл, Yл) на выведенном на экран монитора изображении; устанавливают отображение точки на интересующее оператора место на изображении объекта, перемещая курсор по модели объекта; считывают трехмерные координаты (X, Y, Z) точки поверхности наблюдаемого объекта.

При измерении координат точек, расположенных в пространстве между физическими объектами сцены, оператор к модели внешней среды добавляет виртуальный объект, состоящий из одной плоскости, натянутой на три точки, принадлежащие физическим объектам.

В отличие от аналога в предлагаемом способе точки считывания сигнала изображения (метки) устанавливаются целенаправленно по указанию оператора, а не по заранее рассчитанным траекториям.

В отличие от прототипа могут измеряться дополнительные точки:
а) принадлежащие выпуклым однородным по яркости поверхностям объекта;
б) принадлежащие пространству между физическими объектами сцены.

Программное обеспечение измерительной системы позволяет не только вычислять модель внешней среды, но и выводить ее на экран дисплея, используя для этого дополнительно введенный стандартный пакет программ машинной графики. Одновременная визуализация монокулярного изображения (одного из стереопары) на экране дисплея с графической моделью внешней среды создает дополнительные условия для эффективной работы оператора по измерению точек, вычислению расстояний между ними и пространственной интерпретации внешней среды. Именно возможность визуализации графической модели внешней среды позволяет оператору измерить любую точку поверхности наблюдаемого объекта, определив ее с помощью указывающего устройства (типа "мышь") на модели того же объекта с отображением ее на изображении объекта.

В отличие от распространенных стереоскопических систем, например оснащенных жидкокристаллическими очками, предлагаемый способ позволяет осуществлять коллективное наблюдение за процессом измерения. Это повышает степень надежности измерительного процесса и предоставляет дополнительную возможность обучения операторов в режиме человеко-машинного диалога.

Список литературы
1. Лупичев Л.Н., Парфенов А.П., Шаманов И.В. Способ сканирования в стереоскопической системе. Авт. свид. N 754208, 1980 г. (Заявка N 2617745 с приоритетом 12 мая 1978 г.).

2. Васильев В.Ф., Иванюгин В.М., Петухов С.В. Способ автоматизированного измерения координат точек внешней среды и построения ее трехмерной модели в стереотелевизионной системе технического зрения. Патент N 2065133, бюллетень N 22, 1996 г. (заявка N 93033305/10 с приоритетом 28.06.93), дата регистрации 10.08.96 г.

Изобретение относится к робототехнике и предназначено для (полу)автоматического измерения трехмерных объектов на расстоянии. Способ реализуется в человеко-машинном комплексе, основу которого составляет система технического зрения, включающая телевизионный стереоблок, сопряженный с ПЭВМ, дисплей для визуализации изображения и устройство управления перемещением курсора. С помощью курсора на экране дисплея указываются опорные точки, по которым строится модель поверхности. В простейшем случае три точки определяют плоскую поверхность в пространстве. Модель поверхности воспроизводится на экране дисплея рядом с изображением наблюдаемой сцены. С помощью курсора на модели указывают точки, подлежащие измерению, которые автоматически помечаются маркером на изображении наблюдаемой сцены. Значения пространственных координат опорных и принадлежащих поверхности точек визуализируются на экране дисплея. Техническим результатом является возможность измерения координат точек на гладких поверхностях, а также в пространстве между физическими объектами сцены. 1 ил.

Способ автоматизированного измерения объектов внешней среды с использованием ее геометрической трехмерной модели в стереотелевизионной системе технического зрения, заключающийся в получении стереопары в виде левого и правого оцифрованных изображений с помощью двух телекамер, образующих стереосистему, сопряженную с ПЭВМ, фрагментации левого изображения, выделении на фрагменте одной из интересующих точек поверхности объекта, выделении фрагмента правого изображения в соответствии с расчетным диапазоном параллаксов, выделении на фрагменте правого изображения группы отождествляемых элементов, поиске корреспондирующей пары упомянутой точки на множестве элементов группы, вычислении параллакса корреспондирующей пары, вычислении пространственных координат этой точки и построении модели объекта по вычисленным координатам точек его поверхности, отличающийся тем, что после построения модели объекта выбирают требуемый ракурс осмотра модели объекта, подводят курсор к модели объекта, вычисляют по уравнению поверхности и двумерным координатам курсора трехмерные координаты точки поверхности, вычисляют двумерные координаты этой точки на плоскости визуализируемого изображения, одного из указанной стереопары, и отображают точку с двумерными координатами на выведенном на экран монитора изображении, при этом отображение точки устанавливается на интересующее оператора место на изображении объекта, считывают трехмерные координаты точки поверхности наблюдаемого объекта.