Способ и устройство для измерения трёхмерных координат поверхности объекта Российский патент 2024 года по МПК G01B11/25 G06T7/521 

Область техники

Изобретение относится к способам восстановления глубины на основании проецирования структурированного света и измерительным устройствам, характеризуемым использованием оптических средств для измерения глубины путём проекции лазерных полос на поверхность объекта.

Уровень техники

Известен аналог объекта [1] - Статья: Li Zhang, B. Curless and S. M. Seitz, "Rapid shape acquisition using color structured light and multi-pass dynamic programming" ("Быстрое получение формы объекта с использованием цветового структурированного света и многопроходного динамического программирования"). Proceedings. First International Symposium on 3D Data Processing Visualization and Transmission, 2002, pp. 24-36, doi: 10.1109/TDPVT.2002.1024035.

Известный способ заключается в том, что

формируют на поверхности объекта распределение освещенности в виде картины с набором разноцветных полос с помощью проектора;

кодируют пространственное положение полос на поверхности объекта различными цветами в соответствии с кодом Де Брёйна;

регистрируют изображение набора полос на поверхности объекта с помощью видеокамеры;

восстанавливают уникальный код полосы для каждого пикселя изображения, по которому определяют направление световой плоскости, формирующей полосу данного цвета;

восстанавливают трёхмерные координаты точек поверхности объекта путем решения системы уравнений, определяющих световые плоскости и главные лучи, проходящие через центры пикселей.

Устройство - аналог объекта содержит осветительную систему в виде цветного проектора и видеокамеру, визирные оси которых расположены с угловым параллаксом в плоскости, перпендикулярной направлению полос.

Недостатки аналога:

1. Использование цветовой кодировки положения полос ограничивает область применения аналога, например, в водной среде.

2. Имеет меньшую дальность действия по сравнению с устройствами, в которых используют лазерные системы подсветки.

Известен ближайший аналог (прототип) объекта [2] - патентная заявка US2022155059. DEPTH DATA MEASURING HEAD, MEASUREMENT DEVICE AND MEASURING METHOD (Способ и устройство для измерения карты расстояний). Pub. Date: May 19, 2022.

Известный способ заключается в том, что

формируют последовательность картин подсветки поверхности объекта в виде набора лазерных полос, причем ширина каждой полосы равна расстоянию между полосами;

кодируют положение полос в кадре кодом Грея, при этом регистрируют последовательность кадров с наборами кодированных монохромных полос, причем в каждом последующем кадре ширина полос и расстояние между полосами уменьшается в два раза;

восстанавливают для последнего зарегистрированного кадра (с наибольшим числом полос) коды полос в каждом пикселе изображения, по которому определяют направление плоского лазерного пучка, формирующего данную полосу;

рассчитывают координаты точек поверхности объекта путём решения системы уравнений, задающих направления плоских лазерных пучков и главных лучей, проходящих через центры пикселей изображения полос.

Устройство, реализующее прототип, содержит осветительную систему, включающую расположенные на одной оси лазер с непрерывным излучением, цилиндрическую линзу и сканирующее устройство в виде качающегося плоского зеркала, а также видеокамеру, визирная ось которой образует параллаксный угол с визирной осью осветительной системы и блок синхронизации.

Недостатки прототипа

1. Способ кодирования яркости полос на основе кода Грея позволяет присвоить уникальные коды 2^N полосам, где N - длина кода, равная количеству регистрируемых кадров. Для повышения пространственного разрешения требуется увеличивать количество кадров, что приводит к увеличению времени измерения координат поверхности объекта, а также к снижению точности измерения при движении объекта. Например, для кодирования 16 полос требуется 4 кадра, для кодирования 32 полос - 5 кадров и т.д.

2. Минимальное время измерения координат поверхности объекта ограничено инерционностью сканирующего устройства в виде качающегося плоского зеркала.

Раскрытие изобретения

Задачами предлагаемого технического решения является устранение недостатков прототипа и аналога, а именно: увеличение дальности действия, пространственного разрешения системы, уменьшение времени измерения, а также расширение областей применения.

Для решения задачи и достижения технического результата предлагается способ, заключающийся в том, что сканируют поверхность объекта плоским пучком лазерного излучения и формируют последовательность картин подсветки в виде набора полос таким образом, чтобы каждой полосе соответствовал уникальный код;

регистрируют последовательность кадров изображений поверхности объекта с помощью видеокамеры;

восстанавливают уникальный код полосы для каждого пикселя изображения, по которому определяют направление плоского лазерного пучка, формирующего данную полосу;

рассчитывают координаты точек поверхности объекта путём решения системы уравнений, задающих направления плоских лазерных пучков и главных лучей, проходящих через центры пикселей изображения полос.

При этом осуществляют импульсную модуляцию лазерного излучения, в процессе которой сканируют поверхность объекта плоским пучком лазерного излучения в дискретных направлениях таким образом, чтобы пространственное положение полос определялось последовательностью Де Брёйна.

Пояснение достигаемого положительного эффекта

Чтобы получить на поверхности объекта картины подсветки в виде полос, положение которых имеет уникальный код, соответствующий последовательности Де Брёйна, картины лазерной подсветки формируются в процессе импульсной модуляции лазерного излучения и сканирования в дискретных направлениях, определяемых последовательностью Де Брёйна. Кодирование положения полос на основе последовательности Де Брёйна позволяет присвоить уникальный код большему числу полос по сравнению с прототипом при одинаковом числе кадров, что обеспечивает более высокое пространственное разрешение.

Устройство (фиг.1), реализующее способ, содержит осветительную систему 1, включающую расположенные на одной оси лазер 11, цилиндрическую линзу 12, сканирующее устройство 13 и афокальную систему 14, а также видеокамеру 2, визирная ось которой образует параллаксный угол с визирной осью осветительной системы 1, и блок синхронизации 3.

При этом осветительная система содержит импульсный лазер 11, в качестве сканирующего устройства 13 используется акустооптический дефлектор (АОД), а после АОД по ходу лучей установлена афокальная система 14.

Пояснение достигаемого положительного эффекта

Использование быстродействующего сканирующего устройства в виде АОД позволяет уменьшить время измерения координат поверхности объекта.

Также использование импульсного лазера, АОД, а также афокальной системы позволяет реализовать в устройстве кодирование полос на основе последовательности Де Брёйна, что при одинаковом числе регистрируемых кадров обеспечивает большее пространственное разрешение по сравнению с прототипом.

Кроме этого, по сравнению с прототипом устройство позволяет увеличить дальность действия и расширить область возможного применения. Увеличение дальности действия по сравнению с аналогом достигается за счет использования лазера. Расширение областей возможного применения системы достигается за счет использования монохромной подсветки.

Перечень фигур

На фиг.1 представлена функциональная схема устройства.

На фиг.2 представлен пример картин структурированной подсветки

На фиг.3 представлен пример изображений, регистрируемых видеокамерой в отдельных кадрах

На фиг.4 представлен пример результатов измерения координат поверхности объекта с последующим формированием трехмерного образа объекта.

На фиг.5 представлены временные диаграммы синхронизации устройства.

Осуществление изобретения

Существенным признаком предложенного способа является алгоритм формирования структурированной подсветки, позволяющий сопоставить каждой полосе уникальный код. Для получения этих кодов используют последовательности Де Брёйна.

Для примера рассмотрим последовательность Де Брёйна с размером алфавита k=3 и длиной слова n=3:

1 1 1 2 1 1 3 1 2 2 1 2 3 1 3 2 1 3 3 2 2 2 3 2 3 3 3

Ключевая особенность таких последовательностей заключается в том, что любой фрагмент в этой последовательности, длина которого соответствует длине слова (в данном примере фрагмент из трех цифр), уникален и встречается лишь один раз в последовательности.

Т.е. каждая цифра вместе с соседними цифрами образует уникальный код. Для первой цифры левым соседом является крайняя справа цифра последовательности, а для последней цифры правым соседом является крайняя слева цифра (т.е. последовательность закольцовывается). В данном случае все элементы, начиная с первого, имеют уникальные коды, образованные соседней цифрой слева, собственным значением, и соседней цифрой справа. Если каждой полосе присвоить в качестве ее признака одну из трех цифр, то полоса будет иметь уникальный код.

В предложенном способе алфавит состоит из номеров картин подсветки. Т.е. полосы, обозначенные как «1», формируются в первой картине, полосы «2» - во второй картине, и полосы «3» - в третей картине (фиг.2).

На практике 27 полос, которые позволяет кодировать последовательность Де Брёйна с алфавитом k=3 и длиной слова n=3, не позволяют обеспечить высокую разрешающую способность. Для получения большего числа полос нужно увеличивать либо алфавит, т.е. число кадров, либо длину слова, т.е. при формировании кода полосы использовать не два значения соседних полос, а большее число значений.

Например, при использовании четырех кадров k=4 (алфавит 0,1,2,3) и длине слова n=3 (т.е. по одному соседнему значению справа и слева) можно закодировать 64 полосы.

Увеличение числа кадров приводит к увеличению времени измерения координат поверхности объекта, а также к снижению точности измерения при движении объекта. Поэтому для увеличения числа полос лучше увеличивать длину слова. Например, если число кадров k=3, а длина слова n=5 (т.е. для составления кода используются 4 соседних значения), то число кодируемых полос увеличивается до 243.

Для сравнения в прототипе при использовании 3-х кадров можно закодировать только 8 полос, а при использовании 4-х кадров 16 полос.

Следовательно, предложенный способ обеспечивает более высокое пространственное разрешение при одинаковом количестве регистрируемых кадров.

Способ осуществляется в соответствии со следующим алгоритмом:

1. С помощью АОД 13 направляют сформированный плоский лазерный пучок в одном из N дискретных направлений относительно оси пучка на выходе из лазера 11.

2. Формируют в памяти блока синхронизации последовательность углов отклонения плоских лазерных пучков от - W_АОД до W_АОД с равномерным шагом 2W_АОД/(N-1).

3. Формируют в памяти блока синхронизации последовательность Де Брёйна с размером алфавита k, равным количеству кадров, и длиной слова n (выбирается на основе требуемого разрешения). Алфавит состоит из целых чисел i=1,2…k, соответствующих номерам кадров. При этом k должно быть не менее N. Каждому направлению световой плоскости из последовательности по пункту 1 ставят в соответствие уникальный код, состоящий из номера кадра, а также номеров кадров (n-1) соседних элементов последовательности.

4. Формируют на поверхности объекта k картин структурированной подсветки в виде набора лазерных полос. Для этого каждый пучок лазерного импульса преобразуют в плоский пучок и с помощью АОД направляют его в одном из N дискретных направлений из сформированной последовательности. (Тогда в i-ой картине с помощью АОД формируют только те полосы из последовательности, которые соответствуют элементам "i" в последовательности Де Брёйна. Т.е. каждая картина подсветки содержит только определенные полосы из сформированной последовательности, при этом данные полосы отсутствуют в других картинах.)

5. Регистрируют k кадров изображений поверхности объекта при проецировании на него соответствующих картин структурированной подсветки (фиг. 3).

6. С учётом номеров кадров, в которых найдены ближайшие соседние полосы, восстанавливают уникальные коды полос, определяющие направления световых плоскостей.

7. Вычисляют трехмерные координаты точек поверхности объекта путем решения системы уравнений, которые описывают соответствующие световые плоскости и направления главных лучей, проходящих через центры пикселей в изображении полос. Пример результатов измерения координат поверхности объекта с последующим формированием трехмерного образа объекта представлен на фиг. 4.

Устройство, реализующее способ, содержит осветительную систему 1, включающую импульсный лазер 11, цилиндрическую линзу 12, сканирующее устройство в виде АОД 13 и афокальную систему 14, а также видеокамеру 2 и блок синхронизации 3, причём визирные оси видеокамеры 2 и осветительной системы 1 расположены под параллаксным углом.

На этапе подготовки устройства к работе в память блока синхронизации 3 записываются k последовательностей углов отклонения W_ij, где i=1…k, а j=1…M. При этом в каждой последовательности будет M=N/k значений углов. Величины N и k определяются исходя из требуемого пространственного разрешения и быстродействия устройства. Кроме этого на этапе подготовки к работе устанавливается время Т накопления видеокамеры 2 из условия: T=M/f_имп, где f_имп - частота следования лазерных импульсов.

В процессе эксплуатации устройство функционирует следующим образом. В момент включения устройства видеокамера переходит к накоплению первого кадра в соответствии с временной диаграммой фиг.5. В момент включения устройства АОД 13 настроен для отклонения пучка лазерного излучения на угол W₁₁. После включения устройства импульсный лазер 11 начинает формировать импульсы излучения в виде осесимметричных пучков с постоянной частотой f_имп. Цилиндрическая линза 12 преобразует каждый осесимметричный пучок в плоский пучок, который поступает на входное окно АОД 13, отклоняющий плоский пучок на настроенный угол. Так как диапазон углов сканирования АОД не превышает ±1°, то для увеличения углов сканирования в устройстве используется афокальная система 14. Афокальная система, имеющая угловое увеличение Г, увеличивает диапазон углов отклонения плоского пучка в Г раз.

После формирования каждого лазерного импульса от лазера 11 в блок синхронизации 3 поступает синхроимпульс и блок синхронизации 3 формирует сигнал для изменения значения угла отклонения пучка лучей на следующее значение из последовательности, записанной в памяти блока синхронизации 3, в соответствии с фиг.5.

Плоские пучки формируют на поверхности объекта полосы, изображение которых регистрируются видеокамерой 2. В каждом кадре в течении времени накопления Т, установленного в процессе предварительной настройки, видеокамера 2 регистрирует изображение последовательности из М полос. После завершения регистрации изображения в каждом кадре осуществляется считывание этого изображения и формирование синхроимпульса «Readout», который передаётся в блок синхронизации 3. Блок синхронизации 3 при поступлении синхроимпульса «Readout» формирует сигнал, поступающий в АОД 13, для изменения значения угла отклонения на первое значение в следующей последовательности в соответствии с диаграммой на фиг.5. Если текущая последовательность является последней (k-ой) из записанных в памяти блока синхронизации 3, то при поступлении синхроимпульса «Readout» блок синхронизации 3 изменяет значение угла отклонения АОД 13 на первое значение в первой последовательности, равное W₁₁.

После считывания кадра видеокамера переходит к накоплению следующего кадра, в котором регистрируется следующая последовательность полос. После регистрации k кадров в соответствии с описанным способом могут быть рассчитаны координаты поверхности объекта. Устройство может быть настроено на единичное или многократное измерение. В случае единичного измерения после регистрации k кадров устройство выключается. В случае многократного измерения устройство осуществляет многократную регистрацию последовательностей из k кадров.

Источники информации

1. Статья: Li Zhang, B. Curless and S. M. Seitz, "Rapid shape acquisition using color structured light and multi-pass dynamic programming" ("Быстрое получение формы объекта с использованием цветового структурированного света и многопроходного динамического программирования"). Proceedings. First International Symposium on 3D Data Processing Visualization and Transmission, 2002, pp. 24-36, doi: 10.1109/TDPVT.2002.1024035.

2. Патентная заявка US 2022155059. DEPTH DATA MEASURING HEAD, MEASUREMENT DEVICE AND MEASURING METHOD (Способ и устройство для измерения карты расстояний). Pub. Date: May 19, 2022.

Группа изобретений относится к способам и измерительным устройствам восстановления глубины на основании проецирования структурированного света путем проекции лазерных полос на поверхность объекта. Способ заключается в том, что сканируют поверхность объекта плоским пучком лазерного излучения и формируют последовательность картин подсветки в виде набора полос, чтобы каждой полосе соответствовал уникальный код; регистрируют последовательность кадров изображений поверхности объекта; восстанавливают уникальный код полосы для каждого пикселя изображения, рассчитывают координаты точек поверхности объекта путем решения системы уравнений, задающих направления плоских лазерных пучков и главных лучей, проходящих через центры пикселей изображения полос. При этом осуществляют импульсную модуляцию лазерного излучения таким образом, чтобы пространственное положение полос определялось последовательностью Де Брейна. Технический результат - увеличение дальности действия, пространственного разрешения системы, уменьшение времени измерения, расширение областей применения. 2 н.п. ф-лы. 5 ил.

1. Способ для измерения трёхмерных координат поверхности объекта, заключающийся в том, что сканируют поверхность объекта плоским пучком лазерного излучения и формируют последовательность картин подсветки в виде набора полос таким образом, чтобы каждой полосе соответствовал уникальный код; регистрируют последовательность кадров изображений поверхности объекта с помощью видеокамеры; восстанавливают уникальный код полосы для каждого пикселя изображения, по которому определяют направление плоского лазерного пучка, формирующего данную полосу; рассчитывают координаты точек поверхности объекта путём решения системы уравнений, задающих направления плоских лазерных пучков и главных лучей, проходящих через центры пикселей изображения полос, отличающийся тем, что осуществляют импульсную модуляцию лазерного излучения, в процессе которой сканируют поверхность объекта плоским пучком лазерного излучения в дискретных направлениях таким образом, чтобы пространственное положение полос определялось последовательностью Де Брёйна.

2. Устройство, реализующее способ по п.1, содержащее осветительную систему, включающую расположенные на одной оси лазер, цилиндрическую линзу, сканирующее устройство и афокальную систему, а также видеокамеру, визирная ось которой образует параллаксный угол с визирной осью осветительной системы и блок синхронизации, отличающееся тем, что осветительная система содержит импульсный лазер, в качестве сканирующего устройства использован акустооптический дефлектор (АОД), а после АОД по ходу лучей установлена афокальная система.