СПОСОБ МАШИННОГО СТЕРЕОЗРЕНИЯ Российский патент 2024 года по МПК G01S17/00 H04N13/239 

Изобретение относится к технике получения информации о форме и пространственном расположении предметов в окружающей среде с помощью светового излучения и может быть применено в системах навигации мобильных роботов, например беспилотных автомобилей и летательных аппаратов.

В настоящее время наибольшее распространение получили способы импульсной оптической локации, основанные на конечной скорости распространения света, которые в принципе мало отличаются от радиолокации. Основные проблемы импульсной локации, связаны с необходимостью работы с очень короткими импульсами света высокой мощности и отсутствием простых электронных способов сканирования источников света по полю зрения. Это усложняет аппаратуру.

От указанных недостатков свободны способы машинного стереозрения, состоящие в использовании естественного освещения сцены..Рассмотрим например способ, описанный в статье Девятеринов Е.А. и Михайлов Б.Б. «Система технического стереозрения для измерения координат мобильного робота», в сб. Трудов Института Космических Исследований РАН, Механика, управление и информ. М. 2012. Стр. 72-77. В нем производится съемка изображения сцены как минимум с двух позиций. Затем производится дифференцирование поля яркости изображения и выделение особых точек, характеризующихся особым значением тензора поля яркости. Замеряя разность углов зрения выделенных особых точек с разных позиций, и зная расстояние между позициями съемки двух изображений, получают дальность методом триангуляции.

Преимуществами такого способа машинного стереозрения являются малые энергозатраты и отсутствие необходимости механического сканирования. Имеется также возможность получать изображение с помощью матричных ПЗС, характеризующихся большим числом пикселей, возможностью электронного сканирования и использования эффекта накопления заряда, позволяющего производит съемку при малых уровнях освещенности.

Недостатком известных способов с выделением особых точек является то что особые точки являются в большинстве случаев изолированными и не покрывают все поле зрения, оставляя между собой промежутки, в которых информация о дальности расположения поверхности объекта отсутствует. Т.е. картина дальности получается фрагментарной, а чаще всего дискретной, состоящей лишь из нескольких точек. Этот недостаток не позволяет использовать такой способ технического зрения в качестве основного средства получения информации об окружающей обстановке. Он может использоваться главным образом для получения опорных точек при определения на местности с помощью естественных маяков.

Целью изобретения является создание способа, позволяющего иметь сплошную картину поля дальности и сохраняющего при этом свойства энергетической экономичности а также простоты и компактности применяемого оборудования.

Предлагается способ машинного стереозрения, состоящий в получении двух видео изображений сцены с разных позиций с синхронным сканированием его по строкам в направлении взаимного смещения видеокамер и последующей обработки полученных видеосигналов с получением картины распределения параллакса по полю зрения. Цель изобретения достигается тем, что параллакс получают путем вычисление текущей разности видеосигналов, получаемых с двух взамо смещенных видеокамер, и последующего деления полученной разности на полусумму текущего значения производных указанных видеосигналов по времени. Если углы зрения на наблюдаемый с разных позиций объект различаются на небольшую величину, а функция яркости изображения объекта в точках наблюдения меняется плавно, то деление разности яркости изображения в соответственных точках изображения сцены на местное значение производной в направлении взаимного смещения позиций наблюдения, дает значение величины местного сдвига кривой яркости изображения. Т.е. значение производной яркости в направлении сдвига позиции наблюдения выполняет функцию маркера, позволяющего измерить величину видимого смещения данной точки объекта при смене позиции съемки. А поскольку конечное значение производной яркости обычно имеет место не в отдельных точках, а на протяженных участках поля зрения, то в этих зонах мы получаем сплошную картину поля дальности, позволяющую определить форму поверхности объекта. При этом часто достаточно использовать естественные градиенты яркости сцены, имеющиеся за счет структуры поверхности предметов или неоднородности их освещения.

Для того, чтобы удовлетворить условию достаточной малости параллаксного изменения угла зрения в широком диапазоне дальностей предлагается производить съемку серии изображений с изменяющимися углами между оптическими осями объективов камер. Другими словами, предлагается снимать стереокинофильм изменяющегося изображения сцены в процессе варьирования угла схождения оптических лучей двух видеокамер. В природном зрении этот процесс известен под названием конвергенции. В предлагаемом способе плоскость конвергенции перемещают от кадра к кадру на малую величину, обрабатывая только те зоны поля зрения, где параллаксное смещение удовлетворяет вышеуказанному требованию достаточной малости. Выбор шага варьирования конвергенции при съемке указанной серии стереопар изображений определяется степенью мелкости структуры изображения объекта. Таким образом, мы получаем распределение по дальности полю зрения в нескольких сплошных зонах, в которых значение параллакса оказывается достаточно малым и находится в пределах малого изменения значения производных функций, используемых в качестве маркера параллаксного смещения.

Контроль достаточной малости параллаксного смещения производят по признаку совпадения (с заданной точностью) текущих значений производных функций яркости в двух видеокамерах. В зонах, не удовлетворяющих этому условию, получаемые данные не заносятся в картину поля дальности. Соответствующие зоны поля зрения могут быть заполнены при других положениях плоскости конвергенции видеокамер в процессе варьирования конвергенции по глубине сцены.

Изобретение поясняется нижеследующим детальным описанием вариантов осуществления предлагаемого способа и четырьмя фигурами.

На фиг. 1 изображена блок схема устройства, посредством которого может осуществляться предлагаемый способ, а также дан пример наблюдаемой сцены и серия плоскостей конвергенции видеокамер, при которых производится съемка по всей глубине сцены.

На фиг. 2 проиллюстрирован способ получения параллакса на одном из характерных элементов видеосигнала.

На фиг. 3 показан характер получаемого видеосигнала при сканировании сцены, изображенной на фиг. 1.

На фиг. 4 приведены типы характерных участков видеосигнала, используемых при вычислении параллакса.

Рассмотрим пример осуществления предлагаемого способа.

Допустим, на сцене расположены два здания 1 и 2 и точечный объект 3. Сцену сканируют двумя видеокамерами 4 и 5 расположенными с фиксированным взаимным смещением В (фиг. 1). Сканирование может производится с помощью матричных фотоприемников 6 и 7, например приборов с зарядовой связью (ПЗС). При этом направление «х» строчной развертки изображения сцены должно быть сориентировано вдоль направления В взаимного смещения видеокамер. Это позволит производить всю обработку видеосигнала без его запоминания и в реальном времени с применением аналоговых устройств и без оцифровки, которая снижает точность выполняемых измерений. Оптические оси О₁ и О₂ видеокамер 4 и 6 сведены к средней зоне сцены. Причем имеется возможность управлять углом сведения. В частности это может быть осуществлено за счет подвижной установки матрицы 6 одной из видеокамер. При этом в качестве средства перемещения матрицы может быть применен электромагнит 8, действующий против силы пружины 9 с демпфером. Такое устройство управления угловым положением оптической оси допускает миниатюризацию, необходимую для применения например на беспилотных ЛА, а также обеспечивает высокое быстродействие за счет малой перемещаемой массы. Возможно также управление положением оптической оси за счет схемы развертки ПЗС. Но это сложнее в реализации.

Видесигналы камер 4 и 5 подаются на полосовые фильтры 10 и 11. Это необходимо для сглаживания видеосигнала, устранения шумов и излишней мелкоструктурности изображения.

Далее, отфильтрованные видеосигналы Y₁ и Y₂ подаются на дифференциаторы 12 и 13, на выходе которых образуются производные по времени dY₁/dt и d Y₂/dt, что равносильно вычислению производных яркости изображения сцены по угловой координате dY₁/dх и dY₂/dх.

Затем в блоке 14 вычисляется разность видеосигналов Y₁ и Y₂, а в блоках 15 и 16 вычисляется соответственно разность и сумма производных видеосигналов. Разность видеосигналов подается на блок деления 17, в котором она делится на сумму производных видеосигналов. Полученная величина (Y₁ - Y₂) / (dY₁/dx+dY₂/dx) выражает собой смещение графика функции яркости Y(х) вдоль оси «х» (с точностью до коэффициента 2, который учтется в последующем вычислении дальности).

Для пояснения этого рассмотрим фиг. 2, где изображен характерный участок профиля яркости изображения. Параллакс Р здесь соответствует взаимному сдвигу профилей яркости, получаемых с двух позиций съемки. Из фиг.2 видно, что расстояние между кривыми по вертикали равно сдвигу Р кривых умноженному на тангенс угла наклона кривой, т.е. умноженному на производную функции. Поэтому, Р получается делением разности кривых по вертикали на тангенс угла, т.е. на производную. Но в данном случае целесообразнее делить на сумму производных первой и второй функции, чтобы скомпенсировать переменность производной из за кривизны функции. При этом сумма верхнего и нижнего значений производной эквивалентна взятию среднего значения (с точностью до коэффициента 2, который, как сказано, можно учесть позже).

Из приведенного на фиг. 2 графика видно, что на разных склонах кривой яркости получается одно и то же значение сдвига. Р. То же значение сдвига получится и при использовании функции поля яркости с другим значением крутизны - крутой или пологой. Т.о. данный способ применим для вычисления параллакса при любой форме кривой яркости, за исключением точек, где функция имеет разрыв, или зон, где она имеет нулевое значение производной. Но практически из пригодных зон выпадают также и участки конечной протяженности в окрестностях около нулевого значения или разрыва производной, т.к. в этом случае значения производных двух видеоканалов будут сильно различаться или будут даже относиться к разным долинам кривой изменения яркости. При этом предлагаемый метод вычисления параллакса уже не будет работать. Поэтому, для выбраковки таких зон, где данные недостоверны, применяется непрерывное вычисление разности текущего значения производных блоком 15, выходной сигнал которого, после прохождения порогового устройства 18, блокирует запись информации в запоминающее устройство 19. Блокировка осуществляется ключом 20. При этом настройка уровня срабатывания порогового устройства 18 производится в соответствии с требуемой точностью вычисления дальности.

Рассмотрим далее, насколько универсальным является описанный способ определения параллакса. На фиг. 3 изображена функция яркости объекта представленного также на фиг. 1. Эта функция составлена из зон пологого изменения видимой яркости стен зданий 1 и 2, разделенных точками скачков яркости Y на краях (f), углах (h). Кроме этого, имеются локальные элементы «z» изображения в виде точечных, а также тонкомерных элементов, которые при сканировании пересекаются под углом. Это могут быть швы кирпичной кладки на стенах, прутки, провода, ветки деревьев и т.п. Наконец, на сцене могут присутствовать самосветящиеся объекты, например бортовые огни. Они также могут использоваться для определения дальности в обычном порядке, как и границы неоднородной окраски предметов, надписи, всевозможные подвижные предметы, люди и животные. Причем структура изображения может быть очень мелкая и пестрая (листва, пестрая окраска и т.п.). Однако, за счет срезания верхних пространственных частот видеосигнала полосовыми фильтрами 10 и 12, все мелкоструктурные элементы будут иметь синусоидальный профиль с длиной волны, определяемой верхней частотой полосы пропускания указанных фильтров. Аналогичного эффекта фильтрации можно достигнуть дефокусировкой объективов видеокамер. В результате мы будем иметь всего четыре типа профилей яркости, представленных на фиг. 4 и являющихся отрезками синусоиды соответствующими рассмотренному выше случаю на фиг. 2. На фиг. 4 буквами обозначено, какому типу элементов сцены, представленой на фиг. 3 соответствует каждый тип профиля видеосигнала.

Однако имеются еще протяженные пологие участки профиля яркости. Например, монотонно окрашенные и равномерно освещенные стены. В этих случаях определение поля дальности может быть произведено с применением структурированного освещения, например с помощью фары 21 транспортного средства, снабженной рельефной линзой 22, формирующей профиль освещения в виде вертикальных синусоидальных полос. Данная фара может понадобиться и для освещения дороги, т.к. поверхность дороги тоже однотонна. Это позволит выявить искривления вертикального профиля дороги (или посадочной полосы), которые плохо заметны даже естественным зрением. Чтобы структурированное освещение было заметно и днем, оно может быть применено в узкоспектральном диапазоне с установкой на видеокамеры соответствующих светофильтров.

Остается рассмотреть вопрос с получением достаточно малого значения параллакса, укладывающегося с достаточным запасом в четвертьволновый размер синусоидального профиля яркости наиболее мелкоструктурных элементов. Это достигается с помощью конвергенции, т.е. сведения оптических осей двух видеокамер в точку к, расположенную вблизи поверхности объекта наблюдения. При этом производят съемку серии изображений при разных положениях плоскостей конвергенции k_i. При этом шаг расположения плоскостей конвергенции должен быть выбран таким, чтобы параллакс Р. т.е. видимое угловое расстояние от точки конвергенции до поверхности объекта (см. фиг. 1), всюду был меньше четверти периода синусоидального профиля яркости. Тогда, в результате прогонки по всему множеству плоскостей конвергенции будет получена информация о поле дальности, заполняющая все зоны поля зрения. При этом следует учитывать, что параллакс имеет угловую меру, поэтому, при удалении от видеокамер, расстояние между плоскостями конвергенции должно увеличиваться. Так что, для охвата всей глубины сцены, на которой потребуется знать поле дальности (километр и более) число кадров съемки по всей глубине сцены будет реальным для достаточно частого периодического повторения всей серии съемки с учетом скорости изменения окружающей обстановки, например из за движения транспортных средств.

Таким образом, предлагаемый способ может быть адаптирован практическим к любым типам наблюдаемых объектов. При этом максимльно используется естественное освещение сцены. Все необходимые приборы допускают микроминиатюризацию и могут быть применены в сверхлегких беспилотных летательных аппаратах в системах автономной навигации. Другие способы технического зрения пока этого обеспечить не могут из за громоздкости и энергозатратности необходимого оборудования или из за неуниверсальности к характеру изображений объектов.

Изобретение относится к вычислительной технике, а именно к технике определения формы и пространственного расположения предметов с помощью светового излучения. Технический результат направлен на расширение арсенала средств того же назначения. Способ машинного стереозрения, состоящий в получении изображений сцены с помощью двух взаимно смещенных видеокамер путем сканирования сцены по строкам в направлении взаимного смещения видеокамер и последующей обработки двух видеосигналов с получением распределения параллакса по полю зрения, при этом величину параллакса получают путем вычисления разности текущего значения видеосигналов двух указанных видеокамер и последующего деления полученной разности на текущее значение полусуммы производных указанных видеосигналов по времени. 2 з.п. ф-лы, 4 ил.

1. Способ машинного стереозрения, состоящий в получении изображений сцены с помощью двух взаимно смещенных видеокамер путем сканирования сцены по строкам в направлении взаимного смещения видеокамер и последующей обработки двух видеосигналов с получением распределения параллакса по полю зрения, отличающийся тем, что величину параллакса получают путем вычисления разности текущего значения видеосигналов двух указанных видеокамер и последующего деления полученной разности на текущее значение полусуммы производных указанных видеосигналов по времени.

2. Способ по п. 1, отличающийся тем, что производят съемку серии стереопар изображений сцены при разных положениях плоскости конвергенции оптических осей двух видеокамер с выделением в каждом положении плоскости конвергенции только тех зон поля зрения, в которых параллакс определяется достоверно.

3. Способ по п. 2, отличающийся тем, что выделение зон достоверности информации производится по признаку совпадения текущих значений производных поля яркости в двух позициях съемки изображений.