СПОСОБ КОРРЕКТИРОВКИ ОШИБКИ ИЗМЕРЕНИЯ ГЛУБИНЫ TOF-КАМЕРЫ Российский патент 2022 года по МПК G06T1/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области захвата и обработки изображений, в частности к корректировке ошибок измерения глубины трехмерной (3D) ToF-камеры.

Уровень техники

ToF-датчик («Time of Flight», датчик глубины или времяпролетный датчик) - это специальный датчик, который излучает свет и, используя рассеянный (отраженный) от некоего объекта сигнал, определяет расстояние до этого объекта. Зная время излучения и последующего приема отраженного света, на основе скорости света можно вычислить точное расстояние до объекта, аналогично лазерному дальномеру.

Такие датчики находят все более широкое распространение в различных областях, включая применение в мобильных электронных устройствах (например, для биометрической идентификации пользователя по изображению его лица и распознавания жестов), в автономных и полуавтономных транспортных средствах, робототехнике (при формировании изображения окружения для обеспечения возможности осуществления деятельности робота), фото- и видеокамерах, приложениях с виртуальной/дополненной реальностью (VR/AR) и т.д.

3D ToF-камера (камера, формирующая так называемое дальностное изображение, в которой расчет расстояний от экрана до конкретных точек наблюдения обеспечивается с помощью технологии измерения "времени полета" (ToF)), основанная на методе модуляции непрерывной волны (CW, continuous wave), использует принцип сдвига фазы между передаваемым и принимаемым излучением для определения расстояния между объектом и камерой. Эта камера имеет источник света, испускающий модулированный свет , свет отражается от объекта, затем на плоскости датчика принимается сигнал . Излучаемый модулированный сигнал и принятый отраженный сигнал с задержкой задаются следующим образом:

,

,

где - частота модуляции, - амплитуда излучаемого сигнала, - амплитуда принятого сигнала, - смещение (offset), представляющее собой некоторый добавочный уровень интенсивности.

Камера TOF вычисляет взаимную корреляцию для следующим образом:

,

где - взаимная корреляционная функция для и , - излучаемый сигнал, - сигнал, рассеянный объектом и принятый камерой.

Для восстановления фазы и амплитуды принятого сигнала обычно используют метод «four bucket». Основной принцип этого метода состоит в получении четырех равноудаленных выборок во временных точках , отделенных друг от друга на 90 градусов в цикле модуляции:

- необработанные фазы («сырые» фазы, raw phases).

Сдвиг фазы между может быть вычислен из этих сырых фаз:

.

Расстояние до объекта для каждого пикселя (i, j) вычисляется следующим образом:

,

где - расстояние от пикселя (i, j) до объекта, - сдвиг фазы для пикселя (i, j), - длина волны сигнала.

В настоящее время недорогие конфигурации систем ToF, нацеленные на массовый рынок, страдают от проблем, вызванных MPI (multipath interference, многолучевая интерференция), включающих в себя, среди прочего, появление фантомных (т.е. повторных или паразитных) изображений, т.н. ghosting. Фантомные изображения представляют собой артефакты рассеяния (scattering) на изображении, возникающие в результате множественных внутренних отражений внутри оптической системы. Такие артефакты, которые свидетельствуют о наличии ошибок измерения глубины, являются крайне нежелательными в областях применения ToF-камер и в значительной степени ограничивают их применение.

В ситуациях, когда отображается широкий диапазон глубин, широкодиапазонный сигнал может подвергаться рассеянию от близких объектов, сигнал от близких объектов вступает в конкуренцию со слабым сигналом от далеких объектов и вызывает ошибки при измерениях глубины.

Антиотражающее покрытие, наносимое на элементы оптической системы, значительно уменьшает количество рассеянного света, но не решает полностью проблему фантомных изображений.

Даже если ошибка появления фантомных изображений частично компенсируется, оставшиеся артефакты карты глубины могут ограничивать применение камер TOF. Поэтому важно обеспечить высокое качество компенсации ошибок измерения дальности.

Большинство решений для анализа и компенсации ошибок фантомных изображений используют только экспериментальные данные. На экспериментальные данные значительное влияние оказывает шум. Учитывая, что фантомный сигнал на несколько порядков ниже, чем сигнал от объекта, это делает фантомный сигнал практически неразличимым, а полученные данные ненадежными.

Решение для компенсации в реальном времени необходимо для широкого и эффективного использования ToF-камер. Чрезмерная сложность способа компенсации может привести к ограниченной возможности применения такого способа обработки в реальном времени.

Проблема фантомных изображений может быть решена путем дополнительной модификации аппаратного обеспечения камеры (например, путем покрытия самой верхней поверхности матричной структуры приемника черными чернилами, оставляя чувствительные области неокрашенными), но это решение является трудозатратным и значительно увеличивает стоимость TOF-камеры.

Разработка нового решения, обеспечивающего применение традиционного подхода к обработке изображений со всесторонним анализом явлений рассеяния камеры и действующей модели распределения фантомных изображений, имеет важное значение для представления эффективного решения компенсации фантомных изображений в реальном времени.

Из уровня техники известен документ US 9,760,837 B1, раскрывающий компенсацию многолучевых помех с помощью обученного компонента машинного обучения. Пара обучающих данных содержит по меньшей мере одно смоделированное необработанное значение данных датчика времени полета и соответствующее смоделированное эталонное значение глубины. Смоделированные необработанные кадры данных датчика времени пролета вычисляются с использованием модифицированного средства визуализации компьютерной графики, которое использует трассировку лучей для визуализации изображения из модели трехмерного объекта или окружающей среды. Данный способ обладает высокой сложностью и не демонстрирует требуемых показателей качества компенсации фантомных изображений.

Документ US 2012/0008128 A1 описывает как аппаратное решение, заключающееся в покрытии самой верхней поверхности структуры массива черными чернилами, оставляя при этом неокрашенными чувствительные области массива, так и программное решение, подразумевающее компенсацию ошибки отражения рассеянного света посредством использования корректировочных значений. Формирование корректировочных значений осуществляется с использованием экспериментальной настройки.

Документ US 8,964,028 B2 раскрывает способ компенсации постороннего света, включающий в себя определение расстояния до опорной цели, сравнение его с известным значением для определения значения коррекции постороннего света, определение расстояния до интересующего объекта с использованием коррекции постороннего света.

Документ US 8,554,009 B2 описывает коррекцию постороннего света с помощью обычного прибора для формирования изображений (не ToF-камеры). Способ содержит экспериментальное определение набора разброса точек, вывод функции распределения постороннего света, получение матрицы распределения постороннего света, вывод матрицы коррекции постороннего света, исправление ошибок постороннего света в изображении с устройства формирования изображения.

Однако, упомянутые выше решения обладают низким качеством компенсации ошибок измерения дальности.

Таким образом, в уровне техники существует потребность в создании простого и недорогого решения, обладающего высоким быстродействием (функционирующего в реальном времени) и высоким качеством компенсации ошибок измерения дальности ToF-камеры.

Сущность изобретения

Настоящее изобретение направлено на решение по меньшей мере некоторых из приведенных выше проблем.

В соответствии с изобретением предложен способ формирования карты глубины с корректировкой ошибки измерения дальности для ToF-камеры, включающий в себя этапы, на которых: предварительно оценивают рассчитанную модель распределения PSF (функции рассеяния точки) для ToF-камеры; осуществляют захват изображения сцены посредством ToF-камеры; осуществляют компенсацию фантомных сигналов в данных захваченного изображения сцены с помощью упомянутой PSF; формируют карту глубины с использованием скорректированных данных, причем этап предварительной оценки рассчитанной модели распределения PSF включает в себя этапы, на которых: задают оптическую модель оптической системы камеры; моделируют рассеяние света в оптической системе на основе упомянутой заданной модели оптической системы; вычисляют PSF оптической системы; аппроксимируют PSF посредством полиномиальной функции радиуса, где радиус - это расстояние от заданного пикселя до центра изображения.

Согласно одному варианту осуществления способа вычисление PSF оптической системы осуществляют в соответствии со следующим выражением:

,

где - моделирование измерения входного сигнала, которое имеет ненулевое значение только в местоположении пикселя (i, j), - уровень (интенсивность) рассеяного сигнала по сенсору камеры, представленный в виде двухмерной функции (матрицы), при входном сигнале, приходящем в пиксель (i, j), - ядро PSF при входном сигнале, приходящем в пиксель (i, j).

Согласно другому варианту осуществления способа на этапе аппроксимации аппроксимируется функцией , причем каждое ядро зависит от расстояния от заданного пикселя до центра изображения.

Согласно другому варианту осуществления способа задано выражением:

,

где A(r) - коэффициент усиления, зависящий от расстояния от заданного пикселя до центра изображения, а G - ядро 3×3, которое аппроксимирует локальные аберрации света в окрестности пикселя.

Компенсацию фантомных сигналов в данных захваченного изображения сцены осуществляют в соответствии с выражением:

,

где - уровень скомпенсированного (восстановленного) сигнала в пикселе (i, j), - уровень рассеянного сигнала в пикселе (i, j), - уровень измеренного сигнала в пикселе (i, j) сенсора.

Согласно другому варианту осуществления способа этап предварительной оценки рассчитанной модели распределения PSF дополнительно включает в себя оптимизацию полученной PSF с помощью машинного обучения на основе наборов данных, включающих в себя пары изображений, состоящие из изображения с артефактами и изображения без артефактов.

Согласно другому варианту осуществления способа в оптической модели оптической системы ToF-камеры точечный объект моделируется как точечный источник света.

Согласно другому варианту осуществления способ перед формированием карты глубины дополнительно содержит этап итеративной оценки скорректированных данных захваченного изображения сцены.

Таким образом, настоящее изобретение обеспечивает простое и недорогое решение для получения карты глубины, обладающее высоким быстродействием (функционирующее в реальном времени) и высоким качеством компенсации ошибок измерения дальности ToF-камеры.

Краткое описание чертежей

В дальнейшем изобретение поясняется описанием предпочтительных вариантов воплощения изобретения со ссылками на сопроводительные чертежи, на которых:

Фиг. 1 изображает блок-схему последовательности этапов способа получения карты глубины с корректировкой ошибки измерения дальности ToF-камеры в соответствии с настоящим изобретением;

Фиг. 2 изображает блок-схему, подробнее иллюстрирующую этап предварительной оценки рассчитанной модели распределения PSF способа в соответствии с настоящим изобретением;

Фиг. 3 изображает блок-схему, подробнее иллюстрирующую этап анализа оптической системы способа в соответствии с настоящим изобретением;

Фиг. 4 изображает упрощенную модель ToF-камеры;

Фиг. 5 изображает пример моделирования фантомного сигнала звездообразного объекта;

Фиг. 6 изображает блок-схему, подробнее иллюстрирующую этап предварительной оценки рассчитанной модели распределения PSF (этап S1) способа в соответствии с альтернативным вариантом осуществления настоящего изобретения

Подробное описание

Предлагаемое изобретение сочетает в себе существующие подходы компенсации ошибок с новым подходом к моделированию рассеяния излучения (света) в оптической системе, которое может быть описано с помощью PSF (Point Spread Function, функция рассеяния точки), с целью значительного улучшения характеристик ToF-камеры. Функция рассеяния точки описывает картину, получаемую системой формирования изображения при наблюдении точечного источника излучения или точечного объекта.

Для получения точной модели распределения PSF оптической системы ToF-камеры проводится оптическое моделирование.

Хотя здесь и далее способ в соответствии с настоящим изобретением описывается применительно к ToF-камере и корректировке ошибки измерения дальности при формировании карты глубины захватываемой сцены, настоящее изобретение аналогичным образом может найти свое применение также в камерах, основанных на RGB (red, green, blue), ARGB (alpha, red, green, blue) или любом другом световом сенсоре. В таком случае настоящее изобретение соответственно позволяет осуществлять компенсацию фантомных изображений при формировании цветового изображения захватываемой сцены.

Способ формирования карты глубины с корректировкой ошибки измерения дальности ToF-камеры (см. фиг. 1) в соответствии с настоящим изобретением включает в себя следующие этапы, на которых:

- предварительно оценивают рассчитанную модель распределения PSF для ToF-камеры (этап S1);

- осуществляют захват изображения сцены посредством ToF-камеры (этап S2);

- осуществляют компенсацию фантомных сигналов в данных захваченного изображения сцены с помощью упомянутой PSF (этап S3);

- формируют карту глубины с использованием скорректированных данных (этап S4).

В результате выполнения способа в соответствии с настоящим изобретением получают карту глубины со скомпенсированными ошибками измерения дальности ToF-камеры.

Далее этапы способа получения карты глубины с корректировкой ошибки измерения дальности ToF-камеры по фиг. 1 будут подробно описаны со ссылкой на фиг.1-6.

Этап S1 предварительной оценки рассчитанной модели распределения PSF в свою очередь включает в себя следующие этапы (см. фиг. 2):

Этап S10 - Анализ оптической системы;

Этап S11 - Аппроксимация модели распределения PSF.

На этапе S10 выполняют анализ оптической системы для оптического моделирования PSF посредством следующих действий (см. фиг. 3):

- Задание оптической модели (этап S101).

С использованием известных параметров оптической системы создается ее модель в программном обеспечении для моделирования на основе трассировки лучей, таком как Synopsys LightTools, ZEMAX OpticStudio и т.д. Для этого необходимо знать по меньшей мере следующие параметры оптической системы: конструктивные параметры оптической системы (радиусы, толщины, материалы компонентов), информация о покрытиях оптических элементов, плоскости отражения датчика, параметрах крепления.

- Моделирование рассеяния света в оптической системе на основе трассировки лучей (этап S102).

Для заданной на этапе S101 модели оптической системы осуществляют моделирование рассеяния света внутри оптической системы на основе трассировки лучей. Упрощенная модель камеры ToF для вычисления PSF изображена на фиг.4 и включает в себя инфракрасный (ИК) источник (1) света, «точечный» объект (2), оптическую систему (3) и приемник (4) камеры. ИК источник (1) света излучает световой пучок инфракрасного диапазона. Часть испускаемых лучей достигает «точечного» объекта (2) и рассеивается (отражается). Часть рассеянных (отраженных) лучей достигает приемной оптической системы (3). Большая часть рассеянных лучей проходит через оптическую систему (3) и формирует изображение объекта на приемнике (4). Но даже если все поверхности оптической системы имеют просветляющее (антиотражающее) покрытие, небольшое количество света все же отражается от поверхностей оптических компонентов. Этот свет может поглощаться креплением оптической системы или формировать фантомный сигнал на приемнике (4).

- Вычисление PSF для каждого пикселя (этап S103).

Результаты моделирования используют для формирования ядер PSF для каждого пикселя, которые описывают реакцию оптической системы на точечный объект. Для расчета PSF каждого пикселя моделируется рассеяние света внутри оптической системы.

Фантомный сигнал, создаваемый точечным объектом, распространяется по всему датчику, что означает, что ядро PSF для каждого пикселя имеет размер целого изображения. Ядро PSF можно описать как матрицу, представляющую последовательность пар {вес, пиксель}:

,

где - вес, характеризующий интенсивность излучения в пикселе (i+l, j+p) относительно пикселя (i, j), в который поступает входной сигнал, причем l и p варьируются так, чтобы охватить все пиксели матрицы приемника (исключая непосредственно пиксель (i, j), в котором измеряется принятое излучение).

В подходе, известном в уровне техники, модель распределения PSF определяют с использованием экспериментальных данных. Интенсивность фантомного сигнала на несколько порядков ниже, чем интенсивность сигнала от объекта, поэтому в экспериментальных данных, на которые влияет шум, фантомный сигнал практически не различим, а полученные данные недостоверны. Вследствие этого в традиционном подходе только сильные фантомные компоненты могут быть обнаружены и проанализированы. При этом проведение точного эксперимента требует привлечения значительных ресурсов. Упомянутые факторы приводят к низкой точности получаемой модели PSF в подходе на основе только экспериментальных данных.

При оптическом моделировании ядра PSF генерируются оптической моделью ToF-камеры как отношение сигнала рассеяния к измеренному сигналу в соответствии с уравнением:

,

где - моделирование такого измерения, которое имеет ненулевое значение входного сигнала только в местоположении пикселя (i, j), - уровень (интенсивность) рассеяного сигнала по сенсору камеры, представленный в виде двухмерной функции (матрицы), при входном сигнале, приходящем в пиксель (i, j), - ядро PSF при входном сигнале, приходящем в пиксель (i, j).

Это обусловлено тем, что в традиционной модели сигнал рассеяния моделируется посредством PSF согласно следующему выражению:

,

где - уровень измеренного сигнала в пикселе (i, j) сенсора, причем включает в себя как прямой (полезный) сигнал, так и рассеяный сигнал.

Фантомный сигнал, создаваемый точечным объектом, распространяется по всему датчику, что означает, что ядро PSF для каждого пикселя имеет размер целого изображения. Таким образом, PSF согласно традиционной модели представлена ядром с переменной позицией, имеющим размер изображения. То есть для изображения размером 240×180 пикселей получаем 240×180=43200 ядер PSF размером 240×180 каждое. Такая аппроксимация хотя и является точной, но не может быть выполнена в реальном времени. При этом с ростом разрешения изображения соответствующим образом растет и сложность обработки такого изображения.

В результате оптического моделирования в соответствии с настоящим изобретением может быть получена PSF более точная, чем PSF, рассчитанная только по экспериментальным данным. Оптическое моделирование позволяет выделить фантомные компоненты для получения более точной математической модели. Все фантомные компоненты могут быть обнаружены и проанализированы. Отсутствие необходимости проведения эксперимента приводит к значительной экономии ресурсов.

Однако, использование PSF такого большого размера несовместимо с режимом обработки в реальном времени, поэтому требуется разреженная аппроксимация.

На этапе S11 PSF аппроксимируется как полиномиальная функция радиуса, где радиус - это расстояние от пикселя до центра изображения.

- двумерная дискретная функция (ядро). В соответствии с настоящим изобретением аппроксимируется непрерывной одномерной функцией , которая представлена полиномом третьей степени. Такой полином обеспечивает достаточное приближение значений ядра.

Аппроксимация осуществляется следующим образом.

Пусть (i, j) - некоторый пиксель, для которого известно его расстояние r до центра изображения. Обозначим e как ||. Сумму всех e по пикселям сенсора обозначим как E. Коэффициенты полинома подбираются так, что бы максимально минимизировать суммарную ошибку E. Подбор можно осуществлять, например, методом сечения отрезка пополам или любым другим стандартным методом поиска минимума.

Таким образом, в соответствии с настоящим изобретением предложена точная аппроксимация рассеяния путем моделирования разреженного представления ядра PSF с переменной позицией так, чтобы каждое ядро PSF имело размер 3×3 с весами (весовыми коэффициентами) ядра, зависящими только от расстояния в пикселях от центра изображения, в соответствии со следующим уравнением:

,

где - пространственно переменное ядро размера 3х3, r - расстояние от пикселя (i, j) до центра изображения, - уровень измеренного сигнала в пикселе (i, j) сенсора.

На основе анализа распределения сигнала по датчику была предложена оптимальная математическая формулировка :

,

где A(r) - коэффициент усиления, G - ядро 3×3.

Для вычисления значения рассеянного сигнала в некотором пикселе P находится симметричный относительно центра изображения пиксель P(r). Например, если центр находится в пикселе с координатами [120, 90] и пиксель P имеет координаты [80, 60], то пиксель P(r) имеет координаты [160, 120] и r=50 - расстояние до центра изображения (радиус).

Далее рассеянный сигнал в точке P вычисляется как свертка ядра G с измеренным сигналом в точке P(r), умноженная на коэффициент усиления A(r). Такая обработка выполняется для всех пикселей матрицы приемника.

Значение A(r) - безразмерная величина, которая зависит от радиуса r (расстояния от P до центра), при этом A(r) - одномерная функция, которая в примерном варианте осуществления задается с помощью полинома третьей степени. В общем случае она может задаваться как кусочно-линейная функция. A(r) определяет уровень рассеянного сигнала.

G - постоянное ядро (матрица 3х3), которое не зависит от радиуса. Матрица G аппроксимирует локальные аберрации света в окрестности пикселя.

На фиг. 5 показан пример моделирования фантомного сигнала звездообразного объекта. Белый крест отмечает центр изображения, а квадрат определяет G-ядро 3×3 для свертки. Фантомный сигнал формируется зеркально относительно изображения на основании расстояния от текущей точки до центра изображения.

Значения матрицы G и коэффициенты полинома, задающего A(r), могут быть получены в результате машинного обучения, т.е. в автоматическом режиме подбираются так, чтобы результат применения математической модели аппроксимации рассеянного излучения был максимально близок к реальным (измеренным) значениям. A(r) и G задают модель формирования фантомных изображений. В простейшем случае матрицей G можно пренебречь, и тогда .

Стоит обратить внимание, что интенсивности фантомного и прямого сигналов отображаются на фиг. 5 в логарифмическом масштабе, так что фантомный сигнал можно различить, в линейном масштабе фантом был бы малозаметным.

Фантомное изображение моделируется как

,

где - пиксель на изображении, расположенный на расстоянии R от центра изображения и - фантомный пиксель в зеркальном положении относительно центра сенсора по отношению к пикселю , и - интенсивности пикселей сигнала от объекта и фантомного сигнала, соответственно. Свертка G-ядра 3×3 с сигналом изображения выполняется по положению , результат свертки, усиленный с помощью , формирует фантомный сигнал в точке .

На этапе S2 посредством ToF-камеры осуществляют захват сцены, в результате которого получают набор данных, характеризующих захватываемую сцену.

Далее на этапе S3 осуществляют компенсацию фантомных сигналов в наборе данных захваченного изображения сцены, полученном на этапе S2, с помощью модели распределения PSF, полученной на этапе S1. Для этого итеративно вычитают измерение уровня рассеянного сигнала пикселя (i, j) из каждого пикселя в последовательности PSF следующим образом:

,

где - уровень скомпенсированного (восстановленного) сигнала (i, j), - уровень рассеянного сигнала в пикселе (i, j), - уровень измеренного сигнала в пикселе (i, j) сенсора.

На этапе S4 скорректированные данные сцены, в которых скомпенсированы фантомные сигналы, используют для формирования карты глубины сцены.

Разработанная компактная модель PSF обеспечивает реализацию в реальном времени алгоритма компенсации фантомных сигналов в изображении, захватываемом ToF-камерой, сохраняя при этом качественный уровень компенсации традиционного подхода. Данный алгоритм может выполняться, в том числе, в маломощных устройствах на платформе SoC (System-on-a-Chip).

Использование предварительно рассчитанной модели PSF и данных захватываемой сцены (raw phases) позволяет компенсировать ошибки измерения дальности в реальном времени. Использование оптического моделирования позволяет получить точную модель распределения PSF и компенсировать даже относительно слабые фантомные компоненты, что обеспечивает высокое качество компенсации. При этом аппроксимация модели распределения PSF позволяет значительно снизить ее размер, а, следовательно, и объем занимаемой этими данными памяти, а также сложность их обработки, сохраняя высокое качество компенсации. В результате настоящее решение может быть реализовано даже на не очень мощных, с точки зрения вычислительной мощности, устройствах. Кроме того, настоящее решение не требует дополнительных дорогостоящих механических доработок существующего оборудования, что свидетельствует о его простоте и экономичности с точки зрения материальных, временных и иных ресурсов.

В альтернативном варианте осуществления в случае, когда известны не все параметры оптической системы, для получения высокоточной оптической модели PSF может применяться машинное обучение. С этой целью описанный выше этап S1 дополнительно включает в себя этапы (см. фиг. 6), на которых:

- Собирают экспериментальные данные (этап S12).

На этапе S12 посредством устройства захвата изображений (ToF-камеры) захватывают множество пар изображений, причем каждая пара изображений включает в себя изображение с фантомными артефактами, захваченное посредством расположения некоторого объекта близко к объективу устройства захвата изображений, что приводит к возникновению упомянутых артефактов, а также «эталонное» изображение без фантомных артефактов, захваченное без объекта, расположенного близко к объективу устройства захвата изображений, и при неизменном заднем фоне захватываемой сцены.

- Оптимизируют модель PSF с использованием машинного обучения (этап S13).

На этапе S13 выполняют оптимизацию модели PSF во время фазы обучения ML-модели на основе наборов данных, полученных на этапе S12, включающих в себя пары, состоящие из изображения с артефактами и изображения без артефактов.

Традиционная концепция машинного обучения с прямым и обратным распространением используется для настройки весов PSF, заданных оптической моделью, для достижения максимальной сходимости с эталонными данными. Модель может быть построена на любой распространенной платформе машинного обучения.

В качестве примера данный вариант осуществления может быть описан следующим образом:

На этапах S10 и S11 формируют начальную модель распределения как описано выше в настоящем описании. Стоит отметить, что, т.к. известны не все параметры оптической системы, то модель PSF формируется с некоторыми допущениями, т.е., возможно, параметры данной модели имеют расхождения с параметрами реальной оптической системы.

Далее посредством ToF-камеры на этапе S12 захватывают множество пар изображений, как описано выше, причем каждая пара изображений сцены включает в себя изображение с фантомными артефактами (сигнал ) и эталонное изображение («ground truth») без артефактов (сигнал ).

Рассеянный сигнал задается как . Необходимо подобрать параметры ядра PSF так, чтобы скомпенсированный сигнал был максимально близок к реальному сигналу («ground-truth»). PSF определяется A(r) и G, где A(r) задается полиномом третьей степени и G представляет собой матрицу 3х3. Таким образом, коэффициенты полинома A(r) и веса матрицы G - неизвестные переменные, которые необходимо найти.

Благодаря наличию достоверных измерений можно задать функцию потерь L2, которая определяет степень близости скомпенсированного сигнала к сигналу .

В итоге, задавая входной сигнал , преобразование входного сигнала PSF, варьируемые переменные (коэффициенты A(r) и G), функцию потерь (loss function) и выходной сигнал , формируется полный пайплайн (расчетная схема, вычислительный конвейер обработки данных) для машинного обучения. В примерном варианте осуществления настоящего изобретения данный пайплайн был реализован на платформе MXnet. В альтернативных вариантах осуществления может быть использован любая другая платформа машинного обучения.

Поиск оптимальных значений варьируемых переменных осуществляется методом градиентного поиска стандартными средствами используемой платформы в автоматическом режиме. Начальные значения проинициализированы предрассчитанными параметрами, полученными с помощью оптического моделирования.

Таким образом, модель распределения PSF может быть проверена и уточнена на основе реальных данных, что повышает ее точность.

В еще одном альтернативном варианте осуществления настоящего изобретения в модели оптической системы, формируемой на этапе S101, точечный объект моделируется как точечный источник света, например, ламбертовский источник. Это позволяет исключить из модели оптической системы инфракрасный источник света, при этом не влияет на форму фантомных компонентов, их амплитуду относительно сигнала от объекта и положение фантомных компонентов. Таким образом, при моделировании рассеяния в оптической системе на этапе S102, по сравнению с примерным вариантом осуществления, описанным выше в данной заявке, можно исключить из расчетов распространение света от источника света до точечного объекта и его рассеяние, что позволяет значительно снизить сложность выполняемых вычислений и затрачиваемое на них время.

В еще одном альтернативном варианте осуществления способ перед формированием карты глубины на этапе S4 дополнительно содержит этап итеративной оценки скорректированных данных сцены, полученных на этапе S3. Итеративная оценка скорректированных данных сцены выполняется на основе начальной оценки, веса предварительно вычисленных ядер итеративно уточняются для повышения устойчивости к шуму. Данный вариант осуществления может быть реализован в ToF-камерах, функционирующих одновременно на двух частотах (например, 20МГц и 100 МГц), т.е. измерение глубины осуществляется одновременно с использованием сигналов двух частот. При наличии расхождения (ошибки) между результатами измерения глубины, полученными с использованием разных частот, выполняется итеративная оценка скорректированных данных сцены для устранения этой ошибки.

Итеративная оценка основана на физическом ограничении, применяемом к измеренным данным согласно следующему выражению:

,

где - амплитуда и фаза скомпенсированного сигнала, - амплитуда и фаза сигнала рассеяния, - амплитуда и фаза измеренного сигнала, - случайный шум, который всегда присутствует в реальных данных.

Применение ограничения обусловлено двумя частотами модуляции и ToF-камеры такими, что . Решение в замкнутом виде может быть сформулировано как система нелинейных уравнений:

,

где - фаза скомпенсированного сигнала и сигнала рассеяния на частоте , - мнимая и реальная часть измеренного сигнала на частоте , - фаза скомпенсированного сигнала и сигнала рассеяния на частоте , - мнимая и реальная часть измеренного сигнала на частоте .

Таким образом, имеется система четырех нелинейных уравнений с четырьмя неизвестными. Для повышения устойчивости решения можно зафиксировать и . В таком случае необходимо варьировать только две переменные - и .

Поскольку уравнения нелинейные, поиск оптимального решения осуществляется итеративно - методом перебора возможных значений варьируемых переменных и и оценки, например, метрики L2 для каждой комбинации. Значения, дающие минимальную метрику L2, определяют оптимальное решение.

Таким образом, посредством итеративного поиска находим оптимальное решение системы уравнений, представляющее собой минимальное значение , причем

.

Решение {}, соответствующее минимальному значению , принимается в качестве окончательного решения, причем окончательное решение оценивается посредством метрики .

Поскольку полный перебор является вычислительно затратным, требуется применить некоторую стратегию оптимального поиска. В примерном варианте осуществления настоящего изобретения использован метод деления отрезка пополам. В качестве начальной точки поиска оптимального решения берется результат, полученный с помощью предрасчитанного ядра PSF.

В альтернативных вариантах осуществления настоящего изобретения могут применяться и другие известные методы оптимизации.

Такой вариант осуществления позволяет повысить качество компенсации ошибок и устойчивость системы к шумам.

Таким образом, настоящее изобретение обеспечивает простое и недорогое решение для получения карты глубины, обладающее высоким быстродействием (функционирующее в реальном времени) и высоким качеством компенсации ошибок измерения дальности ToF-камеры.

По меньшей мере некоторые из описанных выше этапов могут быть реализованы посредством модели AI (artificial intelligence искусственный интеллект). Функции, связанные с AI, могут выполняться с использованием энергонезависимой памяти, энергозависимой памяти и процессора.

Процессор может включать в себя один или несколько процессоров. В это время один или несколько процессоров могут быть процессором общего назначения, например центральным процессором (CPU), процессором приложений (AP) или т.п., блоком обработки только графики, таким как блок обработки графики (GPU), блок визуальной обработки (VPU) и/или специализированный процессор AI, такой как блок нейронной обработки (NPU).

Один или несколько процессоров управляют обработкой входных данных в соответствии с заранее определенным правилом работы или моделью искусственного интеллекта (AI), хранящейся в энергонезависимой памяти и энергозависимой памяти. Предварительно определенное рабочее правило или модель искусственного интеллекта предоставляется посредством обучения или тренировки.

Здесь предоставление посредством обучения означает, что, применяя алгоритм обучения к множеству обучающих данных, создается предварительно определенное рабочее правило или модель AI с желаемой характеристикой. Обучение может выполняться в самом устройстве, в котором выполняется AI согласно варианту осуществления, и/или может быть реализовано посредством отдельного сервера/системы.

Модель AI может состоять из множества уровней нейронной сети. Каждый уровень имеет множество значений весов и выполняет операцию уровня посредством вычисления предыдущего уровня и операции множества весов. Примеры нейронных сетей включают, помимо прочего, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративно-состязательные сети (GAN) и глубокие Q-сети.

Алгоритм обучения - это метод обучения заранее определенного целевого устройства (например, робота) с использованием множества обучающих данных, чтобы вызывать, разрешать или управлять целевым устройством для выполнения определения или прогнозирования. Примеры алгоритмов обучения включают, но не ограничиваются ими, обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя или обучение с подкреплением.

Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций, могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

Варианты осуществления настоящего изобретения не ограничиваются описанными здесь вариантами осуществления. Специалисту в области техники на основе информации изложенной в описании и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.

Очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие компьютерно-читаемого носителя данных. Примеры компьютерно-читаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.

Несмотря на то, что примерные варианты осуществления были описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.

Признаки, упомянутые в различных зависимых пунктах формулы, а также варианты осуществления, раскрытые в различных частях описания, могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.

Настоящее изобретение относится к области захвата и обработки изображений, в частности к корректировке ошибок измерения глубины трехмерной (3D) ToF-камеры. Технический результат заключается в обеспечении упрощенного решения для формирования карты глубины, повышающего быстродействие обработки и качество компенсации ошибок измерения дальности ToF-камеры. Способ формирования карты глубины с корректировкой ошибки измерения дальности для ToF-камеры включает в себя этапы, на которых: предварительно оценивают рассчитанную модель распределения PSF (функции рассеяния точки) для ToF-камеры; осуществляют захват изображения сцены посредством ToF-камеры; осуществляют компенсацию фантомных сигналов в данных захваченного изображения сцены с помощью упомянутой PSF; формируют карту глубины с использованием скорректированных данных. 7 з.п. ф-лы, 6 ил.

1. Способ формирования карты глубины с корректировкой ошибки измерения дальности для ToF-камеры, включающий в себя этапы, на которых:

- предварительно оценивают рассчитанную модель распределения PSF (функции рассеяния точки) для ToF-камеры;

- осуществляют захват изображения сцены посредством ToF-камеры;

- осуществляют компенсацию фантомных сигналов в данных захваченного изображения сцены с помощью упомянутой PSF;

- формируют карту глубины с использованием скорректированных данных,

причем этап предварительной оценки рассчитанной модели распределения PSF включает в себя этапы, на которых:

- задают оптическую модель оптической системы камеры;

- моделируют рассеяние света в оптической системе на основе упомянутой заданной модели оптической системы;

- вычисляют PSF оптической системы;

- аппроксимируют PSF посредством полиномиальной функции радиуса, где радиус - это расстояние от заданного пикселя до центра изображения.

2. Способ формирования карты глубины по п.1, в котором вычисление PSF оптической системы осуществляют в соответствии со следующим выражением:

,

где - моделирование измерения входного сигнала, которое имеет ненулевое значение только в местоположении пикселя (i, j), - уровень (интенсивность) рассеянного сигнала по сенсору камеры, представленный в виде двухмерной функции (матрицы), при входном сигнале, приходящем в пиксель (i, j), - ядро PSF при входном сигнале, приходящем в пиксель (i, j).

3. Способ формирования карты глубины по п.2, в котором на этапе аппроксимации аппроксимируется функцией , причем каждое ядро зависит от расстояния от заданного пикселя до центра изображения.

4. Способ формирования карты глубины по п.3, в котором задано выражением:

,

где A(r) - коэффициент усиления, зависящий от расстояния от заданного пикселя до центра изображения, а G - ядро 3×3, которое аппроксимирует локальные аберрации света в окрестности пикселя.

5. Способ формирования карты глубины по п.1, в котором компенсацию фантомных сигналов в данных захваченного изображения сцены осуществляют в соответствии с выражением:

,

где - уровень скомпенсированного (восстановленного) сигнала в пикселе (i, j), - уровень рассеянного сигнала в пикселе (i, j), - уровень измеренного сигнала в пикселе (i, j) сенсора.

6. Способ формирования карты глубины по п.1, в котором этап предварительной оценки рассчитанной модели распределения PSF дополнительно включает в себя оптимизацию полученной PSF с помощью машинного обучения на основе наборов данных, включающих в себя пары изображений, состоящие из изображения с артефактами и изображения без артефактов.

7. Способ формирования карты глубины по п.1, в котором в оптической модели оптической системы ToF-камеры точечный объект моделируется как точечный источник света.

8. Способ формирования карты глубины по п.1, причем способ перед формированием карты глубины дополнительно содержит этап итеративной оценки скорректированных данных захваченного изображения сцены.