КОРРЕКЦИЯ МНОГОЛУЧЕВОЙ ИНТЕРФЕРЕНЦИИ И РАСПОЗНАВАНИЕ МАТЕРИАЛОВ НА ОСНОВЕ СТРУКТУРИРОВАННОЙ ПОДСВЕТКИ БЕЗ УМЕНЬШЕНИЯ ЧАСТОТЫ КАДРОВ Российский патент 2022 года по МПК G06T5/20 

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Область техники, к которой относится изобретения

[0001] Настоящее изобретение относится, в общем, к области обработки двумерных (2D) и трехмерных (3D) изображений и, в частности, к способу коррекции многолучевой интерференции в изображении, способу определения положения зеркала и расстояния до зеркала, способу распознавания материалов объектов захватываемой сцены и устройствам для их реализации.

Описание предшествующего уровня техники

[0002] Существование нескольких путей распространения света, в том числе излучаемого камерой, является причиной многолучевой интерференции (MPI). Эти пути распространения света имеют разные длины оптического пути и образуются из-за многократного рассеяния и/или отражения света на реальных объектах сцены. MPI приводит к потере точности определения глубины для 3D-изображений и искажению формы захваченных объектов на 2D- и 3D-изображениях, причем 3D-изображения в большей степени подвержены искажению формы объектов из-за MPI.

[0003] Эффект MPI зависит от геометрии захваченной сцены, формы и материалов объектов сцены, что делает универсальную коррекцию изображения для устранения влияния MPI (коррекцию MPI) чрезвычайно сложной. Неправильная форма отображенных объектов сцены приводит к плохому сопоставлению объектов в дополненной реальности (AR), низкому качеству распознавания объектов, низкому качеству распознавания жестов. Почти все известные решения этой проблемы требуют захвата некоторого количества изображений (кадров) для получения скорректированного изображения (кадра) и приводят к нежелательным артефактам движения на захваченных изображениях. Другие решения требуют сложных вычислений и не могут выполняться в реальном времени или обеспечивают недостаточное качество коррекции MPI.

[0004] Определение глубины 3D-изображения с использованием измерения времени пролета светового сигнала (ToF) или непрямого измерения времени пролета светового сигнала (i-ToF) является доминирующей технологией в 3D-зрении, поскольку оно обеспечивает недорогое и надежное решение для реконструкции 3D-сцен, которое требуется для применений дополненной реальности (AR)/виртуальной реальности (VR) и робототехники. Основным недостатком этой технологии является искажение формы и потеря точности определения глубины сформированных изображений из-за MPI.

[0005] Эффект MPI вызывает большие ошибки (более 10%) при определении глубины и ограничивает точность современных ToF или i-ToF датчиков, собственная погрешность глубины которых составляет ~ 0,5%. Низкая точность определения глубины приводит низкой точности одновременной локализации и построения карты (SLAM) и ухудшает навигационные характеристики робота.

[0006] Кроме того, обычные ToF или i-ToF камеры не обнаруживают зеркала и, следовательно, не могут правильно определить глубину сцены в области зеркала. Это приводит к неправильным данным SLAM/навигации робота, неспособности обнаружить зеркальное препятствие и плохому сопоставлению объектов в AR в области зеркала.

[0007] Снижение частоты кадров, вызванное необходимостью захвата некоторого количества кадров для получения скорректированного кадра, приводит к артефакту движения на захваченном изображении и увеличению времени обработки. Артефакты движения приводят к низкому качеству изображения, низкому качеству распознавания жестов, плохому распознаванию движущихся объектов и плохому сопоставлению объектов в AR.

[0008] Камеры обычно имеют оптическую систему из нескольких линз. Множественные внутренние отражения, возникающие внутри этой оптической системы, приводят к размытию границ объектов и появлению артефактов рассеяния, таких как двоение, троение и т.д. изображения (ghosting). На 2D- или 3D-изображении появляется объект-фантом, которого на самом деле не существует. Этот тип ошибок критически влияет на качество 2D- или 3D-изображения и данные глубины при захвате 3D-сцен с близкими объектами. Такие артефакты приводят к низкому качеству изображения, низкому качеству распознавания жестов, низкому качеству распознавания лиц, низкому качеству распознавания близких объектов, поврежденным данным SLAM/навигации и плохому сопоставлению объектов в AR.

[0009] Обычные датчики формирования изображения, в том числе ToF или i-ToF датчики, с двухтактной/двухотводной (2-tap) архитектурой пикселя не устраняют влияние фоновой засветки, вызванной внешним освещением, на данные изображения. Чтобы компенсировать эти эффекты, требуется более сложная архитектура датчиков, например, четырехтактная/четырехотводная (4-tap) архитектура пикселя. Это увеличивает размер пикселя и сложность электроники, что в конечном итоге уменьшает количество пикселей на единицу площади и увеличивает стоимость камеры.

[0010] В предшествующем уровне техники известны технические решения, обеспечивающие коррекцию MPI.

[0011] Заявка на патент США US 20190219696 A1, опубликованная 15.01.2018 и озаглавленная «TIME OF FLIGHT CAMERA», предлагает ToF камеру и способ определения расстояний до объектов в сцене, содержащий излучение фазово-структурированного света, модулированного с частотой модуляции для освещения сцены с помощью узора структурированного освещения, и для каждой комбинации сдвига фазы выборки и сдвига фазы искажения модуляцию чувствительности фотодатчика на частоте модуляции излученного света. Такое техническое решение является сложным для реализации и требует значительной модификации ToF камеры.

[0012] Патент США US 9989630 B2, выданный 05.06.2018 и озаглавленный «STRUCTURED-LIGHT BASED MULTIPATH CANCELLATION IN TOF IMAGING», предлагает устройства и способы, обеспечивающие подавление многолучевой интерференции для устройств и систем формирования изображения. В различных реализациях структурированный свет используется для уменьшения, если не устранения помех. Например, свет может быть структурирован по амплитуде или фазе на основе угла излучения света. Такое техническое решение требует захвата нескольких кадров для получения скорректированного кадра, что снижает частоту кадров, увеличивает время обработки и может приводить к артефактам движения на захваченном 3D-изображении.

[0013] Патент США US 9874638 B2, выданный 23.01.2018 и озаглавленный «TIME OF FLIGHT CAMERA SYSTEM WHICH RESOLVES DIRECT AND MULTI-PATH RADIATION COMPONENTS», предлагает систему ToF камеры, которая определяет составляющую прямого пути или составляющую многолучевого распространения модулированного излучения, отраженного от цели. Система камеры включает в себя ToF передатчик, предназначенный для передачи модулированного излучения на цель, и по меньшей мере одну структуру формирования узора, работающую между передатчиком и целью. ToF камера выполнена так, чтобы на основании измерений определять вклад отражения прямого излучения источника, отраженного от цели. Такое техническое решение требует захвата нескольких кадров для получения скорректированного кадра, что снижает частоту кадров, увеличивает время обработки и может приводить к артефактам движения на захваченном 3D-изображении.

[0014] Патент США US 9405008 B2, выданный 02.08.2016 и озаглавленный «METHODS AND APPARATUS FOR MULTI-FREQUENCY CAMERA», предлагает многочастотную ToF камеру, которая снижает эффект многолучевой интерференции (MPI) и может вычислять точную карту глубины, несмотря на MPI. Источник света в многочастотной камере излучает свет во временной последовательности с разными частотами (по меньшей мере 4 частоты). На каждой частоте датчик синхронизации внутри ToF камеры захватывает 4 кадра. Из этих 4 кадров один или более процессоров вычисляют для каждого пикселя в датчике одно комплексное число. Процессоры складывают все такие комплексные величины (одно такое комплексное число на пиксель на частоту) и определяют глубину и интенсивность, используя метод спектральной оценки. Такое техническое решение является сложным для реализации и требует значительной модификации ToF камеры. Кроме того, это техническое решение требует захвата нескольких кадров для получения скорректированного кадра, что снижает частоту кадров, увеличивает время обработки и может приводить к артефактам движения на захваченном 3D-изображении.

[0015] Патент США US 10234561 B2, выданный 19.03.2019 и озаглавленный «SPECULAR REFLECTION REMOVAL IN TIME-OF-FLIGHT CAMERA APPARATUS», предлагает способ облегчения удаления шума зеркального отражения из световых данных, который может включать в себя освещение цели источником света с помощью блока освещения. Блок освещения выполнен с возможностью проецирования света с пространственным световым узором на цель. Световые данные могут содержать прямо отраженный пространственный световой узор и зеркально отраженный пространственный световой узор. Прямо отраженный пространственный световой узор и зеркально отраженный пространственный световой узор содержат по меньшей мере одно пространственное различие, которое отличает прямо отраженный пространственный световой узор от зеркально отраженного пространственного светового узора. Такое техническое решение имеет сложную последующую обработку и низкую точность коррекции.

[0016] Настоящее изобретение создано для устранения вышеописанных недостатков и для обеспечения нижеописанных преимуществ.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0017] Целью настоящего изобретения является обеспечение способа коррекции многолучевой интерференции в изображении, способа определения положения зеркала и расстояния до зеркала, способа распознавания материалов объектов захватываемой сцены и устройств для их реализации, которые обеспечивают точное отображение формы объектов и улучшение точности определения глубины на 3D-изображении. Эти преимущества достигаются за счет по меньшей мере одного из:

- коррекции многолучевой интерференции, включающей в себя множественные отражения света от реальных объектов и множественные внутренние отражения внутри оптической системы устройства формирования изображения,

- отсутствия снижения частоты кадров, вызывающего артефакты движения,

- способности обнаружения зеркал и коррекции глубины 3D-изображения сцены, содержащей зеркала.

[0018] Настоящее изобретение позволяет выполнять операций с низкими вычислительными затратами в реальном времени за счет применения простых вычислений.

[0019] Вышеперечисленные преимущества обеспечивают выполнение операций в реальном времени, улучшенное качество изображений, улучшенное сопоставление объектов в устройствах дополненной реальности (AR), увеличение точности одновременной локализации и построения карты (SLAM) и, следовательно, улучшение навигации роботов, улучшение распознавания объектов, лиц и жестов.

[0020] В настоящем изобретении можно использовать традиционные датчики формирования изображения при незначительной модификации устройства формирования изображения, что упрощает изготовление устройства формирования изображения.

[0021] Настоящее изобретение позволяет производить коррекцию фоновой засветки традиционным датчиком формирования изображения с двухтактной/двухотводной (2-tap) структурой пикселя, при этом качество этой коррекции такое же, как и при использовании четырехтактной/четырехотводной (4-tap) структуры пикселя. Двухотводная структура пикселя, по сравнению с четырехотводной структурой пикселя, позволяет обеспечить датчик с более высоким разрешением и меньшим размером пикселей, а также более эффективно использовать полупроводниковые пластины за счет простой структуры пикселей. Кроме того, двухотводная структура пикселя обеспечивает более быструю модуляцию и более высокую частоту кадров, что уменьшает количество и величину артефактов движения.

[0022] Настоящее изобретение также обеспечивает распознавание материалов объектов захватываемой сцены с использованием результатов коррекции MPI. Применение распознавания материалов позволяет реализовать такие функции, как сортировка предметов, например, для очистки роботом, выбор режима взаимодействия с объектом и т.д. Эти функции актуальны как для робототехники, так и для устройств AR.

[0023] В настоящем изобретении предложен универсальный способ коррекции MPI, который может быть применен к любой реальной сцене. Изобретение требует минимальной, простой модификации оборудования существующих устройств формирования изображения и не снижает частоту кадров датчика формирования изображения, обеспечивая высокую эффективность коррекции без сложных вычислений.

[0024] Один аспект настоящего изобретения обеспечивает способ коррекции многолучевой интерференции в изображении, содержащий этапы, на которых: одновременно освещают (S101) сцену по меньшей мере двумя источниками света, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно; захватывают (S103) изображение сцены, одновременно освещенной по меньшей мере двумя источниками света, датчиком формирования изображения через массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света; вычисляют (S105) для каждого пикселя значения интенсивности прямой и глобальной составляющих света, принятого пикселем, из системы уравнений:

причем система уравнений составляется для каждого объединенного пикселя, а каждое уравнение составлено для одного пикселя из пикселей объединенного пикселя, 1…n является номером источника света и пикселя, принимающего свет от этого источника света, является общей интенсивностью света, принятого пикселем , является значением интенсивности прямой составляющей света, принятого пикселем , является значением интенсивности глобальной составляющей света, принятого пикселем , является константой, вычисленной заранее при калибровке датчика формирования изображения с захватом изображения сцены, в которой отсутствует отражение света более одного раза, по формуле , является значением интенсивности прямой составляющей света, падающего на пиксель при калибровке, является константой, вычисленной заранее по формуле , является мощностью источника света, , причем прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза; и для каждого пикселя выполняют (S107) коррекцию изображения путем присвоения каждому пикселю его вычисленного значения интенсивности прямой составляющей для получения скорректированного изображения.

[0025] В одном дополнительном аспекте соседние объединенные пиксели содержат по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей.

[0026] В другом дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; и присваивают каждому из выявленных пикселей значение интенсивности прямой составляющей, вычисленное с использованием по меньшей мере одного другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0027] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей соседнего пикселя, вычисленным на этапе S105, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0028] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является усредненным значением интенсивностей прямой составляющей соседних пикселей, вычисленных на этапе S105, в которых изображение имеет качество, равное или больше заданного порогового значения.

[0029] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством аппроксимации значений интенсивности прямой составляющей, вычисленных на этапе S105 для пикселей в окрестности пикселя, которому присваивают значение интенсивности прямой составляющей.

[0030] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством замены в уравнении каждого выявленного пикселя значения , задающего значение интенсивности глобальной составляющей, на значение, задающее значение интенсивности глобальной составляющей, другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0031] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0032] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на усредненное значение, задающее значение интенсивности глобальной составляющей, этого пикселя из по меньшей мере двух предыдущих скорректированных изображений.

[0033] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели, на которые не подает прямая составляющая света, на основании пространственных узоров, излучаемых источниками света, или пиксели, в которых разность констант не превышает заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих скорректированных изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0034] Другой аспект настоящего изобретения обеспечивает способ определения положения зеркала и расстояния до зеркала, причем упомянутый способ содержит этапы, на которых: одновременно освещают (S201) сцену по меньшей мере двумя источниками света, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно; захватывают (S203) изображение сцены, одновременно освещенной по меньшей мере двумя источниками света, датчиком формирования изображения через массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света; вычисляют (S205) для каждого пикселя значения интенсивности прямой и глобальной составляющих света, принятого пикселем, из системы уравнений:

причем система уравнений составляется для каждого объединенного пикселя, а каждое уравнение составлено для одного пикселя из пикселей объединенного пикселя, 1…n является номером источника света и пикселя, принимающего свет от этого источника света, является общей интенсивностью света, принятого пикселем , является значением интенсивности прямой составляющей света, принятого пикселем , является значением интенсивности глобальной составляющей света, принятого пикселем , является константой, вычисленной заранее при калибровке датчика формирования изображения с захватом изображения сцены, в которой отсутствует отражение света более одного раза, по формуле , является значением интенсивности прямой составляющей света, падающего на пиксель при калибровке, является константой, вычисленной заранее по формуле , является мощностью источника света, , причем прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза; для каждого пикселя выполняют (S207) коррекцию изображения путем присвоения каждому пикселю его вычисленного значения интенсивности прямой составляющей для получения скорректированного изображения; определяют (S209) наличие зеркала в сцене на основании области искажения изображения на скорректированном изображении посредством сравнения скорректированного изображения с опорным изображением, причем опорное изображение сформировано заранее при съемке сцены, в которой отсутствует отражение света более одного раза, и освещенной светом с теми же пространственными узорами, как и в скорректированном изображении; и определяют (S211) положение зеркала и расстояние до зеркала относительно датчика формирования изображения посредством обработки скорректированного изображения, в котором определено наличие зеркала, обученным средством искусственного интеллекта, при этом средство искусственного интеллекта обучено с использованием множества обучающих изображений сцены с зеркалом с разных точек обзора и разным расположением зеркала с указанием положения зеркала и расстояния до зеркала.

[0035] В одном дополнительном аспекте соседние объединенные пиксели содержат по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей.

[0036] В другом дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; и присваивают каждому из выявленных пикселей значение интенсивности прямой составляющей, вычисленное с использованием по меньшей мере одного другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0037] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей соседнего пикселя, вычисленным на этапе S205, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0038] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является усредненным значением интенсивностей прямой составляющей соседних пикселей, вычисленных на этапе S205, в которых изображение имеет качество, равное или больше заданного порогового значения.

[0039] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством аппроксимации значений интенсивности прямой составляющей, вычисленных на этапе S205 для пикселей в окрестности пикселя, которому присваивают значение интенсивности прямой составляющей.

[0040] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством замены в уравнении каждого выявленного пикселя значения , задающего значение интенсивности глобальной составляющей, на значение, задающее значение интенсивности глобальной составляющей, другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0041] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0042] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на усредненное значение, задающее значение интенсивности глобальной составляющей, этого пикселя из по меньшей мере двух предыдущих скорректированных изображений.

[0043] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели, на которые не подает прямая составляющая света, на основании пространственных узоров, излучаемых источниками света, или пиксели, в которых разность констант не превышает заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих скорректированных изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0044] Еще один аспект настоящего изобретения обеспечивает способ распознавания материалов объектов захватываемой сцены, содержащий этапы, на которых: одновременно освещают (S301) сцену по меньшей мере двумя источниками света, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно; захватывают (S303) изображение сцены, одновременно освещенной по меньшей мере двумя источниками света, датчиком формирования изображения через массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света; вычисляют (S305) для каждого пикселя значения интенсивности прямой и глобальной составляющих света, принятого пикселем, из системы уравнений:

причем система уравнений составляется для каждого объединенного пикселя, а каждое уравнение составлено для одного пикселя из пикселей объединенного пикселя, 1…n является номером источника света и пикселя, принимающего свет от этого источника света, является общей интенсивностью света, принятого пикселем , является значением интенсивности прямой составляющей света, принятого пикселем , является значением интенсивности глобальной составляющей света, принятого пикселем , является константой, вычисленной заранее при калибровке датчика формирования изображения с захватом изображения сцены, в которой отсутствует отражение света более одного раза, по формуле , является значением интенсивности прямой составляющей света, падающего на пиксель при калибровке, является константой, вычисленной заранее по формуле , является мощностью источника света, , причем прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза; для каждого пикселя выполняют (S307) коррекцию изображения путем присвоения каждому пикселю его вычисленного значения интенсивности прямой составляющей для получения скорректированного изображения; и распознают (S309) материалы объектов захватываемой сцены посредством обработки скорректированного изображения обученным средством искусственного интеллекта, при этом средство искусственного интеллекта обучено с использованием множества обучающих изображений объектов из разных материалов и информации о материале объекта на обучающем изображении.

[0045] В одном дополнительном аспекте соседние объединенные пиксели содержат по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей.

[0046] В другом дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; и присваивают каждому из выявленных пикселей значение интенсивности прямой составляющей, вычисленное с использованием по меньшей мере одного другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0047] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей соседнего пикселя, вычисленным на этапе S305, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0048] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является усредненным значением интенсивностей прямой составляющей соседних пикселей, вычисленных на этапе S305, в которых изображение имеет качество, равное или больше заданного порогового значения.

[0049] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством аппроксимации значений интенсивности прямой составляющей, вычисленных на этапе S305 для пикселей в окрестности пикселя, которому присваивают значение интенсивности прямой составляющей.

[0050] В еще одном дополнительном аспекте присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством замены в уравнении каждого выявленного пикселя значения , задающего значение интенсивности глобальной составляющей, на значение, задающее значение интенсивности глобальной составляющей, другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0051] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0052] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на усредненное значение, задающее значение интенсивности глобальной составляющей, этого пикселя из по меньшей мере двух предыдущих скорректированных изображений.

[0053] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: выявляют пиксели, на которые не подает прямая составляющая света, на основании пространственных узоров, излучаемых источниками света, или пиксели, в которых разность констант не превышает заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих скорректированных изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0054] В еще одном дополнительном аспекте обучающие изображения объектов содержат пары из скорректированного изображения объекта и захваченного изображения объекта, а информация о материале объекта на обучающем изображении является информацией, указывающей материал объекта на каждой паре изображении.

[0055] В еще одном дополнительном аспекте обучающие изображения объектов являются скорректированными изображениями разных объектов, а информация о материале объекта на обучающем изображении является функцией двунаправленного распределения отражательной способности объекта на обучающем изображении для каждого обучающего изображения.

[0056] Еще один аспект настоящего изобретения обеспечивает электронное вычислительное устройство, содержащее: по меньшей мере два источника света для одновременного освещения сцены, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно; датчик формирования изображения; массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света; по меньшей мере один процессор; и память, в которой хранятся инструкции, которые при выполнении по меньшей мере одним процессором, заставляют по меньшей мере один процессор выполнять варианты осуществления способа коррекции многолучевой интерференции в изображении.

[0057] Еще один аспект настоящего изобретения обеспечивает электронное вычислительное устройство, содержащее: по меньшей мере два источника света для одновременного освещения сцены, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно; датчик формирования изображения; массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света; по меньшей мере один процессор; и память, в которой хранятся числовые параметры обученного средства искусственного интеллекта и инструкции, которые при выполнении по меньшей мере одним процессором, заставляют по меньшей мере один процессор выполнять варианты осуществления способа определения положения зеркала и расстояния до зеркала.

[0058] Еще один аспект настоящего изобретения обеспечивает электронное вычислительное устройство, содержащее: по меньшей мере два источника света для одновременного освещения сцены, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно; датчик формирования изображения; массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света; по меньшей мере один процессор; и память, в которой хранятся числовые параметры обученного средства искусственного интеллекта и инструкции, которые при выполнении по меньшей мере одним процессором, заставляют по меньшей мере один процессор выполнять варианты осуществления способа распознавания материалов объектов захватываемой сцены.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0059] Вышеописанные и другие аспекты, признаки и преимущества настоящего изобретения будут более понятны из последующего подробного описания, приведенного в сочетании с прилагаемыми чертежами, на которых:

[0060] Фиг. 1 схематично иллюстрирует распространение света при захвате изображения.

[0061] Фиг. 2 схематично иллюстрирует процесс захвата изображения согласно настоящему изобретению.

[0062] Фиг. 3А-3Г схематично иллюстрируют примерные варианты объединенных пикселей.

[0063] Фиг. 4А-4Б схематично иллюстрируют прямую и глобальную составляющие света и их интенсивности.

[0064] Фиг. 5 иллюстрирует пример опорного изображения и скорректированного изображения сцены, содержащей зеркало, для определения наличия зеркала в сцене.

[0065] Фиг. 6 является блок-схемой последовательности операций способа коррекции многолучевой интерференции в изображении.

[0066] Фиг. 7 является блок-схемой последовательности операций способа определения положения зеркала и расстояния до зеркала.

[0067] Фиг. 8 является блок-схемой последовательности операций способа распознавания материалов объектов захватываемой сцены.

[0068] Фиг. 9 является блок-схемой электронного вычислительного устройства для выполнения способа коррекции многолучевой интерференции в изображении.

[0069] Фиг. 10 является блок-схемой электронного вычислительного устройства для выполнения способа определения положения зеркала и расстояния до зеркала.

[0070] Фиг. 11 является блок-схемой электронного вычислительного устройства для выполнения способа распознавания материалов объектов захватываемой сцены.

[0071] В последующем описании, если не указано иное, одни и те же ссылочные позиции используются для одних и тех же элементов, когда они изображены на разных чертежах, и их параллельное описание не приводится.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

[0072] Нижеследующее описание со ссылкой на прилагаемые чертежи приведено, чтобы облегчить полное понимание различных вариантов осуществления настоящего изобретения, заданного формулой изобретения, и его эквивалентов. Описание включает в себя различные конкретные подробности, чтобы облегчить такое понимание, но данные подробности следует считать только примерными. Соответственно, специалисты в данной области техники обнаружат, что можно разработать различные изменения и модификации различных вариантов осуществления, описанных в настоящей заявке, без выхода за пределы объема настоящего изобретения. Кроме того, описания общеизвестных функций и конструкций могут быть исключены для ясности и краткости.

[0073] Термины и формулировки, используемые в последующем описании и формуле изобретения не ограничены библиографическим значениями, а просто использованы создателем настоящего изобретения, чтобы обеспечить четкое и последовательное понимание настоящего изобретения. Соответственно, специалистам в данной области техники должно быть ясно, что последующее описание различных вариантов осуществления настоящего изобретения предлагается только для иллюстрации.

[0074] Следует понимать, что формы единственного числа включают в себя множественность, если контекст явно не указывает иное.

[0075] Дополнительно следует понимать, что термины «содержит», «содержащий», «включает в себя» и/или «включающий в себя», при использовании в настоящей заявке, означают присутствие изложенных признаков, значений, операций, элементов и/или компонентов, но не исключают присутствия или добавления одного или более других признаков, значений, операций, элементов, компонентов и/или их групп.

[0076] Фиг. 1 схематично иллюстрирует распространение света при захвате изображения. На датчик формирования изображения падает свет, отраженный один раз от объектов сцены (прямое отражение), и свет, отраженный более одного раза от объектов сцены (множественные отражения). Свет, отраженный один раз, показан на фиг. 1 пунктирной линией, а свет, отраженный более одного раза показан сплошной линией. Кроме того, камера может содержать оптическую систему из нескольких линз, в которой могут возникать внутренние отражения света от элементов оптической системы, обозначенные линией из точек на фиг. 1.

[0077] Весь свет, падающий на каждый пиксель датчика формирования изображения, состоит из прямой составляющей и глобальной составляющей. Прямая составляющая является составляющей света, отраженного один раз от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза. Множественные отражения, которые вносят глобальную составляющую, вызывают эффект MPI и приводят к искажению формы захваченных объектов на 2D- и 3D-изображениях и потере точности определения глубины для 3D-изображений. Внутренние отражения, возникающие внутри оптической системы камеры, также вносят глобальную составляющую и приводят к размытию границ объектов и появлению артефактов рассеяния, таких как двоение, троение и т.д. изображения.

[0078] Для того чтобы избежать возникновения вышеприведенных артефактов на изображении в настоящем изобретении предложено устранить глобальную составляющую из света, падающего на датчик формирования изображения.

[0079] На фиг. 2 схематично изображено устройство захвата изображения и процесс захвата изображения согласно настоящему изобретению. Устройство захвата изображения согласно настоящему изобретению состоит из датчика 402, 502, 602 формирования изображения, массива 403, 503, 603 фильтров и по меньшей мере двух источников 401, 501, 601 света.

[0080] Хотя на фиг. 2 показано только два источника 401, 501, 601 света, однако настоящее изобретение не ограничено этим и можно использовать любое количество источников света. Каждый источник 401, 501, 601 света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию. Пространственный узор, длина волны и/или поляризация структурированного света каждого источника 401, 501, 601 света отличаются друг от друга, соответственно. Пространственные узоры могут быть, например, горизонтальными и/или вертикальными полосами, матрицей из точек, произвольно расположенными точками и т.д. и их сочетанием. Настоящее изобретение не ограничено этими примерами пространственного узора, и он может быть любым. Формирование структурированного света известно в уровне техники и, поэтому его описание будет опущено.

[0081] Количество фильтров в массиве 403, 503, 603 фильтров равно количеству пикселей датчика 402, 502, 602 формирования изображения, и один фильтр расположен над одним пикселем. Массив 403, 503, 603 фильтров состоит из наборов фильтров. Количество наборов фильтров соответствует количеству источников 401, 501, 601 света. Один набор фильтров пропускает свет только соответствующего одного источника 401, 501, 601 света. Фильтры из разных наборов фильтров расположены с чередованием так, что стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров.

[0082] Соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель. Количество пикселей объединенного пикселя по меньшей мере равно количеству источников 401, 501, 601 света. На фиг. 3А-3Г схематично показаны примерные варианты объединенных пикселей.

[0083] На фиг. 3А толстой линией обозначены примерные варианты объединенного пикселя. Объединенный пиксель может состоять из горизонтально расположенных пикселей, вертикально расположенных пикселей или матрицы NxM пикселей, где N и M целые числа.

[0084] Вся матрица пикселей датчика формирования изображения разбита на объединенные пиксели. Объединенные пиксели могут быть расположены либо примыкающими друг к другу, либо с перекрытием. На фиг. 3Б-3Г показаны примерные варианты перекрывающихся соседних объединенных пикселей. В случае перекрытия соседние объединенные пиксели содержат по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей.

[0085] Следует понимать, что форма объединенных пикселей, количество пикселей в объединенном пикселе и степень перекрытия соседних объединенных пикселей не ограничены примерами, приведенными на фиг. 3А-3Г, и могут быть любыми.

[0086] Фиг. 4А-4Б схематично иллюстрируют прямую и глобальную составляющие света и их интенсивности. На фиг. 4А схематично изображены оптические пути прямой и глобальной составляющих света, попадающего на один пиксель датчика 402, 502, 602 формирования изображения от источника 401, 501, 601 света. Путь прямой составляющей показан сплошной линией и представляет собой одно отражение от объекта сцены. Путь глобальной составляющей показан штрихпунктирной линией и представляет собой более одного отражения от объектов сцены.

[0087] На фиг. 4Б показан график распределения интенсивности света, падающего на пиксели датчика 402, 502, 602 формирования изображения от разных источников 401, 501, 601 света. Общая интенсивность света, детектируемая пикселем равна сумме значения интенсивности прямой составляющей и значения интенсивности глобальной составляющей. На каждый пиксель падает свет с разными значениями интенсивности прямой составляющей и интенсивности глобальной составляющей. Значение общей интенсивности света, падающего на пиксель , детектируется пикселем и известно. Значение интенсивности прямой составляющей и значение интенсивности глобальной составляющей неизвестны. Для выполнения коррекции MPI согласно настоящему изобретению требуется исключить значение интенсивности глобальной составляющей из общей интенсивности света, т.е. оставить только значение интенсивности прямой составляющей в качестве значения интенсивности пикселя формируемого изображения.

[0088] Значение интенсивности прямой составляющей и значение интенсивности глобальной составляющей можно вычислить из систем уравнений, составленных для каждого объединенного пикселя. Каждая система уравнений содержит уравнения интенсивностей для каждого пикселя в объединенном пикселе, где является номером пикселя, является константой, вычисленной заранее при калибровке датчика 402, 502, 602 формирования изображения по формуле , x = 1…n, является константой, вычисленной заранее по формуле , является мощностью источника 401, 501, 601 света, = 1…n. Калибровка выполняется посредством захвата изображения сцены, в которой отсутствует отражение света более одного раза. Такой сценой может быть, например, плоская ровная поверхность, такая как стена. Однако изобретение не ограничено этим примером, сценой для калибровки датчика 402, 502, 602 формирования изображения может быть любая сцена, в которой отсутствует отражение света более одного раза. Решение систем уравнений позволит вычислить значение интенсивности прямой составляющей для каждого пикселя датчика 402, 502, 602 формирования изображения в качестве значения интенсивности пикселя формируемого изображения.

[0089] В дальнейшем, различные варианты осуществления настоящего изобретения описаны более подробно со ссылкой на прилагаемые чертежи.

[0090] Способ 100 коррекции многолучевой интерференции в изображении может выполняться на электронном вычислительном устройстве 400, которое может представлять собой, например, видео и/или фото камеру, смартфон, мобильный телефон, устройство виртуальной и/или дополненной реальности, робота и т.д. Блок-схема электронного вычислительного устройства 400 изображена на фиг. 9. Электронное вычислительное устройство 400 содержит по меньшей мере два источника 401 света, датчик 402 формирования изображения, массив 403 фильтров, по меньшей мере один процессор 404 и память 405.

[0091] По меньшей мере два источника 401 света выполнены с возможностью одновременного освещения сцены. Каждый источник 401 света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию. Пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно.

[0092] Датчик 402 формирования изображения может быть любым известным датчиком формирования изображения, например, КМОП-датчиком, ПЗС-датчиком, с двухтактной/двухотводной (2-tap) архитектурой пикселя или с четырехтактной/четырехотводной (4-tap) архитектурой пикселя.

[0093] Как описано выше со ссылкой на фиг. 2, массив 403 фильтров расположен перед датчиком 402 формирования изображения. Один пиксель датчика 402 формирования изображения захватывает изображение через один фильтр массива 403 фильтров. Массив 403 фильтров содержит наборы фильтров. Количество наборов фильтров соответствует количеству источников 401 света. Один набор фильтров пропускает свет только соответствующего одного источника 401 света. Стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров. Соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников 401 света.

[0094] Один или более процессоров 404 могут включать в себя процессор общего назначения, такой как центральный процессор (ЦП), процессор приложений (AP), графический процессор (GPU), процессор обработки изображений (VPU) или тому подобное и/или специализированный процессор искусственного интеллекта (ИИ), такой как нейронный процессор (NPU). Один или более процессоров выполняют обработку данных в соответствии с правилом работы, заданным инструкциями, хранящимися в памяти 405. Память 405 может быть энергонезависимой памятью или энергозависимой памятью. Память 405 хранит инструкции, которые при выполнении по меньшей мере одним процессором 404 обеспечивают выполнение способа 100.

[0095] На фиг. 6 показана блок-схема последовательности операций способа 100 коррекции многолучевой интерференции в изображении. Способ 100 коррекции многолучевой интерференции в изображении содержит следующие этапы.

[0096] На этапе S101 сцену одновременно освещают по меньшей мере двумя источниками 401 света. Каждый источник 401 света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию. Пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно.

[0097] На этапе S103 захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 401 света, датчиком 402 формирования изображения через массив 403 фильтров. Как описано выше со ссылкой на фиг. 2, один пиксель датчика 402 формирования изображения захватывает изображение через один фильтр массива 403 фильтров. Массив 403 фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников 401 света. Один набор фильтров пропускает свет только соответствующего одного источника 401 света. Стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров. Соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников 401 света.

[0098] На этапе S105 для каждого пикселя изображения значения интенсивности прямой и глобальной составляющих света, принятого соответствующим пикселем датчика 402 формирования изображения, вычисляют из системы уравнений:

Система уравнений составляется для каждого объединенного пикселя, а каждое уравнение в системе уравнений составлено для одного пикселя из пикселей объединенного пикселя. 1…n является номером источника 401 света и пикселя, принимающего свет от этого источника 401 света. является общей интенсивностью света, принятого пикселем . является значением интенсивности прямой составляющей света, принятого пикселем . является значением интенсивности глобальной составляющей света, принятого пикселем . является константой, вычисленной заранее при калибровке датчика формирования изображения с захватом изображения сцены, в которой отсутствует отражение света более одного раза, по формуле . является значением интенсивности прямой составляющей света, падающего на пиксель при калибровке. является константой, вычисленной заранее по формуле . является мощностью источника света, . Прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза.

[0099] На этапе S107 коррекцию изображения выполняют для каждого пикселя изображения путем присвоения каждому пикселю его вычисленного значения интенсивности прямой составляющей для получения скорректированного изображения.

[0100] В способе 100 соседние объединенные пиксели могут содержать по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей. Примеры объединенных пикселей описаны выше со ссылкой на фиг. 3А-3Г.

[0101] Способ 100 может дополнительно содержать этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; и присваивают каждому из выявленных пикселей значение интенсивности прямой составляющей, вычисленное с использованием по меньшей мере одного другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения. Пороговое значение качества изображения может быть задано на основании, например, степени четкости изображения. Однако настоящее изобретение не ограничено только тем, что пороговое значение задано на основании четкости изображения, пороговое значение может быть задано на основании любой характеристики изображения, задающей качество изображения.

[0102] В способе 100 присвоенное значение интенсивности прямой составляющей может быть значением интенсивности прямой составляющей соседнего пикселя, вычисленным на этапе S105, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0103] В способе 100 присвоенное значение интенсивности прямой составляющей может быть усредненным значением интенсивностей прямой составляющей соседних пикселей, вычисленных на этапе S105, в которых изображение имеет качество, равное или больше заданного порогового значения.

[0104] В способе 100 присвоенное значение интенсивности прямой составляющей может быть значением интенсивности прямой составляющей, вычисленным посредством аппроксимации значений интенсивности прямой составляющей, вычисленных на этапе S105 для пикселей в окрестности пикселя, которому присваивают значение интенсивности прямой составляющей.

[0105] В способе 100 присвоенное значение интенсивности прямой составляющей может быть значением интенсивности прямой составляющей, вычисленным посредством замены в уравнении каждого выявленного пикселя значения , задающего значение интенсивности глобальной составляющей, на значение, задающее значение интенсивности глобальной составляющей, другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0106] Способ 100 может дополнительно содержать этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника 401 света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 401 света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0107] Способ 100 может дополнительно содержать этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника 401 света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 401 света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на усредненное значение, задающее значение интенсивности глобальной составляющей, этого пикселя из по меньшей мере двух предыдущих скорректированных изображений.

[0108] Способ 100 может дополнительно содержать этапы, на которых: выявляют пиксели, на которые не подает прямая составляющая света, на основании пространственных узоров, излучаемых источниками 401 света, или пиксели, в которых разность констант не превышает заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника 401 света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 401 света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих скорректированных изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0109] Способ 200 определения положения зеркала и расстояния до зеркала может выполняться на электронном вычислительном устройстве 500, которое может представлять собой, например, видео и/или фото камеру, смартфон, мобильный телефон, устройство виртуальной и/или дополненной реальности, робота и т.д. Блок-схема электронного вычислительного устройства 500 изображена на фиг. 10. Электронное вычислительное устройство 500 содержит по меньшей мере два источника 501 света, датчик 502 формирования изображения, массив 503 фильтров, по меньшей мере один процессор 504 и память 505.

[0110] По меньшей мере два источника 501 света выполнены с возможностью одновременного освещения сцены. Каждый источник 501 света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию. Пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно.

[0111] Датчик 502 формирования изображения может быть любым известным датчиком формирования изображения, например, КМОП-датчиком, ПЗС-датчиком, с двухтактной/двухотводной (2-tap) архитектурой пикселя или с четырехтактной/четырехотводной (4-tap) архитектурой пикселя.

[0112] Как описано выше со ссылкой на фиг. 2, массив 503 фильтров расположен перед датчиком 502 формирования изображения. Один пиксель датчика 502 формирования изображения захватывает изображение через один фильтр массива 503 фильтров. Массив 503 фильтров содержит наборы фильтров. Количество наборов фильтров соответствует количеству источников 501 света. Один набор фильтров пропускает свет только соответствующего одного источника 501 света. Стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров. Соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников 501 света.

[0113] Электронное вычислительное устройство 500 может содержать один или более модулей для выполнения операций способа. По меньшей мере один из множества модулей может быть реализован в виде средства искусственного интеллекта (ИИ). Функция, связанная с ИИ, может выполняться с использованием энергонезависимой памяти, энергозависимой памяти и процессора.

[0114] Один или более процессоров 504 могут включать в себя процессор общего назначения, такой как центральный процессор (ЦП), процессор приложений (AP), графический процессор (GPU), процессор обработки изображений (VPU) или тому подобное и/или специализированный процессор искусственного интеллекта (ИИ), такой как нейронный процессор (NPU).

[0115] Один или более процессоров 504 управляют обработкой входных данных в соответствии с заданным правилом работы или средством искусственного интеллекта, хранящимися в энергонезависимой памяти или энергозависимой памяти. Заданное правило работы или средство искусственного интеллекта обеспечивается посредством обучения.

[0116] В данном случае обеспечение посредством обучения означает, что, применяя алгоритм обучения ко множеству обучающих данных, создается заданное правило работы или обученное средство искусственного интеллекта требуемой характеристики. Обучение может быть выполнено в самом устройстве, которое содержит обученное средство искусственного интеллекта в соответствии с вариантом осуществления, и/или может быть реализовано через отдельный сервер/систему.

[0117] Средство искусственного интеллекта может состоять из множества слоев нейронной сети. Каждый слой имеет множество весовых значений и выполняет операцию слоя с использованием вычисления предыдущего слоя и множества весов. Примеры нейронных сетей включают в себя, но не ограничиваются ими, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративные состязательные сети (GAN) и глубокие Q-сети.

[0118] Алгоритм обучения является способом обучения заранее заданного целевого устройства с использованием множества обучающих данных, чтобы заставлять, позволять или управлять целевым устройством для выполнения определения или предсказания. Примеры алгоритмов обучения включают, но не ограничиваются этим, обучение с учителем, обучение без учителя, обучение частично с учителем или обучение с подкреплением.

[0119] Один или более процессоров выполняют обработку данных в соответствии с правилом работы, заданным инструкциями, хранящимися в памяти 505. Память 505 может быть энергонезависимой памятью или энергозависимой памятью. Память 505 хранит числовые параметры обученного средства искусственного интеллекта и инструкции, которые при выполнении по меньшей мере одним процессором 504 обеспечивают выполнение способа 200.

[0120] На фиг. 7 показана блок-схема последовательности операций способа 200 определения положения зеркала и расстояния до зеркала. Способ 200 определения положения зеркала и расстояния до зеркала содержит следующие этапы.

[0121] Этапы S201, S203, S205, S207 способа 200 полностью соответствуют этапам S101, S103, S105, S107 способа 100 поэтому их описание опущено.

[0122] На этапе S209 наличие зеркала в сцене определяют на основании области искажения изображения на скорректированном изображении посредством сравнения скорректированного изображения с опорным изображением. Опорное изображение сформировано заранее при съемке сцены, в которой отсутствует отражение света более одного раза, и освещенной светом с теми же пространственными узорами, как и в скорректированном изображении. На фиг. 5 показан пример опорного изображения и скорректированного изображения сцены, содержащей зеркало. Следует понимать, что настоящее изобретение не ограничено пространственным узором, показанным на фиг. 5, и пространственный узор может быть любым, например, горизонтальными и/или вертикальными полосами, матрицей из точек, произвольно расположенными точками и т.д. и их сочетанием. Как показано на фиг. 5, на скорректированном изображении сцены, содержащей зеркало, искажен пространственный узор. Это искажение пространственного узора указывает на наличие зеркала в захваченной сцене.

[0123] На этапе S211 положение зеркала и расстояние до зеркала относительно датчика формирования изображения определяют посредством обработки скорректированного изображения, в котором определено наличие зеркала, обученным средством искусственного интеллекта. Средство искусственного интеллекта обучено с использованием множества обучающих изображений сцены с зеркалом с разных точек обзора и разным расположением зеркала с указанием положения зеркала и расстояния до зеркала на обучающих изображениях.

[0124] В способе 200 соседние объединенные пиксели могут содержать по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей. Примеры объединенных пикселей описаны выше со ссылкой на фиг. 3А-3Г.

[0125] Способ 200 может дополнительно содержать этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; и присваивают каждому из выявленных пикселей значение интенсивности прямой составляющей, вычисленное с использованием по меньшей мере одного другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения. Пороговое значение качества изображения может быть задано на основании, например, степени четкости изображения. Однако настоящее изобретение не ограничено только тем, что пороговое значение задано на основании четкости изображения, пороговое значение может быть задано на основании любой характеристики изображения, задающей качество изображения.

[0126] В способе 200 присвоенное значение интенсивности прямой составляющей может быть значением интенсивности прямой составляющей соседнего пикселя, вычисленным на этапе S205, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0127] В способе 200 присвоенное значение интенсивности прямой составляющей может быть усредненным значением интенсивностей прямой составляющей соседних пикселей, вычисленных на этапе S205, в которых изображение имеет качество, равное или больше заданного порогового значения.

[0128] В способе 200 присвоенное значение интенсивности прямой составляющей может быть значением интенсивности прямой составляющей, вычисленным посредством аппроксимации значений интенсивности прямой составляющей, вычисленных на этапе S205 для пикселей в окрестности пикселя, которому присваивают значение интенсивности прямой составляющей.

[0129] В способе 200 присвоенное значение интенсивности прямой составляющей может быть значением интенсивности прямой составляющей, вычисленным посредством замены в уравнении каждого выявленного пикселя значения , задающего значение интенсивности глобальной составляющей, на значение, задающее значение интенсивности глобальной составляющей, другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0130] Способ 200 может дополнительно содержать этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника 501 света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 501 света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0131] Способ 200 может дополнительно содержать этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника 501 света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 501 света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на усредненное значение, задающее значение интенсивности глобальной составляющей, этого пикселя из по меньшей мере двух предыдущих скорректированных изображений.

[0132] Способ 200 может дополнительно содержать этапы, на которых: выявляют пиксели, на которые не подает прямая составляющая света, на основании пространственных узоров, излучаемых источниками 501 света, или пиксели, в которых разность констант не превышает заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника 501 света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 501 света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих скорректированных изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0133] Способ 300 распознавания материалов объектов захватываемой сцены может выполняться на электронном вычислительном устройстве 600, которое может представлять собой, например, видео и/или фото камеру, смартфон, мобильный телефон, устройство виртуальной и/или дополненной реальности, робота и т.д. Блок-схема электронного вычислительного устройства 600 изображена на фиг. 11. Электронное вычислительное устройство 600 содержит по меньшей мере два источника 601 света, датчик 602 формирования изображения, массив 603 фильтров, по меньшей мере один процессор 604 и память 605.

[0134] По меньшей мере два источника 601 света выполнены с возможностью одновременного освещения сцены. Каждый источник 601 света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию. Пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно.

[0135] Датчик 602 формирования изображения может быть любым известным датчиком формирования изображения, например, КМОП-датчиком, ПЗС-датчиком, с двухтактной/двухотводной (2-tap) архитектурой пикселя или с четырехтактной/четырехотводной (4-tap) архитектурой пикселя.

[0136] Как описано выше со ссылкой на фиг. 2, массив 603 фильтров расположен перед датчиком 602 формирования изображения. Один пиксель датчика 602 формирования изображения захватывает изображение через один фильтр массива 603 фильтров. Массив 603 фильтров содержит наборы фильтров. Количество наборов фильтров соответствует количеству источников 601 света. Один набор фильтров пропускает свет только соответствующего одного источника 601 света. Стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров. Соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников 601 света.

[0137] Электронное вычислительное устройство 600 может содержать один или более модулей для выполнения операций способа. По меньшей мере один из множества модулей может быть реализован в виде средства искусственного интеллекта (ИИ). Функция, связанная с ИИ, может выполняться с использованием энергонезависимой памяти, энергозависимой памяти и процессора.

[0138] Один или более процессоров 504 могут включать в себя процессор общего назначения, такой как центральный процессор (ЦП), процессор приложений (AP), графический процессор (GPU), процессор обработки изображений (VPU) или тому подобное и/или специализированный процессор искусственного интеллекта (ИИ), такой как нейронный процессор (NPU).

[0139] Один или более процессоров 604 управляют обработкой входных данных в соответствии с заданным правилом работы или средством искусственного интеллекта, хранящимися в энергонезависимой памяти или энергозависимой памяти. Заданное правило работы или средство искусственного интеллекта обеспечивается посредством обучения.

[0140] В данном случае обеспечение посредством обучения означает, что, применяя алгоритм обучения ко множеству обучающих данных, создается заданное правило работы или обученное средство искусственного интеллекта требуемой характеристики. Обучение может быть выполнено в самом устройстве, которое содержит обученное средство искусственного интеллекта в соответствии с вариантом осуществления, и/или может быть реализовано через отдельный сервер/систему.

[0141] Средство искусственного интеллекта может состоять из множества слоев нейронной сети. Каждый слой имеет множество весовых значений и выполняет операцию слоя с использованием вычисления предыдущего слоя и множества весов. Примеры нейронных сетей включают в себя, но не ограничиваются ими, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративные состязательные сети (GAN) и глубокие Q-сети.

[0142] Алгоритм обучения является способом обучения заранее заданного целевого устройства с использованием множества обучающих данных, чтобы заставлять, позволять или управлять целевым устройством для выполнения определения или предсказания. Примеры алгоритмов обучения включают, но не ограничиваются этим, обучение с учителем, обучение без учителя, обучение частично с учителем или обучение с подкреплением.

[0143] Один или более процессоров выполняют обработку данных в соответствии с правилом работы, заданным инструкциями, хранящимися в памяти 605. Память 605 может быть энергонезависимой памятью или энергозависимой памятью. Память 605 хранит числовые параметры обученного средства искусственного интеллекта и инструкции, которые при выполнении по меньшей мере одним процессором 604 обеспечивают выполнение способа 300.

[0144] На фиг. 8 показана блок-схема последовательности операций способа 300 распознавания материалов объектов захватываемой сцены. Способ 300 распознавания материалов объектов захватываемой сцены содержит следующие этапы.

[0145] Этапы S301, S303, S305, S307 способа 300 полностью соответствуют этапам S101, S103, S105, S107 способа 100 поэтому их описание опущено.

[0146] На этапе S309 материалы объектов захватываемой сцены распознают посредством обработки скорректированного изображения обученным средством искусственного интеллекта, при этом средство искусственного интеллекта обучено с использованием множества обучающих изображений объектов из разных материалов и информации о материале объекта на обучающем изображении.

[0147] В способе 300 соседние объединенные пиксели могут содержать по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей. Примеры объединенных пикселей описаны выше со ссылкой на фиг. 3А-3Г.

[0148] Способ 300 может дополнительно содержать этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; и присваивают каждому из выявленных пикселей значение интенсивности прямой составляющей, вычисленное с использованием по меньшей мере одного другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения. Пороговое значение качества изображения может быть задано на основании, например, степени четкости изображения. Однако настоящее изобретение не ограничено только тем, что пороговое значение задано на основании четкости изображения, пороговое значение может быть задано на основании любой характеристики изображения, задающей качество изображения.

[0149] В способе 300 присвоенное значение интенсивности прямой составляющей может быть значением интенсивности прямой составляющей соседнего пикселя, вычисленным на этапе S305, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0150] В способе 300 присвоенное значение интенсивности прямой составляющей может быть усредненным значением интенсивностей прямой составляющей соседних пикселей, вычисленных на этапе S305, в которых изображение имеет качество, равное или больше заданного порогового значения.

[0151] В способе 300 присвоенное значение интенсивности прямой составляющей может быть значением интенсивности прямой составляющей, вычисленным посредством аппроксимации значений интенсивности прямой составляющей, вычисленных на этапе S305 для пикселей в окрестности пикселя, которому присваивают значение интенсивности прямой составляющей.

[0152] В способе 300 присвоенное значение интенсивности прямой составляющей может быть значением интенсивности прямой составляющей, вычисленным посредством замены в уравнении каждого выявленного пикселя значения , задающего значение интенсивности глобальной составляющей, на значение, задающее значение интенсивности глобальной составляющей, другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

[0153] Способ 300 может дополнительно содержать этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника 601 света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 601 света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0154] Способ 300 может дополнительно содержать этапы, на которых: выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника 601 света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 601 света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на усредненное значение, задающее значение интенсивности глобальной составляющей, этого пикселя из по меньшей мере двух предыдущих скорректированных изображений.

[0155] Способ 300 может дополнительно содержать этапы, на которых: выявляют пиксели, на которые не подает прямая составляющая света, на основании пространственных узоров, излучаемых источниками 601 света, или пиксели, в которых разность констант не превышает заданного порогового значения; изменяют пространственный узор структурированного света по меньшей мере одного источника 601 света; захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками 601 света; вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих скорректированных изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

[0156] В способе 300 обучающие изображения объектов могут содержать пары из скорректированного изображения объекта и захваченного изображения объекта, а информация о материале объекта на обучающем изображении является информацией, указывающей материал объекта на каждой паре изображении.

[0157] В способе 300 обучающие изображения объектов могут быть скорректированными изображениями разных объектов, а информация о материале объекта на обучающем изображении является функцией двунаправленного распределения отражательной способности (BRDF) объекта на обучающем изображении для каждого обучающего изображения. Отражательные способности разных материалов отличаются друг от друга, поэтому BRDF задает конкретный материал объекта сцены.

[0158] Кроме того, способы, раскрытые в данном документе, могут быть реализованы на считываемом компьютером носителе, который хранит числовые параметры обученного средства искусственного интеллекта и исполняемые компьютером инструкции, которые при выполнении процессором, заставляют процессор выполнять любой из раскрытых способов. Обученное средство искусственного интеллекта и инструкции для реализации любого из раскрытых способов могут быть загружены в электронные вычислительные устройства, раскрытые в данном документе, соответственно, через сеть или с носителя.

[0159] Вышеприведенные описания вариантов осуществления изобретения являются иллюстративными, и модификации конфигурации и реализации не выходят за пределы объема настоящего описания. Например, хотя варианты осуществления изобретения описаны, в общем, в связи с фигурами 1-11, приведенные описания являются примерными. Хотя предмет изобретения описан на языке, характерном для конструктивных признаков или методологических операций, понятно, что предмет изобретения, определяемый прилагаемой формулой изобретения, не обязательно ограничен конкретными вышеописанными признаками или операциями. Более того, конкретные вышеописанные признаки и операции раскрыты как примерные формы реализации формулы изобретения. Изобретение не ограничено также показанным порядком этапов способа, порядок может быть видоизменен специалистом без новаторских нововведений. Некоторые или все этапы способа могут выполняться последовательно или параллельно.

[0160] Соответственно предполагается, что объем вариантов осуществления изобретения ограничивается только нижеследующей формулой изобретения.

Изобретение относится к области обработки двумерных (2D) и трехмерных (3D) изображений. Способ коррекции многолучевой интерференции в изображении содержит этапы, на которых: одновременно освещают сцену по меньшей мере двумя источниками света, где каждый источник света испускает структурированный свет; захватывают изображение сцены датчиком формирования изображения через массив фильтров, где один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света; вычисляют для каждого пикселя значения интенсивности прямой и глобальной составляющих света, принятого пикселем, из системы уравнений, составленной для каждого объединенного пикселя, причем каждое уравнение в системе уравнений составлено для одного пикселя из пикселей объединенного пикселя и представляет собой общую интенсивность света, принятого пикселем, являющуюся суммой интенсивностей прямой и глобальной составляющих света, принятого пикселем; и для каждого пикселя выполняют коррекцию изображения путем присвоения каждому пикселю его вычисленного значения интенсивности прямой составляющей для получения скорректированного изображения. Технический результат заключается в улучшении качества изображений и обеспечении выполнения операций в реальном времени без снижения частоты кадров. 6 н. и 29 з.п. ф-лы, 15 ил.

1. Способ коррекции многолучевой интерференции в изображении, содержащий этапы, на которых:

одновременно освещают (S101) сцену по меньшей мере двумя источниками света, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно;

захватывают (S103) изображение сцены, одновременно освещенной по меньшей мере двумя источниками света, датчиком формирования изображения через массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света;

вычисляют (S105) для каждого пикселя значения интенсивности прямой и глобальной составляющих света, принятого пикселем, из системы уравнений

причем система уравнений составляется для каждого объединенного пикселя, а каждое уравнение составлено для одного пикселя из пикселей объединенного пикселя, 1…n является номером источника света и пикселя, принимающего свет от этого источника света, является общей интенсивностью света, принятого пикселем , является значением интенсивности прямой составляющей света, принятого пикселем , является значением интенсивности глобальной составляющей света, принятого пикселем , является константой, вычисленной заранее при калибровке датчика формирования изображения с захватом изображения сцены, в которой отсутствует отражение света более одного раза, по формуле , является значением интенсивности прямой составляющей света, падающего на пиксель при калибровке, является константой, вычисленной заранее по формуле , является мощностью источника света, , причем прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза; и

для каждого пикселя выполняют (S107) коррекцию изображения путем присвоения каждому пикселю его вычисленного значения интенсивности прямой составляющей для получения скорректированного изображения.

2. Способ по п. 1, в котором соседние объединенные пиксели содержат по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей.

3. Способ по п. 2, дополнительно содержащий этапы, на которых:

выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; и

присваивают каждому из выявленных пикселей значение интенсивности прямой составляющей, вычисленное с использованием по меньшей мере одного другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

4. Способ по п. 3, в котором присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей соседнего пикселя, вычисленным на этапе S105, в котором изображение имеет качество, равное или больше заданного порогового значения.

5. Способ по п. 3, в котором присвоенное значение интенсивности прямой составляющей является усредненным значением интенсивностей прямой составляющей соседних пикселей, вычисленных на этапе S105, в которых изображение имеет качество, равное или больше заданного порогового значения.

6. Способ по п. 3, в котором присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством аппроксимации значений интенсивности прямой составляющей, вычисленных на этапе S105 для пикселей в окрестности пикселя, которому присваивают значение интенсивности прямой составляющей.

7. Способ по п. 3, в котором присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством замены в уравнении каждого выявленного пикселя значения , задающего значение интенсивности глобальной составляющей, на значение, задающее значение интенсивности глобальной составляющей, другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

8. Способ по п. 2, дополнительно содержащий этапы, на которых:

выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения;

изменяют пространственный узор структурированного света по меньшей мере одного источника света;

захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света;

вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

9. Способ по п. 2, дополнительно содержащий этапы, на которых:

выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения;

изменяют пространственный узор структурированного света по меньшей мере одного источника света;

захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света;

вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на усредненное значение, задающее значение интенсивности глобальной составляющей, этого пикселя из по меньшей мере двух предыдущих скорректированных изображений.

10. Способ по п. 2, дополнительно содержащий этапы, на которых:

выявляют пиксели, на которые не подает прямая составляющая света, на основании пространственных узоров, излучаемых источниками света, или пиксели, в которых разность констант не превышает заданного порогового значения;

изменяют пространственный узор структурированного света по меньшей мере одного источника света;

захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света;

вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих скорректированных изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

11. Способ определения положения зеркала и расстояния до зеркала, причем упомянутый способ содержит этапы, на которых:

одновременно освещают (S201) сцену по меньшей мере двумя источниками света, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно;

захватывают (S203) изображение сцены, одновременно освещенной по меньшей мере двумя источниками света, датчиком формирования изображения через массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света;

вычисляют (S205) для каждого пикселя значения интенсивности прямой и глобальной составляющих света, принятого пикселем, из системы уравнений

причем система уравнений составляется для каждого объединенного пикселя, а каждое уравнение составлено для одного пикселя из пикселей объединенного пикселя, 1…n является номером источника света и пикселя, принимающего свет от этого источника света, является общей интенсивностью света, принятого пикселем , является значением интенсивности прямой составляющей света, принятого пикселем , является значением интенсивности глобальной составляющей света, принятого пикселем , является константой, вычисленной заранее при калибровке датчика формирования изображения с захватом изображения сцены, в которой отсутствует отражение света более одного раза, по формуле , является значением интенсивности прямой составляющей света, падающего на пиксель при калибровке, является константой, вычисленной заранее по формуле , является мощностью источника света, , причем прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза;

для каждого пикселя выполняют (S207) коррекцию изображения путем присвоения каждому пикселю его вычисленного значения интенсивности прямой составляющей для получения скорректированного изображения;

определяют (S209) наличие зеркала в сцене на основании области искажения изображения на скорректированном изображении посредством сравнения скорректированного изображения с опорным изображением, причем опорное изображение сформировано заранее при съемке сцены, в которой отсутствует отражение света более одного раза и освещенной светом с теми же пространственными узорами, как и в скорректированном изображении; и

определяют (S211) положение зеркала и расстояние до зеркала относительно датчика формирования изображения посредством обработки скорректированного изображения, в котором определено наличие зеркала, обученным средством искусственного интеллекта, при этом средство искусственного интеллекта обучено с использованием множества обучающих изображений сцены с зеркалом с разных точек обзора и разным расположением зеркала с указанием положения зеркала и расстояния до зеркала.

12. Способ по п. 11, в котором соседние объединенные пиксели содержат по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей.

13. Способ по п. 12, дополнительно содержащий этапы, на которых:

выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; и

присваивают каждому из выявленных пикселей значение интенсивности прямой составляющей, вычисленное с использованием по меньшей мере одного другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

14. Способ по п. 13, в котором присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей соседнего пикселя, вычисленным на этапе S205, в котором изображение имеет качество, равное или больше заданного порогового значения.

15. Способ по п. 15, в котором присвоенное значение интенсивности прямой составляющей является усредненным значением интенсивностей прямой составляющей соседних пикселей, вычисленных на этапе S205, в которых изображение имеет качество, равное или больше заданного порогового значения.

16. Способ по п. 13, в котором присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством аппроксимации значений интенсивности прямой составляющей, вычисленных на этапе S205 для пикселей в окрестности пикселя, которому присваивают значение интенсивности прямой составляющей.

17. Способ по п. 13, в котором присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством замены в уравнении каждого выявленного пикселя значения , задающего значение интенсивности глобальной составляющей, на значение, задающее значение интенсивности глобальной составляющей, другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

18. Способ по п. 12, дополнительно содержащий этапы, на которых:

выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения;

изменяют пространственный узор структурированного света по меньшей мере одного источника света;

захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света;

вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

19. Способ по п. 12, дополнительно содержащий этапы, на которых:

выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения;

изменяют пространственный узор структурированного света по меньшей мере одного источника света;

захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света;

вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на усредненное значение, задающее значение интенсивности глобальной составляющей, этого пикселя из по меньшей мере двух предыдущих скорректированных изображений.

20. Способ по п. 12, дополнительно содержащий этапы, на которых:

выявляют пиксели, на которые не подает прямая составляющая света, на основании пространственных узоров, излучаемых источниками света, или пиксели, в которых разность констант не превышает заданного порогового значения;

изменяют пространственный узор структурированного света по меньшей мере одного источника света;

захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света;

вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих скорректированных изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

21. Способ распознавания материалов объектов захватываемой сцены, содержащий этапы, на которых:

одновременно освещают (S301) сцену по меньшей мере двумя источниками света, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно;

захватывают (S303) изображение сцены, одновременно освещенной по меньшей мере двумя источниками света, датчиком формирования изображения через массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света;

вычисляют (S305) для каждого пикселя значения интенсивности прямой и глобальной составляющих света, принятого пикселем, из системы уравнений

причем система уравнений составляется для каждого объединенного пикселя, а каждое уравнение составлено для одного пикселя из пикселей объединенного пикселя, 1…n является номером источника света и пикселя, принимающего свет от этого источника света, является общей интенсивностью света, принятого пикселем , является значением интенсивности прямой составляющей света, принятого пикселем , является значением интенсивности глобальной составляющей света, принятого пикселем , является константой, вычисленной заранее при калибровке датчика формирования изображения с захватом изображения сцены, в которой отсутствует отражение света более одного раза, по формуле , является значением интенсивности прямой составляющей света, падающего на пиксель при калибровке, является константой, вычисленной заранее по формуле , является мощностью источника света, , причем прямая составляющая является составляющей света, однократно отраженного от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза;

для каждого пикселя выполняют (S307) коррекцию изображения путем присвоения каждому пикселю его вычисленного значения интенсивности прямой составляющей для получения скорректированного изображения; и

распознают (S309) материалы объектов захватываемой сцены посредством обработки скорректированного изображения обученным средством искусственного интеллекта, при этом средство искусственного интеллекта обучено с использованием множества обучающих изображений объектов из разных материалов и информации о материале объекта на обучающем изображении.

22. Способ по п. 21, в котором соседние объединенные пиксели содержат по меньшей мере один пиксель, который входит в состав обоих соседних объединенных пикселей.

23. Способ по п. 22, дополнительно содержащий этапы, на которых:

выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения; и

присваивают каждому из выявленных пикселей значение интенсивности прямой составляющей, вычисленное с использованием по меньшей мере одного другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

24. Способ по п. 23, в котором присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей соседнего пикселя, вычисленным на этапе S305, в котором изображение имеет качество, равное или больше заданного порогового значения.

25. Способ по п. 23, в котором присвоенное значение интенсивности прямой составляющей является усредненным значением интенсивностей прямой составляющей соседних пикселей, вычисленных на этапе S305, в которых изображение имеет качество, равное или больше заданного порогового значения.

26. Способ по п. 23, в котором присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством аппроксимации значений интенсивности прямой составляющей, вычисленных на этапе S305 для пикселей в окрестности пикселя, которому присваивают значение интенсивности прямой составляющей.

27. Способ по п. 23, в котором присвоенное значение интенсивности прямой составляющей является значением интенсивности прямой составляющей, вычисленным посредством замены в уравнении каждого выявленного пикселя значения , задающего значение интенсивности глобальной составляющей, на значение, задающее значение интенсивности глобальной составляющей, другого пикселя, в котором изображение имеет качество, равное или больше заданного порогового значения.

28. Способ по п. 22, дополнительно содержащий этапы, на которых:

выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения;

изменяют пространственный узор структурированного света по меньшей мере одного источника света;

захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света;

вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

29. Способ по п. 22, дополнительно содержащий этапы, на которых:

выявляют пиксели на скорректированном изображении, в которых изображение имеет качество, ниже заданного порогового значения;

изменяют пространственный узор структурированного света по меньшей мере одного источника света;

захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света;

вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на усредненное значение, задающее значение интенсивности глобальной составляющей, этого пикселя из по меньшей мере двух предыдущих скорректированных изображений.

30. Способ по п. 22, дополнительно содержащий этапы, на которых:

выявляют пиксели, на которые не подает прямая составляющая света, на основании пространственных узоров, излучаемых источниками света, или пиксели, в которых разность констант не превышает заданного порогового значения;

изменяют пространственный узор структурированного света по меньшей мере одного источника света;

захватывают изображение сцены, одновременно освещенной по меньшей мере двумя источниками света;

вычисляют для каждого пикселя значение интенсивности прямой составляющей света из упомянутой системы уравнений, при этом значение , задающее значение интенсивности глобальной составляющей, в выявленном пикселе заменяют на значение, задающее значение интенсивности глобальной составляющей, этого пикселя, выбранное из по меньшей мере двух предыдущих скорректированных изображений, при этом выбранное значение относится к пикселю, в котором изображение имеет наибольшее качество.

31. Способ по любому из пп. 21-30, в котором обучающие изображения объектов содержат пары из скорректированного изображения объекта и захваченного изображения объекта, а информация о материале объекта на обучающем изображении является информацией, указывающей материал объекта на каждой паре изображений.

32. Способ по любому из пп. 21-30, в котором обучающие изображения объектов являются скорректированными изображениями разных объектов, а информация о материале объекта на обучающем изображении является функцией двунаправленного распределения отражательной способности объекта на обучающем изображении для каждого обучающего изображения.

33. Электронное вычислительное устройство, содержащее:

по меньшей мере два источника света для одновременного освещения сцены, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно;

датчик формирования изображения;

массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света;

по меньшей мере один процессор; и

память, в которой хранятся инструкции, которые при выполнении по меньшей мере одним процессором, заставляют по меньшей мере один процессор выполнять способ по любому из пп. 1-10.

34. Электронное вычислительное устройство, содержащее:

по меньшей мере два источника света для одновременного освещения сцены, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно;

датчик формирования изображения;

массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света;

по меньшей мере один процессор; и

память, в которой хранятся числовые параметры обученного средства искусственного интеллекта и инструкции, которые при выполнении по меньшей мере одним процессором, заставляют по меньшей мере один процессор выполнять способ по любому из пп. 11-20.

35. Электронное вычислительное устройство, содержащее:

по меньшей мере два источника света для одновременного освещения сцены, причем каждый источник света испускает структурированный свет, имеющий пространственный узор, длину волны и/или поляризацию, при этом пространственный узор, длина волны и/или поляризация каждого структурированного света отличаются друг от друга, соответственно;

датчик формирования изображения;

массив фильтров, причем один пиксель датчика формирования изображения захватывает изображение через один фильтр массива фильтров, массив фильтров содержит наборы фильтров, количество наборов фильтров соответствует количеству источников света, один набор фильтров пропускает свет только соответствующего одного источника света, стороны каждого фильтра из одного набора фильтров прилегают к сторонам фильтров из другого(их) набора(ов) фильтров, отличного(ых) от упомянутого одного набора фильтров, и при этом соседние пиксели, захватывающие изображение через отличающиеся фильтры, образуют объединенный пиксель, количество пикселей которого по меньшей мере равно количеству источников света;

по меньшей мере один процессор; и

память, в которой хранятся числовые параметры обученного средства искусственного интеллекта и инструкции, которые при выполнении по меньшей мере одним процессором, заставляют по меньшей мере один процессор выполнять способ по любому из пп. 21-32.