УСТРОЙСТВО И СПОСОБ ПОЛУЧЕНИЯ НАБОРОВ ИЗОБРАЖЕНИЙ Российский патент 2023 года по МПК G03B37/04 H04N23/50 G06N3/04 

Область техники

Настоящее изобретение относится к устройствам и способам получения наборов изображений, состоящих из одного или нескольких изображений низкого качества и соответствующих ему/им одного или нескольких изображений высокого качества, получаемых с двух или более различных цифровых фото- или видеокамер (далее называемых камерами), используемых в задачах повышения качества изображений с помощью нейросетей, которые обучаются "приводить" исходное изображение (низкого качества, "вход") к эталону (изображение высокого качества, англ. - ground-truth, "правильный ответ"). Обученная на таких наборах изображений нейросеть может применяться на выходе устройства захвата изображений для получения изображений высокого качества даже в случае съемки изображений низкого качества.

Описание предшествующего уровня техники

Основное требование к таким устройствам и способам получения наборов изображений состоит в том, что изображения в наборе должны настолько хорошо соответствовать друг другу, т.е. иметь минимальные, либо требуемые геометрические и фотометрические отличия, чтобы их можно было использовать без постобработки, либо с минимальной постобработкой для обучения моделей на основе нейросетей, решающих ряд задач улучшения качества изображений, таких как шумоподавление, повышение разрешения, повышение детализации, устранение размытия, демозаика и создание конвейера операций обработки изображений (ISP).

Первая проблема в выполнении данных требований обусловлена разницей оптических характеристик камер. Даже при обеспечении оптического сопряжения (совмещения оптических осей в пространстве) камер с использованием светоделителя, разница оптических характеристик приведет к разности глубин резкости изображаемого пространства и оптических аберраций. Поэтому обеспечить выравнивание изображений в наборе без постобработки можно лишь до определенной степени.

Вторая проблема состоит во временном согласовании изображений. Для того чтобы взаимные положения объектов на изображениях соответствовали друг другу, требуется обеспечить синхронизированный захват изображений (одновременный или с заданной задержкой между камерами). В противном случае взаимные положения объектов могут отличаться, например, вследствие их перемещения.

Еще одна проблема состоит в обеспечении поддержки различных комбинаций камер с различной оптикой и приемниками излучения, таких как промышленные камеры, камеры смартфонов, цифровые зеркальные/беззеркальные фотоаппараты.

Для решения вышеозначенных задач используются следующие подходы.

1. Получение наборов изображений путем искусственного ухудшения качества изображения.

Искусственное ухудшение качества (деградация) изображений часто используется для генерации наборов изображений: изображения низкого качества получают из изображений высокого качества путем применения модели деградации. Нейросети, обученные на таких синтетических данных, имеют тенденцию к запоминанию модели деградации, их применимость к реальным данным очень слаба, особенно в задачах, где требуется попиксельное улучшение качества изображения (вплоть до мельчайших деталей с высоким разрешением). Для реализации этого подхода требуется точная и реалистичная модель деградации изображения, тогда как реальные процессы деградации обычно неизвестны. Для создания наборов изображений необходимы исходные изображения высокого качества: они не должны содержать особенностей, обусловленных оптикой, с помощью которой они были сняты. Также изображения высокого качества могут быть получены путем рендеринга, но это достаточно сложная задача.

2. Получение наборов изображений с помощью одной камеры путем быстрой последовательной съемки с разными настройками качества.

Наборы изображений, полученные с одной камеры путем быстрой последовательной съемки с разными настройками применимы только для ограниченного числа задач, таких как повышение детализации или шумоподавление, и только для практически статичных сцен. Для обучения на таких наборах требуется сложная архитектура нейронной сети, которая бы могла скомпенсировать плохое согласование между изображениями, неизбежно возникающее, если снимаемая сцена меняется во время съемки.

3. Получение наборов изображений с помощью нескольких камер.

3.1 Получение наборов изображений с помощью нескольких рядом расположенных камер.

Основной недостаток данного подхода состоит в том, что камеры видят одну и ту же сцену под разными углами из разных точек пространства (оптические оси камер в пространстве скрещиваются). Это приводит к несовпадению взаимного положения объектов, находящихся на разном удалении от камер, на изображениях, что особенно критично в случае протяженных по глубине сцен. Поля зрения расположенных рядом камер перекрываются лишь частично. Скомпенсировать разницу между изображениями глобальными преобразованиями в данном случае невозможно, а локальные преобразования могут привести к деградации деталей. Модели, обученные на таких наборах изображений, для которых попиксельное выравнивание невозможно, непригодны для улучшения мелких деталей изображений и применимы для ограниченного количества сценариев.

3.2 Получение наборов изображений с помощью двух оптически сопряженных камер.

Использование двух камер, оптические оси которых сопряжены в пространстве с помощью светоделителя, потенциально позволяет достичь лучшего совмещения между изображениями, чем варианты 2 и 3.1. В известных работах, использующих данный подход, не уделяется должного внимания хорошему начальному совмещению изображений за счет юстировки положения камер в пространстве и их синхронизации, а для финального совмещения используется сложная постобработка. Однако, как известно, чем меньше постобработки содержат данные, тем лучше они подходят для обучения моделей, поскольку сложная постобработка может вносить геометрические искажения в обрабатываемое изображение и нарушать естественный профиль шума. При плохой синхронизации камер попытка совместить изображения при помощи постобработки приводит к появлению артефактов на движущихся объектах. Из-за невозможности попиксельного выравнивания изображений ввиду плохой начальной юстировки камер, модели, обученные на таких наборах изображений, непригодны для задач улучшения мелких деталей изображений и применимы для ограниченного количества сценариев. Помимо этого, для данного подхода требуются статическая сцена (при отсутствии синхронизации) и сложная архитектура нейронной сети.

Таким образом, общей проблемой известных подходов является отсутствие разнообразия собираемых данных. В основном все данные собираются для одной задачи - повышения разрешения изображения. Существующие наборы изображений с хорошо совмещенными изображениями небольшие и получены для квазистатических сцен в лабораторных условиях для какого-то одного набора камер. Получить аналогичные данные вне лабораторных условий и для различных сочетаний камер затруднительно, потому что из-за механических вибраций и перемещения объективов во время перефокусировки может возникать рассогласование оптических осей камер. Особенно подвержены влиянию вибраций обычные камеры (зеркальные фотоаппараты, камеры смартфонов), у которых не предусмотрена возможность надежной фиксации в отличие от промышленных камер, которые имеют по несколько крепежных отверстий.

Решить эти проблемы могло бы универсальное устройство, обеспечивающее синхронизацию и юстировку камер, а также поддерживающее сохранность юстировки во время эксплуатации. Самоюстирующаяся система значительно бы упростила замену камеры одного типа камерой другого типа, обеспечивала бы переюстировку системы при возникновении рассогласований в ходе эксплуатации и позволила бы собирать разнообразные наборы изображений с различными сценами и в различных условиях.

Уровень техники

Из уровня техники известен документ «ImagePairs: Realistic Super Resolution Dataset via Beam Splitter Camera Rig» («Пары изображений: реалистичный набор данных для задачи повышения разрешения изображений, полученный с помощью установки с камерами и светоделителем»), Microsoft/arXiv:2004.08513v1, дата публикации 18.04.2020, в котором предоставляются две камеры с разными приемниками излучения и разной оптикой (камера низкого и высокого разрешения), установленные в юстировочных креплениях с 6-ю степенями свободы, оптические оси которых сопряжены через светоделитель. Совмещение изображений с камер за счет юстировки производится в несколько этапов с использованием ряда юстировочных мишеней. На обоих отснятых изображениях исправляют дисторсию, для более точного совмещения к одному из них применяют преобразование гомографии и дополнительно проводят локальное сопоставление на основе патчей, т.е. частей изображения. Пары изображений используются для обучения моделей для задач повышения разрешения изображений, повышения качества изображения, создания конвейера операций обработки изображений (ISP). Недостатками известного решения являются применение сложной постобработки (проводимой в том числе с разными параметрами обработки для каждой локальной окрестности) для конечного совмещения изображений, а также отсутствие синхронизации между камерами, что приводит к несовпадению положения движущихся объектов между изображениями, что, в свою очередь, приводит к появлению геометрических артефактов, вызванных сложной постобработкой.

Из уровня техники также известен документ «Capturing ground truth super-resolution data» («Получение эталонных изображений для задачи повышения разрешения изображения») от Karlsruhe Institute of Technology/Fraunhofer IOSB/DOI: 10.1109/ICIP.2016.7532872, дата публикации 09.2016, в котором описан лабораторный макет, состоящий из двух камер с одинаковыми приемниками излучения и разной оптикой (широкоугольный объектив и зум-телеобъектив), одна из которых установлена на поворотно-наклонном столике и оптические оси которых сопряжены через светоделитель. Совмещение изображений с камер за счет юстировки производится за счет компенсации поворота в плоскости приемника излучения с помощью наклонно-поворотного столика и выравнивания масштабов с помощью зум-объектива. Остальные сдвиги компенсируются алгоритмом Лукаса-Канаде во время постобработки. Пары изображений, полученных с помощью такой установки, используются для обучения моделей для задач повышения разрешения изображений. Недостатками известного решения является то, что оптические оси камер не совмещены в пространстве, а значит, решение применимо только для квазиплоских сцен, а также грубое начальное совмещение изображений за счет юстировки камер, которое требует применения сложной постобработки на основе оценки светового потока для финального совмещения изображений.

Из уровня техники известен документ «DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks» («Фотографии DSLR-качества на мобильных устройствах с глубокими сверточными сетями») от ETH Zurich/arXiv:1704.02470v2, дата публикации 05.09.2017, в котором описан метод получения пар изображений с помощью двух камер c разными приемниками излучения и разной оптикой (зеркальные камеры и смартфоны), которые располагаются рядом друг с другом и имеют частично перекрывающиеся поля зрения. Отснятые изображения совмещают с помощью преобразования гомографии, вычисленного на основе сопоставления характерных точек сцены, найденных с помощью алгоритма SIFT (масштабно-инвариантной трансформации признаков). Пары изображений используются для обучения моделей для задач улучшения качества изображения. Недостатками известного решения является то, что изображения не могут быть совмещены по глубине, так как камеры имеют разные углы обзора и пространственные положения.

Из уровня техники известен документ WO 2020/246861 A1, дата публикации 12.10.2020, раскрывающий «Method and apparatus for training neural network model for enhancing image detail» («Способ и устройство для обучения модели на основе нейронных сетей для повышения детализации изображения»), согласно которому пары изображений получают одной камерой путем быстрого последовательного захвата пары изображений с разными настройками качества. Пары изображений используются для обучения моделей для задач повышения детализации изображения и шумоподавления. Недостатком известного решения является то, что оно подходит для почти статичных сцен и умеренной разницы экспозиций снимаемых изображений, а также то, что для обучения на таких парах изображений требуется сложная архитектура нейронной сети, которая бы позволила скомпенсировать плохое совмещение последовательно снятых кадров.

Положительные результаты изобретения

В соответствии с настоящим изобретением обеспечивается поддержка различных типов камер при получении наборов изображений и их юстировка, а также поддержка сохранности юстировки в процессе работы.

В соответствии с настоящим изобретением также обеспечивается получение наборов изображений для разных сценариев, таких как повышение разрешения, повышение детализации, демозаика.

В соответствии с настоящим изобретением также обеспечивается применимость изобретения для движущихся сцен и сценария устранения размытия.

В соответствии с настоящим изобретением также обеспечивается отсутствие постобработки для финального совмещения изображений, либо применение только глобальных преобразований к эталонным изображениям в наборе (что позволяет избежать возникновения локальных геометрических артефактов), тогда как изображения, подаваемые на вход нейросети, остаются в исходном виде.

Также обеспечивается возможность юстировки системы независимо от сцены, благодаря чему имеется возможность применения изобретения для решения широкого круга задач.

Сущность изобретения

Предлагается самоюстирующееся устройство, предназначенное для получения наборов изображений с помощью N цифровых камер, где N≥2, оптически сопряженных через N-1 светоделителей, которое бы позволяло размещать на нем любые N камер с любыми креплениями, а именно - одну или несколько эталонных камер, снимающих изображения хорошего качества, и одну или несколько целевых камер, снимающих изображения низкого качества. Камеры крепятся на регулируемых держателях, обеспечивающих линейные и поворотные перемещения. Юстировочный модуль с высокой точностью управляет держателями, осуществляя юстировку системы с использованием характерных точек, захваченных в снимаемой сцене, на юстировочной мишени или с использованием модуля имитации юстировочной мишени, чтобы изначально как можно точнее совместить изображения средствами устройства за счет сдвигов, наклонов и поворотов камер и тем самым свести к минимуму постобработку для финального совмещения изображений. Управление камерами осуществляет модуль управления.

Также предлагается способ получения наборов изображений с помощью данного устройства, которые могут использоваться для обучения моделей улучшения качества изображений на основе нейросетей.

Варианты осуществления

В одном варианте осуществления изобретения охарактеризовано устройство для получения наборов изображений, содержащее: N цифровых камер, где N≥2, в том числе одну или более эталонных камер, снимающих эталонные изображения хорошего качества, и одну или более целевых камер, снимающих целевые изображения низкого качества, закрепленных на упомянутом устройстве и оптически сопряженных с помощью N-1 светоделителей, причем по меньшей мере N-1 камера установлена на автоматически регулируемых держателях, юстировочный модуль, используемый для юстировки по меньшей мере N-1 камеры из числа N камер на основе N изображений сцены, причем юстировка осуществляется при помощи приведения в действие регулируемых держателей, на которых установлены упомянутые N-1 камеры, систему синхронизации цифровых камер для съемки изображений, модуль управления для управления цифровыми камерами и обеспечения связи между отдельными частями устройства и получения наборов из N изображений, причем модуль управления выдает команду юстировочному модулю произвести юстировку по меньшей мере N-1 камер на основе изображений сцены.

В дополнительном варианте осуществления изобретения модуль управления дополнительно осуществляет калибровку цветопередачи N-1 камер для приведения цветов эталонных изображений в соответствие цветам целевых изображений.

В дополнительном варианте осуществления изобретения модуль управления дополнительно рассчитывает коэффициенты необходимых полиномиальных преобразований для приведения эталонных изображений в соответствие целевым изображениям по пространственным координатам, и применяет полиномиальные преобразования к упомянутым эталонным изображениям для их более точного пространственного совмещения с целевыми изображениями.

В дополнительном варианте осуществления изобретения оптически сопряженные камеры с одинаковыми объективами и одинаковыми приемниками излучения формируют идентичные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением в центральной области изображения.

В дополнительном варианте осуществления изобретения оптически сопряженные камеры с одинаковыми объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

В дополнительном варианте осуществления изобретения оптически сопряженные камеры с разными объективами и одинаковыми приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

В дополнительном варианте осуществления изобретения оптически сопряженные камеры с разными объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

В дополнительном варианте осуществления изобретения по меньшей мере один оптический фильтр может быть вставлен перед по меньшей мере одной камерой для независимого изменения светового потока за счет ослабления или спектральной фильтрации или фильтрации по поляризации в по меньшей мере одном оптическом канале устройства.

В другом варианте осуществления изобретения охарактеризовано устройство для получения наборов изображений, содержащее: N цифровых камер, где N≥2, в том числе одну или более эталонных камер, снимающих эталонные изображения хорошего качества, и одну или более целевых камер, снимающих целевые изображения низкого качества, закрепленных на упомянутом устройстве и оптически сопряженных с помощью N-1 светоделителей, причем по меньшей мере N-1 камера установлена на автоматически регулируемом держателе, модуль имитации мишени, формирующий мнимые изображения юстировочной мишени на двух заданных расстояниях, и содержащий два фокусируемых имитатора юстировочной мишени, которые оптически сопряжены через светоделитель, каждый из которых состоит из источника света, тест-объекта и коллимирующей системы, юстировочный модуль, используемый для юстировки по меньшей мере N-1 камеры из числа N камер на основе N изображений мнимой юстировочной мишени, причем юстировка осуществляется при помощи приведения в действие регулируемых держателей, на которых установлены упомянутые N-1 камеры, систему синхронизации камер для съемки изображений, модуль управления для управления камерами и обеспечения связи между отдельными частями устройства, выполненный с возможностью выдавать системе синхронизации камер команды на синхронизацию при захвате набора изображений, причем модуль управления выполнен с возможностью выдавать команды юстировочному модулю производить юстировку по меньшей мере N-1 камер из числа N камер на основе изображений мнимой юстировочной мишени, задавать параметры съемки для камер.

В дополнительном варианте осуществления изобретения модуль управления осуществляет калибровку цветопередачи N-1 камер для приведения цветов эталонных изображений в соответствие цветам целевых изображений.

В дополнительном варианте осуществления изобретения модуль управления дополнительно рассчитывает коэффициенты необходимых полиномиальных преобразований для приведения эталонных изображений в соответствие целевым изображениям по пространственным координатам, и применяет полиномиальные преобразования к упомянутым эталонным изображениям для их более точного пространственного совмещения с целевыми изображениями.

В дополнительном варианте осуществления изобретения оптически сопряженные камеры с одинаковыми объективами и одинаковыми приемниками излучения формируют идентичные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением в центральной области изображения.

В дополнительном варианте осуществления изобретения оптически сопряженные камеры с одинаковыми объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с высоким пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

В дополнительном варианте осуществления изобретения оптически сопряженные камеры с разными объективами и одинаковыми приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с высоким пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

В дополнительном варианте осуществления изобретения оптически сопряженные камеры с разными объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с высоким пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

В дополнительном варианте осуществления изобретения по меньшей мере один оптический фильтр может быть вставлен перед по меньшей мере одной камерой для независимого изменения светового потока в по меньшей мере одном оптическом канале устройства.

В другом варианте осуществления изобретения охарактеризован способ получения наборов изображений, содержащий этапы, на которых фокусируют на требуемое расстояние N цифровых камер, где N≥2, образующих систему цифровых камер и требующих фокусировки, оптически сопряженных с помощью светоделителя; производят юстировку системы из N цифровых камер, где N≥2, оптически сопряженных с помощью N-1 светоделителей, причем упомянутая система из N цифровых камер включает в себя одну или более эталонных камер, снимающих эталонные изображения хорошего качества, и одну или более целевых камер, снимающих целевые изображения низкого качества, с использованием выбранного алгоритма для достижения хорошего совмещения изображений в центральной области, где оптические аберрации малы; с помощью оптически сопряженных цифровых камер формируют оптические изображения одной и той же сцены с хорошим пространственным совмещением в центральной области изображения; получают набор из N изображений с системы из N цифровых камер с синхронизацией по времени начала съемки с разными параметрами съемки.

В дополнительном варианте осуществления изобретения параметры синхронизации задаются таким образом, что по меньшей мере одна камера из числа N камер имеет длинную экспозицию, а остальные камеры из числа N камер имеют короткую экспозицию, начало которой смещено относительно начала длинной экспозиции на требуемую величину.

В дополнительном варианте осуществления изобретения предварительно осуществляют регистрацию набора изображений калибровочной цветовой мишени; на основе этих изображений рассчитывают матрицу цветокоррекции, позволяющую привести цвета всех изображений в наборе к цветам одного изображения в наборе; на основе рассчитанной матрицы цветокоррекции осуществляют цветокоррекцию всех зарегистрированных изображений в наборе кроме одного.

В дополнительном варианте осуществления изобретения рассчитывают коэффициенты необходимых полиномиальных преобразований для приведения эталонных изображений в наборе в соответствие целевым изображениям по пространственным координатам; применяют упомянутые полиномиальные преобразования к эталонным изображениям в наборе для их более точного пространственного совмещения с целевыми изображениями.

В дополнительном варианте осуществления изобретения с помощью оптически сопряженных камер с одинаковыми объективами и одинаковыми приемниками излучения формируют идентичные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением в центральной области изображения.

В дополнительном варианте осуществления изобретения с помощью оптически сопряженных камер с одинаковыми объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

В дополнительном варианте осуществления изобретения с помощью оптически сопряженных камер с разными объективами и одинаковыми приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

В дополнительном варианте осуществления изобретения с помощью оптически сопряженных камер с разными объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

В дополнительном варианте осуществления изобретения изменяют световой поток для по меньшей мере одной из цифровых камер с помощью оптического фильтра, устанавливаемого перед по меньшей мере одной из цифровых камер, осуществляя тем самым ослабление или спектральную фильтрацию или фильтрацию по поляризации светового потока.

В еще одном варианте осуществления изобретения охарактеризовано устройство для получения наборов изображений, содержащее:

две цифровые камеры, в том числе одну эталонную камеру, снимающую эталонные изображения хорошего качества, и одну целевую камеру, снимающую целевые изображения низкого качества, закрепленных на упомянутом устройстве и оптически сопряженных с помощью светоделителя, причем

по меньшей мере одна камера установлена на автоматически регулируемых держателях,

юстировочный модуль, используемый для юстировки по меньшей мере одной камеры на основе двух изображений сцены, причем юстировка осуществляется при помощи приведения в действие регулируемых держателей, на которых установлены упомянутые камеры,

систему синхронизации цифровых камер для съемки изображений,

модуль управления для управления цифровыми камерами и обеспечения связи между отдельными частями устройства и получения наборов изображений,

причем модуль управления выдает команду юстировочному модулю произвести юстировку по меньшей мере одной камеры на основе изображений сцены.

Краткое описание чертежей

Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в последующем описании, иллюстрируемом чертежами, на которых представлено следующее:

Фиг. 1 схематично иллюстрирует предлагаемое устройство для получения наборов изображений в конфигурации с двумя камерами.

Фиг. 2 иллюстрирует функциональную схему заявленного устройства в конфигурации с двумя камерами, обеспечивающего автоматическую юстировку по наблюдаемой сцене.

Фиг. 3 иллюстрирует схему работы юстировочного модуля.

Фиг. 4 иллюстрирует пример юстировочной мишени с двумя плоскостями.

Фиг. 5 иллюстрирует оптическую схему заявленного устройства в конфигурации с двумя камерами, реализующего режим юстировки по мнимой мишени.

Фиг. 6 схематично иллюстрирует предлагаемое устройство в конфигурации с N камерами.

Подробное описание изобретения

Фиг. 1 схематично иллюстрирует предлагаемое устройство для получения наборов изображений, содержащее две цифровые камеры (2 и 3), оптически сопряженные через светоделитель (1). В зависимости от решаемой задачи возможны различные комбинации камер, а именно: камеры с одинаковыми объективами и одинаковыми матричными приемниками излучения, камеры с одинаковыми объективами и разными приемниками излучения, камеры с разными объективами и одинаковыми приемниками излучения, камеры с разными объективами и разными приемниками излучения. При этом по меньшей мере одна камера крепится на регулируемых держателях (21), управляемых юстировочным модулем (4), и обеспечивающих линейные и поворотные перемещения, приводимых в действие юстировочным модулем (4). Также возможны варианты, когда обе камеры (2 и 3), либо одна камера и светоделитель, либо обе камеры (2 и 3) и светоделитель (1) крепятся на регулируемых держателях (21). Юстировочный модуль (4) выполняет автоматическое совмещение изображений с двух камер за счет юстировки по алгоритму, основанному на сопоставлении положения характерных точек на двух изображениях. Эти точки могут браться из сцены (менее точно), либо с юстировочной мишени с двумя плоскостями (более точно, но нужна физическая мишень), либо с мнимой мишени, сформированной модулем имитации мишени (9). Камеры синхронизируются для съемки при помощи системы синхронизации (6) (например, с использованием электрического и/или оптического триггера, протокола сетевого времени), которая позволяет согласовать моменты начала съемки между камерами для съемки в режиме ведущая камера-ведомая камера в соответствии с настройками, полученными от модуля управления непосредственно, либо через ведущую камеру, в зависимости от реализации системы синхронизации (6). В случае использования системы синхронизации (6), сигнал на съемку от модуля управления (5) подается на одну из камер (так называемая ведущая камера). Это камера выдает команду на съемку второй камере (так называемой ведомой камере, одной или нескольким) либо через триггер, либо по сетевому протоколу. На фиг.1 в качестве ведущей камеры изображена камера 1 (2), которая выдает ведомой камере 2 (3) команду на съемку путем подачи сигнала синхронизации в систему синхронизации (6), которая затем выдает пусковой сигнал камере 2 (3).

Также возможно снимать и без использования системы синхронизации, тогда обе камеры будут получать команду на съемку непосредственно с модуля управления (5). Но в этом случае изображения не будут согласованы во времени, что особенно хорошо заметно на движущихся объектах. Такой вариант подходит только для статических сцен. Система синхронизации позволяет учесть разницу во времени обработки управляющего сигнала/отработки камер и правильно расставить задержки съемки на каждой камере, чтобы в итоге они снимали в один момент глобального времени или с требуемой задержкой друг относительно друга.

В оптические каналы устройства могут быть вставлены оптические фильтры (7 и 8) для независимого изменения светового потока, приходящего на камеры. Модуль управления (5) управляет камерами (2 и 3), управляет системой синхронизации (6), обеспечивает связь между отдельными частями устройства, передает отснятые изображения с обеих камер (2 и 3) в юстировочный модуль (4), который управляет регулируемыми держателями (21) камер.

При функционировании данного устройства осуществляется способ получения наборов изображений с различными сочетаниями объективов и/или приемников излучения и/или фильтров с настраиваемой синхронизацией и, при необходимости, очень простой постобработкой только эталонных изображений в наборе изображений, которая может включать в себя применение цветокоррекции и полиномиальных преобразований. Способ получения наборов изображений заключается в том, что:

Сперва камеры, которые требуют фокусировки, фокусируют на требуемое расстояние. Производят юстировку устройства с использованием выбранного алгоритма для достижения хорошего совмещения изображений в центральной области, где оптические аберрации малы. Юстировку по мере необходимости повторяют в процессе съемки.

С помощью одинаковых оптически сопряженных камер (2 и 3) формируют по меньшей мере два идентичных по параметрам оптических изображения (с одинаковым увеличением, разрешением и пр.) одной и той же сцены с хорошим пространственным совмещением.

Осуществляют регистрацию наборов изображений с синхронизацией по времени начала съемки с разными параметрами съемки (экспозиция, коэффициент усиления аналого-цифрового преобразователя). Параметры синхронизации задаются исходя из задачи: по меньшей мере две камеры (2 и 3) снимают синхронно, либо по меньшей мере одна из камер имеет длинную экспозицию, а остальные короткую, начало которой смещено относительно начала длинной на требуемую величину. Полученные наборы изображений используют для таких задач, как, например, повышение детализации изображений, устранение размытия и шумоподавление.

В дополнительном варианте осуществления данного способа производят дополнительную калибровку цветопередачи, при этом регистрируют набор изображений калибровочной цветовой мишени, затем на основе этих изображений рассчитывают матрицу цветокоррекции, позволяющую привести цвета всех изображений в наборах к цветам одного изображения в наборе.

В дополнительном варианте осуществления данного способа для набора изображений рассчитывают коэффициенты необходимых полиномиальных преобразований для приведения изображений эталонных камер в наборе в соответствие изображениям целевых камер в наборе по пространственным координатам, применяют полиномиальные преобразования к изображениям с эталонных камер в наборе для более точного совмещения изображений.

В дополнительном варианте осуществления данного способа с помощью оптически сопряженных камер (2 и 3) с одинаковыми объективами и разными приемниками излучения формируют различные по параметрам оптические изображения, обладающие разным разрешением, одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения. Полученные наборы изображений используют для таких задач, как, например, повышение разрешения изображения.

В дополнительном варианте осуществления данного способа с помощью оптически сопряженных камер (2 и 3) с разными объективами и одинаковыми приемниками излучения формируют различные по параметрам оптические изображения, обладающие разным увеличением, одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения. Полученные наборы изображений используют для таких задач, как, например, повышение разрешения изображения.

В дополнительном варианте осуществления данного способа с помощью оптически сопряженных камер (2 и 3) с разными объективами и разными приемниками излучения формируют различные по параметрам оптические изображения, обладающие разным увеличением и разным разрешением, одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения. Полученные наборы изображений используют для задач, как, например, повышение разрешения изображения.

В дополнительном варианте осуществления данного способа изменяют световой поток для по меньшей мере одной из камер (2 и/или 3) с помощью фильтра/фильтров (7 и/или 8), устанавливаемых в оптических каналах устройства перед камерой/камерами (2 и/или 3), осуществляя тем самым ослабление или спектральную фильтрацию или фильтрацию по поляризации.

Таким образом, как представлено на Фиг. 1, первой ключевой особенностью настоящего изобретения является наличие юстировочного модуля, обеспечивающего автоматическую юстировку устройства по наблюдаемой сцене.

На фиг. 2 показана функциональная схема заявленного устройства в конфигурации с двумя камерами (2 и 3), обеспечивающего автоматическую юстировку по наблюдаемой сцене при помощи юстировочного модуля. Схема, представленная на фиг. 2 отличается от схемы, представленной на фиг. 1, отсутствием модуля имитации мишени (9). На фиг. 2 цифрами обозначено следующее:

2А - Сцена с объектами, либо с юстировочной мишенью, включающей две плоскости.

2Б - Световой пучок, переносящий изображение, поступает на светоделитель (1), который разделяет его на два пучка.

2В - Пучки направляются в первую камеру (2) и вторую камеру (3) соответственно, где они формируют изображения сцены на матричных приемниках излучения каждой из камер (2 и 3).

2Г - По команде с модуля управления (5) происходит регистрация двух изображений и их передача с каждой из камер (2 и 3) в модуль управления (5).

2Д - Модуль управления (5) передает зарегистрированные изображения в юстировочный модуль (4), если пользователь намеревается отъюстировать устройство; юстировочный модуль (4) осуществляет детектирование характерных точек наблюдаемой сцены, присутствующих на обоих зарегистрированных изображениях.

При этом модуль управления (5) позволяет пользователю выбрать режим юстировки:

(1) режим юстировки по характерным точкам (элементам), найденным на сцене, использует характерные точки, принадлежащие объектам, расположенным в поле зрения устройства, осуществляя автоматический поиск общих характерных точек, присутствующих на обоих изображениях; достоинством этого режима является то, что для него не требуется помещать перед устройством специальные юстировочные мишени, а характерные точки берутся с объектов из поля зрения камер (2 и 3); однако для некоторых сцен найти хорошо детектируемые характерные точки может быть затруднительно, что сужает область применения данного режима; также возможен случай, когда эти точки будут неравномерно распределены в пространстве сцены, а, значит, точность расчета смещения и поворотов камер (2 и 3) на основе таких разреженных неравномерных точек будет ниже;

(2) режим юстировки с использованием юстировочной мишени, содержащей заранее известный паттерн, на котором легко определяются характерные элементы, и состоящей из двух плоскостей на разном удалении, размещаемой перед устройством; этот режим требует размещения перед устройством юстировочной мишени с заранее известным паттерном, на котором будет произведен поиск характерных точек/элементов; достоинством этого режима является то, что юстировочная мишень выполняется таким образом, что ее очень легко задетектировать в поле зрения устройства и она обеспечивает равномерное заполнение поля зрения характерными точками, которые можно определить с высокой точностью, так как паттерн (т.е. рисунок на мишени) заранее известен и подбирается специально для этой задачи, а значит точность оценки перемещений с помощью такой мишени будет выше; недостатком данного режима является то, что для него необходимо иметь физическую юстировочную мишень, которую нужно специально размещать в пространстве сцены;

(3) режим юстировки по мнимой мишени использует модуль (9) имитации юстировочной мишени (режим доступен только для конфигурации фиг. 1) для построения в произвольном месте сцены мнимого изображения мишени; достоинством этого режима является то, что форма мнимой юстировочной мишени выбирается таким образом, чтобы ее было очень легко задетектировать, и с помощью такого подхода можно отъюстировать систему независимо от наблюдаемой сцены (даже когда в поле зрения вообще нет никаких объектов), что увеличивает надежность функционирования способа.

Юстировочный модуль (4) рассчитывает, согласно выбранному пользователем режиму, разность координат характерных точек между двумя изображениями; в случае, если эта разность превышает заданный порог, юстировочный модуль (4) рассчитывает необходимые смещения и повороты камер для ее минимизации.

Механизм сравнения координат характерных точек подробно описан ниже. В целом сравнение осуществляется путем расчета разностей координат этих точек, а также отношений расстояний между этими точками на двух изображениях. Направление перемещения камер выбирается таким, чтобы минимизировать разницу координат.

2Е - Юстировочный модуль (4) передает необходимые команды управления на подвижные держатели (21) камер (или камер (2 и 3) и светоделителя (1)), чтобы выровнять оптические оси, углы поворота приемников излучения и входные зрачки камер (2 и 3).

После завершения юстировки пользователь запускает процедуру получения набора изображений с необходимыми для решаемой задачи настройками; в дальнейшем полученный набор изображений используется для обучения моделей на основе нейросетей для улучшения качества изображений.

Благодаря вышеозначенным действиям достигается возможность автоматической юстировки для различных сочетаний камер (2 и 3) и поддержания сохранности юстировки (т.е. осуществления переюстировки по мере необходимости) во время работы.

Возвращаясь к фиг. 1, отметим, что второй ключевой особенностью настоящего изобретения является наличие модуля (9) имитации юстировочной мишени, обеспечивающего возможность проведения юстировки системы независимо от сцены.

Как указано выше, на фиг. 1 показана функциональная схема заявленного устройства в конфигурации с двумя камерами (2 и 3), с подробно показанным модулем (9) имитации юстировочной мишени, включающим в себя два оптически сопряженных имитатора мишени (11 и 12), строящих два мнимых изображения мишени на разном расстоянии перед устройством, на которой обозначено следующее:

1А - Если пользователем выбран режим юстировки по мнимой мишени, входное окно устройства закрывается первым непрозрачным экраном (13), а путь к модулю (9) имитации мишени открывается путем выведения второго непрозрачного экрана (14) из хода лучей.

1Б - Юстировочный модуль (4) отправляет модулю (9) имитации мишеней команды на включение источников света имитаторов мишеней (11 и 12) и на фокусировку для создания мнимых мишеней на требуемых расстояниях.

1В - Световой пучок, переносящий изображения двух мнимых мишеней из модуля (9) имитации мишени, поступает на светоделитель (1), где он делится на два пучка.

1Г - Пучки от светоделителей (1 и 10) поступают на камеру 1 (2) и камеру 2 (3) соответственно.

1Д - По команде с модуля управления (5) происходит регистрация двух изображений и их передача с каждой из камер (2 и 3) в модуль управления (5).

1Е - Модуль управления (5) передает изображения в юстировочный модуль (4), если пользователь намеревается отъюстировать систему. Юстировочный модуль (4) рассчитывает требуемое направление смещения камер (2 и 3) на основе характерных точек, обнаруженных согласно выбранному пользователем режиму юстировки.

1Ж - Юстировочный модуль (4) передает необходимые команды управления на подвижные регулируемые держатели (21) камер (или камер (2 и 3) и светоделителя (1)), чтобы совместить оптические оси, углы поворота приемников излучения и входные зрачки камер (2 и 3).

После завершения юстировки источники света модуля (9) имитации мишени выключаются; экран (14), блокирующий модуль имитации мишени, вводится в ход лучей; экран (13), блокирующий сцену, выводится из хода лучей. Пользователь запускает получение наборов изображений с необходимыми для решаемой задачи настройками; в дальнейшем полученный набор изображений используется для глубокого обучения моделей для улучшения качества изображений.

Благодаря вышеозначенным действиям с использованием модуля имитации мишеней достигается возможность юстировки устройства независимо от сцены.

На фиг. 3 показана схема работы юстировочного модуля (3) в конфигурации устройства с двумя камерами (2 и 3).

Автоматизированные регулируемые держатели должны обеспечивать как минимум 6 степеней свободы для совмещения изображений за счет юстировки камер (2 и 3):

1) Смещение камеры 1 (2) по оси Y1 или смещение камеры 2 (3) по оси Y2;

2) Смещение камеры 1 (2) по оси X1 или смещение камеры 2 (3) по оси X2;

3) Смещение камеры 1 (2) по оси Z1 или смещение камеры 2 (3) по оси Z2;

4) Поворот камеры 1 (2) вокруг оси X1 или поворот камеры 2 (3) вокруг оси X2 (или поворот светоделителя (1) вокруг оси Z0);

5) Поворот камеры 1 (2) вокруг оси Y1 или поворот камеры 2 (3) вокруг оси Y2 (или поворот светоделителя (1) вокруг оси Y0)

6) Поворот камеры 1 (2) вокруг оси Z1 или поворот камеры 2 (3) вокруг оси Z2

Следует отметить, что повороты светоделителя (1) возможны посредством выдачи команд на поворот светоделителя (1), но не желательны, так как предпочтительно иметь общий неподвижный компонент для оптических каналов устройства.

Модуль управления (5) инициирует съемку камерами сцены и отправляет полученные изображения в юстировочный модуль (4). Юстировочный модуль (4) вычисляет несовпадение между системами координат XYZ камер (2 и 3) и управляет регулируемыми держателями для их совмещения посредством выдачи команд на сдвиг/поворот камеры 1 (2) и команд на сдвиг/поворот камеры 2 (3).

Возвращаясь к упомянутым выше трем режимам юстировки, следует отметить следующее.

(1) Первый вариант выбора режима юстировки пользователем - режим юстировки по характерным точкам, найденным на сцене.

Юстировка на основе сцены, выполняемая юстировочным модулем (4), использует характерные точки, найденные в сцене. Для этого требуется протяженная в глубину сцена с характерными точками, равномерно распределенными в пределах поля зрения устройства.

Модуль управления (5) осуществляет фокусировку камер на требуемом расстоянии. При отсутствии у камер (2 и/или 3) функции автофокусировки или электронного управления фокусировкой, фокусировку вручную производит пользователь.

Юстировочный модуль (4) обеспечивает следующие этапы юстировки:

1) Обнаружение соответствующих друг другу характерных точек, присутствующих на обоих изображениях;

2) Вычисление коэффициента масштабирования как отношения расстояний между соответствующими точками на первом и втором изображениях. Этот коэффициент можно учитывать при расчете смещений, либо можно произвести изменение размера одного из изображений для подгонки масштабов.

3) Установку одинаковой разности вертикальных координат y совпадающих характерных точек Δy при помощи вертикального смещения одной из камер (2 или 3), с последующей минимизацией Δy поворотом одной из камер (2 или 3) относительно горизонтальной оси (или аналогичным поворотом светоделителя (1)).

4) Установку одинаковой разности горизонтальных координат x совпадающих характерных точек Δx при помощи горизонтального смещения одной из камер (2 или 3), с последующей минимизацией Δx поворотом одной из камер (2 или 3) вокруг вертикальной оси (или аналогичным поворотом светоделителя (1)).

5) Поворот одной из камер вокруг оптической оси для согласования углов поворота приемников излучения камер.

6) Установку оптимального осевого положения путем перемещения одной из камер (2 или 3) вдоль ее оптической оси таким образом, чтобы добиться постоянства коэффициента масштабирования в пределах глубины сцены.

При этом этапы 2)-6) не обязательно выполняются в указанном порядке и могут повторяться итерациями.

Благодаря вышеозначенным действиям достигается возможность автоматического выравнивания изображений по сцене без применения мишеней.

(2) Второй вариант выбора режима юстировки пользователем - режим юстировки по реальной мишени. Юстировка по реальной мишени обеспечивает более высокую точность, поскольку мишени для юстировки гарантированно равномерно распределяются в пределах поля зрения устройства и известны заранее.

Для этого требуется составная юстировочная мишень, включающая две мишени, установленные на разных удалениях от устройства, как показано в верхней части Фиг. 4.

Мишень передней плоскости, расположенная ближе к устройству, содержащая юстировочный паттерн (например, круги), позволяет видеть мишень задней плоскости, расположенную дальше от устройства) с юстировочным паттерном. Юстировочный паттерн выбирается таким образом, чтобы его было легко обнаружить и по нему можно было рассчитать координаты характерных элементов с высокой точностью.

Юстировочные мишени устанавливаются таким образом, чтобы плоскость фокусировки камер была между ними, либо на одной из них.

Модуль управления осуществляет фокусировку камер на требуемом расстоянии. При отсутствии у камер (2 и 3) функции автофокусировки или электронного управления фокусировкой, фокусировку вручную производит пользователь.

Юстировочный модуль (4) при этом режиме обеспечивает следующие этапы юстировки:

1) Детектирование характерных элементов юстировочных паттернов на изображениях с обеих камер (2 и 3) с высокой точностью; при этом на каждом изображении присутствуют юстировочные паттерны, принадлежащие юстировочным мишеням передней и задней плоскостей, например мишень передней плоскости занимает II и IV координатные четверти, а мишень задней плоскости - I и III координатные четверти в поле зрения камер, как показано на Фиг. 5; это требуется для совмещения оптических осей камер (2 и 3) в пространстве.

На Фиг. 4 в нижней части показан возможный вид изображений с неотъюстированных камер, на котором видно, что юстировочные мишени в полях зрения камер (2 и 3) представлены неодинаковым образом - смещены и/или наклонены друг относительно друга.

2) Вычисление коэффициента масштабирования как отношения расстояний между соответствующими элементами юстировочного паттерна на первом и втором изображениях для одной из мишеней (либо мишени передней плоскости, либо мишени задней плоскости). Этот коэффициент можно учитывать при расчете смещений, либо можно произвести изменение размера одного из изображений для подгонки масштабов изображений.

3) Установку одинаковой разности вертикальных координат Δy для соответствующих элементов юстировочного паттерна путем вертикального смещения одной из камер (2 или 3), с последующей минимизацией Δy поворотом одной из камер (2 или 3) относительно горизонтальной оси (или поворотом светоделителя (1)).

4) Установку одинаковой разности горизонтальных координат Δx для соответствующих элементов юстировочного паттерна путем горизонтального смещения одной из камер (2 или 3), с последующей минимизацией Δx поворотом одной из камер (2 или 3) относительно вертикальной оси (или поворотом светоделителя (1)).

5) Поворот одной из камер (2 или 3) вокруг оптической оси для согласования углов поворота приемников излучения камер (2 или 3).

6) Установку оптимального осевого положения путем перемещения одной из камер (2 или 3) вдоль ее оптической оси таким образом, чтобы минимизировать разность коэффициентов масштабирования для мишени передней плоскости и мишени задней плоскости.

При этом этапы 2)-3) не обязательно выполняются в указанном порядке и могут повторяться итерациями.

Благодаря вышеозначенным действиям достигается большая надежность и точность по сравнению с первым режимом.

(3) Третий вариант выбора режима юстировки пользователем - режим юстировки по мнимой мишени.

На Фиг. 5 проиллюстрирована оптическая схема заявленного устройства, реализующая режим юстировки по мнимой мишени. Данное устройство в целом аналогично устройству согласно первому и второму вариантам выбора режима юстировки пользователем, но дополнительно включает в себя модуль (9) имитации юстировочной мишени, который имитирует мишени в поле зрения системы камер заявленного устройства, причем:

Модуль (9) имитации мишени содержит два фокусируемых имитатора юстировочной мишени (2 или 3), оптически сопряженных через светоделители (1 и 10), каждый из которых включает в себя источник света, тест-объект и коллимирующую систему. Имитаторы мишени (11 и 12) строят мнимые изображения своих тест-объектов (мишеней), подсвеченных источниками света, на двух заданных расстояниях перед системой из двух камер (2 и 3), таким образом имитируя мишень из двух плоскостей (мишень передней плоскости и мишень задней плоскости). Расстояния, на которых строятся мнимые изображения мишеней, выбираются аналогично предыдущему случаю - чтобы плоскость фокусировки камер (2 и 3) была между ними, либо на одном из них.

Форма мнимых мишеней (тест-объектов) выбирается так, чтобы их было легко детектировать и по ним можно было рассчитывать все необходимые для юстировки камер разности координат/отношения. В частности, на фиг. 5 в ее правой части показано возможное отображение мнимых мишеней, в иллюстративных целях изображенных в виде крестов, когда система не отъюстирована.

Юстировочный модуль (5) управляет регулируемыми держателями (21) камер с помощью алгоритма, минимизирующего разницу положения калибровочных мишеней на изображениях с двух камер (2 и 3). Этапы управления аналогичны тем, которые были описаны выше применительно ко второму варианту выбора режима юстировки пользователем.

На время юстировки непрозрачный экран 2 (14) выводится из хода лучей, источники света имитаторов (11 и 12) включаются. После проведения юстировки источники света имитаторов выключаются, а модуль (9) имитации юстировочной мишени перекрывается подвижным непрозрачным экраном 2 (14).

При этом имеется дополнительный вариант осуществления третьего варианта выбора режима юстировки пользователем, при котором на время юстировки непрозрачный экран 2 (14) убирается из хода лучей, сцена перекрывается непрозрачным экраном 1 (13), источники света имитаторов (11 и 12) включаются. После проведения юстировки источники света имитаторов (11 и 12) выключаются, модуль (9) имитации юстировочной мишени перекрывается подвижным непрозрачным экраном 2 (14), а непрозрачный экран 1 (13) выводится из хода лучей. Перекрытие сцены на время юстировки с помощью экрана 1 (13) облегчает детектирование мнимых юстировочных мишеней, которые в этом случае будут наблюдаться на темном фоне, а не поверх реальной сцены, как показано в правой части Фиг. 6 справа и слева соответственно.

Благодаря вышеозначенным действиям достигается возможность автоматического выравнивания камер, независимая от наличия в сцене характерных точек и не требующая применения физических мишеней.

Фиг. 6 схематично иллюстрирует предлагаемое устройство для получения наборов изображений содержащее N цифровых камер, N>2. Следует отметить, что по принципу действия схема, представленная на Фиг. 6 в целом аналогична схеме, представленной на Фиг. 1, однако представляет собой ее модификацию, в которой задействованы не две цифровые камеры (2 и 3), а N цифровых камер (2, 3, 14, 15), обозначенных на Фиг. 6 цифрами 1, 2, 3, … N, причем N>2, оптически сопряженных через N-1 светоделитель (20). При необходимости для выравнивания длин оптических путей в каналах устройства, т.е. компенсации разницы толщины материала светоделителей (1, 19, 20) на пути от входа в устройство до камеры (2, 3, 14, 15), в каналы устройства могут быть введены компенсаторы разности хода (17 и 18), представляющие собой плоскопараллельные пластины.

Количество камер N, которое может быть установлено в систему, ограничено технологическими соображениями.

Так, в частности, с увеличением длины оптического пути в материале светоделителей (1, 19, 20) накапливаются аберрации. Для светоделителей в виде плоскопараллельных пластин они невелики и при разумной длине системы будут незаметны. Для компенсации аберраций могут быть использованы компенсаторы аберраций.

Еще одним ограничением является падение светопропускания системы с добавлением каждого нового светоделителя для пар камер, стоящих после него. Это обстоятельство может быть использовано для имитации работы камер при плохой освещенности. Однако если это не требуется, светопропускание может быть выровнено для всех камер с использованием ослабляющих светофильтров.

Кроме того, для сохранения поля зрения системы камер при добавлении новых камер и светоделителей необходимо, чтобы каждый последующий светоделитель по габаритам был в разы больше, чем предыдущий. На практике это труднодостижимо и светоделители имеют ограниченный размер, поэтому поле зрения системы будет уменьшаться с увеличением ее длины.

Возможные дополнительные варианты осуществления изобретения

Оптические изображения с одинаковыми или разными параметрами съемки с разным увеличением, разрешением и т.д. формируются в зависимости от конкретной поставленной задачи с различными комбинациями параметров камер в наборе камер, закрепленных на устройстве, а именно: камерами с одинаковыми объективами и одинаковыми матричными приемниками излучения, камерами с одинаковыми объективами и разными приемниками, камерами с разными объективами и одинаковыми приемниками, камерами с разными объективами и разными приемниками.

Оптический фильтр или фильтры (нейтральной плотности, спектральные, поляризационные) опционально могут быть вставлены перед по меньшей мере одной камерой для независимого изменения светового потока в оптических каналах заявленного устройства. Это может понадобиться, например, для имитации работы при низкой освещенности одной из камер - в этом случае перед ней ставится ослабляющий светофильтр.

Перед регистрацией наборов изображений дополнительно может выполняться регистрация набора изображений калибровочной цветовой мишени, т.е. фотографирование мишени, содержащей образцы различных цветов. На основе этих изображений рассчитывается матрица коррекции цвета и/или яркости, которая позволяет привести цвета и яркость всех изображений в наборе к цветам и яркости одного изображения в наборе, и тем самым скомпенсировать разницу в цветопередаче и яркости различных камер в наборе камер, закрепленных на устройстве.

Также дополнительно могут вычисляться коэффициенты необходимых полиномиальных преобразований. Вычисленные коэффициенты преобразований могут применяться к изображениям с эталонных камер в наборе для более точного пространственного совмещения наборов изображений, причем за счет того, что полиномиальные преобразования являются глобальными, а не локальными, они применяются ко всему изображению, а не к отдельным его частям, что предотвращает появление нежелательных артефактов изображений, описанных выше при описании проблем, не решенных в уровне техники.

Благодаря настоящему изобретению становится возможной поддержка различных типов камер и их автоматическая юстировка для получения наборов изображений, причем, что особенно важно, становится возможным поддерживать состояние юстировки во время работы при регистрации набора изображений.

Постобработка изображений при использовании настоящего изобретения незначительна, причем применяется не ко всем изображениям в наборе, в частности, применяется только к изображениям с эталонных камер, либо не производится вовсе, что зависит от разницы между характеристиками камер.

Настоящее изобретение подходит для различных сцен и сценариев глубокого обучения, в частности для движущихся объектов и сценария устранения размытия.

Благодаря настоящему изобретению становится возможным совмещение изображений за счет юстировки камер независимое от сцены.

Настоящее изобретение обеспечивает высокую (пиксельную) точность совмещения изображений для отдельных сценариев (в зависимости от степени разницы между камерами).

При этом в отношении наборов изображений, получаемых при осуществлении настоящего изобретения, следует отметить, что они имеют высокую точность совмещения изображений (вплоть до 1 пикселя для отдельных сценариев); позволяют обучать модели с простыми, легко интерпретируемыми функциями потерь благодаря тому, что на вход нейросети подается изображение низкого качества, а функция потерь при обучении сети является некой мерой разницы между изображением на выходе из сети и эталонным изображением более высокого качества, полученного с эталонной камеры; позволяют использовать модели с простой архитектурой, от которых не требуется компенсировать большую разницу между изображениями; могут быть использованы для большого круга задач (повышение разрешения, шумоподавление, устранение размытия изображения и т.д.); несут в себе незначительную постобработку или могут быть использованы без постобработки (в отдельных сценариях).

Настоящее изобретение поддерживает различные камеры без специального крепления, так как юстировочный модуль выполняет повторную юстировку во время работы, если это необходимо.

Настоящее изобретение подходит для получения наборов изображений для различных задач глубокого обучения, поскольку обеспечивает возможность независимого изменения светового потока в каналах устройства и синхронизацию между камерами.

Хотя изобретение описано в связи с некоторыми иллюстративными вариантами осуществления, следует понимать, что сущность изобретения не ограничивается этими конкретными вариантами осуществления. Напротив, предполагается, что сущность изобретения включает в себя все альтернативы, коррекции и эквиваленты, которые могут быть включены в сущность и объем формулы изобретения.

Кроме того, изобретение сохраняет все эквиваленты заявляемого изобретения, даже если пункты формулы изобретения изменятся в процессе рассмотрения заявки.

Изобретение относится к устройствам и способам получения наборов изображений. Самоюстирующееся устройство для получения наборов изображений содержит N камер, где N≥2, оптически сопряженных через N-1 светоделителей, которое бы позволяло размещать на нем камеры с любыми креплениями, а именно одну или несколько эталонных камер, снимающих изображение хорошего качества, и одну или несколько целевых камер, снимающих изображение низкого качества. Камеры крепятся на регулируемых держателях. Юстировочный модуль управляет держателями, осуществляя юстировку системы с использованием характерных точек/элементов, захваченных в снимаемой сцене, на юстировочной мишени или с использованием модуля имитации юстировочной мишени, чтобы изначально как можно точнее совместить изображения за счет сдвигов, наклонов и поворотов камер и тем самым свести к минимуму постобработку для финального совмещения изображений. Управление камерами осуществляет модуль управления. Наборы изображений, собранные с разными настройками, используются для обучения моделей улучшения качества изображений. Изобретение обеспечивает сохранность юстировки в процессе работы, получение наборов изображений для разных сценариев, с применимостью к движущимся сценам и сценариям устранения размытия. 4 н. и 22 з.п. ф-лы, 6 ил.

1. Устройство для получения наборов изображений, содержащее:

N цифровых камер, где N≥2, в том числе одну или более эталонных камер, снимающих эталонные изображения хорошего качества, и одну или более целевых камер, снимающих целевые изображения низкого качества, закрепленных на упомянутом устройстве и оптически сопряженных с помощью N-1 светоделителей, причем

по меньшей мере N-1 камера установлена на автоматически регулируемых держателях,

юстировочный модуль, используемый для юстировки по меньшей мере N-1 камеры из числа N камер на основе N изображений сцены, причем юстировка осуществляется при помощи приведения в действие регулируемых держателей, на которых установлены упомянутые N-1 камеры,

систему синхронизации цифровых камер для съемки изображений,

модуль управления для управления цифровыми камерами и обеспечения связи между отдельными частями устройства и получения наборов из N изображений,

причем модуль управления выдает команду юстировочному модулю произвести юстировку по меньшей мере N-1 камер на основе изображений сцены.

2. Устройство по п. 1, в котором модуль управления дополнительно:

осуществляет калибровку цветопередачи N-1 камер для приведения цветов эталонных изображений в соответствие цветам целевых изображений.

3. Устройство по любому из пп. 1, 2, в котором модуль управления дополнительно:

рассчитывает коэффициенты необходимых полиномиальных преобразований для приведения эталонных изображений в соответствие целевым изображениям по пространственным координатам, и применяет полиномиальные преобразования к упомянутым эталонным изображениям для их более точного пространственного совмещения с целевыми изображениями.

4. Устройство по любому из пп. 1-3, в котором дополнительно:

оптически сопряженные камеры с одинаковыми объективами и одинаковыми приемниками излучения формируют идентичные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением в центральной области изображения.

5. Устройство по любому из пп. 1-3, в котором дополнительно:

оптически сопряженные камеры с одинаковыми объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

6. Устройство по любому из пп. 1-3, в котором дополнительно:

оптически сопряженные камеры с разными объективами и одинаковыми приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

7. Устройство по любому из пп. 1-3, в котором дополнительно:

оптически сопряженные камеры с разными объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

8. Устройство по любому из пп. 1-7, в котором по меньшей мере один оптический фильтр может быть вставлен перед по меньшей мере одной камерой для независимого изменения светового потока за счет ослабления или спектральной фильтрации или фильтрации по поляризации в по меньшей мере одном оптическом канале устройства.

9. Устройство для получения наборов изображений, содержащее:

N цифровых камер, где N≥2, в том числе одну или более эталонных камер, снимающих эталонные изображения хорошего качества, и одну или более целевых камер, снимающих целевые изображения низкого качества, закрепленных на упомянутом устройстве и оптически сопряженных с помощью N-1 светоделителей, причем

по меньшей мере N-1 камера установлена на автоматически регулируемом держателе,

модуль имитации мишени, формирующий мнимые изображения юстировочной мишени на двух заданных расстояниях, и содержащий два фокусируемых имитатора юстировочной мишени, которые оптически сопряжены через светоделитель, каждый из которых состоит из источника света, тест-объекта и коллимирующей системы,

юстировочный модуль, используемый для юстировки по меньшей мере N-1 камеры из числа N камер на основе N изображений мнимой юстировочной мишени, причем юстировка осуществляется при помощи приведения в действие регулируемых держателей, на которых установлены упомянутые N-1 камеры,

систему синхронизации камер для съемки изображений,

модуль управления для управления камерами и обеспечения связи между отдельными частями устройства, выполненный с возможностью выдавать системе синхронизации камер команды на синхронизацию при захвате набора изображений,

причем модуль управления выполнен с возможностью выдавать команды юстировочному модулю производить юстировку по меньшей мере N-1 камер из числа N камер на основе изображений мнимой юстировочной мишени, задавать параметры съемки для камер.

10. Устройство по п. 9, в котором модуль управления дополнительно осуществляет:

калибровку цветопередачи N-1 камер для приведения цветов эталонных изображений в соответствие цветам целевых изображений.

11. Устройство по любому из пп. 9, 10, в котором модуль управления дополнительно:

рассчитывает коэффициенты необходимых полиномиальных преобразований для приведения эталонных изображений в соответствие целевым изображениям по пространственным координатам, и применяет полиномиальные преобразования к упомянутым эталонным изображениям для их более точного пространственного совмещения с целевыми изображениями.

12. Устройство по любому из пп. 9-11, в котором дополнительно:

оптически сопряженные камеры с одинаковыми объективами и одинаковыми приемниками излучения формируют идентичные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением в центральной области изображения.

13. Устройство по любому из пп. 9-11, в котором дополнительно:

оптически сопряженные камеры с одинаковыми объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с высоким пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

14. Устройство по любому из пп. 9-11, в котором дополнительно:

оптически сопряженные камеры с разными объективами и одинаковыми приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с высоким пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

15. Устройство по любому из пп. 9-11, в котором дополнительно:

оптически сопряженные камеры с разными объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с высоким пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

16. Устройство по любому из пп. 9-15, в котором по меньшей мере один оптический фильтр может быть вставлен перед по меньшей мере одной камерой для независимого изменения светового потока в по меньшей мере одном оптическом канале устройства.

17. Способ получения наборов изображений, содержащий этапы, на которых:

фокусируют на требуемое расстояние N цифровых камер, где N≥2, образующих систему цифровых камер и требующих фокусировки, оптически сопряженных с помощью светоделителя;

производят юстировку системы из N цифровых камер, где N≥2, оптически сопряженных с помощью N-1 светоделителей, причем упомянутая система из N цифровых камер включает в себя одну или более эталонных камер, снимающих эталонные изображения хорошего качества, и одну или более целевых камер, снимающих целевые изображения низкого качества, с использованием выбранного алгоритма для достижения хорошего совмещения изображений в центральной области, где оптические аберрации малы;

с помощью оптически сопряженных цифровых камер формируют оптические изображения одной и той же сцены с хорошим пространственным совмещением в центральной области изображения;

получают набор из N изображений с системы из N цифровых камер с синхронизацией по времени начала съемки с разными параметрами съемки.

18. Способ по п. 17, в котором параметры синхронизации задаются таким образом, что по меньшей мере одна камера из числа N камер имеет длинную экспозицию, а остальные камеры из числа N камер имеют короткую экспозицию, начало которой смещено относительно начала длинной экспозиции на требуемую величину.

19. Способ по любому из пп. 17, 18, в котором:

предварительно осуществляют регистрацию набора изображений калибровочной цветовой мишени;

на основе этих изображений рассчитывают матрицу цветокоррекции, позволяющую привести цвета всех изображений в наборе к цветам одного изображения в наборе;

на основе рассчитанной матрицы цветокоррекции осуществляют цветокоррекцию всех зарегистрированных изображений в наборе кроме одного.

20. Способ по любому из пп. 17-19, в котором:

рассчитывают коэффициенты необходимых полиномиальных преобразований для приведения эталонных изображений в наборе в соответствие целевым изображениям по пространственным координатам;

применяют упомянутые полиномиальные преобразования к эталонным изображениям в наборе для их более точного пространственного совмещения с целевыми изображениями.

21. Способ по любому из пп. 17-19, в котором:

с помощью оптически сопряженных камер с одинаковыми объективами и одинаковыми приемниками излучения формируют идентичные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением в центральной области изображения.

22. Способ по любому из пп. 17-19, в котором:

с помощью оптически сопряженных камер с одинаковыми объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

23. Способ по любому из пп. 17-19, в котором:

с помощью оптически сопряженных камер с разными объективами и одинаковыми приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

24. Способ по любому из пп. 17-19, в котором:

с помощью оптически сопряженных камер с разными объективами и разными приемниками излучения формируют различные по параметрам оптические изображения одной и той же сцены с хорошим пространственным совмещением при масштабировании всех изображений под одно в центральной области изображения.

25. Способ по любому из пп. 17-23, в котором:

изменяют световой поток для по меньшей мере одной из цифровых камер с помощью оптического фильтра, устанавливаемого перед по меньшей мере одной из цифровых камер, осуществляя тем самым ослабление или спектральную фильтрацию или фильтрацию по поляризации светового потока.

26. Устройство для получения наборов изображений, содержащее:

две цифровые камеры, в том числе одну эталонную камеру, снимающую эталонные изображения хорошего качества, и одну целевую камеру, снимающую целевые изображения низкого качества, закрепленные на упомянутом устройстве и оптически сопряженные с помощью светоделителя, причем

по меньшей мере одна камера установлена на автоматически регулируемых держателях,

юстировочный модуль, используемый для юстировки по меньшей мере одной камеры на основе двух изображений сцены, причем юстировка осуществляется при помощи приведения в действие регулируемых держателей, на которых установлены упомянутые камеры,

систему синхронизации цифровых камер для съемки изображений,

модуль управления для управления цифровыми камерами и обеспечения связи между отдельными частями устройства и получения наборов изображений,

причем модуль управления выдает команду юстировочному модулю произвести юстировку по меньшей мере одной камеры на основе изображений сцены.