СПОСОБ И СИСТЕМА ВИЗУАЛИЗАЦИИ ПРИ ВЫСОКОМ И НИЗКОМ УРОВНЯХ ОСВЕЩЕНИЯ Российский патент 2022 года по МПК H04N5/343 

Область изобретения относится к визуализации и, в частности, к визуализации с низким уровнем света.

Человек обладает способностью дневного видения в видимой области спектра, которая снижается со снижением уровней освещенности. В ночных условиях, при различных состояниях неба, особенно изменяемых фазой Луны и облачным покрытием, у земли допустима освещенность, составляющая значения между 1 люкс и 0,1 млюкс, что в любом случае квалифицируется как уровни ночного освещения (в соответствии с нормой Aero 790 40), изменяясь соответственно от ночи 1 (начиная с 1 люкс) к ночи 5 (заканчиваясь как 0,1 млюкс). Уровень 0,1 млюкс составляет крайний допустимый и улучшаемый уровень освещенности для видимости. Повышение качества изображения ночью уровня 5 обеспечивает эксплуатационное преимущество. Итак, в условиях слабой освещенности, принимается только очень малое число фотонов от наблюдаемой сцены. Когда принимаемый поток снижается, отношение сигнала к шуму (RSB) сокращается до уровня, недостаточного для ясной видимости. Сигнал тогда утопает в шуме, создаваемом детектором, и выходящее из детектора изображение оказывается или непригодным для использования, или оказывается сильно ухудшенным. Таким образом, чувствительность и шум детектора ограничивают рабочие характеристики при осуществлении визуализации с очень низким уровнем света.

Обычно, устройства формирования изображения Низкого Уровня Света оптимизируются увеличением площади пикселя и увеличением времени интегрирования в допустимых пределах.

В настоящее время, улучшение эксплуатационных характеристик для ночи может также осуществляться посредством использования технологий с низким шумом считывания и низким темновым шумом, и, например, используя усиливающую среду, вводя при этом выигрыш от усиления сигнала. Можно при этом отметить:

ILCMOS: Лампа-усилитель яркости света (лампа IL) (с микроканальной пластиной или MCP Micro Channel Plate), оптически связанная с матрицей CMOS;

EBCMOS: Фотокатод+матрица CMOS (бомбардирующаяся фотоэлектронами), интегрированные в лампе;

EMCCD: Матрица CCD с Электронным Умножителем, который дает лавинное усиление мультиплексированного сигнала;

Матрица фотодиодов APD (Лавинный Фотодиод) или в линейном режиме (усиление умножителя), или в режиме счетчика Гейгера (возникновение импульса тока при появлении фотоэлектрона).

Для научных применений, таких как астрономия или биомедицинская визуализация, когда известно, что принимается очень мало фотонов от того, что требуется наблюдать, используется детектирование и визуализация со счетом фотонов; эта техника введена уже много лет тому назад, прежде всего с использованием фотоумножителей для обработки временного сигнала.

Визуализация со счетом фотонов основывается на том принципе, что число фотонов, поступающих на детектор с матрицей пикселей за данное время экспозиции, соответствует стохастическому процессу. Он характеризуется законом Пуассона со средним μ_p и среднеквадратичным отклонением √μ_p. В зависимости от среднего числа µ_p фотонов на пиксель, можно рассчитать вероятность P того, что n_p фотонов будут зарегистрированы во время экспозиции t_ex (выбираемое с учетом μ_p). Этот закон задается соотношением:

Закон на Фиг.1 представляет собой распределение Пуассона для различных средних значений фотонов на пиксель. Таким образом, например, используя закон Пуассона, для среднего потока 0,15 фотонов на пиксель, имеется 86% пикселей, которые не регистрируют ни одного фотона, 13%, которые регистрируют один фотон, и 1% регистрируют более 1 фотона. Таким образом, если находиться в этом конкретном режиме закона Пуассона со средним 0,15 фотона на пиксель (или менее), то к принимаемому сигналу можно применять статистический подход, зная априори, что или не принимается ни один фотон (0 фотонов), или принимается только 1 фотон в 99% случаев за время экспозиции. Таким образом, можно оценить сигнал бинарным образом, ошибаясь только менее чем в 1% случаев для этого примера среднего потока, меньшего или равного 0,15 фотонов на пиксель. Для средних потоков большего уровня будет большая частота ошибки, становящаяся все более значительной со смешением ситуаций, когда пиксель считывает один фотон, тогда как он собрал 2 или более фотонов. Это соображение о приеме фотонов на пиксель относится также к фотоэлектронам, возникающим при фотоэлектрическом детектировании, применяемом в детекторе.

Аналоговый сигнал на выходе из детектора флуктуирует и шум считывания и темновой шум доминируют для пикселя, который не создает фотоэлектрон, и шум умножения для пикселей, преобразовавших 1 или несколько фотоэлектронов. Вместе с тем, знание априори число принимаемых фотонов, менее 0,15 в среднем, дает ограничение на выходе двумя состояниями: или принимается 0 фотонов, или принимается 1, в 99% случаев. Таким образом, можно заменить флуктуирующий аналоговый сигнал бинаризацией (бинарным квантованием) элементарного кадра или элементарного получения данных для пикселя как 0 или 1. Это может быть сделано, например алгоритмом задания порога: ниже некоторого порога считается, что принимается 0 фотонов, аналоговая флуктуация начального сигнала не превышает различных шумов детектора, но не истинную амплитуду, связанную с попаданием 0 фотонов. Вне порога считается, что детектируется 1 и единственный фотон имеет место, и эта амплитуда "единицы" заменяет аналоговую амплитуду, связанную с флуктуацией шума считывания и умножения сигнала. Бинарное квантование кадра этим методом приводит все-таки к остаточному шуму, связанному с ошибкой скорости счета фотонов. Этот остаточный шум может быть охарактеризован вероятностью ошибки счета, которая может, быть оценена и всегда ограничена использованием статистики шума и законом Пуассона. Эта вероятность распадается на вероятность считывания 1 для 0 падающего фотона, вероятность считывания 0 для 1 падающего фотона, и также на вероятность считывания 1 для 2 или более падающих фотонов.

Наконец, последний этап визуализации со счетом фотонов состоит в суммировании нескольких элементарных бинарных кадров для восстановления соответствующего изображения со скоростью восстановления изображений на выходе, например, для скорости вывода у видеоданных 25 Гц, то есть 40 мс времени накопления элементарных кадров, полученных с более высокой скоростью. Сумма различных бинаризованных кадров позволяет восстанавливать изображение с различными уровнями серого. Число распознаваемых оттенков серого более не определяется дисперсией коэффициентов умножения способа усиления сигнала, что является причиной ощущения снега и что определяет изображение и его оттенки.

Важно отметить, что если поток от сцены увеличивается выше 0,15 фотонов в среднем на элементарный кадр, то из этого режима, ограниченного 0 или 1 фотонами, выходят для приближения к случаю, когда пиксель регистрирует 2 фотона или более. Итак, в этом случае коэффициент усиления шума детектора не позволяет более оценивать точное число фотонов, принимаемых с хорошей степенью достоверности. Иначе говоря, нет возможности узнать, принято ли 1, 2, 3 фотона или более. Теряется информация. Это является значительным ограничением визуализации со счетом фотонов с имеющимися детекторами с умножением зарядов.

Важно отметить, что этот коэффициент усиления шума различается для различного типа детекторов. В технологиях SPAD (Однофотонный Лавинный Диод) или для лавинного фотодиода в режиме Гейгера, поглощение фотона провоцирует гигантский лавинный процесс. Ток, создаваемый лавиной, детектируется электронной схемой, которая позволяет детектировать фотон. Вместе с тем, после такого процесса, необходимо мертвое время для отвода зарядов, и это мешает детектированию нового фотона в течение этого времени отвода. Это не та технология, которая является предпочтительной и которая предоставлена здесь.

Для некоторых применений в астрономии (с использованием, например, камеры фирмы Nuvu или фирмы First Light Imaging) или при биомедицинской визуализации, визуализация со счетом фотонов вполне рекомендована, поскольку известно, что будет приниматься немного фотонов. И наоборот, в применениях по визуализации какой-либо ночной сцены заранее не известно какие условия освещенности могут иметь место и какая будет динамика сцены при создании видеоизображения (в пространственном и во временном отношении). Если поток от сцены велик, в то время как выполняется визуализация со счетом фотонов, то мы находимся вне зоны режима освещенности, который позволяет осуществить бинарное квантование сигнала каждого пикселя в кадре; при этом теряется информация, но, все-таки, в этом режиме классической визуализации можно получить достаточное качество благодаря тому, что шум приемника оказывается ниже √n_p (среднеквадратичное отклонение для среднего уровня n_p, например, n_p>10 фотонов на кадры). И наоборот, если поток от сцены слишком слаб, при том, что выполняется классическая визуализация, то шумы детектора будут превалирующими и изображение будет непригодно для использования.

Таким образом, имеется потребность на сегодняшний день в способе и в системе визуализации с большим динамическим диапазоном, приспособленной к непредвиденным условиям освещенности и имеющей возможность варьировать поток от сцены от сильного до слабого.

Система визуализации в соответствии с изобретением включает в себя несколько режимов визуализации, а именно, по меньшей мере:

-Режим классической визуализации, используемый, когда поток от сцены значителен. Этот режим и условия применений этого режима предполагают значительный поток фотонов, выше квадрата шума считывания детектора и его темнового тока. В этом случае детектор создает изображение, ограниченное фотонным шумом. Если детектор это позволяет (как в случае EMCCD), то применение режима усиления или умножения сигнала не является необходимым, и в этом случае отношение S/B обычно близко к основанию фотонного потока, накапливаемому пикселем и кадром. Если фотонный поток снижается и становится близким к темновому току, или к квадрату шума считывания, то можно подключить процесс усиления или умножения сигнала для ограничения деградации отношения сигнала к шуму.

-Режим визуализации с "естественным" счетом фотонов позволяет выполнять визуализацию при очень низких уровнях света. При очень слабом потоке детекторы ограничены шумом считывания приемника. В этом случае уместно использовать устройство усиления или умножения фотоэлектронов. В результате, в некоторых детекторах умноженный фотоэлектрический сигнал становится доминирующим по отношению к шуму считывания матрицы, или также и по отношению к темновому току. Напротив, коэффициент умножения стохастичен и привносит шум, упомянутый фактор шума усиления, который ухудшает отношение S/B. Было показано, что, если этот поток ниже 0,15 фотоэлектронов на пиксель и на кадр, то логика задания порога позволяет ограничить как 0 или 1 аналоговый сигнал, выводимый каждым пикселем. В этом случае имеется режим визуализации со счетом фотонов, который определяется как "естественный". Этот режим позволяет улучшить качество изображения, которое может задаваться своим отношением S/B и динамическим диапазоном уровней серого цвета, восстанавливаемых в большей степени.

И когда поток от сцены оказывается промежуточным, то есть снижается, не достигая порога очень низкого уровня света, приспособленного к "естественному" счету фотонов, то можно принудить систему визуализации перейти в специфический режим визуализации с "принудительным" счетом фотонов, переходя в условия, позволяющие быть в этом режиме ограничения с 0 или 1 фотоном на пиксель на один кадр. В этом случае уместно рассматривать, разумно ли, с одной стороны, подключать функцию усиления или умножения сигнала для снижения влияния шума считывания и темнового тока датчика, который был в режиме классической визуализации. Таким образом, это есть режим классической визуализации, умноженный или усиленный. Вместе с тем, в этом режиме умножения будет видна деградация отношения S/B и динамического диапазона изображения по нисходящим уровням освещенности. Далее, таким образом возможно, парадоксально, ограничить фотонный поток на пиксель и на кадр для попадания в режим, подобный естественному счету фотонов, для улучшения качества изображения при данном отношении S/B и его динамический диапазон по отношению к режиму умножения. Это задает режим визуализации с принудительным счетом фотонов.

Можно считать в первом приближении, что:

- когда поток от сцены ниже 0,15 фотоэлектронов на пиксель и на кадр, режим визуализации представляет собой режим естественного счета фотонов,

- когда поток от сцены выше на несколько (например, 5) фотоэлектронов на пиксель и на кадр, режим визуализации - классический режим,

- когда поток от сцены промежуточный, режим визуализации - это режим принудительного счета фотонов.

Система выполняется для переключения режима визуализации при управлении некоторыми параметрами, такими, как:

время интегрирования для получения, например, в среднем 0,15 фотон/пиксель/кадр или меньше, если выбирается режим визуализации со счетом фотонов. Это значение 0,15 может быть регулируемым и зависит от выбранного алгоритма бинарного квантования; можно иметь, например, 0,2 фотон/пиксель/кадр, допуская, например, несколько более значительную ошибку счета,

-скорость получения данных,

-числовая апертура оптической системы,

-оптическое ослабление,

-спектральная полоса приема, например, для улучшения спектральной дискриминации,

-шаг пикселя, или его коэффициент заполнения, если технология позволяет, например, для улучшения углового разрешения или MTF,

и т.д....

Более конкретно, одной целью изобретения является способ визуализации сцены посредством системы визуализации, позволяющей получить изображение сцены, система визуализации, содержит устройство получения кадров в соответствии с параметрами получения, и блок обработки полученных кадров, отличающийся тем, что способ включает в себя следующие этапы:

A) выбор режима визуализации среди режима классической визуализации, режима визуализации с естественным счетом фотонов и режима визуализации с принудительным счетом фотонов, и, в зависимости от выбранного режима визуализации, определение блоком обработки соответствующих параметров получения,

B) получение (сбора) по меньшей мере одного кадра устройством получения данных, сконфигурированного с вышеупомянутыми параметрами получения, и передача полученных кадров в блок обработки для получения изображения, изображения получаемого в результате следующих под-этапов, если выбранный режим визуализации представляет собой режим визуализации с естественным счетом фотонов или режим визуализации с принудительным счетом фотонов:

- бинарное квантование полученных кадров и

- суммирование бинаризованных кадров для получения изображения,

C) оценка качества полученного изображения,

D) D1) в зависимости от качества полученного изображения, определить один или два, новый(-x) режим(-а) визуализации, выбранных среди режима классической визуализации, режима визуализации с естественным счетом фотонов и режима визуализации с принудительным счетом фотонов,

D2) повторно выполнить этапы А, В, С и D с новым режимом визуализации, выбранным в качестве режима визуализации.

В соответствии с вариантом реализации изобретения, этап D1) осуществляется сравнением (1-ым сравнением) качества полученного изображения с первым предварительно заданным качеством, соответствующим режиму классической визуализации:

- если сравнение (1-ое сравнение) благоприятно, повторное выполнение этапов А, В, С и D с режимом классической визуализации в качестве выбранного режима визуализации,

- если нет, то сравнение (2-ое сравнение) качества полученного изображения со вторым предварительно заданным качеством, соответствующим режиму визуализации с естественным счетом фотонов, и

если сравнение (2-ое сравнение) благоприятно, повторное выполнение этапов А, В, С и D с режимом визуализации с естественным счетом фотонов в качестве выбранного режима визуализации,

если нет, то повторное выполнение этапов А, В, С и D со способом визуализации с принудительным счетом фотонов в качестве выбранного режима визуализации.

Как упомянуто в преамбуле, без режима со счетом фотонов, устройства визуализации Низкого Уровня Света оптимизируются для очень слабого потока увеличением площади пикселя и увеличением времени интегрирования в пределах возможного. В соответствии с изобретением, введение режима счета фотонов (естественного и принудительного) позволяет получить преимущество в снижении размера пикселей и/или снижении времени интегрирования, повышая частоту кадров для использования этого режима в большем динамическом диапазоне сцены.

Параметры устройства получения данных обычно являются параметрами времени, скорости и/или времени интегрирования и/или апертуры оптической системы и/или вариации спектрального диапазона и/или вариации параметров оптического ослабления (поглощения).

Параметры получения данных в соответствии с режимом классической визуализации и параметры в соответствии с режимом визуализации с естественным счетом фотонов обычно имеют фиксированные значения, и параметры в соответствии с режимом визуализации с принудительным счетом фотонов имеют обычно значения, меняющиеся от одной итерации до другой для оптимизации критерия качества изображения для каждой итерации.

В соответствии с признаком изобретения, способ включает в себя этап пространственного разделения каждого кадра на под-кадры и этапы режимов визуализации применяются к каждому под-кадру.

Оценка качества полученного изображения может быть определена расчетом или оператором.

Кроме того, такой способ может быть преимущественно использован в активной визуализации, то есть с освещением лазером. В этом случае параметры устройства получения данных могут привести преимущественно к снижению освещенности сцены лазером или еще увеличить его действие.

Таким образом, в соответствии с другим признаком изобретения, способ включает в себя этап предварительного освещения сцены посредством устройства освещения, синхронизированного с устройством получения данных, и устройство освещения и устройство получения данных имеют один и тот же спектральный диапазон. В этом случае, параметры освещения также могут быть заданы на этапе A.

Параметры освещения, например, представляют собой параметры мощности и/или длительности освещения для устройства освещения.

Изобретение также имеет целью систему визуализации сцены, которая содержит устройство получения кадров сцены, опционально устройство освещения сцены, и блок обработки, связанный с устройством получения данных и, опционально, с устройством освещения, сконфигурированную для осуществления способа визуализации, такого как описано.

Таким образом, вместо того, чтобы испытывать принимаемый поток сцены, система визуализации в соответствии с изобретением приспосабливает свои параметры функционирования, как например, свою скорость получения данных для нахождения в режиме визуализации, имеющем наилучшие рабочие показатели.

Другие признаки и преимущества изобретения станут ясны из ознакомления с нижеследующим подробным описанием, приведенным в качестве не ограничительного примера и в связи с сопровождающими чертежами, на которых:

Фиг.1 схематически предоставляет примеры распределения Пуассона в виде гистограмм потоков фотонов, получаемых на матрице, для различных значений среднего μ_p,

Фиг.2a - схематическое представление первого примера системы визуализации в соответствии с изобретением,

Фиг.2b - схематическое представление второго примера системы визуализации в соответствии с изобретением, с системой активной визуализации,

Фиг.3 - пример блок-схемы последовательности операций, показывающий различные этапы способа в соответствии с изобретением.

В связи с Фиг.2a описывается пример системы 100 визуализации в соответствии с изобретением. Она содержит:

устройство 1 получения кадров сцены, включающее в себя:

оптическое устройство 12 формирования изображений в фокальной плоскости и

в фокальной плоскости, матрицу 11 детектирования, которая генерирует получение кадров, и

блок 2 обработки, связанный с устройством 1 получения данных.

Система визуализации может функционировать в множестве режимах визуализации, по меньшей мере:

- Режим традиционной (классической) визуализации, используемый, когда поток от сцены значителен,

- Режим визуализации с естественным счетом фотонов, позволяющий выполнить визуализацию с очень низким уровнем света, то есть когда поток от сцены слабый,

- Режим визуализации с принудительным счетом фотонов, позволяющий выполнить визуализацию, когда поток от сцены промежуточный между значительным и слабым.

Таким образом, когда поток от сцены значителен, сохраняется традиционная (классическая) визуализация. Когда поток от сцены слабый, переходят к визуализации с естественным счетом фотонов. И наконец, когда поток от сцены промежуточный, то система визуализации принуждается к переходу в специфический режим визуализации с принудительным счетом фотонов, помещением системы визуализации в условия, позволяющие быть в этом режиме ограничения как 0 или 1 фотонов на пиксель для одного кадра: система визуализации ограничивается варьированием одного или более различных своих параметров (время интегрирования, скорость, апертура, освещение для активной визуализации, и т.д.) для получения возможности быть в конкретном режиме, в котором можно преимущественно выполнить, с точки зрения качества восстанавливаемого изображения, счет фотонов.

Система визуализации побуждается для переключения в один или другой режим визуализации управлением параметров устройства получения данных, таких, как:

- скорость получения данных матрицы 11 детектирования, или период получения данных,

- время интегрирования матрицы 11 детектирования,

- апертура устройства 12 формирования изображений,

- оптическое поглощение или вариация спектрального диапазона, выбирая фильтр 13 среди фильтров с различным поглощением или различной шириной спектральных полос, соответственно.

Можно, например, предпочтительным образом:

Регулировать скорость получения кадров.

Управлять временем интегрирования, чтобы иметь в среднем 0,15 фотон/пиксель/кадр или менее, если выбирается режим визуализации со счетом фотонов. Это значение 0,15 зависит от выбранной функции бинарного квантования и частоты появления ошибки, допускаемой для восстанавливаемого изображения.

Можно также варьировать другие параметры (например: апертуру, переменное оптическое поглощение, освещение сцены для активной визуализации и т.д.) для искусственного ограничения потока, исходящего от сцены и, таким образом, для побуждения системы находиться в режиме визуализации со счетом фотонов. Эти параметры управляются блоком 2 обработки.

Таким образом, вместо того, чтобы испытывать принимаемый поток сцены, система визуализации в соответствии с изобретением регулирует свои параметры функционирования, например, свою скорость получения данных, для нахождения в режиме визуализации, предоставляющем наилучшие рабочие показатели.

Переход (переключение) между различными режимами визуализации выполняется в зависимости от принимаемого потока от сцены или, более конкретно, в зависимости от качества изображения, получаемого в соответствии с одним или другим режимом визуализации, причем это качество связано с принимаемым потоком от сцены. Это может быть сделано автоматическим образом, обеспечиваемым блоком 2 обработки, или вручную. Это может быть сделано на всей матрице 11 детектирования (→ на каждом полученном кадре) или только на одной части (→ под-кадр или окно), даже, если матрица это позволяет, на пиксель, то, что позволит приспособиться к наиболее тонкому режиму визуализации для принимаемого потока.

Если поток от сцены относительно слаб, то система визуализации приспосабливает свои параметры так, чтобы оставаться в режиме визуализации со счетом фотонов.

Если поток от сцены слишком значителен, и нельзя более вынуждать систему быть в специфическом режиме счета фотонов, или если показатели лучше при классической визуализации, то переходят в режим традиционной (классической) визуализации, или аккумулируют фотоны в течение времени интегрирования, равному таковому для окончательного изображения (40 мс в случае видео при 25 Гц, например).

При визуализации с низким уровнем света, для увеличения чувствительности или качества изображения, обычно увеличивают время интегрирования на кадр и/или увеличивают площадь пикселя и/или увеличивают спектральную полосу приема. В соответствии с изобретением, для использования режима счета фотонов, параметры устройства получения данных устанавливаются с предпочтительным увеличением частоты кадров и, таким образом, снижением времени интегрирования, ограничением или даже снижением спектрального диапазона.

Способ, в соответствии с изобретением позволяет также использовать матрицу детекторов, размер пикселей которых уменьшен, даже если использовать режимы биннинга (как в CCD), которые позволяют суммировать заряды на примыкающих пикселях (2×2, 3×3 или 4×4), например, для эффективного увеличения размера пикселей.

Далее, в связи с Фиг.3, описываются этапы примера способа визуализации в соответствии с изобретением.

A) Определение блоком 2 обработки параметров получения данных устройства 1 получения данных в соответствии с выбранным режимом визуализации. Параметры режима классической визуализации и параметры режима визуализации с естественным счетом задаются и имеют предварительно заданные значения. Эти параметры режима визуализации с естественным счетом соответствуют условиям последнего использования устройства получения данных, соответствуя, например, 0,15 фотон/пиксель или менее для каждого кадра.

Параметры режима визуализации с принудительным счетом являются переменными величинами: параметры могут варьироваться от одного изображения к другому и их значения оптимизируются от одного изображения к другому для оптимизации критерия качества изображения от одного изображения к другому. Они обычно оптимизируются блоком обработки в дипазоне значений, действуя с шагом от одной итерации к другой. Эти диапазоны значений располагаются между значениями параметров в традиционном (классическом) режиме и значениями параметров в режиме с естественным счетом.

B) Получение, по меньшей мере, одного кадра устройством получения данных, сконфигурированным в соответствии с текущим режимом визуализации, и передача этих кадров на блок обработки последовательно по мере их получения.

Если текущий режим визуализации (выбранный на этапе A) является классическим режимом, одно изображение получается на основании этих кадров блоком обработки классическим образом (получение, по меньшей мере, одного кадра и суммирование кадров для получения окончательного изображения).

Если текущий режим визуализации (выбранный на этапе A) является режимом визуализации с естественным счетом или с принудительным счетом, то последующие под-этапы выполняются блоком обработки:

- Бинарное квантование полученных кадров,

- Суммирование бинаризованных кадров для формирования изображения.

Для бинарного квантования полученных кадров можно использовать функцию бинарного квантования с порогом (присваивается 1 одному пикселю, когда измеряемая амплитуда на этом пикселе выше заданного порога, и если нет - то 0), но другие функции бинарного квантования также могут быть предусмотрены, например, такие как описаны в следующих публикациях:

- E.Lantz и др. "Multi-imaging and Bayesian estimation for photon counting with EMCCDs" Mon. Not. R. Astron. Soc, 386, 2262-2270 (2008)

- K.B.W. Harpsoe и др. "Bayesian photon counting with EMCCDs", A&A,537 (2012).

При выходе из блока обработки, изображение, полученное в соответствии с одним или другим режимом, посылается, например, на устройство формирования изображения.

C) Оценка качества полученного изображения блоком 2 обработки.

D) Сравнение (1-ое сравнение) первого предварительно заданного качества изображения (качество l), соответствующего качеству изображения в классическом режиме, блоком обработки. Если сравнение (1-е сравнение) благоприятно для режима классической визуализации (качество полученного изображения, например, задаваемое уровнем освещенности сцены, измеренной в видимой спектральной области, заключено между 100 000 люкс и 0,01 люкс, или меньше, в зависимости от оптической конфигурации и показателей детектора), то повторяются этапы А, В, С и D, выбирая режим классической визуализации (который может быть текущим режимом). Этот критерий уровня освещенности также может быть реализован на входе зрачка или также в фокальной плоскости, и он может быть измерен в единицах Вт/м², или также в фотонах/с/м² в спектральной области фильтров 13, например, в ближнем ИК диапазоне, или также в коротковолновом КВИК диапазоне. Если сравнение (1-ое сравнение) неблагоприятно в режиме классической визуализации, сравнивается (2-ое сравнение) качество полученного изображения со вторым заданным качеством изображения (качество 2), соответствующим качеству изображения в режиме естественного счета, посредством блока обработки. Если сравнение (2-ое сравнение) благоприятно для режима естественного счета (качество полученного изображения, например, заключено между освещенностями 1 млюкс и 1 мклюкс), то повторяются этапы A, В, С и D, выбирая режим с естественным счетом (который может быть текущим режимом), и если нет (=сравнение (2-ое сравнение), то есть благоприятно для режима принудительного счета с качеством полученного изображения, например, для освещенностей, заключенных между 1 млюкс и 10 млюкс)), то повторяются этапы А, В, С и D в режиме принудительного счета (который может быть текущим режимом) с, таким образом, оптимизацией параметров получения данных на этапе A. Когда качество 1, и/или опционально качество 2, не заданы, можно получать новые кадры в соответствии с двумя режимами визуализации (классическим и принудительного счета, или принудительного счета и естественного счета) и выбирается, между двумя, тот режим визуализации, который дает наилучший критерий качества. Это все равно, что задать эти критерии качества относительным образом.

В качестве примера критерия качества был приведен уровень освещения, падающего на сцену, или также на вход зрачка, или также в фокальную плоскость; конечно, можно взять и другие критерии, известные специалистам в данной области техники, такие как отношение сигнала к шуму (временному или пространственному), динамический диапазон по восстанавливаемым уровням серого цвета.

Изначальный режим визуализации может быть одним или другим режимом. Этот изначальный режим запускается без знания принимаемого уровня потока освещенности сцены. В примере на Фиг.3, выбран классический режим как изначальный режим, обозначенный пунктирной стрелкой. Но если выбирается режим визуализации со счетом фотонов (естественным или принудительным), тесты сравнения с качествами 1 и 2, конечно же, инвертируются для сохранения параметров получения данных, пока нет необходимости их изменять.

Иначе говоря, способ включает в себя следующие этапы.

A) Выбора режима визуализации среди режима классической визуализации, режима визуализации с естественным счетом фотонов и режима визуализации с принудительным счетом фотонов, и определение блоком 2 обработки параметров получения данных устройства 1 получения данных в соответствии с выбранным режимом визуализации. Параметры режима классической визуализации и параметры режима визуализации с естественным счетом задаются и имеют предварительно заданные значения. Параметры режима визуализации с естественным счетом соответствуют последним условиям использования устройства получения данных, соответствуя, например, 0,15 фотон/пиксель или меньше для каждого кадра.

Параметры режима визуализации с принудительным счетом являются варьирующимися: параметры могут изменяться от одного изображения к другому и их значения оптимизируются от одного изображения к другому для оптимизации критерия качества изображения от одного изображения к другому. Они обычно оптимизируются блоком обработки в вилке значений, действуя пошагово от одной итерации к другой. Эти вилки значений располагаются между значениями параметров в классическом режиме и значениями параметров в режиме с естественным счетом.

B) Получение, по меньшей мере, кадра устройством получения данных, сконфигурированным в соответствии с режимом текущей визуализации, и передача этих кадров на блок обработки последовательно по мере их получения.

Если текущий режим визуализации (выбранный на этапе A) представляет собой классический режим, изображение получается на основании этих кадров блоком обработки классическим образом (получение, по меньшей мере, одного кадра и суммирование кадров для получения окончательного изображения).

Если текущий режим визуализации (выбранный на этапе A) представляет собой режим визуализации с естественным счетом или с принудительным счетом, следующие под-этапы осуществляются блоком обработки:

- Бинарное квантование полученных кадров,

- Суммирование бинаризованных кадров для формирования изображения.

При выходе из блока обработки, изображение, полученное в соответствии с одним или другим режимом, посылается, например, на устройство формирования изображения.

C) Оценка блоком 2 обработки качества полученного изображения.

D) D1) в зависимости от качества полученного изображения, определить один (или два, как указано ранее) новый режим визуализации, выбираемый среди режима классической визуализации, режима визуализации с естественным счетом фотонов и режима визуализации с принудительным счетом фотонов.

D2) повторно выполнить этапы А, В, С и D с (или каждым) новым режимом визуализации, выбранным как режим визуализации.

В соответствии с вариантом, предварительно на этапах получения изображений, полученные кадры пространственно разделены на под-кадры или окна, и это пространственное деление может выполняться до учета в каждом кадре части пикселей (окна, линии, колонки или еще определенные пиксели). Этапы различных режимов визуализации тогда применяются к каждому под-кадру.

Этот способ визуализации, в частности, хорошо приспособлен к активной визуализации, которая включает в себя тогда предварительный этап освещения сцены устройством освещения (лазер, LED, лампа) 200, показанным на Фиг.2b, обычно синхронизированным с устройством 1 получения данных. Тогда ограничивается спектральный диапазон устройства получения данных до такового для устройства освещения и, таким образом, считываются только фотоны, отраженные от сцены в этом диапазоне. Можно также понизить мощность или длительности освещения устройства освещения. Спектральный диапазон, мощность или длительности освещения являются тогда параметрами освещения, также устанавливаемыми блоком 2 обработки.

Изобретение относится к визуализации и, в частности, к визуализации с низким уровнем света. Техническим результатом является обеспечение способа и системы визуализации с большим динамическим диапазоном, приспособленной к непредвиденным условиям освещенности и имеющей возможность варьировать поток от сцены от сильного до слабого. Результат достигается тем, что система визуализации содержит устройство получения кадров в соответствии с параметрами получения и блок обработки полученных кадров. Способ содержит этапы: A) выбора способа визуализации среди режима классической визуализации, режима визуализации с естественным счетом фотонов и режима визуализации с принудительным счетом фотонов и, в зависимости от выбранного режима визуализации, определение блоком обработки соответствующих параметров получения кадров, B) получения по меньшей мере одного кадра устройством получения кадров, сконфигурированного с вышеупомянутыми параметрами получения, и передачи полученных кадров в блок обработки для получения изображения, причем получаемое изображение является результатом следующих подэтапов, если выбранный режим визуализации является режимом визуализации с естественным счетом фотонов или режимом визуализации с принудительным счетом фотонов: бинарное квантование полученных кадров и суммирование бинаризованных кадров для получения изображения, C) оценки качества полученного изображения, D) D1) в зависимости от качества полученного изображения определение нового режима визуализации, выбираемого среди режима классической визуализации, режима визуализации с естественным счетом фотонов и режима визуализации с принудительным счетом фотонов, D2) повторное выполнение этапов А, В, С и D с новым режимом визуализации, выбранным в качестве режима визуализации. 3 н. и 8 з.п. ф-лы, 4 ил.

1. Способ визуализации сцены посредством системы (100) визуализации, выполненной с возможностью получать изображение сцены, при этом система визуализации содержит устройство (1) получения кадров в соответствии с параметрами получения и блок (2) обработки полученных кадров, отличающийся тем, что способ содержит следующие этапы:

A) выбор режима визуализации среди режима классической визуализации, режима визуализации с естественным счетом фотонов и режима визуализации с принудительным счетом фотонов и, в зависимости от выбранного режима визуализации, определение блоком обработки соответствующих параметров получения кадров,

B) получение по меньшей мере одного кадра устройством получения кадров, сконфигурированным с вышеупомянутыми параметрами получения, и передача полученных кадров в блок обработки для получения изображения, при этом изображение получается в результате следующих подэтапов, если выбранный режим визуализации представляет собой режим визуализации с естественным счетом фотонов или режим визуализации с принудительным счетом фотонов:

- бинарное квантование полученных кадров и

- суммирование бинаризованных кадров для получения изображения,

C) оценка качества полученного изображения,

D) D1) в зависимости от качества полученного изображения определение одного или двух нового(-ыx) выбранного(-ых) режима(-ов) визуализации среди: режима классической визуализации, режима визуализации с естественным счетом фотонов или режима визуализации с принудительным счетом фотонов,

D2) повторное выполнение этапов А, В, С и D с новым выбранным режимом визуализации в качестве режима визуализации.

2. Способ визуализации сцены по п.1, отличающийся тем, что новый режим визуализации, выбранный на этапе D1), получается сравнением (1-е сравнение) качества полученного изображения с первым предварительно заданным качеством (качество l), соответствующим режиму классической визуализации:

если сравнение (1-е сравнение) благоприятно, то новый выбранный режим визуализации - это режим классической визуализации,

если нет, то сравнение (2-е сравнение) качества полученного изображения со вторым предварительно заданным качеством (качество 2), соответствующим режиму визуализации с естественным счетом фотонов, и

если сравнение (2-е сравнение) благоприятно, то новый выбранный режим визуализации - это режим визуализации с естественным счетом фотонов,

если нет, то новый выбранный режим визуализации - это режим визуализации с принудительным счетом фотонов.

3.Способ визуализации по одному из предшествующих пунктов, отличающийся тем, что параметры получения данных представляют собой параметры скорости получения данных, и/или времени интегрирования, и/или апертуры, и/или вариации спектрального диапазона, и/или вариации оптического поглощения.

4. Способ визуализации по одному из предшествующих пунктов, отличающийся тем, что параметры получения данных в соответствии с режимом классической визуализации и параметры в соответствии с режимом визуализации с естественным счетом фотонов имеют фиксированные значения, и тем, что параметры получения данных в соответствии с режимом визуализации с принудительным счетом фотонов являются варьирующимися значениями от одной итерации до другой.

5. Способ визуализации по одному из предшествующих пунктов, отличающийся тем, что он включает в себя этап пространственного разделения каждого кадра на подкадры, и тем, что этапы режимов визуализации применимы к каждому подкадру.

6. Способ визуализации по одному из предшествующих пунктов, отличающийся тем, что оценка качества полученного изображения определяется расчетом или оператором.

7. Способ визуализации по одному из предшествующих пунктов, отличающийся тем, что он включает в себя этап предварительного освещения сцены посредством устройства (200) освещения, синхронизированного с устройством (1) получения данных, и тем, что устройство освещения и устройство получения данных предоставляют один и тот же спектральный диапазон.

8. Способ визуализации по предыдущему пункту, отличающийся тем, что устройство освещения предоставляет параметры освещения, задаваемые на этапе A.

9. Способ визуализации по предыдущему пункту, отличающийся тем, что параметры освещения являются параметрами мощности и/или длительности освещения устройства освещения.

10. Система (100) визуализации сцены, которая содержит устройство (1) получения кадров сцены и блок (2) обработки, связанный с устройством получения кадров, сконфигурированные для осуществления способа визуализации по одному из пп.1-6.

11. Система (100) визуализации сцены, которая содержит устройство (200) освещения сцены, устройство (1) получения кадров сцены и блок (2) обработки, связанный с устройством освещения и с устройством получения кадров, сконфигурированные для осуществления способа визуализации по одному из пп. 7-9.