СПОСОБ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ С ЛОКАЛЬНЫМ ГРАДИЕНТОМ ЯРКОСТИ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2021 года по МПК G06T5/00 H04N1/409 

Изобретение относится к области телевизионной техники, в частности, к системам обработки и формирования изображений и может быть использовано для обнаружения, классификации или оценки параметров объектов.

Наиболее распространенными способами формирования изображений с локальным градиентом яркости являются способы, основанные на пространственной фильтрации изображений. В данных способах в качестве фильтра используется простейший разностный фильтр или более сложные интегрирующие-дифференцирующие фильтры, устойчивые к шумам фотоприемника. При этом, наиболее оптимальным считается фильтр яркости с ядром в виде производной функции Гаусса (Canny J. «А Computational Approach to Edge Detections IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-8 no. 6, 1986, pp. 679-698).

Известны способ и устройство выделения контуров объектов изображения (патент на изобретение РФ №2383925, МПК G06K 9/50, опубл. 10.03.2010, БИ №7). Способ заключается в пространственной фильтрации изображения функцией Гаусса и последующем применении оператора Собела.

Известен способ и устройство детектирования локальных особенностей на изображении (патент на изобретение РФ №2535184, МПК G06T7/40, опубл. 10.12.2014, БИ №34). Способ основан на методе пространственной фильтрации изображения с ядрами различных типов, позволяющих не только определить наличие градиента, но и тип локальной особенности, его вызвавшей (рябь, пятна, волны, края).

Известен способ, который заключается в том, что с учетом уровня зашумленности изображения выбирают коэффициент сглаживания, вычисляют коэффициенты сглаживающих кубических В-сплайнов вдоль каждой строки и каждого столбца изображения. Затем формируют две матрицы и компонент градиента яркости в каждой точке изображения путем суммирования сглаживающих параболических В-сплайнов с найденными ранее коэффициентами сглаживающих кубических В-сплайнов для строк и столбцов. Далее определяют модуль градиента яркости в каждой точке изображения. После этого формируют контуры объекта путем преобразования модуля градиента яркости, в процессе которого на новой белой матрице черным цветом выделяют элементы, модуль градиента для которых в координатах изображения превышает порог преобразования (патент на изобретение РФ №2695417, МПК G06K 9/48, опубл. 23.07.2019, БИ №21).

Общими недостатками перечисленных способов являются высокая вычислительная сложность операции пространственной фильтрации и неучет зависимости качества получаемого изображения от неравномерности коэффициента пропускания оптической системы фотоприемника. Неравномерность коэффициента пропускания может быть обусловлена как конструкцией объектива (т.н. виньетирование), так и различными мелкомасштабными оптическими неоднородностями (пыль, царапины, свили) на поверхности или в толще защитного стекла фотоприемной матрицы. Мелкомасштабные неоднородности оказывают наибольшее влияние в длиннофокусных системах и могут приводить к формированию паразитных изображений дифракционных колец или темных пятен в окрестности неоднородности. В результате пространственной фильтрации такого изображения, кроме полезного сигнала, формируется также и ложный сигнал, вызванный перепадом яркости в районе мелкомасштабной неоднородности. Виньетирование изображения, как правило, проявляется в виде низкочастотной мультипликативной составляющей сигнала и, следовательно, может приводить к ложному завышению значения градиента, полученного методами пространственной фильтрации изображения.

Известен способ автоматической коррекции артефактов изображения, вызванных мелкомасштабными неоднородностями, в частности - частицами пыли на стекле фотоприемника (патент США №2015110417, МПК G06T 5/00, H04N 5/217, опубл. 23.04.2015). В данном способе определяются участки изображения, соответствующие артефактам, после чего выполняется коррекция изображения на основе отсчетов соседних пикселей изображения. Недостатки данного способа заключаются в высокой сложности вычислений и в зависимости качества получаемого изображения от достоверности используемой модели вычислений реальным артефактам.

Наиболее близким по технической сущности является способ (прототип) по патенту США №2015103181, МПК H04N 5/357, G06T 5/00, H04N 5/33, опубл. 16.04.2015). Сущность способа-прототипа заключается в автоматической коррекции неравномерности коэффициента пропускания оптической системы по полю изображения путем цифровой обработки изображения. Для этого в прототипе предлагается сформировать два изображения: первое - исходное, второе - вычисленное из первого путем применения низкочастотной цифровой пространственной фильтрации. Результирующее изображение формируется путем поэлементного деления первого изображения на второе.

Существенные признаки прототипа:

- компенсация низкочастотной составляющей неравномерности яркости;

- использование двух изображений для формирования результата;

- формирование результирующего изображения путем поэлементного деления одного изображения на другое;

- использование цифровой пространственной фильтрации изображения.

Недостатком прототипа является высокая чувствительность обработанного результирующего изображения к мелкомасштабным составляющим неоднородностям яркости. Другим недостатком прототипа является то, что в результате обработки изображения объекта существенно искажаются границы объектов.

Цель изобретения - формирование изображения с локальным градиентом яркости, которое устойчиво к неравномерности коэффициента пропускания оптической системы фотоприемника.

Указанная цель достигается тем, что согласно заявленному способу искусственным образом формируют фазовые искажения изображения объекта, регистрируют изображения объекта, соответствующие его различным фазовым искажениям, оцифровывают зарегистрированные изображения и их обрабатывают, при этом при обработке для каждого пиксела изображений рассчитывают выборочное среднее и выборочную дисперсию яркости из полученных изображений, после этого формируют первое результирующее изображение, в котором каждому его пикселу ставят в соответствие рассчитанное значение выборочной дисперсии, формируют второе результирующее изображение, в котором каждому его пикселу ставят в соответствие рассчитанное значение выборочного среднего, затем для каждого пиксела рассчитывают отношение выборочной дисперсии к выборочному среднему и возводят его в заданную степень, на основе полученных двух результирующих изображений формируют выходное изображение исследуемого объекта, в котором каждому его пикселу ставят в соответствие рассчитанное значение отношения выборочной дисперсии к выборочному среднему, возведенное в заданную степень.

Устройство, реализующее способ, содержит последовательно связанные друг с другом переменный фазовый экран, оптический объектив, матричный фотоприемник, аналого-цифровой преобразователь и блок обработки сигналов, при этом переменный фазовый экран образован потоком газа, продуваемым с заданным расходом.

Сущность заявленного способа поясняется фиг. 1-5. На фиг. 1 представлена последовательность обработки изображения исследуемого объекта, где 1 - объект, 2 - последовательность изображений с различными фазовыми искажениями, 3 - результат расчета выборочной дисперсии в каждом пикселе последовательности изображений, 4 - результат расчета среднего выборочного значения в каждом пикселе последовательности изображений, 5 - локальный градиент яркости изображения (результат реализации способа). На фиг. 2 представлена структурная схема устройства для реализации заявляемого способа, где 6 - переменный фазовый экран, 7 - объектив оптической системы, 8 - многоэлементный фотоприемник, 9 - АЦП, 10 - блок обработки сигнала. На фиг. 3 представлена фотография фрагмента круглой световой метки с неравномерным пропусканием оптической системы. На фиг. 4 представлено изображение локального градиента яркости, полученное методом линейной фильтрации с ядром вида производной функции Гаусса. На фиг. 5 представлено изображение с локальным градиентом яркости, полученное с помощью заявляемого способа.

Сущность заявляемого способа заключается в том, что предлагается формировать некоторую заданную последовательность изображений одного и того же объекта с различными фазовыми искажениями, а затем выполнять специальную цифровую обработку полученной таким образом последовательности изображений. Цифровая обработка заключается в расчете для каждого пиксела выходного изображения отношения выборочной дисперсии к среднему выборочному значению яркости для данного пиксела сформированной последовательности изображений. Результатом такой цифровой обработки является изображение с локальным градиентом яркости.

Сходными с прототипом признаками являются:

- компенсация низкочастотной составляющей неравномерности яркости;

- использование двух изображений для получения результата;

- формирование результата путем поэлементного деления одного изображения на другое.

Способ включает в себя следующую последовательность действий:

- искусственно формируют фазовые искажения изображения объекта, тем самым изменяют распределение яркости изображения объекта;

- регистрируют последовательность изображений с различными фазовыми искажениями многоэлементным фотоприемником;

- оцифровывают изображения с помощью аналого-цифрового преобразователя (АЦП);

- рассчитывают выборочную дисперсию и выборочное среднее значение яркости в каждом пикселе изображения;

- рассчитывают отношение выборочной дисперсии к выборочному среднему в каждом пикселе изображения, результат расчета принимают в качестве выходного сигнала яркости в данном пикселе.

В основу способа положено соотношение между дисперсией яркости и ее средним значением: для постоянного светового потока количество сигнальных носителей n, аккумулированных в одном пикселе фотоприемника за время накопления, подчиняется статистике Пуассона. В частности, дисперсия количества сигнальных носителей D(n) равна его математическому ожиданию Е(n).

Для систем считывания изображений с линейной или приближенно-линейной свет-сигнальной характеристикой цифровой сигнал S на выходе АЦП системы считывания изображений линейно зависит от количества сигнальных носителей:

где

K - сквозной коэффициент передачи устройства считывания изображений.

В таком случае дисперсия отсчетов цифрового сигнала S на выходе АЦП без учета влияния эффекта квантования определяется соотношением:

Из соотношения (1) следует, что при постоянном световом потоке, отношение дисперсии сигнала яркости на выходе АЦП к ее математическому ожиданию есть величина постоянная:

Для участков изображения с нулевым градиентом яркости результат расчета D(S)/E(n) есть постоянная величина, и она определяется выражением (2). В противном случае значение D(S)/E(n) будет тем больше, чем больше модуль градиента изображения. Амплитуда фазовых искажений, вносимых в процессе формирования последовательности изображений, определяет степень размытия выходного сигнала между смежными пикселами изображения, и, следовательно, степень детализации выходного изображения. Для получения более четких границ (степени детализации) формируемого изображения используется операция возведения отношения D(S)/E(n) в заданную степень N. При этом, чем больше степень возведения N, тем выше четкость изображения, но меньше его контрастность и яркость. Поэтому значение степени определяется для каждого объекта индивидуально и обычно составляет N=1-2.

Устойчивость изображения объекта к неравномерности коэффициента пропускания оптической системы, в т.ч. вызванной мелкомасштабными неоднородностями в стекле фотоприемника и виньетированием, обеспечивается инвариантностью выражения (2) к любой мультипликативной стационарной составляющей оптического изображения. Таким образом, способ не требует предварительной калибровки по неравномерности коэффициента пропускания оптической системы.

Изображение, формируемое согласно заявляемому способу, также устойчиво к двум типам шумов фотоприемника, а именно - к случайной составляющей шума и к шуму темнового тока матрицы фотоприемника. Устойчивость к случайной составляющей шума фотоприемника обеспечивается за счет накопления статистики (количества изображений), необходимой для вычисления выборочной дисперсии и среднего значения. Устойчивость к неоднородности темнового тока пикселей фотоприемника обеспечивается инвариантностью выражения (2) к величине темнового тока. Инвариантность обеспечивается за счет того, что количество сигнальных носителей, накопленных вследствие процесса тепловой генерации, равно как и накопленных вследствие фотогенерации, подчиняется распределению Пуассона.

Дополнительным преимуществом заявляемого изобретения является относительная простота обработки изображения. Поскольку каждый пиксел изображения обрабатывается независимо и требует лишь вычисления отношения D(S)/E(n), поэтому обработка изображений может быть реализована с использованием относительно простых вычислительных средств, а потенциально - непосредственно на фотоприемнике, что позволяет сократить количество элементов системы обработки изображений.

Одним из возможных вариантов искусственного формирования фазовых искажений изображения объекта является использование слаботурбулентного или переменного во времени ламинарного потока газа, который можно использовать в качестве промежуточной среды между объектом и оптической системой фотоприемника. Известно, что оптический показатель преломления газовой среды зависит от ее плотности. В турбулентных и изменяющихся ламинарных потоках возникает переменный во времени градиент плотности. Вследствие этого, коэффициент преломления также изменяется во времени и, тем самым, газовая среда может исполнять роль переменного во времени фазового экрана.

Устройство, реализующее заявляемый способ, состоит из последовательно связанных друг с другом оптико-электронных элементов: переменного фазового экрана 6, оптического объектива 7, матричного фотоприемника 8, аналого-цифрового преобразователя 9 и блока обработки сигнала 10 (фиг. 2). При этом роль переменного фазового экрана выполняет поток газа, продуваемый с заданным расходом.

Устройство работает и используется следующим образом. С помощью оптического объектива 7 изображение объекта 1 фокусируется на матричном фотоприемнике 8, при этом помощью переменного фазового экрана 6 задается то или иное фазовое искажение изображения объекта 1. При попадании оптического излучения от объекта 1 на матричный фотоприемник 8 на каждом пикселе матрицы фотоприемника формируется сигнал соответствущей яркости, т.е. формируется матрица значений яркости. Указанные значения яркости оцифровываются в АЦП 9 и поступают в блок обработки сигнала, в котором осуществляется расчетный алгоритм яркостей пикселей изображений согласно заявленному способу. В результате работы устройства формируется изображение с локальным градиентом яркости.

Заявленные способ и устройство позволяют формировать качественное изображение с локальным градиентом яркости изображения, что, в свою очередь, позволяет определять контуры исследуемых объектов для их последующего обнаружения, классификации или оценки их параметров.

Изобретение относится к вычислительной технике. Технический результат заключается в формировании изображения с локальным градиентом яркости, которое устойчиво к неравномерности коэффициента пропускания оптической системы фотоприемника. Предлагается способ формирования изображения с локальным градиентом яркости, в котором искусственным образом формируют фазовые искажения изображения объекта, регистрируют изображения объекта, соответствующие его различным фазовым искажениям, оцифровывают зарегистрированные изображения и их обрабатывают, при этом при обработке для каждого пиксела изображений рассчитывают выборочное среднее и выборочную дисперсию яркости из полученных изображений, затем для каждого пиксела рассчитывают отношение выборочной дисперсии к выборочному среднему и возводят его в заданную степень, полученное значение ставят в соответствие данному пикселу и строят результирующее изображение объекта. 2 н.п. ф-лы, 5 ил.

1. Способ формирования изображения с локальным градиентом яркости, заключающийся в том, что искусственным образом формируют фазовые искажения изображения объекта, регистрируют изображения объекта, соответствующие его различным фазовым искажениям, оцифровывают зарегистрированные изображения и их обрабатывают, при этом при обработке для каждого пиксела изображений рассчитывают выборочное среднее и выборочную дисперсию яркости из полученных изображений, после этого формируют первое результирующее изображение, в котором каждому его пикселу ставят в соответствие рассчитанное значение выборочной дисперсии, формируют второе результирующее изображение, в котором каждому его пикселу ставят в соответствие рассчитанное значение выборочного среднего, затем для каждого пиксела рассчитывают отношение выборочной дисперсии к выборочному среднему и возводят его в заданную степень, на основе полученных двух результирующих изображений формируют выходное изображение исследуемого объекта, в котором каждому его пикселу ставят в соответствие рассчитанное значение отношения выборочной дисперсии к выборочному среднему, возведенное в заданную степень.

2. Устройство для формирования изображения с локальным градиентом яркости, реализующее способ по п. 1, которое содержит последовательно связанные друг с другом переменный фазовый экран, оптический объектив, матричный фотоприемник, аналого-цифровой преобразователь и блок обработки сигналов, при этом переменный фазовый экран образован потоком газа, продуваемым с заданным расходом.