СПОСОБ И УСТРОЙСТВО ПРЕОБРАЗОВАНИЯ ИЗОБРАЖЕНИЯ Российский патент 2002 года по МПК H04N5/14 

Изобретение относится к области биометрии и может быть использовано для преобразования, получения, обработки и анализа электронных изображений живых биологических объектов, совершающих периодические колебательные перемещения различной частоты и амплитуды, а также может быть применено и в отношении неживых объектов, совершающих периодические колебательные движения.

Известен ряд различных применений, в которых при преобразовании и анализе изображения используется межкадровая разность как один из основных параметров, несущих информацию об объекте.

Многие программы, алгоритмы видеотехники, видеоэффектов, передачи изображения и способы сжатия изображения основаны на фиксации и добавлении межкадровой разности к уже имеющемуся изображению [1, 2], Эти программные или аппаратные средства позволяют обычно передавать и/или восстанавливать требуемое качество изображения с минимальными затратами при передаче информации, однако указанные средства одинаково чувствительны как к периодическому, так и непериодическому перемещению живых или неживых объектов, что не позволяет выявлять и получать изображения объектов, совершающих незначительное периодическое перемещение на фоне стационарных или движущихся предметов.

Другое направление видеонаблюдения за объектом - так называемые детекторы движения, использующее межкадровую разность, имеет цель - создание охранных систем или систем наблюдения, регистрирующих определенные изменения на объекте [3, 4, 5]. Если изменение на объекте превышает определенную величину, то есть разница между двумя кадрами становится больше порогового значения, тогда система переходит в другой режим работы, например, фиксируя изображение транспортного средства после превышения им установленного порога скорости.

Известны способ и устройство преобразования изображения, позволяющие выделять и распознавать человеческое лицо в последовательности видеокадров.

Способ состоит из получения последовательных кадров изображения объекта, вычитания двух последовательных кадров и последующей обработки межкадровой разности. При обработке те места на кадре, которые относятся к движению объекта, отмечаются двоичной единицей, а остальные - как двоичные нули. Затем изображение обрабатывают специальным образом, используя специальные признаки, позволяющие получить изображение человеческого лица (выявить его) на фоне других объектов.

Устройство содержит фоточувствительный многоэлементный преобразователь - средство вычитания двух последовательных кадров и средство для последующей обработки межкадровой разности. А также специальные средства сложной свертки изображения, которые позволяют выявлять человеческое лицо на фоне других объектов, используя специальные признаки, присущие только человеческому лицу.

Данные способ и устройство [6] взяты нами за прототип. Прототип позволяет выявлять движущееся человеческое лицо на фоне других предметов, однако отличается аппаратной и программной сложностью, не применим для регистрации других частей тела человека, например руки, ноги, не позволяет получать изображение других биологических объектов, например животных, а также не позволяет выявлять изображение лица, движения которого незначительны.

Заявляемые способ и устройство обладают повышенной чувствительностью к выявлению объектов, совершающих незначительные, практически невидимые глазом периодические колебания, т.е. позволяют решать задачу выявления прежде всего живых объектов, которым свойственны данные виды движения, что в свою очередь позволяет решать задачу получения и анализа изображения живых объектов на фоне как стационарных, так и движущихся объектов.

Достигается это тем, что в известном способе преобразования изображения объекта, включающем получение последовательных кадров изображения объекта, нахождение межкадровой разности изображений, обработку изображения и вывод обработанного изображения, обработка изображения включает накопление суммы разностей из не менее двух выбранных последовательных кадров изображения.

В другом варианте предлагаемого способа выводимое обработанное изображение модулируется цветовой шкалой, при этом, как вариант, полученное псевдоцветное изображение при выводе накладывают на реальное.

В другом варианте изобретения накопление суммы разностей выходных сигналов каждого элемента последовательных кадров осуществляют по формуле

где R_i ≥ 0 - результирующий сигнал i-гo элемента обработанного изображения, который принимается равным нулю при получении отрицательного значения R_i в приведенной выше формуле. Таким образом R_i = 0 для всех R_i ≤ 0;
x_i,k - реальный сигнал i-гo элемента в кадре с номером k;
X_i,k+1 - реальный сигнал i-гo элемента в кадре с номером k+1;
М - количество обрабатываемых кадров в последовательности кадров;
L - степенной коэффициент выявляемого процесса;
N - коэффициент усреднения;
D - пороговое значение уровня шума изображения.

В еще одном варианте способа преобразования изображения обработанные изображения используют для получения информации о физиологическом или психофизическом состоянии живого объекта и при этом, как вариант, получают изображение, интенсивность которого пропорциональна изменению исследуемых параметров объекта.

Задача решается также тем, что в известном устройстве преобразования изображения объекта, включающем фоточувствительный многоэлементный преобразователь и средство обработки межкадровой разницы, подключенное к блоку вывода обработанного сигнала, фоточувствительный многоэлементный преобразователь и средство обработки выполнены на одном кристалле в виде КМОП датчика изображения, причем средство обработки выполнено таким образом, что способно производить накопление суммы разностей кадров изображения, полученных фоточувствительным многоэлементным преобразователем.

В последнем предлагаемом варианте способа учитывают, что интенсивность изображения пропорциональна изменению исследуемых параметров объекта.

В предлагаемом устройстве преобразования изображения фоточувствительный многоэлементный преобразователь и средство обработки и накопления межкадровой разницы представляет собой КМОП датчик изображения.

Известно, что в любом биологическом организме протекает ряд периодических процессов. Наиболее известными из них для человека являются периодические процессы, связанные с деятельностью сердца (пульс) и дыхания. Возможно применение доплеровского локатора для регистрации указанных процессов [7]. Оба эти процесса вызывают определенные незначительные механические перемещения всех частей тела, причем частота перемещения частей тела включает в себя колебания, совпадающие с частотой указанных процессов. Однако даже телевизионная камера с высоким пространственным разрешением и известные способы получения изображений не могут непосредственно зарегистрировать данные перемещения, т.к. они слишком незначительны в пространстве (доли миллиметров) и растянуты во времени.

Авторы экспериментально установили, что применение телевизионных камер с высоким пространственным разрешением и относительно длительное накопление межкадровой разности позволяют устойчиво регистрировать периодические колебательные процессы, проходящие в человеческом организме.

Вероятным объяснением устойчивости изображений, выявляемых согласно предлагаемому изобретению, могут быть следующие причины.

Накопление межкадровой разности способствует выделению только периодических процессов. Если движение не является периодическим, то оно не будет накапливаться и усиливаться за время накопления межкадровой разности, однако периодическое движение усилится приблизительно в такое количество раз, сколько периодов процесса приходится на время накопления межкадровой разности.

В высших биологических организмах происходит процесс мышечных периодических сокращений (дрожь, тремор, изучаемые наукой о мышечных тканях - миаграфией), которые достаточно устойчивы и зависят от физиологического и психофизического состояния организма (человека), причем средняя частота таких колебаний у человека составляет несколько герц. Так как процесс мышечных сокращений является более высокочастотным, чем пульс и дыхание, то он вносит и более значительный вклад в регистрируемое изображение.

Таким образом, длительное (более секунды) накопление межкадровой разности позволяет статистически регистрировать достаточно мелкие перемещения биологического организма, которые практически невозможно наблюдать глазом и которые, как считалось, невозможно наблюдать с помощью телевизионной техники.

Рассмотрим стандартную ситуацию получения изображения человеческой руки с помощью телевизионной камеры с хорошим объективом и высокой разрешающей способностью 600 ТВЛ по горизонтали. При фокусировке на руку полная горизонталь изображения составит примерно 30 мм, следовательно, мельчайшее, регистрируемое обычным образом перемещение составит не менее 0,5 мм, однако, накопление межкадровой разности в соответствии с предложенным изобретением позволяет устойчиво регистрировать периодические перемещения руки в пять раз меньшей величины, например 0,1 мм.

Качество получаемого изображения во многом зависит от контролируемого объекта, от качества применяемой телевизионной техники, контрастных перепадов между объектами и от условий съемки. Как и при получении обычного телевизионного изображения, для получения качественного изображения согласно изобретению необходима определенная настройка параметров, которую следует проводить, учитывая следующие соображения.

М - количество обрабатываемых кадров в полученной последовательности кадров зависит от времени накопления межкадровой разности (которое должно быть достаточным для регистрации нескольких циклов периодических перемещений) и от быстродействия используемого оборудования. Причем, безусловно, М включает в себя только то количество кадров, по которым определяется межкадровая разность. Если, например, полное количество полученных кадров в последовательности составляет 100, а обрабатывается каждый 10, то, естественно, М равно 10, а не 100. Если мы хотим наблюдать накопленное разностное изображение объекта (руки) в условиях реального времени, без учета влияния дыхания, то следует выбрать время накопления примерно в два раза меньше обычного периода дыхательного процесса, т.е. примерно Т=5 с. В этом случае количество кадров определится скоростью передачи цифрового изображения и быстродействием нахождения межкадровой разности, которое составляет, например, для Р2-400 и размера изображения 600х400 элементов, примерно 2 кадра в 1 с. Следовательно, за 5 с будет найдено 10 межкадровых разниц, что достаточно для восстановления процесса с периодом порядка 1 с (пульс), т.к. по теореме академика В.А. Котельникова [8] любая функция времени со спектром, ограниченным частотой f_c, может быть задана на интервале t дискретными значениями в n ≥ 2f_c t точках. Если же быстродействие нахождения межкадровой разности недостаточно, например обработка осуществляется на Р-166 и составляет 0,5 кадра в 1 с, то за 5 с произойдет всего 2-3 сложения разности, что явно недостаточно для выделения процесса с частотой 1 Гц. В этом случае можно увеличить время накопления (но тогда на процесс будут влиять и более низкочастотные явления) или все-таки использовать более быстродействующую технику для обработки, или отказаться от наблюдения за процессом в реальном времени.

N - коэффициент усреднения, который следует вводить, если сумма разностного сигнала превышает телевизионный сигнал.

D - пороговое значение уровня шума обычно определяют, экспериментально устанавливая его таким образом, чтобы объекты, не совершающие периодические колебания, стали бы практически невидимы, т.е. сигнал R_i (результирующий сигнал i-гo элемента обработанного изображения) для них должен быть R_iфона ≤ 0. Если значение R_i отрицательно (шум больше накопленной разности кадров), то следует принять R_i = 0 при выводе и обработке изображения.

После установления определенного значения D происходит практически уменьшение диапазона выходного сигнала, например, при выводе псевдоцветного изображения происходит замена одним цветом части выбранной цветовой шкалы от 0 до значения D.

L - показатель степени (степенной коэффициент выявляемого процесса) обычно выбирают 1 или 2, но для лучшей визуализации отдельных сложных колебательных процессов или уменьшения влияния фона может быть выбран равным 3 или 4.

Вывод обработанного изображения может осуществляться как в виде изображения, так и в другом виде, например как числовой коэффициент, равный R_i и несущий интегральную информацию о новом преобразованном изображении.

Для более явного избавления выводимого изображения от изображений объектов, совершающих значительные непериодические перемещения, следует учитывать при выводе межкадровую разницу только в тех элементах изображения, где она существует неоднократно.

Модулирование накопленной суммы межкадровой разности цветовой шкалой при выводе преобразованного изображения в виде изображения т.е. передача амплитуды сигнала изменением цветовой гаммы, позволяет контрастно выделять те места на изображении, где большая амплитуда колебаний.

Авторы используют термин псевдоцветное изображение для выводимого обработанного изображения в отличие от обычного цветного изображения, получаемого с телевизионной камеры, т.к. цвет в обработанном изображении несет информацию о величине (амплитуде) суммы межкадровой разности.

Возможно использовать монохромную или стандартную цветовую шкалу для выводимого обработанного изображения, соответствующую, например, видимому световому диапазону от фиолетового до ИК, или другую цветовую шкалу с произвольным цветовым переходом, причем диапазон от нуля до порогового значения величины шума в изображении следует отображать одним цветом, например, черным или белым. Использование единой цветовой шкалы позволяет легко и наглядно сравнивать изображения, полученные в одинаковых условиях.

Реализацию предлагаемых способов можно осуществлять, используя стандартную телевизионную камеру и стандартное устройство обработки (например, PC), программно осуществляющее вычисление и визуализацию межкадровой разности.

Предлагаемое устройство состоит из фоточувствительного многоэлементного датчика и устройства обработки на одном кристалле КМОП прибора, что позволяет значительно повысить быстродействие при вычислении межкадровой разности, а значит добиться значительно большей чувствительности к выявлению периодических колебаний. Обычный датчик изображения на КМОП, преобразующий изображение в аналоговый или цифровой телевизионный сигнал, может содержать средства для получения межкадрового разностного сигнала, однако в реализации подобных КМОП датчиков изображения до настоящего времени не было необходимости и потребности.

Средства получения межкадрового разностного сигнала на КМОП датчике изображения могут быть как аппаратными, так и программными, т.к. современная технология изготовления КМОП приборов позволяет решать вопросы, практически, любой обработки сигнала, а значит и накопление межкадровой разности непосредственно на кристалле. Устройство, предлагаемое по данному изобретению, отличается от обычного КМОП датчика изображения тем, что при его работе выходной сигнал с него пропорционален не свету, падающему от объекта, а интенсивности периодического перемещения объекта.

Следует подчеркнуть, что неподвижные объекты оказываются невидимыми при преобразовании изображений в соответствии с предлагаемым способом, как это и отражено на приведенных фиг.1а и 1b. С другой стороны, практически ни один живой объект не может стать невидимым при длительном накоплении межкадровой разности, как бы человек (или животное) ни старался "замереть", он не может остановить периодические процессы, протекающие в его организме. Это свойство предлагаемого изобретения может быть использовано в различных системах охраны и безопасности для защиты от подделок путем разделения живых и неживых объектов, например, в дактилоскопии с помощью предлагаемого изобретения возможно выявление поддельных носителей дактилоскопической информации.

Применение предлагаемого устройства и способа может позволить решать различные практические задачи. Например, исследования, проведенные авторами, установили, что получаемое согласно предложенному изобретению изображение человека значительно зависит от его нервно-психологического состояния. Насыщенность изображения человека, находящегося в состоянии нервного возбуждения, под действием алкоголя или наркотика, значительно больше (т.е. интенсивность колебаний больше), чем у человека, находящегося в спокойном состоянии, а значит полученное изображение может быть использовано для выявления лиц, страдающих алкоголизмом, наркоманией, нервными и/или другими заболеваниями, а также как бесконтактный "детектор лжи".

На фиг. 1а приведено обычное изображение руки человека на фоне телевизионной тестовой таблицы, представляющее собой один кадр в полученной последовательности кадров.

На фиг. 1b приведено преобразованное из полученной последовательности кадров согласно предлагаемому изобретению изображение руки человека, представляющее собой один кадр в преобразованной последовательности кадров.

На фиг.2 представлен вариант структурной схемы предлагаемого устройства.

На фиг. 3 приведено преобразование из полученной последовательности кадров псевдоцветного изображения лица человека.

Предлагаемое устройство состоит из следующих основных составляющих: фоточувствительный многоэлементный преобразователь 1; кадровая память 2, 3; блок нахождения межкадровой разности 4; сумматор межкадровой разности 5; управляющие регистры 6, расположенные на едином КМОП кристалле 7 и блок вывода обработанного сигнала 8.

Работа устройства осуществляется следующим образом.

Оптическое изображение объекта, проецируемое на многоэлементный фоточувствительный преобразователь 1, преобразуется им в электрический сигнал, который под управлением регистров 6 покадрово считывается поочередно в блоки кадровой памяти 2 и 3. Из блоков кадровой памяти кадровые сигналы, синхронизированные до элемента изображения, подаются на блок нахождения межкадровой разности, сигнал с которого подается на блок накопления, в котором происходит накопление (суммирование) межкадровой разницы до момента получения сигнала запуска с управляющего регистра. После получения сигнала запуска происходит передача выходного преобразованного сигнала на блок вывода обработанного сигнала и его отображение, например, в виде псевдоцветного изображения объекта.

Естественно, что конструкция заявляемого устройства не ограничивается приведенной структурной схемой. Возможно выполнение заявляемого устройства с применением логичных решений, вытекающих из существующего уровня техники, например, использование в блоках 2 и 3 не кадровой, а строчной памяти, первоначальной оцифровки сигнала и т.д.

Приведем пример конкретного выполнения заявляемого изобретения при получении суммы кадровой разности изображений руки человека (нового изображения) на основе последовательности телевизионных кадров (старого) изображения.

В качестве телевизионной камеры используем цветную цифровую телевизионную камеру типа AverCam с фоточувствительным КМОП прибором и выходным сигналом, подаваемым на USB порт компьютера. Для осуществления предлагаемого способа возможно использование и черно-белой телевизионной камеры, т.к. для получения межкадровой разности обычно используют интегральный яркостный сигнал, хотя можно находить разность в любом одном поле из сигналов RGB.

Выбирают режим работы телевизионной камеры 600 х 400 элементов изображения. Получают изображение, состоящее из последовательных кадров руки на фоне телевизионной тестовой таблицы, которое через USB порт передают на компьютер, который визуализирует данную картину на мониторе. Производят вычисление и накопление межкадровой разности по разработанной авторами программе в соответствии с предлагаемым изобретением, а также выводят как новое, так и старое изображение на экране компьютера в режиме нескольких кадров в секунду. Полученное старое и новое изображения руки человека приведены на фиг. 1а и lb соответственно. Освещенность на объекте составляла 300 лк. Были заданы следующие параметры в программе: М = 10; L = 1, N = 1: D = 20.

При изменении программных установок вывод преобразованного (нового) изображения осуществляется в следующих режимах:
a) псевдоцветном с выводом только изображения накопленной суммы межкадровой разности в виде изображения, амплитуда которого промодулирована цветовой шкалой (фиг.3);
b) монохроматическом с выводом только изображения накопленной суммы межкадровой разности, причем величина полученной суммы каждого элемента изображения пропорциональна интенсивности монохроматического цвета. Цвет может быть, в принципе, любым, однако авторы предпочитали выбор серого цвета для монохроматического режима;
c) псевдоцветной с наложением изображения, полученного при суммировании межкадровой разности, на реальное изображение.

Каждый из использованных режимов вывода изображения имеет свои преимущества. Псевдоцветной режим позволяет получать новое преобразованное изображение в наиболее ярком и контрастном виде и применим для регистрации малозаметных изменений.

Монохроматический режим наиболее подходит для измерений и позволяет регистрировать значительные колебания.

Псевдоцветной режим с наложением не требует вывода второй обычной картинки на экране, что может быть удобно при настройке на объект.

При изменении параметра М происходят следующие изменения в наблюдаемой картине нового изображения. При уменьшении М ≤ 50 цельный контур руки разрывается и остается изображение только в отдельных более ярких местах. Если при М ≤ 50 уменьшить пороговое значение для уровня шума изображения, то изображение контура руки восстановится, но при этом появятся видимые шумы по всему изображению, яркость которых будет сравнима с изображением руки, а также начнут "проявляться" неподвижные предметы.

При увеличении М ≥ 20 происходит соответственно увеличение и накопление уровня шумов, причем из-за влияния других низкочастотных процессов (дыхания, низкочастотных мышечных перемещений), изображение руки размывается и становится менее контрастным даже при увеличении порогового уровня, настраиваемого на устранение шумов изображения.

Авторами было установлено, что интенсивность получаемого согласно изобретению изображения человека в нормальном спокойном состоянии представляет собой примерно постоянную величину, естественно, при наблюдении за ним в фиксированных условиях. При изменении состояния человека: повышение температуры при заболевании, интенсивность получаемого нового изображения возрастает. Также возрастает интенсивность нового изображения после приема алкогольных напитков. С другой стороны, после приема некоторых успокоительных препаратов, тормозящих жизнедеятельность организма, наблюдалось уменьшение интенсивности изображения.

Было установлено отсутствие зависимости качества нового изображения от частоты обновления изображения, т.е. его визуализации после всей выборки или каждой обработанной разности. Увеличение или уменьшение количества обрабатываемых кадров может приводить к ухудшению качества нового изображения, аналогично соответственно недоэкспозиции или передержке при обычной съемке. Количество кадров в выборке и количество обработанных кадров (т.е. кадров, по которым определяется разность) могут различаться, т.к. необходимо определенное время на обработку, причем, чем меньше эта разница, тем лучше может быть чувствительность.

Проведенные эксперименты показали возможность получения предлагаемым способом и устройством принципиально новых фото и видеоизображений, (удивительно напоминающих изображение древней ауры или свечения) высших живых организмов (человека, собаки и т.д.), отражающих определенные параметры организма, изучение и использование которых может дать новые возможности медицине и биометрии. Приведенное изобретение не ограничивается возможностью получения изображения только живых объектов и может быть использовано для выявления и других периодических процессов, например технологии 25 кадра или механически вибрирующих предметов.

Список литературы
1. US 5047854, MKИ H 04 N 7/12, oп. 10.09.91.

2. ЕР 0465375, МКИ H 04 N 5/14, oп. 8.01.92.

3. ЕР 0472806, МКИ G 06 F 15/70, oп. 4.03.92.

4. ЕР 0492724, МКИ G 06 F 15/70, oп. 1.07.92.

5. ЕР 0488721, МКИ H 04 N 5/14, oп. 3.06.92.

6. ЕР 0474304, MKИ H 04 N 7/137, oп. 11.03.92, (прототип).

7. RU 2053706, МКИ А 61 В 5/02, oп. 10.02.96.

8. "Электрические измерения неэлектрических величин" под ред. проф. П.В. Новицкого, Изд. "Энергия", Ленинград, 1975 г., стр. 202.

Изобретение относится к области биометрии и может быть использовано для преобразования, получения, обработки и анализа электронных изображений живых биологических объектов. Техническим результатом является возможность выявлять объекты (прежде всего живые), совершающие незначительные, практически невидимые глазом, периодические колебания, получать и анализировать изображения таких объектов на фоне как стационарных, так и движущихся объектов. Технический результат достигается тем, что получают последовательные кадры изображения объекта, находят межкадровую разность изображений и при обработке изображения накапливают сумму разностей из не менее двух выбранных последовательных кадров изображения, причем устройство преобразования изображения объекта выполнено в виде КМОП датчика изображения, содержащего фоточувствительный многоэлементный преобразователь и средство для обработки изображения межкадровой разности, выполняющее операцию накопления суммы разностей кадров изображения, полученных фоточувствительным многоэлементным преобразователем. 2 с. и 5 з.п. ф-лы, 4 ил.

1. Способ получения информации об объекте путем преобразования изображения объекта, включающий проецирование изображения объекта на многоэлементный преобразователь для преобразования изображения объекта в электрический сигнал с последующим получением последовательных кадров изображения, межкадровой разности, обработку межкадровой разности для получения выходного преобразованного сигнала и его информационного отображения, отличающийся тем, что при обработке межкадровой разности производят накопление суммы разностей из не менее двух выбранных последовательностей кадров изображения. 2. Способ по п.1, отличающийся тем, что получение выходного преобразованного сигнала и его информационного отображения осуществляют, модулируя цветовой шкалой накопленную сумму межкадровой разности, получая информационное отображение в виде псевдоцветного изображения. 3. Способ по п.2, отличающийся тем, что при получении выходного преобразованного сигнала и его информационного отображения накладывают полученное псевдоцветное изображение на реальное. 4. Способ по п.1 отличающийся тем, что накопление суммы разностей выходных сигналов каждого элемента последовательных кадров осуществляют по формуле

где R_i ≥ 0 - результирующий сигнал i-oгo элемента обработанного изображения, который принимают равным 0 при получении отрицательного значения в формуле;
X_i,k - реальный сигнал i-гo элемента в кадре с номером k;
X_i,k+1 - реальный сигнал i-гo элемента в кадре с номером k+1;
М - количество обрабатываемых кадров в последовательности кадров;
L - степенной коэффициент выявляемого процесса;
N - коэффициент усреднения;
D - пороговое значение уровня шума изображения. 5. Способ по п.1, отличающийся тем, что полученное в результате преобразования изображение живого объекта его информационное отображение используют для получения информации о физиологическом или психофизическом состоянии живого объекта. 6. Способ по п.5, отличающийся тем, что интенсивность полученного информационного отображения живого объекта пропорциональна изменению исследуемых параметров этого объекта. 7. Устройство для получения информации об объекте путем преобразования оптического изображения объекта, включающее фоточувствительный многоэлементный преобразователь и средство для обработки изображения межкадровой разности, подключенное к блоку вывода выходного преобразованного сигнала, отличающееся тем, что фоточувствительный многоэлементный преобразователь и средство обработки выполнены на одном кристалле в виде КМОП датчика изображения, причем средство обработки изображения межкадровой разности выполнено таким образом, что способно производить накопление суммы разностей кадров изображения, полученных фоточувствительным многоэлементным преобразователем.