Способ увеличения эффективного времени накопления сигнала в системах досмотра, формирующих изображение скрытых предметов Российский патент 2017 года по МПК G01V3/11 G08B13/181 

Область техники, к которой относится изобретение

Изобретение относится к области дистанционного определения и классификации подозрительного объекта, скрытого под одеждой человека, и может быть использовано для скрытого досмотра лиц.

Уровень техники

Известен способ (патент US 20120026336), в котором используется дополнительная видеокамера для получения видеоизображения одновременно с изображением объекта в миллиметровом диапазоне длин волн. При этом интегрирование первого и второго кадров в миллиметровом диапазоне длин волн, с целью увеличения разрешающей способности, происходит лишь в том случае, когда объект остается неподвижным.

Известен способ дистанционного досмотра цели в контролируемой области пространства (патент RU 2411504). Сущность способа заключается в том, что осуществляют облучение контролируемой области СВЧ-излучением с помощью одного или более элементарных СВЧ-излучателей, регистрацию параллельных каналов данных, когерентную обработку зарегистрированного сигнала с получением максимальных значений интенсивности восстановленной конфигурации рассеивателей в области досмотра в зависимости от дальности элементарных излучателей до цели и отображение полученной в результате обработки информации путем построения СВЧ-изображения трехмерной поверхности, при этом дополнительно получают видеоизображение цели с помощью двух и более видеокамер, синхронизированных с СВЧ-излучателями, преобразуют полученное видеоизображение и СВЧ-изображение в общую систему координат, определяют наличие у цели скрытого диэлектрического объекта.

Известен также способ досмотра скрытых предметов под одеждой и в переносимом багаже человека, передвигающегося естественно (патент RU 2564693), в котором одновременно с регистрацией отраженного СВЧ-излучения происходит синхронная видеорегистрация передвигающегося человека видеорегистратором, производится накопление и совместная обработка данных, зарегистрированных распределенной системой каналов регистрации и видеорегистратором, определение траектории каждого пикселя, принадлежащего передвигающемуся человеку за время пересечения области видимости распределенной системы каналов регистрации, представления результатов расчета в виде синтезированного радиоизображения для произвольно задаваемого предыдущего момента времени и соответствующей этому моменту позы передвигающегося человека и вычисление обобщенной функции неопределенности для каждого пикселя, принадлежащего передвигающемуся человеку, характеризующей радиолокационную отражательную способность данного пикселя определяют по соответствующей формуле.

Наиболее близким аналогом (прототипом) является способ дистанционного обнаружения предметов, скрытых под одеждой людей, и устройство для его осуществления (патент RU 2133971), заключающийся в том, что с помощью радиоприемной антенны, сфокусированной на небольшом участке поверхности тела человека, принимают электромагнитные волны, излученные этим участком, затем с помощью радиометра и сопряженного с ним блока обработки измеряют интенсивность принятого сигнала, регистрируя при этом положение луча. Измеренную интенсивность принятого сигнала отображают в виде интенсивности свечения экрана дисплея и по распределению интенсивности определяют наличие или отсутствие металлических или неметаллических предметов.

Недостатком известных аналогов и прототипа является их недостаточная чувствительность (пропорциональная квадратному корню из времени накопления сигнала) из-за малого времени накопления сигнала при регистрации изменения собственного электромагнитного излучения на движущемся досматриваемом лице из-за ограниченного промежутка времени нахождения участка наблюдаемого объекта в заданной области пространства. В предлагаемом изобретении для увеличения эффективного времени накопления сигнала используется дополнительный видеоканал, который позволяет идентифицировать различные участки наблюдения на движущемся объекте и поставить их в соответствие с элементами изображения (пикселями) в канале собственного электромагнитного излучения. Таким образом, эффективное время накопления сигнала может достигать общего времени наблюдения данного участка движущегося объекта, несмотря на значительное перемещение этого участка в пределах кадра изображения.

Сущность изобретения

Задача

Техническая задача состоит в устранении указанного недостатка за счет использования дополнительного видеоизображения от видеоканала оптического диапазона с известным соответствием между пикселями каналов собственного электромагнитного излучения досматриваемого лица и видеоизображения от видеоканала оптического диапазона, причем для формирования каждого кадра канала собственного электромагнитного излучения досматриваемого лица используется информация о траектории движения досматриваемого лица и его конечностей, получаемая от видеоканала оптического диапазона.

Сущность способа

Технический результат достигается тем, что в отличие от известного способа для формирование изображения скрытых предметов на досматриваемом лице дополнительно используется видеоизображение от видеоканала оптического диапазона с известным соответствием между пикселями каналов собственного электромагнитного излучения досматриваемого лица и видеоизображения от видеоканала оптического диапазона, причем для формирования кадра i в канале собственного электромагнитного излучения досматриваемого лица используется информация о траектории движения досматриваемого лица и его конечностей, получаемая от видеоканала оптического диапазона следующим образом: для каждого достаточно малого сегмента k досматриваемого лица в кадре i видеоканала оптического диапазона находится положение этого сегмента на N₁ предыдущих и N₂ последующих кадрах i-N₁ … i+N₂, после чего, с использованием известного соответствия между пикселями изображений каналов собственного электромагнитного излучения досматриваемого лица и видеоканала оптического диапазона, формируется изображение кадра i канала собственного электромагнитного излучения досматриваемого лица, в котором значение пикселя l, принадлежащего сегменту k, определяется из выражения:

где e_l,k,j - значение интенсивности пикселя l сегмента k движущегося досматриваемого лица в кадре j видеоканала собственного электромагнитного излучения, N₁ и N₂ - числа кадров до и после текущего кадра i, такие, что полное количество используемых кадров равно N₁+N₂+1, M_l,k,j - функция, принимающая значение 1, если фрагмент сегмента k, соответствующий пикселю l, присутствующий на одном или нескольких кадрах с индексами от i-N₁ до i+N₂, присутствует в кадре j и принимающая значение 0, в противном случае.

Перечень фигур и иных материалов

На фиг. 1 представлена траектория движения сегмента видеоизображения досматриваемого лица на последовательности кадров i-N₁ … i+N₂ видеоканала оптического диапазона, где 1 - пиксель l, 2 - сегмент k видеоизображения движущегося досматриваемого лица, 3 - номер кадра i.

На фиг. 2 представлена траектория движения того же сегмента изображения досматриваемого лица на последовательности кадров i-N … i+N канала собственного электромагнитного излучения досматриваемого лица, где 1 - положение пикселя l, 2 - положение сегмента k, 3 - номер кадра.

На фиг. 3 показаны кадры 1 (а), 33 (б) и 51 (в) из последовательности видеоизображений видеоканала оптического диапазона с сегментом изображения движущегося досматриваемого лица (торс), состоящей из 51 кадра.

На фиг. 4 показаны кадры 1 (а), 33 (б) и 51 (в) из последовательности изображений видеоканала собственного электромагнитного излучения с сегментом изображения движущегося досматриваемого лица (торс), состоящей из 51 кадра.

На фиг. 5 представлен результат использования медианной фильтрации для кадра 51.

На фиг. 6 показано изображение сегмента (торс) досматриваемого движущегося лица в канале собственного электромагнитного излучения, полученное с использованием приведенной формулы для 51 кадра видеопоследовательности для N₁=50 и N₂=0.

5. Сведения, подтверждающие возможность осуществления изобретения.

На фиг. 1 представлена траектория движения сегмента изображения досматриваемого лица на последовательности кадров i-N₁ … i+N₂ видеоканала оптического диапазона, где 1 - пиксель l, 2 - сегмент k изображения движущегося досматриваемого лица, 3 - номер кадра i. Сегментация досматриваемого лица может осуществляться в соответствии с анатомией человека. На фиг. 1 кадр i является кадром с мгновенной позой досматриваемого лица, для которой рассчитывается изображение в канале собственного электромагнитного излучения. При этом используются N₁ и N₂ зарегистрированных кадров до и после рассматриваемого кадра i соответственно. Выбор кадра i является произвольным. Он может выбираться таким образом, чтобы иметь наиболее показательную позу досматриваемого лица. Выбор номеров кадров N₁ и N₂, используемых для вычисления суммы в выражении:

где e_l,k,j - значение интенсивности пикселя l сегмента k движущегося досматриваемого лица в кадре j видеоканала собственного электромагнитного излучения, N₁ и N₂ - числа кадров до и после текущего кадра i, такие, что полное количество используемых кадров равно N₁+N₂+1, M_l,k,j - функция, принимающая значение 1, если фрагмент сегмента k, соответствующий пикселю l, присутствующий на одном или нескольких кадрах с индексами от i-N₁ до i+N₂, присутствует в кадре j, и принимающая значение 0 в противном случае, также является произвольным и определяется условиями съемки, частотой кадров видеосистемы оптического диапазона, уровнем шума и т.п.

Выражение (1) позволяет вычислить сумму значений пикселей на последовательности кадров в видеоканале собственного электромагнитного излучения, где положение пикселей, используемых в сумме, определяется перемещением сегментов изображения человека в видеоканале видимого излучения. Эффект суммирования значений пикселей в канале собственного излучения вдоль траектории движения сегментов изображения движущегося человека аналогичен наблюдению стационарного объекта в канале собственного электромагнитного излучения и нахождения суммы одних и тех же пикселей на последовательности кадров, либо увеличением времени экспозиции для получения одного кадра видеопоследовательности. Для движущихся объектов увеличение времени экспозиции для получения одного кадра не представляется возможным в условиях слабого сигнала собственного электромагнитного излучения из-за эффекта «смаза» изображения. Таким образом, нахождение нормированной суммы значений пикселей в видеоканале собственного электромагнитного излучения по приводимой математической формуле аналогично эффекту, получаемому от увеличения времени накопления сигнала при наблюдении стационарных объектов. Таким образом, благодаря использованию дополнительного канала регистрации видимого диапазона, которому присущи высокие сигнал/шум, становится возможным формировать синтетическое изображение в канале регистрации собственного излучения, в котором соотношение сигнал/шум будет больше за счет суммирования (накопления) сигнала для каждого пикселя. При этом положение пикселя от кадра к кадру устанавливается по траектории фрагмента изображения движущего объекта, извлекаемой из видеоканала оптического диапазона.

Эффективным временем накопления является время, связанное пропорциональной зависимостью с количеством кадров N₁+N₂+1, которое используется для вычисления суммы в математической формуле (выражение (1)). Например, если время накопления сигнала для одного пикселя в видеоканале собственного электромагнитного излучения составляет Δt, то эффективное время накопления сигнала с использованием математической формулы составляет . Максимальное значение для эффективного времени накопления сигнала получается в случае, когда фрагмент сегмента k изображения, соответствующий пикселю l, присутствует на всех кадрах с порядковыми номерами от i-N₁ до i+N₂. В таком случае эффективное время накопления увеличивается в N₁+N₂+1 раз по сравнению со временем накопления сигнала Δt, которое имеет место для каждого пикселя в кадре собственного электромагнитного излучения.

На фиг. 2 представлена траектория движения того же сегмента изображения досматриваемого лица на последовательности кадров i-N … i+N видеоканала собственного электромагнитного излучения досматриваемого лица, где 1 - положение пикселя l, 2 - положение сегмента k, 3 - номер кадра i. Для сегментации и слежения канал собственного электромагнитного излучения досматриваемого лица не используется в предположении, что он обычно имеет существенно меньшее соотношение сигнал/шум по сравнению с видеоканалом оптического диапазона. Траектория сегмента изображения досматриваемого лица в видеоканале собственного электромагнитного излучения досматриваемого лица вычисляется с использованием заранее известного соответствия между пикселями обоих каналов, которое устанавливается с помощью взаимной калибровки видеосистем.

На фиг. 3 показаны кадры 1 (а), 33 (б) и 51 (в) из последовательности видеоизображений видеоканала оптического диапазона с сегментом изображения движущегося досматриваемого лица (торс), состоящей из 51 кадра.

На фиг. 4 представлены кадры 1 (а), 33 (б) и 51 (в) из последовательности изображений канала собственного электромагнитного излучения с сегментом изображения движущегося досматриваемого лица (торс), состоящей из 51 кадра. Для нахождения положения сегментов досматриваемого лица в канале собственного электромагнитного излучения использовалось заранее известное соответствие между пикселями двух каналов.

Как видно по изображениям (а, б и в), представленным на фиг. 4, по отдельно взятым кадрам трудно классифицировать скрытый предмет, расположенный в области пояса. Фильтрация шума с использованием только единственного кадра видеопоследовательности, как показано на фиг. 5, где используется медианная фильтрация, не дает заметного результата.

На фиг. 6 показано изображение сегмента изображения досматриваемого движущегося лица в канале собственного электромагнитного излучения 51 кадра видеопоследовательности для N₁=50 и N₂=0, полученное в результате обработки с использованием выражения (1). На получившемся в результате изображении отчетливо виден скрытый предмет, который уверенно классифицируется.

Основываясь на полученных результатах, можно сделать вывод о значительных перспективах использования данной технологии для получения радиоизображений в системах досмотра человека и переносимого багажа в движении. Преимуществами таких систем, по сравнению с предлагающимися в настоящее время пассивными системами досмотра человека, будут лучшее качество получаемых радиоизображений, пригодных для автоматического обнаружения скрытых предметов и их классификации, под одеждой человека.

Способ увеличения эффективного времени накопления сигнала дополнительно используют видеоизображение от видеоканала оптического диапазона с известным соответствием между пикселями каналов собственного электромагнитного излучения досматриваемого лица и видеоизображения от видеоканала оптического диапазона. Причем для формирования кадра в канале собственного электромагнитного излучения досматриваемого лица используют информацию о траектории движения досматриваемого лица, получаемую от видеоканала оптического диапазона. Накопление производится за счёт суммирования интенсивности электромагнитного излучения в пикселе сегмента, который присутствует на одном или нескольких кадрах видеоканала оптического диапазона. Технический результат заключается в получении изображения подозрительного объекта скрытого под одеждой человека и классификация его типа при регистрации изменения собственного электромагнитного излучения при движущемся досматриваемом лице. 6 ил.

Способ увеличения эффективного времени накопления сигнала в системах досмотра, формирующих изображения скрытых предметов, заключающийся в регистрации изменения собственного электромагнитного излучения при наличии на досматриваемом лице предметов, подлежащих обнаружению, отличающийся тем, что дополнительно используют видеоизображение от видеоканала оптического диапазона с известным соответствием между пикселями каналов собственного электромагнитного излучения досматриваемого лица и видеоизображения от видеоканала оптического диапазона, причем для формирования кадра i в канале собственного электромагнитного излучения досматриваемого лица используют информацию о траектории движения досматриваемого лица и его конечностей, получаемую от видеоканала оптического диапазона следующим образом: для каждого достаточно малого сегмента k досматриваемого лица в кадре i видеоканала оптического диапазона находится положение этого сегмента на N₁ предыдущих и N₂ последующих кадрах i-N₁…i+N₂, после чего, с использованием известного соответствия между пикселями изображений каналов собственного электромагнитного излучения досматриваемого лица и видеоканала оптического диапазона, формируют изображение кадра i канала собственного электромагнитного излучения досматриваемого лица, в котором значение пикселя l, принадлежащего сегменту k, определяют из выражения:

где e_l,k,j - значение интенсивности пикселя l сегмента k движущегося досматриваемого лица в кадре j видеоканала собственного электромагнитного излучения, N₁ и N₂ - числа кадров до и после текущего кадра i, такие, что полное количество используемых кадров равно N₁+N₂+1, M_l,k,j - функция, принимающая значение 1, если фрагмент сегмента k, соответствующий пикселю l, присутствующий на одном или нескольких кадрах с индексами от i-N₁ до i+N₂, присутствует в кадре j, и принимающая значение 0 в противном случае.