СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И ТПВ-КАМЕРА Российский патент 2016 года по МПК H04N5/33 

Изобретение относится к способу обработки изображений для серии ИК-кадров, причем серия включает в себя, по меньшей мере, первый ИК-кадр и второй ИК-кадр, причем первый ИК-кадр относится к первому моменту времени, а второй ИК-кадр - второму, более позднему моменту времени.

Кроме того, изобретение относится к ТПВ-камере (тепловизионной камере), имеющей средства обработки изображений.

Стало обычным делом создавать серию ИК-кадров места действия, например, в виде фильма, для того чтобы запечатлеть со временем истекающие процессы или проводить долговременные измерения.

Выяснилось, что при применении удерживаемой в руке ТПВ-камеры довольно сложно наблюдать, в частности, за маленькими объектами через видоискатель и фиксировать цель в течение более длительного промежутка времени. Поэтому такие ТПВ-камеры рекомендуется на время проведения измерений устанавливать на штативы или т.п. устройства.

Задачей изобретения является упрощение измерений с помощью ТПВ-камеры, которые проводятся более длительное время.

Для решения этой задачи изобретение предусматривает в способе обработки изображений указанного типа, что к первому моменту времени получают первый кадр места действия, ко второму моменту времени получают второй кадр места действия, при этом на первом кадре выбирают первую область изображения и для первой области изображения выделяют, по меньшей мере, один признак из первого кадра, на втором кадре определяют и выделяют вторую область изображения с помощью алгоритма распознавания признака и/или образа так, что для выделенной второй области изображения совпадение, по меньшей мере, одного выделенного признака с выделенным из второй области изображения, по меньшей мере, одним признаком является оптимальным, и путем сравнения местоположения изображения первой области изображения в первом кадре с местоположением изображения второй области изображения на втором кадре получают вектор трансляции, который соотносит, по меньшей мере, одну точку первого ИК-изображения, по меньшей мере, с одной точкой второго ИК-изображения.

Таким образом, изобретение предлагает такое выгодное решение, что мнимую картину на отснятых ИК-кадрах по причине неконтролируемого собственного движения съемочного аппарата, т.е. ТПВ-камеры, или действительную картину можно наблюдать с помощью нескольких ИК-изображений. Это движение можно компенсировать с помощью установленного вектора трансляции, благодаря чему очень просто можно проводить длительные измерения в течение нескольких секунд или еще дольше.

Особенно простая форма выполнения в смысле конструкции может предусматривать, что в качестве первого изображения используют первый ИК-кадр, а в качестве второго изображения - второй ИК-кадр.

Когда ТПВ-камера дополнительно имеет камеру визуального отображения (ВИЗ-камера), то можно предусмотреть, что первый кадр и второй кадр сняты в видимой спектральной области. С помощью изобретения достигается то, что выделение признаков для изображений, полученных для ВИЗ-кадров, можно выполнить гораздо проще.

Если в качестве первого или второго изображения не используют ИК-кадры, то можно предусмотреть, что для определения вектора трансляции используют заданное соответствие между точками изображения (пикселями), созданного к моменту времени кадра, и точками изображения (пикселями) ИК-кадра, относящегося к этому моменту времени. При этом заданное соответствие определяет порядок, как ИК-кадры можно совместить с соответственно принадлежащими изображениями.

Для возможности распознавания оптимального совпадения можно определить и подготовить функцию вероятности, причем оптимальное совпадение определяют, когда функция вероятности превышает заданное граничное значение.

Заявленный способ обработки изображений можно применить к серии ИК-кадров, которая состоит из кадров этой серии.

Для достижения, по возможности, более коротких промежутков времени можно предусмотреть, что выделение второй области изображения выполняют одновременно для съемки других ИК-кадров серии.

В принципе, выделенные области изображения могут быть сформированы расширенно в виде точек или по плоскостям.

Для возможности проведения измерения и/или наблюдения за объектом с помощью нескольких ИК-кадров серии можно предусмотреть, чтобы серия включала третий ИК-кадр, причем третий ИК-кадр относится к третьему моменту времени, который следует за вторым моментом времени, к третьему моменту времени создают третье изображение места действия, при этом на втором кадре выделяют новую первую область изображения, которая определена из полученной ранее второй области изображения второго кадра, и для новой первой области изображения выделяют, по меньшей мере, один признак из второго кадра, на третьем кадре новую вторую область изображения определяют и выделяют с помощью алгоритма распознавания признаков и/или образов, при этом для выделенной новой второй области изображения совпадение, по меньшей мере, одного признака, по меньшей мере, с одним признаком, выделенным для новой первой области изображения, является оптимальным, и путем сравнения местоположения изображения новой первой области изображения на втором кадре с местоположением изображения новой второй области изображения на третьем кадре определяют вектор трансляции, который соотносит, по меньшей мере, одну точку изображения второго ИК-кадра, по меньшей мере, с одной точкой изображения на третьем ИК-кадре. Преимущественно новая первая область изображения на втором кадре выделена идентично второй области изображения второго кадра на первом этапе способа и выделяют новую вторую область изображения с учетом полученного сначала вектора трансляции, в частности с учетом движения объекта. Тем самым можно избежать того, что каждый раз выделенные и обработанные области изображений «прыгают» между кадрами серии, в результате чего становится возможным непрерывное наблюдение за объектом с помощью прохождения нескольких кадров.

Можно также предусмотреть, что новую первую область изображения из полученной ранее второй области изображения получают с учетом изменения температуры между двумя точками изображения двух ИК-кадров, соотнесенными вектором трансляции. При этом выгодно, что движение или динамику объекта можно проследить также и тогда, когда его температура меняется с течением времени, и на основании этих изменений температуры меняется форма, яркость и/или контрастность.

Для проведения долговременных измерений температуры можно предусмотреть определение и вывод последовательности, по меньшей мере, из двух, в частности, по меньшей мере, трех значений температуры для получения точек изображений, соотнесенных вектором трансляции, на соответствующих ИК-кадрах. Альтернативно и дополнительно можно также предусмотреть определение и вывод последовательности, по меньшей мере, из одного значения разности температур, в частности, по меньшей мере, двух значений разности температур для получения точек изображений, соотнесенных вектором трансляции, на соответствующих ИК-кадрах. Для выравнивания перспективных изображений можно предусмотреть, что поправляют первое и второе изображение или ИК-кадры. Предпочтительно эту поправку проводят перед выделением признаков и/или перед выделением областей изображения. При этом, под поправкой следует понимать процесс обработки изображений, в котором корректируют перспективные искажения образа действительно плоского кадра. При этом выгодно, что после поправки можно проще и с меньшими погрешностями получить оптимальное совпадение признаков.

Можно предусмотреть создание и/или получение наложения на первый ИК-кадр второго ИК-кадра, смещенного относительно первого ИК-кадра на вектор трансляции. Тем самым можно очень просто представить или продемонстрировать изменения снимаемых объектов с течением времени на ИК-кадрах.

Для решения задачи в ТПВ-камере указанного типа предусмотрено, что средства обработки изображений направлены для реализации заявленного способа обработки изображений. Для этого средства обработки изображений могут иметь устройство обработки данных с рабочей программой, причем рабочая программа выполнена так, чтобы заявленный способ обработки изображений реализовался с помощью этой рабочей программы.

Особенно удобно, если ТПВ-камера представляет собой удерживаемую в руке ТПВ-камеру и/или имеет устройство отображения для получения ИК-кадров и/или ВИЗ-кадров.

Изобретение описано на основе примера выполнения, однако не ограничивается этим примером. Другие примеры выполнения получены в результате сочетания между собой отдельных или нескольких признаков формулы изобретения и/или с помощью отдельных или нескольких признаков примера выполнения. В упрощенном виде представлено следующее:

Фиг. 1 заявленная ТПВ-камера, вид в перспективе спереди,

Фиг. 2 ТПВ-камера согласно Фиг. 1, вид в перспективе сзади,

Фиг. 3 первое ИК-изображение, обработанное с помощью заявленного способа обработки изображений,

Фиг. 4 второе ИК-изображение, обработанное с помощью способа обработки изображений из Фиг. 3,

Фиг. 5 первый кадр и первое ИК-изображение, обработанное другим заявленным способом обработки изображений,

Фиг. 6 второй кадр и второе ИК-изображение, обработанное способом обработки изображений из Фиг. 5.

Заявленная ТПВ-камера 1, представленная на Фиг. 1 и Фиг. 2, имеет ИК-объектив 2, за которым находятся известным образом ИК-датчики, подробно не представленные, для приема ИК-изображений.

ТПВ-камера 1 имеет, кроме того, ВИЗ-камеру 4, которая предназначена для приема визуальных отображений.

На устройстве отображения 5, выполненном в виде дисплея, можно демонстрировать принятые ИК- или ВИЗ-кадры по отдельности или с наложением или наплывом, причем форму демонстрации можно выбирать или менять с помощью элементов управления 6. В представленные кадры можно вводить в соответствующих местах измеренные температурные значения.

ТПВ-камера 1 выполнена в виде ручного устройства с ручкой 7, причем в области ручки 7 расположена или вмонтирована пусковая кнопка 8 для приема ИК-изображений или ВИЗ-отображений.

Энергия, необходимая для работы ТПВ-камеры, вырабатывается с помощью блока энергоснабжения, встроенного в ручку 7 или вообще в ТПВ-камеру 1.

В ТПВ-камере 1 имеются подробно не представленные средства обработки изображений 9, которые включают в себя устройство обработки данных.

В устройство обработки данных заложена рабочая программа, и команды программы осуществляют заявленный способ обработки изображений, который будет описан ниже более подробно.

На Фиг. 3 и Фиг. 4 для пояснения принципа изобретения схематично показан первый ИК-кадр 10 и второй ИК-кадр из серии ИК-кадров, принятых ИК-датчиками 3. ИК-кадры 10 и 11 содержат разные образы 12 и 13 одного объекта места действия, причем на втором ИК-кадре 11 образ 12 из первого ИК-кадра 10 повторяется для пояснения принципа изобретения.

Таким образом, в результате сравнения Фиг. 3 и 4 видно, что ТПВ-камера 1 и область, содержащая объект, перемещаются между съемками друг относительно друга.

Чтобы можно было следить за движением и его компенсировать, на первом ИК-кадре 10 выделяют первую область изображения 14, для которой выделяют подробно не представленный признак из первого ИК-кадра 10. Это выделение можно выполнить вручную, например с помощью элемента управления 6, или автоматически, идентифицируя существенные признаки. В качестве признака можно при этом выделить каждый используемый при обработке изображений или известный признак, например, ребро или другую какую геометрическую структуру, распределение яркости или цвета, содержание картинки или т.п.

Затем на втором ИК-кадре 11 определяют и выделяют вторую область изображения 15 таким образом, что для выделенной второй области изображения 15 является оптимальным совпадение, по меньшей мере, одного выделенного признака, по меньшей мере, с одним признаком, выделенным для первой области изображения 14.

При этом сначала для второго ИК-кадра выделяют множество признаков из множества областей изображений и выискивают тот признак, который показывает наибольшее совпадение с признаком, выделенным из первого ИК-кадра 10. Ту область изображения, из которой этот признак был получен, выделяют затем в качестве второй области изображения 15.

При этом можно использовать функцию вероятности, с помощью которой признаки оценивают, причем превышение заданного граничного значения благодаря функции вероятности показывает оптимальное совпадение признаков.

Путем сравнения местоположений изображений 16 и 17, присвоенных первой области изображения 14 и второй области изображения 15, в частности, с помощью установления различий определяют вектор трансляции 18.

Этот вектор трансляции 18 соотносит между собой точки изображения 16 и 17, а также и другие точки ИК-кадров 10, 11 таким образом, что путем взаимного перемещения ИК-кадров 10, 11 на вектор трансляции 18 образы 12, 13 примерно или даже точно совпадают.

Теперь для местоположений изображений 16, 17 можно вывести температурные значения из ИК-кадров 10, 11, которые передают временное изменение температуры снятого объекта.

Заявленный способ обработки изображений можно продолжить теперь с помощью третьего, подробно не представленного ИК-кадра таким образом, что вторую область изображения 15 второго ИК-кадра 11 используют как новую первую область изображения.

С помощью полученного вектора трансляции 18 можно показать ИК-кадры 10, 11 на устройстве отображения 5 взаимно смещенными в наплыве и наложении таким образом, чтобы образы 12, 13 совпали.

На Фиг. 5 и Фиг. 6 в сильно упрощенном виде показан другой заявленный способ. При этом компоненты, совпадающие с компонентами описанного выше способа, обозначены одинаковыми позициями и еще раз отдельно не описываются.

В отличие от описанного выше способа в этом способе синхронно или почти синхронно с первым ИК-кадром 10 снимают первый ВИЗ-кадр 19 и синхронно или почти синхронно со вторым ИК-кадром 11 снимают второе ВИЗ-кадр 20.

ВИЗ-кадры 19, 20 содержат снятые в видимой спектральной области визуальные образы 21, 22 объекта или явления, который отображен или которое отображено также с помощью образов 12, 13 на ИК-кадрах 10,11.

И здесь на втором ВИЗ-кадре 20 представлен ВИЗ-образ 21 из ВИЗ-кадра 19 для пояснения принципа, хотя он не обязательно содержится на втором ВИЗ-кадре 20.

Затем на первом ВИЗ-кадре 19 выделяют первую область изображения 14, для которой отбирают признак из первого ВИЗ-кадра 19.

Выделение первой области изображения 14 можно согласно изобретению выполнить вручную или автоматически путем отметки оптимально подходящей области изображения.

Затем, как уже было описано на Фиг. 3 и Фиг. 4, а теперь на втором ВИЗ-кадре 20 выделяют вторую область изображения 15, для которой выделенный признак оптимально совпадает с признаком, выделенным для первой области изображения 14.

Путем сравнения местоположений изображений 16, 17 областей изображений 14, 15 устанавливают, наконец, вектор трансляции 18, который соотносит эти местоположения изображений 16, 17.

Для возможности применения рассчитанного вектора трансляции 18 в отношении присвоенных ИК-кадров 10, 11 в ТПВ-камере 1 устанавливается соответствие 23 между точками изображения первого ВИЗ-кадра 19 и первого ИК-кадра 10 или между вторым ВИЗ-кадром 20 и вторым ИК-кадром 11 и с помощью соответствия 23 можно преобразовать вектор трансляции 18 в соответствующий вектор трансляции для ИК-кадров 10, 11.

Сдвигая первый ИК-кадр 10 относительно второго ИК-кадра 11 на таким образом установленный вектор трансляции можно наложить образы 12, 13, как было описано, полностью или примерно.

Как показано с помощью линии координатной сетки 24, в заявленном способе обработки изображений ИК-кадры 10, 11 или ВИЗ-кадры 19, 20 были поправлены для корректировки перспективных искажений, которые могут привести к ошибкам в измерении.

Заявленный способ обработки изображений осуществляется в ТПВ-камере 1 непрерывно, причем во время оценки и обработки уже готовых кадров снимают и обрабатывают новые ИК-кадры 10, 11 или ВИЗ-кадры 19, 20.

Таким образом, последовательности ИК-кадров 10, 11 можно обрабатывать в реальном масштабе времени и демонстрировать на устройстве отображения 5.

В заявленной ТПВ-камере 1 устройство отображения 5 может быть выполнено в виде чувствительного к прикосновению дисплея, так что первую область изображения 14 можно выделять на этом чувствительном к прикосновению дисплее вручную путем пометки.

С помощью чувствительного к прикосновению дисплея и/или с помощью элемента управления 6 можно для улучшения точности дополнительно ограничить исследуемые области изображений на ИК-кадрах 10, 11.

В ТПВ-камере 1 предлагается из серии, состоящей, по меньшей мере, из двух ИК-кадров 10, 11 или им присвоенных ВИЗ-кадров 19 20, выделять признаки с помощью проведенного анализа признаков и определять оптимальное совпадение между признаками, выделенными из кадров 9, 10, 19, 20, и рассчитывать для местоположений изображений 16, 17 совпадающих признаков вектор трансляции 18, который соотносит точки изображения первого ИК-кадра 10 с точками изображения второго ИК-кадра 11.

Изобретение относится к технологиям обработки изображений в инфракрасной спектральной области. Техническим результатом является упрощение выделения признаков для изображений, полученных для кадров в видимой спектральной области. Предложен способ обработки изображений для серии кадров в инфракрасной спектральной области, снятых тепловизионной камерой. Согласно способу проводят анализ признаков, согласно которому выделяют признаки из серии, состоящей, по меньшей мере, из двух ИК-кадров или им присвоенным ВИЗ-кадров. Далее определяют оптимальное совпадение между признаками, выделенными из кадров, и устанавливают для местоположений изображений совпадающих признаков, вектор трансляции, который соотносит точки изображения первого ИК-кадра с точками изображения второго ИК-кадра. 2 н. и 7 з.п. ф-лы, 6 ил.

1. Способ обработки изображений для серии кадров в инфракрасной спектральной области (ИК-кадры) (10, 11), снятых тепловизионной камерой (ТПВ-камера) (1), причем серия включает, по меньшей мере, первый ИК-кадр (10) и второй ИК-кадр (11), причем первый ИК-кадр (10) относится к первому моменту времени, а второй ИК-кадр (11) - второму, более позднему моменту времени, отличающийся тем, что
получают относящийся к первому моменту времени снятый дополнительной камерой для снятия изображений в видимой спектральной области (ВИЗ-камера) (4) первый кадр в видимой спектральной области (ВИЗ-кадр) (19) места действия,
получают относящийся ко второму моменту времени снятый ВИЗ-камерой (4) второй ВИЗ-кадр в видимой спектральной области (20) указанного места действия,
причем первый ВИЗ-кадр (19) снимают синхронно или почти синхронно с первым ИК-кадром (10), а второй ВИЗ-кадр (20) снимают синхронно или почти синхронно со вторым ИК-кадром (11),
причем на первом ВИЗ-кадре (19) выбирают первую область изображения (14), причем для первой области изображения (14) выделяют, по меньшей мере, один признак из первого ВИЗ-кадра (19),
причем на втором ВИЗ-кадре (20) вторую область изображения (15) определяют и выбирают с помощью алгоритма распознавания признаков и/или образов с обеспечением оптимального совпадения для выбранной второй области изображения (15), по меньшей мере, одного выделенного признака, по меньшей мере, с указанным одним признаком, выделенным на первой области изображения (14), и
причем путем сравнения местоположения изображения (16) первой области изображения (14) на первом ВИЗ-кадре (19) с местоположением изображения (17) второй области изображения (15) на втором ВИЗ-кадре определяют вектор трансляции видимой спектральной области (ВИЗ-вектор трансляции) (18), и
причем используют сохраненное соответствие между точками изображения первого ВИЗ-кадра (19) и первого ИК-кадра (10) или второго ВИЗ-кадра (20) и второго ИК-кадра (11), для переведения ВИЗ-вектора трансляции в соответствующий вектор трансляции инфракрасной спектральной области (ИК-вектор трансляции), который соотносит, по меньшей мере, одну точку изображения первого ИК-кадра (10), по меньшей мере, с одной точкой изображения на втором ИК-кадре (11), и
причем первый ИК-кадр (10) сдвигают относительно второго ИК-кадра (11) на ИК-вектор трансляции с обеспечением совпадения образов (12, 13) ИК-кадров (10, 11).

2. Способ обработки изображений по п. 1, отличающийся тем, что выявляют оптимальное совпадение, когда функция вероятности превышает заданное граничное значение.

3. Способ обработки изображений по п. 1, отличающийся тем, что серия ИК-кадров (10, 11) образована из кадров последовательности кадров и/или, что выбор второй области изображения (15) выполняют одновременно со съемкой других ИК-кадров (10, 11) серии.

4. Способ обработки изображений по п. 1, отличающийся тем, что серия дополнительно включает третий ИК-кадр, причем третий кадр относится к третьему моменту времени, который наступает за вторым моментом времени,
причем получают относящийся к третьему моменту времени третий ВИЗ-кадр места действия,
причем на втором ВИЗ-кадре (20) выбирают новую первую область изображения, которая выводится из полученной ранее второй области изображения (15) второго ВИЗ-кадра (20),
причем для новой первой области изображения выделяют, по меньшей мере, один признак из второго ВИЗ-кадра (20),
причем на третьем ВИЗ-кадре новую вторую область изображения определяют и выделяют с помощью алгоритма распознавания признаков и/или образов с обеспечением оптимального совпадения для выбранной новой второй области изображения, по меньшей мере, одного признака, по меньшей мере, с одним признаком, выделенным для получения новой первой области изображения, и
причем путем сравнения местоположения изображения новой первой области изображения на втором ВИЗ-кадре (20) с местоположением изображения новой второй области изображения на третьем ВИЗ-кадре определяют новый ИК-вектор трансляции, который соотносит, по меньшей мере, одну точку изображения второго ИК-кадра (20) с, по меньшей мере, одной точкой изображения на третьем ИК-кадре.

5. Способ обработки изображений по п. 1, отличающийся тем, что новая первая область изображения на втором ВИЗ-кадре (20) идентична выявленной ранее второй области изображения (15) на втором ВИЗ-кадре (20).

6. Способ обработки изображений по п. 1, отличающийся тем, что определяют и выдают серию, по меньшей мере, из двух, в частности, по меньшей мере, из трех значений температуры и/или, по меньшей мере, одного значения разности температур, в частности, по меньшей мере, двух значений разности температур для соотнесенных ИК-вектором трансляции точек изображений на соответствующих ИК-кадрах (10,11).

7. Способ обработки изображений по п. 1, отличающийся тем, что первый (19) и второй (20) кадры и/или ИК-кадры (10, 11) поправляют, в частности, перед выделением признаков.

8. Способ обработки изображений по одному из пп. 1-7, отличающийся тем, что создают и/или получают наложение на первый ИК-кадр (10) второго ИК-кадра (11), смещенного относительно первого ИК-кадра (10) на вектор трансляции.

9. Тепловизионная камера (1), имеющая средства обработки изображений (9), отличающаяся тем, что средства обработки изображений (9) выполнены с возможностью реализации способа обработки изображений по одному из пп. 1-8.