Способ идентификации паттернов объекта и устройство для его реализации Российский патент 2023 года по МПК G06V10/70 

Заявляемая группа изобретений относится к системам телеметрии, обработки изображения и искусственного интеллекта и может быть применена для контроля поведения различных объектов и оценке их потенциальной опасности.

Под паттерном поведения понимается наличие какого-либо определённого состояния или процесса применительно к человеку или другому физическому объекту (одушевленному или неодушевленному, характеризующееся внешними видимыми признаками его проявления, фиксируемые в видимом и/или инфракрасном (тепловом) диапазонах и, дополнительно, температурой поверхности в его определённых частях. Примерами таких паттернов применительно к человеку могут быть следующие состояния или процессы: курение, отсутствие средств индивидуальной защиты (маски, например), горящий файер в руке, оружие в руке, нахождение в запрещённой зоне и т.д. Применительно к прочему физическому объекту - это может быть нагревание технологического оборудования с выделением дыма, его перемещение в пространстве, изменение его формы и т.д.

В настоящее время, элементами системы видеонаблюдения, применяемыми для контроля поведения, в том числе и вышеуказанных паттернов, зачастую выступают видеокамеры, работающие в видимом диапазоне, установленные в общественных местах, промышленных предприятиях и других социальных объектах. Эти камеры, как правило, подключаются по высокоскоростным линиям связи к удалённым центрам видеонаблюдения, где происходит обработка и фиксация видеоинформации ручным и/или машинным способом. По видео потоку с камеры распознают факты наличия человека или иного объекта в определённой зоне, идентификацию личности и специфичные паттерны поведения.

Типовая система видео наблюдения включает камеры видимого диапазона, сетевую инфраструктуру по высокоскоростной передаче данных и облачно-серверные вычислители для обработки видеопотоков с камер и выдачи управляющих сигналов.

Обработка данных с видеокамер в этой типовой схеме, для достижения целей, описанных выше, требует значительных вычислительных ресурсов и, как правило, временных затрат, так как алгоритмы распознавания и классификации, базирующиеся, например, на сверхточных нейросетях с глубоким обучением, очень требовательны к вычислительным ресурсам. Для доставки видеопотока к облачным серверам используются сети Ethernet, имеющая, как правило, несколько узлов на пути видеопотока, и требуется минимальная пропускная способность сети в 10-50 мегабит в секунду на каждою камеру со сжатием данных и 500-3000 (и выше) мегабит в секунду без оного. Но сжатие данных видеопотока для снижения его скорости до 10-50 мегабит в секунду приводит к существенной потери информации и, как следствие, ухудшению качества (в первую очередь достоверности) распознавания паттернов. Наличие множества промежуточных элементов в вышеописанной системе для передачи видеопотока на облачные сервера и его обработка там приводит к снижению скорости и точности работы системы в целом. При этом скорость реакции на событие может составлять (до нескольких секунд и более) что, зачастую, становится не приемлемым в современном мире, который требует реакцию в реальном времени для предотвращения возможных угроз.

В некоторых реализациях устройств и способов дистанционного определения паттернов поведения человека или другого объекта и идентификации специфичных паттернов его поведения информация обрабатывается локально на самом устройстве, но с использованием гомогенных вычислительных систем на универсальных процессорных ядрах типа ARM, X86 и других им подобных. В этом случае используется прямое подключение камер к вычислительному модулю и сжатие данных не требуется. Но обработка видеоинформации в таких устройствах алгоритмами искусственного интеллекта в несколько раз медленнее по сравнению с использованием специализированного вычислителя для алгоритмов искусственного интеллекта – ускорителя искусственного интеллекта (УИИ). В качестве УИИ могут применяться кластеры вычислительных DSP ядер, оптимизированных под эти задачи, такие как Amper, Volta фирмы NVidia, Elcore фирмы НПЦ Элвис, TPU фирмы Google или программируемые логические интегральной схемы (ПЛИС, или FPGA, или PLD), например, фирм Xilinx и Lattice, повышающее скорость работы алгоритмов искусственного интеллекта в 10-100 раз. Исходя из этого, комбинация универсальных процессорных ARM ядер для общей обработки видеопотока (предобработка и пост обработка видеопотока) и УИИ (в виде ПЛИС или кластера специализированных DSP ядер) для обработки видеопотока алгоритмами искусственного интеллекта является оптимальным решением для предлагаемого устройства.

Известны разные алгоритмические решения и аппаратные реализации по обработке видеоданных дистанционного определения температуры тела человека или другого объекта и идентификации специфичных паттернов его поведения.

Известен способ обработки потока данных датчиков интернета вещей [WO2017035536A1, опубл. 02.03.2017г.], включающий запуск по данным датчика на программном уровне, размещенном либо на устройстве, либо на встроенной системе, сопоставление данных датчиков с семантическими описаниями возникновения определенных условий с помощью языка выражений, доступного на программном уровне, автоматическое обнаружение событий шаблона путем непрерывного выполнения выражений, интеллектуальную компоновку сервисов и приложений на шлюзе и встроенных системах в сети, управляемую программным уровнем для объединения приложений и аналитических выражений, мониторинг работоспособности программного обеспечения, хранение необработанных данных датчиков или результатов выражений в локальной базе данных временных рядов или в облачном хранилище.

Однако в этом техническом решении искусственный интеллект реализован в программном слое на универсальных процессорных ядрах в отдельно стоящем компьютере или сервере и в самом устройстве отсутствуют такие важные элементы, как ОЗУ, ПЗУ, УИИ, устройство синхронизации, следовательно, такое техническое решение не может работать автономно в реальном времени, выполняя поставленную задачу по увеличению достоверности детектирования паттернов с учетом их температуры объекта и в условиях низкой освещенности.

Известна система интеллектуальных камер [US 6985780, опубл. 10.01.2006г.], предоставляющая сфокусированные изображения оператору на главном компьютере путем обработки цифровых изображений в месте формирования изображения перед их отправкой на главный компьютер. Интеллектуальная камера имеет резидентный цифровой сигнальный процессор для предварительной обработки цифровых изображений перед их передачей на хост. Предварительная обработка включает извлечение и фильтрацию признаков изображения, методы свертки и деконволюции, исправление параллакса и ошибки перспективы изображения, а также сжатие изображения. Сжатие цифровых изображений в интеллектуальной камере в месте съемки позволяет передавать цветные изображения с очень высоким разрешением или изображения в градациях серого с высоким разрешением с частотой кадров в реальном времени, например, 30 кадров в секунду, по высокоскоростной последовательной шине на главный компьютер или на любой другой узел в сети, включая любой удаленный адрес в Интернете.

Данное устройство допускает подключение нескольких камер видимого диапазона, но не содержит их. При этом в нем отсутствуют важные элементы: ОЗУ, УИИ. Кроме того, в самой камере происходит предварительная обработка (сжатие, фильтрация) основная обработка видеопотока, в том числе алгоритмами искусственного интеллекта, происходит вне камеры на отдельно стоящем компьютере.

Известна интеллектуальная камера для отслеживания объекта [EP 1872345, опубл. 02.03.2011г.], позволяющая создавать видео из нескольких источников, используя интеллект для обозначения наиболее релевантных источников, облегчая их соседнее отображение и/или связывание их видеопотоков. Известное устройство позволяет детектировать некоторые аспекты поведения объекта (его перемещение), благодаря узкоспециализированным алгоритмам, использующим языки высокого уровня, которые выполняются на традиционных процессорах. Однако в этом устройстве отсутствуют такие важные элементы, позволяющие получить результат, а именно: камера теплового диапазона, гетерогенная структура с ARM и УИИ, устройство синхронизации и алгоритм, который не учитывает данные с теплового диапазона по причине его отсутствия в устройстве.

Техническим результатом заявляемой группы изобретений является повышение эффективности (точности и скорости) дистанционного распознавания специфичного поведения человека или иного объекта и бесконтактного контроля его температуры, возможность работы в режиме реального времени и в условиях пониженной освещённости или ее полного отсутствия.

Указанный технический результат в части способа достигается за счет того, что способ идентификации паттернов объекта, включающий обработку изображения с видеокамер теплового и видимого диапазонов, настроенных таким образом, что имеют общее поле наблюдения, частично перекрывающее поля наблюдения каждой видеокамеры, последующую синхронизацию видеопотоков с обоих видеокамер, выделение общей наблюдаемой области в изображениях с обоих диапазонов, выделение с помощью алгоритмов искусственного интеллекта выбранного паттерна в видимом диапазоне и тепловом диапазоне, определение статистик, характеризующих достоверность регистрации заданного паттерна в видеопотоке с каждого диапазона, определение температуры в области паттерна с камеры теплового диапазона и сравнение ее с порогом для данного паттерна, выбор весовых коэффициентов для статистик регистрации паттернов с обоих диапазонов и наличия превышения порога по температуре, которые рассчитываются заранее, вычисление общей для обеих камер статистики регистрации заданного паттерна как средневзвешенной суммы статистик регистрации по камерам видимого и теплового диапазонов и наличия превышения температуры в области паттерна, сравнение общей статистики с пороговым уровнем и, при его превышении, выдачу информационного сигнала, содержащего координаты области паттерна в кадре и/или температуру в области паттерна, полученную с видеокамеры теплового диапазона, и/или дату и время фиксации паттерна.

Возможны следующие варианты развития основного технического решения:

- данные о значениях температуры, извлеченные из теплового канала, в определённой области паттерна, зарегистрированного в канале видимого диапазона, выводятся в отдельный информационный канал;

- паттерн детектируется по видеопотоку с видеокамеры видимого диапазона, с видеокамеры теплового диапазона извлекается температура в области паттерна, вычисление общей статистики регистрации заданного паттерна осуществляют как средневзвешенную сумму статистики регистрации по видеокамере видимого диапазона и наличия превышения температуры в области паттерна.

Указанный технический результат в части устройства достигается за счет того, что устройство для идентификации паттернов объекта состоит из соединённых между собой видеокамеры видимого диапазона, видеокамеры теплового диапазона, соединенных с устройством синхронизации, соединенного с ускорителем искусственного интеллекта, подключенного к внешнему интерфейсу и контроллеру архитектуры ARM, который подключен к устройству синхронизации и к внешнему интерфейсу, постоянному запоминающему устройству и оперативному запоминающему устройству.

Возможны следующие варианты развития основного технического решения:

- используется контроллер ARM с двумя и более ядрами;

- внешний интерфейс имеет отдельный канал вывода значения температуры в области паттерна и/или ее части, определённой по изображению с видеокамеры видимого диапазона;

- в качестве ускорителя искусственного интеллекта (УИИ) используется программируемая логическая интегральная схема, которая совместно с контроллером архитектуры ARM и устройством синхронизации технологически размещены на одном полупроводниковом кристалле и находятся в одном корпусе интегральной схемы;

- в качестве ускорителя искусственного интеллекта используется кластер, содержащий не менее четырех DSP процессоров, который совместно с контроллером архитектуры ARM и устройством синхронизации технологически размещены на одном полупроводниковом кристалле и находятся в одном корпусе интегральной схемы.

Таким образом, удалось повысить эффективность (точности и скорости) дистанционного распознавания специфичного поведения человека или иного объекта и бесконтактного контроля его температуры, возможность работы в режиме реального времени и в условиях пониженной освещённости или ее полного отсутствия. Результат достигается благодаря тому, что в техническом решении используются два диапазона волн (видимый и тепловой), одновременный анализ кадров видеопотока в этих диапазонах и анализ температуры в области паттерна и применение локальной обработки информации на гетерогенных вычислительных средах, оптимизированных для работы с алгоритмами искусственного интеллекта, размещенные непосредственно внутри устройства.

Следует добавить, что данное устройство может применяться не только к человеку, но и к произвольному технологическому объекту или процессу с целью определения его текущего состояния и прогнозирования дальнейшего поведения.

В части заявляемых реализаций УИИ необходимо дополнить, что современные достижения микроэлектроники привели к созданию нового класса устройств с изменяемой (перепрограммируемой) физической структурой, так называемые программируемые логические интегральные схемы (ПЛИС, или FPGA, или PLD). Появления микросхем с ПЛИС с количеством логических элементов более 100 000 позволило создавать УИИ и с пиковой производительностью 2-5 TOPs (и более) для локальной обработки видео потока непосредственно в самом устройстве. Причем, этой производительности хватает для реализации, например, нейросетевых сверточных алгоритмов глубокого обучения таких классов, как распознавание, детекция, сегментация последних поколений (HRnet, ResNet, Yolo v.5) обработки видеопотока со скоростями до 20-30 кадров секунду. Альтернативным вариантом применения ПЛИС в гетерогенной среде является применение кластера из DSP процессоров. Использование специализированных DSP, например, Amper, Volta фирмы NVidia, Elcore фирмы НПЦ Элвис, TPU фирмы Google, для обработки видеопотока также эффективно с точки зрения скорости обработки видеопотока, но DSP ядра имеют несколько большую временную задержку выдачи сигнала при регистрации паттерна, при этом как правило меньшую стоимость по сравнению с ПЛИС.

Следует отметить, что в условиях низкого освещения или его полного отсутствия, эффективность системы, базирующейся только на камерах видимого диапазона, существенно падает. В этом случае возможно использование камеры теплового диапазона, с чувствительностью в диапазоне волн от 8 до 14 мкм. В последние несколько лет, в ряде публикаций, показана возможность детектирования различных объектов на изображениях с камер теплового диапазона, что может использоваться для распознавания паттернов аналогично, как с камеры видимого диапазона. К сожалению, тепловые камеры имеют, как правило, худшее разрешение и существенно меньший динамический диапазон, что приводит к худшей достоверности регистрации паттернов в условиях нормального освещения, по сравнению с камерами видимого диапазона, так как алгоритмы распознавания чувствительны к качеству изображения. Тем не менее, использование теплового диапазона существенно повышает эффективность регистрации паттернов в условиях низкой освещённости или ее полного отсутствия за счет работы в другом диапазоне, где освещенность в видимом диапазоне не имеет значения.

Современные тепловые камеры позволяют, дополнительно к изображению в этом диапазоне, определять температуру в каждой его точке-пикселе. Как будет показано далее, использование информации о температуре повышает достоверность правильной идентификации некоторой группы паттернов.

Сущность заявляемой группы изобретений поясняется с помощью фигуры и нижеследующего описания.

На Фиг. 1 представлена блок-схема заявляемого устройства.

Устройство для идентификации паттернов объекта (Фиг. 1) состоит из соединённых между собой видеокамеры 1 видимого диапазона, видеокамеры 2 теплового диапазона, соединенных с устройством 3 синхронизации, соединенного с ускорителем 4 искусственного интеллекта (УИИ), подключенного к внешнему интерфейсу 5 и контроллеру 6 архитектуры ARM, который подключен к устройству 3 синхронизации и к внешнему интерфейсу 5, постоянному запоминающему устройству 7 и оперативному запоминающему устройству 8.

Контроллер 6 архитектуры ARM может использоваться с двумя и более ядрами в зависимости разрешения камер и/или скорости их работы.

Внешний интерфейс 5 имеет отдельный канал вывода значения температуры в области паттерна и/или ее части, определённой по изображению с видеокамеры 1 видимого диапазона.

В качестве УИИ 4 используется программируемая логическая интегральная схема, которая совместно с контроллером 6 архитектуры ARM и устройством 3 синхронизации технологически размещены на одном полупроводниковом кристалле и находятся в одном корпусе интегральной схемы.

В качестве УИИ 4 используется кластер, содержащий не менее четырех DSP процессоров, который совместно с контроллером 6 архитектуры ARM и устройством 3 синхронизации технологически размещены на одном полупроводниковом кристалле и находятся в одном корпусе интегральной схемы.

С помощью описанного устройства реализуют следующий способ идентификации паттернов объекта, включающий независимую обработку изображения с видеокамеры 1 видимого диапазона и видеокамеры 2 теплового диапазонов, настроенных таким образом, что имеют общее поле наблюдения, частично перекрывающее поля наблюдения каждой видеокамеры.

Затем осуществляют последующую синхронизацию видеопотоков с обоих камер 1, 2 и выделение общей наблюдаемой области в изображениях с обоих диапазонов, выделение с помощью алгоритмов искусственного интеллекта выбранного паттерна в видимом диапазоне и тепловом диапазоне.

Далее производят регистрацию заданного паттерна в видеопотоке с каждого диапазона и определение их статистик, характеризующих достоверность, и определение температуры в области паттерна с камеры теплового диапазона и сравнение ее с порогом для данного паттерна, после производят выбор весовых коэффициентов для статистик регистрации паттернов с обоих диапазонов и превышения порога по температуре, которые определяются заранее.

Затем определяют общую для обеих камер статистику регистрации заданного паттерна как средневзвешенной суммы статистик регистрации по видеокамерам видимого и теплового диапазонов и наличия превышения температуры в области паттерна, и сравнивают общую статистику с пороговым уровнем и, при его превышении, выдается информационный сигнал, содержащий координаты области паттерна в кадре и/или температуру в области паттерна, полученную с видеокамеры теплового диапазона, и/или дату и время фиксации паттерна.

Данные о значениях температуры, извлеченные из теплового канала, в определённой области паттерна, зарегистрированного в канале видимого диапазона, могут выводится в отдельный информационный канал.

Освещённость оценивается по видеопотоку с видеокамеры видимого диапазона, и, если она менее заданного для данного типа паттерна порога, весовой коэффициент для этого диапазона устанавливается равным 0, то есть вклад видимого диапазона практически отсутствует.

Возможна более простая, в вычислительном плане, реализация способа, когда паттерн детектируется по видеопотоку с видеокамеры 1 видимого диапазона, с видеокамеры теплового диапазона извлекается температура в области паттерна, вычисление общей статистики регистрации заданного паттерна осуществляют как средневзвешенную сумму статистики регистрации по видеокамере видимого диапазона и наличия превышения температуры в области паттерна. Такая реализация требует примерно в два раза меньше вычислений, но имеет примерно на 10-15% сниженную эффективность по сравнению с реализацией способа, когда паттерн регистрируется в обоих диапазонах.

С точки зрения способа, устройство работает таким образом, видеокамера 1 оптического диапазона и видеокамера 2 теплового диапазона формируют видеопотоки в цифровом формате, которые через устройство 3 синхронизации, обеспечивающее одновременный запуск видеокамер 1, 2 и синхронизацию данных с них по команде с контроллера 6 ARM. Обе видеокамеры 1, 2 подключены к устройству 3 синхронизации собственными высокоскоростными интерфейсами, пропускная способность которых не требует сжатия данных. В качестве таких интерфейсов могут выступать MIPI-CSI, LVDS, GMSL, FDL3, USB и т.д. Следует отметить, что видеокамеры 1, 2 должны быть настроены таким образом, чтобы имелась общая область наблюдения, составляющая не менее 50% от области наблюдения каждой видеокамеры 1, 2. Меньшая общая область перекрытия приведет к неэффективному использованию поля наблюдения камер. Далее эти синхронизированные видеопотоки поступают непосредственно на УИИ 4, который предварительно запрограммирован под необходимые алгоритмы искусственного интеллекта для поиска паттернов с двух каналов – видимого и теплового, включая нейросетевые алгоритмы с глубоким обучением.

При этом алгоритмы обработки могут как общими для обоих диапазонов, так и быть различны для теплового и видимого диапазонов. Применение УИИ (4) и ее непосредственное подключение к внешнему интерфейсу 5, обеспечивает минимально возможные задержки обработки видеопотока в цепочке от камеры до внешнего интерфейса, так как относительно медленный контроллер 6 АРМ может быть выключен из нее.

Причем эти алгоритмы искусственного интеллекта можно оперативно менять в УИИ 4 на протяжении жизненного цикла устройства. Контроллер 6 архитектуры ARM обеспечивает логику работы устройства в целом, в том числе программирование работы устройства 3 синхронизации и внешнего интерфейса 5, дополнительную обработку видеопотоков после УИИ 4, если это необходимо. Дополнительная обработка включает, как правило, совмещение изображений и температурного поля с камеры теплового диапазонов, нанесение масок и рамок на зарегистрированный потерн в кадре, расчет итоговых вероятностей регистрации паттерна, определение температуры внутри зарегистрированных паттернов, формирование отчета по фиксации события и т.д.

При этом выдача управляющих сигналов по результатам обработки и самих обработанных данных видеопотока через внешний интерфейс 5 может происходить непосредственно с УИИ 4 или с контроллера 6 ARM. Выдача сигналов с УИИ 4 на внешний интерфейс обеспечивает существенно более быструю реакцию устройства на паттерн в кадре, выдача через контроллер 6 ARM позволяет проводить более глубокую обработку видеопотока. Контроллер 6 ARM работает по управляющей программе, хранящейся в постоянно запоминающем устройстве (ПЗУ) 7, соединенном с контроллером 6 ARM. Для хранения оперативный информации в ходе процесса постобработки используется оперативно запоминающее устройство (ОЗУ) 8, соединенное также с контроллером 6 ARM. Следует отметить, через внешний интерфейс 5 передаются только результаты обработки видеопотоков, что требует на несколько порядков меньшей пропускной способности каналов связи, чем при классической схеме реализации, когда обработка видеопотоков проводится на облачных серверах.

Возвращаясь к способу необходимо сказать, что условно все паттерны, которые можно зарегистрировать предлагаемым устройством, можно разделить на две группы: в первой группе влияние температуры существенно на результат, а во второй минимально или отсутствует полностью.

Характерными примерами паттернов из первой группы могут быть: курение, наличие файера в руке, недомогание с увеличением температуры кожных покровов и др. Примерами из второй группы могут быть следующие паттерны: человек без маски, человек без каски, оружие в руке, наличие человека в запрещённой зоне и др. Для понимания различия этих групп паттернов рассмотрим два, наиболее противоположных с точки зрения значимости теплового диапазона, примера из этих групп: «курение» из первой группы и «человек без маски» из второй группы.

На первом шаге алгоритма происходит выделение общей области наблюдения для видеокамер обоих диапазонов или, как часто называется процесс, «кадрирование» видеопотока.

Далее происходит предварительное распознавание паттерна в каждом диапазоне в пределах общей, предварительно выделенной области с помощью искусственного интеллекта, например, нейросетевых алгоритмов детекции объектов и сегментации. При этом происходит расчет достоверности регистрации паттерна в каждом канале.

Далее происходит определение температуры в области паттерна, используя данные с видеокамеры 2 теплового диапазона.

В первом ситуации, когда мы говорим о паттерне курении, этот процесс поведении человека сопровождается наличием специфичного предмета в руке (сигареты или электронного устройства разогрева табака) который, как правило, хорошо детектируется в обоих диапазонах. Дополнительно, для этого паттерна, характерно наличие повышенной температуры в области этого предмета, которая фиксируется в тепловом диапазоне.

Для данного случая очевидно, что эта температура будет достаточно высокой, более 50 °С, по нашим экспериментальным оценкам, что дополнительно подтверждает – зарегистрирован именно паттерн курения, а не карандаш в рту. То есть, в данной ситуации, коэффициент влияния теплового диапазона и превышения температуры при регистрации данного паттерна является существенным.

Во втором случае, когда идет детектирование отсутствие маски на лице, так же, как и в перовом случае, происходит детектирование этого потерна в видимом и тепловом диапазоне, но температура с теплового канала не учитывается так, как она не информативна исходя из физической природы этого паттерна.

Принципиальным различием физической природы этих двух паттернов является то, что температура маски на лице не существенно отличается (по нашим данным не более 1-2 °С) от температуры кожных покровов самого лица, в отличии от курения, когда температура сигареты или устройства для нагревания табака отличается на несколько десятков градусов Цельсия. Следовательно, тепловой диапазон практически не несет информации, помогающей увеличить вероятность детектирования маски и поэтому коэффициент его влияния для данного паттерна незначителен.

Для технологических объектов также рассмотрим два примера по одному из каждой группы соответственно: перегрев технологического оборудования и негерметичность тары с газированным напитком, проявляющаяся через выход пены из-под крышки. Первый пример характеризуется изменением формы объекта и значительным изменением температуры его поверхности. Изменение формы четко фиксируется по видеопотоку с видимого диапазона и, как правило, несколько хуже, по тепловому видеопотоку. При этом фиксируется и существенное превышение температуры поверхности объекта, которое определяется при помощи видеокамеры 2 теплового диапазона. В другом случае, когда мы говорим о появлении пены при негерметичности тары, мы также фиксируем по видеопотокам с камер видимого и теплового диапазона появление пены, но температуры этой пены не так информативна для принятия решения о ее наличии, так зачастую эта температура не сильно отличается от температуры окружающей среды.

То есть в принятии финального решения о регистрации определенного типа паттерна участвуют три составляющие: фиксация паттерна в видеопотоке с камер в двух диапазонах и наличие превышения температуры. Но степень влияния этих составляющих различен для разных типов паттернов.

Тем не менее, для всех паттернов, принадлежащих к любой из двух групп, финальное решение о наличии того или иного паттерна поведения принимается устройством по превышению значения общей для обоих видеопотоков, статистики - P определённого порога. Эта статистика P, характеризующая совокупную вероятность регистрацию паттерна, учитывает три составляющие: вероятность регистрации паттерна в видимом диапазоне, вероятность регистрации в тепловом диапазоне и наличие превышения температурой определённого порога в области паттерна. Статистика P может быть рассчитана как средневзвешенная сумма: вероятностей регистрации паттерна с камер обоих диапазонов и наличия превышения температуры в области паттерна. Каждое из трех слагаемых имеет свои, характерные для каждого типа паттернов весовые коэффициенты, определяющие вес каждой составляющей на результат. В математическом виде эта статистика может быть описана формулой:

P=(Pv*Kv+Pir*Kir+Tir*Kit)*0,33,

где Pv – вероятность регистрации паттерна в видимом диапазоне;

Kv – весовой коэффициент для видимого диапазона;

Pir – вероятность регистрации паттерна в тепловом диапазоне;

Kir – весовой коэффициент для теплового диапазона;

Tir – наличие превышение температуры в области паттерна в видимом диапазоне. Бинарная величина, которая может принимать два значения 1 – есть превышение и 0 нет превышения;

Kit – весовой коэффициент для факта превышения температуры для каждого типа паттерна.

Вероятности Pv и Pir вычисляются по результатам работы алгоритмов искусственного интеллекта по распознавания заданных паттернов. Коэффициенты влияния Kv, Kir и Kit определяются по предварительному анализу значимости теплового или видимого диапазона на результат и определяются заранее эмпирическим или как результат статистического анализа множества реализаций паттернов одного типа (например, Курение) с априорно известной информацией о наличии данного паттерна в кадре. Иными словами, учет влияния спектрального диапазона, на принятие решения о наличии того или иного паттерна устройством в целом, определяется характером этого паттерна.

В условиях низкой освещённости, которая может быть оценена по видеопотоку с видеокамеры 1 видимого диапазона, устройство может переключиться на видеокамеру 2 теплового диапазона с сохранением функции распознавания паттернов, описанных выше. Естественно, точность распознавания паттернов только по видеопотоку с тепловой камеры будет ниже так как она, как правило, имеет более низкое разрешение и динамический диапазон. В этом случае степень влияния видимого диапазона на общий результат стремится к нулю. Тем не менее, наличие теплового диапазона позволит устройству работать в полной темноте.

Существуют паттерны, в которых влияние теплового диапазона не так значительно, как для паттерна курение, но, тем не менее, достаточно значимо и анализ данных в этом диапазоне в совокупности с анализом температуры в области паттерна повышает достоверность его правильной регистрации в целом. Примером такого паттерна может являться недомогание человека, которое может говорить о наличии у него потенциально общественно опасной инфекции. Этот паттерн проявляется через кашель и повышение температуры кожных покровов в области лица выше 38 град. С. То есть изменение температуры не так существенно, как при курении, всего 2-5 град. С, но тем не менее легко регистрируется в тепловом диапазоне современными камерами и усиливает достоверность регистрации в видимом диапазоне. Другим паттерном, где будет польза от информации о температуре, извлекаемой из теплового канала теплового диапазона – это фиксация начала возгорания чего-либо. Как правило в этой ситуации, когда еще нет открытого пламени, объект, например, технологическое оборудование, испускает дым и имеет место разогрев его поверхности выше обычного. Дым распознается в видимом диапазоне, а нагревание поверхности по повышению температуры, регистрируемого в тепловом канале. Очевидно, что анализ видеопотоков с двух каналов и контроль температуры поверхности увеличит достоверность регистрации паттерна как начало возгорания.

Имеет место упрощенный вариант алгоритма в части расчета статистики P, когда с камеры теплового диапазона извлекают только температурное поле, соответствующее полю зрения камеры видимого диапазона. Решение о наличии того или иного паттерна поведения принимается на основе детектирования этого паттерна в видимом канале и с учетом зарегистрированной температуры в пределах его границ. Факт значимого выхода температуры за определенные пределы в области паттерна может существенно влиять на принятие решения о наличии или отсутствия данного паттерна в кадре видеокамеры 1 видимого диапазона. Например, при регистрации паттерна Курение значение температуры более 50 град.С в области предполагаемой сигареты, которая, в свою очередь была выделена в кадре с камеры видимого диапазона существенно повышает вероятность того, что зарегистрирован именно паттерн Курение, а не карандаш во рту.

В этом случае общая статистика P содержит всего две составляющие и может рассчитываться как средневзвешенная сумма вероятности регистрации паттерна в видимом диапазоне и наличие превышения температуры в области паттерна по формуле:

P=(Pv*Kv+Tir*Kit)*0,5

С точки зрения дистанционного контроля температуры применительно к человеку алгоритм реализуется следующим образом: в видимом канале определяется посредством алгоритмов искусственного интеллекта определяется специфичная область, далее эта область сопоставляется с областью температурного поля с теплового канала, и температура рассчитывается только по этой области температурного поля, которая соответствует требуемой области видимого канала, например, области лба человека. В случае, когда освещённость в видимом диапазоне недостаточна или отсутствует, то видимый канал не анализируется, а специфичная область для контроля определяется по изображению с теплового канала и по этой же области определяется.

Эксперименты в нашей лаборатории на устройстве, построенном в соответствии с заявляемой схемой, реализованной на безе платформы Xilinx Zynq Ultra Scale+ показали: средняя скорость обработки данных видеопотока с целью детектирования объектов в кадре при использовании нейросетевого алгоритма Yolo v.3 показали среднюю скорость обработки видеопотоков с двух камер 15 кадра в секунду. При этом максимальное время реакции на событие не превышало 90 мс, а среднее составляло 20 мс.

В случае аналогичной задачи, когда обработка проводилась на облачных серверах (использовалось по одному ядру Intel Xeon на камеру и доступ в интернет 100 мегабит в секунду)) скорость обработки составляла 8 кадров в секунду, а максимальное время реакции на событие превысила 3000 мс, среднее 120 мс.

При использовании в качестве УИИ 4 кластера из специализированных DSP ядер сопоставимой с ПЛИС производительности характеристики по времени реакции на событие ухудшались в среднем на 20%, но, оставались существенно лучше, чем при использовании гомогенных систем, описанных выше. Наши исследования показали, что для минимальной производительности системы в части вычислений нужно иметь не менее 4 DSP ядер в зависимости от их производительности.

Касательно определения коэффициентов влияния каждого диапазона и превышения температуры можем привести некоторые данные. Так, например, определённые нами эмпирическим путем по заранее известным ситуациям коэффициенты влияния для паттерна курение выглядят следующим образом: влияния Kv=0,8, Kir=0,9 и Kit=1,3 и для паттерна человек без маски на лице Kv=1,1, Kir=0,7 и Kit=0,1. Эти коэффициенты наглядно показывают, что достоверность регистрации паттернов из первой группы на данном устройстве выше, чем из второй.

В среднем достоверность регистрации паттернов из первой группы увеличилась с 60-65% до 85-93% для паттернов из первой группы и с 60-65% до 70-75 % в случае анализа информации с камеры теплового диапазона (видеопотока и температуры) в дополнении к информации с камеры видимого диапазона.

Таким образом, применение в устройстве видеокамер видимого и теплового диапазонов, обработки данных с них алгоритмами искусственного интеллекта, учитывающих температуру в области предполагаемого паттерна, и выполнение этих алгоритмов на гетерогенном вычислителе, размещения этих блоков рядом в одном устройстве, позволяет решить задачу увеличения в несколько раз скорости и точности (достоверности) распознавания паттернов поведения человека или другого объекта до 20-30% и позволяет контролировать температуру его поверхности в характерных точках.

Изобретение относится к способу и устройству идентификации паттернов объекта. Технический результат заключается в повышении точности идентификации паттернов объекта за счет использования двух камер разного диапазона, обеспечивающих возможность вычисления трех характеристик для идентификации паттерна объекта. Устройство состоит из соединённых между собой видеокамеры видимого диапазона, видеокамеры теплового диапазона, соединенных с устройством синхронизации, соединенным с ускорителем искусственного интеллекта, подключенным к внешнему интерфейсу и контроллеру архитектуры ARM, который подключен к устройству синхронизации и к внешнему интерфейсу, постоянному запоминающему устройству и оперативному запоминающему устройству. 2 н. и 6 з.п. ф-лы, 1 ил.

1. Способ идентификации паттернов объекта, включающий

обработку изображения с видеокамер теплового и видимого диапазонов, настроенных таким образом, что имеют общее поле наблюдения, частично перекрывающее поля наблюдения каждой видеокамеры,

последующую синхронизацию видеопотоков с обеих камер,

выделение общей наблюдаемой области в изображениях с обоих диапазонов,

выделение с помощью алгоритмов искусственного интеллекта выбранного паттерна в видимом диапазоне и тепловом диапазоне,

определение статистик, характеризующих достоверность регистрации заданного паттерна в видеопотоке с каждого диапазона,

определение температуры в области паттерна с камеры теплового диапазона и сравнение ее с порогом для данного паттерна,

выбор весовых коэффициентов для статистик регистрации паттернов с обоих диапазонов и учета превышения порога по температуре, которые рассчитываются заранее,

вычисление общей для обеих камер статистики регистрации заданного паттерна как средневзвешенной суммы статистик регистрации по камерам видимого и теплового диапазонов и наличия превышения температуры в области паттерна,

сравнение общей статистики с пороговым уровнем и, при его превышении, выдачу информационного сигнала, содержащего координаты области паттерна в кадре с камеры видимого диапазона и/или температуру в области паттерна, полученную с видеокамеры теплового диапазона, и/или дату и время фиксации паттерна.

2. Способ идентификации паттернов объекта по п. 1, отличающийся тем, что данные о значениях температуры, извлеченные из теплового канала, в определённой области паттерна, зарегистрированного в канале видимого диапазона, выводятся в отдельный информационный канал.

3. Способ идентификации паттернов объекта по п. 1, отличающийся тем, что паттерн детектируется по видеопотоку с видеокамеры видимого диапазона, с видеокамеры теплового диапазона извлекается температура в области паттерна, вычисление общей статистики регистрации заданного паттерна осуществляют как средневзвешенную сумму статистики регистрации по видеокамере видимого диапазона и наличия превышения температуры в области паттерна.

4. Устройство для идентификации паттернов объекта, состоящее из соединённых между собой видеокамеры видимого диапазона, видеокамеры теплового диапазона, соединенных с устройством синхронизации, соединенным с ускорителем искусственного интеллекта, подключенным к внешнему интерфейсу и контроллеру архитектуры ARM, который подключен к устройству синхронизации и к внешнему интерфейсу, постоянному запоминающему устройству и оперативному запоминающему устройству.

5. Устройство для идентификации паттернов объекта по п. 4, отличающееся тем, что используется контроллер ARM с двумя и более ядрами.

6. Устройство для идентификации паттернов объекта по п. 4, отличающееся тем, что внешний интерфейс имеет отдельный канал вывода значения температуры в области паттерна и/или ее части, определённой по изображению с видеокамеры видимого диапазона.

7. Устройство для идентификации паттернов объекта по п. 4, отличающееся тем, что в качестве ускорителя искусственного интеллекта используется программируемая логическая интегральная схема, которая совместно с контроллером архитектуры ARM и устройством синхронизации технологически размещены на одном полупроводниковом кристалле и находятся в одном корпусе интегральной схемы.

8. Устройство для идентификации паттернов объекта по п. 4, отличающееся тем, что в качестве ускорителя искусственного интеллекта используется кластер, содержащий не менее четырех DSP процессоров, которые совместно с контроллером архитектуры ARM и устройством синхронизации технологически размещены на одном полупроводниковом кристалле и находятся в одном корпусе интегральной схемы.