Система и способ обработки данных и распознавания объектов в режиме реального времени Российский патент 2023 года по МПК G06V10/14 G06V10/20 G02B23/00 G06N20/10 G01N21/00 

Группа изобретений «Система и способ обработки данных и распознавания объектов в режиме реального времени» позволяет имплементировать интеллектуальную обработку изображения - алгоритм распознавания объектов, на процессор в составе тепловизионного модуля и совместить видеосъемку и видеоаналитику в одном устройстве.

Область техники, к которой относится изобретение.

Группа изобретений относится к электронному приборостроению и предназначено для широкого применение в таких сферах как охранные системы, ADAS - системы (Advanced Driver Assistance Systems) - интеллектуальные системы помощи водителям автомобилей, мобильной робототехнике, в том числе БПЛА (беспилотный летательный аппарат), и др.

Уровень техники:

Известна полезная модель ТЕПЛОВИЗИОННЫЙ ПРИБОР (патентный документ RU184553U1), Полезная модель относится к области оптико-электронного приборостроения. Тепловизионный прибор содержит многоэлементное фотоприемное устройство, объектив для формирования ИК-изображения в плоскости чувствительных элементов многоэлементного фотоприемного устройства, объединенные модули с унифицированными интерфейсами в составе: модуля предварительной обработки сигнала, модуля управления, модуля электронной обработки, модуля питания и модуля интерфейса. Имеются несущий кронштейн с разъемной обоймой и стягивающими винтами, втулка с наружным диаметром, соответствующим внутреннему диаметру обоймы, и внутренней резьбой, соответствующей посадочной резьбе объектива, затвор, резьбовая оправа с наружной резьбой, соответствующей внутренней резьбе втулки. Втулка с установленными в ней объективом и резьбовой оправой с установленным в ней затвором, установлены в обойме несущего кронштейна. Многоэлементное фотоприемное устройство и модуль предварительной обработки сигнала расположены на первой плате, модуль управления и модуль электронной обработки - на второй плате, модуль питания и интерфейса - на третьей плате. Торцевая поверхность резьбовой оправы и первой платы имеют единообразно расположенные отверстия. Отверстия в оправе выполнены резьбовыми с установленными в них винтами крепления первой платы. Первая, вторая и третья платы имеют единообразно расположенные по их углам отверстия и имеются шпильки, стягивающие последовательно установленные через цилиндрические втулки первую, вторую и третью платы. Первая плата обращена приемной площадкой многоэлементного фотоприемного устройства в сторону объектива, а платы электрически соединены расположенными на них разъемами мезонинного типа. Технический результат заключается в повышении технических характеристик ТВП: увеличение четкости изображения, снижение массы и объема ТВП, снижение минимально разрешаемой разности температур, повышение качества изображения, повышение быстродействия, обеспечение возможности работы в тепловом диапазоне 8…14 мкм.

Недостатком по сравнению с представленным техническим решением является менее совершенный процесс обработки сигнала.

Известно изобретение УНИФИЦИРОВАННЫЙ ТЕПЛОВИЗИОННЫЙ ПРИБОР (патентный документ RU2420770C1), Прибор содержит многоэлементное фотоприемное устройство, оптическую систему формирования ИК изображения в плоскости чувствительных элементов многоэлементного фотоприемного устройства, систему охлаждения и блок обработки информации, объединенные на единой несущей раме, и видеоконтрольное устройство визуализации теплового изображения. Объединяемые элементы выполнены в виде модулей с унифицированными интерфейсами. В состав объединяемых модулей введены модуль предварительной обработки сигналов, модуль управления системой охлаждения, модуль интерфейса управления, устройство управления и модуль питания. Блок обработки информации выполнен в виде модуля электронной обработки. Модуль электронной обработки обеспечивает осуществление связей между модулем предварительной обработки сигналов, модулем управления системой охлаждения, модулем интерфейса управления, модулем питания и видеоконтрольным устройством. Устройство управления связано с модулем интерфейса управления и видеоконтрольным устройством.

Недостатком данного изобретения по сравнению с представленным решением является большое количество модулей в системе, которые могут уменьшить быстродействие обработки сигнала, тогда как в представленном решении количество блоков обработки ниже, но их работа является более эффективной.

Известно изобретение УСТРОЙСТВО ФОРМИРОВАНИЯ И УПРАВЛЕНИЯ ПРИЦЕЛЬНЫМИ ШКАЛАМИ (патентный документ RU2700034C2) Изобретение относится к оптико-электронной технике и может быть использовано в различных прицельно-наблюдательных приборах, оснащенных как оптическими, так и тепловизионными прицельно-наблюдательными каналами. Прибор содержит механизм баллистик, предназначенный для ввода углов прицеливания в оптическом канале, аналоговый потенциометр, фильтр низких частот, микроконтроллер и двигатель сеток с собственным блоком управления, тепловизионный прицельно-наблюдательный канал, а для формирования на микродисплее прицельных знаков и шкал тепловизионного канала и обеспечения управления знаками и шкалами применяются тепловизионный модуль и микродисплей. В случае передачи видеосигнала в цифровом формате используется преобразователь видеосигнала LVDS/TTL, программируемая логическая интегральная схема ПЛИС, микроконтроллер и оперативное запоминающее устройство ОЗУ, а в случае передачи видеосигнала в аналоговом формате -схема выделения синхронизации, ОЗУ, микроконтроллер, ПЛИС и схема добавления прицельных знаков и шкал. Изобретение обеспечивает исключение ручного управления вводом углов прицеливания, повышение точности совмещения прицельных знаков и шкал, а также формирование прицельных знаков и шкал и автоматическое управление знаками и шкалами в оптико-электронных трактах.

Недостатком является использование схем ПЛИС, тогда как в разработанном решении используется процессор, благодаря которому увеличивается быстродействие системы.

Наиболее близкий аналог заявленного устройства описан в патенте US2016239936A1 •2016-08-18 УСТРОЙСТВО ОБРАБОТКИ СИГНАЛА ИЗОБРАЖЕНИЯ, ВЫПОЛНЯЮЩЕЕ ОБРАБОТКУ СИГНАЛА ИЗОБРАЖЕНИЯ ПО НЕСКОЛЬКИМ КАНАЛАМ, устройство обработки сигналов изображения включает в себя преобразователь каналов для разделения потока входных сигналов, который включает в себя сигналы изображения, генерируемые множеством пикселей, на блоки обработки и генерирования множества сигналов блоков обработки, ядро обработки сигналов изображений, включающее в себя множество блоков обработки изображений каналов, каждый из которых выполняет операцию обработки сигнала изображения и генерирует множество выходных единичных сигналов путем приема и обработки множества выходных единичных сигналов параллельно через один или более из множества каналов обработки изображения, объединитель каналов для объединения множества выходных модульные сигналы и генерировать поток выходных сигналов, и контроллер конфигурации для управления, в соответствии с режимом работы, по меньшей мере, одним из множества сигналов модуля обработки, выбор частоты тактового сигнала обработки и объединение множества выходных единичных сигналов.

Недостатком является большое количество каналов для обработки сигнала и его преобразования, тогда как в разработанном решении реализована имплементация сложного в вычислительном плане алгоритма распознавания непосредственно на процессоре вычислительного блока тепловизионного модуля, что значительно упрощает интеграцию разработанного тепловизионного модуля в комплексы, использующие системы видеоаналитики, а также повышает реконфигурируемость и масштабируемость данных комплексов.

Разработана каскадная структура алгоритма распознавания из уникальной комбинации компонентов, позволяющая значительно повысить быстродействие алгоритма распознавания при сохранении высокого качества работы.

Разработан новый метод формирования HOG-дескрипторов для рамок скользящего окна с последующей классификацией дескрипторов с помощью линейного SVM-классификатора.

Разработан новый метод агрегирования локализующих объект рамок - многомасштабная иерархическая кластеризация, позволяющая качественно агрегировать локализующие рамки с значительно отличающихся по масштабу изображений.

Уникальная возможность осуществления распознавания объектов непосредственно на процессоре тепловизионного модуля дает разработанной системе ряд существенных преимуществ по сравнению с существующими системами с внешним вычислительным блоком.

Раскрытие сущности изобретения

Группа изобретений «Система и способ обработки данных и распознавания объектов в режиме реального времени» позволяет имплементировать интеллектуальную обработку изображения - алгоритм распознавания объектов, на процессор в составе тепловизионного модуля и совместить видеосъемку и видеоаналитику в одном устройстве.

Технический результат - высокое качество распознавания объектов при значительном повышении быстродействия на процессоре в составе тепловизионного модуля с неохлаждаемой матрицей.

Технический результат достигается тем, что система имеет устройство для видеосъемки, которое является тепловизионным модулем со встроенным вычислительным блоком на базе цифрового сигнального процессора и включает в себя вычислительный блок, имеющий систему на кристалле, микросхему оперативной памяти объемом один гигабит и микросхему FLASH (запоминающее устройство, использующее в качестве носителя флеш-памяти) накопителя объемом 512 мегабит, систему питания, состоящую из импульсных преобразователей и интегральных схем управления питанием, конфигурирующих необходимое напряжение для всех узлов платы, узел записи данных на SD-накопитель (энергонезависимый формат карт памяти), выполненный в виде платы расширения, устанавливающейся на 60-контактный разъем, при этом питание, сигналы ММС (сигнал с минимальным разносом частот «0» и «1») и UART приходят с платы питания, a UART (универсальный асинхронный приемопередатчик) конвертируются в сигналы стандарта RS-232 микросхемой, отличительной особенностью которой является возможность обеспечения преобразования от напряжения питания 1.8 В, блок аналогового преобразователя для усиления и оцифровки видеосигнала с тепловизионной матрицы представляющий из себя входной каскад питания, состоящий из линейных стабилизаторов напряжения с низким падением и блока интерфейса Ethernet (семейство технологий пакетной передачи данных между устройствами для компьютерных и промышленных сетей.).

Способ обработки данных и распознавания объектов в режиме реального времени в вычислительном блоке тепловизионного модуля состоит из блока базовой обработки сигнала, включающего замену сбойных точек, бесшовную коррекцию неоднородностей, подавление шумов, подавление тепловых артефактов, сжатие динамического диапазона, компенсацию оптических искажений, затем обработанный сигнал передается для сжатия, записи на локальный носитель и передачи потока, либо после базовой обработки сигнала происходит процесс обработки кадра алгоритмом распознавания, который имеет каскадную структуру, состоящую из базового детектора, проверочного классификатора и искусственной нейронной сети (ИНС). Локализация человека на изображении происходит путем определения координат рамки, описывающей человека, в системе координат изображения. Базовым компонентом для определения местоположения объекта на изображении является алгоритм скользящего окна, который сканирует изображение окном заданного размера. Для обеспечения распознавания объектов, чьи размеры на изображении варьируется в широком диапазоне, служит генератор пирамиды масштабов. Для обеспечения работы в режиме реального времени используется метод формирования HOG-дескрипторов с помощью скользящего окна с последующим перемножением полученного дескриптора на вектор коэффициентов SVM-классификатора (метод опорных векторов). При получении итогового результата нормализации блока одновременно формируются несколько HOG-дескрипторов (дескрипторы особых точек, которые используются в компьютерном зрении и обработке изображений с целью распознавания объектов). Вместо целого HOG-дескриптора можно хранить в памяти лишь одно число, к которому поэтапно прибавляются результаты перемножений блоков и фрагментов вектора коэффициентов SVM. Для обработки классифицированных рамок используется алгоритм многомасштабной иерархической кластеризации, нацеленный на выделения регионов интереса - потенциальных объектов. Для формирования результирующих кластеров для объектов различающегося размера используется методика многомасштабной кластеризации, по которой из всех масштабов изображения генерируются перекрывающиеся наборы масштабов, в рамках каждого из которых происходит иерархическая кластеризация.

Результирующие кластеры с потенциальными объектами далее подаются проверочному классификатору и искусственной нейронной сети для проверки наличия и уточнения местоположения объекта в регионе интереса. Комбинация быстрого базового детектора и качественных проверочных алгоритмов позволяет совместить высокие точность и надежность распознавания объектов в режиме реального времени на процессоре тепловизионного модуля.

Краткое описание чертежей

Система и способ распознавания объектов в режиме реального времени в составе тепловизионного модуля проиллюстрированы на следующих схемах:

На фигуре 1 показана схема корпуса электронного блока тепловизионного модуля.

На фигуре 2 представлена Схема разработанного тепловизионного модуля.

На фигуре 3 показана схема обработка видеоданных в вычислительном блоке тепловизионного модуля.

На фигуре 4 показана схема работы алгоритма распознавания.

На фигуре 5 представлена схема однократного использования нормализованных блоков HOG-дескрипторов.

На фигуре 6 показана схема поэтапного перемножения векторов

На фигуре 7 представлен пример распознавания объектов на тепловизионном изображении

Цифрами на фигурах обозначены: 1 - объектив, 2 - матричный детектор, 3 - аналого-цифровой блок, 4 - вычислительный блок, 5 - блок питания, 6 - блок интерфейса Ethernet, 7 - корпус электронного блока, 8 - тепловизионная матрица, 9 - память, 10 - динамическая память, 11 - flash-память, 12 -локальный носитель (SD-карта), 13 - первое окно, 14 - второе окно, 15 - третье окно, 16 - первый дескриптор, 17 - второй дескриптор, 18 - третий дескриптор.

Осуществление изобретения

Система и способ распознавания объектов в режиме реального времени в составе тепловизионного модуля позволяет имплементировать интеллектуальную обработку изображения - алгоритм распознавания объектов, на процессор в составе тепловизионного модуля и совместить видеосъемку и видеоаналитику в одном устройстве (фиг. 1).

Разработанное устройство для видеосъемки представляет собой тепловизионный модуль (фиг. 2) со встроенным вычислительным блоком на базе цифрового сигнального процессора (фиг. 3) и включает в себя вычислительный блок (4), систему питания (5), узел записи данных на SD-накопитель (9, 10, 11), блок аналогового преобразователя (3) и блок интерфейса Ethernet (6).

Система питания (5) состоит из импульсных преобразователей и интегральных схем управления питанием, конфигурирующих необходимое напряжение для всех узлов платы. В качестве номинального значения используется напряжение равное 5В.

Блок записи данных (9, 10, 11) выполнен в виде платы расширения, устанавливающейся на 60-контактный разъем. Питание, сигналы ММС и UART приходят с платы питания. UART конвертируются в сигналы стандарта RS-232 специальной микросхемой, отличительной особенностью которой является возможность обеспечения преобразования от напряжения питания 1.8В.

Блок аналогового преобразования (3) предназначен для усиления и оцифровки видеосигнала с тепловизионной матрицы. Данный блок представляет из себя входной каскад питания, состоящий из линейных стабилизаторов напряжения с низким падением. В блоке аналогового преобразования происходит формирование напряжений для цифрового и аналогового питания матрицы, аналогово-цифрового преобразователя, а также для источника опорных напряжений матрицы и дифференциального усилителя АЦП (аналого-цифровой преобразователь). Опорные напряжения конфигурируются цифро-аналоговым преобразователем.

Для передачи данных по протоколу Gigabit Ethernet необходимо обеспечить взаимодействие MAC (уникальный идентификатор, присваиваемый каждой единице активного оборудования или некоторым их интерфейсам в компьютерных сетях Ethernet) и физического уровня PHY (интегральная схема, предназначенная для выполнения функций физического уровня сетевой модели). Для этого в разработке применяется Ethernet приемопередатчик физического уровня. Питание микросхемы формируется двумя понижающими преобразователями.

В вычислительном узле (4) расположены непосредственно система на кристалле, микросхема оперативной памяти объемом 1 гигабит, а также микросхема FLASH накопителя объемом 512 мегабит.

Благодаря встроенному вычислительному блоку разработанный тепловизионный модуль способен в дополнение к видеосъемке и базовой обработке кадров осуществлять распознавания объектов, сжатие видеопотока, запись данных на локальный носитель и передачу данных по сетевому интерфейсу за счет собственных вычислительных ресурсов (фиг. 3).

Разработанный способ распознавания объектов предназначен для определения местоположения объектов заданного класса в системе координат изображения в режиме реального времени (25 кадров в секунду) на процессоре в составе тепловизионного модуля. Под определением местоположения объекта в системе координат изображения понимается локализация объекта путем его выделения на изображении локализующей рамкой.

Для снижения затрачиваемых вычислительных ресурсов разработанный алгоритм распознавания имеет каскадную структуру, состоящую из базового детектора, проверочного классификатора и искусственной нейронной сети (ИНС). Уникальное сочетание разнородных алгоритмов позволяет сохранить высокое качество распознавания объектов при значительном повышении быстродействия.

Локализация человека на изображении происходит путем определения координат рамки, описывающей человека, в системе координат изображения. Базовым компонентом для определения местоположения объекта на изображении является алгоритм скользящего окна. Данный алгоритм производит сканирование изображения окном заданного размера. Процесс сканирования начинается с левого верхнего угла изображения, где генерируется первое окно. Фрагмент изображения, попавший в данное окно анализируется на сходство с классом «человек». Далее окно сдвигается влево на заданное расстояние (шаг скользящего окна) и процесс анализа повторяется. Процесс сдвига повторяется до тех пор, пока окно не дойдет до правого края изображения, после чего происходит сдвиг полосы сканирования вниз на заданное. Таким образом, алгоритм скользящего окна позволяет обеспечить анализ всего изображения за счет поэтапного перемещения от верхнего левого угла до правого нижнего.

Для обеспечения распознавания объектов, чьи размеры на изображении варьируется в широком диапазоне, служит генератор пирамиды масштабов. Исходным масштабом изображения является размер 640×480 пикселей. Постоянный размер окна сканирования равняется 32×64 пикселя. Таким образом, на первой ступени пирамиды масштабов осуществляется поиск объектов размером около 30×60 пикселей. Для поиска более крупных объектов происходит уменьшение размера исходного изображения на заданную величину (шаг масштабирования). Так как размер окна сканирования остается неизменным, отношение размера окна сканирования к размеру изображения увеличивается, что позволяет проводить поиск объектов большего размера, чем на первой ступени. Процесс уменьшения размера изображения повторяется до тех пор, пока высота изображения не сравняется с высотой окна сканирования, что соответствует поиску объектов, чья высота на исходном изображении близка к 480 пикселям.

Классический алгоритм скользящего окна, применяемый в алгоритмах распознавания, генерирует огромное количество окон, для каждого из которых необходимо провести анализ. При этом, окна в значительной степени перекрываются с соседними, что подразумевает большое количество повторных вычислений.

Для обеспечения работы в режиме реального времени используется метод формирования HOG-дескрипторов с помощью скользящего окна с последующим перемножением полученного дескриптора на вектор коэффициентов SVM-классификатора.

Для оптимизации вычислений был осуществлен переход из пространства пикселей к сетке заранее вычисленных ячеек, по которой будет перемещаться скользящее окно. Тогда, каждая ячейка будет генерироваться один раз, что позволит избежать большого количества повторяющихся вычислений.

Так как минимальный размер шага скользящего окна, обеспечивающий надежное распознавание объектов, равен четырем пикселям (на первых ступенях пирамиды масштабов), а минимальный шаг перемещения по сетке ячеек равен размеру одной ячейки HOG-дескриптора, то есть 8-ми пикселям, изображения разбивается на фрагменты размером 4×4 пикселя (субъячейки). Это позволяет устранить повторяющиеся вычисления не внося никаких изменений в конечный результат распознавания.

Субъячейки вычисляются аналогично стандартным ячейкам HOG-дескриптора и представляют собой гистограммы из 8-ти бинов. Далее для формирования стандартной ячейки требуется провести суммирование бинов четырех соседних субъячеек (32 сложения). При этом была устранена необходимость в ресурсозатратном вычислении градиентов, углов их ориентаций и формирования гистограммы для каждого окна. Таким образом, на данном этапе оптимизации алгоритма процесс формирования HOG-дескриптора сводится к перемещению скользящим окном по сетке субъячеек, суммированию гистограмм четырех субъячеек для формирования гистограмм ячеек, нормализация гистограмм HOG-блоков, конкатенация гистограмм блоков в конечной дескриптор и векторное перемножение с коэффициентами линейного SVM-классификатора. Для каждого окна отпадает необходимость в попиксельном вычислении градиента и его ориентации, а также в генерации гистограммы ориентаций ячеек - данные операции проводятся один раз для всего изображения на каждом из масштабов.

Однако, к повторяющимся вычислениям, которые требуют большое количество операций, также относится нормализация блока HOG-дескриптора.

Для снижения числа операций на нормализацию блоков HOG-дескриптора было решено перейти от скользящего окна к набору скользящих блоков, перемещающихся по сетке субъячеек. Тогда, при формировании блока и его нормализации, итоговое представление блока в виде конкатенированных нормализованных гистограмм помещается в соответствующее положение всех HOG-дескрипторов, включающих данный блок (фиг. 5).

Таким образом, при получении итогового результата нормализации блока одновременно формируются несколько HOG-дескрипторов. Однако существенным недостатком данного метода является необходимость постоянного размещения в оперативной памяти большого количества формирующихся HOG-дескрипторов. Максимальное число дескрипторов, одновременно находящихся в оперативной памяти при данном методе, равняется восьми. При размере одного HOG-дескриптора в 720 16-битных элементов, требуемый объем памяти равняется 11 520 байтам, что составляет значительную часть L1-памяти.

Результатом использования HOG-дескриптора является взвешенная сумма, коэффициентами для которой служат коэффициенты SVM-классификатора.

Учитывая свойства взвешенного суммирования, было решено проводить перемножение векторов по частям, а затем складывать результаты перемножений для получения конечного результата (фиг. 6).

Таким образом, вместо целого HOG-дескриптора можно хранить в памяти лишь одно число, к которому поэтапно прибавляются результаты перемножений блоков и фрагментов вектора коэффициентов SVM.

Результатом классификации всех блоков, составляющих HOG-дескриптор является классифицированная рамка скользящего окна. Для обработки классифицированных рамок используется алгоритм многомасштабной иерархической кластеризации, нацеленный на выделения регионов интереса - потенциальных объектов. Алгоритм иерархической кластеризации формирует на основе входных данных результирующий кластер, что позволяет более точно локализовать объект. Более точная локализация обуславливается тем, что положение рамок скользящего окна является фиксированным и зависит от шага скользящего окна и масштабного коэффициента алгоритма генерации пирамиды масштабов, то есть число вариантов положений рамок скользящего окна является конечным. В свою очередь, положение результирующего кластера вычисляется на основе координат образующих кластер рамок скользящего окна, а также результатов классификации данных рамок. Таким образом, положение результирующего кластера не ограничивается конечным множеством возможных положений, а вычисляется на основе полученных данных о местоположении объекта.

Для формирования результирующих кластеров для объектов различающегося размера была используется методика многомасштабной кластеризации, по которой из всех масштабов изображения генерируются перекрывающиеся наборы масштабов, в рамках каждого из которых происходит иерархическая кластеризация. Данная методика позволяет успешно формировать результирующие кластеры для объектов всего размерного диапазона. Разбиение масштабов на перекрывающиеся наборы реализовано на результатах эмпирических данных, полученных в результате тестирования.

Результирующие кластеры с потенциальными объектами далее подаются проверочному классификатору и ИНС для проверки наличия и уточнения местоположения объекта в регионе интереса. Комбинация быстрого базового детектора и качественных проверочных алгоритмов позволяет совместить высокие точность и надежность распознавания объектов, не уступающие показателям современных архитектур ИНС, и значительно более низкую по сравнению современными архитектурами ИНС вычислительную сложность, необходимую для работы в режиме реального времени на процессоре тепловизионного модуля.

Пример результата работы алгоритма распознавания в составе тепловизионного модуля представлен на (фиг. 7).

Уникальная возможность осуществления распознавания объектов непосредственно на процессоре тепловизионного модуля дает разработанной системе ряд существенных преимуществ по сравнению с существующими системами с внешним вычислительным блоком.

Имплементация алгоритма распознавания на процессор тепловизионного модуля обеспечивает минимально возможную задержку обработки видеопотока за счет отсутствия необходимости передачи видеопотока на периферийные устройства, что является крайне важным при использовании алгоритмов распознавания в системах с жестким реальным временем. Также, отсутствие необходимости передачи видеопотока значительно снижает нагрузку на коммуникационные каналы систем.

Еще одним существенным преимуществом при интеграции разработанного тепловизионного модуля являются высокая масштабируемость и реконфигурируемость систем. Масштабируемость обеспечивается тем, что при увеличении числа тепловизионных модулей в системе отпадает необходимость в пропорциональном увеличении вычислительных возможностей системы, а также пропускной способности коммуникационного канала, так как вся необходимая обработка выполняется непосредственно самой видеокамерой. Реконфигурируемость обуславливается тем, что для интеграции тепловизионного модуля нет необходимости в наличии специализированного вычислительного блока и широкополосного коммуникационного канала для передачи видеопотока.

Изобретение относится к области вычислительной техники, а именно к системам распознавания. Технический результат заключается в повышении точности распознавания объектов и повышении быстродействия на процессоре в составе тепловизионного модуля с неохлаждаемой матрицей. Система распознавания объектов в режиме реального времени, состоящая из устройства для видеосъемки, являющегося тепловизионным модулем со встроенным вычислительным блоком на базе цифрового сигнального процессора, которая содержит вычислительный блок, имеющий систему на кристалле, который состоит из блока обработки сигнала, выполняющего базовую обработку сигнала, которая включает в себя замену сбойных точек, бесшовную коррекцию неоднородностей, подавление шумов, сжатие динамического диапазона, компенсацию оптических искажений, базовую обработку кадров и осуществляет переход из пространства пикселей к сетке заранее вычисленных ячеек, сканирует изображение окном заданного размера и с заданным шагом перемещения и определяет местоположение объекта, микросхему оперативной памяти, систему питания, узел записи данных на SD-накопитель, блок аналогового преобразователя для усиления и оцифровки видеосигнала с тепловизионной матрицы, являющийся входным каскадом питания, имеющий линейные стабилизаторы напряжения с низким падением и блок интерфейса Ethernet. 2 н. и 4 з.п. ф-лы, 7 ил.

1. Система распознавания объектов в режиме реального времени, состоящая из устройства для видеосъемки, являющегося тепловизионным модулем со встроенным вычислительным блоком на базе цифрового сигнального процессора, отличающаяся тем, что содержит вычислительный блок, имеющий систему на кристалле, который состоит из блока обработки сигнала, выполняющего базовую обработку сигнала, которая включает в себя замену сбойных точек, бесшовную коррекцию неоднородностей, подавление шумов, подавление тепловых артефактов, сжатие динамического диапазона, компенсацию оптических искажений, базовую обработку кадров и осуществляет переход из пространства пикселей к сетке заранее вычисленных ячеек, по которой будет перемещаться скользящее окно, сканирует изображение окном заданного размера и с заданным шагом перемещения, где минимальный шаг перемещения по сетке ячеек равен размеру одной ячейки HOG-дескриптора, и определяет местоположение объекта, микросхему оперативной памяти объемом один гигабит и микросхему FLASH накопителя объемом 512 мегабит, систему питания, состоящую из импульсных преобразователей и интегральных схем управления питанием, конфигурирующих необходимое напряжение для всех узлов платы, узел записи данных на SD-накопитель, выполненный в виде платы расширения, устанавливающейся на 60-контактный разъем, где сигналы ММС и UART приходят с платы питания, а UART конвертируются в сигналы стандарта RS-232 микросхемой, обеспечивающей преобразования от напряжения питания 1.8 В, блок аналогового преобразователя для усиления и оцифровки видеосигнала с тепловизионной матрицы, являющийся входным каскадом питания, имеющий линейные стабилизаторы напряжения с низким падением и блок интерфейса Ethernet.

2. Способ распознавания объектов в режиме реального времени с использованием системы по п. 1, который включает в себя этап базовой обработки сигнала в блоке базовой обработки сигнала, включающий в себя замену сбойных точек, бесшовную коррекцию неоднородностей, подавление шумов, подавление тепловых артефактов, сжатие динамического диапазона, компенсацию оптических искажений; обработку данных в вычислительном блоке тепловизионного модуля с использованием алгоритма сжатия, где происходит запись на локальный носитель и передача видеопотока, либо в вычислительном блоке тепловизионного модуля используют алгоритм распознавания, имеющий каскадную структуру, состоящую из базового детектора, проверочного классификатора и искусственной нейронной сети; в базовом детекторе происходит обработка локализации человека на изображении путем определения координат рамки, описывающей человека, в системе координат изображения, алгоритм скользящего окна осуществляет переход из пространства пикселей к сетке заранее вычисленных ячеек, по которой будет перемещаться скользящее окно, сканирует изображение окном заданного размера и с заданным шагом перемещения, где минимальный шаг перемещения по сетке ячеек равен размеру одной ячейки HOG-дескриптора, и определяет местоположение объекта, генератор пирамиды масштабов распознает вариативные изображения, формирования HOG-дескрипторов с помощью скользящего окна с последующим перемножением полученного дескриптора на вектор коэффициентов SVM-классификатора обеспечивает распознавание в режиме реального времени.

3. Способ распознавания объектов в режиме реального времени по п.2, отличающийся тем, что в вычислительном блоке тепловизионного модуля используют базовый детектор, в котором для нормализации блока одновременно формируют несколько HOG-дескрипторов.

4. Способ распознавания объектов в режиме реального времени по п.2, отличающийся тем, что в вычислительном блоке тепловизионного модуля используют базовый детектор, который хранит в памяти одно число, к которому поэтапно прибавляются результаты перемножений блоков и фрагментов вектора коэффициентов SVM.

5. Способ распознавания объектов в режиме реального времени по п.2, отличающийся тем, что в вычислительном блоке тепловизионного модуля используют алгоритм распознавания, который содержит проверочный классификатор для обработки классифицированных рамок, нацеленный на выделение регионов интереса формирования результирующих кластеров для объектов различающегося размера, используя многомасштабную кластеризации, по которой из всех масштабов изображения генерируются перекрывающиеся наборы масштабов, в рамках каждого из которых происходит иерархическая кластеризация.

6. Способ распознавания объектов в режиме реального времени по п.2, отличающийся тем, что в вычислительном блоке тепловизионного модуля используют алгоритм распознавания, который содержит искусственную нейронную сеть, проверяющую наличие и уточняющую местоположение объекта в регионе интереса.