СПОСОБ ФИЛЬТРАЦИИ МАЛОИНФОРМАТИВНЫХ ЗОН НА ВИДЕОКАДРЕ Российский патент 2024 года по МПК G06V20/58 

Изобретение относится к области распознавания образов и может быть использовано в системах технического зрения, например, колесных роботов при решении задач предварительной обработки изображения.

Для описания данного изобретения в заявке будет приведен пример применения способа фильтрации малоинформативных зон в составе функций предварительной обработки изображений вычислительным устройством колесного робота, однако для специалиста в данной области очевидно, что применение рассматриваемых технических признаков возможно и в других системах, использующих предварительную обработку изображения для решения задач применения систем технического зрения.

Колесные роботы оснащаются комплексом сенсоров, обеспечивающих возможность локализации робота в пространстве, детектирование целевой траектории и возможных препятствий. Обработка данных, обеспечивающих возможность локализации робота в пространстве, требует применения оборудования высокой производительности.

При решении задач повышения эффективности применения компьютерного зрения есть два основных тренда в анализе кадров видеопотока - условно «денс» и «спарс», т.е. «плотный» и «разреженный».

«Плотный» вариант подразумевает обработку всех пикселей кадра, например, вычисление оптического потока на кадре или семантическая сегментация. Основной проблемой плотного варианта является вычислительная трудоемкость, но использование графических ускорителей или специализированных чипов и общее повышение вычислительных возможностей с каждым годом делает подход более привлекательным.

«Разреженный» вариант, это как правило вычисление на кадре «особых точек», и дальнейший анализ, например, их трекинг от кадра кадру. Существенной проблемой разреженного варианта является тот факт, что важные особые точки, например, в зоне препятствия, могут оказаться не выделенными, «потерянными», в силу присутствия более явно выраженных точек в других зонах изображения, что уменьшает точность распознавания объектов.

Компромиссным вариантом является «semi-dense», «полуплотный» подход, который работает в основном как плотный, но на изображении выделяются малоинформативные зоны, например, однотонные площадные участки. Окрестность зоны не имеет информации для самостоятельного принятия решения и опирается на решения, принятые в более информативных пикселях, расположенных поблизости. Вероятность некорректного или неточного расчета внутри этих зон выше, чем в окрестности более информативных пикселей (Jakob Engel, Jurgen Sturm, Daniel Cremers. Semi-Dense Visual Odometry for a Monocular Camera. TU Munchen, Germany - 2013).

Из уровня техники известен способ и устройство выделения контуров объектов изображения (патент на изобретение РФ №2383925). Способ заключается в пространственной фильтрации изображения функцией Гаусса и последующем применении оператора Собела. Блок фильтрации на первую группу входов-выходов принимает данные (изображение), поступающие через первую группу входов-выходов ОЗУ. Поступившие данные подвергаются процедуре фильтрации. В качестве фильтра используется фильтр Гаусса, функция отклика которого имеет вид:

где r - расстояние между центром функции отклика и текущей точкой, σ - среднее квадратическое отклонение фильтра Гаусса, величина, определяющая крутизну функции отклика фильтра и, следовательно, степень сглаживания изображения (меньше крутизна - сильнее сглаживание). Для заданной маски GD процесс фильтрации изображения в точке с координатами (х, у) описывается как:

где I'(х, у) - значение яркости точки отфильтрованного изображения, I(x+s, у+t) - значение яркости точки исходного изображения. После окончания процедуры фильтрации на первом выходе блока фильтрации формируется управляющий сигнал, уведомляющий об окончании процедуры фильтрации, поступающий на вход ОЗУ и переводящий его в режим записи отфильтрованного изображения.

Также известен способ поиска и распознавания объектов на цифровых изображениях (Патент РФ RU 2458397 С1. Способ поиска и распознавания объектов на цифровых изображениях , заявка №2011111070/08, 23.03.2011), основанный на измерении энергетических спектров входного изображения и эталона, адаптивной пространственной фильтрации и пороговой обработке, при котором составляют матрицы из коэффициентов разложения энергетических спектров входного и эталонного изображений в двумерные ряды Фурье по косинусам, по полученным матрицам синтезируют дискретный двумерный фильтр, производят адаптивную пространственную дискретную фильтрацию входного изображения и сравнивают результат фильтрации с порогом.

Данный аналог является ближайшим и позволяет повысить вероятность правильного обнаружения и уменьшить время распознавания объектов на неоднородном фоне цифровых изображений, однако в случае применения описанного способа фильтрации существует вероятность снижения возможности обнаружения и распознавания объектов на изображение, обусловленная неоднозначностью выбора апертуры фильтра, а также требование значительных вычислительных ресурсов и ресурса памяти при обработке изображений высокого разрешения.

Задачей, поставленной при разработке данного изобретения, являлось создание способа фильтрации малоинформативных зон на видеокадре, обеспечивающего снижение требований к мощности вычислительного устройства, требуемой для обработки изображений с целью локализации колесного робота в пространстве, детектирования целевой траектории и возможных препятствий.

Технический результат, достигаемый при реализации данного изобретения, заключается в снижении требований к производительности вычислительного устройства, обеспечивающего обработку изображений с целью локализации колесного робота в пространстве, детектирование целевой траектории и возможных препятствий.

Указанный технический результат достигается способом фильтрации малоинформативных зон на видеокадре, согласно которому на первом этапе в память устройства обработки поступает изображение, полученное от видеокамеры в составе колесного робота, по каждому из каналов изображения в вычислительном устройстве производится гауссово сглаживание с заранее заданным размером окна, далее в каждом пикселе сглаженного изображения формируется значение по каждому из каналов, локально усредненное по гауссиане в заданном размере окна, при этом формируется усредненное изображение, после чего производится расчет модуля разности между исходным и усредненным изображением, с вычислением модуля отклонения исходного сигнала в пикселе от локального среднего в окрестности данного пикселя, далее производится гауссово сглаживание усредненного изображения, в результате которого, в каждом пикселе усредненного изображения осуществляется оценка локального среднего модуля отклонения, что является аналогом дисперсии (среднеквадратичного отклонения), после чего матрица многоканального изображения преобразуется в одноканальную с максимальным значением по каналам в масштабе заданного окна, для разделения классов малоинформативных и не малоинформативных областей производится адаптивная бинаризация полученной одноканальной матрицы с использованием метода Оцу, в результате получается изображение-маска малоинформативных областей исходного изображения полученного от видеокамеры в составе колесного робота, позволяющая уменьшить требования к производительности вычислительного устройства, осуществляющего обработку данного изображения с целью локализации колесного робота в пространстве.

Указанные технические признаки позволяют осуществить поиск и фильтрацию малоинформативных зон на изображении. Формирование изображение осуществляется при помощи камер в составе системы технического зрения колесного робота, после чего полученное изображение передается в память устройства обработки колесного робота, представляющую из себя оперативную память и/или память графической карты, обработка изображения с целью поиска и фильтрации малоинформативных зон осуществляется в вычислительном устройстве, представляющим из себя центральный процессор компьютера, либо процессор GPU. Обработка производится с применением описанных методов обработки, например, гауссова сглаживания. Гауссово сглаживание производится с заранее заданным окном DX DY. Размеры окна DX DY являются параметром, настраиваемым в зависимости от использования маски малоинформативных зон в рамках прикладной задачи. По порядку величины размеры DX, DY соответствуют минимальному размеру объекта или характерной детали объекта на изображении, который не может быть проигнорирован. Например, минимальный размер дорожного знака или символа на дорожном знаке, минимальная ширина линии разметки и т.п.

Результатом обработки является матрица маски изображения, соответствующая по размеру матрице исходного изображения. Значения пикселей матрицы маски изображения - степень информативности соответствующего пикселя исходного изображения, одновременно вычисляется порог, статистически разделяющий распределение значений информативности на уровень высокой и низкой информативности. В зависимости от расположения матрицы исходного изображения, построенная матрица маски изображения размещается на том же устройстве хранения памяти – то есть в оперативной памяти или в памяти GPU.

Техническая сущность изобретения поясняется чертежами. На фиг.1 изображен алгоритм осуществления способа фильтрации малоинформативных зон на видеокадре, позиции которого содержат следующие шаги:

1. Получение изображения от видеокамер в составе систем технического зрения;

2. Задание размеров окна для гауссова сглаживания и преобразования матрицы;

3. Гауссово сглаживание;

4. Формирование усредненного изображения;

5. Расчет модуля разницы между исходным и усредненным изображением;

6. Оценка локального среднего отклонения;

7. Преобразование матрицы изображения в одноканальную;

8. Получение маски изображения (разделение информативных и малоинформативных зон.

В предпочтительном варианте исполнения изобретение осуществляется следующим образом.

Видеокамеры в составе системы технического зрения колесного робота передают полученные изображения «InputImage» (1) в память устройства обработки, «InputImage» может быть одноканальное (серое) или многоканальное (цветное, например RGB) изображение, по каждому из каналов изображения «InputImage» производится гауссово сглаживание (3) с заранее заданным размером окна DX, DY (2), получается результат свертки «MeanImage» (4). «MeanImage» (усредненное изображение) (4) содержит в каждом пикселе значение по каждому из каналов, локально усредненное по гауссиане в окрестности пикселя, далее производится расчет модуля разности между исходным и усредненным изображением, (DiffIImage = absdiff (InputImage, MeanImage) (5), таким образом, пиксели усредненного изображения (DiffImage) содержат модуль отклонения исходного сигнала в пикселе от локального среднего в окрестности данного пикселя, далее производится гауссово сглаживание (MeanDiffImage = GaussianBlur (DiffImage, DX, DY )), в результате, в каждом пикселе (MeanDiffImage) осуществляется оценка локального среднего модуля отклонения (6), что является аналогом дисперсии (среднеквадратичного отклонения), для варианта многоканального входного изображения MeanDiffImage содержит оценку локальной дисперсии по каждому из каналов, в таком случае матрица преобразуется в одноканальную (7) с максимальным значением по каналам (MeanDiffImageMaxChannel (в масштабе окна DX DY)), для варианта масштабно-независимого расчета (MeanDiffImageMaxChannel) может рассчитываться для комбинации размеров окна (scale_i = < DXi DYi>, например, на пирамиде масштабов {<11,11>, <17,17>, <23,23>, <35,35>}), и в таком случае, в матрице (MeanDiffImage) комбинируются по принципу выбора максимального элемента, то есть формируется цикл, в результате которого накапливается максимум в каждом пикселе, в результате которого получаем одноканальную матрицу (MeanDiffImageMaxChannelMaxScale (MDMCMS)), для разделения классов малоинформативных и не малоинформативных областей производится адаптивная бинаризация матрицы MDMCMS, например, с использованием метода Otsu (Оцу), в результате получается изображение-маска малоинформативных областей (8).

Реализация описанного способа позволяет осуществить обработку изображения с целью поиска и фильтрации малоинформативных зон на видеокадре, полученные при обработке данные могут быть использованы для снижения требований к мощности вычислительного устройства, требуемой для обработки изображений с целью локализации колесного робота в пространстве, детектирования целевой траектории и возможных препятствий, за счёт исключения из процесса обработки найденных на изображении малоинформативных зон.

Изобретение относится к области распознавания образов и может быть использовано в системах технического зрения, например, колесных роботов. Технический результат заключается в детектировании целевой траектории и возможных препятствий. Технический результат достигается тем, что на первом этапе в оперативную память поступает изображение, полученное от видеокамеры в составе колесного робота, по каждому из каналов изображения в вычислительном устройстве производится гауссово сглаживание с заранее заданным размером окна, далее в каждом пикселе сглаженного изображения формируется значение по каждому из каналов, локально усредненное по гауссиане в заданном размере окна, при этом формируется усредненное изображение, после чего производится расчет модуля разности между исходным и усредненным изображением, с вычислением модуля отклонения исходного сигнала в пикселе от локального среднего в окрестности данного пикселя, после чего матрица многоканального изображения преобразуется в одноканальную с максимальным значением по каналам в масштабе заданного окна, для разделения классов малоинформативных и не малоинформативных областей производится адаптивная бинаризация полученной одноканальной матрицы с использованием метода Оцу. 1 ил.

Способ фильтрации малоинформативных зон на видеокадре, характеризующийся тем, что на первом этапе в оперативную память поступает изображение, полученное от видеокамеры в составе колесного робота, по каждому из каналов изображения в вычислительном устройстве производится гауссово сглаживание с заранее заданным размером окна, далее в каждом пикселе сглаженного изображения формируется значение по каждому из каналов, локально усредненное по гауссиане в заданном размере окна, при этом формируется усредненное изображение, после чего производится расчет модуля разности между исходным и усредненным изображением, с вычислением модуля отклонения исходного сигнала в пикселе от локального среднего в окрестности данного пикселя, далее производится гауссово сглаживание усредненного изображения с заданным размером окна, в результате которого в каждом пикселе усредненного изображения осуществляется оценка локального среднего модуля отклонения, что является аналогом среднеквадратичного отклонения, после чего матрица многоканального изображения преобразуется в одноканальную с максимальным значением по каналам в масштабе заданного окна, для разделения классов малоинформативных и не малоинформативных областей производится адаптивная бинаризация полученной одноканальной матрицы с использованием метода Оцу, в результате получается изображение-маска малоинформативных областей исходного изображения, полученного от видеокамеры в составе колесного робота.