СПОСОБ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ Российский патент 2023 года по МПК G06T7/12 G06T7/246 G06T7/269 G06T7/73 

Настоящее изобретение относится к способу обнаружения движущихся объектов.

Предпосылки изобретения

Сегодня известны разные способы обнаружения движущихся объектов, в которых применяют алгоритмы «обнаружения движения». Эти алгоритмы основаны на технологиях машинного зрения, при этом используются видеозаписи, полученные посредством камер, в качестве их начальной точки.

Камеры обычно являются фиксированными. Кадр в них может меняться, но они не могут быть перемещены близко к объекту. Для перемещения ближе к движущемуся объекту или для движения вслед за ним может применяться дрон, то есть маленький летательный аппарат, которым управляют с земли посредством радиосвязи.

Сегодня дроны имеют широкое применение: охрана и слежение, мониторинг окружающей среды и объектов архитектуры, удаленное зондирование, сбор качественных и количественных данных на конкретной территории с последующим анализом электромагнитного излучения, испускаемого или отраженного, и видеосъемка. Видеосъемка, в частности, делает возможным обнаружение объектов, движущихся рядом с дроном.

Применение для обнаружения движущихся объектов, представляющее интерес, заключается в автоматическом обнаружении птиц и наблюдении за ними в небе или ареале обитания, например в наблюдении за жизнью птиц вокруг аэропортов с целью повышения безопасности полетов.

Обычно отслеживание наличия птиц в подвергаемом наблюдению пространстве или ареале обитания осуществляется путем наблюдения персоналом, который обеспечен системами визуального наблюдения, такими как телескопы или бинокли, за подвергаемым наблюдению пространством. Эти способы делают невозможным полностью автоматическое обнаружение птиц в подвергаемом наблюдению пространстве. Кроме того, наблюдение, выполняемое персоналом в полевых условиях, является весьма субъективным и обусловлено такими факторами, как подготовка и уровень знаний самого персонала.

Сегодня также существуют радиолокационные системы для обнаружения птиц.

Эти радиолокационные системы требуют высококвалифицированного персонала для толкования информации и технического обслуживания и поэтому характеризуются очень высокими затратами.

В последнее время развивались способы отслеживания на основе технологий машинного зрения, в которых птиц обнаруживают на видеозаписях, полученных посредством одной или более камер, размещенных возле подвергаемого наблюдению пространства. Сегодня существуют алгоритмы машинного зрения для обнаружения движущихся объектов, в которых используется технология оптического потока, которая в основном используется для оценки движения между двумя последовательными кадрами в видеозаписи.

Тем не менее, способы, основанные на этих известных алгоритмах, имеют ограничения. Например, такими способами невозможно обнаружить движущиеся объекты, которые по размерам малы относительно тех, которые, наоборот, могут быть артефактами изображения, возникающими в результате сжатия видеозаписи. Кроме того, этими способами невозможно оптимально обработать видеозаписи, сделанные посредством движущейся камеры, например камеры, прикрепленной к дрону. В действительности в большинстве способов, основанных на оптическом потоке для обнаружения, относительно объекта на заднем плане (который движется) используют стандартный задний фон (который не движется). В случае движущегося устройства двигается как задний фон, так и передний фон, и поэтому очень сложно, если вообще возможно, восстановить стандартный задний фон для осуществления обнаружения, особенно если объект является очень маленьким.

Описание изобретения

Цель настоящего изобретения заключается в том, чтобы улучшить обнаружение движущихся объектов на видеозаписи и, таким образом, сделать его более надежным.

Еще одна цель настоящего изобретения заключается в обеспечении возможности обнаружения, даже когда в качестве начальной точки используется фильм, полученный посредством движущегося устройства, такого как видеокамера.

Согласно настоящему изобретению эти цели достигаются с помощью способа обнаружения движущихся объектов с признаками, определенными в пункте 1 формулы изобретения.

Этот способ делает возможным надежное определение объектов, которые в этот момент находятся в движении, даже если они маленькие. Кроме того, не нужно создавать стандартный задний фон. Движущиеся объекты могут быть обнаружены камерой, которая также находится в движении и которую можно затем переместить ближе к объекту и, таким образом, сделать обнаружение более надежным.

Предпочтительно для удаления высоких частот, присутствующих в изображении, полученном на основании разницы между первым изображением и вторым искривленным изображением, используют фильтр нижних частот и/или к этому изображению применяют пороговую величину для обнаружения отличающихся пикселей между вторым искривленным изображением и первым изображением.

В одном предпочтительном варианте осуществления вдоль координатных осей для каждого неудаленного ограничивающего блока после использования детектора blob-объектов извлекают два профиля, проверяют выравнивание между двумя профилями и удаляют любой ограничивающий блок с невыровненными профилями.

Эти этапы позволяют ограничить «ошибки первого рода», а именно когда движущиеся объекты, которые могут не представлять интерес, такие как ветки деревьев, определяются как интересующие объекты, такие как птицы.

Краткое описание графических материалов

Другие преимущества и признаки настоящего изобретения станут более понятными из подробного описания, представленного ниже со ссылками на прилагаемые графические материалы, в которых представлен неограничивающий вариант осуществления и в которых:

на фиг. 1 представлено изображение одного предпочтительного варианта осуществления способа согласно настоящему изобретению;

на фиг. 2 представлено изображение, на котором обнаружены границы и углы;

на фиг. 3 представлены два последовательных изображения, на которых определяют соответствующие точки;

на фиг. 4 представлено изображение после применения установки пороговых величин;

на фиг. 5 представлено изображение, на котором применяют ограничивающие блоки;

на фиг. 6 показано извлечение профилей из двух ограничивающих блоков.

Предпочтительные варианты осуществления изобретения

На фиг. 1 представлено изображение одного предпочтительного варианта осуществления способа согласно настоящему изобретению.

В способе обнаружения движущихся объектов необходимо получить запись (или видеозапись) подвергаемого наблюдению пространства.

Согласно настоящему изобретению способ обнаружения включает этап 1: извлечение по меньшей мере одного первого изображения (f1) и по меньшей мере одного второго изображения (f2) из записи.

Изображения (кадры), которые образуют видеозапись, являются цветными и состоят из пикселей. В частности, разрешение составляет 1280x720 пикселей с переменной частотой кадров от приблизительно 24 до 60 кадров в секунду.

Предпочтительно второе изображение (f2) следует за первым изображением (f1).

На этапе 2 на первом изображении (f1) и на втором изображении (f2) обнаруживают угловые точки. В частности, на этапе 2 на первом изображении (f1) и на втором изображении (f2) обнаруживают группу граничных и угловых точек. Под углами подразумевается пересечение двух или более краев.

Предпочтительно точки обнаруживают путем применения алгоритма FAST (Features from Accelerated Segment Test) для обнаружения углов.

На фиг. 2 показано применение алгоритма FAST к кадру, при этом каждый кружок соответствует искомой точке.

На этапе 3 с помощью обнаруженных точек извлекают векторы признаков, то есть n-мерные векторы, описывающие признаки объекта; в частности, извлекают один для каждой обнаруженной точки. Предпочтительно используют дескриптор BRISK (Binary Robust Invariant Scalable Keypoints), который является неизменяющимся в отношении масштаба и поворота; это свойство подходит для случаев, в которых сцена может быть подвергнута изменениям масштаба и поворота за счет перемещения записывающего устройства, такого как камера, установленная на дроне.

На этапе 4 на первом изображении (f1) и на втором изображении (f2) определяют соответствующие точки. Выполняют сопоставление, например, путем использования алгоритма KNN (k-nearest neighbours), между точками и дескрипторами, извлеченными из двух кадров (f1), (f2), для обнаружения соответствующих точек в двух сценах. На фиг. 3 показано совпадение, обнаруженное между точками двух последовательных кадров, при этом каждая обнаруженная точка в кадре связана с соответствующей точкой в следующем кадре посредством сегмента.

После обнаружения совпадений их используют на этапе 5 для оценки гомографии, а именно геометрического преобразования, которое делает возможным выполнение регистрации между первым изображением (f1) и вторым изображением (f2); другими словами, выравнивание/наложение двух изображений, кадрирующих одну и ту же сцену с двух разных точек наблюдения.

На этапе 6 ко второму изображению (f2) применяют искривление в цифровой форме, на основании гомографии, с получением искривленного второго изображения (f2_w).

На этапе 7 вычисляют разницу в отдельных пикселях между искривленным вторым изображением (f2_w) и первым изображением (f1) с обнаружением отличающихся пикселей.

Таким образом, путем сравнения второго искривленного изображения (F2_w) с первым изображением (f1) получают третье изображение (diff).

В частности, третье изображение (diff) получают на основании сравнения второго искривленного изображения (f2_w) с первым изображением (f1) путем вычисления разницы в отдельных пикселях между искривленным вторым изображением (f2_w) и первым изображением (f1) с обнаружением отличающихся пикселей.

Предпочтительно на этапе 8 на изображении (diff), полученном на основании разницы между вторым искривленным изображением (f2_w) и первым изображением (f1), используют фильтр нижних частот (LP) для удаления высоких частот, присутствующих в изображении, наличие которых может быть обусловлено артефактами из-за сжатия изображения.

В одном предпочтительном варианте осуществления на этапе 9 осуществляют установку пороговых величин для определения пикселей, отличающихся между двумя кадрами.

Установка пороговых величин представляет собой процесс сегментации изображения, в котором берется полутоновое изображение и возвращается черно-белое бинарное изображение.

Предпочтительно используют метод Оцу для автоматической установки пороговых величин гистограммы изображения (TH), в котором графически показывается распределение тонов цифрового изображения. В этом методе предполагается, что в изображении, для которого выполняется установка пороговых величин, есть только два класса, и, таким образом, выполняется вычисление оптимальной пороговой величины для разделения этих двух классов путем минимизации внутриклассовой дисперсии.

На фиг. 4 представлено изображение после установки пороговых величин, в котором пиксели, которые отличаются в сцене больше всего, показаны черным, тогда как те, которые не меняются, остаются белыми.

Этапы 8 и 9 могут отсутствовать, может присутствовать только один из них, или могут присутствовать оба из них.

В одном предпочтительном варианте осуществления этап 9 присутствует.

Согласно настоящему изобретению на этапе 10 (нахождение контуров) в третьем изображении (diff) или в изображении, полученном путем установки пороговых величин или путем применения фильтра, определяют все контуры (ограничивающие блоки), касающиеся групп соседних пикселей. На фиг. 5 представлено изображение с прямоугольниками (ограничивающими блоками), непечатными на определенных контурах. В частности, в третьем изображении (diff) для каждой группы смежных пикселей, характеризующейся значениями расхождения изображения, которые выше пороговой величины, определяют ограничивающий блок (bb).

Согласно настоящему изобретению на этапе 11 на основании первого изображения (f1) и искривленного второго изображения (f2_w) вычисляют оптический поток.

В частности, оптический поток вычисляют путем сравнения второго искривленного изображения (F2_w) с первым изображением (f1), как показано на фиг. 1.

Этап 11 можно выполнять одновременно с этапами 8–10, перед ними или после них.

В одном предпочтительном варианте осуществления оптический поток вычисляют с помощью метода Фарнбека. Этот метод описан в статье Гуннара Фарнбека «Two-Frame Motion Estimation Based on Polynomial Expansion».

Из оптического потока извлекают матрицу (mag), соответствующую величине оптического потока.

Извлеченную матрицу можно рассматривать как изображение, в котором для отображения величины оптического потока используют разные цвета.

Один предпочтительный вариант осуществления включает этап 12, на котором для каждого извлеченного ограничивающего блока (bb) проверяют площадь прямоугольника и отношение сторон для обеспечения того, что обнаруженный элемент не является слишком маленьким или слишком большим и что расположение пикселей не слишком увеличено.

Если это условие не соблюдено, то ограничивающий блок (bb) удаляют.

Согласно настоящему изобретению на этапе 13 для каждого ограничивающего блока (bb), наложенного на третье изображение (diff), проверяют, превышает ли величина оптического потока (соответствующая величине движения) обнаруженной группы пикселей (которая может быть интересующим объектом) среднюю величину оптического потока окружающих пикселей (то есть двигаются ли они неодинаково относительно элементов на заднем фоне, который могут также находиться в движении). Это позволяет определить, двигается ли обнаруженная группа пикселей не так, как элементы на заднем фоне. Если величина оптического потока группы соседних пикселей — соответствующая величине возможного интересующего объекта — не больше, чем средняя величина окружающих пикселей, ограничивающий блок (bb) удаляют.

На этапе 14 к каждому ограничивающему блоку (bb) применяют детектор blob-объектов для обнаружения наличия blob-объектов внутри каждого отдельного ограничивающего блока (bb), образующего часть третьего изображения (diff); а именно точек и/или областей в изображении, у которых такие свойства, как яркость или цвет, отличаются при сравнении с окружением.

На этапе 15, если blob-объектов нет, то ограничивающий блок (bb) удаляют.

Предпочтительно ограничивающий блок (bb) удаляют даже при наличии более одного blob-объекта, тогда как ограничивающий блок (bb) с только одним blob-объектом считается верным обнаружением.

Один предпочтительный вариант осуществления включает этап 16, на котором вдоль координатных осей X и Y для каждого неудаленного ограничивающего блока (bb) извлекают два профиля. Это выполняют путем добавления значения пикселей вдоль двух осей изображения. Затем на этапе 17 проверяют, что два профиля хорошо выровнены, для проверки того, что blob-объект является выпуклым. Если профили не выровнены, то ограничивающий блок (bb) удаляют.

На фиг. 6 представлены два примера извлечения профилей: в первом примере, который слева, два профиля не выровнены, и поэтому ограничивающий блок (bb) удаляют, тогда как во втором примере, который справа, проверка профилей показала положительный результат, и поэтому ограничивающий блок (bb) считается верным обнаружением.

Ограничивающий блок (bb), который не удаляют, считается верным обнаружением.

Следовательно, способ согласно настоящему изобретению делает возможным обнаружение определенных движущихся объектов, пусть даже маленьких.

Кроме того, поскольку он может быть осуществлен путем выбора видеозаписи, полученной посредством движущейся камеры, в качестве его начальной точки, это позволяет делать записи возле движущегося объекта и, следовательно, делает возможным обнаружение элементов, которые действительно представляют интерес.

Изобретение относится к способу обнаружения движущихся объектов. Заявлен способ обнаружения движущихся объектов, включающий следующие этапы, на которых: извлекают по меньшей мере одно первое изображение (f1) и по меньшей мере одно второе изображение (f2) из видеозаписи подвергаемого наблюдению пространства; обнаруживают угловые точки на первом изображении (f1) и на втором изображении (f2); с помощью обнаруженных точек извлекают по меньшей мере один вектор признаков; определяют соответствующие точки на первом изображении (f1) и на втором изображении (f2); определяют гомографию для осуществления регистрации изображения между первым изображением (f1) и вторым изображением (f2); применяют искривление второго изображения (f2) на основании гомографии с получением искривленного второго изображения (f2_w); вычисляют разницу в отдельных пикселях между искривленным вторым изображением (F2_w) и первым изображением (f1) с обнаружением отличающихся пикселей; получают третье изображение (diff) путем сравнения второго искривленного изображения (F2_w) с первым изображением (f1); определяют ограничивающий блок (bb) в третьем изображении (diff) для каждой группы соседних пикселей; вычисляют оптический поток на основании первого изображения (f1) и искривленного второго изображения (f2w); извлекают из оптического потока матрицу (mag), соответствующую величине оптического потока для каждого ограничивающего блока (bb), наложенного на третье изображение (diff), проверяют, превышает ли величина оптического потока обнаруженной группы пикселей среднюю величину окружающих пикселей; удаляют ограничивающий блок (bb), если величина оптического потока не превышает среднюю величину окружающих пикселей; для каждого ограничивающего блока (bb), наложенного на третье изображение (diff), применяют детектор blob-объектов; удаляют ограничивающий блок (bb) при отсутствии blob-объектов; и присваивают обнаружение объекта неудаленным ограничивающим блокам (bb). Технический результат - улучшить обнаружение движущихся объектов на видеозаписи и, таким образом, сделать его более надежным. 2 н. и 10 з.п. ф-лы, 6 ил.

1. Способ обнаружения движущихся объектов, включающий следующие этапы, на которых:

- из видеозаписи подвергаемого наблюдению пространства извлекают по меньшей мере одно первое изображение (f1) и по меньшей мере одно второе изображение (f2);

- обнаруживают угловые точки на первом изображении (f1) и на втором изображении (f2);

- с помощью обнаруженных точек извлекают по меньшей мере один вектор признаков; в частности, извлекают один вектор признаков для каждой обнаруженной точки;

- определяют соответствующие точки на первом изображении (f1) и на втором изображении (f2);

- определяют гомографию для осуществления регистрации изображения между первым изображением (f1) и вторым изображением (f2);

- применяют искривление второго изображения (f2) на основании гомографии с получением искривленного второго изображения (f2_w);

- вычисляют разницу в отдельных пикселях между искривленным вторым изображением (F2_w) и первым изображением (f1) с обнаружением отличающихся пикселей;

- путем сравнения второго искривленного изображения (F2_w) с первым изображением (f1) получают третье изображение (diff);

- определяют ограничивающий блок (bb) в третьем изображении (diff) для каждой группы соседних пикселей;

- вычисляют оптический поток на основании первого изображения (f1) и искривленного второго изображения (f2w);

- из оптического потока извлекают матрицу (mag), соответствующую величине оптического потока;

- для каждого ограничивающего блока (bb), наложенного на третье изображение (diff), проверяют, превышает ли величина оптического потока обнаруженной группы пикселей среднюю величину окружающих пикселей;

- удаляют ограничивающий блок (bb), если величина оптического потока не превышает среднюю величину окружающих пикселей;

- используют детектор blob-объектов для каждого ограничивающего блока (bb), наложенного на третье изображение (diff);

- удаляют ограничивающий блок (bb) при отсутствии blob-объектов; и

- присваивают обнаружение объекта неудаленным ограничивающим блокам (bb).

2. Способ по п. 1, отличающийся тем, что второе изображение (f2) следует за первым изображением (f1).

3. Способ по п. 1 или 2, отличающийся тем, что на этапе определения соответствующих точек на первом изображении (f1) и на втором изображении (f2) каждую обнаруженную точку на первом изображении (f1) посредством сегмента связывают с соответствующей точкой на втором изображении (f2).

4. Способ по пп. 1, 2 или 3, отличающийся тем, что перед определением ограничивающего блока (bb) применяют фильтр нижних частот для удаления высоких частот, присутствующих в третьем изображении (diff).

5. Способ по любому из предыдущих пунктов, отличающийся тем, что перед определением ограничивающего блока (bb) к третьему изображению (diff) применяют установку пороговых величин для выделения пикселей, отличающихся между вторым искривленным изображением (f2_w) и первым изображением (f1).

6. Способ по п. 5, отличающийся тем, что используют метод Оцу для автоматической установки пороговых величин гистограммы изображения.

7. Способ по любому из предыдущих пунктов, отличающийся тем, что оптический поток вычисляют с помощью метода Фарнбека.

8. Способ по любому из предыдущих пунктов, отличающийся тем, что для каждого ограничивающего блока (bb) вычисляют площадь прямоугольника и отношение сторон.

9. Способ по любому из предыдущих пунктов, отличающийся тем, что ограничивающий блок (bb) удаляют при наличии в нем более одного blob-объекта.

10. Способ по любому из предыдущих пунктов, отличающийся тем, что вдоль координатных осей (X, Y) для каждого неудаленного ограничивающего блока (bb) после использования детектора blob-объектов извлекают два профиля, проверяют выравнивание между двумя профилями и удаляют любой ограничивающий блок (bb) с невыровненными профилями.

11. Способ по любому из предыдущих пунктов, отличающийся тем, что видеозапись получают посредством движущегося устройства.

12. Машиночитаемый носитель, содержащий команды для выполнения этапов способа по любому из предыдущих пунктов.