Система анализа данных, считываемых с помощью фотоловушек, для оперативного дистанционного мониторинга природных территорий Российский патент 2023 года по МПК G06V10/20 G06V40/10 G06N3/67 G06Q50/02 

Изобретение относится к вычислительной технике для оперативного дистанционного мониторинга природных территорий и мониторинга биоразнообразия, а именно к средствам поиска, обнаружения и классификации животных, с помощью двухстадийной нейросетевой обработки данных, полученных с помощью фотоловушек, с возможностью дообучения под видовое разнообразие заповедника, что обеспечивает гибкость и масштабируемость системы для использования в разных природных зонах с различным видовым составом животных, с возможностью передачи предварительно обработанных данных на локальный сервер обработки данных, и может быть использовано для оснащения пунктов дистанционного наземного видеонаблюдения особо охраняемых природных территорий.

Из существующего уровня техники известны устройства, позволяющие отслеживать и анализировать местоположение диких животных, например, Малогабаритный комплекс мониторинга для определения местоположения подвижных объектов, патент RU 96276, позволяющий определять местоположение подвижных объектов (людей и животных) по сигналам космических навигационных систем и осуществлять их мониторинг с целью контроля и слежения за их перемещением, недостатком является необходимость отлова животного для установки на него персонального оборудования (трекера), а также для последующего обслуживания устройства мониторинга и замены батареек.

Отслеживание животных может осуществляться путем спутниковой съемки, например, способ получения информации об объектах на местности, патент RU 2341819. К недостаткам относится, сложность идентификации животных, существующие камеры имеют разрешение, которое позволяет технически увидеть только крупных животных, на фотографиях со спутников видны только контрастные по сравнению с окружающим рельефом животные. Плотный слой облаков сильно затрудняет или делает невозможным спутниковую съемку в некоторые дни или во время целых сезонов, например, в период дождей, невозможно отслеживание животных в лесных массивах.

Для отслеживания передвижений, определения численности диких животных, а также контроля за охотниками (браконьерами) и лесорубами, используются сети фотоловушек, представляющих собой видеокамеру с инфракрасной подсветкой и пассивным инфракрасным датчиком движения. При появлении объекта в зоне обнаружения датчика движения включается камера и, при необходимости, ИК-подсветка, осуществляется съемка. Например, известна Система мониторинга лесных массивов, патент RU 2574898. Система содержит распределенную по лесному массиву сеть управляемых видеокамер, установленных на вышках, снабженных передатчиками видеоданных, центральный сервер, локальные серверы. Локальные серверы выполнены с возможностью выделять статические изображения из полученных видеоданных с видеокамер и передавать изображения на центральный сервер, недостатком является невозможность поиска и классификации различных объектов на полученных изображениях. Известен Способ и система мониторинга территории с помощью управляемой видеокамеры, патент RU 2 636 745, в котором мониторинг территории осуществляют для обнаружения целевого объекта наблюдения при мониторинге территорий, недостатком является отсутствие возможности дообучения/переобучения классификатора для увеличения классов распознавания.

Известна Intelligent self-powered camera, патент US 10887507 B2, предназначенная для обнаружения и классификации животных c помощью камеры, которая срабатывает при наличии источника тепла. Изобретение предназначено для мониторинга дикой природы и предназначено для классификации определенных видов животных. Intelligent self-powered camera содержит серверную подсистему с модулем обучения детектора, базой общих размеченных данных, модулем обучения классификатора, пользовательскую подсистему с блоком классификации, блоком детектирования, блоком ввода входного изображения, блоком вывода результатов, недостатком является отсутствие модуля дообучения/переобучения с возможностью дообучения под видовое разнообразие заповедника. Для автоматической съемки животных в дикой природе используются фотоловушки, позволяющие проводить мониторинг больших участков природных территорий. Общим недостатком необходимости использования фотоловушек является необходимость накапливания и передачи избыточной информации. При активном использовании фотоловушек, объем данных, накапливаемый за год, может составлять более 200 Гигабайт только в пределах одной особо охраняемой природной территории. Передача всего массива сырых необработанных данных, содержащего большое количество избыточных снимков и видеозаписей, записей с избыточным качеством или разрешением, а также «пустых» файлов, которые были получены в результате ложного срабатывания фотоловушки, является низкоэффективным решением.

Заявляемая в качестве изобретения система для оперативного дистанционного мониторинга природных территорий обеспечивает расширение функциональных возможностей по поиску, обнаружению и классификации животных и мониторингу биоразнообразия животных, находящихся в естественной среде обитания, без необходимости установки на животное персонального трекера, с возможностью предварительной обработки данных с помощью локального сервера и возможностью дообучения/переобучения классификатора для увеличения классов распознавания.

Технической задачей изобретения является создание системы оперативного дистанционного мониторинга природных территорий, обеспечивающего расширение возможностей пунктов дистанционного наземного видеонаблюдения особо охраняемых природных территорий по поиску, обнаружению и классификации животных, и мониторингу биоразнообразия.

Техническим результатом является расширение функциональных возможностей по оперативному дистанционному мониторингу природных территорий за счет использования двухстадийной нейросетевой обработки данных, полученных с фотоловушек, что упрощает проведение экологического анализа для подсчета популяции конкретного вида животных, с возможностью дообучения под видовое разнообразие заповедника, что обеспечивает гибкость и масштабируемость системы для использования в разных природных зонах с различным видовым составом животных.

Решение технической задачи достигается тем, что система оперативного дистанционного мониторинга природных территорий содержит серверную подсистему (1), включающую базу общих размеченных данных (2), модуль обучения детектора (3) и модуль обучения классификатора (4); пользовательскую подсистему (5), включающую базу локальных размеченных данных (6), модуль дообучения/переобучения классификатора (7), блок детектирования (8), блок классификации (9), блок ввода входного потока изображений (10), блок вывода результатов (11) при этом база общих размеченных данных (1) имеет вход для ввода данных из блока вывода результатов (11), полученных в результате обработки, выход базы общих размеченных данных (2) соединен со входом в модуль обучения детектора (3) и входом в модуль обучения классификатора (4), первый вход в блок детектирования (8) предназначен для ввода входного потока изображений из блока ввода входного потока изображений (10), выход модуля обучения детектора (3) соединен со вторым входом блока детектирования (8), выход модуля обучения классификатора (4) соединен с первым входом блока классификации (9), выход блока детектирования (8) соединен со вторым входом блока классификации (9), выход базы локальных размеченных данных (6) соединен со входом модуля дообучения/переобучения классификатора (7), выход модуля дообучения/переобучения классификатора (7) соединен с третьим входом блока классификации (9), выход блока классификации предназначен для вывода результатов обработки с помощью блока вывода результатов (11).

Технический результат, достигаемый заявленной совокупностью признаков, заключается в обеспечении с помощью блока детектирования и блока классификации двухстадийной нейросетевой обработки фото и видеоданных, полученных с фотоловушек, при этом на конструктивное исполнение и состав позволяет использовать универсальный блок детектирования для разных заповедников и осуществляет дообучение блока классификации под видовое разнообразие определенного заповедника.

Сущность система оперативного дистанционного мониторинга природных территорий заключается в том, что она содержит следующие независимые элементы:

- серверная подсистема (1) для обработки и хранения большого объема данных в базе общих размеченных данных (2), полученных из разных особо охраняемых природных территорий с целью формирования обучающих выборок для модуля обучения детектора (3) и модуля обучения классификатора (4) для обеспечения возможности применения в различных особо охраняемых природных территориях, и универсального обучения:

- блока детектирования для обнаружения животных, людей и техники (без детальной классификации) на фотографиях,

- блока классификации для разделения найденных детектором животных на необходимое количество классов;

- пользовательская подсистема (5) для обработки и хранения базы локальных размеченных данных (6), содержащих данные о местном видовом разнообразии отдельной особо охраняемой природной территории, и формирования обучающих выборок для модуля дообучения/переобучения нейросетей с учетом классов, необходимых для особо охраняемой природной территории, а также последующая обработка фото- и видеофайлов, собранных в особо охраняемой природной территории:

- с помощью блока детектирования (8), обученного и адаптированного под местное видовое разнообразие, поиск и обнаружение в потоке или архиве фото- и видеоизображений животных,

- с помощью блока классифицирования (9), настроенного под непосредственные требования особо охраняемой природной территории классификация найденных животных.

Новым в предлагаемом техническом решении является использование универсального блока детектирования с возможностью дообучения/переобучения блока классификации под видовое разнообразие определенного заповедника, а также обеспечение подсчета животных одной видовой принадлежности.

Краткое описание чертежей

Фиг.1 – Схема системы оперативного дистанционного мониторинга природных территорий.

1. Серверная подсистема;

2. База общих размеченных данных;

3. Модуль обучения детектора;

4. Модуль обучения классификатора;

5. Пользовательская подсистема;

6. База локальных размеченных данных;

7. Модуль дообучения/переобучения классификатора

8. Блок детектирования;

9. Блок классификации;

10. Блок ввода входного потока изображений;

11. Блок вывода результатов.

Фиг. 2 – Пример результата обработки данных

Фиг. 3 – Пример регистрации

GT count – истинное количество особей на изображении,

Predicted count – предсказанное количество особей двухстадийной системой,

Corrected predicted count – скорректированное количество особей с помощью регистраций,

GT class – истинный класс на изображении,

Predicted class – предсказанный класс двухстадийной системой,

Time – время, когда было создано изображение.

Осуществление изобретения

Сущность заявляемого изобретения поясняется чертежами (фиг.1). Серверная подсистема (1) содержит общие предварительно размеченные данные на жестком носителе, полученные из разных особо охраняемых природных территорий, которые периодически пополняются за счет данных, полученных в результате обработки из блока вывода результатов (11). Для обучения блока детектирования (8) и блока классификации (9) использован подход подготовки данных, заключающийся в удалении изображений-дубликатов из выборки, помощью метода агломеративной кластеризации было выполнено разделение всей выборки на максимально непохожие кластеры с целью создания обучающих, валидационных и тестовых наборов данных.

Обеспечивается двухстадийная обработка фото- и видеоматериалов с фотоловушек. Графический интерфейс реализован в программном обеспечении на Avalonia UI, который может быть развернут на любой операционной системе (например, Windows, Linux, MacOS). На вход системы оперативного дистанционного мониторинга природных территорий подается изображение из блока ввода входного потока изображений (10), полученных из независимых фотоловушек. Единый универсальный блок детектирования (8) обеспечивает обнаружение на изображении объекта интереса (животное, человек, техника). Блок детектирования (8) выполнен на основе нейронной сети YOLOv5-l6. Объект выделяется рамкой и вырезается из изображения в виде квадратного изображения так, чтобы он находился ровно в центре квадрата. Если на исходной фотографии детектором обнаружено несколько объектов, то последовательно вырезается каждый из найденных объектов. Новое изображение подается в блок классификации (9), который выдает результат обработки (11) в виде исходной фотографии с выделенным объектом и подписанным классом объекта (фиг. 2). Блок классификации (9) выполнен на основе нейронной сети ResNeSt-101e. Чтобы корректировать количественные и качественные предсказания двухстадийного нейросетевого подхода используется функционал, позволяющий автоматически создавать регистрации, объединяющие фотографии в одно событие в рамках определенного интервала времени для каждого вида животного. С помощью регистраций ведется подсчет количества объектов на каждой фотографии, учитывая информацию из последовательности сделанных изображений. В одну регистрацию включаются фотографии животных одного вида, полученных с одной фотоловушки, если время между фотографиями составляет менее 30 минут (фиг. 3).

В примере, представленном на фиг. 3, событие фотоловушки состоит из 6 фотографий, которые были сделаны в течение 2 минут. Координата времени позволяет объединять фотографии в группы, полагая, что на них в рамках одной регистрации находятся одни и те же особи.

В процессе работы происходит взаимодействие между серверной подсистемой (1) и пользовательской подсистемой (5). С помощью серверной подсистемы (1) осуществляется подготовка и хранение обучающих выборок, а также первичное обучение блока детектирования (8) с помощью модуля обучения детектора (3) и обучение блока классификации (9) с помощью модуля обучения классификатора (4).

Пользовательская подсистема (5) содержит модуль дообучения/переобучения классификатора (7), который с помощью базы локальных размеченных данных (6) позволяет настроить блок классификации (9) под местное видовое разнообразие, заданное требованиями заповедника.

На выходе в зависимости от требований пользователя формируются данные автоматической разметки, представляющие собой, файлы формата *.json, в которых для каждой фотографии указаны классы найденных объектов, количество особей на изображении, время, в которое было создано изображение, а также ограничивающие объекты рамки, отображающие расположение объектов в пределах кадра (фиг. 3), или архив данных ID*.zip (ID однозначно определяет, какая из фотоловушек является источником данных, или архив данных, содержащий фотографии животных одного вида (фиг. 2) для передачи данных на локальный сервер обработки данных.

Изобретение относится к вычислительной технике для оперативного дистанционного мониторинга природных территорий и мониторинга биоразнообразия, а именно к средствам поиска, обнаружения и классификации животных, с помощью двухстадийной нейросетевой обработки данных, полученных с помощью фотоловушек, с возможностью дообучения под видовое разнообразие заповедника. Техническим результатом является расширение функциональных возможностей по оперативному дистанционному мониторингу природных территорий за счет использования двухстадийной нейросетевой обработки данных, полученных с фотоловушек. Технический результат достигается тем, что система для оперативного дистанционного мониторинга природных территорий содержит в своем составе серверную подсистему, включающую базу общих размеченных данных, модуль обучения детектора и модуль обучения классификатора; пользовательскую подсистему, включающую базу локальных размеченных данных, модуль дообучения/переобучения классификатора, блок детектирования, блок классификации, блок ввода входного потока изображений, блок вывода результатов. 3 ил.

Система анализа данных, считываемых с помощью фотоловушек, содержащая в своем составе серверную подсистему (1), включающую базу общих размеченных данных (2), модуль обучения детектора (3) и модуль обучения классификатора (4); пользовательскую подсистему (5), включающую базу локальных размеченных данных (6), модуль дообучения/переобучения классификатора (7), блок детектирования (8), блок классификации (9), блок ввода входного потока изображений (10), блок вывода результатов (11), при этом база общих размеченных данных (1) имеет вход для ввода данных из блока вывода результатов (11), полученных в результате обработки, выход базы общих размеченных данных (1) соединен со входом в модуль обучения детектора (3) и входом в модуль обучения классификатора (4), первый вход в блок детектирования (8) предназначен для ввода входного потока изображений из блока ввода входного потока изображений (10), выход модуля обучения детектора (3) соединен со вторым входом блока детектирования (8), выход модуля обучения классификатора (4) соединен с первым входом блока классификации (9), выход блока детектирования (8) соединен со вторым входом блока классификации (9), выход базы локальных размеченных данных (6) соединен со входом модуля дообучения/переобучения классификатора (7), выход модуля дообучения/переобучения классификатора (7) соединен с третьим входом блока классификации (9), выход блока классификации предназначен для вывода результатов обработки с помощью блока вывода результатов (11), при этом блок детектирования (9) является универсальным для всех заповедников, а блок классификации выполнен с возможностью дообучения под видовое разнообразие определённого заповедника, с возможностью передачи предварительно обработанных данных на локальный сервер обработки данных.