Способ подготовки наборов видео для машинного анализа для персональной идентификации собак Российский патент 2024 года по МПК A01K11/00 G06F17/00 

Изобретение относится к области обработки изображений и оптическому распознаванию символов.

Машинный анализ при помощи глубоких нейронных сетей изображений морд животных позволяет проводить идентификацию животных до конкретной особи (персональная идентификация) на фотографируемых объектах. Следовательно, применение технологий автоматического машинного анализа изображений и определение конкретных особей животных позволяет создать базу для интеллектуализации деятельности соответствующих хозяйств, зоотехников, ветеринаров и т.п., снизить уровень ошибок из-за недостаточной квалификации специалистов, поднять технологическую культуру персонала, и, как следствие, увеличить производительность труда.

Технологии распознавания изображений в автоматическом режиме глубокими нейронными сетями на настоящее время являются лидером по качеству и устойчивости функционирования среди подобных алгоритмов машинного зрения. Но разработка нейросетевых алгоритмов подразумевает применение соответствующих наборов данных для обучения и тестирования сетей. Данная методика как раз и содержит методические рекомендации, направленные на формирование соответствующих датасетов.

Известна методика подбора фотографий - Способ индивидуальной идентификации особей (RU 2520035 С1, 20.06.2014), в котором фотографируют особи и по полученным снимкам составляют банк данных.

Недостатком известной методики является невозможность создания подробной базы данных для идентификации животных по морде.

Известна методика подготовки наборов фотографий для машинного анализа для персональной идентификации животных по морде. Известная методика подготовки наборов фотографий для машинного анализа для персональной идентификации животных по морде осуществляет фотографирование животных крупным планом: полностью морду и частично шею, при этом морды животных размещают в фокусе, съемку проводят в разных ракурсах - основные ракурсы: анфас, слева, справа. С каждого животного осуществляют не менее 30 фото, разделяя между всеми фотоаппаратами, смартфонами и ракурсами; снимают циклом: сначала фото всех животных одним фотоаппаратом, затем - другим; изображения формируют при хорошем освещении, с правильной цветопередачей; экспозицию настраивают по телу (морде) животного, фотографирование осуществляют с приоритетом выдержки не менее 1/125 с. В качестве экспозамера и фокусировки используют центральный, одноточечный замер; для каждого животного для всех фото фиксируют его табельный номер и кличку; полученные фото в цифровом формате в машиночитаемом виде сохраняют на носителе данных (RU 2754095 С1, 26.08.2021).

Недостатком известного метода является то, что использование видео материалов, в отличие от фотографий в патенте № 2754095, позволяет исследователю получить больше информации об объекте съемки и уменьшить вероятность использования кадров со смазами, плохими ракурсами и прочих отклонений от целевых характеристик. А при съемке собак надо учитывать, что они очень подвижные, поэтому такой подход позволяет в целом повысить качество собранных данных, т.к. не требует получения идеальных фотокадров (в отличие от патента № 2754095), а позволяет выбрать на втором этапе разметке нужные кадры в хорошем качестве и нужном ракурсе.

Технической задачей изобретения является создание способа, позволяющего подготавливать наборы видео для машинного анализа для персональной идентификации собак.

Техническим результатом предложенного решения является создание компактных и эффективных наборов данных, позволяющих ускорить обучение нейронных сетей, увеличить обобщающую способность и устойчивость функционирования нейронных сетей.

Технический результат достигается тем, что способ подготовки наборов видео для машинного анализа для персональной идентификации собак включает видеосъемку, сбор данных в три этапа: сбор и сортировка видео материала; разметка отснятого материала для определения ракурса съемки и фильтрации нецелевых изображений, смазанных и неудачных кадров; разметка отснятого и отфильтрованного материала для детектирования целевых объектов: корпус собаки, морда собаки, нос собаки; при этом видеосъемку производят в три этапа: съемка носа крупным планом, съемка морды крупным планом и съемка корпуса, причем в процессе съемки ведется реестр и анкета для однозначной идентификации собак в базе данных, отснятый материал переносят на персональный компьютер и сортируют по папкам согласно строгой иерархии, а разметку кадров для фильтрации и решения задачи классификации ракурсов съемки осуществляют отдельно для корпуса, морды и носа, разметку кадров для решения задачи детектирования и идентификации проводят путем выделения на кадрах в прямоугольники целевых объектов: корпуса, морды и носа, полученные видео в цифровом формате сохраняют на носителе данных.

На фиг.1 представлены примеры съемки корпуса собаки.

На фиг.2 представлены примеры съемки головы собаки.

На фиг.3 представлены примеры съемки носа животного крупным планом.

На фиг.4 представлены примеры кадров в профиль.

На фиг.5 представлены примеры кадров анфас.

На фиг.6 представлены примеры кадров затылок.

На фиг.7 представлены примеры кадров корпус перед.

На фиг.8 представлены примеры кадров корпус сбоку.

На фиг.9 представлены примеры кадров корпус зад.

На фиг.10 представлены примеры нецелевых кадров для корпуса.

На фиг.11 представлены примеры размеченных кадров.

Цель данного способа - описание процесса подготовки наборов видео для машинного анализа с целью персональной идентификации собак (далее Методика). Сбор и подготовка данных проводится в три этапа:

1. Сбор и сортировка видео материала, согласно методике подготовки наборов видео для машинного анализа с целью персональной идентификации собак.

2. Разметка отснятого материала с целью определения ракурса съемки и фильтрации нецелевых изображений, смазанных и неудачных кадров.

3. Разметка отснятого и отфильтрованного материала с целью детектирования целевых объектов: корпус собаки, морда собаки, нос собаки.

Представленная Методика составлена в достаточно подробном виде. В силу чего, она может вызывать «ощущение» сложностей при реализации протоколов сбора данных. На самом деле, подробное изложение направлено на минимизацию ошибок и упрощение процесса формирования требуемых наборов данных.

В Методике введены следующие функциональные роли:

• Оператор - человек производящий съемку видео;

• Разметчик - человек осуществляющий разметку;

• Верификатор - человек осуществляющий контроль данных.

ЭТАП 1.1. Процесс съемки собак

Подготовка места съемки.

Необходимо провести подготовку места съемки.

1. Освободить пространство для перемещения вокруг собаки.

2. Проверить достаточность освещения, добавить свет.

3. Поставить стол, на котором лучше снимать животное. Требования к технике и ее подготовка.

1. Снимать необходимо на различную фототехнику. Каждое животное должно быть снято на два устройства: телефон и специализированный фотоаппарат/видеокамеру. В специализированной технике должна быть настройка выдержки съемки видео не выше 1/400 с, значение ISO не выше 100, число кадров в секунду - 30.

2. Техника должна записывать в exif данные видео.

3. Вотермарки с датой и временем, иные «значки» на видео - недопустимы.

4. В настройках телефона(фотоаппарата) выставьте максимальное качество съемки видео (достаточным для того, чтобы можно было распознать рисунок(отпечаток) носа собаки) и отношение сторон 3:4.

5. Проверьте память устройства на предмет, достаточного для новых файлов, свободного места.

6. Протрите объектив камеры.

Заполнение анкеты

Анкета должна быть заполнена одним из Операторов до начала съемки.

Содержание анкеты должно отражать следующую информацию:

• Дата съемки - дата проведения съемки собаки

• Фамилия ИО Фотографа - Фамилия ИО фотографов через запятую

• Место съемки - название клиники(приюта)

• Адрес съемки - адрес клиники(приюта)

• ФИО Владельца - ФИО Владельца полностью. При отсутствии владельца, указывать «Нет владельца»

• Адрес проживания - адрес проживания собаки

• Порода - Порода собаки, если нет, указывать «Беспородная»

• Идентификационный номер - Идентификационный номер собаки при наличии

• Кличка - Кличка собаки

• Возраст, лет - точный возраст (до месяцев)

• Комментарий возраст - указать «примерно», если разброс больше 1 года

• Размер собаки - размеры разбиваются на 5 классов

1. очень маленькие (до 5 кг и до 30 см)

2. маленькие (5-10 кг, 30-40 см)

3. средние (10-20 кг, 40-56 см)

4. большие (20-30 кг, 56-65 см)

5. очень большие (от 50 кг, от 60 см).

• Комментарий - дополнительная информация на усмотрение оператора/фотографа

После заполнения анкеты ее необходимо сфотографировать на оба устройства до начала съемки. Это нужно для дальнейшей идентификации принадлежности видео к конкретному животному.

Съемка животных

Каждый из нижеперечисленных этапов съемки требуется снимать в разных ракурсах. Производится съемка объекта по некоторой сфере, центром которой является этот объект. Съемка животных производится в 3 этапа. Последовательность этапов определить по месту, как удобно.

1. Корпус животного целиком. При этом важно чтобы собака полностью попадала в кадр и занимала большую часть кадра.

Требуется отснять 1 или несколько видео животного по кругу. Основное время корпус животного (с головой) должен быть в кадре. Допускается, что оно иногда будет отворачиваться и отбегать, но если это происходит часто, то время съемки нужно увеличить. Съемка проводится предпочтительно стоячей собаки. Собака может лечь или сесть, но не более нескольких секунда видео. Съемка корпуса может быть осуществлена одновременно Оператором 1 и 2, при условии, что третий человек держит собаку. В сумме не менее 2х минут материала, с целевыми кадрами. Примеры съемки корпуса собаки представлены на фиг.1.

2. Голова животного крупным планом

Требуется 1 или несколько видео съемки морды крупным планом с разных ракурсов, в том числе затылок. Основные ракурсы, которые необходимо поймать это анфас и профиль, на них нужно уделить большее время. В сумме 2 минуты материала с целевыми кадрами. Примеры съемки головы собаки представлены на фиг.2.

3. Нос животного крупным планом.

Требуется 1 или несколько видео с носом собаки крупно, (чтобы прослеживался рисунок носа). Нос необходимо фиксировать руками. В сумме 1 минута видео с целевыми кадрами. Примеры съемки носа животного крупным планом представлены на фиг.3.

Требования к проведению съемки

1. Объекты съемки (собака, морда, нос) должны быть в фокусе, без постоянного «смаза». Если собака постоянно в движении, то время съемки всех этапов необходимо увеличить, в соответствии со степенью подвижности животного.

2. Снимать можно как в горизонтальной, так и в вертикальной ориентации.

3. Видео должны быть максимально разнообразны: разные животные, ракурс съемки, освещение, экспозиция, фон.

4. Снимаемые собаки должны быть различного вида, а именно отличаться: размерами, окрасом, породой, возрастом и поведением.

5. Недопустимо появление в кадре собак, отличных от целевого объекта съемки, (т.е. других животных)

6. Недопустимо появление в кадре изображений других собак, например, постеры на стенах, изображения на футболках, перегородки с фотографиями собак, пачка корма с изображением собак и т.д.

7. Допустимо периодическое частичное экранирование объекта съемки элементами клетки или рук. Но в этом случае время съемки и вариативность ракурсов необходимо увеличить.

8. Съемка должна осуществляться с применением различных устройств (телефоны, фотоаппараты) на каждом животном, с максимальным для устройства качеством снимка, достаточным для того, чтобы можно было распознать рисунок (отпечаток) носа собаки.

9. Видео должны формироваться при хорошем освещении, с правильной цветопередачей, без явных шумов.

10. Видео должны быть отсняты с максимально вариативными условиями съемки. Должны варьироваться: время суток, освещение (с учетом пункта 8), локация и обстановка.

11. Съемку должны производить два человека с двух различных устройств. Не допускается съемка одним человеком с двух различных устройств. Это необходимо, чтобы убрать влияние освещения и/или иных условий для конкретных животных.

12. Категорически не допускается дифференцирование (выделение) видео каких-либо животных по признакам фона, и/или иным подобным условиям и параметрам съемки.

Отклонение от вышеописанной методики съемки приведет к отказу в приемке отснятого видеоматериала. Допустима до съемка животного при наличии ошибок.

Заполнение реестра

В процессе съемки обязанностью исполнителя является заполнение Анкеты и занесение данной информации в реестр.

В реестр входит следующая информация:

• ID - идентификатор собаки в реестре

• Дата съемки - дата проведения съемки собаки

• Фамилия ИО Фотографа - Фамилия ИО фотографов через запятую

• Место съемки - название клиники(приюта)

• Адрес съемки - адрес клиники(приюта)

• ФИО Владельца - ФИО Владельца полностью. При отсутствии владельца указывается «Нет владельца»

• Адрес проживания - адрес проживания собаки

• Порода - Порода собаки, если нет, указывается «Беспородная»

• Идентификационный номер - Идентификационный номер собаки при наличии

• Кличка - Кличка собаки

• Возраст, лет - точный возраст (до месяцев)

• Комментарий возраст - Пишем примерно, если разброс больше 1 года

• Размер собаки - размеры разбиваются на 5 классов

6. очень маленькие (до 5 кг и до 30 см)

7. маленькие (5-10 кг, 30-40 см)

8. средние (10-20 кг, 40-56 см)

9. большие (20-30 кг, 56-65 см)

10. очень большие (от 50 кг, от 60 см).

• Комментарий - дополнительная информация на усмотрение оператора/фотографа

Каждый оператор обязан проверить реестр на предмет наличия животного, которого он хочет внести. Если животное уже внесено, то Оператор должен добавить свое Фамилию ИО в список ФИО Фотографа через запятую. В обязанности исполнителя входит поддержание реестра в актуальном виде. Собаки, записанные в реестр, должны быть уникальными.

Сортировка отснятых видео Верификатору

Отснятый материал необходимо перенести на ПК и разложить по папкам (сортировка данных) согласно следующим пунктам.

1. Какая-либо обработка или конвертация видео - запрещена.

2. Для каждой собаки (для всех видео) необходимо зафиксировать ее идентификационный номер (должно совпадать с данными реестра)

3. Видеофайлы основного набора данных размещаются в папках, организованных по следующей структуре:

• И.О. Фамилия Фотографа/ ГГГГ.ММ.ДД (съемки)/Место съемки/ И.О. Фамилия Владельца /Порода собаки/Идентификационный номер кличка/ Ракурс съемки/Видео файлы

• Фотография с анкетой помещается в папку Идентификационный номер кличка.

• Названия Ракурсов съемки фиксированы: Корпус, Морда, Нос Отправка отснятого материала

1. Отсортированные видео необходимо выкладывать в облако, в виде zip архива (без сжатия), это необходимо, чтобы облака не пережимали видео и снижали качество.

2. Zip архив создается каждым Оператором отдельно за дату съемки и помещается в папку в облаке с ФИО Оператора.

3. Отправка видео через мессенджеры, фотослужбы, соц. сети, дисковые приложения и т.п. - запрещена.

4. Объединенный и обновленный реестр выкладывается в облако под названием «Реестр за период ГГГГ.ММ.ДД - ГГГГ.ММ.ДД.xlsx»

5. По факту копирования очередной порции данных на облако, присылается письмо на почтовый ящик Верификатора.

Отклонение от вышеописанной методики заполнения реестра, сортировки и отправки отснятого материала приведет к отказу в приемке данных Верификатором. Допустимо исправление ошибок и повторная отправка данных.

ЭТАП 1.2. Разметка кадров с целью фильтрации и решения задачи классификации.

Разметкой кадров является сортировка кадров по папкам с названиями классов для каждой собаки. Разметкой занимаются Разметчики (Оператор может являться Разметчиком).

Разметка кадров морды

Сортировка фотографий морды осуществляется по следующим классам:

1. Профиль

2. Анфас

3. Затылок

4. Остальные целевые кадры

5. Смаз и нецелевые кадры

Примеры кадров при съемке морды. Целевым кадром является кадр, в котором морда животного помещается полностью вместе с ушами и отсутствует смаз.

1. Профиль. Примеры кадров в профиль представлены на фиг.4.

2. Анфас. Примеры кадров в анфас представлены на фиг.5.

3. Затылок. Примеры кадров затылка представлены на фиг.6 (не видно глаз, видно затылок).

4. Остальные целевые кадры

5. Смаз и нецелевые кадры

• Срезана морда

• Должна быть видна вся голова

• Смаз

• В кадре присутствует изображение другого животного Разметка кадров носа

Сортировка фотографий НОСА осуществляется по следующим классам:

1. Нос

2. Смаз и нецелевые кадры Разметка кадров корпуса

Сортировка фотографий Корпуса осуществляется по следующим классам:

1. Перед. Примеры кадров корпус перед представлены на фиг.7.

2. Бок. Примеры кадров корпус бок представлены на фиг.8.

3. Спина/зад. Примеры кадров корпус спина/зад представлены на фиг.9.

4. Нецелевые. Примеры нецелевых кадров представлены на фиг.10.

Отправка размеченного материала Верификатору

• Размеченные папки (с сохранением иерархии папок) архивируются в zip архив. Изначальная иерархия папок должна быть сохранена.

• Zip архив создается каждым Оператором отдельно за дату съемки и помещается в папку в облаке с ФИО Оператора в Папке «Разметка этап 1.2».

• Отправка видео через мессенджеры, фотослужбы, соц. сети, дисковые приложения и т.п.- запрещена.

• По факту копирования очередной порции данных на облако, присылается письмо на почтовый ящик Верификатору.

ЭТАП 2. Разметка кадров с целью решения задачи детектирования и идентификации.

Разметка кадров

Разметкой кадров является выделение на кадре целевых объектов: корпуса, морды и носа. Возможно наличие нескольких целевых объектов (корпус, нос, морда) на одном кадре.

Ниже приведены примеры разметки собак.

• Красным прямоугольником выделен корпус. В красный квадрат должна входить вся собака целиком от носа до кончиков ушей и хвоста, плюс небольшой зазор.

• Зеленым прямоугольником выделяется голова. В зеленый квадрат должна входить вся голова целиком, включая язык, кончики ушей, шерсть на «щеках» и т.д.

• Желтым квадратом выделен нос целиком. Условием выделения носа является видимость хотя бы одной ноздри.

Если корпус или морда представлен на фотографии не полностью или занимает всю фотографию, то рамка должна проходить по границам изображения. Примеры размеченных кадров представлены на фиг.11.

Отправка размеченного материала Верификатору

• Размеченные папки (с сохранением иерархии папок) архивируются в zip архив. Изначальная иерархия папок должна быть сохранена.

• Zip архив создается каждым Оператором отдельно за дату съемки и помещается в папку в облаке с ФИО Оператора в Папке «Разметка этап 2».

• Отправка видео через мессенджеры, фотослужбы, соц. сети, дисковые приложения и т.п.- запрещена.

• По факту копирования очередной порции данных на облако, присылается письмо на почтовый ящик Верификатору.

Изобретение относится к области обработки изображений и оптическому распознаванию символов. Осуществляют видеосъемку, сбор данных в три этапа: сбор и сортировка видеоматериала, разметка отснятого материала для определения ракурса съемки и фильтрации нецелевых изображений, смазанных и неудачных кадров, разметка отснятого и отфильтрованного материала для детектирования целевых объектов: корпус собаки, морда собаки, нос собаки. Видеосъемку производят в три этапа: съемка носа крупным планом, съемка морды крупным планом и съемка корпуса. В процессе съемки ведется реестр и анкета для однозначной идентификации собак в базе данных. Отснятый материал переносят на персональный компьютер и сортируют по папкам согласно строгой иерархии. Разметку кадров для фильтрации и решения задачи классификации ракурсов съемки осуществляют отдельно для корпуса, морды и носа. Разметку кадров для решения задачи детектирования и идентификации проводят путем выделения на кадрах в прямоугольники целевых объектов: корпуса, морды и носа. Полученные видео в цифровом формате сохраняют на носителе данных. Обеспечивается создание компактных и эффективных наборов данных, позволяющих ускорить обучение нейронных сетей, увеличить обобщающую способность и устойчивость функционирования нейронных сетей. 11 ил.

Способ подготовки наборов видео для машинного анализа для персональной идентификации собак, характеризующийся тем, что осуществляют видеосъемку, сбор данных в три этапа: сбор и сортировка видеоматериала, разметка отснятого материала для определения ракурса съемки и фильтрации нецелевых изображений, смазанных и неудачных кадров, разметка отснятого и отфильтрованного материала для детектирования целевых объектов: корпус собаки, морда собаки, нос собаки, при этом видеосъемку производят в три этапа: съемка носа крупным планом, съемка морды крупным планом и съемка корпуса, причем в процессе съемки ведется реестр и анкета для однозначной идентификации собак в базе данных, отснятый материал переносят на персональный компьютер и сортируют по папкам согласно строгой иерархии, а разметку кадров для фильтрации и решения задачи классификации ракурсов съемки осуществляют отдельно для корпуса, морды и носа, разметку кадров для решения задачи детектирования и идентификации проводят путем выделения на кадрах в прямоугольники целевых объектов: корпуса, морды и носа, полученные видео в цифровом формате сохраняют на носителе данных.