Способ подготовки набора фотографий для машинного анализа для обнаружения и классификации патологий сельскохозяйственных культур Российский патент 2022 года по МПК G01C11/00 A01G7/00 G06T1/40 

Изобретение относится к области обработки изображений и оптическому распознаванию символов.

Машинный анализ при помощи глубоких нейронных сетей изображений сельскохозяйственных культур (отдельных частей) позволяет обнаруживать и классифицировать их патологии, при условии проявления специфичной симптоматики патологий на фотографируемых объектах. Следовательно, применение технологий автоматического машинного анализа изображений и определение растений с заболеваниями и идентификация собственно заболеваний позволяет создать базу для интеллектуализации деятельности агрономов и фитопатологов, снизить уровень ошибок из-за недостаточной квалификации специалистов, и, как следствие, увеличить производительность труда.

Технологии распознавания изображений в автоматическом режиме глубокими нейронными сетями на настоящее время являются лидером по качеству и устойчивости функционирования среди подобных алгоритмов машинного зрения. Но разработка нейросетевых алгоритмов подразумевает применение соответствующих наборов данных для обучения и тестирования сетей. Данная методика как раз и содержит методические рекомендации, направленные на формирование соответствующих датасетов.

Известна методика подбора фотографий - Способ индивидуальной идентификации особей (RU 2520035 С1, 20.06.2014), в котором фотографируют особи и по полученным снимкам составляют банк данных.

Недостатком известной методики является невозможность создания подробной базы данных для идентификации заболеваний растений.

Технической задачей изобретения является создание способа, позволяющего выявлять заболевания сельскохозяйственных растений и своевременно их устранять.

Техническим результатом предложенного решения является возможность выявления заболевания сельскохозяйственных растений, своевременное устранение заболевания и сохранения урожая, минимизация ошибок и упрощение процесса формирования требуемых наборов данных для нейросетевых алгоритмов.

Технический результат достигается тем, способ подготовки набора фотографий для машинного анализа для обнаружения и классификации патологий сельскохозяйственных культур, заключающийся в определении способа фотографирования, формировании основного набора данных и связывании этих данных с сельскохозяйственными культурами и их заболеваниями, а именно:

если основные признаки заболевания концентрируются на отдельных частях растения, то фотографируют эти отдельные части растения, если характер заболевания определяется по всему растению, то фотографируют растение целиком, если это микропоражения, то фотографируют через лупу или микроскоп четко структурированные фрагменты конкретных частей растений;

при этом определяют признаковую область поражения листа, плода, ягоды, куста, которая должна занимать не менее 50-60% изображения, вторая часть изображения должна включать информативное окружение - здоровые участки при их наличии;

делают фотографии здоровых растений и их частей;

причем фотографии здоровых экземпляров должны соответствовать по масштабу и ракурсам фотографиям экземпляров с заболеваниями;

съемку производят в течение всего фенологического цикла, чтобы фотографии отражали все фенологические фазы развития растений;

при этом режим съемки в фототехнике устанавливают на «макро», режим фокусировки - на одноточечный, параметры разрешения снимка и его качество выставляют на максимум;

формируют основной набор данных, содержащий фотографии заболевших и здоровых экземпляров, служащий для формирования обучающих и тестовых выборок данных;

области произрастания фотографируемых растений разделяют на однозначно идентифицируемые, гомогенные;

фотографии с патологией разделяют на категории по активности заболевания,

фотографии с патологией разделяют по проведенному лечению,

фотографии основного набора данных размещают в папках, организованных в иерархическую структуру;

съемки связывают с координационной привязкой;

набор данных с фотографиями связывают с погодно-климатическими данными, релевантными участкам съемки;

полученные фотографии в цифровом формате в машиночитаемом виде сохраняют на носителе данных.

Предложенный способ осуществляется следующим образом.

Способ составлен в достаточно подробном виде и направлен на минимизацию ошибок и упрощение процесса формирования требуемых наборов данных.

1. Способ фотографирования зависит от болезни и культуры:

a. Если основные признаки заболевания концентрируются на отдельных частях растения (листья, стебель, корень, плод, и т.п.), то необходимо фотографировать именно отдельные (конкретные) части растения (листья, стебель, корень, плод).

b. Если характер заболевания определяется по всему растению, то фотографируется растение целиком.

c. Если это микропоражения - то через лупу или микроскоп, но также четко структурированные фрагменты (лист, стебель, корень, плод, и т.п.).

2. Требования к фотографиям:

a. Признаковая область (поражения листа, плода, ягоды, куста) должна занимать не менее 50-60% изображения, вторая половина должна включать в себя информативное окружение - здоровые участки (при их наличии).

b. Признаковая область должна быть сфотографирована максимально «в анфас» и иметь хорошую фокусировку (можно использовать микро-штативы, убираемые контрастные мирры для фокусировки).

c. Изображения должны формироваться при хорошем освещении, с правильной цветопередачей, без шумов.

d. Желательно, чтобы фототехника писала в exif данные фотокадра: дальность фокусировки до объекта; геокоординаты.

e. Режим съемки в фототехнике должен быть установлен на «макро», режим фокусировки - на одноточечный (центральная точка), параметры разрешения снимка и его качество должны быть выставлены на максимум.

f. Применение цифрового зума (увеличения) допускается только в крайних случаях.

g. Вотермарки с датой и временем, иные «значки» на фото недопустимы.

h. Какая-либо обработка фотографий запрещена.

i. Фото здоровых экземпляров должны примерно соответствовать по масштабу и ракурсам (направлениям съемки) фото экземпляров с заболеваниями.

j. Фото должны быть максимально разнообразны: разные растения, ракурс съемки, освещение, экспозиция, фон.

k. Категорически не допускается дифференцирование фото здоровый/заболевание - по признакам фона, и/или иным подобным условиям и параметрам съемки.

l. Настоятельно рекомендуется перед началом серийной полевой съемки произвести тренировочные фотосеты (около 5-10-и фото) с растениями (их частями, другими объектами) близкими по размерам и «фактуре» растениям целевой группы. Причем должна использоваться штатная фототехника и штатные фотографы (которые в дальнейшем будут осуществлять серийную полевую съемку). Полученные фотографии необходимо направить соответствующим специалистам (см. пункты 5.g-5.g) для оценки и выработки рекомендаций по фототехнике и/или манере съемки.

3. Требования к основному набору фотоданных:

a. Набор данных должен содержать как фото заболевших, так и здоровых экземпляров.

b. Основной набор данных служит для формирования обучающих и тестовых выборок данных.

c. Для начала работы можно сделать:

i. 1000-2000 фото здоровых растений по каждой части растения (листья, стебель, корень, плод, и т.п.); Необходимо стремиться к максимальному числу различных растений;

ii. 1500-2600 - заболевших, по каждому заболеванию (комбинации заболеваний), и по каждой части растения (листья, стебель, корень, плод); Необходимо стремиться к максимальному числу различных растений;

iii. кроме того, необходимо сделать около 1000-1500 фотографий нецелевых объектов (небо, земля, вода, люди, трава, деревья, другие растения, и т.п.) - они не должны содержать крупным планом и в фокусе изображения целевой культуры или ее частей; Необходимо стремиться к максимальному числу различных объектов.

d. Область произрастания фотографируемых растений (поле, сад, теплица и т.п.) должна быть разделена на однозначно идентифицируемые, гомогенные по тем или иным признакам, Участки (не менее 6 штук), вплоть до отдельных растений в особых случаях.

e. Фотографии с патологией должны разделяться на категории по активности заболевания (Активно, Вылечено/Купировано, и т.п.). Это разделение в первую очередь связано с отсутствием/наличием хим. защиты и его эффективностью.

f. Фотографии основного набора данных размещаются в папках, организованных по следующей структуре:

Культура / Объект (Лист, Плод, Корень, и т.п.) / Заболевание / Активность Заболевания / Участок / ГГГГ.ММ.ДД (съемки) / файлы

Культура / Объект (Лист, Плод, Корень, и т.п.) / Норма / Участок / ГГГГ.ММ.ДД (съемки) / файлы

Культура / Мусор / Участок / ГГГГ.ММ.ДД (съемки) / файлы

g. Не допускается в одной папке смешивать различные объекты (Лист, Плод, Корень, и т.п.). Если характер поражения и композиция съемки таковы, что в кадры попадают разные объекты с поражениями (например, Лист и Плод), то это должно быть оговорено (отмечено) специально.

4. Требования к валидационному набору фотоданных:

a. Набор данных должен содержать как фото заболевших, так и здоровых экземпляров.

b. Валидационный набор данных служит для финальной валидации алгоритмов.

c. Валидационный набор данных требует формирования по ряду растений - серий фотографий одного растения, гомогенных по части растения (листья, стебель, корень, плод, и т.п.), но при этом ракурс съемки и сами части растения должны различаться (допускается перекрытие фотографий не более чем на 50%).

d. Для начала работы можно отснять 60-80 здоровых растений по каждой части растения (листья, стебель, корень, плод, и т.п.) и 60-80 - заболевших, по каждому заболеванию (комбинации заболеваний), и по каждой части растения (листья, стебель, корень, плод).

e. Область произрастания фотографируемых растений (поле, сад, теплица и т.п.) должна быть разделена на однозначно идентифицируемые гомогенные по тем или иным признакам Участки (не менее 6 штук), вплоть до отдельных растений в особых случаях.

f. Растения (их части) отснимаемые для целей валидации должны максимально не пересекаться с основным набором данных (располагаться на ином Участке).

g. Растения, фотографируемые для целей валидации, должны быть однозначно идентифицированы на Участке и в наборе данных (пронумерованы).

h. Одна серия для одного растения (его части) должна содержать 12 фотографий.

i. Серия из 12-и фотографий для одного растения должна формироваться «за раз». Допустим повтор серии конкретного растения (его части) в иные даты (при иных условиях съемки, иной фазе развития заболевания и т.п.).

j. Допускается с одного растения формировать несколько серий фотографий, в одно и тоже время, при условии, что серии визуально никак не пересекаются. При этом эти серии могут быть либо все одного класса («Норма» или «Патология») либо принадлежать различным классам. В этом случае каждой серии (в рамках конкретной даты и номера растения) присваивается локальный номер.

k. Единая серия фотографий одного растения класса «Патология» - должна содержать снимки, специфичные для данной патологии (комбинации патологий), т.е. в серии не должны быть фото со здоровыми и/или заболевшими другой патологией (вне целевой комбинации) участками растений.

l. Одна единая серия фотографий (12 фото), получаемая для целей валидации, с одного растения должна располагаться в одной папке.

m. Фотографии с патологией должны разделяться на категории по активности заболевания (Активно, Вылечено / Купировано, и т.п.). Это разделение в первую очередь связано с отсутствием/наличием хим. защиты и его эффективностью.

n. Фотографии набора данных для валидации размещаются в папках, организованных по следующей структуре:

Культура / Объект (Лист, Плод, Корень, и т.п.) / Заболевание / Активность Заболевания / Участок / Номер Растения / Локальный Номер Серии / ГГГГ.ММ.ДД (съемки )/ файлы

Культура / Объект (Лист, Плод, Корень, и т.п.) / Норма / Участок / Номер Растения / Локальный Номер Серии / ГГГГ.ММ.ДД (съемки) / файлы

о. Не допускается в одной папке смешивать различные объекты (Лист, Плод, Корень, и т.п.). Если характер поражения и композиция съемки таковы, что в кадры попадают разные объекты с поражениями (например, Лист и Плод), то это должно быть оговорено (отмечено) специально.

5. Требования к общему протоколу сбора данных:

а. Участки съема данных должны иметь точную координатную привязку.

b. Наборы данных с фото (общий и валидационный) должны быть связаны с погодно-климатическими данными (релевантными Участкам съемки) фиксируемыми раз в сутки:

i. Температура воздуха / Температура почвы;

ii. Влажность;

iii. Осадки в мм;

iv. Дождь / Туман;

v. Бальность облачности;

vi. Уровень инсоляции (освещенности);

vii. Скорость и направление ветра.

c. Погодно-климатические данные должны иметь предысторию относительно первой даты съемки на глубину не менее 14 дней.

d. Наборы данных (по датам и участкам, в ряде случаев конкретным растениям) должны быть снабжены журналом, содержащем:

i. Фенологическая стадия развития культуры;

ii. Описание развитости (степени) поражений;

iii. Описание симптоматики заболеваний/источник;

iv. Данные биохимического и/или генетического анализа (если есть);

v. Применяемое лечение (защита), при наличии.

e. Пересылка фотографий через мессенджеры, фотослужбы, соц. сети, дисковые приложения и т.п. - запрещен.

f. Фото необходимо выкладывать в облако, в виде zip (rar) архива (без сжатия), это необходимо, чтобы облака не пережимали фотографии и не снижали качество.

g. По факту копирования очередной порции данных на сервер, присылается письмо на соответствующие почтовые ящики.

Разработка нейросетевых алгоритмов подразумевает применение соответствующих наборов данных для обучения и тестирования сетей. Данная методика содержит методические рекомендации, направленные на формирование соответствующих датасетов.

Изобретение относится к способам подготовки набора фотографий для машинного анализа и может быть использовано при подготовке фотографий, предназначенных для обнаружения и классификации патологий сельскохозяйственных культур. Сущность: определяют способ фотографирования. Причем, если основные признаки заболевания концентрируются на отдельных частях растения, то фотографируют эти отдельные части растения; если характер заболевания определяется по всему растению, то фотографируют растение целиком; если это микропоражения, то фотографируют через лупу или микроскоп четко структурированные фрагменты конкретных частей растений. При этом определяют признаковую область поражения листа, плода, ягоды, куста, которая должна занимать не менее 50-60% изображения, вторая часть изображения должна включать информативное окружение - здоровые участки при их наличии. Делают фотографии здоровых растений и их частей. Причем фотографии здоровых экземпляров должны соответствовать по масштабу и ракурсам фотографиям экземпляров с заболеваниями. Съемку производят в течение всего фенологического цикла, чтобы фотографии отражали все фенологические фазы развития растений. Режим съемки в фототехнике устанавливают на «макро», режим фокусировки - на одноточечный, а параметры разрешения снимка и его качество выставляют на максимум. Формируют основной набор данных, содержащий фотографии заболевших и здоровых экземпляров, служащий для формирования обучающих и тестовых выборок данных. Области произрастания фотографируемых растений разделяют на однозначно идентифицируемые гомогенные участки. Фотографии с патологией разделяют на категории по активности заболевания. Фотографии с патологией разделяют по проведенному лечению. Фотографии основного набора данных размещают в папках, организованных в иерархическую структуру. Съемки связывают с координационной привязкой. Набор данных с фотографиями связывают с погодно-климатическими данными, релевантными участкам съемки. Полученные фотографии в цифровом формате в машиночитаемом виде сохраняют на носителе данных. Технический результат: минимизация ошибок и упрощение процесса формирования набора фотографий для машинного анализа, возможность своевременного выявления и устранения патологий сельскохозяйственных культур.

Способ подготовки набора фотографий для машинного анализа для обнаружения и классификации патологий сельскохозяйственных культур, заключающийся в определении способа фотографирования, формировании основного набора данных и связывании этих данных с сельскохозяйственными культурами и их заболеваниями, а именно:

если основные признаки заболевания концентрируются на отдельных частях растения, то фотографируют эти отдельные части растения, если характер заболевания определяется по всему растению, то фотографируют растение целиком, если это микропоражения, то фотографируют через лупу или микроскоп четко структурированные фрагменты конкретных частей растений;

при этом определяют признаковую область поражения листа, плода, ягоды, куста, которая должна занимать не менее 50-60% изображения, вторая часть изображения должна включать информативное окружение - здоровые участки при их наличии;

делают фотографии здоровых растений и их частей;

причем фотографии здоровых экземпляров должны соответствовать по масштабу и ракурсам фотографиям экземпляров с заболеваниями;

съемку производят в течение всего фенологического цикла, чтобы фотографии отражали все фенологические фазы развития растений;

при этом режим съемки в фототехнике устанавливают на «макро», режим фокусировки - на одноточечный, параметры разрешения снимка и его качество выставляют на максимум;

формируют основной набор данных, содержащий фотографии заболевших и здоровых экземпляров, служащий для формирования обучающих и тестовых выборок данных;

области произрастания фотографируемых растений разделяют на однозначно идентифицируемые гомогенные участки;

фотографии с патологией разделяют на категории по активности заболевания,

фотографии с патологией разделяют по проведенному лечению,

фотографии основного набора данных размещают в папках, организованных в иерархическую структуру;

съемки связывают с координационной привязкой;

набор данных с фотографиями связывают с погодно-климатическими данными, релевантными участкам съемки;

полученные фотографии в цифровом формате в машиночитаемом виде сохраняют на носителе данных.