СИСТЕМА И СПОСОБ ОБНАРУЖЕНИЯ И КЛАССИФИКАЦИИ КОЛОНИЙ МИКРООРГАНИЗМОВ НА ИЗОБРАЖЕНИЯХ НА ОСНОВЕ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И КОМПЬЮТЕРНОГО ЗРЕНИЯ Российский патент 2023 года по МПК G06V10/82 G16H10/40 

Изобретение относится к области медицины, к клинической микробиологии, а именно к системам и способам обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения, и может быть использовано для автоматизированного обнаружения и классификации колоний патогенных и условно патогенных микроорганизмов у больных, носителей или из объектов внешней среды на изображениях культур микроорганизмов в чашках Петри.

В современной медицине одной из важнейших задач является необходимость своевременного и точного лечения тяжелых инфекционных заболеваний различной этиологии, вызванных патогенными и условно патогенными микроорганизмами. Одним из наиболее часто применяемых методов их выявления является проведение микробиологического исследования, состоящего из следующих основных этапов:

Посев биоматериала (например, биоматериала человека) или образцов объектов внешней среды на чашки Петри, содержащие питательную среду, и инкубация посевов, обеспечивающая условия созревания микроорганизмов.

В случае, если в анализируемом образце содержатся микроорганизмы, то через некоторое время (от нескольких часов до нескольких дней) на чашках Петри будут заметны растущие колонии микроорганизмов одной или нескольких видовых специфичностей, постепенно увеличивающиеся в размерах.

Медицинский персонал вручную просматривает каждую чашку Петри (или каждое изображение чашки Петри при предоставлении данной возможности), осуществляет поиск, забор и пересев изолированных колоний, для осуществления микробиологического, биохимического, молекулярно-генетического анализа или матрично-активированной лазерной десорбции / ионизации с целью определения точной видовой специфичности обнаруженного микроорганизма – для каждой выделенной колонии отдельно.

После определения точной видовой специфичности обнаруженных микроорганизмов осуществляют определение их чувствительности к антибиотикам и антимикотикам с целью подбора необходимой схемы лечения.

Необходимо отметить, что в современных программно-аппаратных комплексах осуществления микробиологического анализа полного цикла (например, BD Kiestra) присутствует функция автоматического получения изображений чашек Петри, что позволяет уменьшить часть ручной работы персонала, однако, тем не менее, не избавляет от необходимости визуального анализа каждого изображения образца. Таким образом, по причине наличия нескольких этапов при проведении микробиологического анализа и заметного влияния человеческого фактора на каждом из них, присутствует определенная вероятность появления ошибок, что может сказываться и на качестве и скорости назначенного лечения.

Заявленное изобретение способно решать указанные проблемы, за счет автоматизации процесса обнаружения и классификации колоний микроорганизмов на изображениях, основываясь на технологиях искусственного интеллекта и компьютерного зрения, что позволит как минимизировать влияние человеческого фактора, так и повысить скорость осуществления микробиологического исследования. Заявленный способ автоматизации состоит из двух шагов:

Сегментация – обнаружение на изображении потенциально пригодных для дальнейшего рассмотрения регионов (прямоугольных областей), содержащих выросшие колонии микроорганизмов одной видовой специфичности;

Классификация – определение видовой специфичности колонии микроорганизмов в каждом выделенном на первом шаге регионе.

Поскольку как для аппаратного исследования, так и для исследования на основе методов искусственного интеллекта приоритетными являются чистые колонии микроорганизмов, в качестве потенциально пригодных для дальнейшего рассмотрения регионов будем исследовать обособленные (изолированные) регионы (не имеющие в некоторой своей окрестности регионов с колониями других, отличных от содержащихся в них, микроорганизмов).

Известен способ Onepetri (Shamash M., Maurice C. F. OnePetri: accelerating common bacteriophage Petri dish assays with computer vision //PHAGE. – 2021. – Т. 2. – №. 4. – С. 224-231; https://www.biorxiv.org/content/10.1101/2021.09.27.460959v1.full) обнаружения микроорганизмов по изображениям чашек Петри. Он основан на нейросетевом алгоритме глубокого обучения обнаружения объектов на изображениях YOLOv5 класса CSPNet. Данный способ предположительно находит все регионы, содержащие колонии микроорганизмов для заданного изображения чашки Петри. Однако авторы способа Onepetri отмечают, что экспериментальное применение модели показывает относительно высокую медианную ошибку – 12.9%. Это значит, что достаточно большая доля колоний микроорганизмов исследуемой чашки может быть упущена, что в некоторых случаях (см. ниже Пример 1) может означать, что алгоритм вовсе не распознает мало представленный для конкретной чашки микроорганизм. Это же означает необходимость привлечения высококвалифицированных специалистов, что понижает степень автоматизации данного способа, и, следовательно, повышает влияние человеческого фактора при осуществлении микробиологического исследования, в частности увеличивает количество ошибок при обработке образцов, а также понижает скорость проведения микробиологического исследования.

Известен способ обнаружения микроорганизмов по изображениям чашек Петри, использующий нейросетевой алгоритм Mask-R-CNN (Naets T. et al. A Mask R-CNN approach to counting bacterial colony forming units in pharmaceutical development //arXiv preprint arXiv:2103.05337. – 2021; https://arxiv.org/abs/2103.05337). Способ, адаптированный в данной работе, в свою очередь является развитием способа обнаружения объектов на изображении Faster R-CNN, дополненным для задачи локальной сегментации внутри найденных объектов, и настроен на работу с микробиологическими данными. Однако, экспериментальные исследования, проведенные авторами рассматриваемого способа, ограничиваются обнаружением только нескольких классов микроорганизмов (а именно – BVG+ и BVG-), что является сильным ограничением на универсальность данного способа. Несмотря на сравнительно высокие приведенные метрики (от 2% до 7% пропущенных колоний), описанный авторами размер тестовой выборки составляет около 500 колоний микроорганизмов. Учитывая факт, что реальные микробиологические изображения могут содержать сотни колоний микроорганизмов (см. ниже Пример 1), данную оценку можно считать мало репрезентативной.

Известен способ автоматической сегментации образцов (Torelli A. et al. AutoCellSeg: robust automatic colony forming unit (CFU)/cell analysis using adaptive image segmentation and easy-to-use post-editing techniques //Scientific reports. – 2018. – Т. 8. – №. 1. – С. 1-10; https://www.nature.com/articles/s41598-018-24916-9), предлагающий инструмент на основе комбинации классических способов обработки изображений (а именно, последовательное применение алгоритмов сегментации Fast Marching Segmentation, Multi Threshold Segmentation, Watershed Segmentation). Согласно данному способу, сначала выполняют предварительную ручную сегментацию (эксперт вручную отмечает на изображении-эталоне несколько колоний микроорганизмов), после чего алгоритм автоматически размечает (контурно отмечает найденные колонии) необходимое число изображений на основе полученного примера. К недостаткам этого способа можно отнести: недостаток автоматизации – ручной этап процесса может сильно повлиять на результат (как следствие – преумножить человеческий фактор), а также сопутствующую необходимость привлечения высококвалифицированных специалистов на алгоритмическом уровне.

Стоит отметить, что ни один вышеописанный способ не предоставляет каких-либо метрик качества найденных колоний микроорганизмов с точки зрения их относительной изолированности (отсутствия в некоторой окрестности одной колонии других).

Известен способ многоклассовой классификации изображений колоний микроорганизмов (Zieliński B. et al. Deep learning approach to bacterial colony classification //PloS one. – 2017. – Т. 12. – №. 9. – С. e0184554; https://journals.plos.org/plosone/article/file?id=10.1371/journal.pone.0184554&type=printable), нацеленный на автоматическое определение рода и видовой специфичности микроорганизма. Данный способ совместно использует комбинацию классических методов (дескрипторы FV, SIFT) и нейросетевого алгоритма (сверточной нейронной сети) для извлечения признаков, с последующей классификацией на основе метода опорных векторов. Он позволяет достичь высоких результатов – около 97% точности на описанном тестовом наборе данных. Однако, такой набор данных не отличается репрезентативностью, так как содержит всего 660 изображений, среди которых 33 видовые специфичности колоний по 20 примеров.

Известен способ (Huang L., Wu T. Novel neural network application for bacterial colony classification //Theoretical Biology and Medical Modelling. – 2018. – Т. 15. – №. 1. – С. 1-16; https://tbiomed.biomedcentral.com/articles/10.1186/s12976-018-0093-x), предлагающий решение задачи классификации изображений колоний микроорганизмов на основе собственного нейросетевого алгоритма (предложенной архитектуры сверточной нейронной сети). Модель строилась и апробировалась на наборе данных, содержащем около 5000 изображений колоний (всего – 18 классов). Данная работа так же показала высокие результаты – порядка 97% суммарной точности, однако невысокий средний показатель чувствительности (доля истинно-положительных классификаций к общему числу) – порядка 66%, что значит, что сравнительно небольшой процент микроорганизмов правильно соотносится к своему классу.

Известен способ (Ho C. S. et al. Rapid identification of pathogenic bacteria using Raman spectroscopy and deep learning //Nature communications. – 2019. – Т. 10. – №. 1. – С. 1-8; https://arxiv.org/abs/1901.07666), использующий оптическую спектроскопию, чтобы полностью исключить стадии сегментации и классификации для идентификации колоний микроорганизмов в чашках Петри. Данный способ предполагает анализ и обработку результатов рамановской спектроскопии на основе разработанной авторами сверточной сети глубокого обучения. Вывод такой сети содержит как метки видовой специфичности обнаруженных микроорганизмов, так и метки соответствующих антибиотиков. Несмотря на достигнутые высокие результаты (точность определения антибиотикотерапии составляет 97%), авторы отмечают, что достижение клинически значимых скоростей и точностей остается сложным из-за слабого рамановского сигнала от исследуемых микроорганизмов (что обосновывает описанную невысокую точность идентификации – 82%).

Наиболее близким к заявленному изобретению является способ классификации колоний микроорганизмов, описанный в патенте US2021040530A1, предлагающий программное решение для исследования видеокадров чашек Петри. В данном способе строят и анализируют вектор морфологий колоний микроорганизмов (форма, диаметр, окрас и другие), а также вектор движения (длины пройденных путей, средняя скорость в пути, углы вращения и другие). Далее, проводят классификацию колоний, на основе оценок корреляции и дисперсии построенных признаков. Данный способ выбран в качестве прототипа заявленного изобретения.

К недостаткам способа-прототипа можно отнести фокус на обработке видеоматериалов для исследования – что вызывает необходимость наличия оборудования для одновременной видеосъемки биоматериала (в свою очередь, хранения – объем, необходимый для видеоданных, может в сотни раз превышать объем для хранения отдельных кадров), также любое экспертное вмешательство в автоматическое исследование микроорганизма (забор материала для аппаратного анализа, перемешивание материала и др.) может прервать процесс непрерывной съемки, а значит и повлиять на исход метода. Таким образом, указанный способ-прототип не является полностью автоматизированным: в случае необходимости перемешивания материала, снятые видеоматериалы становятся частично непригодными для автоматической классификации, необходимо привлекать высококвалифицированных специалистов, что повышает влияние человеческого фактора при осуществлении микробиологического исследования, в частности увеличивает количество ошибок при обработке образцов, а также понижает скорость проведения микробиологического исследования.

Техническим результатом изобретения является создание системы и способа обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения, которые обладают повышенной скоростью и точностью, за счет автоматизации процесса обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения, что позволяет минимизировать влияние человеческого фактора при осуществлении микробиологического исследования, в частности уменьшить количество ошибок при обработке образцов, а также повысить скорость проведения микробиологического исследования; низкой зависимостью от экспертной разметки и масштабируемостью по данным, за счет обучения модели сегментации на предварительно подготовленных изображениях искусственно сгенерированных колоний микроорганизмов и соответствующих им бинарных карт объектов; интерпретируемостью результатов, за счет ранжирования обнаруженных регионов на основании значений предложенной метрики обособленности; масштабируемостью по видовым специфичностям микроорганизмов, за счет параллельного применения обученных с учетом информации о экспертной разметке изображений чашек Петри на регионы и видовой специфичности микроорганизмов внутри каждого обнаруженного экспертом региона, полученной в ходе аппаратного анализа, бинарных моделей классификации и выбора из них модели, имеющей наибольшую вероятность-вердикт.

Поставленный технический результат достигнут путем создания способа обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения, в котором

- строят модель сегментации, при этом строят нейросетевую модель, с помощью которой преобразовывают входное изображение чашки Петри и содержащихся в ней колоний микроорганизмов к бинарной карте объектов;

- обучают нейросетевую модель сегментации на предварительно подготовленных изображениях микроорганизмов, и соответствующих им бинарных картах объектов;

- строят бинарные модели классификации, при этом для каждой видовой специфичности микроорганизмов строят сверточную нейронную сеть, выполненную с возможностью осуществления бинарной классификации;

- обучают бинарные модели классификации для каждой видовой специфичности микроорганизмов;

- сегментируют изображения, при этом сглаживают входное изображение; выделяют сегменты равного размера путем применения обученной модели сегментации; параллельно обрабатывают выделенные сегменты и обнаруживают колонии микроорганизмов, при этом размывают бинарную карту объектов, выделяют контуры колоний микроорганизмов и ограничивающих их регионов; ранжируют обнаруженные регионы на основании значений вычисленной метрики обособленности;

- классифицируют микроорганизмы, при этом отбирают регионы на основании заданного порогового значения метрики обособленности; определяют видовую специфичность микроорганизмов в отобранных регионах.

В предпочтительном варианте осуществления способа строят нейросетевую модель сегментации при использовании входной полученной в ходе аппаратного анализа информации о результатах экспертной разметки входного изображения чашки Петри на регионы и видовой специфичности микроорганизмов внутри каждого обнаруженного экспертом региона.

В предпочтительном варианте осуществления способа обучают нейросетевую модель сегментации на предварительно подготовленных изображениях искусственно сгенерированных колоний микроорганизмов, и соответствующих им бинарных карт объектов, при этом:

- фиксируют размер изображения, соответствующий размеру входа модели сегментации;

- случайно выбирают цвет питательной среды и число колоний микроорганизмов, которые случайным образом размещают в сегменте;

- случайно выбирают цвет и структуру колоний микроорганизмов;

- добавляют случайный шум, при добавлении каждой колонии микроорганизмов к изображению;

- полученный сегмент изображения размывают, параметры размытия выбирают случайно;

- соответственно выбранным числу и размерам колоний строят бинарную карту объектов.

В предпочтительном варианте осуществления способа выделяют контуры колоний микроорганизмов и ограничивающих их регионов на основе алгоритма марширующих кубов; ранжируют обнаруженные регионы на основании значений вычисленной метрики обособленности, при этом:

- отбрасывают регионы, не соответствующие тривиальным критериям размера;

- каждому региону сопоставляют его степень подобия окружности, на основе базовых статистических понятий о соответствующем контуре колонии;

- измеряют локальную обособленность региона, на основе наличия сторонних объектов в малой окрестности объекта данного региона;

- по локальной обособленности отсеивают регионы, которые замыкают невыпуклые контуры;

- измеряют глобальную обособленность региона, на основе матриц расстояний между центрами всех найденных регионов;

- на основе полученной комбинированной метрики осуществляют построение ранжированного списка найденных регионов.

В предпочтительном варианте осуществления способа определяют видовую специфичность микроорганизмов в отобранных регионах на основании параллельного применения обученных бинарных моделей классификации и выбирают из них модель, имеющую наибольшую вероятность-вердикт.

Поставленный технический результат достигнут также путем создания системы обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения, содержащей модуль построения модели сегментации, выход которого соединен со входом модуля обучения модели сегментации, первый выход которого соединен с входом модуля построения моделей классификации, выход которого соединен с входом модуля обучения моделей классификации, выход которого соединен с первым входом модуля классификации, второй вход которого соединен с выходом модуля сегментации изображения, вход которого соединен с вторым выходом модуля обучения модели сегментации, причем

- модуль построения модели сегментации выполнен с возможностью построения модели сегментации, при этом построения нейросетевой модели, с помощью которой преобразования входного изображения чашки Петри и содержащихся в ней колоний микроорганизмов к бинарной карте объектов;

- модуль обучения модели сегментации выполнен с возможностью обучения нейросетевой модели сегментации на предварительно подготовленных изображениях микроорганизмов, и соответствующих им бинарных картах объектов;

- модуль построения моделей классификации выполнен с возможностью построения бинарных моделей классификации, при этом для каждой видовой специфичности микроорганизмов построения сверточной нейронной сети, выполненной с возможностью осуществления бинарной классификации;

- модуль обучения моделей классификации выполнен с возможностью обучения бинарных моделей классификации для каждой видовой специфичности микроорганизмов;

- модуль сегментации изображения выполнен с возможностью сегментации изображения, при этом сглаживания входного изображения; выделения сегментов равного размера, путем применения обученной модели сегментации; с возможностью параллельной обработки выделенных сегментов и обнаружения колоний микроорганизмов, при этом размывания бинарной карты объектов, выделения контуров колоний микроорганизмов и ограничивающих их регионов; ранжирования обнаруженных регионов на основании значений вычисленной метрики обособленности;

- модуль классификации выполнен с возможностью классификации микроорганизмов, при этом отбора регионов на основании заданного порогового значения метрики обособленности; с возможностью определения видовой специфичности микроорганизмов в отобранных регионах.

В предпочтительном варианте осуществления системы модуль построения модели сегментации выполнен с возможностью построения модели сегментации, при этом построения нейросетевой модели при использовании входной полученной в ходе аппаратного анализа информации о результатах экспертной разметки входного изображения чашки Петри на регионы и видовой специфичности микроорганизмов внутри каждого обнаруженного экспертом региона.

В предпочтительном варианте осуществления системы модуль обучения модели сегментации выполнен с возможностью обучения нейросетевой модели сегментации на предварительно подготовленных изображениях искусственно сгенерированных колоний микроорганизмов, и соответствующих им бинарных карт объектов, при этом:

- фиксации размера изображения, соответствующего размеру входа модели сегментации;

- случайного выбора цвета питательной среды и числа колоний микроорганизмов, а также случайного размещения в сегменте выбранных колоний микроорганизмов;

- случайного выбора цвета и структуры колоний микроорганизмов;

- добавления случайного шума, при добавлении каждой колонии микроорганизмов к изображению;

- размытия полученного сегмента изображения и случайного выбора параметров размытия;

- построения бинарной карты объектов соответственно выбранным числу и размерам колоний.

В предпочтительном варианте осуществления системы модуль сегментации изображения выполнен с возможностью выделения контуров колоний микроорганизмов и ограничивающих их регионов на основе алгоритма марширующих кубов; с возможностью ранжирования обнаруженных регионов на основании значений вычисленной метрики обособленности, при этом:

- отбрасывания регионов, не соответствующих тривиальным критериям размера;

- каждому региону сопоставления его степени подобия окружности, на основе базовых статистических понятий о соответствующем контуре колонии;

- измерения локальной обособленности региона, на основе наличия сторонних объектов в малой окрестности объекта данного региона;

- по локальной обособленности отсеивания регионов, которые замыкают невыпуклые контуры;

- измерения глобальной обособленности региона, на основе матриц расстояний между центрами всех найденных регионов;

- построения ранжированного списка найденных регионов на основе полученной комбинированной метрики.

В предпочтительном варианте осуществления системы модуль классификации выполнен с возможностью определения видовой специфичности микроорганизмов в отобранных регионах на основании параллельного применения обученных бинарных моделей классификации и выбора из них модели, имеющей наибольшую вероятность-вердикт.

Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.

Фиг. 1. Изображение трех видовых специфичностей микроорганизмов, полученное в результате сканирования чашки Петри, выполненного согласно изобретению (для первого пациента).

Фиг. 2. Бинарная карта трех видовых специфичностей микроорганизмов, полученная в результате применения нейросетевой модели на этапе сегментации (для первого пациента).

Фиг. 3. Изображение наиболее отдаленных колоний микроорганизмов, обнаруженных системой и способом, выполненными согласно изобретению (для первого пациента).

Фиг. 4. Изображение трех видовых специфичностей микроорганизмов, полученное в результате сканирования чашки Петри, выполненного согласно изобретению (для второго пациента).

Фиг. 5. Бинарная карта трех видовых специфичностей микроорганизмов, полученная в результате применения нейросетевой модели на этапе сегментации, выполненная согласно изобретению (для второго пациента).

Фиг. 6. Изображение наиболее отдаленных колоний микроорганизмов, обнаруженных системой и способом, выполненными согласно изобретению (для второго пациента).

Фиг. 7. Блок-схема системы обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения, выполненной согласно изобретению.

Элементы:

1 – модуль построения модели сегментации;

2 – модуль обучения модели сегментации;

3 – модуль построения моделей классификации;

4 – модуль обучения моделей классификации;

5 – модуль сегментации изображения;

6 – модуль классификации;

7 – 12 – информационные каналы.

Фиг. 8. Схема функционирования модуля сегментации изображения, выполненного согласно изобретению.

Фиг. 9. Схема функционирования модуля классификации, выполненного согласно изобретению.

Табл. 1. Результаты исследования независимой выборки, собранной среди 30755 пациентов, состоящей из данных, собранных в Москве и Московской области в период с 20 июня 2020 года по 31 мая 2021 года, для оценки качества работы системы и способа, выполненных согласно изобретению (см. в граф. части).

Табл. 2. Результаты экспериментального исследования на основе данных независимой выборки пациентов для обнаружения наличия выросших колоний микроорганизмов с целью оценки предложенного метода сегментации, выполненного согласно изобретению (см. в граф. части).

Табл. 3. Результаты экспериментального исследования на основе данных независимой выборки пациентов с целью оценки предложенного метода классификации, выполненного согласно изобретению (см. в граф. части).

Табл. 4. Результаты применения моделей классификации, соответствующих трем колониям патогенных и условно патогенных микроорганизмов, выполненных согласно изобретению (см. в граф. части).

Табл. 5. Результаты применения моделей классификации, соответствующих трем колониям патогенных и условно патогенных микроорганизмов, выполненных согласно изобретению (см. в граф. части).

Рассмотрим более подробно вариант выполнения заявленных системы и способа обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения (Фиг. 1 - 9).

Заявленная система обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения содержит модуль 1 построения модели сегментации, выход которого соединен со входом модуля 2 обучения модели сегментации, первый выход которого соединен с входом модуля 3 построения моделей классификации, выход которого соединен с входом модуля 4 обучения моделей классификации, выход которого соединен с первым входом модуля 6 классификации, второй вход которого соединен с выходом модуля 5 сегментации изображения, вход которого соединен с вторым выходом модуля 2 обучения модели сегментации.

Модуль 1 построения модели сегментации осуществляет построение нейросетевой модели, с помощью которой осуществляет преобразование входного изображения чашки Петри, содержащего потенциально пригодные для исследования колонии микроорганизмов, к бинарной карте объектов. Модулю 1 построения модели сегментации подают на вход входное изображение чашки Петри и информацию о результатах экспертной разметки данного изображения на регионы и видовой специфичности микроорганизмов внутри каждого обнаруженного экспертом региона, полученную в ходе аппаратного анализа. Данный модуль имеет информационный канал 7, через который он взаимодействует с модулем 2 обучения модели сегментации (через который осуществляют передачу информации о построенной модели сегментации, входного изображения чашки Петри и информации о результатах экспертной разметки данного изображения на регионы и видовой специфичности микроорганизмов внутри каждого обнаруженного экспертом региона, полученной в ходе аппаратного анализа).

Модуль 2 обучения модели сегментации предназначен для обучения нейросетевой модели сегментации, построенной в модуле 1 построения модели сегментации, на предварительно подготовленных изображениях искусственно сгенерированных колоний микроорганизмов, и соответствующих им бинарных карт объектов. Данный модуль 2 связан информационным каналом 7 с модулем 1 построения модели сегментации (через канал 7 модуль 2 обучения модели сегментации получает информацию о построенной модели сегментации, входное изображение чашки Петри и информацию о результатах экспертной разметки данного изображения на регионы и видовой специфичности микроорганизмов внутри каждого обнаруженного экспертом региона, полученную в ходе аппаратного анализа), каналом 8 с модулем 3 построения моделей классификации (в модуль 3 построения моделей классификации передают входное изображение чашки Петри, а также полученную из модуля 1 информацию о результатах экспертного и аппаратного анализов), а также каналом 9 с модулем 5 сегментации изображения (в модуль 5 передают информацию об обученной в модуле 2 модели).

Модуль 3 построения моделей классификации осуществляет построение бинарных моделей классификации, где для каждой видовой специфичности микроорганизмов строит сверточную нейронную сеть, выполненную с возможностью осуществления бинарной классификации. Модуль 3 построения моделей классификации связан информационным каналом 8 с модулем 2 обучения модели сегментации (через данный канал модуль 3 построения моделей классификации получает входное изображение чашки Петри, а также информацию о результатах экспертного и аппаратного анализов), а также каналом 10 с модулем 4 обучения моделей классификации (через который осуществляют передачу информации о построенных моделях классификации, входного изображения чашки Петри, а также информации о результатах экспертного и аппаратного анализов).

Модуль 4 обучения моделей классификации предназначен для обучения бинарных моделей классификации, для чего для каждой видовой специфичности микроорганизмов обучает построенную в модуле 3 сверточную нейронную сеть. Модуль 4 обучения моделей классификации связан информационным каналом 10 с модулем 3 построения моделей классификации (через канал 10 модуль 4 обучения моделей классификации получает информацию о построенных моделях классификации, исходное изображение, а также информацию о результатах экспертного и аппаратного анализов), а также каналом 11 с модулем 6 классификации (в модуль 6 классификации передают информацию об обученных модулем 4 моделях классификации).

Модуль 5 сегментации изображения (Фиг. 8) предназначен для автоматической сегментации новых изображений, поступающих на вход, и осуществляет сегментацию изображения, для чего сглаживает входное изображение, выделяет сегменты равного размера путем применения обученной модулем 2 модели сегментации, параллельно обрабатывает выделенные сегменты и обнаруживает колонии микроорганизмов, для чего размывает бинарную карту объектов, выделяет контуры колоний микроорганизмов и ограничивающих их регионов на основе алгоритма марширующих кубов, ранжирует обнаруженные регионы на основании значений вычисленной метрики обособленности. Модулю 5 подают на вход входное изображение чашки Петри. Данный модуль связан информационным каналом 9 с модулем 2 обучения модели сегментации (в модуль 5 сегментации изображения передают информацию об обученной в модуле 2 модели), а также каналом 12 с модулем 6 классификации (в модуль 6 классификации передают исходное изображение, а также информацию о выделенных модулем 5 сегментах).

Модуль 6 классификации (Фиг. 9) предназначен для автоматической классификации сегментированных изображений, для чего отбирают регионы на основании заданного порогового значения метрики обособленности, определяют видовую специфичность микроорганизмов в отобранных регионах на основании параллельного применения обученных модулем 4 моделей классификации и выбирают из них модель, которая имеет наибольшую вероятность-вердикт. Данный модуль связан информационным каналом 11 с модулем 4 обучения моделей классификации (в модуль 6 классификации передают информацию о моделях, обученных модулем 4 обучения моделей классификации), а также информационным каналом 12 с модулем 5 сегментации изображения (в модуль 6 классификации передают исходное изображение, а также информацию о выделенных модулем 5 сегментации изображения сегментах).

Рассмотрим более подробно вариант выполнения заявленного способа обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения (Фиг. 1 – 6). Заявленный способ включает в себя этапы построения и обучения нейросетевых моделей сегментации и классификации, после чего осуществления автоматизированного обнаружения колоний микроорганизмов на изображениях с их последующей классификацией.

На этапе построения модели сегментации выполняют следующие операции. Строят нейросетевую модель сегментации, с помощью которой осуществляют преобразование входного изображения чашки Петри, содержащего потенциально пригодные для исследования колонии микроорганизмов, к бинарной карте объектов (в частности, черно-белому изображению, все найденные объекты на котором выделены белым цветом, а фон – черным). В качестве такой нейросетевой модели используют архитектуру сверточной нейронной сети класса энкодер-декодер (что представляет собой сверточную нейронную сеть, которая поэтапно приводит входное изображение к многомерному пространству признаков – энкодер, а после поэтапно восстанавливает входную размерность – декодер). Такая нейронная сеть состоит из последовательности сверточных слоев-преобразований входного изображения (вместе с классическими полносвязными слоями). В частности, в качестве функции активации используют модификацию функции ReLU, а для ускорения последующего обучения используют слои нормализации данных (Batch Normalization). Предварительно фиксируют размер входа модели сегментации.

На этапе обучения модели сегментации выполняют следующие операции. Обучают модель, подготовленную на предыдущем этапе. Этот процесс происходит предварительно, с использованием описанных далее входных данных и его осуществляют единожды. Для получения входных для обучения данных применяют алгоритм генерации изображений колоний микроорганизмов, и соответствующих им бинарных карт объектов, при этом:

фиксируют размер изображения, соответствующий размеру входа модели сегментации;

случайно выбирают цвет «питательной среды» и число «колоний», которые случайным образом размещают в сегменте;

случайно выбирают цвет и структуру колоний (также, наличие концентрических окружностей);

при добавлении каждой колонии к изображению добавляют случайный шум;

полученный сегмент размывают (в частности, фильтрацией изображения), при этом параметры размытия также выбирают случайно;

соответственно выбранным числу и размерам колоний строят бинарную карту объектов (в частности, черно-белую карту, на которой каждой колонии микроорганизмов соответствует белый силуэт на общем черном фоне).

Построенную модель обучают разновидностью метода градиентного спуска преобразовывать сегмент, содержащий колонии, к соответствующей бинарной карте объектов, используя генерируемую обучающую выборку (каждый элемент которой построен по описанным выше шагам). В качестве функции потерь используют бинарную кросс-энтропию.

На этапе построения моделей классификации выполняют следующие операции. Для решения задачи классификации используют индивидуальные бинарные модели классификации для каждой рассматриваемой видовой специфичности микроорганизмов. Используют классическую архитектуру сверточных нейронных сетей, представляющую собой простую последовательность блоков сверточных слоев (под блоком подразумевается сверточный слой, функция активации, средства борьбы с переобучением и прочее) в ансамбле с последовательностью полносвязных слоев, которые обрабатывают выход предшествующей сверточной сети, и обеспечивают решения задачи бинарной классификации в результате функционирования нейронной сети. Также, предварительно фиксируют входную размерность каждой модели классификации.

На этапе обучения моделей классификации выполняют следующие операции. Для обучения бинарных моделей классификации используют предварительную экспертную разметку и результаты аппаратного анализа. С целью корректировки размеченных данных, к каждому полученному сегменту применяют описанный ниже этап сегментации изображения, после чего сегмент центрируют относительно найденного объекта, наиболее близкого к его центру. Выбирают новые координаты – границы региона согласно размеру входа модели классификации (модель, соответствующая метке региона). Каждую построенную бинарную модель классификации обучают разновидностью метода градиентного спуска сопоставлять входному изображению-сегменту вероятность наличия в нем микроорганизма, ей соответствующего. При обучении каждой модели соответствующую видовую специфичность микроорганизмов бинарно противопоставляют всем остальным. В частности, в качестве функции потерь используют бинарную кросс-энтропию.

На этапе сегментации изображения выполняют следующие операции. В качестве входных данных для этого этапа используют изображение, содержащее в центре чашку Петри. Из рассмотрения выводят все кроме внутренней области чашки Петри. Изображение сглаживают (в частности, фильтрацией изображения) для снижения влияния шума. Далее выделяют сегменты равного размера путем применения обученной модели сегментации (полученное изображение делят по сетке на пересекающиеся сегменты равного размера, согласно размеру входного слоя построенной ранее модели сегментации); далее каждый сегмент обрабатывают путем параллельного применения нейросетевой модели сегментации, после чего объединенный результат будет соответствовать построенной бинарной карте объектов. Процедура обнаружения колоний включает в себя следующие действия:

бинарную карту объектов размывают (в частности, фильтрацией изображения);

на полученном изображении выделяют контуры (далее – объекты) и им соответствующие прямоугольные сегменты-регионы (алгоритм марширующих кубов);

отбрасывают регионы, не соответствующие тривиальным критериям размера;

каждому региону сопоставляют его степень подобия окружности, на основе базовых статистических понятий о соответствующем контуре колонии;

измеряют локальную обособленность региона, на основе наличия сторонних объектов в малой окрестности объекта данного региона;

по локальной обособленности отсеивают регионы, которые замыкают невыпуклые контуры;

измеряют глобальную обособленность региона, на основе матриц расстояний между центрами всех найденных регионов;

на основе полученной комбинированной метрики (здесь и далее – метрика обособленности) осуществляют построение ранжированного списка найденных регионов.

На этапе классификации микроорганизмов выполняют следующие операции. В качестве входных данных для этого этапа используют изображение, содержащее в центре чашку Петри, а также ранжированный список координат регионов из предыдущего этапа. По заданному заранее пороговому значению метрики обособленности отбирают регионы для исследования. Далее параллельно применяют набор построенных ранее бинарных моделей классификации к набору входных регионов. В результате осуществления данного этапа предоставляют набор вероятностей-вердиктов из набора моделей для всех заданных регионов. Вердиктом классификации для конкретного региона считают видовую специфичность модели, имеющей наибольшую вероятность из полученного набора.

Для оценки качества работы заявленных способа и системы исследовали независимую выборку, собранную среди 30755 пациентов, состоящую из данных, собранных в Москве и Московской области в период с 20 июня 2020 года по 31 мая 2021 года. Характеристики рассмотренной выборки представлены в Таблице 1.

Для оценки заявленного метода сегментации осуществили экспериментальное исследование на данных независимой выборки для решения задачи наличия выросших колоний микроорганизмов. Результаты исследования приведены в Таблице 2.

Для оценки заявленного метода классификации осуществили экспериментальное исследование на данных независимой выборки. Результаты исследования приведены в Таблице 3.

Пример 1. Пациент А, 25 лет. Для исследования состояния здоровья взяли биоматериал из аспирата трахеи. В ходе посева на флору и дальнейшей масспектрометрии в полученном биоматериале обнаружили несколько микроорганизмов. В результате экспертной оценки установили наличие микроорганизмов трех видовых специфичностей – E.coli, Ent.faecalis и Kl.pne-ss-pne.

Произвели четыре снимка чашки Петри, второй из которых (Фиг. 1) исследовали заявленным автоматизированным способом.

Вначале к изображению применили этап сегментации изображения. На Фиг. 2 представлено первое действие данного этапа – применение нейросетевой модели сегментации, обученной согласно описанному выше этапу обучения модели сегментации.

Далее, из полученной бинарной карты объектов извлекли индивидуальные регионы. На Фиг. 3 представлены пятнадцать выделенных заявленным способом наиболее обособленных регионов (согласно порогу метрики обособленности: 0.67), потенциально содержащих колонии патогенных или условно патогенных микроорганизмов, и указаны значения соответствующих им метрик обособленности. Поскольку каждый из регионов является обособленным, на данном этапе возможно и аппаратное исследование при помощи ручного забора помеченных колоний.

Далее, к каждому региону применили бинарные модели классификации, соответствующие трем колониям (Таблица 1) – E.coli, Ent.faecalis и Kl.pne-ss-pne. Как видно по итоговой таблице (Таблица 4), все три патогенных и условно патогенных микроорганизма были успешно выявлены автоматически.

Таким образом, видовые специфичности колоний, обнаруженных заявленным способом, совпадают с найденными аппаратным способом. Однако, как было сказано выше, заявленный способ является полностью автоматизированным, позволяет выполнить более оперативный анализ, а также избежать ошибок, вызванных человеческим фактором, при выборе изолированных колоний для изучения.

Пример 2. Пациентка Б, 60 лет. Для исследования состояния здоровья взяли биоматериал из цервикального канала (мазок). В ходе посева на флору и дальнейшей масспектрометрии в полученном биоматериале обнаружили несколько микроорганизмов. В результате экспертной оценки установили наличие микроорганизмов двух видовых специфичностей – E.coli и Ent.faecalis.

Произвели три снимка чашки Петри, второй из которых (Фиг. 4) исследовали заявленным автоматизированным способом.

Вначале к изображению применили этап сегментации изображения. На Фиг. 5 представлено первое действие данного этапа – применение предложенной нейросетевой модели сегментации, обученной согласно описанному выше этапу обучения модели сегментации.

Далее, из полученной бинарной карты объектов извлекли индивидуальные регионы. На Фиг. 6 представлены десять выделенных заявленным способом наиболее обособленных регионов (согласно порогу метрики обособленности: 0.67), потенциально содержащих колонии патогенных или условно патогенных микроорганизмов, и указаны значения соответствующих им метрик обособленности.

Далее, к каждому региону применили бинарные модели классификации, соответствующие трем колониям (Таблица 1) – E.coli, Ent.faecalis и Kl.pne-ss-pne. Как видно по итоговой таблице (Таблица 5), оба патогенных и условно патогенных микроорганизма успешно выявили автоматически.

Таким образом, видовые специфичности колоний, обнаруженных заявленным способом, совпадают с найденными аппаратным способом. Однако, как было сказано выше, заявленный способ является полностью автоматизированным, позволяет выполнить более оперативный анализ, а также избежать ошибок, вызванных человеческим фактором, при выборе изолированных колоний для изучения.

Преимуществом заявленных системы и способа является автоматизация обнаружения и классификации колоний микроорганизмов на изображениях чашек Петри, что позволяет минимизировать влияние человеческого фактора и количество ошибок при обработке образцов, а также повысить скорость проведения микробиологического анализа.

Научная новизна заявленного изобретения заключается в следующем:

Разработка и применение метода генерации изображений колоний микроорганизмов, и соответствующих им бинарных карт объектов в качестве основы для построения нейросетевого алгоритма сегментации микробиологических изображений (для исключения зависимости от необходимости больших объемов экспертно размеченных данных).

Применение заявленного метода сегментации для предобработки экспертных данных в качестве основы для построения нейросетевого алгоритма классификации колоний микроорганизмов (что обеспечивает более качественную тренировочную выборку по сравнению с существующими способами).

Объединение нейросетевых подходов бинарной классификации колоний микроорганизмов, для обеспечения расширяемости поддерживаемых наборов видовых специфичностей микроорганизмов.

Разработка и применение метрики ранжирования найденных объектов (регионов), для объединения заявленных методов классификации и сегментации в единый способ автоматизации процесса проведения микробиологического анализа.

В заявленных системе и способе обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения выполняют следующие операции: строят модель сегментации, для чего строят нейросетевую модель, с помощью которой осуществляют преобразование входного изображения чашки Петри, содержащего потенциально пригодные для исследования колонии микроорганизмов, к бинарной карте объектов; обучают нейросетевую модель сегментации на предварительно подготовленных изображениях искусственно сгенерированных колоний микроорганизмов, и соответствующих им бинарных карт объектов; строят бинарные модели классификации, где для каждой видовой специфичности микроорганизмов строят сверточную нейронную сеть, выполненную с возможностью осуществления бинарной классификации; обучают бинарные модели классификации для каждой видовой специфичности микроорганизмов; сегментируют изображения, для чего сглаживают входное изображение, выделяют сегменты равного размера путем применения обученной модели сегментации, параллельно обрабатывают выделенные сегменты и обнаруживают колонии микроорганизмов, для чего размывают бинарную карту объектов, выделяют контуры колоний микроорганизмов и ограничивающих их регионов на основе алгоритма марширующих кубов, ранжируют обнаруженные регионы на основании значений вычисленной метрики обособленности; классифицируют микроорганизмы, для чего отбирают регионы на основании заданного порогового значения метрики обособленности, определяют видовую специфичность микроорганизмов в отобранных регионах на основании параллельного применения обученных бинарных моделей классификации и выбирают из них модель, которая имеет наибольшую вероятность-вердикт.

Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.

Группа изобретений относится к области медицины, к клинической микробиологии, и может быть использована для автоматизированного обнаружения и классификации колоний патогенных и условно патогенных микроорганизмов на изображениях чашек Петри. Техническим результатом является создание системы и способа, которые обладают повышенной скоростью и точностью, низкой зависимостью от экспертной разметки и масштабируемостью по данным, интерпретируемостью результатов, масштабируемостью по видовым специфичностям микроорганизмов. Система содержит модуль построения модели сегментации, модуль обучения модели сегментации, модуль построения моделей классификации, модуль обучения моделей классификации, модуль сегментации изображения, модуль классификации. 2 н. и 8 з.п. ф-лы, 9 ил., 5 табл.

1. Способ обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения, в котором

- строят модель сегментации, при этом строят нейросетевую модель, с помощью которой преобразовывают входное изображение чашки Петри и содержащихся в ней колоний микроорганизмов к бинарной карте объектов;

- обучают нейросетевую модель сегментации на предварительно подготовленных изображениях микроорганизмов и соответствующих им бинарных картах объектов;

- строят бинарные модели классификации, при этом для каждой видовой специфичности микроорганизмов строят сверточную нейронную сеть, выполненную с возможностью осуществления бинарной классификации;

- обучают бинарные модели классификации для каждой видовой специфичности микроорганизмов;

- сегментируют изображения, при этом сглаживают входное изображение; выделяют сегменты равного размера путем применения обученной модели сегментации; параллельно обрабатывают выделенные сегменты и обнаруживают колонии микроорганизмов, при этом размывают бинарную карту объектов, выделяют контуры колоний микроорганизмов и ограничивающих их регионов; ранжируют обнаруженные регионы на основании значений вычисленной метрики обособленности;

- классифицируют микроорганизмы, при этом отбирают регионы на основании заданного порогового значения метрики обособленности; определяют видовую специфичность микроорганизмов в отобранных регионах.

2. Способ по п. 1, отличающийся тем, что строят нейросетевую модель сегментации при использовании входной полученной в ходе аппаратного анализа информации о результатах экспертной разметки входного изображения чашки Петри на регионы и видовой специфичности микроорганизмов внутри каждого обнаруженного экспертом региона.

3. Способ по п. 1, отличающийся тем, что обучают нейросетевую модель сегментации на предварительно подготовленных изображениях искусственно сгенерированных колоний микроорганизмов и соответствующих им бинарных карт объектов, при этом:

- фиксируют размер изображения, соответствующий размеру входа модели сегментации;

- случайно выбирают цвет питательной среды и число колоний микроорганизмов, которые случайным образом размещают в сегменте;

- случайно выбирают цвет и структуру колоний микроорганизмов;

- добавляют случайный шум, при добавлении каждой колонии микроорганизмов к изображению;

- полученный сегмент изображения размывают, параметры размытия выбирают случайно;

- соответственно выбранным числу и размерам колоний строят бинарную карту объектов.

4. Способ по п. 1, отличающийся тем, что выделяют контуры колоний микроорганизмов и ограничивающих их регионов на основе алгоритма марширующих кубов; ранжируют обнаруженные регионы на основании значений вычисленной метрики обособленности, при этом:

- отбрасывают регионы, не соответствующие тривиальным критериям размера;

- каждому региону сопоставляют его степень подобия окружности, на основе базовых статистических понятий о соответствующем контуре колонии;

- измеряют локальную обособленность региона, на основе наличия сторонних объектов в малой окрестности объекта данного региона;

- по локальной обособленности отсеивают регионы, которые замыкают невыпуклые контуры;

- измеряют глобальную обособленность региона на основе матриц расстояний между центрами всех найденных регионов;

- на основе полученной комбинированной метрики осуществляют построение ранжированного списка найденных регионов.

5. Способ по п. 1, отличающийся тем, что определяют видовую специфичность микроорганизмов в отобранных регионах на основании параллельного применения обученных бинарных моделей классификации и выбирают из них модель, имеющую наибольшую вероятность-вердикт.

6. Система обнаружения и классификации колоний микроорганизмов на изображениях на основе технологий искусственного интеллекта и компьютерного зрения, содержащая модуль построения модели сегментации, выход которого соединен со входом модуля обучения модели сегментации, первый выход которого соединен с входом модуля построения моделей классификации, выход которого соединен с входом модуля обучения моделей классификации, выход которого соединен с первым входом модуля классификации, второй вход которого соединен с выходом модуля сегментации изображения, вход которого соединен с вторым выходом модуля обучения модели сегментации, причем

- модуль построения модели сегментации выполнен с возможностью построения модели сегментации, при этом построения нейросетевой модели, с помощью которой преобразования входного изображения чашки Петри и содержащихся в ней колоний микроорганизмов к бинарной карте объектов;

- модуль обучения модели сегментации выполнен с возможностью обучения нейросетевой модели сегментации на предварительно подготовленных изображениях микроорганизмов и соответствующих им бинарных картах объектов;

- модуль построения моделей классификации выполнен с возможностью построения бинарных моделей классификации, при этом для каждой видовой специфичности микроорганизмов построения сверточной нейронной сети, выполненной с возможностью осуществления бинарной классификации;

- модуль обучения моделей классификации выполнен с возможностью обучения бинарных моделей классификации для каждой видовой специфичности микроорганизмов;

- модуль сегментации изображения выполнен с возможностью сегментации изображения, при этом сглаживания входного изображения; выделения сегментов равного размера, путем применения обученной модели сегментации; с возможностью параллельной обработки выделенных сегментов и обнаружения колоний микроорганизмов, при этом размывания бинарной карты объектов, выделения контуров колоний микроорганизмов и ограничивающих их регионов; ранжирования обнаруженных регионов на основании значений вычисленной метрики обособленности;

- модуль классификации выполнен с возможностью классификации микроорганизмов, при этом отбора регионов на основании заданного порогового значения метрики обособленности; с возможностью определения видовой специфичности микроорганизмов в отобранных регионах.

7. Система по п. 6, отличающаяся тем, что модуль построения модели сегментации выполнен с возможностью построения модели сегментации, при этом построения нейросетевой модели при использовании входной полученной в ходе аппаратного анализа информации о результатах экспертной разметки входного изображения чашки Петри на регионы и видовой специфичности микроорганизмов внутри каждого обнаруженного экспертом региона.

8. Система по п. 6, отличающаяся тем, что модуль обучения модели сегментации выполнен с возможностью обучения нейросетевой модели сегментации на предварительно подготовленных изображениях искусственно сгенерированных колоний микроорганизмов и соответствующих им бинарных карт объектов, при этом:

- фиксации размера изображения, соответствующего размеру входа модели сегментации;

- случайного выбора цвета питательной среды и числа колоний микроорганизмов, а также случайного размещения в сегменте выбранных колоний микроорганизмов;

- случайного выбора цвета и структуры колоний микроорганизмов;

- добавления случайного шума, при добавлении каждой колонии микроорганизмов к изображению;

- размытия полученного сегмента изображения и случайного выбора параметров размытия;

- построения бинарной карты объектов соответственно выбранным числу и размерам колоний.

9. Система по п. 6, отличающаяся тем, что модуль сегментации изображения выполнен с возможностью выделения контуров колоний микроорганизмов и ограничивающих их регионов на основе алгоритма марширующих кубов; с возможностью ранжирования обнаруженных регионов на основании значений вычисленной метрики обособленности, при этом:

- отбрасывания регионов, не соответствующих тривиальным критериям размера;

- каждому региону сопоставления его степени подобия окружности, на основе базовых статистических понятий о соответствующем контуре колонии;

- измерения локальной обособленности региона, на основе наличия сторонних объектов в малой окрестности объекта данного региона;

- по локальной обособленности отсеивания регионов, которые замыкают невыпуклые контуры;

- измерения глобальной обособленности региона на основе матриц расстояний между центрами всех найденных регионов;

- построения ранжированного списка найденных регионов на основе полученной комбинированной метрики.

10. Система по п. 6, отличающаяся тем, что модуль классификации выполнен с возможностью определения видовой специфичности микроорганизмов в отобранных регионах на основании параллельного применения обученных бинарных моделей классификации и выбора из них модели, имеющей наибольшую вероятность-вердикт.