Способ обнаружения и классификации цветных изображений ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии Российский патент 2025 года по МПК A61B5/145 G16H10/00 G06T7/00 G06N3/02 

Изобретение относится к медицинской области, а именно к онкологии, и может быть использовано для обнаружения и классификации ядросодержащих клеток на изображениях медико-биологических препаратов крови и костного мозга.

Кровь и ее компоненты занимают важное место в жизни человека и являются лучшим индикаторным инструментом при определении многих патологических состояний. Обнаружение бластных клеток в мазке костного мозга - важный этап в диагностике лейкозов и других заболеваний, связанных с кровью.

Глубокое обучение - разновидность машинного обучения на основе искусственных нейронных сетей.

Применение технологий глубокого обучения для диагностики онкологических и онкогематологических заболеваний на основе анализа медицинских изображений является современным направлением исследований в области искусственного интеллекта и компьютерного зрения.

Из уровня техники известны способы и системы формирования обучающих данных для нейронной сети [Патент РФ на изобретение 2763215] для формирования обучающих данных для повторного обучения нейронной сети для обнаружения объектов. Для формирования обучающих данных вводят в нейронную сеть (object detecting Neural Network, ODNN) первое цифровое изображение, представляющее собой цифровой сигнал обнаруживаемого объекта в первый момент времени, и второе цифровое изображение во второй момент времени после первого момента времени, сравнивают их для определения степени подобия. Если степень подобия ниже заданного порогового значения, используют первое или второе изображение для получения оцененной человеком метки, указывающей на действительную часть первого или второго изображения, и производят повторное обучение сети ODNN.

Недостатком данного изобретения является сложность его практической реализации и отсутствие сведений и данных о применимости для решения задач в области анализа медико-биологических объектов.

Известен способ способ обучения нейронной сети [Патент ЕАПВ на изобретение 035114]. Технический вышеуказанного изобретения заключается в сокращении времени обучения и уменьшении вычислительных ресурсов, необходимых для обучения нейронных сетей.

Недостатком данной сети является отсутствие сведений для анализа медико-биологических изображений, где в указанном способе могут сокращаться время обучения и вычислительные мощности, что приведет к ухудшению обнаружения и классификации цветных изображений ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии

Известен способ распознавания и подсчета клеток в биологических средах человека и животных и устройство для его осуществления [Патент РФ на изобретение 2303812]. Технический результат заключается в повышении скорости и точности распознавания и подсчета клеток в биологических жидкостях человека и животных. Данный результат достигается благодаря тому, что в способе выполняют следующие операции: помещают биологическую жидкость на твердой подложке или в прозрачной камере под микроскоп; производят через микроскоп серию съемок полей зрения этой жидкости; запоминают полученное при этой съемке цифровое изображение в памяти ПК; выбирают из запомненного цифрового изображения серию кадров для анализа; распознают целевые клетки с помощью обучаемой нейронной сети; при этом осуществляют подсчет распознаваемых клеток на основе маски.

Недостатком вышеуказанного изобретения является, то, что работа осуществляется с биологической жидкостью, накладывая дополнительные ограничения при использовании в автоматических анализаторах биомедицинских изображений. Также в данном способе отсутствуют сведения об анализе изображений препаратов костного мозга.

Существующие способы обнаружения и классификации ядросодержащих изображений клеток крови и костного мозга, а также обучения нейронной сети при повышении информативности медицинских изображений не учитывают особенности медико-биологических объектов исследования и подготовку данных, что ухудшает объективность, информативность и достоверность проведения анализа изображений при формировании диагностического заключения в ходе диагностики онкологических заболеваний.

Технический результат предлагаемого изобретения заключается в повышении точности ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии для автоматических анализаторов биомедицинских изображений.

Указанный технический результат достигается тем, что предлагается способ обнаружения и классификации цветных изображений ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии, с помощью нейронной сети, характеризующийся следующими этапами:

- получение изображений с помощью автоматического анализатора биомедицинских изображений препаратов крови и костного мозга,

- аннотирование полученных изображений экспертом с установлением на них меток, указывающих на тип ядросодержащей клетки и формирование большого и разнообразного аннотированного набора данных, содержащего изображения различных типов состояний ядросодержащих клеток костного мозга,

- предварительная обработка изображений для обучения нейронной сети, включающая выделение квадратных изображений (тайлов) входного размера нейронной сети из исходных изображений с центрированием на объекте из файла меток, проверкой включения всех объектов и перерасчета координат и размеров объектов, гауссовскую нормализацию, аугментацию изображений путем поворотов, смещений и отражений,

- увеличение набора данных за счет добавления вырезанных и обработанных ядер клеток с применением аугментации,

- создание нейронной сети с архитектурой, подходящей для классификации изображений клеток крови и костного мозга,

- настройка гиперпараметров нейросети, включая скорость обучения, размер пакета (батча) и количество эпох,

- разделение набора данных на обучающую, проверочную и тестовую выборки с учетом распределения количества клеток различных классов по набору данных,

- обучение нейросети на обучающей выборке для настройки весов и минимизации функции потерь,

- анализ производительности модели на проверочной выборке с использованием метрик валидации,

- тестирование модели на тестовой выборке для оценки ее обобщающей способности,

- расчет количества найденных ядросодержащих элементов с последующим их отнесениям на основе данный обученной нейронной сети соответствующему ростку кроветворения и формирования диагностического заключения,

- визуальный контроль эксперта с последующей коррекцией результата.

Изобретение поясняется чертежами, где на:

Фиг. 1 - показана структура схема реализации способа обнаружения и классификации цветных изображений ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии.

Фиг. 2 - приведен интерфейс программы проведения аннотирования изображений для формирования набора данных

Фиг. 3 - приведен интерфейс программы проведения визуального контроля результатов анализа изображений нейронной сетью

Фиг. 4 - настройка гиперпараметров нейронной сети экспериментальным методом, опираясь на графики зависимости точности и метрики mAP@0.5 от количества эпох

Фиг. 5 - приведены результаты распознавания изображений ядросодержащих клеток с препаратов крови и костного мозга

Фиг. 6 - приведена структура программно-аппаратного комплекса получения изображения.

Основные этапы, на которых основан предлагаемый способ, отражают технологию обработки информации в системе (не зависимо от конкретной программной и технической реализаций).

Заявленный способ реализуется с помощью программно-аппаратного комплекса (фиг. 6) следующим образом.

Регистратор видеоизображения - телекамера (фиг. 6) (осуществляет регистрацию видеоизображения.

Процесс обработки зарегистрированного изображения представлен на Фиг. 1.

Формирование аннотированного набора данных может быть осуществлено, например, программой, показанной на фиг.3 - аннотирование изображений.

На начальном этапе исследования формировалась предварительно обученная версия модели в данном случае архитектура YOLOv8. Обучение, включало подготовку первоначальной выборки, состоящей из наиболее представительных типов ядросодержащих клеток. Среди них были: Лимфоциты, Метамиелоциты, Моноциты, Миелоциты, Нормобласты, Палочкоядерные нейтрофилы и Сегментоядерные нейтрофилы. Всего в обучении было задействовано 13 типов изображений ядросодержащих клеток костного мозга [Свидетельство о государственной регистрации базы данных РФ №2023621283]. Параметры обучения и архитектура нейронной сети не изменялись. Полученная обученная модель использовалась на следующих этапах исследования.

Затем проводилась подготовка данных, которая заключалась в следующем: если изображение не 640 на 640 пикселей, а больше, то на нем выделяются квадраты 640 на 640 пикселей (тайлы), при этом разбиение на тайлы центрировано относительно объектов из файла меток. Проверялось, чтобы все объекты входили хотя бы один раз в один из тайлов (Фиг. 7а). Все координаты и размеры пересчитывались относительно размеров нового файла. Дополнительно к имеющемуся набору данных добавлялись вырезанные и обработанные изображения ядер клеток. При этом размер изображения был меньше 640 на 640 пикселей и делался эмбеддинг (окружение) белым цветом до размера 640 на 640 пикселей без искажения исходного изображения (Фиг. 7б). Для увеличения количества изображений редких классов и качества распознавания изображений нейронной сети, выполнялась аугментация. Аугментация включала такие пространственные преобразования, как повороты и отражения изображений.

Далее набор данных разделялся на обучающую, валидационную и тестовую выборки в соотношении 80/10/10. При этом учитывалась частотность появления классов в наборе данных. Клетки каждого класса равномерно, но случайным образом, распределялись по рабочим выборкам. Затем настраивались гиперпараметры нейронной сети экспериментальным методом, опираясь на графики зависимости точности и метрики mAP@0.5 от количества эпох. Наблюдалась сильная зависимость от количества данных обучающей выборки. При малом количестве данных переобучение сети наблюдалось уже при небольшом количестве эпох, при этом значение метрик не достигало значения 0.6. Поэтому необходимо было увеличить количество данных посредством разбиения на тайлы и аугментацией. Из графиков (Фиг. 4) видно, что метрики вышли на константу 0.8 на 70 эпохах. Размер пакета (батча) оптимизируется под количество данных и доступные вычислительные мощности. Учитывая, что в исходном наборе данных присутствовали типы ядросодержащих классов как в большом, так и почти в единичном количестве, точность (precision) результатов обнаружения основных типов клеток с учетом аугментации составила: Лимфоциты - 94%, Метамиелоцит - 87%, Моноцит - 88%), Миелоцит - 94%, Нормобласт - 97%, Сегментоядерный нейтрофил 93%, Бласты (Лимфобласты) - 99%, Эозинофилы - 93%.

Анализ результатов экспериментальных исследований по достижению заявленного технического результата

По результатам проведенных исследований достигнут заявленный технический результат: на примере архитектуры нейронной сети YOLOv8 показана эффективность решения задачи обнаружения и классификации изображений ядросодержащих клеток из препаратов костного мозга. Данные для обучения нейронной сети YOLOv8 формировались из набора, размеченные врачом-экспертом, где размечались объекты, которые, по мнению эксперта, можно идентифицировать. В дальнейшем необходимо, уже на полученной обученной модели, провести исследование, в ходе которого необходимо определить влияние скорректированных изображений на результат классификации, к начальной выборке и повторно обучить модель. Также, в виду того, что современные системы анализа биомедицинских изображений, в своей основе, направлены на автоматическую классификацию объектов в мазках крови, на практике, задача анализа изображений препаратов из костного мозга еще не решена, полученный результат, по мнению авторов, можно считать предварительным и целесообразно продолжить исследования в данном практическом направлении.

При практическом рассмотрении вопроса применения методов глубокого обучения, исследователю стоит обратить внимание на корректность установки типа маркера, назначаемого объектам, который специалист в ходе разметки данных не смог определить, например, когда клетка не поддается идентификации (артефакт). Такие случаи необходимо отслеживать и принимать решения на этапе формирования стратегии обучения данных.

Следующим немаловажным вопросом, который возникает для разработчиков и исследователей при практическом внедрении алгоритмов глубокого обучения, и требующим рассмотрения - это технология съемки для получения изображений ядросодержащих клеток. На основе отдельных алгоритмов и архитектур нейронных сетей можно выявлять объекты, выделять их, и, в последующем, классифицировать, либо обучить архитектуру, такую как YOLOv8, а также использовать комбинированный подход на основе совмещения методов.

Важным аспектом является размер изображений и находящиеся на них объекты, для обучения нейронной сети. Например, с изображением размером 2048 на 2048 пикселей проводят различные подготовительные операции для обучения архитектуры нейронной сети с получением обученной модели, с последующим встраиванием ее в структуру автоматического анализатора биоматериалов. При этом стоит учитывать режимы обучения и формирования датасета для последующей публикации обученной модели в анализатор изображений, т.к. это может повлиять на работу системы и, как пример, на определение типов ядросодержащих клеток. Данные уточнения следуют из практического опыта авторов по разработке и эксплуатации анализаторов биомедицинских изображений

Тем самым обеспечивается достижение заявленного технического результата в повышении точности обнаружения и классификации ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии для автоматических анализаторов биомедицинских изображений.

Изобретение относится к медицинской области и может быть использовано для обнаружения и классификации цветных изображений ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии. Предлагается способ обнаружения и классификации цветных изображений ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии, характеризующийся следующими этапами: получение изображений с помощью автоматического анализатора биомедицинских изображений препаратов крови и костного мозга; аннотирование полученных изображений экспертом с установлением на них меток, указывающих на тип ядросодержащей клетки и формирование большого и разнообразного аннотированного набора данных, содержащего изображения различных типов состояний ядросодержащих клеток костного мозга; выделение квадратных изображений (тайлов) входного размера нейронной сети из исходных изображений; создание нейронной сети с архитектурой, для классификации изображений клеток крови и костного мозга; настройка гиперпараметров нейросети; расчет количества найденных ядросодержащих элементов с последующим их отнесениям на основе данных обученной нейронной сети соответствующему ростку кроветворения и формирования диагностического заключения; визуальный контроль эксперта с последующей коррекцией результата. Изобретение обеспечивает повышение точности ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии для автоматических анализаторов биомедицинских изображений. 7 ил.

Способ обнаружения и классификации цветных изображений ядросодержащих клеток крови и костного мозга при формировании диагностического заключения в онкогематологии, с помощью нейронной сети, характеризующийся следующими этапами:

- получение изображений с помощью автоматического анализатора биомедицинских изображений препаратов крови и костного мозга;

- аннотирование полученных изображений экспертом с установлением на них меток, указывающих на тип ядросодержащей клетки, и формирование аннотированного набора данных, содержащего изображения типов ядросодержащих клеток костного мозга;

- предварительная обработка изображений для обучения нейронной сети, включающая выделение квадратных изображений входного размера нейронной сети из исходных изображений с центрированием на объекте из файла меток, проверкой включения всех объектов и перерасчета координат и размеров объектов, гауссовскую нормализацию, аугментацию изображений путем поворотов, смещений и отражений;

- увеличение набора данных за счет добавления вырезанных и обработанных ядер клеток с применением аугментации;

- создание нейронной сети с архитектурой, подходящей для классификации изображений клеток крови и костного мозга;

- настройка гиперпараметров нейросети, включая скорость обучения, размер пакета и количество эпох;

- разделение набора данных на обучающую, проверочную и тестовую выборки с учетом распределения количества клеток различных классов по набору данных;

- обучение нейросети на обучающей выборке для настройки весов и минимизации функции потерь;

- анализ производительности модели на проверочной выборке с использованием метрик валидации;

- тестирование модели на тестовой выборке для оценки ее обобщающей способности;

- расчет количества найденных ядросодержащих элементов с последующим их отнесениям на основе данных обученной нейронной сети соответствующему ростку кроветворения и формирования диагностического заключения;

- визуальный контроль с последующей коррекцией результата.