Способ выбора изображений на большом увеличении при помощи нейронных сетей при исследовании мазка костного мозга и система для осуществления способа Российский патент 2023 года по МПК A61B10/02 G01N33/48 G06T7/00 G06N3/02 

Область техники, к которой относится изобретение

Изобретение относится к медицинской компьютерной технике, применяемой для проведения исследований и диагностики, в частности с использованием систем цифровой микроскопии и искусственных нейронных сетей, для обнаружения и классификации форменных элементов костного мозга в препарате костного мозга.

Изобретение относится к использованию технологий искусственного интеллекта в сфере здравоохранения, в частности к диагностике, основанной на анализе изображений.

Уровень техники

В настоящее время для анализа препаратов костного мозга используются автоматизированные цифровые микроскопические системы. Данные системы, в общем случае, представляют собой микроскоп с автоматизированным предметным столом, тринокулярной насадкой с объективами различной кратности, цифровой камерой, подключенной к микроскопу, а также персональным компьютером с установленным программным обеспечением для управления цифровой камерой и автоматизированным предметным столом. Принцип работы таких систем заключается в оцифровке биологического препарата костного мозга на большом увеличении с последующим анализом полученных изображений для нахождения и классификации определенных элементов, например, ядросодержащих клеток костного мозга. При этом цифровые изображения, равно как и классификации клеток, полученные автоматизированной цифровой микроскопической системой, затем просматриваются специалистом лабораторной диагностики для подтверждения правильности рассчитанного статистического распределения и классификации клеток.

При анализе препарата костного мозга на большом увеличении не все форменные элементы удается классифицировать с высокой степенью надежности. В таких случаях врачи, просматривающие биологические образцы костного мозга, игнорируют или не принимают во внимание такие элементы, чтобы уменьшить вероятность ошибочной дифференциации клеток. В этой связи возможность автоматического анализа годности изображений мазка костного мозга представляется желаемой функцией для автоматизированных цифровых микроскопических систем.

С увеличением производительности персональных компьютеров стало возможным использование искусственных нейронных сетей для нахождения и классификации форменных элементов на оцифрованных препаратах костного мозга. Современные автоматизированные микроскопические системы могут использовать искусственные нейронные сети, такие как сверточные нейронные сети, глубокие сверточные нейронные сети (deep convoluted neural networks), остаточные нейронные сети (residual neural networks), для поиска областей интереса (region of interest или ROI), нахождения и классификации форменных элементов костного мозга на оцифрованном препарате, то есть для нахождения элементов, представляющих интерес для врача лабораторной диагностики, и последующей классификации и распределения найденных элементов на группы. Искусственные нейронные сети могут также использоваться для анализа степени пригодности микроскопических изображений и отбраковки непригодных изображений.

Наиболее близким аналогом к заявляемому изобретению является патент «Способ управления автоматизированной системой микроскопа, система микроскопа и машиночитаемый носитель информации» (см. патент US 11287634 В2, МПК G02B 21/36; G06N 3/08; G06N 7/00, опубликовано 29.03.2022). Способ, раскрытый в названном патенте, включает в себя следующие шаги:

получение изображения на малом увеличении с помощью устройства;

ввод изображения, полученного на малом увеличением, в первую нейронную сеть для выбора области интереса, при этом первая нейронная сеть обучается методом обучения с подкреплением;

получение изображения области интереса на большом увеличении;

ввод изображения, полученного на большом увеличении, во вторую нейронную сеть для анализа того, содержит ли изображение на большом увеличении искомый объект, и генерирования статистического результата в отношении искомого объекта;

формирование сигнала обратной связи в соответствии со статистическим результатом и направление сигнала обратной связи в первую нейронную сеть для ее обучения по методу обучения с подкреплением.

При этом в изложенном способе первая нейронная сеть является сверточной нейронной сетью или полносвязной нейронной сетью; этап ввода изображения, полученного на малом увеличении, в первую нейронную сеть для выбора области интереса дополнительно включает разделение этого изображения на множество областей, которые вводятся в первую сверточную нейронную сеть для создания модели распределения вероятностей; первая нейронная сеть дополнительно обучается с помощью алгоритма обучения с учителем, алгоритма обучения без учителя, алгоритма имитации обучения или их комбинации. Вторая нейронная сеть является сверточной нейронной сетью или полносвязной нейронной сетью, устроена так, чтобы быть моделью экземплярной сегментации, моделью семантической сегментации или моделью классификации изображений для анализа того, содержит ли изображение, полученное на большом увеличении, искомый объект.

Недостатком данного способа является отсутствие системы выбора и отбраковки изображений, полученных на большом увеличении, не подходящих для дальнейшего анализа (пустых изображений и изображений, содержащих артефакты). Это означает, что нейронная сеть вынуждена работать с непригодными и/или малопригодными изображениями мазка костного мозга, полученными на большом увеличении, так как редки случаи, когда единственная область интереса, определенная на малом увеличении, содержит достаточное количество классифицируемых клеток костного мозга, а также отсутствует прямая связь между тем, как выглядит область интереса на малом увеличении, и качеством полей зрения в этой области на большом увеличении. В свою очередь, это приводит к увеличению общего времени работы автоматизированной цифровой микроскопической системы, увеличению необходимого объема памяти системы хранения автоматизированной цифровой микроскопической системы для хранения и анализа непригодных и/или малопригодных изображений мазка костного мозга, а также к дополнительным трудозатратам при перепроверке результатов, полученных автоматизированной системой.

Техническая проблема состоит в создании способа выбора изображений для анализа, полученных на большом увеличении, при помощи нейронных сетей при исследовании мазка костного мозга, обеспечивающего повышение точности анализа мазка костного мозга, сокращение времени работы автоматизированной цифровой микроскопической системы, уменьшение объема памяти системы хранения автоматизированной цифровой микроскопической системы, снижение трудозатрат врачей лабораторной диагностики.

Раскрытие сущности изобретения

Поставленная проблема решается тем, что компьютерно-реализуемый способ выбора изображений для анализа, полученных на большом увеличении, при исследовании мазка костного мозга, выполняемый с помощью автоматизированной цифровой микроскопической системы в два этапа, при котором на первом этапе получают цифровое изображение препарата костного мозга на малом увеличении, затем вводят цифровое изображение препарата костного мозга в первую нейронную сеть для выбора областей интереса, на втором этапе оцифровывают выбранные области интереса на большом увеличении с разделением каждой области интереса на поля зрения, затем осуществляют анализ цифровых изображений полей зрения с помощью нейронной сети для нахождения, сегментации и классификации элементов костного мозга, отличается тем, что на втором этапе каждое изображение поля зрения, полученное на большом увеличении, вводят во вторую нейронную сеть для присвоения такому изображению коэффициента пригодности изображения для анализа, затем наиболее пригодные изображения вводят в третью нейронную сеть для отбраковки и удаления пустых изображений и изображений, содержащих артефакты, после чего оставшиеся изображения вводят в четвертую нейронную сеть для выявления искомых форменных элементов на этих изображениях, затем изображения с искомыми форменными элементами передают в пятую нейронную сеть для сегментации форменных элементов с помощью маски от фона, после чего сегментированные элементы передают в шестую нейронную сеть для классификации сегментированных элементов. При этом автоматизированная цифровая микроскопическая система, включающая микроскоп, цифровую камеру, узел регулировки фокуса, автоматизированный предметный стол, монитор, компьютер, отличается тем, что компьютер содержит машиночитаемый носитель с записанными на него инструкциями и глубокими сверточными нейронными сетями, а также по меньшей мере один процессор, обеспечивающий работу этих инструкций и нейронных сетей для осуществления описанного выше способа.

По итогу применения данного способа с помощью автоматизированной микроскопической системы формируются статистический результат относительно распределения сегментированных элементов, а также набор подходящих для анализа изображений полей зрения микроскопического препарата костного мозга, которые могут быть направлены электронными средствами врачу лабораторной диагностики и/или отображены на мониторе для просмотра иным специалистом.

Выполнение на втором этапе предварительного анализа качества изображений полей зрения на большом увеличении позволяет отправлять на анализ только наиболее пригодные изображения клеток костного мозга, что повышает надежность результата автоматической классификации, а распределение различных действий предварительного анализа по отдельным нейронным сетям позволяет ускорить работы нейронных сетей, так как для решения таких относительно простых задач как, например, сегментация объектов на изображении или пропуск пустых изображений полей зрения и изображений полей зрения, содержащих артефакты, не требуется большое количество слоев нейронных сетей, что позволяет ускорить работу автоматизированной цифровой микроскопической системы. Кроме того, предварительный анализ с помощью нейронных сетей позволяет работать с различными степенями качества подготовки препарата костного мозга, так как анализ качества изображения происходит в том числе и на изображениях полей зрения, полученных на большом увеличении.

Описание фигур

Фиг. 1 иллюстрирует изображение оцифрованного препарата костного мозга, полученное на малом увеличении, с выбранными областями интереса.

Фиг. 2 иллюстрирует изображение области интереса цифрового препарата костного мозга, полученное на большом увеличении, поделенное на поля зрения.

Фиг. 3 иллюстрирует поля зрения с разными коэффициентами пригодности.

Фиг. 4 иллюстрирует примеры отбракованных полей зрения: пустые поля зрения (а) и поля зрения с артефактами (б).

Фиг. 5 иллюстрирует схематичное представление автоматизированной цифровой микроскопической системы, где: 1 - микроскоп; 2 - цифровая камера; 3 - узел регулировки фокуса; 4 - автоматизированный предметный стол; 5 - персональный компьютер; 6 - монитор.

Осуществление изобретения

На предметный стол микроскопа помещают препарат костного мозга и запускают первый этап способа.

С помощью цифровой камеры формируют цифровое изображение мазка костного мозга на малом увеличении. Цифровой препарат формируют посредством последовательного получения изображений препарата костного мозга и склеивания полученных изображений в единое изображение. В данном случае малое увеличение означает десятикратное увеличение.

Затем на полученном цифровом препарате определяют области интереса. Областью интереса принято считать область мазка, содержащую объекты поиска. Области интереса могут задаваться вручную специалистом лабораторной диагностики, алгоритмически, в зависимости от типа мазка, или с помощью предварительно обученной нейронной сети. В рамках данной заявки области интереса получают вводом цифрового изображения мазка костного мозга в первую нейронную сеть. Для надежного определения области интереса нейронная сеть была предварительно обучена методом обучения с учителем. В качестве обучающей выборки используют изображения препарата костного мозга, полученные на малом увеличении, на которых врачами лабораторной диагностики были определены области интереса.

Затем переходят к выполнению действий второго этапа способа.

Полученные области интереса делят на поля зрения. Поле зрения представляет собой область мазка, которую видит камера на заданном увеличении, например, на стократном увеличении.

Далее, на большом увеличении выполняют предварительный анализ полей зрения, состоящий из следующих последовательных действий. Полученный набор изображений полей зрения (кадров) вводят во вторую нейронную сеть для анализа пригодности изображения. Вторая нейронная сеть представляет собой глубокую сверточную нейронную сеть, обученную методом обучения с учителем, и построенную на архитектуре регрессионной нейронной сети. Обучающая выборка представляет собой набор изображений микроскопического препарата костного мозга, которым врачи лабораторной диагностики назначили коэффициент пригодности в зависимости от равномерности распределения клеток на изображении. Результатом работы второй нейронной сети является изображение поля зрения (кадр) с присвоенным ему коэффициентом от 0,00 до 1,00. Затем наиболее пригодные изображения полей зрения (кадры) передают в третью нейронную сеть. Порог пригодности задается пользователем вручную или определяется алгоритмически. Третья нейронная сеть проводит отбраковку изображений полей зрения (кадров), которые содержат пустоты, капли краски, царапины и другие артефакты. Изображения полей зрения (кадры), помеченные третьей нейронной сетью как пустые или как содержащие артефакты, не сохраняются в память автоматизированной микроскопической системы и не участвуют в дальнейшей работе системы.

Затем оставшиеся (неотбракованные) изображения полей зрения вводят в четвертую нейронную сеть. Четвертая нейронная сеть представляет собой глубокую сверточную нейронную сеть, обученную методом обучения с учителем. Четвертая нейронная сеть проводит поиск форменных элементов (например, лейкоцитов) на изображениях. Найденные форменные элементы (например, лейкоциты) помечаются системой.

Затем изображения полей зрения, содержащие как минимум один помеченный форменный элемент (лейкоцит), передают в пятую нейронную сеть для сегментации. Пятая нейронная сеть представляет собой глубокую сверточную нейронную сеть, предварительно обученную методом обучения с учителем, построенную на архитектуре Unet. Пятая нейронная сеть проводит сегментацию изображений полей зрения. Сегментация подразумевает выделение объектов, в данном случае клеток костного мозга, из фона изображения поля зрения, а также декластеризацию, то есть разделение сгруппированных клеток. Сегментированные изображения сохраняют в память системы.

Далее сохраненные ранее сегментированные изображения клеток костного мозга передают в шестую нейронную сеть. Шестая нейронная сеть представляет собой глубокую сверточную нейронную сеть, предварительно обученную методом обучения с учителем, построенную на архитектуре ResNet. В качестве обучающей выборки используют сегментированные изображения различных клеток костного мозга. Шестая нейронная сеть производит классификацию найденных клеток костного мозга, то есть распределяет полученные изображения по категориям клеток. Таким образом получают статистическое распределение клеток препарата костного мозга, а также изображения полей зрения, наиболее пригодных для валидации врачом.

С помощью автоматизированной цифровой микроскопической системы, содержащей обученные нейронные сети для предварительного анализа микроскопических изображений, в том числе определения коэффициента пригодности изображений, отбраковки изображений, являющихся пустыми или содержащих артефакты, сегментации изображения, выбирают для анализа только те изображения, которые представляют наибольшую ценность с диагностической точки зрения, таким образом увеличивая надежность классификации нейронной сетью клеток, что, в свою очередь, обеспечивает повышение точности анализа мазка костного мозга, а также снижение трудозатрат врачей лабораторной диагностики. При этом распределение различных действий по обработке изображений, полученных на большом увеличении, по отдельным нейронным сетям позволяет ускорить предварительный анализ изображений и сократить время работы автоматизированной цифровой микроскопической системы. Кроме того, в ходе предварительного анализа изображений отбраковывают и не сохраняют изображения полей зрения, содержащие пустоты или артефакты, что позволяет уменьшить объем памяти системы хранения автоматизированной цифровой микроскопической системы.

Пример осуществления изобретения

На предметный стол микроскопа был помещен мазок костного мозга, подготовленный методом шлепка (squash smear). Данный мазок был оцифрован на увеличении 10х при помощи программно-аппаратного комплекса Vision Ultimate Scanner. Полученное цифровое изображение мазка (цифровой препарат) было введено в первую нейронную сеть для определения областей интереса (Фиг. 1). Всего было найдено 10 областей интереса. Затем найденные области интереса делились на поля зрения для оцифровки на увеличении 100х (Фиг. 2). Каждая область интереса делилась на 100 полей зрения. Затем каждое изображение поля зрения каждой области интереса последовательно вводилось во вторую глубокую сверточную нейронную сеть для присвоения коэффициента пригодности каждому изображению поля зрения. Коэффициенты пригодности проставлялись в произвольных единицах от 0,00 до 1,00 и свидетельствовали об общем качестве изображения поля зрения, основываясь на таких параметрах, как степень равномерности распределения клеток и наличие агрегаций клеток в поле зрения (Фиг. 3). Данный коэффициент присваивается на основе обучающей выборки, на которой предварительно была обучена вторая нейронная сеть. Обучающая выборка представляла собой набор изображений, полученных на большом увеличении, которым были присвоены коэффициенты врачами вручную. Объем выборки для обучения второй нейронной сети составил 758 полей зрения. Всего на анализ во вторую нейронную сеть поступило 1000 полей зрения, из которых нейронной сетью было отбраковано 424. Порог отсечения наиболее пригодных изображений полей зрения задавался вручную и был равен 0,5. Данный порог может быть изменен в зависимости от необходимого количества клеток, который должна успешно классифицировать система. Затем изображения с коэффициентом пригодности выше 0,5 вводились в третью нейронную сеть для предварительного анализа, состоящего в отбраковке изображений полей зрения, которые содержат пустоты, капли краски, царапины и другие артефакты (Фиг. 4). Третья нейронная сеть отбраковала 409 полей зрения. Затем наиболее пригодные изображения полей зрения вводились в четвертую нейронную сеть для поиска лейкоцитов. Найденные лейкоциты помечались и изображения, на которых был отмечен как минимум один лейкоцит, передавались в пятую нейронную сеть для проведения сегментации. Пятая нейронная сеть проводила сегментацию объектов полей зрения, то есть вырезала из изображения выявленные элементы (клетки) костного мозга и поочередно вводила их в шестую нейронную сеть для классификации найденных элементов и получения статистического результата. Шестая нейронная сеть, представляющая собой глубокую сверточную нейронную сеть, предварительно обученную методом обучения с учителем на обучающей выборке, состоявшей из 342613 сегментированных изображений форменных элементов мазка костного мозга, классифицированных врачами вручную.

В качестве цели было указано успешная классификация 100 клеток костного мозга. Всего было найдено 10 областей интереса. Эти области интереса были поделены на поля зрения, всего 1000 полей зрения. Из 1000 изображений полей зрения после работы второй нейронной сети для дальнейшего анализа было выбрано 576 изображений полей зрения, так как был установлен порог отбраковки в 0,5. Из 576 изображений полей зрения третья нейронная сеть отбраковала 409 изображений полей зрения, а четвертая нейронная сеть отбраковала еще 127 изображений. Таким образом, для успешной классификации 100 клеток понадобилось 40 изображений полей зрения.

Изобретение относится к медицинской компьютерной технике, применяемой для проведения исследований и диагностики, в частности с использованием систем цифровой микроскопии и искусственных нейронных сетей, для обнаружения и классификации форменных элементов в препарате костного мозга. Предложен способ выбора изображений для анализа, полученных на большом увеличении, при исследовании мазка костного мозга, выполняемый с помощью автоматизированной цифровой микроскопической системы в два этапа, при котором на первом этапе получают цифровое изображение препарата костного мозга на малом увеличении, затем вводят цифровое изображение препарата костного мозга в первую нейронную сеть для выбора областей интереса, на втором этапе каждое изображение поля зрения, полученное на большом увеличении, вводят во вторую нейронную сеть для присвоения такому изображению коэффициента пригодности изображения для анализа, затем наиболее пригодные изображения вводят в третью нейронную сеть для отбраковки и удаления пустых изображений и изображений, содержащих артефакты, после чего оставшиеся изображения вводят в четвертую нейронную сеть для выявления искомых форменных элементов на изображениях, затем изображения с искомыми форменными элементами передают в пятую нейронную сеть для сегментации форменных элементов с помощью маски от фона, после чего сегментированные элементы передают в шестую нейронную сеть для классификации сегментированных элементов. При этом автоматизированная цифровая микроскопическая система включает компьютер, содержащий машиночитаемый носитель с записанными на него инструкциями и глубокими сверточными нейронными сетями, а также по меньшей мере один процессор, обеспечивающий работу инструкций и нейронных сетей для осуществления описанного способа. Изобретение обеспечивает сокращение времени работы автоматизированной микроскопической системы, уменьшении объема памяти системы хранения информации, снижении трудозатрат при диагностике. 2 н.п. ф-лы, 5 ил.

1. Компьютерно-реализуемый способ выбора изображений для анализа, полученных на большом увеличении, при исследовании мазка костного мозга, выполняемый с помощью автоматизированной цифровой микроскопической системы в два этапа, на первом этапе получают цифровое изображение препарата костного мозга на малом увеличении, затем вводят цифровое изображение препарата костного мозга в первую нейронную сеть для выбора областей интереса, на втором этапе оцифровывают выбранные области интереса на большом увеличении с разделением каждой области интереса на поля зрения, затем осуществляют анализ цифровых изображений полей зрения с помощью нейронных сетей для нахождения, сегментации и классификации элементов костного мозга, отличающийся тем, что на втором этапе каждое изображение поля зрения, полученное на большом увеличении, вводят во вторую нейронную сеть для присвоения такому изображению коэффициента пригодности изображения для анализа, затем наиболее пригодные изображения вводят в третью нейронную сеть для отбраковки и удаления пустых изображений и изображений, содержащих артефакты, после чего оставшиеся изображения вводят в четвертую нейронную сеть для выявления искомых форменных элементов на этих изображениях, затем изображения с искомыми форменными элементами передают в пятую нейронную сеть для сегментации форменных элементов с помощью маски от фона, после чего сегментированные элементы передают в шестую нейронную сеть для классификации сегментированных элементов.

2. Автоматизированная цифровая микроскопическая система включает микроскоп, цифровую камеру, узел регулировки фокуса, автоматизированный предметный стол, монитор, компьютер, отличающаяся тем, что компьютер содержит машиночитаемый носитель с записанными на него инструкциями и глубокими сверточными нейронными сетями, а также по меньшей мере один процессор, обеспечивающий работу этих инструкций и нейронных сетей для осуществления способа по п. 1.