Способ оцифровки биологического препарата костного мозга с использованием нейронных сетей Российский патент 2023 года по МПК A61B10/02 G01N33/48 G06T7/00 G06N3/02 

Изобретение относится к области медицины, а именно к способам оцифровки биологических препаратов с использованием автоматизированных микроскопических систем и нейронных сетей и может использоваться для обнаружения и анализа форменных элементов в препарате костного мозга.

Известен метод подготовки мазка костного мозга для анализа, именуемый методом шлепка или squash smear, который заключается в нанесении аспирата костного мозга, т.е. биологического материала, полученного с использованием вакуума на центр предметного стекла, который придавливается вторым предметным стеклом, после чего оба стекла «растаскиваются» друг от друга в направлении по длинному краю. В данном случае области, наиболее пригодные для анализа, находятся вблизи центрального пятна (стромы), т.е. места скопление медуллярных стромальных клеток, которое образуется при подготовке мазка костного мозга в центре предметного стекла и имеет округлую форму (https://onlinelibrary.wiley.com/doi/full/10.1111/j.1751-553X.2008.01100.x. пункт 2.2).

Из уровня техники известно, что для увеличения скорости и надежности анализов биологических препаратов, в том числе анализа костного мозга, используются автоматизированные микроскопические системы («Оценка эффективности распознавания лейкоцитов периферической крови при автоматическом сканировании изображений окрашенных мазков крови с переменным увеличением» // Медицинская техника, 2018, С. 23-26) , в том числе с использованием искусственных нейронных сетей для распознавания объектов на цифровом изображении .

Известен способ адаптивного получения изображения образца при помощи искусственной нейронной сети (US 2021131984, опубл. 06.05.2021), который включает следующие этапы:

- получение первого изображения образца посредством сканирования образца при помощи первого набора одного или нескольких значений для одного или нескольких параметров микроскопа;

- выявление одного или нескольких объектов, представляющих интерес, на первом изображении;

- формирования маски сканирования, которая указывает на первый набор одной или нескольких областей соответствующих ранее выявленному одному или нескольким объектам, представляющим интерес;

- сканирование первого набора областей образца в соответствии с маской сканирования, используя второй набор значений для набора параметров микроскопии для получения второго изображения образца.

Так как в качестве объекта, представляющего интерес, выбирается отдельная часть клетки, например, клеточная мембрана клеток мозга, для осуществления данного способа должно быть известно местоположение клеток в образце, либо же само местонахождение клеток не имеет клинического значения.

Однако, в случае с образцами костного мозга, а именно мазками костного мозга, подготовленными методом шлепка, местоположение клеток в мазке имеет клиническое значение. Таким образом недостатком данного способа является невозможность осуществления анализа мазков костного мозга, подготовленных методом шлепка. Еще одним недостатком данного способа является отсутствие механизма оценки пригодности изображения для анализа, что свидетельствует о низком качестве оцифровки препарата.

Наиболее близким к заявляемому является способ оцифровки биологического препарата костного мозга с использованием нейронных сетей (US 11287634 B2, опубл. 29.03.2022), который включает следующие операции:

- получение изображение на малом увеличении с помощью устройства,

- ввод изображения на малом увеличении в первую нейронную сеть для выбора области интереса, при том, что первая нейронная сеть обучена с помощью способа обучения с подкреплением;

- получения изображения области интереса на высоком увеличении, ввод изображения на высоком увеличении во вторую нейронную сеть с целью анализа нахождения искомой черты в изображении и;

- получение статистического результата, относящегося к искомой черте;

- генерация сигнала обратной связи в соответствии со статистическим результатом;

- использование сигнала обратной связи для обучения первой нейронной сети по схеме обучения с подкреплением.

Недостатком данного способа является прямая зависимость первой нейронной сети, работающей на малом увеличении, от второй нейронной сети, работающей на большом увеличении в части выбора наиболее подходящей области для анализа. Данная зависимость выражается в наличии механизма обучения с подкреплением для первой нейронной сети, которая получает сигнал обратной связи от второй нейронной сети в зависимости от того, какой результат получила вторая нейронная сеть при анализе выбранной области мазка. Однако, изображения на малом увеличении (10х), в части содержания характеристических черт, мало коррелируют с их пригодностью для анализа на большом увеличении (100х) ввиду крайне небольшого размера предмета анализа. Из этого следует, что прямая связь, между тем как выглядит область цифрового мазка на малом увеличении и количеством клеток пригодных для анализа на большом увеличении, отсутствует.

Таким образом, нейронная сеть действует вслепую и проверяет весь мазок полностью, что также приводит к плохой приспособленности способа, раскрытого в ближайшем аналоге, для анализа мазков, подготовленных методом шлепка (squash smear), так как в этом случае, область, в которой следует проводить анализ клеток костного мозга должна находиться в строго определенной области, а именно вблизи центрального пятна. (Журнал International Journal of Laboratory Hematology, Vol. 30, Issue 5. ICSH guidelines for the standardization of bone marrow specimens and reports, стр. 349-364).

Недостатками известного способа-прототипа являются низкое качество оцифровки препарата костного мозга, полученного методом шлепка.

Технический результат - высокое качество результата оцифровки препаратов костного мозга, полученных методом шлепка, за счет проведения оцифровки в два этапа и использования на втором этапе возможностей обученной нейронной сети для сортировки найденных областей интереса по степени пригодности для дальнейшей оцифровки при большом увеличении 100х.

В отличии от прототипа в данном техническом решении используются нейронные сети, первая из которых является генеративно-состязательной сетью и решает задачу нахождения самого мазка на предметном стекле, построения маски мазка и маски центрального пятна, что позволяет определить нахождение областей интереса для дальнейшего изучения. А вторая нейронная сеть, представляющая собой глубокую сверточную нейронную сеть на базе VGG16, позволяет отсортировать найденные области интереса по степени пригодности для дальнейшей оцифровки на большем увеличении.

При этом обе нейронные сети обучены отдельно друг от друга. Первая нейронная сеть является самообучающейся, так как генеративный компонент формирует маски, а дискриминатор пытается их отличить от заранее подготовленного набора масок мазков костного мозга, подготовленных методом шлепка на увеличении 10х.

Обучающая выборка для второй нейронной сети представляла собой массив изображений мазков костного мозга, подготовленных методом шлепка, полученных на увеличении 10х, которые сортировались вручную в зависимости от пригодности их для дальнейшей оцифровки на большем увеличении 100х.

Степень пригодности определялась не по количеству найденных клеток, как это делается в прототипе, а в зависимости от равномерности распределения клеток на изображении и наличия или отсутствия различных артефактов, например, пустот, пузырей краски, царапин и т.д., так как на увеличении 10х объекты, представляющие клинический интерес, могут быть схожи с артефактами.

Области интереса, оцифрованные на большом увеличении 100х, затем могут использоваться для ручного анализа, то есть для просмотра специалистом лабораторной диагностики или же для автоматического анализа методами обработки цифровых изображения.

Критериям качества оцифровки являются равномерность распределения клеток в поле зрения, а также отсутствие артефактов, таких как например, пустот, пузырей краски, царапин и т.д.

При осуществлении заявляемого способа используют автоматизированную микроскопическую систему, подключенную к компьютеру с машиночитаемым носителем алгоритмов, инструкций и нейронными сетями, а также процессор обеспечивающий работу алгоритмов, инструкций и нейронных сетей (не показаны).

Начинают способ с получения цифрового изображение препарата на малом увеличении 10х. Далее полученное изображение вводят в первую нейронную сеть для получения масок мазка. После получения двух масок мазка определяют местоположение областей интереса. Затем области интереса передаются во вторую нейронную сеть для определения степени пригодности данный областей зрения для анализа.

На первом этапе осуществляют оцифровку микроскопического препарата костного мозга на малом увеличении, затем цифровой препарат вводят в первую нейронную сеть для получения двух масок цифрового препарата, при этом первая маска определяет границы микроскопического препарата на предметном стекле, а вторая маска определяет границы центрального пятна.

Получение двух масок необходимо для последующего определения местонахождения областей интереса, так как области интереса должны находится в непосредственной близости от центрального пятна препарата.

Весь цифровой препарат нарезают на поля зрения. Каждое поле зрения представляет собой позицию камеры микроскопической системы при сканировании препарата, при этом координаты каждого поля зрения вводят в память компьютера.

Далее для каждой позиции камеры (поля зрения) вычисляют пиксельные координаты на цифровом препарате, посредством умножения координат поля зрения на коэффициент оптической системы, таким образом получая пиксельные координаты поля зрения на цифровом препарате. Коэффициентом оптической системы является соотношением пикселей к микрометрам на определенной степени увеличения.

Проверка пересечения полей зрения с масками мазка и центрального пятна нужна для отбора тех полей зрения, которые одновременно пересекают обе маски (центрального пятна и маску мазка) и являются областями интереса.

Эти поля зрения вводят во вторую нейронную сеть на базе VGG16, предварительно обученную методом обучения с учителем, с целью определения качества найденных областей интереса, с присвоением индекса пригодности для анализа.

Затем запускают второй этап, согласно которому наиболее подходящие области интереса оцифровывают на большом увеличении (100х).

В альтернативном варианте осуществления изобретения, маску центрального пятна получают математическим расчетом из маски мазка, т.е. посредством эрозии. Для этого используют круглый структурирующий элемент, имеющий радиус ¼ наименьшего измерения маски мазка.

Преимуществами способа в сравнении с прототипом являются равномерность распределения клеток в поле зрения, а также отсутствие артефактов, таких как пустоты, пузыри краски, царапины.

Изобретение проиллюстрировано следующими фигурами.

На Фиг. 1 представлен общий вид оцифрованного препарата костного мозга. На Фиг. 2 представлены маски мазка препарата, созданные нейронной сетью. На Фиг. 3 представлены найденные области интереса. На Фиг. 4 представлены наиболее пригодные (подходящие) области интереса. На Фиг. 5 показан пример маски мазка в качестве бинарного изображения (а), структурирующего элемента (б) и маски мазка, полученного посредством эрозии. На Фиг. 6 представлен порядок получения кадров при оцифровке мазка на малом увеличении, стрелками показано смещения поля зрения камеры микроскопа при передвижении предметного столика микроскопа с препаратом.

На фигурах 1-6 изображены:

1- тонкая часть мазка;

2- маска мазка;

3- маска центрального пятна;

4- область интереса.

Под маской следует понимать метод выделения области изображения для последующей манипуляции. Формирование маски подразумевает получение подмножества пикселей, каждому из которых присвоено одно из двух состояний - 1 и 0, или уставлен или сброшен (https://ru.wikipedia.org/wiki/%D0%91%D0%B8%D0%BD%D0%B0%D1%80%D0%BD%D0%BE%D0%B5_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5).

Маска мазка представляет собой бинарное изображение (Фиг. 5а), в котором область, лежащая внутри маски, имеет состояние 1, а области лежащие за пределами маски - 0.

Порядок осуществления заявляемого способа

На предметный стол автоматизированной микроскопической системы (не показана) помещали препарат костного мозга, подготовленный методом шлепка.

Затем осуществляли оцифровку препарата, которая включала в себя получение последовательности цифровых изображений на малом увеличении (10х) с последующим их «сшиванием» в одно изображение для формирования цифрового препарата. Для этого предметный стол с расположенным на нем препаратом перемещали таким образом относительно объектива, что в поле зрения камеры попадал левый верхний угол препарата костного мозга (фиг.6). Затем, последовательно получали изображения, начиная слева направо в нечетном ряду, и справа налево в четном ряду до тех пор, пока не были получены изображения, покрывающие весь препарат костного мозга.

Далее полученные изображения «сшивали» вместе. Сшивание, то есть получение цифрового препарата из изображений, полученных на малом увеличении, производили с помощью библиотеки OpenCV (https://opencv.org/).

Затем полученное цифровое изображение препарата вводили в первую генеративно-состязательную нейронную сеть, которая определяла две маски цифрового биологического препарата, представляющие собой бинарное изображение (фиг.5а). Первая маска определяла границы самого мазка (фиг.2). Вторая маска определяла границы центрального пятна (Фиг. 2). Наличие двух масок сделало возможным определять места нахождения областей интереса (англ. ROI - region of interest) для последующего анализа на большом увеличении.

Согласно рекомендациям врачей, наиболее благоприятные для анализа костного мозга области находятся в так называемой «тонкой части мазка». Однако, местоположение тонкой части мазка зависит от метода подготовки мазка костного мозга. В мазках, подготовленных методом шлепка, данные области находятся рядом/на границе с центральным стромальным пятном (Журнал International Journal of Laboratory Hematology, Vol. 30, Issue 5. ICSH guidelines for the standardization of bone marrow specimens and reports, стр. 349-364). В этой связи маска центрального пятна используется для определения границ областей интереса. Области интереса находили путем определения пересечения координат полей зрения, которые были получены при изначальной оцифровке мазка на увеличении 10х и масок мазка и центрального пятна.

Область интереса должна удовлетворять двум условиям:

- поле зрения пересекается с маской мазка;

- поле зрения не лежит целиком в маске центрального пятна.

Пересечение поля зрения с маской мазка определяли нахождением пересечения описывающих маски прямоугольников и полей зрения (фиг.3). Поиск пересечения начинали с левого верхнего угла пересечения прямоугольников и полей зрения и только внутри этого пересечения, так как за пределами пересечения масок быть не может.

Для каждой координаты внутри пересечения проверяли установлены ли пиксели маски и поля зрения. Если найдена координата, в которой установлены оба пикселя, то есть пиксель и маски мазка и поля зрения, то между масками есть пересечение (https://ru.wikipedia.org/wiki/%D0%91%D0%B8%D0%BD%D0%B0%D1%80%D0%BD%D0%BE%D0%B5_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5). Поля зрения, пересекающие как маску мазка, так и мазку центрального пятна, то есть, удовлетворяющие вышеприведенным условиям, сохраняли в память компьютера как поля зрения, представляющие области интереса (Фиг. 3).

Затем сохраненные области интереса вводили во вторую глубокую сверточную нейронную сеть для определения степени пригодности полей зрения для анализа. Эта нейронная сеть являлась предварительно обученной методом обучения с учителем и содержащей примеры изображений полей зрения различной степени пригодности от совсем непригодных до идеальных. Координаты наиболее пригодных областей интереса сохраняли в памяти компьютера, а изображения удаляли из памяти (Фиг. 4).

При этом если первая нейронная сеть не смогла определить границы центрального пятна, то для сохранения работоспособности способа маску центрального пятна формировали из маски мазка посредством эрозии. (фиг.5в).

Эрозия является одним их двух известных базовых операторов (https://en.wikipedia.org/wiki/Erosion_(morphology)), которые применяются в области математической морфологии и используется, в том числе, для обработки бинарных изображений. Принцип ее работы заключается в удалении пограничных регионов пикселей, таким образом уменьшая в размере обрабатываемое изображение. В качестве обрабатываемого изображения использовали подмножество пикселей, которое возвращает первая нейронная сеть в качестве маски мазка.

Маска мазка представляла собой бинарное изображение (Фиг. 5а), где область, лежащая внутри маски, имела состояние 1, а области лежащие за пределами маски - 0. Для эрозии использовали круглый структурирующий элемент (Фиг. 5б), с радиусом ¼ наименьшего измерения маски мазка.

Структурирующий элемент применяли попеременно к каждому пикселю маски мазка таким образом, что начальная точка структурирующего элемента (origin), которая находилась в центре структурного элемента, совмещалась (probing) с зондируемым пикселем. Все пиксели структурирующего элемента имели состояние 1. Если каждый пиксель обрабатываемого изображения имел то же состояние, что и соответствующие ему пиксели структурного элемента, то пиксель обрабатываемого изображения, с которым была совмещена начальная точка структурирующего элемента, сохранял свое состояние. Если же состояние хотя бы одного пикселя обрабатываемого изображения отличалось от состояния пикселя структурирующего элемента, то зондируемый пиксель обрабатываемого изображения сбрасывался, то есть его состояние менялось с 1 на 0.

Структурирующий элемент двигался попиксельно, слева направо, сверху вниз до тех пор, пока не были обработаны все пиксели. Обработка выполнялась однократно. Получившуюся модель маски стромы (Фиг.5в) использовали для определения координат областей интереса, как описано выше.

Затем осуществляли второй этап, который заключался в делении выбранных областей интереса, полученных на увеличении 10х на поля зрения для получения изображений на увеличении 100х. Производили оцифровку выбранный полей зрения и сохранение их в память компьютера.

Оцифровку полей зрения начинали с того, что предметный стол перемещали таким образом, что поле зрения камеры находилось в левом верхнем углу определенной области интереса. Затем получали изображение данного поля зрения и переходили на следующее смежное поле зрения, двигаясь слева направо в нечетном ряду и справа налево в четном ряду, то есть меандром до тех пор, пока не были оцифрованы все поля зрения, покрывающие область интереса (фиг.6).

Оцифрованные изображения на большом увеличении 100х отправляли на анализ врачу или использовались для нахождения и классификации форменных элементов костного мозга.

Изобретение относится к области медицины, а именно к способам оцифровки биологических препаратов с использованием автоматизированных микроскопических систем и нейронных сетей и может использоваться для обнаружения и анализа форменных элементов в препарате костного мозга. Предложен способ оцифровки биологического препарата костного, который включает получение изображения мазка препарата на малом увеличении, введение полученного изображения в первую нейронную сеть для получения масок мазка костного мозга, определение местоположения областей интереса, передача областей интереса во вторую нейронную сеть и определение степени пригодности областей интереса для анализа препарата. Оцифровку препарата проводят в два этапа, на первом этапе препарат костного мозга, подготовленный методом шлепка, помещают на предметный стол микроскопической системы и производят оцифровку с получением цифровых изображений на малом увеличении 10х с последующим «сшиванием» в одно изображение, затем полученное изображение вводят в первую нейронную сеть, которая является генеративно-состязательной с возможностью определения координат мазка на предметном стекле, построения маски мазка и маски центрального пятна мазка, определяют координаты пригодных областей интереса сохраняют их в памяти компьютера. Далее сохраненные области интереса вводят во вторую нейронную сеть для определения степени пригодности полей зрения для анализа, при этом предварительно обученная вторая нейронная сеть является глубокой сверточной нейронной сетью на базе VGG16 с возможностью сортировки найденных областей интереса по степени пригодности для дальнейшей оцифровки при большом увеличении. Если первая нейронная сеть не определяет границы центрального пятна, маску центрального пятна формируют из маски мазка посредством эрозии, определяют координаты пригодных областей интереса и сохраняют их в памяти компьютера. Затем осуществляют деление сохраненных областей интереса, полученных на увеличении 10х, на поля зрения для получения изображений на увеличении 100х, оцифровку выбранных полей зрения и сохранение в памяти компьютера, при этом оцифровку полей зрения осуществляют перемещением предметного стола с препаратом таким образом, чтобы поле зрения камеры микроскопической системы находилось в левом верхнем углу определенной области интереса, затем получают изображение данного поля зрения и переходят на смежное поле зрения, двигаясь слева направо в нечетном ряду и справа налево в четном ряду до тех пор, пока не будут оцифрованы все поля зрения, накрывающие область интереса. Степень пригодности определяют в зависимости от равномерности распределения клеток на изображении и наличии или отсутствии артефактов, например, пустот, пузырей краски, царапин. Изобретение обеспечивает высокое качество результата оцифровки препаратов костного мозга, полученных методом шлепка. 2 з.п. ф-лы, 8 ил.

1. Способ оцифровки биологического препарата костного мозга с использованием нейронных сетей, включающий получение цифрового изображения мазка препарата на малом увеличении, введение полученного изображения в первую нейронную сеть для получения масок мазка костного мозга, определение местоположения областей интереса, передача областей интереса во вторую нейронную сеть и определение степени пригодности областей интереса для анализа препарата,

отличающийся тем, что

оцифровку препарата проводят в два этапа, на первом этапе препарат костного мозга, подготовленный методом шлепка, помещают на предметный стол микроскопической системы и производят оцифровку с получением цифровых изображений на малом увеличении 10х с последующим «сшиванием» в одно изображение, затем полученное изображение вводят в первую нейронную сеть, которая является генеративно-состязательной с возможностью определения координат мазка на предметном стекле, построения маски мазка и маски центрального пятна мазка, определяют координаты пригодных областей интереса сохраняют их в памяти компьютера, далее сохраненные области интереса вводят во вторую нейронную сеть для определения степени пригодности полей зрения для анализа, при этом предварительно обученная вторая нейронная сеть является глубокой сверточной нейронной сетью на базе VGG16 с возможностью сортировки найденных областей интереса по степени пригодности для дальнейшей оцифровки при большом увеличении, в случае, когда первая нейронная сеть не определяет границы центрального пятна, маску центрального пятна формируют из маски мазка посредством эрозии, определяют координаты пригодных областей интереса и сохраняют их в памяти компьютера, затем следует второй этап, согласно которому осуществляют деление сохраненных областей интереса, полученных на увеличении 10х, на поля зрения для получения изображений на увеличении 100х, оцифровку выбранных полей зрения и сохранение в памяти компьютера, при этом оцифровку полей зрения осуществляют перемещением предметного стола с препаратом таким образом, чтобы поле зрения камеры микроскопической системы находилось в левом верхнем углу определенной области интереса, затем получают изображение данного поля зрения и переходят на смежное поле зрения, двигаясь слева направо в нечетном ряду и справа налево в четном ряду до тех пор, пока не будут оцифрованы все поля зрения, накрывающие область интереса, причем степень пригодности определяют в зависимости от равномерности распределения клеток на изображении и наличии или отсутствии артефактов, например, пустот, пузырей краски, царапин.

2. Способ по п.1, отличающийся тем, что первая нейронная сеть является самообучающейся, в которой генеративный компонент формирует маски, а дискриминатор пытается их отличить от заранее подготовленного набора масок мазков костного мозга, полученных методом шлепка, на увеличении 10х.

3. Способ по п.1, отличающийся тем, что обучающая выборка второй нейронной сети включает массив изображений мазков костного мозга, полученных методом шлепка на увеличении 10х, которые сортируют вручную в зависимости от пригодности их для дальнейшей оцифровки на большом увеличении 100х.