Способ распознавания структуры ядер бластов крови и костного мозга Российский патент 2022 года по МПК G16H10/00 G06T7/00 

Область изобретения

Изобретение относится к области медицины и может быть использовано для диагностики Т- и В-линейных острых лимфобластных лейкозов (ОЛЛ) с использованием световой микроскопии в сочетании с компьютерной обработкой данных.

Уровень техники

Более 80% информации об окружающем мире человек воспринимает с помощью зрения.

В диагностике онкологических заболеваний системы крови важную роль играет микроскопический анализ мазков крови и препаратов костного мозга, в ходе которого определяется процентный состав различных типов ядерных клеток (формула крови - при анализе периферической крови, миелограмма - для костного мозга).

В случае острых лейкозов субстрат опухоли представляют бластные клетки (незрелые клетки костного мозга).

Существует несколько разновидностей острого лейкоза, каждому из них соответствуют свои типы бластных клеток.

В частности, для диагностики острого лимфобластного лейкоза необходимо определение линейности бластных клеток В- и Т-клеточных острых лимфобластных лейкозов.

Одними из ключевых критериев в выявлении бластных клеток во время визуального микроскопического анализа являются характеристики структуры хроматина ядер клеток.

При вербальном описании изображений клеток врачи в качестве существенного отличительного признака бластных клеток отмечают их нежносетчатую или мелкосетчатую структуру хроматина ядер клеток [1].

Как известно, визуальный микроскопический анализ трудоемок, приводит к большому напряжению зрения и утомляемости.

Это, в свою очередь, порождает ошибки классификации клеток и, как следствие, может приводить к ошибкам диагностики острого лейкоза. Поэтому востребована задача автоматизации такого анализа.

Системы обработки изображений широко применяются в медико-биологиических исследований различных объектов [2].

При решении задачи автоматической классификации изображений клеток крови применяются методы распознавания [3-6].

Классическая структура системы распознавания включает предобработку, описание, классификацию. Ключевым в этой последовательности является описание [7].

При проектировании систем распознавания для описания объектов на цифровых 2D изображениях (в нашем случае клеток костного мозга) применяются различные признаки.

Все они основаны на яркости и цвете пикселей (непроизводных элементов цифрового изображения).

В числе широко используемых признаков классификации объектов применяются характеристики формы, размеров, цвета, контраста, текстуры [8, 9].

При проектировании информационно-измерительных систем диагностики острых лейкозов в описании изображений структуры хроматина ядер клеток применяют текстурный анализ - пространственно-яркостная организация элементов изображения или видимый рисунок (узор) на поверхности материала.

Текстура содержит информацию о пространственном распределении тональных вариаций пикселей.

Предложено [10] использовать ряд расчетных характеристик на основе матриц пространственной смежности - текстурных признаков - матрицы Харалика.

Подтверждено успешное использование некоторых из указанных текстурных признаков в качестве признаков классификации для распознавания клеток крови и костного мозга [11].

Но для разных типов клеток, имеющих сходный внешний вид на микроскопических изображениях, например, для бластных клеток Т и В типов, результаты автоматической классификации недостаточно точны [12].

Поэтому актуальны способы построения информативных признаков для повышения точности классификации.

Перспективен способ повышение точности классификации на основе анализа матрицы пространственной смежности (МПС) - расстояний смежности и направлений смежности - на значения текстурных признаков бластных клеток В и Т типов.

Для анализа применяются МПС для единичного расстояния смежности, а в качестве направлений смежности рассматриваются совместно вертикальные и горизонтальные направления.

ОЛЛ представляют собой гетерогенную группу опухолевых заболеваний системы кроветворения. Они характеризуются поражением костного мозга и крови патологическими бластами. Диагностика острых лейкозов (ОЛ) базируется на комплексной характеристике бластов. При этом применяются морфологические, цитохимические и иммунофенотипические методы изучения клеток [Френкель М.А., в кн. «Клиническая онкогематология» под редакцией проф. М.А. Волковой, Москва, «Медицина», 2007 г., стр. 306-319, Тупицын Н.Н., в кн. «Клиническая онкогематология» под редакцией проф. М.А. Волковой, Москва, «Медицина», 2007 г., стр. 338-370]. Каждый из этих подходов характеризует отдельные особые свойства бластов. Совокупность полученных данных является основанием для диагностики ОЛЛ и их вариантов.

Морфологический метод исследования заключается в изучении окрашенных препаратов крови и костного мозга с подсчетом числа бластов в процентах к общему числу клеток. В крови подсчитывается 200 клеток, в костном мозге 500 клеток двумя независимыми экспертами. При этом учитываются размер и форма клеток, очертания ядер, особенности структуры хроматина, ядерно-цитоплазматическое отношение и наличие включений в цитоплазму. Морфологический подход не дает возможности во многих случаях установить природу бластов в связи с их значительной гетерогенностью.

Цитохимическое исследование включает анализ маркеров гранулоцитарного и моноцитарного рядов гемопоэза. Они позволяют отдифференцировать ОЛЛ от миелоидных лейкозов. Однако этот метод не является адекватным в части случаев лейкозов.

Иммунофенотипическое исследование основано на изучении антигенной структуры бластов с помощью проточной цитофлюорометрии. Использование широкого набора диагностических антител позволяет определить направленности дифференцировки и установить стадию созревания бластов. Анализ результатов иммунофенотипирования, с учетом морфологических и цитохимических показателей дает основание определить гистогенез и этап дифференцировки бластов при ОЛЛ.

Делаются попытки расширить характеристику клеток крови и костного мозга при лейкозах с помощью автоматических систем. Однако ошибки достигают уровня 30-40%. Отсутствуют достоверные данные по возможности одновременной морфологической и иммунофенотипической характеристики бластов на окрашенных мазках с целью диагностики вариантов ОЛЛ.

Известен «Способ распознавания изображения текстуры клеток» [Патент RU 2385494]. Данный способ анализа изображения текстуры объекта для выявления патологии, включающий определение текстурных признаков объекта, которое состоит в том, что осуществляют предобработку полученных изображений объекта посредством сегментации на основе анализа в цветовом пространстве информативных с точки зрения текстурных признаков областей изображения объекта, определяемых выбранным размером окна, шагом и направлением просмотра изображения объекта, производят вычисления значений для текстурных признаков и формирования матриц чисел и осуществляют идентификацию и классификацию объекта, при этом текстурные признаки определяют для изображений клеток крови, предобработку полученных изображений объекта посредством сегментации осуществляют на основе кластерного анализа в цветовом пространстве, в качестве информативных с точки зрения текстурных признаков областей изображения объекта используют выделение изображений ядер клеток, наиболее информативные признаки для классификации определяют автоматически на основе обучающих выборок из предварительно созданных баз изображений, классифицированных экспертами и содержащих клетки каждого типа (бластные, лимфоциты), на основе которых производят идентификацию и классификацию, преобразуют пиксели изображения в различные цветовые пространства, вычисляют матрицу пространственной смежности, после чего на основании вычисленных значений текстурных признаков осуществляют классификацию (распределение по общим признакам) в пространстве текстурных признаков: энергия, момент инерции, максимальная вероятность, локальная однородность, энтропия, след НМПС, среднее значение яркости, корреляция значений яркости изображения.

Однако указанный способ не обеспечивает в условиях близких кластеров описания лейкоцитов с различным иммунологическим статусом, актуализации баз данных и пополнения данными экспертов, повышения доли заболеваний, выявляемых на ранней стадии, что является одной из приоритетных задач онкологии в условиях совершенствования современных видов диагностики и терапии с контролем их эффективности.

Известен так же метод компьютерного распознавания и классификации аномальных клеток крови и программное обеспечение для его реализации [ES 2428215 А1]. В решении предложен метод, который выполняет классификацию клеток на основе методов автоматизированной обработки и анализа проб крови, что включает получение цифровых изображений аномальных клеток крови из мазков крови. Сегментация этих цифровых изображений аномальных клеток включает регионы ядра, цитоплазмы и внешней области фона вокруг клетки. По ним вычисляются внутренние морфологические характеристики каждого из этих регионов ядра, цитоплазмы и внешней области клетки. Автоматическое распознавание и классификация аномальных клеток крови проводится на основе характеристик, рассчитанных для этих регионов. Такие аномальные клетки классифицируются для помощи в диагностике при гематологических заболеваниях. Предложенное изобретение включает компьютерные программы, адаптированные для выполнения некоторых этапов изобретения.

В решении рассмотрены методы предобработки. Соответствующие процедуры не увеличивают информацию, присутствующую в данных, но увеличивают динамический диапазон свойств изображения для облегчения обработки. Некоторые методы предварительной обработки, которые могут использоваться, включают фильтрацию изображений путем применения фильтров: Гаусса, медианного, Винера, с целью уменьшения уровня шума. В рассматриваемом подходе применяются препараты, окрашенные по методике Май-Грюнвальд-Гимза. Окраска препарата позволяет лучше определить цвет для определения лучших компонент для сегментации. В решении при сегментации используется два варианта: первый -сегментация контуров методом обнаружения контуров по компоненте Н цветового пространства HSV, второй - группировка и преобразование. Процедура описания аномальных клеток осуществляется по текстурным характеристикам в цветовом пространстве Lab. Классификация осуществляется на основе метода главных компонент. Доля клеток, неправильно классифицированных, составила 1,93%.

Однако предложенное решение не обеспечивает выявления наличия лейкемических клеток, морфологически сходных с лимфобластами в крови или костном мозге, для проведения дифференциальной диагностики с другими лимфопролиферативными заболеваниями, установление взаимосвязи морфологических и текстурных характеристик изображений клеток крови и костного мозга с экспрессией ключевых антигенов острых лимфобластных лейкозов при первичной диагностике, в рецидиве, в ремиссии и в ходе анализа минимального числа опухолевых клеток при остаточной болезни в онкологии.

Известен Способ распознавания структуры ядер бластов крови и костного мозга с применением световой микроскопии в сочетании с компьютерной обработкой данных для определения В- и Т-линейных острых лимфобластных лейкозов [RU 2659 217], заключающийся в получении компьютерным анализатором цветного изображения с мазков, последующем выделении на изображении лейкоцитов и получении бинарного изображения, на котором последовательным сканированием изображения проводят процедуру заполнения пустот внутри границы клетки, измеряют пространственно-яркостное распределение пикселей изображения и определяют значение текстурных признаков, характеризующих структуру ядра, для представлений цветовых моделей лейкоцитов, на основе которых формируют матрицу числовых текстурных признаков структуры ядра, где по столбцам располагают значения признаков, а по строкам изображения лейкоцитов, для распознавания структуры ядер бластов. Изображение получают с мазков крови или костного мозга. Выделение изображений лейкоцитов осуществляют по гистограмме в автоматическом режиме с последующим анализом выделенных областей и разделением их с использованием трансформации расстояний и роста регионов. Процедуру заполнения пустот внутри области изображения лейкоцита осуществляют по бинарному изображению с использованием медианного фильтра. Процедуру заполнения пустот внутри области изображения лейкоцита осуществляют на основе анализа связанных областей. Расчет текстурных признаков осуществляется для всех компонент цветовых моделей из ряда RGB, XYZ,

HSL, Lab, Luv, LHC, HLS, HSV, YUV, YIQ, YCbCr, CMY. Расчет текстурных признаков производят по матрице пространственной смежности, матрицы длин серий и вейвлет-характеристик.

Недостаток известного способа заключается в следующем: Т и В класс определяется по среднему от бластных клеток всего препарата (не менее 100 клеток в выборке), а не для отдельных клеток. Например, если в препарате бластных клеток мало (что типично при диагностике минимальной остаточной болезни) точность распознавания будет низкая и, соответственно, будет низкая достоверность результатов диагностики заболевания.

Сущность изобретения

Задача настоящего изобретения состоит в повышении достоверности результатов диагностики заболевания.

Технический результат изобретения заключается в обеспечении повышения точности диагностики за счет использования признаков, определяемых для различных расстояний смежности, позволяющих достигать наибольшую, близкую к абсолютной, информативность для этих признаков, что приводит к повышению точности распознавания типов клеток, возможности дифференцировать подходы к терапии онкологических больных, повышению качества медицинского обслуживания населения.

Технический результат достигается за счет того, что в способе распознавания структуры ядер бластов крови и костного мозга для диагностики В- и Т-линейных острых лимфобластных лейкозов (ОЛЛ), согласно которому получают цветное изображение мазков крови и/или костного мозга, используя компьютерный анализатор, выделяют на изображении лейкоциты и получают их бинарное изображение, на бинарном изображении лейкоцитов последовательным сканированием проводят процедуру заполнения пустот, измеряют пространственно-яркостное распределение пикселей изображения и определяют значение текстурных признаков, характеризующих структуру ядра, для представлений цветовых моделей лейкоцитов, на основе текстурных признаков формируют матрицу числовых текстурных признаков структуры ядра, в столбцах которой указаны значения текстурных признаков, а в строках приведены изображения лейкоцитов, используемые для распознавания структуры ядер бластов, проводят определение значений текстурных признаков, характеризующих структуру ядра лейкоцитов, осуществляют для четырех направлений смежности, при этом текстурный признак «локальная однородность» для красного компонента цветного изображения определяют с использованием расстояний смежности в одиннадцать пикселей, текстурный признак «момент инерции» для красного компонента цветного изображения путем расчета для расстояния смежности в два пикселя, текстурный признак «момент инерции» для синего компонента цветного изображения определяют с использованием расстояний смежности в семь пикселей, текстурный признак «энтропия» для синего компонента цветного изображения определяют с использованием расстояний смежности в шесть пикселей, и текстурный признак «энергия» для синего компонента цветного изображения определяют с использованием расстояний смежности в шесть пикселей.

Технический результат усиливается за счет того, что выделение изображений лейкоцитов проводят по гистограмме в автоматическом режиме с последующим анализом выделенных областей и разделением их с использованием трансформации расстояний и роста регионов.

Процедуру заполнения пустот внутри области изображения лейкоцита осуществляют по бинарному изображению внутри области изображения лейкоцита с использованием медианного фильтра.

Процедуру заполнения пустот внутри области изображения лейкоцита осуществляют на основе анализа связанных областей.

Расчет текстурных признаков осуществляется для всех компонент цветовых моделей из ряда RGB, XYZ, HSL, Lab, Luv, LHC, HLS, HSV, YUV, YIQ, YCbCr, CMY.

Расчет текстурных признаков рассчитывают по матрице пространственной смежности, матрицы длин серий и вейвлет-характеристик.

Описание графических материалов

Представленный способ проиллюстрирован графическими материалами:

фиг. 1 представляет пример искусственной текстуры -изображение черно-белых полос с шириной - черной полосы 5 пикселей и белой полосы 15 пикселей; и пример естественных текстур - изображения ядер бластных клеток Т и В-типа,

на фиг. 2 изображены зависимости текстурных характеристик с направлением смежности «справа» для красной компоненты цифрового изображения с искусственной текстурой от расстояния смежности,

на фиг. 3 приведены зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток Т- и В-типа,

фиг. 4 представляет зависимость коэффициента информативности текстурного признака «локальная однородность» от расстояния смежности для трех цветовых компонент и трех типов направлений смежности, и

фиг. 5 - зависимость коэффициента информативности текстурных признаков для красной компоненты при четырех направлениях смежности.

На фигурах графических материалов приняты следующие обозначения:

1 - пример искусственной текстуры - изображение черно-белых полос с шириной - черной полосы 5 пикселей и белой полосы 15 пикселей,

2 - пример естественных текстур - изображения ядер бластных клеток Т-типа,

3 - пример естественных текстур - изображения ядер бластных клеток В-типа.

4 - зависимость текстурных характеристик с направлением смежности «справа» для красной компоненты цифрового изображения с искусственной текстурой от расстояния смежности - энтропия,

5 - зависимость текстурных характеристик с направлением смежности «справа» для красной компоненты цифрового изображения с искусственной текстурой от расстояния смежности - локальная однородность,

6 - зависимость текстурных характеристик с направлением смежности «справа» для красной компоненты цифрового изображения с искусственной текстурой от расстояния смежности - максимальная вероятность,

7 - зависимости текстурных характеристик с направлением смежности «справа» для красной компоненты цифрового изображения с искусственной текстурой от расстояния смежности: - момент инерции,

8 - зависимости текстурных характеристик с направлением смежности «справа» для красной компоненты цифрового изображения с искусственной текстурой от расстояния смежности - энергия.

9 - зависимость средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток Т-типа- энтропия;

10 - зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток В-типа - энтропия;

11 - зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток Т-типа - локальная однородность;

12 - зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток Т- типа - момент инерции;

13 - зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток В-типа - момент инерции;

14 - зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток Т-типа - максимальная вероятность;

15 - зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток Т-типа - энергия,

16 - зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток В-типа - энергия,

17 - зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток В-типа - максимальная вероятность;

18 - зависимости средних значений текстурных характеристик от расстояния смежности при четырех направлениях смежности для красной компоненты изображений с естественной текстурой - ядер бластных клеток В-типа - локальная однородность;

24 - зависимость коэффициента информативности текстурного признака «локальная однородность» для синей компоненты для восьми направлений смежности,

21 - зависимость коэффициента информативности текстурного признака «локальная однородность» для красной компоненты и восьми направлений смежности,

20 - зависимость коэффициента информативности текстурного признака «локальная однородность» для красной компоненты и четырех,

19 - зависимость коэффициента информативности текстурного признака «локальная однородность» для красной компоненты и одного направления смежности,

23 - зависимость коэффициента информативности текстурного признака «локальная однородность» для синей компоненты и, четырех и восьми направлений смежности,

22 - зависимость коэффициента информативности текстурного признака «локальная однородность» для синей компоненты и одного направления смежности,

26 - зависимость коэффициента информативности текстурного признака «локальная однородность» для зеленой компоненты и направлений смежности,

27 - зависимость коэффициента информативности текстурного признака «локальная однородность» для зеленой компоненты и восьми направлений смежности,

25 - зависимость коэффициента информативности текстурного признака «локальная однородность» для зеленой компоненты и одного, направленияя смежности,

28 - зависимость коэффициента информативности текстурных признаков для красной компоненты при четырех направлениях смежности - момент инерции,

29 - зависимость коэффициента информативности текстурных признаков для красной компоненты при четырех направлениях смежности - локальная однородность,

30 - зависимость коэффициента информативности текстурных признаков для красной компоненты при четырех направлениях смежности - максимальная вероятность,

31 - зависимость коэффициента информативности текстурных признаков для красной компоненты при четырех направлениях смежности - энергия,

32 - зависимость коэффициента информативности текстурных признаков для красной компоненты при четырех направлениях смежности - энтропия.

d - расстояние смежности,

U - нормализованное значение текстурной характеристики.

Пример реализации способа и результаты экспериментальных исследований

Цель - исследовать влияние параметров построения матрицы пространственной смежности (типа цветовой компоненты цветного изображения, расстояния и направлений смежности) на информативность текстурных признаков при решении задач распознавания бластных клеток В и Т типов в информационно-измерительных системах диагностики острых лейкозов.

Объектами экспериментального исследования выступали изображения искусственных и естественных текстур.

В качестве примера искусственной текстуры рассматривалось изображение черно-белых полос с шириной - черной полосы 5 пикселей и белой полосы 15 пикселей (1). Примерами естественных текстур служили изображения ядер бластных клеток Т и В типа (2, 3).

Для получения изображений клеток использовались препараты костного мозга, полученные от пациентов с В- и Т-клеточным острым лимфобластным лейкозом.

Препараты костного мозга для компьютерной микроскопии были приготовлены в Лаборатории иммунологии гемопоэза Национального медицинского исследовательского центра онкологии им. Н.Н. Блохина.

Цифровые изображения получены с помощью цифровой камеры Imperx IPX-4M15T-GCFB и биологического светового микроскопа Olympus ВХ-41.

Съемка цифровых микроскопических изображения клеток на препаратах костного мозга на предметном стекле выполнялось с применением объектива с масляной иммерсией и кратностью увеличения 100 крат.

Формат цифрового изображения 2048×2048 пикселей.

Цветовое кодирование выполнялось в RGB цветовой модели. Глубина кодирования в каждой из цветовых компонент 8 бит.

Оценка информативности текстурных признаков осуществлялась по выборке цветных цифровых микроскопических изображений ядер бластных клеток Т и В типов (по 100 клеток каждого типа).

Цифровые изображения обрабатывались специально разработанной на языке С++ компьютерной программой, в которой реализован алгоритм расчета текстурных признаков - энергии, локальной однородности, энтропии, момента инерции, максимальной вероятности отдельно для каждой из трех цветовых компонент R - красной, G - зеленой и В - синей с разными значениями расстояния смежности и направлений смежности:

- энергия,

- момент инерции,

- локальная однородность,

- энтропия,

MPR(d, v) = max (P(i, j, d, v)) - максимальная вероятность.

Здесь P(i, j, d, v) - нормализованная матрица пространственной смежности,

i, j - признакы элементов матрицы,

d - расстояние смежности и

v - номер варианта набора, принимаемых в расчет направлений смежности.

N - число возможных градаций яркости цифрового изображения (для кодированного 8 битами изображения число возможных градаций яркости составляет 256).

Расстояние смежности - минимальное число шагов, которые необходимо сделать, для того чтобы перейти от первого пикселя в паре смежных пикселей ко второму.

Под шагом понимается переход от рассматриваемого пикселя к пикселю, соприкасающемуся с ним по грани, либо в одной из вершин квадрата, представляющего пиксель цифрового изображения.

Для соприкасающихся пикселей расстояние смежности равно единице.

Возможны разные варианты наборов направлений, по которым рассматриваются смежные пиксели, в работе рассматривается три: первый вариант - один смежный пиксель по направлению справа; второй вариант - четыре смежных пикселя по направлениям слева, справа, сверху и снизу (совместно по горизонтали и вертикали); третий вариант - восемь смежных пикселей - по горизонтали, вертикали и двум диагоналям квадратной окрестности пикселя.

P(i, j, d ,v) получается из матрицы пространственной смежности (МПС) H(i, j, d, v):

Нормализация необходима, чтобы текстурные признаки не зависели от размера области исследуемой текстуры.

Элемент МПС H(i, j, d, v) показывает, сколько в изображении имеется пар пикселей, у которых яркость первого пикселя в паре равна i, а яркость второго пикселя в паре равна j, при этом пиксели находятся на расстоянии смежности d, а направления смежности представлены набором вариантов под номером v.

С точки зрения точности классификации клеток по типам важно не абсолютное значение текстурной характеристики клетки, а в какой степени это значение для одного типа клеток отличается от его значения для другого типа клеток. Для оценки такого различия в нашей работе использовался коэффициент информативности текстурного признака:

K=|M₁-M₂| / (1,6*(S₁+S₂)).

Здесь М₁ и М₂ средние значения текстурного признака для изображений клеток первого и второго класса соответственно,

S₁ и S₂ - среднеквадратические отклонения текстурных характеристик первого и второго класса соответственно.

Целесообразность применения такого показателя информативности обусловлена опытом кафедры компьютерных медицинских систем Национального исследовательского ядерного университета МИФИ и Лаборатории иммунологии гемопоэза Национального медицинского исследовательского центра онкологий им. Н.Н. Блохина в решении практических задач автоматизации диагностики острых лейкозов.

Цель экспериментальных исследований - практическое исследование текстурных признаков на изображениях двух категорий - с искусственной и естественной текстурой.

Целесообразность выбора искусственной текстуры с однотипными структурными элементами простой формы (однотонные линии на однотонном фоне) объясняется необходимостью выявить зависимость текстурных признаков от соотношения размеров структурных элементов изображения и параметра расстояния смежности, использованного при построении МПС.

Методика экспериментальных исследований включает три этапа.

1. Формирование выборки изображений для программной обработки.

2. Выполнение компьютерной обработки изображений.

3. Анализ результатов компьютерной обработки изображений с практическими рекомендациями по выбору признаков для системы классификации В и Т бластных клеток костного мозга при диагностике острых лейкозов.

Первый этап зависит от типа текстуры - естественной или искусственной. Для искусственной текстуры выборка изображений представлена изображением вертикальных черно-белых полос (1).

Для естественных текстур выборка составлена из 100 изображений ядер Т-бластных клеток (2) и 100 изображений ядер В-бластных клеток (1, 2, 3).

Перед вычислением МПС выполняется предварительная обработка микроскопических изображений препаратов костного мозга с целью выделения ядра клетки, чтобы обеспечить вычисление МПС только для внутренней области ядра.

На втором этапе для каждого изображения из подготовленной на первом этапе выборки выполняется компьютерная обработка изображения по следующему алгоритму.

В программе для каждого цифрового цветного изображения формируется три полутоновых изображения (в градациях серого) - для красной, зеленой, синей цветовых компонент. Для каждого изображения компоненты проводится формирование МПС с разными параметрами расстояния смежности и направлений смежности (по трем типам вариантов направлений смежности). Затем производится расчет текстурных признаков по вышеприведенным формулам.

Третий этап зависит от типа исследуемых текстур и связан с выполнением следующих процедур:

- для изображения искусственной текстуры строится график зависимости исследуемых пяти текстурных признаков (энергия, энтропия, локальная однородность, максимальная вероятность, момент инерции) от расстояния смежности в диапазоне от 1 до 40 пикселей для красной компоненты изображения для одного направления смежности (справа).

Другие направления смежности здесь не рассматриваются, так как в этих направлениях нет изменений яркости и текстурные признаки не изменяются с изменением расстояния смежности.

Поскольку изображение представлено двумя цветами - черным и белым, то для зеленой и синей компонент результаты анализа идентичны таковым для красной компоненты.

По графикам оценивается область изменений признаков в зависимости от расстояния смежности и соотносится с периодом структурных элементов и их размером на изображении искусственной текстуры;

- для изображений естественных текстур отдельно в каждой из выборок изображений В- и Т-типов бластных клеток (по 100 клеток) проводится расчет средних значений и среднеквадратических отклонений текстурных признаков;

- для Т и В клеток строятся графики зависимости средних значений исследуемых пяти текстурных признаков от расстояния смежности в диапазоне от 1 до 40 пикселей для красной, зеленой и синей компонент изображений для трех вариантов направлений смежности.

- на основе средних значений и среднеквадратических отклонений текстурных признаков определяется коэффициент информативности и строятся графики зависимости коэффициента информативности текстурных признаков от расстояния смежности для каждой из цветовых компонент RGB для трех вариантов направлений смежности;

- проводится анализ влияния параметров матрицы пространственной смежности (типа цветовой компоненты, расстояния и направлений смежности) на информативность текстурных признаков при решении задач распознавания бластных клеток В- и Т-типов в информационно-измерительных системах диагностики острых лейкозов;

- определяются следующие показатели текстурного анализа: наибольшая информативность текстурных признаков в задаче разделения бластных клеток на В и Т типы; цветовая компонента, при которой текстурные признаки демонстрируют лучшую информативность в сравнении с одноименными текстурными признаками для других цветовых компонент, оценивается наличие локальных максимумов информативности текстурных признаков.

Полученные данные могут служить рекомендациями для выбора признаков классификации в информационно-измерительных системах диагностики острых лейкозов.

Анализ результатов. На Фиг. 2 представлен график зависимости текстурных характеристик с направлением смежности «справа» для красной компоненты от расстояния смежности для изображения с искусственной текстурой.

Для изображения с искусственной текстурой при расстояниях смежности кратных 20 пикселям наблюдаются локальные экстремумы в значениях характеристик, что отражает наличие периодичности в расположении структурных элементов искусственной текстуры. Резкое изменение значений признаков в диапазонах расстояний смежности Фиг. 2 (d=1…5, d=15…20, d=…21-25 b т.д.) отражает характерный размер текстурного элемента в изображении - ширину черной линии 5 пикселей.

Для естественных текстур, соответствующих реальным изображениям ядер бластных клеток Т и В типов, при изменении расстояния смежности в начале графика наблюдается резкое изменение признака, затем изменения становятся меньше, но локальных экстремумов не наблюдается (Фиг. 3).

Это свидетельствует о том, что в естественной текстуре, представленной изображениями ядер бластных клеток отсутствуют периодически расположенные структурные элементы. В то же время самое резкое изменение признаков отмечается в диапазоне расстояний смежности от 1 до 11 пикселей. При использовании разных типов признаков изменение составило от 20% до 1700%.

Перелом в тенденции зависимости наблюдается в области от 5 до 11 пикселей. Следовательно можно считать, что статистически значимый характерный пространственный размер текстурных элементов на изображении структуры хроматина ядер бластных клеток В- и Т-типа не превышает 11 пикселей.

Анализ коэффициентов информативности текстурных признаков для красной, зеленой и синей цветовых компонент цифровых изображений ядер бластных клеток показал, что в рамках каждой из указанных цветовых компонент среди всех рассмотренных текстурных признаков максимальное значение имеет локальная однородность, при этом для зеленой компоненты максимум достигается при четырех направлениях смежности и одном пикселе расстояния смежности (К=0,48), для синей компоненты - при восьми направлениях смежности и одном пикселе расстояния смежности (К=0,47), для красной компоненты - для четырех направлений смежности и 11 пикселях расстояния смежности (К=0,43).

На Фиг. 4 представлена зависимость коэффициента информативности текстурного признака «локальная однородность» от расстояния смежности для трех цветовых компонент и трех типов направлений смежности.

Анализ влияния на текстурные признаки выбора типа направлений смежности показывает, что для красной и зеленой компоненты максимальные значения коэффициента информативности достигаются при расчете МПС для четырех направлений смежности. Для синей компоненты максимальный коэффициент информативности наблюдается для восьми направлений смежности, превышая этот показатель для четырех направлений смежности на 1,3%, а для одного направления смежности на 11%. Если рассматривать отдельно произвольный текстурный признак, то его коэффициенты информативности для разных типов направлений смежности имеют сходную тенденцию в изменениях в зависимости от расстояния смежности. При этом коэффициент информативности для одного направления смежности как правило меньше аналогичных показателей для четырех и восьми направлений смежности. Учитывая незначительные различия коэффициентов информативности восьми направлений смежности и четырех направлений смежности, а также меньшие вычислительные затраты при четырех направлениях смежности можно рекомендовать при расчете МПС использовать четыре направления смежности.

Как видно на графике (фиг. 4) зависимости коэффициента информативности текстурного признака «локальная однородность» для красной компоненты (фиг. 4) коэффициент достигает максимума при расстоянии смежности 11 пикселей. Для зеленой компоненты этого же текстурного признака при расстоянии смежности 11 пикселей и четырех направлениях смежности наблюдается локальный максимум.

На Фиг. 5 представлена зависимость коэффициента информативности текстурных признаков для красной компоненты четырех направлений смежности. Для расстояний смежности от одного до семи пикселей максимальное значение имеет коэффициент информативности текстурного признака «момент инерции» (от 0,35 до 0,42). Следует отметить, что для текстурных признаков «момент инерции», «энергия», «энтропия» наблюдаются локальные максимумы для расстояний смежности 10, 10 и 8 пикселей соответственно.

Анализ графиков на фиг. 4 и фиг. 5 свидетельствует о том, что пространственные взаимоотношения элементов изображений ядер бластных клеток на расстояниях 8-11 пикселей значимы для разделения клеток на В и Т типы. Этот вывод коррелируется и с анализом Фиг. 2, на основе которого выявлено, что характерный средний размер текстурного элемента на изображениях бластных клеток не превышает 11 пикселей.

Анализ зависимости исследованных текстурных характеристик изображений структуры хроматина бластных клеток В и Т типов от расстояния смежности выявил следующие особенности:

- наибольшая информативность среди исследованных текстурных признаков в задачах распознавания бластных клеток В и Т типа в препаратах костного мозга наблюдается для признака «локальная однородность» для зеленой цветовой компоненты цветного изображения (коэффициент информативности 0,48);

- большинство текстурных признаков цифрового изображения с одинаковыми расстояниями смежности более информативно для красной компоненты по сравнению с зеленой и синей компонентами (исключение составляет признак локальная однородность, который более информативен для зеленой компоненты при расстоянии смежности в один пиксель и синей компоненты для расстояний смежности от одного до восьми пикселей);

- коэффициенты информативности большинства из рассматриваемых текстурных признаков имеют тенденцию уменьшения с ростом расстояния смежности (при наличии локальных максимумов). Исключение составляют два случая. Первый - коэффициент информативности признака локальной однородности красной цветовой компоненты в начале уменьшается, потом растет, достигая абсолютного максимума при расстоянии смежности в 11 пикселей (К=0,43). Второй случай - для всех текстурных характеристик синей цветовой компоненты, за исключением локальной однородности, наблюдается увеличение в начале с достижением абсолютного максимума при расстоянии смежности в диапазоне от 6 до 11 пикселей (К равно от 0,2 до 0,3).

Результаты анализа влияния параметров матрицы пространственной смежности (расстояния и направлений смежности) на информативность текстурных признаков могут выступать в качестве основы формирования оптимального набора текстурных признаков при разработке моделей распознавания бластных клеток В и Т типов в информационно-измерительных системах диагностики острых лейкозов.

Выявлено, что информативность признаков существенно зависит от расстояния смежности и достигает максимума при разных расстояниях смежности у разных цветовых компонент. Показано, что локальные максимумы в зависимости информативности признаков от расстояния смежности связаны с характерными размерами текстурных элементов в исследуемых объектах. На цифровых микроскопических изображениях ядер бластных клеток костного мозга В и Т типов определен характерный средний размер текстурных элементов в одиннадцать пикселей.

Отмечено, что разные цветовые компоненты различно влияют на информативность признаков и каждая цветовая компонента по своему вносит вклад в решение задачи распознавания объектов на цветных изображениях.

Экспериментальные исследования подтвердили, что информативность признаков существенно зависит от расстояния смежности и достигает максимума при разных расстояниях смежности у разных цветовых компонент. Показано, что локальные максимумы в зависимости информативности признаков от расстояния смежности связаны с характерными размерами текстурных элементов в исследуемых объектах. На цифровых микроскопических изображениях ядер бластных клеток костного мозга В и Т типов определен характерный средний размер текстурных элементов в одиннадцать пикселей.

Отмечено, что разные цветовые компоненты различно влияют на информативность признаков и каждая цветовая компонента по своему вносит вклад в решение задачи распознавания объектов на цветных изображениях.

Выявлено, что информативность признаков существенно зависит от расстояния смежности и достигает максимума при разных расстояниях смежности у разных цветовых компонент. Показано, что локальные максимумы в зависимости информативности признаков от расстояния смежности связаны с характерными размерами текстурных элементов в исследуемых объектах. На цифровых микроскопических изображениях ядер бластных клеток костного мозга В и Т типов определен характерный средний размер текстурных элементов в одиннадцать пикселей.

Отмечено, что разные цветовые компоненты различно влияют на информативность признаков и каждая цветовая компонента по своему вносит вклад в решение задачи распознавания объектов на цветных изображениях.

Полученные в работе результаты могут быть использованы и развиты при проектировании современных и перспективных информационно-измерительных систем онкогематологии.

Проведение распознавания структуры ядер бластов крови и костного мозга для диагностики В- и Т-линейных острых лимфобластных лейкозов в соответствии с представленным способом позволяет существенно повысить достоверность результатов диагностики заболеваний.

Литература

1 Гематология: руководство для врачей / Под ред. Н. Н. Мамаева. - СПб.: СпецЛит. 2019. - С. 639.

1. Самородов А.В. Биотехнические системы автоматизированной микроскопии цитологических препаратов // Медицинская техника. 2018. №6. с. 17-19.

2. Sahlol А.Т., Kollmannsberger P., Ewees А.А. Efficient classification of white blood cell leukemia with improved swarm optimization of deep features // Scientific Reports. - 2020. - Vol.10, no. 1. - pp. 1-11.

3. Kutlu H., Avci E., Ozyurt F. White blood cells detection and classification based on regional convolutional neural networks // Medical hypotheses. 2020. Vol. 135. P. 109472.

4. Черных E.M., Михелев B.M. Компьютерная система классификации лейкоцитов на изображениях клеток крови // Научный результат. Информационные технологии. Т .4. №3. 2019. с. 38-47.

5. Amin М., Kermani S., Talebi A., Oghli М. Recognition of acute lymphoblastic leukemia cells in microscopic images using k-means clustering and support vector machine classifier / // Journal of Medical Signals & Sensors. - 2015. - Vol. 5, no. 1. pp. 49-58.

6. Никитаев В.Г. Высокотехнологичные информационно-измерительные комплексы онкологической диагностики: проблемы и ключевые положения методологии построения. Измерительная техника. 2015. №2. С.68-70.. https://doi.org/ 10.1007/sl 1018-015-0688-0

7. Прэтт У. Цифровая обработка изображений: Пер, с англ, - М,: Мир, 1982, Кн, 2 -480 с.

8. Пантелеев В.Г., Слаев В.А., Чуновкина А.Г. Метрологическое обеспечение анализаторов изображений. // Измерительная техника. 2008. №1. С. 67-71. https://doi.org/10.1007/sl 1018-008-0019-9

9. Haralick R.M. Statistical and Structural Approach to Texture. Proceedings of the IEEE, vol. 67, №5, may 1979.

10. Дмитриева В.В., Тупицын Н.Н. Поляков Е.В., Самсонова А.Д. Исследование эффективности классификации изображений клеток костного мозга в компьютерных системах диагностики острых лейкозов и минимальной остаточной болезни // Моделирование, оптимизация и информационные технологии. 2020. Т, 8. №3. с. 1-9.

11. В.Г. Никитаев, Н.Н. Тупицын, А.Н. Проничев, Е.В. Поляков, В.В.Дмитриева, O.А. Чернышева, И.Н. Серебрякова, А.Д. Палладина Технологии искусственного интеллекта в диагностике острых лимфобластных лейкозов и минимальной остаточной болезни. // Медицинская техника. 2020. №5. с. 42-44. https://doi.org/10.1007/sl0527-021-10038-6

12. Nikitaev V.G., Pronichev A.N., Polyakov E.V., Chernysheva О.A., Serebryakova I.N., Tupitsyn N.N. Bone marrow cells recognition methods in the diagnosis of minimal residual disease // Procedia Computer Science. 2020. V. 169. PP. 353-358.

Изобретение относится к области медицины и может быть использовано для распознавания структуры ядер бластов крови и костного мозга с применением световой микроскопии в сочетании с компьютерной обработкой данных. Согласно изобретению получают цветное изображение мазков крови и/или костного мозга, используя компьютерный анализатор, выделяют на изображении лейкоциты и получают их бинарное изображение, на бинарном изображении лейкоцитов последовательным сканированием проводят процедуру заполнения пустот, измеряют пространственно-яркостное распределение пикселей изображения и определяют значение текстурных признаков, характеризующих структуру ядра, для представлений цветовых моделей лейкоцитов, на основе текстурных признаков формируют матрицу числовых текстурных признаков структуры ядра, в столбцах которой указаны значения текстурных признаков, а в строках приведены изображения лейкоцитов, используемые для распознавания структуры ядер бластов. Определение значений текстурных признаков, характеризующих структуру ядра лейкоцитов, осуществляют для четырех направлений смежности, при этом текстурный признак «локальная однородность» для красного компонента цветного изображения определяют с использованием расстояний смежности в одиннадцать пикселей, текстурный признак «момент инерции» для красного компонента цветного изображения определяют путем расчета для расстояния смежности в два пикселя, текстурный признак «момент инерции» для синего компонента цветного изображения определяют с использованием расстояний смежности в семь пикселей, текстурный признак «энтропия» для синего компонента цветного изображения определяют с использованием расстояний смежности в шесть пикселей и текстурный признак «энергия» для синего компонента цветного изображения определяют с использованием расстояний смежности в шесть пикселей. Изобретение обеспечивает повышение достоверности постановки диагноза за счет использования признаков, позволяющих обеспечить высокую информативность. 5 з.п. ф-лы, 5 ил.

1. Способ распознавания структуры ядер бластов крови и костного мозга, согласно которому:

- получают цветное изображение мазков крови и/или костного мозга, используя компьютерный анализатор,

- выделяют на изображении лейкоциты и получают их бинарное изображение, на бинарном изображении лейкоцитов последовательным сканированием проводят процедуру заполнения пустот,

- измеряют пространственно-яркостное распределение пикселей изображения и определяют значение текстурных признаков, характеризующих структуру ядра, для представлений цветовых моделей лейкоцитов, на основе текстурных признаков формируют матрицу числовых текстурных признаков структуры ядра, в столбцах которой указаны значения текстурных признаков, а в строках приведены изображения лейкоцитов, используемые для распознавания структуры ядер бластов,

отличающийся тем, что определение значений текстурных признаков, характеризующих структуру ядра лейкоцитов, осуществляют для четырех направлений смежности, при этом

- текстурный признак «локальная однородность» для красного компонента цветного изображения определяют с использованием расстояний смежности в одиннадцать пикселей,

- текстурный признак «момент инерции» для красного компонента цветного изображения определяют путем расчета для расстояния смежности в два пикселя,

- текстурный признак «момент инерции» для синего компонента цветного изображения определяют с использованием расстояний смежности в семь пикселей,

- текстурный признак «энтропия» для синего компонента цветного изображения определяют с использованием расстояний смежности в шесть пикселей и

- текстурный признак «энергия» для синего компонента цветного изображения определяют с использованием расстояний смежности в шесть пикселей.

2. Способ по п. 1, отличающийся тем, что выделение изображений лейкоцитов проводят по гистограмме в автоматическом режиме с последующим анализом выделенных областей и разделением их с использованием трансформации расстояний и роста регионов.

3. Способ по п. 1, отличающийся тем, что процедуру заполнения пустот внутри области изображения лейкоцита осуществляют по бинарному изображению внутри области изображения лейкоцита с использованием медианного фильтра.

4. Способ по п. 1, отличающийся тем, что процедуру заполнения пустот внутри области изображения лейкоцита осуществляют на основе анализа связанных областей.

5. Способ по п. 1, отличающийся тем, что расчет текстурных признаков осуществляется для всех компонент цветовых моделей из ряда RGB, XYZ, HSL, Lab, Luv, LHC, HLS, HSV, YUV, YIQ, YCbCr, CMY.

6. Способ по п. 1, отличающийся тем, что расчет текстурных признаков проводят по матрице пространственной смежности, матрице длин серий и вейвлет-характеристик.