Интеллектуальный способ диагностики и обнаружения новообразований в легких Российский патент 2018 года по МПК A61B5/00 G06N3/02 

Изобретение относится к области искусственного интеллекта в медицине и предназначено для интеллектуальной диагностики рака легких. Широкое распространение курения в начале ХХ века привело к тому, что рак легких быстро занял позицию самого частого онкологического заболевания. В XXI веке ежегодно в мире рак легких регистрируется примерно у 1,3 млн. человек, более 1 млн. жителей планеты погибают от этого заболевания. В России выявляется 66000 новых случаев рака легких ежегодно, а умирает свыше 58000 больных.

В настоящее время с появлением новых взглядов на лечение проблемы диагностики онкологических заболеваний приобретают все большее значение. Одновременно успешное развитие новых методов искусственного интеллекта, а точнее, одной из его составляющих, машинного обучения, в сочетании с повышением производительности средств вычислительной техники, привели к стремительному росту интереса к этой области со стороны ученых, инженеров и исследователей. Результатом такого интереса явилось большое количество новых разработок, связанных с созданием интеллектуальных систем диагностики (ИСД) онкологических заболеваний, ориентированных, прежде всего, на их раннее выявление.

Опухоль в легком может быть определена как патологическое объёмное образование, имеющее примерно сферическую структуру. Критериями доброкачественности являются ровный, чёткий контур, отсутствие в структуре признаков некроза, наличие обызвествлений, отсутствие изменений в окружающей лёгочной ткани и плевре. Критерии злокачественности опухоли, напротив, определяются как совокупность признаков, характеризующих экспансивный инвазивный рост: неровный нечёткий контур образования, признаки некроза к структуре, наличие радиарных тяжей, как проявление местного лимфангита, тракция прилежащей плевры. Было разработано множество систем диагностирования онкологических заболеваний (СДО) для обеспечения успешного обнаружения опухолей легких и для более обоснованного принятия решения о начале лечения на ранней стадии заболевания. Многие СДО основаны на применении методов фильтрации для обнаружения новообразований в легких на основе серий сканов компьютерной томографии (КТ), которая признана золотым стандартом в диагностике рака легкого. Данные КТ представляются в виде трехмерных изображений в формате DICOM (Digital Imaging and Communication in Medicine). Исходно сведения содержат серию сканов как последовательность 2D-изображений, а интервал между этими 2D-изображениями называется Z-интервалом.

Детальный обзор современных методов обнаружения опухолей в легком и реализаций СДО можно найти в работе (Firmino M., Morais A.H., Mendoca R.M., Dantas M.R., Hekis H.R., Valentim R. Computer-aided detection system for lung cancer in computed tomography scans: review and future prospects. Biomedical engineering online, 13(1):41, 2014) и в работе (Rehman M.Z., Javaid M., Shah S.I.A., Gilani S.O., Jamil M., Butt S.I. An appraisal of nodules detection techniques for lung cancer in CT images. Biomedical Signal Processing and Control, 41:140-151, 2018). Как показано в обзоре серьезной проблемой этих СДО является относительно большое количество ложноположительных результатов, когда различные элементы легких распознаются как злокачественные новообразования, в то время как они таковыми не являются.

Чтобы решить эту проблему и «интеллектуализировать» процесс обнаружения злокачественных образований использовались многочисленные подходы на основе «неглубокого» обучения (Khosravan N. and Bagci U. Semi-supervised multi-task learning for lung cancer diagnosis // arXiv:1802.06181v1, Feb 2018). Многие предлагаемые в последние годы СДО используют также методы глубокого обучения, в том числе 2D и 3D сверточные нейронные сети (СНС) для решения задач классификации и сегментации. Несмотря на большой интерес к методам глубокого обучения, существует много путей использования обычных методов машинного обучения, которые дают лучшие результаты по сравнению с СДО, использующими СНС. Так в (Nithila E.E. and Kumar S.S. Automatic detection of solitary pulmonary nodules using swarm intelligence optimized neural networks on CT images // Engineering Science and Technology, an International Journal, 20(3):1192–1202, 2017) представлена методика, которая помогает сегментировать новообразования без применения методов глубокого обучения. Она использует деревья решений для классификации сегментированной области. В работе (Khosravan N. and Bagci U. Semi-supervised multi-task learning for lung cancer diagnosis // arXiv:1802.06181v1, Feb 2018) отмечается, что информация о КТ-морфологии (размер, объем, форма, контур, структура) играет ключевую роль в скрининге, диагностике и классификации. Эта информация может быть эффективно использована при выявлении рака легкого. Геометрические параметры новообразований широко использовались для их обнаружения и дальнейшей классификации методами опорных векторов, k ближайших соседей, деревьями решений.

Из уровня техники известен способ, основанный на применении методов машинного обучения для анализа генетических последовательностей (заявка WO2017065959, опубл. 20.04.2017 по классам МПК C12Q1/68, G06F19/20).

В патенте Китая № CN1462884, опубл. 24.12.2003 по классам МПК A61B5/00, G01N33/574, G06F19/00, заявлен способ распознавания изображений клеток рака легких с низкой ложноотрицательной вероятностью, включающий фотографирование участка патологической клетки цифровой камерой на оптическом микроскопе, подбор видеоизображения устройством съемки изображения, отправку его на компьютер, предварительную обработку и распознавание с помощью устройства распознавания изображения клеток рака легких, состоящего из двухстадийной нейронной сети.

В патенте № EP2362958, опубл. 07.09.2011 по классу МПК G06F19/00, заявлен способ классификации опухолей мелкоклеточной карциномы легкого и клеточных линий в соответствии с геномическими профилями, а также способы диагностики, прогнозирования клинических исходов и стратификации популяций пациентов для клинического тестирования и лечения.

В заявке WO201865525, опубл.12.04.2018 по классу МПК C12Q1/68, заявлен способ прогнозирования развития рака на базе анализа образцов ткани от пациентов, в частности рака предстательной железы. Способ позволяет идентифицировать потенциально агрессивные виды рака предстательной железы, требующие лечения, и виды рака, не требующие лечения. В изобретении предоставлены панели биомаркеров, полезные для диагностики и прогнозирования рака.

Техническая проблема заявляемого изобретения заключается в создании способа интеллектуального обнаружения и диагностики злокачественных новообразований в тканях легких на основе результатов исследований методом компьютерной томографии, не требующего больших затрат на лабораторные исследования, квалифицированных медицинских специалистов и позволяющего с высокой точностью и в кратчайшие сроки идентифицировать количество, расположение, структуру злокачественных новообразований.

Технический результат - снижение количества обнаруженных ложноположительных новообразований в легких.

Интеллектуальный способ обнаружения и диагностики злокачественных новообразований в легких, включающий обработку изображений легких пациента, полученных методом компьютерной томографии, в результате которой в графическом изображении маскируют воксели со значениями плотности по шкале Хаунсфилда, не соответствующими значениям плотности тканям легких, последующую сегментацию вокселей, расположенных на поверхности «кандидатов» новообразований, построение множества хорд, образованных комбинациями пар точек, находящихся в выделенных вокселях на поверхности «кандидатов» новообразований, построение гистограммы распределения длин хорд с приведением к максимальной длине хорды, построенной в границах каждого «кандидата» новообразования, формирование вектора признаков, включающего данные построенной гистограммы распределения длин хорд, среднее значение плотности по шкале Хаунсфилда каждого «кандидата» новообразования, общее количество вокселей в каждом «кандидате» новообразования, после чего по сформированному вектору признаков осуществляют классификацию каждого «кандидата» новообразования как истинного злокачественного новообразования с помощью алгоритма машинного обучения, реализующего функции классификатора.

В качестве алгоритма машинного обучения может быть использован классификатор «глубокий лес» (Deep Forest) для обнаружения злокачественных новообразований, при этом классификатор предварительно обучен на основе множества векторов признаков, полученных после обработки КТ-изображений истинных злокачественных новообразований в легких с использованием сегментации и метода хорд, причем в качестве признаков выбраны гистограмма распределения длин хорд для каждого истинного злокачественного новообразования с приведением к максимальной длине хорды, образованной комбинациями пар точек, находящихся в выделенных вокселях на поверхности истинного злокачественного новообразования, среднее значение плотности по шкале Хаунсфилда истинного злокачественного новообразования, общее количество вокселей в истинном злокачественном новообразовании.

Метод КТ позволяет определить локализацию очага, размер, отношение к другим тканям, рост опухоли и так далее. Расшифровка снимков КТ - трудоемкий процесс, а особенно при КТ легких. Даже рентгенологи с большим стажем работы зачастую спорят о происхождении тех или иных изменений в легком. Заболевания легких рентгенологически очень схожи друг с другом, поэтому процент неправильных заключений по результатам компьютерной томографии велик.

Заявляемый способ диагностирования онкологических заболеваний легких позволяет существенно снизить количество обнаруженных ложноположительных новообразований, тем самым уменьшить количество диагностических ошибок.

3

Авторами не был выявлен из уровня техники способ диагностирования онкологических заболеваний легких, включающий обработку КТ-изображений, применение метода хорд для получения информации о поверхности и форме новообразований с последующей классификацией новообразований с помощью алгоритма машинного обучения. Способ идентификации позволяет с высокой точностью и в кратчайшие сроки (за несколько секунд) определить число и границы новообразований, их расположение в тканях легких.

Изобретение поясняется чертежами, где:

на фиг. 1 представлено 3D-изображение легких, полученное с помощью КТ и соответствующее полному строению легких, включая сосуды, воду и т.д.;

- на фиг. 2 представлено 3D-изображение, полученное после обработки изображений КТ и соответствующее только тканям легких;

- на фиг. 3 представлена типовая гистограмма распределения длин хорд с приведением к максимальной длине хорды для каждого обнаруженного злокачественного образования, где f - частота хорд определенной длины, l - приведенная длина хорды (f, l - безразмерные величины);

- на фиг.4 представлена типовая гистограмма распределения длин хорд с приведением к максимальной длине хорды для каждого обнаруженного доброкачественного образования, где f - частота хорд определенной длины, l - приведенная длина хорды (f, l - безразмерные величины);

- на фиг. 5 представлен пример полученного изображения на экране монитора, визуализирующего участки легкого в различных проекциях с обнаруженными злокачественными новообразованиями (выделены в прямоугольниках).

Интеллектуальный способ обнаружения и диагностики злокачественных новообразований в легких состоит из следующих этапов: предварительной обработки КТ-изображения (обнаружение «кандидатов» новообразований фильтрацией и сегментацией тканей); сокращении числа ложноположительных случаев (исключение ложных новообразований, которые неверно идентифицированы на этапе фильтрации); классификации новообразований. Все этапы способа выполняются компьютерной программой, разработанной авторами.

Процедура предварительной обработки КТ-изображения заключается в отделении области исследования (легочная ткань) от других органов и тканей (органы средостения, мягкие ткани грудной стенки, костные структуры) и снижении вычислительной сложности следующих этапов (фиг.1). Предварительная обработка КТ-изображения легких включает этап сегментации КТ-изображения. В соответствии с этой процедурой данные или значения вокселей в каждом КТ-изображении преобразуются в значения плотности по шкале Хаунсфилда или коэффициент абсорбции тканей, он же коэффициент ослабления, выражаемый в единицах Хаунсфилда (ед. Н, или Hounsfield Units, или HU). В шкале Хаунсфилда за 0 принята плотность воды. Используя разницу плотностного диапазона между легочной тканью, обладающей естественной контрастностью, и мягкими тканями, имеющими положительные значения по шкале Хаунсфилда от +40 до +80, метод сегментации является эффективным. Воксели, которые находятся за пределами этой области плотностного диапазона и соответствуют сосудам, воде, воздуху и т.д., «маскируются» для того, чтобы оставить для анализа только

4

легочную ткань. На фиг. 2 представлено 3D-изображение, полученное после обработки КТ-изображений и соответствующее только тканям легких.

Второй этап сегментации заключается в выделении «кандидатов» новообразований для дальнейшего определения вокселей, расположенных на поверхности анализируемых образований. С помощью разработанной компьютерной программы осуществляется выделение вокселей графически, описывающих границы «кандидатов» новообразований (при помощи стандартных процедур графической обработки изображения по цветам объектов на нем). Таким образом, получают предварительную визуализацию с выделенными границами «кандидатов» новообразований. Сегментация новообразований может быть реализована с помощью стандартных библиотек Python. Объекты на КТ-изображениях разделяются анализом каждого вокселя, применяя библиотеку Python SimpleITK (метод Connected Treshold).

Затем для каждого «кандидата» новообразования с помощью компьютерной программы строят множество хорд, образованных комбинациями пар точек, соответствующих вокселям, расположенных на поверхности анализируемых «кандидатов» новообразований. Построение множества хорд осуществляется с использованием программно реализованного стандартного генератора случайных чисел, имеющегося в библиотеках практически всех языков программирования, и, в частности, в Phyton. Каждая хорда – это отрезок соединяющий произвольно выбранную пару точек на поверхности «кандидата» новообразования. Метод хорд позволяет с высокой точностью получить информацию о границах поверхности и форме «кандидатов» новообразований (Smith S.P. and Jain A.K. Chord distribution for shape matching // Computer vision, graphics, and image processing, 20(3):259–271, 1982). Множество длин хорд можно рассматривать как распределение вероятностей или гистограмму. Метод хорд инвариантен к размеру объектов, их перемещению и повороту, а также устойчив по отношению к «шумам» или искажениям поверхности объекта. С помощью компьютерной программы вычисляют длины полученных хорд и нормализуют их в соответствии с самой длинной хордой. Затем строят гистограмму нормализованных длин хорд.

В процессе анализа КТ-изображений с выделенными злокачественными и доброкачественными новообразованиями с помощью заявляемого способа авторами было обнаружено, что гистограммы распределения длин хорд для злокачественных и доброкачественных образований совершенно различны (фиг. 3, 4). Для злокачественных новообразований гистограмма распределения длин хорд имеет более гладкую форму.

Классификацию каждого «кандидата» новообразования для определения соответствия их принадлежности к истинному новообразования (злокачественному или доброкачественному) осуществляют с помощью заранее обученного алгоритма машинного обучения, реализующего функции классификатора. В качестве обучаемого классификатора может использоваться любой классификатор. В данном способе используется случайный лес (Breiman L. Random forests // Machine learning, 45(1):5–32, 2001), являющийся наиболее известным и широко используемым на практике алгоритмом обучения с учителем, а также его расширение – глубокий лес (Deep Forest), являющийся эффективным при классификации изображений с небольшим числом категорий объектов (Zhou Z.-H., Feng J. DeepForest: Towards An Alternative to Deep Neural Networks, arXiv:1702.08835v2, 2017).

Входными данными для классификатора является вектор признаков, который характеризует новообразование в легком с точки зрения его формы (гистограмма длин хорд, максимальные размеры новообразования) и плотности. Вектор признаков для каждого «кандидата» новообразования в легком содержит данные построенных гистограмм распределения длин хорд, среднее значение плотности по шкале Хаунсфилда; общее количество вокселей в новообразовании. Использование наряду с гистограммой длин хорд дополнительных признаков позволит повысить точность классификации. Для снижения количества ложноположительных случаев классификации новообразований вектор признаков может быть расширен другими признаками, наиболее точно описывающих структуру, морфологию «кандидатов» образований, демографические данные пациентов.

Полученный вектор признаков рассматривается как характеристическое представление каждого новообразования. Благодаря тому, что в заявляемом способе для классификации новообразований используется не все изображение, а только гистограмма распределения длин хорд, существенно снижается сложность классификации и обнаружения злокачественных образований.

После классификации каждого «кандидата» новообразования как истинного злокачественного новообразования на экране монитора отображается визуализация полученных результатов, на которой графически выделены обнаруженные злокачественные новообразования на проекциях изображения легкого. Полученная визуализация позволяет определить их расположение, примерную структуру. Затем по полученному результирующему изображению врач-диагност производит анализ обнаруженных новообразований с целью постановки диагноза.

Заявляемый способ диагностики новообразований был опробован на наборе данных КТ-изображений легких 228 пациентов в формате DICOM из Minisite Harvard Tunor Hunt Challenge Minisite (http://www.topcoder.com). Получена вероятность правильного обнаружения опухоли 0,95. Вероятность получена путем разделения исходного набора данных на две части: обучающие данные и данные для тестирования. На первом наборе осуществляется обучение всей системы. На втором наборе осуществляется верификация системы и вычисление вероятности правильного обнаружения опухоли как доли совпадений обнаруженных опухолей и имеющихся в данных для тестирования к общему числу опухолей в данных для тестирования. На известном наборе данных LIDC (Lung Image Database Consortium) (Armato III S.G., McLennan G., and et al. The lung image database econsortium (LIDC) and image database resource initiative (IDRI): a completed reference database of lung nodules on CT scans. Medical Physics, 38(2):915-931, 2011) получена вероятность правильного обнаружения опухоли 0,93.

Пример. С помощью заявляемого способа было проанализировано КТ-изображение легких пациента Х., 64 года, в результате чего обнаружены злокачественные новообразования. На Фиг. 5 представлено результирующее изображение, визуализирующее участки легкого пациента Х. в различных проекциях с обнаруженными злокачественными новообразованиями (выделены в прямоугольниках).

При обследовании пациентов получаемые КТ-изображения могут быть переданы на рабочий компьютер врача-диагноста, на котором установлена компьютерная программа реализующая заявляемый способ. Таким образом, заявляемый способ позволяет непосредственно после исследования пациента методом компьютерной томографии осуществлять интеллектуальный анализ полученного КТ-изображения легких с целью обнаружения и диагностики злокачественных новообразований в тканях легких и визуализации полученных результатов в виде расположения обнаруженных злокачественных новообразований на проекциях изображения легкого.

Изобретение относится к медицине, а именно к диагностике рака легких. Способ содержит обработку изображений легких пациента, полученных методом компьютерной томографии, в результате которой в графическом изображении маскируют воксели со значениями плотности по шкале Хаунсфилда, не соответствующими значениям плотности тканям легких; последующую сегментацию вокселей, расположенных на поверхности «кандидатов» новообразований; построение множества хорд, образованных комбинациями пар точек, находящихся в выделенных вокселях на поверхности «кандидатов» новообразований; построение гистограммы распределения длин хорд с приведением к максимальной длине хорды, построенной в границах каждого «кандидата» новообразования; формирование вектора признаков, включающего данные построенной гистограммы распределения длин хорд, среднее значение плотности по шкале Хаунсфилда каждого «кандидата» новообразования, общее количество вокселей в каждом «кандидате» новообразования. После этого по сформированному вектору признаков осуществляют классификацию каждого «кандидата» новообразования как истинного злокачественного новообразования с помощью алгоритма машинного обучения, реализующего функции классификатора. Изобретение обеспечивает снижение количества обнаруженных ложноположительных новообразований в легких. 1 з.п. ф-лы, 5 ил.

1. Интеллектуальный способ обнаружения и диагностики злокачественных новообразований в легких, включающий обработку изображений легких пациента, полученных методом компьютерной томографии, в результате которой в графическом изображении маскируют воксели со значениями плотности по шкале Хаунсфилда с не соответствующими значениям плотности тканям легких, последующую сегментацию вокселей, расположенных на поверхности «кандидатов» новообразований, построение множества хорд, образованных комбинациями пар точек, находящихся в выделенных вокселях на поверхности «кандидатов» новообразований, построение гистограммы распределения длин хорд с приведением к максимальной длине хорды, построенной в границах каждого «кандидата» новообразования, формирование вектора признаков, включающего данные построенной гистограммы распределения длин хорд, среднее значение плотности по шкале Хаунсфилда каждого «кандидата» новообразования, общее количество вокселей в каждом «кандидате» новообразования, после чего по сформированному вектору признаков осуществляют классификацию каждого «кандидата» новообразования как истинного злокачественного новообразования с помощью алгоритма машинного обучения, реализующего функции классификатора.

2. Способ по п.1, в котором в качестве алгоритма машинного обучения использован классификатор «глубокий лес» (Deep Forest) для обнаружения злокачественных новообразований, при этом классификатор предварительно обучен на основе множества векторов признаков, полученных после обработки КТ-изображений истинных злокачественных новообразований в легких с использованием сегментации и метода хорд, причем в качестве признаков выбраны гистограмма распределения длин хорд для каждого истинного злокачественного новообразования с приведением к максимальной длине хорды, образованной комбинациями пар точек, находящихся в выделенных вокселях на поверхности истинного злокачественного новообразования, среднее значение плотности по шкале Хаунсфилда истинного злокачественного новообразования, общее количество вокселей в истинном злокачественном новообразовании.