СПОСОБЫ ДИАГНОСТИКИ БОЛЕЗНИ ПАРКИНСОНА НА ОСНОВЕ АНАЛИЗА МУЛЬТИМОДАЛЬНЫХ ДАННЫХ С ПРИМЕНЕНИЕМ МАШИННОГО ОБУЧЕНИЯ (ВАРИАНТЫ) Российский патент 2024 года по МПК A61B5/103 G16H50/20 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области информационных и коммуникационных технологий (ИКТ), специально предназначенных для медицинской диагностики, в частности для диагностики болезни Паркинсона (БП), стадий болезни Паркинсона, а также для того, чтобы отличать здоровых пациентов от пациентов с болезнью Паркинсона и пациентов с болезнью Паркинсона от пациентов с эссенциальным тремором, болезнью диффузных телец Леви и др., на основе анализа мультимодальных данных пациентов с применением методов машинного обучения.

Представленное решение может быть использовано, по меньшей мере, в медицинских учреждениях (общего и специального назначения), исследовательских научных центрах, в телемедицине, а также непосредственно пациентами с неврологическими заболеваниями.

УРОВЕНЬ ТЕХНИКИ

Болезнь Паркинсона (БП) является на сегодняшний день самым быстрорастущим нейродегенеративным заболеванием. Это снижает качество жизни пациентов, особенно если не поставить правильный и своевременный диагноз.

В настоящее время для улучшения качества диагностики БП используют носимые датчики – акселерометры (трехосевой акселерометр) , инерциальные датчики (гироскоп) и электромиографические датчики (однопроводной (2 электрода) аналоговый датчик напряжения), при помощи которых с использованием методов машинного обучения осуществляют оценку величины тремора, замедленности движений, дискинезии, брадикинезии, застываний, параметров ходьбы, определение фактов падения пациентов и периодов включения/выключения. Камеры при этом не используются. Данные с сенсоров собирают с помощью приложения для смартфона, а веб-сервис позволяет докторам дистанционно получать собранную информацию [1].

Из [2] известен метод классификации пациентов с БП и здоровых пациентов при помощи оптического датчика и носимых датчиков (акселерометра, гироскопа), в котором классификация выполняется по результатам выполнения участниками эксперимента набора упражнений. При этом видео камера и анализ видеоданных не применяется.

Из [3] известен метод по анализу признаков двигательной активности для пациентов с БП и пациентов с дискенизией, вызванной препаратом леводопа (ДПЛ) по видео данным. Девять участников с БП и ДПЛ выполнили протокол инфузии леводопы, в котором симптомы оценивались через регулярные промежутки времени с использованием унифицированной шкалы оценки дискинезии (UDysRS) и унифицированной шкалы оценки болезни Паркинсона (UPDRS). Траектории движения отдельных суставов были извлечены из видеозаписей оценки частичных разрядов с помощью сверточных поз-машин, алгоритма оценки позы, созданного с помощью глубокого обучения. Характеристики траекторий движения (например, кинематика, частота) использовались для обучения случайных лесов обнаружению и оценке степени тяжести паркинсонизма и ДПЛ. Для оценки ДПЛ использовались задания на общение и питье, а для оценки паркинсонизма - задания на ловкость ног и постукивание пальцами ног. Наборы функций из заданий также были объединены для прогнозирования общих баллов по UDysRS и UPDRS.

В [4] описан метод автоматической сегментации подзадач «Встань и иди» для пациентов с БП с использованием классификации активности на основе видео. Предложенный метод апробирован в исследовании с участием 24 пациентов с БП. Видео, используемые в этой статье, записаны в полууправляемой среде с различным фоном. Для извлечения признаков двигательной активности используются технологии двумерной оценки позы человека на основе глубокого обучения. Затем для классификации действий и сегментации подзадач используются машина опорных векторов и сеть с долговременной краткосрочной памятью. Метод может использоваться для автоматического получения клинических параметров для оценки БП с использованием только видео упражнений «Встань и иди», что дает возможность удаленного мониторинга состояния пациентов.

В международной заявке WO2012101093A2, дата публикации 02.08.2012 раскрыта система захвата и оценки данных движения пациента, имеющего неврологическое состояние, выбранное из болезни Паркинсона, множественного склероза или болезни Альцгеймера. Система содержит базу данных для выбора движения пациента, подходящего к его состоянию, визуальное отображение или аудиокоманду, чтобы подсказать пациенту выполнить выбранное движение, множество камер захвата изображения движения пациента, средство обработки для захвата набора данных изображений, причем множество камер и средство обработки допускают обнаружение смещения на 0,5 мм, аналитическое программное обеспечение для анализа по меньшей мере одного набора данных и выдачи набора значений, ассоциированных с упомянутым пациентом. Использование изобретения позволяет повысить точность определения тонкой моторной активности и/или ее нарушений. В международной заявке WO2016040207A1, дата публикации 17.03.2016, раскрыто техническое решение, которое описывает обработку видео для анализа двигательной задачи. Дескрипторы движения, такие как оптический поток, вычисляются из пар кадров видео, и вводятся в систему машинного обучения. Различные примеры видео, на которых человек выполняет двигательную задачу, например, кладет указательный палец на нос, вводятся в обученную систему машинного обучения, чтобы классифицировать двигательную задачу в один из множества классов. Результаты проведенного анализа двигательной задачи используют для оценки неврологических состояний, таких как рассеянный склероз и/или болезнь Паркинсона. При этом в данных решениях не применяются носимые датчики (акселерометр, гироскоп и магнитометр) и анализ данных с датчиков для оценки моторной активности и/или ее нарушений.

В патентных документах US20100030119A1, дата публикации 04.02.2010; US20110092860A1, дата публикации 21.04.2011; CN104522949B, дата публикации 06.01.2016; CN105426696A, дата публикации 23.03.2016; CN205318387U, дата публикации 15.06.2016; AU2020102947A4, дата публикации 28.01.2021; WO2021048514A1, дата публикации 18.03.2021; CN109480858B, дата публикации 22.02.2022; US2022165413A1, дата публикации 26.05.2022; EP4030993A1, дата публикации 27.07.2022, для оценки моторной активности применяют данные, полученные с помощью акселерометра, гироскопа и магнитометра. При этом в данных решениях для оценки моторной активности не применяются видеоданные, содержащие двигательную активность пациента.

В патентной заявке EP3068301A1, дата публикации 21.09.2016, раскрыто техническое решение, в котором описывается система, которая включает устройство захвата изображения, по меньшей мере один внешний датчик движения тела и центральный процессор (ЦП) с подключенным к нему запоминающим устройством для хранения инструкций, которые при выполнении ЦП заставляют ЦП получать первый набор данных о движении от устройства захвата изображения, относящихся к по меньшей мере одному суставу субъекта во время выполнения задачи, и получать второй набор данных о движении от акселерометра, относящихся к по меньшей мере одному суставу субъекта во время выполнения задачи. Внешний датчик движения тела представляет собой акселерометр и/или гироскоп. ЦП также вычисляет кинематическую и/или кинетическую информацию о по меньшей мере одном суставе субъекта из комбинации первого и второго наборов данных о движении и выводит кинематическую и/или кинетическую информацию для целей оценки нарушения движения. Однако в данном решении для оценки нарушений движения не применяется магнитометр, а также одновременный сбор и анализ видео данных, содержащих двигательную активность пациента, и данных, собранных с носимых датчиков - акселерометра, гироскопа и магнитометра.

Наиболее близким аналогом заявляемого изобретения является техническое решение, раскрытое в международной заявке WO202254112A1, дата публикации 17.03.2022. Описаны способ и система для объективной характеристики симптомов болезни Паркинсона посредством анализа состояния движения пациентов, при этом состояние движения может находиться в одной из следующих фаз: фаза OFF, когда появляются симптомы болезни Паркинсона, такие как ригидность, тремор и брадикинезия; фаза ON, когда симптомы заметно улучшаются; фаза DIS, когда появляются непроизвольные движения, называемые дискинезиями. Система включает в себя: электронный браслет, оснащенный акселерометром, магнитометром и гироскопом, трехосевым, используемым для непрерывного сбора данных о треморе и движении; фотокамеру для съемки выражения лица, приводимую в действие по желанию пациента; диктофон для записи голоса пациента, приводимый в действие по желанию пациента; устройство обработки, оснащенное соответствующим программным обеспечением, которое, используя соответствующий алгоритм, объединяет данные о движении, треморе, выражении лица и голосе для определения статуса движения пациента, страдающего болезнью Паркинсона (ON, OFF, DIS); дисплей, на котором отображается статус движения пациента (ON, OFF, DIS).

При этом в данном решении для оценки моторной активности не применяются видеоданные, содержащие двигательную активность пациента, записанную во время выполнения пациентом по меньшей мере одного задания.

Техническая задача состоит в том, чтобы на основе анализа одновременно собранных во время выполнения пациентом по меньшей мере одного задания мультимодальных данных, включающих видеоданные, содержащие двигательную активность пациента, и данные с носимых датчиков – акселерометра, гироскопа и магнитометра, с применением машинного обучения детектировать пациентов с искомым неврологическим заболеванием среди группы пациентов, в частности, отличать здоровых пациентов от пациентов с болезнью Паркинсона и пациентов с болезнью Паркинсона от пациентов с эссенциальным тремором, классифицировать разные стадии или формы неврологических заболеваний, например, разные стадии болезни Паркинсона, включая промежуточные, либо, например, отличать болезнь Паркинсона от болезни диффузных телец Леви.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технический результат совпадает с технической задачей – детектировать пациентов с искомым неврологическим заболеванием среди группы пациентов с применением машинного обучения на основе анализа одновременно собранных во время выполнения пациентом по меньшей мере одного задания мультимодальных данных, включающих видеоданные, содержащие двигательную активность пациента, и данные с носимых датчиков – акселерометра, гироскопа и магнитометра, что повышает точность детектирования искомого неврологического заболевания.

Указанный технический результат достигается за счёт того, что:

Компьютерно-реализуемый способ диагностики неврологического заболевания из набора искомых неврологических заболеваний на основе анализа мультимодальных данных пациента, в котором:

- во время выполнения по меньшей мере одного задания пациентом собирают и записывают одновременно видеоданные, содержащие по меньшей мере один вид двигательной активности пациента, и данные с носимых пациентом датчиков – акселерометра, гироскопа и магнитометра;

- получают для каждого кадра видеоданных файл с ключевыми точками тела пациента;

- вычисляют для каждого кадра сегменты тела пациента на основе полученных ключевых точек тела пациента;

- вычисляют относительную скорость и ускорение на основании вычисленных сегментов тела пациента и на основании проведенных вычислений получают набор данных;

- сегментируют полученные на предыдущем этапе данные на временные интервалы, выделяют признаки из сегментированного набора видеоданных и получают соответствующие векторы признаков видеоданных;

- сегментируют данные, полученные с помощью носимых датчиков - акселерометра, гироскопа и магнитометра, на временные интервалы, соответствующие сегментированным видеоданным, выделяют признаки из сегментированного набора данных, полученных с помощью акселерометра, гироскопа и магнитометра, и получают соответствующие векторы признаков носимых датчиков;

- объединяют векторы признаков видеоданных и носимых датчиков, которые соответствуют одним и тем же временным интервалам из видеоданных и данных носимых датчиков, в один объединенный вектор признаков, и получают набор объединенных векторов признаков;

- классифицируют с помощью методов машинного обучения полученный набор объединенных векторов признаков, полученных для по меньшей мере одного вида двигательной активности, и получают вероятности наличия искомых неврологических заболеваний у пациента;

- осуществляют диагностирование наличия или отсутствия у пациента неврологического заболевания из набора искомых неврологических заболеваний с помощью полученных вероятностей наличия искомых неврологических заболеваний у пациента.

В способе искомым неврологическим заболеванием может являться, по меньшей мере, болезнь Паркинсона, стадии болезни Паркинсона, эссенциальный тремор, болезнь диффузных телец Леви.

В способе вид и количество заданий, выполняемых пациентом, и места прикрепления носимых датчиков к телу пациента могут изменяться, в зависимости, по меньшей мере, от следующих факторов: пациента, тяжести состояния пациента, рекомендации врачей.

В способе перед этапом выделения признаков видеоданные могут фильтроваться с помощью сглаживающего фильтра, данные носимых датчиков фильтруют с помощью полосового фильтра.

В способе могут получать набор объединенных векторов признаков путем фильтрации полученных объединенных векторов признаков для выбора наилучших признаков.

В способе извлекаемые признаки могут являться временными и частотными признаками.

В способе моделями машинного обучения могут являться, по крайней мере, логистическая регрессия, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов.

Также указанный технический результат достигается за счёт того, что:

Компьютерно-реализуемый способ диагностики неврологического заболевания из набора искомых неврологических заболеваний на основе анализа мультимодальных данных пациента, в котором:

- во время выполнения по меньшей мере одного задания пациентом собирают и записывают одновременно видеоданные, содержащие по меньшей мере один вид двигательной активности пациента, и данные с носимых пациентом датчиков – акселерометра, гироскопа и магнитометра;

- получают для каждого кадра видеоданных файл с ключевыми точками тела пациента;

- вычисляют для каждого кадра сегменты тела пациента на основе полученных ключевых точек тела пациента;

- вычисляют относительную скорость и ускорение на основании вычисленных сегментов тела пациента и на основании проведенных вычислений получают набор данных;

- сегментируют полученные на предыдущем этапе данные на временные интервалы, выделяют признаки из сегментированного набора видеоданных и получают набор векторов признаков видеоданных;

- сегментируют данные, полученные с помощью носимых датчиков - акселерометра, гироскопа и магнитометра, на временные интервалы, соответствующие сегментированным видеоданным, выделяют признаки из сегментированного набора данных, полученных с помощью акселерометра, гироскопа и магнитометра, и получают набор векторов признаков носимых датчиков;

- классифицируют с помощью методов машинного обучения полученный набор векторов признаков видеоданных, полученных для по меньшей мере одного вида двигательной активности, и получают вероятности наличия искомых неврологических заболеваний у пациента на основе видеоданных;

- классифицируют с помощью методов машинного обучения полученный набор векторов признаков носимых датчиков, полученных для по меньшей мере одного вида двигательной активности, и получают вероятности наличия искомых неврологических заболеваний у пациента на основе данных носимых датчиков;

- применяют методы ансамбля голосования к полученным вероятностям наличия искомых неврологических заболеваний у пациента на основе видеоданных и на основе данных носимых датчиков и получают вероятности наличия искомых неврологических заболеваний у пациента;

- осуществляют диагностирование наличия или отсутствия у пациента неврологического заболевания из набора искомых неврологических заболеваний с помощью полученных вероятностей наличия искомых неврологических заболеваний у пациента.

В способе искомым неврологическим заболеванием может являться, по меньшей мере, болезнь Паркинсона, стадии болезни Паркинсона, эссенциальный тремор, болезнь диффузных телец Леви.

В способе вид и количество заданий, выполняемых пациентом, и места прикрепления носимых датчиков к телу пациента могут изменяться, в зависимости, по меньшей мере, от следующих факторов: пациента, тяжести его состояния, рекомендации врачей.

В способе перед этапом выделения временных и частотных признаков видеоданные могут фильтроваться с помощью сглаживающего фильтра, данные носимых датчиков фильтруют с помощью полосового фильтра.

В способе могут получать набор векторов признаков видеоданных путем фильтрации признаков, выделенных из сегментированного набора видеоданных, для выбора наилучших признаков; и получают набор векторов признаков носимых датчиков путем фильтрации признаков, выделенных из сегментированного набора данных носимых датчиков, для выбора наилучших признаков.

В способе извлекаемые признаки могут являться временными и частотными признаками.

В способе моделями машинного обучения могут являться, по крайней мере, логистическая регрессия, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов.

В заявленных способах диагностики неврологического заболевания из набора искомых неврологических заболеваний (варианты) использование одновременно устройств для записи видеоданных, акселерометра, гироскопа и магнитометра во время выполнения упражнений пациентом, что обеспечивает сбор всесторонней, исчерпывающей информации об особенностях движений тела пациента во время выполнения упражнений, а также последующий анализ собранной информации с помощью методов машинного обучения позволяет повысить точность детектирования искомого неврологического заболевания.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения.

Заявляемое изобретение проиллюстрировано фигурами 1-3, на которых изображены:

Фиг. 1 а), б) – иллюстрируют процесс обработки данных с носимых датчиков (а) и видеоданных (б).

Фиг. 2 – иллюстрирует пример ключевых точек тела.

Фиг. 3 – иллюстрирует пример общей схемы вычислительного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

В настоящем изобретении диагностируют неврологические заболевания из набора искомых неврологических заболеваний на основе анализа мультимодальных данных пациента. Одновременный сбор и анализ мультимодальных данных с применением методов машинного обучения, причём мультимодаьные данные включают видеоданные, содержащие двигательную активность пациента, и данные с носимых датчиков – акселерометра, гироскопа и магнитометра, которые записаны одновременно с видеоданными. В частности, настоящее изобретение позволяет с большой точностью отличать здоровых пациентов от пациентов с болезнью Паркинсона и пациентов с болезнью Паркинсона от пациентов с эссенциальным тремором, классифицировать разные стадии или формы неврологических заболеваний, например, разные стадии болезни Паркинсона (от 1 до 4, и также промежуточные), либо, например, отличать болезнь Паркинсона от болезни диффузных телец Леви.

В процессе сбора мультимодальных данных пациент выполняет несколько специальных упражнений, форма и количество которых может меняться в зависимости от пациента, тяжести его состояния, рекомендации врачей и других факторов. Носимые датчики, включающие в себя акселерометр, гироскоп и магнетометр, могут прикрепляться к различным местам тела пациента в зависимости от пациента, тяжести его состояния, рекомендации врачей и других факторов. Например, это могут быть кисти рук, внешняя часть ладони, ноги, пояс и т д. Видеозаписывающие устройства могут быть в разном количестве и вести видеозапись с разных ракурсов.

Видеоданные и данные с носимых датчиков записываются вместе. Каждый тип собранных данных сначала предварительно обрабатывается. В обработку может включаться удалений записей с большим количеством нулевых значений, либо замещение значений с использованием интерполяции и последующая фильтрация (Фиг. 1 а, б). Для видеоданных каждый клип обрабатывается с использованием алгоритма определения ключевых точек, который возвращает файл JSON с 25 ключевыми точками тела для каждого кадра (Фиг. 2).

В качестве примера реализации заявленного иобретения можно рассматривать следующую ситуацию. Видео записывается с помощью веб-камеры со скоростью 30 кадров в секунду с двух ракурсов: сбоку и спереди от пациента. Каждый видеоклип обрабатывался с помощью библиотеки OpenPose, которая возвращает JSON файл с 25 ключевыми точками тела для каждого кадра. Ключевыми точками, использованными для дальнейшей обработки, были [2,3,4] и [5,6,7] для правой и левой рук соответственно, которые представляют положение плеч, локтей и запястий. Используя эти ключевые точки, вычисляют относительную скорость (разница между значениями двух последующих записей в исходных данных) и ускорение (разница между значениями двух последующих записей для скорости). Они были найдены отдельно для координат x и y как для правой, так и для левой руки для каждого из следующих сегментов: запястье-плечо, плечо-локоть, локоть-запястье. К относительной скорости и ускорению ключевых точек с кадров применяется фильтр Савицкого-Голея, работающий с использованием сверток, с длиной окна 19 и полиномиальным порядком 4. Затем фильтрованные относительная скорость и ускорение ключевых точек разбиваются на куски с интервалом в 3 секунды (90 записей в каждом интервале) с 50% перекрытием [5].

Данные с носимых датчиков, включающих в себя акселерометр, гироскоп и магнитометр, записывают с частотой 100 Hz [6]. Данные датчиков записывают в столбцы данных: временные рамки и записи по осям x, z и y для каждого из трех датчиков (акселерометра, гироскопа и магнитометра). Потом записанные данные фильтруют с помощью полосового фильтра (например, баттерворта), чтобы очистить сигнал от шума и ненужных частот. Фильтрованные данные также разбивают на куски с интервалом в 3 секунды (90 записей в каждом интервале) с 50% перекрытием. Таким образом, данные с носимых датчиков сегментируют на временные интервалы, соответствующие сегментированным видеоданным, также с 50% перекрытием.

На основе отфильтрованных и сегментированных видеоданных и данных с носимых датчиков получают временные и частотные признаки. Временные признаки включают стандартные статистические величины, такие как минимум, максимум, среднее значение, мода, стандартное отклонение, перекос и эксцесс. Кроме того, необходимо извлечь признаки из частотной области. С использованием дискретного преобразования Фурье вычисляют спектр сигнала, содержащий частотные интервалы от 1 Гц до 12 Гц, вычисляют максимальное, минимальное, среднее и стандартное отклонение амплитуды и частоты пиков, находящихся в пределах двух стандартных отклонений от средней спектральной энергии. В качестве признаков используют также фундаментальную частоту, среднее и стандартное отклонение энергетического спектра.

Далее применяют несколько методов фильтрации признаков, а также используют несколько методов редукции размерности (DR) признаков. В частности, для фильтрации признаков применяют следующие методы: фильтр с низкой дисперсией (объекты с дисперсией 0,20 или ниже удаляют), коррелирующие объекты (для объектов с корреляцией 0,80 или выше один удаляют), важность объектов (двадцать лучших объектов выбирают на основе примеси Джини из случайных разбиений леса). Для извлечения наиболее значимых компонентов используют несколько методов уменьшения размерности (DR): факторный анализ, линейный дискриминантный анализ и анализ основных компонентов. Факторный анализ — это метод, который позволяет найти несколько факторов, описывающих большую часть дисперсии. Линейный дискриминантный анализ находит линейную комбинацию признаков, которая лучше всего разделяет классы. Анализ основных компонентов — это метод, который основан на вычислении собственных векторов и значений корреляционной матрицы признаков.

Следующий шаг включает два возможных варианта:

1) Векторы признаков, которые соответствуют одним и тем же временным сегментам из видео и данных датчиков, объединяют в один больший вектор признаков, после чего применяют несколько методов фильтрации признаков для выбора наилучших признаков. Затем для классификации используются модели машинного обучения. Или,

2) Векторы признаков из видео и данных датчиков обрабатывают отдельно. Для каждого из них используются описанные выше методы фильтрации для выбора признаков и модели машинного обучения для классификации. После того, как модели машинного обучения возвращают вероятности каждого класса, для выбора наиболее вероятного класса для каждой выборки данных используются методы ансамбля голосования, такие как основное голосование.

Для классификации признаков с целью поиска искомого неврологического заболевания используют модели машинного обучения. В частности, для классификации пациентов используют такие модели машинного обучения, как логистическую регрессию, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов. Для выбора оптимальных параметров используют групповую K-кратную перекрестную проверку наряду с рандомизированным поиском по сетке.

На Фиг. 3 представлена общая примерная схема вычислительного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну память (302), средство хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).

Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функциональности одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).

Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации.

Интерфейсы (304) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (304) зависит от конкретного исполнения устройства (N00), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (305) в данном воплощении системы может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (306) выбираются из устройств, обеспечивающих сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (305) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM, 3G, 4G, 5G.

Компоненты устройства (300) сопряжены посредством общей шины передачи данных (307).

В настоящих материалах заявки представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Специалисту в данной области техники должно быть понятно, что различные вариации заявляемого способа и системы не изменяют сущность изобретения, а лишь определяют его конкретные воплощения и применения.

Источники

[1] Lonini, L., Dai, A., Shawen, N. et al. Wearable sensors for Parkinson’s disease: which data are worth collecting for training symptom detection models. npj Digital Med 1, 64 (2018). https://doi.org/10.1038/s41746-018-0071-z

[2] Butt, A.H., Rovini, E., Dolciotti, C. et al. Objective and automatic classification of Parkinson disease with Leap Motion controller. BioMed Eng OnLine 17, 168 (2018). https://doi.org/10.1186/s12938-018-0600-7

[3] Ссылка: Li, M.H., Mestre, T.A., Fox, S.H. et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation. J NeuroEngineering Rehabil 15, 97 (2018). https://doi.org/10.1186/s12984-018-0446-z

[4] Ссылка: Li, M.H., Mestre, T.A., Fox, S.H. et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation. J NeuroEngineering T. Li et al., "Automatic Timed Up-and-Go Sub-Task Segmentation for Parkinson’s Disease Patients Using Video-Based Activity Classification," in IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 26, no. 11, pp. 2189-2199, Nov. 2018, doi: 10.1109/TNSRE.2018.2875738

[5] Патент РФ на изобретение № 2764568 «СПОСОБ ДИАГНОСТИКИ БОЛЕЗНИ ПАРКИНСОНА НА ОСНОВЕ АНАЛИЗА ВИДЕОДАННЫХ С ПРИМЕНЕНИЕМ МАШИННОГО ОБУЧЕНИЯ»

[6] A. Talitckii et al., "Avoiding Misdiagnosis of Parkinson’s Disease With the Use of Wearable Sensors and Artificial Intelligence," in IEEE Sensors Journal, vol. 21, no. 3, pp. 3738-3747, 1 Feb.1, 2021, doi: 10.1109/JSEN.2020.3027564.

Группа изобретений относится к области медицины, а именно к медицинским информационным и коммуникационным технологиям (ИКТ), специально предназначенных для медицинской диагностики, и может быть использована для диагностики неврологического заболевания из набора искомых неврологических заболеваний: болезни Паркинсона, эссенциального тремора, болезни диффузных телец Леви. Во время выполнения задания пациентом собирают и записывают одновременно видеоданные, содержащие вид двигательной активности пациента, и данные с носимых пациентом датчиков - акселерометра, гироскопа и магнитометра. Получают для каждого кадра видеоданных файл с ключевыми точками тела пациента. Вычисляют для каждого кадра сегменты тела пациента на основе полученных ключевых точек тела пациента. Вычисляют относительную скорость и ускорение на основании вычисленных сегментов тела пациента, получают набор данных. Сегментируют полученные на предыдущем этапе данные на временные интервалы, выделяют признаки из сегментированного набора видеоданных и получают соответствующие векторы признаков видеоданных. Сегментируют данные, полученные с помощью носимых датчиков на временные интервалы, соответствующие сегментированным видеоданным, выделяют признаки из сегментированного набора данных, полученных с помощью носимых датчиков, и получают соответствующие векторы признаков носимых датчиков. Объединяют векторы признаков видеоданных и носимых датчиков, которые соответствуют одним и тем же временным интервалам из видеоданных и данных носимых датчиков, в один объединенный вектор признаков, и получают набор объединенных векторов признаков. Классифицируют с помощью методов машинного обучения полученный набор объединенных векторов признаков и получают вероятности наличия у пациента заболевания из набора искомых неврологических заболеваний: болезни Паркинсона, эссенциального тремора, болезни диффузных телец Леви. Осуществляют диагностирование наличия или отсутствия у пациента неврологического заболевания из набора искомых неврологических заболеваний: болезни Паркинсона, эссенциального тремора, болезни диффузных телец Леви, с помощью полученных вероятностей наличия искомых неврологических заболеваний у пациента. Группа изобретений обеспечивает более высокую точность диагностирования искомого неврологического заболевания за счет анализа мультимодальных данных, включающих видеоданные, содержащие двигательную активность пациента и данные с носимых датчиков, собранные одновременно во время выполнения пациентом упражнений. 2 н. и 12 з.п. ф-лы, 3 ил.

1. Компьютерно-реализуемый способ диагностики неврологического заболевания из набора искомых неврологических заболеваний: болезни Паркинсона, эссенциального тремора, болезни диффузных телец Леви, на основе анализа мультимодальных данных пациента, в котором:

- во время выполнения по меньшей мере одного задания пациентом собирают и записывают одновременно видеоданные, содержащие по меньшей мере один вид двигательной активности пациента, и данные с носимых пациентом датчиков - акселерометра, гироскопа и магнитометра;

- получают для каждого кадра видеоданных файл с ключевыми точками тела пациента;

- вычисляют для каждого кадра сегменты тела пациента на основе полученных ключевых точек тела пациента;

- вычисляют относительную скорость и ускорение на основании вычисленных сегментов тела пациента и на основании проведенных вычислений получают набор данных;

- сегментируют полученные на предыдущем этапе данные на временные интервалы, выделяют признаки из сегментированного набора видеоданных и получают соответствующие векторы признаков видеоданных;

- сегментируют данные, полученные с помощью носимых датчиков -акселерометра, гироскопа и магнитометра, на временные интервалы, соответствующие сегментированным видеоданным, выделяют признаки из сегментированного набора данных, полученных с помощью акселерометра, гироскопа и магнитометра, и получают соответствующие векторы признаков носимых датчиков;

- объединяют векторы признаков видеоданных и носимых датчиков, которые соответствуют одним и тем же временным интервалам из видеоданных и данных носимых датчиков, в один объединенный вектор признаков, и получают набор объединенных векторов признаков;

- классифицируют с помощью методов машинного обучения полученный набор объединенных векторов признаков, полученных для по меньшей мере одного вида двигательной активности, и получают вероятности наличия у пациента заболевания из набора искомых неврологических заболеваний: болезни Паркинсона, эссенциального тремора, болезни диффузных телец Леви;

- осуществляют диагностирование наличия или отсутствия у пациента неврологического заболевания из набора искомых неврологических заболеваний: болезни Паркинсона, эссенциального тремора, болезни диффузных телец Леви, с помощью полученных вероятностей наличия искомых неврологических заболеваний у пациента.

2. Способ по п. 1, характеризующийся тем, что искомым неврологическим заболеванием являются стадии болезни Паркинсона.

3. Способ по п. 1, характеризующийся тем, что вид и количество заданий, выполняемых пациентом, и места прикрепления носимых датчиков к телу пациента изменяются, в зависимости, по меньшей мере, от следующих факторов: пациента, тяжести состояния пациента, рекомендации врачей.

4. Способ по п. 1, характеризующийся тем, что перед этапом выделения признаков видеоданные фильтруют с помощью сглаживающего фильтра, данные носимых датчиков фильтруют с помощью полосового фильтра.

5. Способ по п. 1, характеризующийся тем, что получают набор объединенных векторов признаков путем фильтрации полученных объединенных векторов признаков для выбора наилучших признаков.

6. Способ по п. 1, характеризующийся тем, что извлекаемые признаки являются временными и частотными признаками.

7. Способ по п. 1, характеризующийся тем, что моделями машинного обучения являются, по крайней мере, логистическая регрессия, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов.

8. Компьютерно-реализуемый способ диагностики неврологического заболевания из набора искомых неврологических заболеваний: болезни Паркинсона, эссенциального тремора, болезни диффузных телец Леви, на основе анализа мультимодальных данных пациента, в котором:

- во время выполнения по меньшей мере одного задания пациентом собирают и записывают одновременно видеоданные, содержащие по меньшей мере один вид двигательной активности пациента, и данные с носимых пациентом датчиков - акселерометра, гироскопа и магнитометра;

- получают для каждого кадра видеоданных файл с ключевыми точками тела пациента;

- вычисляют для каждого кадра сегменты тела пациента на основе полученных ключевых точек тела пациента;

- вычисляют относительную скорость и ускорение на основании вычисленных сегментов тела пациента и на основании проведенных вычислений получают набор данных;

- сегментируют полученные на предыдущем этапе данные на временные интервалы, выделяют признаки из сегментированного набора видеоданных и получают набор векторов признаков видеоданных;

- сегментируют данные, полученные с помощью носимых датчиков -акселерометра, гироскопа и магнитометра, на временные интервалы, соответствующие сегментированным видеоданным, выделяют признаки из сегментированного набора данных, полученных с помощью акселерометра, гироскопа и магнитометра, и получают набор векторов признаков носимых датчиков;

- классифицируют с помощью методов машинного обучения полученный набор векторов признаков видеоданных, полученных для по меньшей мере одного вида двигательной активности, и получают вероятности наличия искомых неврологических заболеваний у пациента на основе видеоданных;

- классифицируют с помощью методов машинного обучения полученный набор векторов признаков носимых датчиков, полученных для по меньшей мере одного вида двигательной активности, и получают вероятности наличия искомых неврологических заболеваний у пациента на основе данных носимых датчиков;

- применяют методы ансамбля голосования к полученным вероятностям наличия искомых неврологических заболеваний у пациента на основе видеоданных и на основе данных носимых датчиков и получают вероятности наличия у пациента заболевания из набора искомых неврологических заболеваний: болезни Паркинсона, эссенциального тремора, болезни диффузных телец Леви;

- осуществляют диагностирование наличия или отсутствия у пациента неврологического заболевания из набора искомых неврологических заболеваний: болезни Паркинсона, эссенциального тремора, болезни диффузных телец Леви, с помощью полученных вероятностей наличия искомых неврологических заболеваний у пациента.

9. Способ по п. 8, характеризующийся тем, что искомым неврологическим заболеванием являются стадии болезни Паркинсона.

10. Способ по п. 8, характеризующийся тем, что вид и количество заданий, выполняемых пациентом, и места прикрепления носимых датчиков ктелу пациента изменяются, в зависимости, по меньшей мере, от следующих факторов: пациента, тяжести его состояния, рекомендации врачей.

11. Способ по п. 8, характеризующийся тем, что перед этапом выделения временных и частотных признаков видеоданные фильтруют с помощью сглаживающего фильтра, данные носимых датчиков фильтруют с помощью полосового фильтра.

12. Способ по п. 8, характеризующийся тем, что получают набор векторов признаков видеоданных путем фильтрации признаков, выделенных из сегментированного набора видеоданных, для выбора наилучших признаков; и получают набор векторов признаков носимых датчиков путем фильтрации признаков, выделенных из сегментированного набора данных носимых датчиков, для выбора наилучших признаков.

13. Способ по п. 8, характеризующийся тем, что извлекаемые признаки являются временными и частотными признаками.

14. Способ по п. 8, характеризующийся тем, что моделями машинного обучения являются, по крайней мере, логистическая регрессия, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов.