СПОСОБ ДИАГНОСТИКИ БОЛЕЗНИ ПАРКИНСОНА НА ОСНОВЕ АНАЛИЗА ВИДЕОДАННЫХ С ПРИМЕНЕНИЕМ МАШИННОГО ОБУЧЕНИЯ Российский патент 2022 года по МПК G16H50/00 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области информационных и коммуникационных технологий (ИКТ), специально предназначенных для медицинской диагностики, в частности к диагностике болезни Паркинсона (БП) на основе анализа видеоданных пациентов с применением вычислительных методов, таких как искусственный интеллект, машинное обучение, компьютерное зрение.

Представленное решение может быть использовано, по меньшей мере, в медицинских учреждениях (общего и специального назначения), исследовательских научных центрах, в телемедицине, а также непосредственно пациентами с неврологическими заболеваниями.

УРОВЕНЬ ТЕХНИКИ

Болезнь Паркинсона (БП) является на сегодняшний день самым быстрорастущим нейродегенеративным заболеванием. Это снижает качество жизни пациентов, особенно если не поставить правильный и своевременный диагноз.

В настоящее время для улучшения качества диагностики БП используют носимые датчики, при помощи которых с использованием методов машинного обучения осуществляют оценку величины тремора, замедленности движений, дискинезии, брадикинезии, застываний, параметров ходьбы, определение фактов падения пациентов и периодов включения/выключения. Камеры при этом не используются. Данные с сенсоров собирают с помощью приложения для смартфона, а веб-сервис позволяет докторам дистанционно получать собранную информацию [1].

Из [2] известен метод классификации пациентов с БП и здоровых пациентов при помощи оптического датчика и носимых датчиков, в котором классификация выполняется по результатам выполнения участниками эксперимента набора упражнений. При этом видео камера и анализ видеоданных не применяется.

Из [3] известен метод по анализу признаков двигательной активности для пациентов с БП и пациентов с дискенизией, вызванной препаратом леводопа (ДПЛ) по видео данным. Девять участников с БП и ДПЛ выполнили протокол инфузии леводопы, в котором симптомы оценивались через регулярные промежутки времени с использованием унифицированной шкалы оценки дискинезии (UDysRS) и унифицированной шкалы оценки болезни Паркинсона (UPDRS). Траектории движения отдельных суставов были извлечены из видеозаписей оценки частичных разрядов с помощью сверточных поз-машин, алгоритма оценки позы, созданного с помощью глубокого обучения. Характеристики траекторий движения (например, кинематика, частота) использовались для обучения случайных лесов обнаружению и оценке степени тяжести паркинсонизма и ДПЛ. Для оценки ДПЛ использовались задания на общение и питье, а для оценки паркинсонизма - задания на ловкость ног и постукивание пальцами ног. Наборы функций из заданий также были объединены для прогнозирования общих баллов по UDysRS и UPDRS.

В [4] описан метод автоматической сегментации подзадач «Встань и иди» для пациентов с БП с использованием классификации активности на основе видео. Предложенный метод апробирован в исследовании с участием 24 пациентов с БП. Видео, используемые в этой статье, записаны в полууправляемой среде с различным фоном. Для извлечения признаков двигательной активности используются технологии двумерной оценки позы человека на основе глубокого обучения. Затем для классификации действий и сегментации подзадач используются машина опорных векторов и сеть с долговременной краткосрочной памятью. Метод может использоваться для автоматического получения клинических параметров для оценки БП с использованием только видео упражнений «Встань и иди», что дает возможность удаленного мониторинга состояния пациентов.

Наиболее близким аналогом заявляемого изобретения является техническое решение, раскрытое в патенте US10776423B2, дата публикации 15.09.2020. В раскрытом изобретении описана обработка видео для анализа двигательной задачи. Дескрипторы движения, такие как оптический поток, вычисляются из пар кадров видео, и вводятся в систему машинного обучения. Различные примеры видео, на которых человек выполняет двигательную задачу, например, кладет указательный палец на нос, вводятся в обученную систему машинного обучения, чтобы классифицировать двигательную задачу в один из множества классов. Результаты проведенного анализа двигательной задачи используют для оценки неврологических состояний, таких как рассеянный склероз и/или болезнь Паркинсона.

Однако в данном решении не проводилось целенаправленное обучение и тестирование алгоритма на пациентах с болезнью Паркинсона и дальнейшее тестирование на пациентах со схожей симптоматикой моторной дисфункции (эссенциальный тремор, дистония). Это затрудняет точную диагностику БП, так как существует несколько нейродегенеративных заболеваний со схожими двигательными симптомами.

В заявленном решении для точной диагностики БП используется несколько классификаторов, определяющих пациентов с искомым неврологическим заболеванием среди группы пациентов с другими неврологическими заболеваниями, в частности, отличающих здоровых пациентов от пациентов с болезнью Паркинсона и пациентов с болезнью Паркинсона от пациентов с эссенциальным тремором.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Техническим результатом заявляемого изобретения является обеспечение более высокой точности диагностирования болезни Паркинсона на основе анализа видеоданных, содержащих двигательную активность пациента.

Указанный технический результат достигается за счёт того, что:

В компьютерно-реализуемом способе диагностики болезни Паркинсона на основе анализа видеоданных пациента осуществляют следующее:

- собирают и получают видеоданные, содержащие один или более видов двигательной активности пациента;

- обрабатывают полученные видеоданные;

для каждого вида двигательной активности выполняют следующее:

- получают для каждого кадра обработанных видеоданных файл с ключевыми точками тела пациента;

- вычисляют сегменты на основе полученных ключевых точек тела пациента;

- вычисляют относительную скорость и ускорение на основании вычисленных сегментов и на основании проведенных вычислений получают набор данных;

- сегментируют полученные на предыдущем этапе данные и выделяют временные и частотные признаки из сегментированного набора данных;

- обрабатывают полученные признаки с помощью одного или более классификаторов и получают выходные данные, причем в процессе обучения выбирают лучшие один или более классификаторы для каждого вида двигательной активности;

- осуществляют диагностирование болезни Паркинсона на основании выходных данных, полученных для каждого вида двигательной активности.

В способе может быть осуществлен сбор данных для каждого вида двигательной активности путем выполнения заданий пациентом, с помощью которых идентифицируют, по крайней мере, тремор в покое (ТП), тремор в действии (ТД), постуральный Тремор (ПТ), брадикинезию.

В способе видеоданные могут быть получены, по крайней мере, с трех различных ракурсов: вид сбоку, вид спереди, вид сверху на руки.

В способе видеоданные могут быть обработаны с помощью детектора ключевых точек и для каждого кадра возвращается файл JSON (JavaScript Object Notation) с ключевыми точками тела пациента, характеризующимися числами, которые представляют собой значения x, y и доверительные значения для каждой ключевой точки.

В способе сегменты могут быть вычислены путем вычисления разности между соответствующими ключевыми точками.

В способе сегменты могут быть вычислены для координат x и y как для правой, так и для левой руки для каждого из следующих сегментов: запястье-плечо, плечо-локоть, локоть-запястье.

В способе на этапе вычисления сегментов может быть осуществлена фильтрация видеоданных с помощью фильтра Савицкого-Голея.

В способе временные признаки могут включать, по крайней мере, стандартные статистические величины.

В способе стандартными статистическими величинами могут являться, по крайней мере, максимум, среднее значение, мода, стандартное отклонение, перекос и эксцесс.

В способе признаки из частотной области могут извлекать с использованием дискретного преобразования Фурье.

В способе частотные признаки могут включать, по крайней мере, спектр сигнала, содержащий частотные интервалы от 1 Гц до 12 Гц, максимальное, минимальное, среднее и стандартное отклонение амплитуды и частоты пиков, находящихся в пределах двух стандартных отклонений от средней спектральной энергии, фундаментальную частоту, среднее и стандартное отклонение энергетического спектра.

В способе могут извлекать спектр с частотными ячейками отдельно в диапазоне 1-3 Гц и 3-12 Гц.

В способе дополнительно может быть осуществлена фильтрация признаков и редукция размерности.

В способе моделями машинного обучения могут являться, по крайней мере, логистическая регрессия, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов.

В способе классификаторы могут разделять пациентов, по крайней мере, на следующие классы - здоровые или больные с БП, больные с БП или больные с эссенциальным тремором, здоровые или больные с БП или больные с эссенциальным тремором.

В способе заключение о болезни пациента может быть представлено в виде одного или более диагнозов с указанием вероятности их достоверности.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения.

Заявляемое изобретение проиллюстрировано фигурами 1-3, на которых изображены:

Фиг. 1 – иллюстрирует предпочтительный вариант реализации заявленного способа диагностики болезни Паркинсона на основе анализа видеоданных пациента.

Фиг. 2 – иллюстрирует 25 ключевых точек тела.

Фиг. 3 – иллюстрирует общую возможную схему вычислительного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

В настоящем изобретении приложение для смартфона или приложение для компьютера производит диагностику болезни Паркинсона по данным со встроенной видеокамеры или отдельной камеры на основе анализа полученных видеоданных с применением N классификаторов (Фиг. 1). Заявленное решение также осуществляет онлайн-мониторинг состояния пациента по решению врача. Для диагностики БП используется несколько классификаторов, определяющих пациентов с искомым неврологическим заболеванием среди группы пациентов с другими неврологическими заболеваниями, в частности, отличает здоровых пациентов от пациентов с болезнью Паркинсона и пациентов с болезнью Паркинсона от пациентов с эссенциальным тремором.

Видео записывалось со скоростью 30 кадров в секунду. Каждый видеоклип обрабатывался с помощью библиотеки OpenPose, которая возвращает JSON файл с 25 ключевыми точками тела для каждого кадра (Фиг. 2). Ключевыми точками, использованными для дальнейшей обработки, были [2,3,4] и [5,6,7] для правой и левой рук соответственно. Ключевые точки представляют положение плеч, локтей и запястий. Эти ключевые точки использовались для того, чтобы получить каждый из следующих сегментов: запястье-плечо, плечо-локоть, локоть-запястье отдельно для координат x и y как для правой, так и для левой руки. Был применен фильтр Савицкого-Голея, работающий с использованием сверток, с длиной окна 19 и полиномиальным порядком 4. Используя эти сегменты, вычислялись относительная скорость (разница между значениями двух последующих записей в исходных данных каждого сегмента) и ускорение (разница между значениями двух последующих записей для скорости). Затем данные были разбиты на куски с интервалом в 3 секунды (90 записей в каждом интервале) с 50% перекрытием.

На основе отфильтрованных и сегментированных данных были разработаны временные и частотные признаки. Временные признаки включали стандартные статистические величины, такие как минимум, максимум, среднее значение, мода, стандартное отклонение, перекос и эксцесс. Кроме того, необходимо было извлечь признаки из частотной области. С использованием дискретного преобразования Фурье вычислялся спектр сигнала, содержащий частотные интервалы от 1 Гц до 12 Гц, вычислялись максимальное, минимальное, среднее и стандартное отклонение амплитуды и частоты пиков, находящихся в пределах двух стандартных отклонениях от средней спектральной энергии. В качестве признаков использовались также фундаментальная частота, среднее и стандартное отклонение энергетического спектра.

Было применено несколько методов фильтрации признаков, в частности: фильтр низкой дисперсии (удалялись признаки с дисперсией 0,20 или ниже), коррелирующие признаки (для признаков с корреляцией 0,80 или выше удалялся один), важность признаков (двадцать лучших признаков выбирались на основе примеси Джини из расщеплений случайного леса). Для дальнейшего сокращения числа случайных величин и извлечения наиболее значимых компонентов были использованы несколько методов редукции размерности (DR): факторный анализ, линейный дискриминантный анализ и анализ главных компонент. Логистическая регрессия, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов были моделями машинного обучения, используемыми для отделения пациентов с болезнью Паркинсона от пациентов с эссенциальным тремором. Для выбора оптимальных параметров использовалась групповая K-кратная перекрестная валидация наряду с рандомизированным сеточным поиском.

В процессе сбора данных каждому испытуемому предлагалось выполнить ряд заданий. Всего было 15 таких задач (Таблица), которые исходили из разных источников, и каждая из них имела конкретную цель-идентифицировать один или несколько симптомов:

● Тремор в покое (ТП);

● Тремор действие (ТД);

● Постуральный Тремор (ПТ);

● Брадикинезия (БР).

Кроме того, каждая задача попадала в одну из подкатегорий:

● Крупная моторика (КМ): общие движения;

● Мелкая моторика (ММ): движения, требующие тонкой координации;

● Тремор в покое (ТП): тремор при отсутствии каких-либо телесных движений;

● Клиническая оценка (КО): исследования которые используются клиницистами для оценки тремора.

Несколько заданий, в частности 2, 10 и 11, были взяты из MDS-UPDRS (Movement Disorder Society Unified Parkinson's Disease Rating Scale). Задачи 1, 3, 4, 6, 7, 12 были отобраны из исследований, проведенных Luca L. и его коллегами [1]. Остальные задания были рекомендованы неврологами как задания, которые они используют в своей личной практике. В целом испытуемым требуется 15-20 минут, чтобы выполнить все упражнения.

Таблица

Упражнение Искомый симптом Категория упражнения 1. Ходьба, сидение на стуле, стояние ТП, БР КМ 2. Пронация / супинация предплечий ТД КО 3. Сложить полотенце ТД, БР КМ 4. Закрутить гайку на болте ТД, БР ММ 5. Закрутить анкер ТД, БР ММ 6. Разложить книги из одного органайзера в другой ТД, БР КМ 7. Наполнить стакан водой ТД, БР ММ 8. Сесть, расслабиться и опустить руки ТП ТП 9. Прочитать предложение, записать его и обвести спираль ТД, БР ММ 10. Постукивание пальцем по столу ТД, БР КО 11. Постукивание пальцами (только указательным и большим) с согнутыми локтями ТД, БР КО 12. Касаться носа указательным пальцем ТД, БР КО 13. Стоять с вытянутыми руками ПТ КО 14. Руки сложены перед грудью, ладони направлены внутрь ПТ КО 15. Руки сложены перед грудью, ладони направлены наружу ПТ КО

Пока каждый испытуемый выполнял эти задания, видео было записано с трех различных ракурсов:

1) вид сбоку;

2) вид спереди;

3) вид сверху на руки.

Для записи видео использовалась камера Logitech BRIO 4K PRO с разрешением 640x480 и частотой кадров 30 в секунду. Затем видео было сохранено на мини-ПК Intel NUC компании Intel TM.

В записанном видео есть части, которые непригодны для использования. Иногда это происходит потому, что пациент еще не находится в кадре или скрыт от обозрения кем-то другим. Эти части вырезаны из видеофайлов. Остальные части видео затем обрабатываются с помощью библиотеки OpenPose.

OpenPose — это система обнаружения ключевых точек. Как только видеоклипы вводятся в детектор ключевых точек с помощью скрипта, для каждого кадра возвращается файл JSON (JavaScript Object Notation). Этот файл JSON содержит информацию о количестве фигур, то есть людей, в данном кадре, а также некоторое количество чисел, которые представляют собой значения x, y и доверительные значения для нужных ключевых точек тела. Это означает, что количество JSON-файлов, которые вы получаете из одного видео, равно количеству кадров в этом видео (в нашем конкретном случае использования - 30*количество секунд). При использовании параметра pose_keypoints_2d возвращается 25 ключевых точек (Фиг. 2). Когда выполняется обнаружение ключевых точек, файлы JSON сохраняются в необходимые выходные папки. Чтобы было удобнее использовать эти ключевые точки, необходимо прочитать их из файлов JSON и сохранить в словарях или другой структуре данных (в Python).

В кадре может быть несколько человек. OpenPose возвращает файл JSON для каждого кадра, но он не отслеживает одного и того же человека во всех кадрах. Таким образом, при чтении ключевых точек из файла JSON необходимо самим решить, какой человек в следующем кадре соответствует правильному человеку в предыдущем кадре. Был выбран человек с наиболее близким положением головы (ключевая точка № 0), с использованием нормы Фробениуса.

Ключевые точки № 2, 3, 4 представляют собой правое плечо, правый локоть и правое запястье соответственно, а ключевые точки № 5, 6, 7-левое плечо, левый локоть и левое запястье (Фиг. 2). Именно эти точки и были использованы для дальнейшего анализа. Относительная скорость (разница между значениями двух последующих записей для исходных данных) и ускорение (разница между значениями двух последующих записей для скорости) были рассчитаны отдельно для координат x и y как для правой, так и для левой руки для каждого из следующих сегментов: запястье-плечо, плечо-локоть, локоть-запястье. Получают для каждой видеозаписи набор данных, содержащий значения относительный скорости и ускорения, рассчитанные для каждой пары последовательных кадров. Например, для видео длительностью 1 с. (30 кадров) получают 29 значений скорости и 28 значений для ускорения.

После выделения указанных ключевых точек сегменты вычисляются путем вычисления разности между соответствующими ключевыми точками. Например, для локтево-лучезапястного сегмента разница между ключевыми точками № 3 и 4 берется для правой руки, а № 6 и 7 - для левой. Относительная скорость и ускорение были рассчитаны на основе этих сегментов для того, чтобы модель машинного обучения могла лучше определять моторные дисфункции. Для фильтрации данных и снижения шума применялся фильтр Савицкого-Голея, длина окна которого составляла 19 кадров, а порядок полиномов - 4, так как он, как известно, хорошо работает при повышении точности данных без искажения тенденции сигнала. Этот фильтр использовался на этапе вычисление сегментов, до того, как вычислялись скорость и ускорение. Затем данные о скорости и ускорении были сегментированы на клипы продолжительностью 3 секунды, что эквивалентно 90 кадрам, с 50% перекрытием.

На основе этих отфильтрованных и сегментированных данных были извлечены как временные, так и частотные признаки. Временные признаки были стандартными статистическими величинами: минимум, максимум, среднее, медиана, мода, стандартное отклонение, дисперсия, перекос и эксцесс. Двигательные симптомы болезни Паркинсона в значительной степени основаны на определенных частотах. Например, брадикинезия обычно присутствует в диапазоне 1-3 Гц, в то время как различные виды тремора находятся в диапазоне 3-12 Гц. Дискретное преобразование Фурье использовалось для извлечения спектра с частотными ячейками отдельно в диапазоне 1-3 Гц и 3-12 Гц. Особенности были извлечены из каждого частотного диапазона отдельно. Использовались только такие пики, чтобы амплитуда была больше среднего плюс два стандартных отклонения. Затем вычислялись максимальное, минимальное, среднее и стандартное отклонения пиковых частот и амплитуд вместе с доминирующей частотой и амплитудами. Synthetic Minority Oversampling Technique (SMOTE) был использован на минорном классе для увеличения набора данных признаков. В целом пространство признаков содержало 744 значения.

Поскольку было извлечено много признаков, необходимо было уменьшить размерность пространства признаков, чтобы уменьшить переобучение и выделить доминирующую информацию. Первым шагом в уменьшении размерности была фильтрация признаков. Для этого было применено несколько подходов. Во-первых, были удалены признаки, которые имели дисперсию 0,20 или ниже. Затем для признаков, которые имели корреляцию 0,80 или более, один был удален. Следующий шаг был определен с помощью итерационного процесса. Либо двадцать лучших признаков были выбраны на основе примеси Джини из случайных расщеплений леса, либо были применены дополнительные методы уменьшения размерности, извлечение компонентов, специфически:

● факторный анализ;

● линейный дискриминантный анализ;

● анализ основных компонентов.

С помощью поиска по сетке было извлечено различное количество компонентов с использованием одного или нескольких методов. Выбирается количество компонентов и алгоритм, который лучше всего работает. Для классификации использовались следующие модели:

● логистическая регрессия;

● классификатор XGBoost;

● классификатор случайных лесов;

● классификатор опорных векторов;

● классификатор гауссовых процессов.

Рандомизированный поиск сетки, поскольку он менее длительный, был использован для выбора параметров для каждого из классификаторов. Для всех задач в отдельности использовался каждый классификатор и выбирается лучший результат. Классификаторы разделяют пациентов на несколько классов, например, 1) здоровые или больные с БП, 2) больные с БП или больные с эссенциальным тремором, 3) здоровые или больные с БП или больные с эссенциальным тремором. В нескольких случаях был реализован вложенный классификатор с логистической регрессией в качестве мета-классификатора. Групповая K-кратная перекрестная валидация использовалась для того, чтобы убедиться, что ни один пациент не был одновременно в обучение и валидации.

Диагностика у пациента БП осуществляется следующим образом. Пациент выполняет задания (упражнения) из Таблицы. По крайней мере одна видеокамера записывает выполнение упражнений пациентом, видеоданные с нее передаются в приложение для смартфона или приложение для компьютера. Видеоданные обрабатываются с помощью детектора ключевых точек и для каждого кадра возвращается файл JSON (JavaScript Object Notation) с ключевыми точками тела пациента. На основе полученных ключевых точек тела пациента вычисляют относительную скорость и ускорение. Получают сегментированный набор данных, из которого выделяют временные и частотные признаки. Полученные признаки обрабатывают с помощью N классификатора и получают выходные данные. В процессе диагностики пациента с БП для каждого задания используется лучший классификатор, который был выбран на стадии обучения. Классификаторы разделяют пациентов на несколько классов, например, 1) здоровые или больные с БП, 2) больные с БП или больные с эссенциальным тремором, 3) здоровые или больные с БП или больные с эссенциальным тремором. Критериями оценки состояния пациента являются результаты работы алгоритмов машинного обучения. Случаи, когда по результатам упражнений пациент болен и не болен одновременно, имеют очень маленькую вероятность, и в этом случае проводится дополнительное тестирование для постановки точного диагноза. Осуществляют диагностирование болезни Паркинсона на основании выходных данных, полученных для каждого вида двигательной активности (Фиг. 1). Отображают диагноз пациента через приложение. Заключение о болезни пациента может быть представлено в виде одного или нескольких диагнозов с указанием вероятности их достоверности, например, «болезнь Паркинсона с вероятностью 86%». Динамика изменения вероятности того или иного заболевания при повторных обследованиях может служить дополнительным источником информации об успешности результатов проводимой терапии.

На Фиг. 3 представлена общая возможная схема вычислительного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну память (302), средство хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).

Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функциональности одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).

Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации.

Интерфейсы (304) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (304) зависит от конкретного исполнения устройства (N00), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (305) в данном воплощении системы может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (306) выбираются из устройств, обеспечивающих сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (305) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM, 3G, 4G, 5G.

Компоненты устройства (300) сопряжены посредством общей шины передачи данных (307).

В настоящих материалах заявки представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Специалисту в данной области техники должно быть понятно, что различные вариации заявляемого способа и системы не изменяют сущность изобретения, а лишь определяют его конкретные воплощения и применения.

Источники

[1] Lonini, L., Dai, A., Shawen, N. et al. Wearable sensors for Parkinson’s disease: which data are worth collecting for training symptom detection models. npj Digital Med 1, 64 (2018). https://doi.org/10.1038/s41746-018-0071-z

[2] Butt, A.H., Rovini, E., Dolciotti, C. et al. Objective and automatic classification of Parkinson disease with Leap Motion controller. BioMed Eng OnLine 17, 168 (2018). https://doi.org/10.1186/s12938-018-0600-7

[3] Ссылка: Li, M.H., Mestre, T.A., Fox, S.H. et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation. J NeuroEngineering Rehabil 15, 97 (2018). https://doi.org/10.1186/s12984-018-0446-z

[4] Ссылка: Li, M.H., Mestre, T.A., Fox, S.H. et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation. J NeuroEngineering T. Li et al., "Automatic Timed Up-and-Go Sub-Task Segmentation for Parkinson’s Disease Patients Using Video-Based Activity Classification," in IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 26, no. 11, pp. 2189-2199, Nov. 2018, doi: 10.1109/TNSRE.2018.2875738.

Изобретение относится к области информационных и коммуникационных технологий (ИКТ), специально предназначенных для медицинской диагностики. Предложен способ, в котором осуществляют сбор и получение видеоданных, содержащих один или более видов двигательной активности пациента; обработку полученных видеоданных; для каждого вида двигательной активности выполняют следующее: получают для каждого кадра обработанных видеоданных файл с ключевыми точками тела пациента; вычисляют сегменты на основе полученных ключевых точек тела пациента; вычисляют относительную скорость и ускорение на основании вычисленных сегментов и на основании проведенных вычислений получают набор данных; сегментируют полученные на предыдущем этапе данные и выделяют временные и частотные признаки из сегментированного набора данных; обрабатывают полученные признаки с помощью одного или более классификаторов и получают выходные данные, причем в процессе обучения выбирают лучшие один или более классификаторы для каждого вида двигательной активности; осуществляют диагностирование болезни Паркинсона на основании выходных данных, полученных для каждого вида двигательной активности. Изобретение обеспечивает повышение точности диагностирования болезни Паркинсона на основе анализа видеоданных, содержащих двигательную активность пациента. 15 з.п. ф-лы, 3 ил.

1. Компьютерно-реализуемый способ диагностики болезни Паркинсона на основе анализа видеоданных пациента, в котором:

- собирают и получают видеоданные, содержащие один или более вид двигательной активности пациента, путем выполнения заданий пациентом;

- обрабатывают полученные видеоданные;

для каждого вида двигательной активности выполняют следующее:

- получают для каждого кадра обработанных видеоданных файл с ключевыми точками тела пациента;

- вычисляют для каждого кадра сегменты тела пациента на основе полученных ключевых точек тела пациента;

- вычисляют относительную скорость и ускорение на основании вычисленных сегментов тела пациента и на основании проведенных вычислений получают набор данных;

- сегментируют полученные на предыдущем этапе данные и выделяют временные и частотные признаки из сегментированного набора данных;

- обрабатывают полученные признаки с помощью одного или более классификаторов и получают выходные данные, причем в процессе обучения выбирают лучшие один или более классификаторы для каждого вида двигательной активности;

- осуществляют диагностирование болезни Паркинсона на основании выходных данных, полученных для каждого вида двигательной активности.

2. Способ по п. 1, характеризующийся тем, что собирают данные для каждого вида двигательной активности путем выполнения заданий пациентом, с помощью которых идентифицируют, по крайней мере, тремор в покое (ТП), тремор в действии (ТД), постуральный Тремор (ПТ), брадикинезию.

3. Способ по п. 1, характеризующийся тем, что получают видеоданные по крайней мере с трех различных ракурсов: вид сбоку, вид спереди, вид сверху на руки.

4. Способ по п. 1, характеризующийся тем, что видеоданные обрабатывают с помощью детектора ключевых точек и для каждого кадра возвращается файл JSON (JavaScript Object Notation) с ключевыми точками тела пациента, характеризующимися числами, которые представляют собой значения х, у и доверительные значения для каждой ключевой точки.

5. Способ по п. 4, характеризующийся тем, что сегменты тела пациента вычисляют путем вычисления разности между соответствующими ключевыми точками тела пациента.

6. Способ по п. 5, характеризующийся тем, что сегменты тела пациента вычисляют для координат х и у как для правой, так и для левой руки для каждого из следующих сегментов тела пациента: запястье-плечо, плечо-локоть, локоть-запястье.

7. Способ по п. 1, характеризующийся тем, что на этапе вычисления сегментов тела пациента осуществляют фильтрацию видеоданных с помощью фильтра Савицкого-Голея.

8. Способ по п. 1, характеризующийся тем, что временные признаки включают, по крайней мере, стандартные статистические величины.

9. Способ по п. 8, характеризующийся тем, что стандартными статистическими величинами являются, по крайней мере, максимум, среднее значение, мода, стандартное отклонение, перекос и эксцесс.

10. Способ по п. 1, характеризующийся тем, что извлекают признаки из частотной области с использованием дискретного преобразования Фурье.

11. Способ по п. 10, характеризующийся тем, что частотные признаки включают, по крайней мере, спектр сигнала, содержащий частотные интервалы от 1 Гц до 12 Гц, максимальное, минимальное, среднее и стандартное отклонение амплитуды и частоты пиков, находящихся в пределах двух стандартных отклонений от средней спектральной энергии, фундаментальную частоту, среднее и стандартное отклонение энергетического спектра.

12. Способ по п. 11, характеризующийся тем, что извлекают спектр с частотными ячейками отдельно в диапазоне 1-3 Гц и 3-12 Гц.

13. Способ по п. 1, характеризующийся тем, что дополнительно осуществляют фильтрацию признаков и редукцию размерности.

14. Способ по п. 1, характеризующийся тем, что моделями машинного обучения являются, по крайней мере, логистическая регрессия, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов.

15. Способ по п. 1, характеризующийся тем, что классификаторы разделяют пациентов, по крайней мере, на следующие классы - здоровые или больные с БП, больные с БП или больные с эссенциальным тремором, здоровые или больные с БП или больные с эссенциальным тремором.

16. Способ по п. 1, характеризующийся тем, что заключение о болезни пациента представлено в виде одного или более диагнозов с указанием вероятности их достоверности.