СПОСОБ ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ ВЗАИМОДЕЙСТВИЯ С ФИЗИЧЕСКИМИ ОБЪЕКТАМИ В ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ Российский патент 2023 года по МПК A61B5/16 G09B23/28 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности, к способам обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, RU 2715148 C1, 25.02.2020. Данное решение относится к области вычислительной техники, а именно к симуляторам с использованием виртуальной реальности. Симулятор включает в себя ПК с машиночитаемым носителем. Он состоит из логической части симулятора и графической трехмерной оболочки, которые подключаются к компьютеру. Он также включает периферийные устройства для навигации в виртуальной среде. Логическая часть в виде программного комплекса включает связанные между собой посредством локального программного интерфейса модуль коммутации и модуль оценки. Коммутационный VR-симулятор спроектирован таким образом, что обучающийся связан двусторонней связью с инструктором и очками виртуальной реальности. В состав очков виртуальной реальности входят: шлем, наушники, микрофон, манипулятор-контроллер, трекеры положения платформа для передвижения. Очки виртуальной реальности имеют двустороннее подключение к программной системе. Он состоит из модуля набора сценариев, модуля редактора сценариев и базового модуля программного ядра. Модуль двигателя состоит из модуля симулятора, модуля переключения, модуля оценки и голосового модуля.

Предлагаемое решение направлено на устранение недостатков современного уровня техники и отличается от известных решений тем, что предложенный способ совмещает преимущества виртуальной реальности и высокореалистичных тактильных симуляторов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является создание способа обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности.

Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.

Технический результат заключается в обеспечении безопасного обучения пользователей. Дополнительный технический результат заключается в повышении качества обучения пользователей.

Заявленные технические результаты достигаются за счет осуществления способа обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности, включающего этапы, на которых:

обучающемуся пользователю в режиме реального времени в очки виртуальной реальности транслируется анимированный интерактивный пациент, синхронизированный по контурам тела с физическим манекеном, располагаемым в непосредственной близости с обучаемым пользователем, позволяющим пользователю, в режиме реального времени, тактильно ощущать анатомически достоверный рельеф тела и проводить пальпацию, перкуссию и аускультацию органов в соответствии с заранее заданными сценариями обследования, причем усилия, оказываемые пользователем при взаимодействии с манекеном при пальпации, перкуссии или аускультации, определяются с помощью датчиков веса и конвертируются в деформацию поверхности тела виртуального пациента, за счет чего

в очках виртуальной реальности воспроизводится аудио и видео поток в виде двигательных, речевых и мимических реакций виртуальных пациентов на воздействия обучаемого, с возможностью визуализации патологических изменений, причем зафиксированные координаты и усилия давлений, прикладываемые пользователем к манекену, используются вычислительной системой для автоматизированной оценки действий пользователя, согласно заранее заданным критериям.

В частном варианте реализации описываемого способа, в число оцениваемых действий могут входить последовательность прохождения точек пальпации, прилагаемые усилия, точность позиционирования рук пользователя относительно тела пациента, постановка диагноза, элементы осмотра и взаимодействия с пациентом и окружением.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Компьютерные технологии активно используются в образовательном процессе практически по всему миру. Полное погружение в виртуальную реальность и взаимодействие с ее объектами достигается только при использовании специальных устройств. Такие устройства, которые обеспечивают полное погружение в виртуальную реальность и имитируют взаимодействие человека с ней с помощью органов чувств называют системами виртуальной реальности (VR).

Важным фактором для повышения уровня погружения в виртуальную среду является возможность интерактивного взаимодействия с элементами окружения и персонажами в виртуальной реальности.

Использование симуляционных систем обусловлено необходимостью обеспечения безопасности пациентов, путем предоставления запланированной практики и достаточного количества повторений для отработки практических умений обучающимся.

Каждая из существующих модальностей симуляции имеет свои ограничения, так технология с использованием симулированных пациентов позволяет отрабатывать коммуникативные навыки, внешне имитировать некоторые заболевания, передавать эмоции, но не позволяет имитировать острые состояния, отрабатывать инвазивные процедуры, а также ограничена невозможностью имитации широкого спектра клинических симптомов.

Тренажеры для отработки навыков физикального осмотра позволяют имитировать различные клинические находки - пальпаторные, например, объемные образования или увеличенные внутренние органы, изменения пульсации; аускультативные признаки заболеваний - сердечные шумы, легочные хрипы, но в то же время не позволяют имитировать реакцию пациента и, как следствие - ряд симптомов, связанных с болезненностью или рефлекторными движениями при нажатии или постукивании в определенных анатомических областях.

Демонстрация симптомов и возможность отработки навыков физикального осмотра на реальных пациентах затруднена, поскольку запланировать наличие пациентов со всеми необходимыми для освоения симптомами за время клинической ротации студентов невозможно, большинство пациентов отказываются от взаимодействия со студентами, так как испытывают дискомфорт и болевые ощущения при обследовании студентами. У пациентов с острой патологией помимо болевых ощущений повторные обследования студентами могут привести к осложнениям, а также к задержке оказания необходимой экстренной помощи. В то же время для приобретения устойчивых навыков требуется многократное повторение и возможность наблюдения симптомов у различных пациентов.

Таким образом приобретение навыков физикального осмотра и распознавания патологий студентами медицинских вузов существенно затруднено, что в дальнейшем влечет некорректную интерпретацию информации, полученной при обследовании пациентов.

Задача настоящего изобретения заключается в отработке навыков физикального осмотра пациентов и распознавания патологий различных органов и систем.

Способ обучения основан на визуализации в виртуальной среде различных симптомов при взаимодействии обучающихся с тренажерами и фантомами, имитирующими различные части тела. Благодаря используемым технологиям, обучающийся имеет возможность наблюдения симптомов различных заболеваний, включая болевые ощущения при пальпации, перкуторные и аускультативные изменения. Кроме того, обучающийся не ограничен во времени при выполнении физикального обследования и может многократно повторять исследования. Обучающемуся предлагается возможность визуализации патологии органов при включении режима прозрачности кожных покровов, а также визуальные подсказки, направляющие ход обследования. При этом возможность одновременного восприятия информации через разные каналы - сенсорный и визуальный, позволяет улучшить запоминание информации (Baddeley, 1974, 2007). Мультиплицирующий эффект при одновременном применении различных модальностей лежит в основе Когнитивной теории мультимедийного обучения (Mayer, 1998), учащиеся лучше передают знания, полученные ими в процессе смешанного (многомодального) обучения.

Настоящее техническое решение позволяет добиться устойчивого освоения навыков физикального осмотра и распознавания заболеваний.

Предлагаемый способ обучения включают в себя обучение следующим методикам:

1. Физикальное обследование пациентов с острой абдоминальной патологией;

2. Физикальное обследование пациентов с объемными образованиями в брюшной полости;

3. Физикальное обследование пациентов с заболеваниями органов дыхательной системы;

4. Физикальное обследование пациентов с заболеваниями органов сердечно-сосудистой системы.

За счет предлагаемого технического решения, обучающийся видит окружение, интерактивные предметы, анимированного интерактивного пациента и физически ощущает анатомически достоверный рельеф тела, синхронизированный с визуальной картинкой, что улучшает запоминание информации и ее воспроизведение. Такой подход увеличивает глубину погружения, расширяет возможности взаимодействия, а также позволяет реализовывать системы автоматизированной комплексной объективной оценки действий пользователя.

Для реализации этого подхода используются технологии трекинга головы и рук пользователя, трекинга манекенов и датчики усилия нажатия на поверхность манекена, а также специально созданные алгоритмы для применения данных всех датчиков и контентная составляющая, включающая отрисованную локацию, модели окружения, пациента, анимации его движений и реакций, модели патологических изменений и т.д.

В процессе обучения автоматически оцениваются все действия пользователя и в конце сессии определяются результаты в виде баллов с подробной расшифровкой. В число оцениваемых действий могут входить последовательность точек пальпации, перкуссии, прилагаемые усилия, точность позиционирования рук пользователя и инструментов относительно тела пациента, постановка диагноза, элементы осмотра и взаимодействия с пациентом и окружением. Таблицы результатов сохраняются и привязываются к учетным записям пользователей.

1. Физикальное обследование пациентов с острой абдоминальной патологией

Способ позволяет с высокой степенью достоверности имитировать различные острые патологии органов брюшной полости. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильный манекен туловища взрослого человека или ребенка, в зависимости от клинической ситуации. Используется библиотека звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента и передается непосредственно в шлем виртуальной реальности. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.

Определение точек и силы надавливания осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена, а также датчиков давления, расположенных на платформе, и передается в автоматизированную систему оценки для интерпретации усилия при выполнении пальпации и выставлении баллов за навык. Местоположение применяемого усилия определяется с помощью системы трекинга рук пользователя.

Для демонстрации реакции пациента в состояниях, когда в области передней брюшной стенки предусмотрена болезненность различной выраженности, виртуальный пациент демонстрирует боль при пальпации в определенной области. Боль представлена в виде различных вариантов реакции пациента с соответствующими звуками, мимикой и демонстрацией сокращения передней брюшной стенки с подъемом ног и верхней части туловища в ответ на надавливания различной глубины.

Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента представлены не только в письменном виде, но и реалистично озвучены для максимального погружения в виртуальную среду.

Способ включает два режима, используемых последовательно - режим обучения и режим оценки. В режиме обучения пользователю доступны визуальные подсказки: размеченные области на теле виртуального пациента доступные для совершения действий (пальпации, перкуссии, аускультации), направление положения рук. В режиме оценки подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена. Осуществляется автоматическая оценка по 5 обязательным блокам: Опрос, Общий осмотр и объективное обследование, Дополнительные методы обследования, Диагноз и Лечение.

2. Физикальное обследование пациентов с объемными образованиями в брюшной полости

Способ позволяет с высокой степенью достоверности имитировать различные патологии органов брюшной полости, сопровождающиеся изменением объема отдельных органов брюшной полости. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильный имитатор туловища взрослого человека или ребенка, с возможностью установки различных модулей, имитирующих объемные образования в зависимости от клинической ситуации. Используется библиотека звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента и передается непосредственно в шлем виртуальной реальности. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.

Определение точек и силы надавливания осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена, а также датчиков давления, расположенных на платформе, и передается в автоматизированную систему оценки для интерпретации усилия и выявления патологических образований при выполнении пальпации и выставлении баллов за отрабатываемый навык.

Для демонстрации реакции пациента в состояниях, когда в области передней брюшной стенки предусмотрена болезненность различной выраженности, виртуальный пациент демонстрирует боль при пальпации в определенной области. Боль представлена в виде различных вариантов реакции пациента, сопровождающихся звуками и демонстрации сокращения передней брюшной стенки с подъемом ног и верхней части туловища в ответ на надавливания различной глубины.

Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента представлены не только в письменном виде, но и реалистично озвучены для максимального погружения в виртуальную среду.

Способ включает два режима, используемых последовательно - режим обучения и режим оценки. В режиме обучения пользователю доступна визуализация внутренних органов с соответствующими патологическими изменениями. При выполнении пальпации органы могут изменять свою форму, что визуализируется в очках виртуальной реальности. Доступны визуальные подсказки: размеченные области на теле виртуального пациента доступные для совершения действий (пальпации, перкуссии, аускультации), направление положения рук. В режиме оценки подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена. Осуществляется автоматическая оценка по 5 обязательным блокам: Опрос, Общий осмотр и объективное обследование, Дополнительные методы обследования, Диагноз и Лечение;

3. Физикальное обследование пациентов с заболеваниями органов дыхательной системы

Способ позволяет с высокой степенью достоверности имитировать различные патологии органов дыхательной системы. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильная имитация верхней части тела взрослого человека или ребенка зафиксированный в вертикальном положении. Используется библиотека звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента и передается непосредственно в шлем виртуальной реальности. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.

Определение выбранных точек аускультации осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена, и передается в автоматизированную систему оценки для интерпретации полноты обследования и выявления патологических образований при выполнении аускультации и выставлении баллов за навык.

Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента представлены не только в текстовом виде, но и реалистично озвучены для максимального погружения в виртуальную среду.

Способ включает два режима, используемых последовательно - режим обучения и режим оценки. В режиме обучения пользователю доступна визуализация органов дыхательной системы с соответствующими патологическими изменениями. Доступны визуальные подсказки: области на теле виртуального пациента доступные для совершения действий (пальпации, перкуссии, аускультации), направление положения рук, положения стетоскопа. В режиме оценки подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена. Осуществляется автоматическая оценка по 5 обязательным блокам: Опрос, Общий осмотр и объективное обследование, Дополнительные методы обследования, Диагноз и Лечение.

4. Физикальное обследование пациентов с заболеваниями органов сердечно-сосудистой системы

Способ позволяет с высокой степенью достоверности имитировать различные патологии органов сердечно-сосудистой системы. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильная имитация тела взрослого человека, лежащего на спине - широко распространенная модель симулятора кардиологического пациента, наиболее полно и достоверно имитирующего симптомы различных сердечно-сосудистых патологий - Harvey. Используется библиотека симптомов, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью, включающая патологические изменения звуков, пульсации в различных точках, смещение сердечного толчка. Каждый звук соответствует определенной точке на теле виртуального пациента и передается непосредственно в имитатор стетоскопа. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.

Определение выбранных областей пальпации грудной клетки, точек пульсации и аускультации осуществляется с помощью системы трекинга положения рук в пространстве и системы магнитного трекинга, встроенной в манекен, и передается в автоматизированную систему оценки для интерпретации полноты обследования и выявления патологических образований при выполнении аускультации и выставлении баллов за отрабатываемый навык.

Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента представлены не только в текстовом виде, но и реалистично озвучены для максимального погружения в виртуальную среду.

Для всех указанных методик разработана уникальная программно-аппаратная часть, сочетающая физическую модель пациента и синхронизированную с ней виртуальную. Разработанный контент клинически достоверен и позволяет проводить как обучение, так и автоматическую оценку мануальных и клинических навыков, что повышает объективность оценки и снижает нагрузку на преподавателя.

Симулятор для физикального обследования пациентов с острой абдоминальной патологией и пациентов с объемными образованиями в брюшной полости с высокой степенью достоверности позволяет имитировать более 60 клинических ситуаций, включающих норму и различные патологии органов брюшной полости. Сценарии зависят от физической модели, которая в данный момент установлена в манекене для повышения реалистичности виртуальной модели. Физическая конфигурация манекена перед запуском сессии задается через специальный пользовательский интерфейс.

Для управления физическим имитатором диафрагмы, применяется шаговый двигатель, закрепленный на рукоятке привода диафрагмы на манекене, и электронная схема управления, подключенная вычислительному центру. Симуляционная программа имеет возможность в определенные моменты симуляции подавать управляющие команды на привод для приведения в движение имитатора диафрагмы. При этом визуальный контент симулятора синхронизирован с состоянием привода.

Платформа-база (ложемент) должна включать, по меньшей мере, 4 датчика давления (усилия) для определения степени надавливания и электронный контроллер для считывания, обработки и передачи данных с датчиков.

Ложемент для манекена содержит интегрированные тензорезистивные датчики и плату управления.

Структура блока управления:

1. Микроконтроллер;

2. Драйвер шагового двигателя;

3. Система питания;

4. Аналого-цифровые преобразователи мостового типа для тензорезистивных датчиков.

Функционал блока управления:

1. Усиление, считывание и оцифровка аналоговых сигналов четырех тензорезистивных датчиков.

2. Преобразование напряжения и управление шаговым мотором привода диафрагмы, закрепленном на манекене.

3. Обмен данными с компьютером через USB интерфейс (передача усилий на датчиках, получение команд на управление приводом).

Аппаратная часть, посредством которой реализуется предлагаемое техническое решение, может быть реализована с помощью следующих конкретных технических элементов:

• Манекен для абдоминального обследования пациента с интегрированным приводом дыхания, без изменений в брюшной полости (для сохранения тактильной достоверности);

• Очки виртуальной реальности Oculus Quest;

• Вычислительный центр (вычислительное устройство, способное осуществлять необходимую обработку данных, например, игровой компьютер с беспроводным передатчиком видеосигнала и монитором);

• Шаговый мотор, электронный блок управления, и ременная передача на вал диафрагмы.

Один из примеров работы предлагаемого технического решения.

• Привод, установленный на манекене, вращает штатный вал, имитируя дыхание пациента.

• Манекен устанавливается на платформу-базу (ложемент), оснащенную высокочувствительными датчиками усилия и упором, повторяющим форму манекена с боковой стороны для снятия нагрузки с датчиков при проведении двуручных пальпаций.

• Платформа-база подключается к вычислительному центру (например, к игровому компьютеру) через интерфейс USB и в реальном времени передает данные о положении рук пользователя и показаниях датчиков усилия.

• Обучающийся пользователь в VR очках видит лежащего пациента, видит свои руки в области около пациента и может выполнять пальпацию в соответствии со сценарием. Усилия нажатия при пальпации, определенные с помощью датчиков, конвертируются в деформацию поверхности тела виртуального пациента и используются системой автоматизированной оценки.

• Внутри виртуальной локации присутствуют интерфейсы для взаимодействия с виртуальным пациентом.

• Внутри виртуальной локации возможно включение режима визуализации внутренних органов пациента.

Симулятор, посредством которого реализуется предлагаемое техническое решение, содержит библиотеку звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента.

Детекция степени надавливания осуществляется с помощью датчиков давления, расположенных на платформе, и передается в автоматизированную систему оценки для интерпретации усилия при выполнении пальпации и выставлении баллов за навык. Местоположение применяемого усилия определяется с помощью системы трекинга рук пользователя.

Детекция места надавливания осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена. Данные передаются в автоматизированную систему оценки для интерпретации места, площади и вектора давления при выполнении пальпации и выставлении баллов за навык.

Детекция положения рук осуществляется с помощью системы оптического трекинга положения рук в пространстве на базе стереоскопических камер, установленных на шлеме виртуальной реальности. Данные передаются в автоматизированную систему оценки для положения рук в пространстве при выполнении пальпации и выставлении баллов за навык.

Симуляция физики реакции внутренних органов на давление. Данные о местоположении и силе давления на поверхность живота используются для деформации и смещения моделей внутренних органов виртуального пациента в режиме визуализации внутренних органов (прозрачный живот).

Помимо физической симуляции в виртуальном окружении, для каждого случая (сценария) разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования, вариантах осмотра и постановки диагноза.

Симуляция боли у пациента. Для демонстрации обратной связи от пациента и проявления эмпатии при обследовании, в состояниях, когда в области передней брюшной стенки предусмотрена болезненность различной степени, виртуальный пациент демонстрирует боль при пальпации в определенной области. Боль представлена в виде различных вариантов звуков пациента, изменения мимики и демонстрации сокращения передней брюшной стенки в ответ на надавливание различной степени глубины.

Комплексная автоматизированная система оценки. Система представляет собой сбор информации от датчиков физического взаимодействия, пространственной ориентации и действий обучающегося в виртуальной среде. На основании национальных руководств в систему оценки заложен алгоритм эталонного выполнения задания. Предусмотрено ранжирование действий и бездействия обучающегося по степени важности и степени правильности решения клинического кейса.

Пальпаторные анатомические ориентиры. Физическая часть, используемая для моделирования патологий органов брюшной полости, широко представлена в США, Европе и Азии. В качестве симуляции физической части может использоваться тренажер для моделирования патологий органов брюшной полости компании Limbs & Things как самый реалистичный, широко распространенный и прошедший валидацию в ведущих медицинских школах США, Европы и Азии, манекен от KyotoKagaku или любой другое изделие соответствующее заданным требованиям.

Вербальное взаимодействие с пациентом. Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента не только представлены в письменном виде, но и реалистично озвучены для максимального погружения в виртуальную среду.

Наличие режимов обучение/экзамен.

В режиме обучения пользователю доступны визуальные подсказки: размеченные области на теле виртуального пациента для совершения действий (пальпации, перкуссии, аускультации), указатель направления положения рук. В режиме экзамена подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена.

Система автоматизированной комплексной объективной оценки в ходе симуляционной сессии (по принципам ОСКЭ):

Осуществляется автоматическая оценка по 5 обязательным блокам:

Опрос;

Общий осмотр и объективное обследование;

Дополнительные методы обследования;

Диагноз;

Лечение.

Предлагаемое техническое решение также реализуется посредством:

Интерфейса корректировки данных для соответствия актуальным рекомендациям локального министерства здравоохранения;

Интерфейса оперативной корректировки параметров оценки в зависимости от учебных целей и клинических рекомендаций;

Облачной базы данных, содержащей перечень препаратов, интерпретации результатов обследований, правильные последовательности действий обучающегося;

Отслеживания каждого действия и бездействия обучающегося для определения финального результата.

Визуализация внутренних органов при пальпации. В режиме обучения доступна визуализация внутренних органов. При выполнении пальпации органы могут изменять свою форму, что визуализируется в очках виртуальной реальности.

Визуализация обстановки смотрового кабинета. Выполнение осмотра и решение клинического кейса осуществляется в виртуальной среде (без использования физических предметов антуража), имитирующей реальный смотровой кабинет.

Возможность выполнения других манипуляций (кроме осмотра живота). При решении клинического кейса доступны также: визуальный осмотр, пальпация и аускультация других органов и систем: сердечно-сосудистой, дыхательной, лимфатической, пищеварительной, эндокринной.

Имитация дыхания в автоматическом режиме. Имитация дыхания автоматически в соответствии с предустановленным сценарием осуществляется с помощью электропривода, установленного на манекене и соответствующих движений тела пациента в виртуальной среде.

Функции и положительные эффекты, обеспечиваемые предлагаемым техническим решением.

Отображение локации кабинета врача, пациента и интерфейсов в виртуальной реальности.

Отслеживание движений головы и рук пользователя и манекена, синхронизация позиций с соответствующими объектами в виртуальной реальности.

Обеспечение максимально реалистичной тактильной обратной связи при взаимодействии с телом виртуального пациента с помощью использования высоко реалистичного манекена и интегрированной в него электроники, датчиков и электропривода для имитации дыхания.

Измерение координат и силы нажатия на манекен и проведение пальпации.

Выполнение учебных и экзаменационных сессий, выдача результата комплексной оценки действий пользователя.

Экономия площади. Использование виртуального окружения не требует наличия физической площади большого размера. В одном кабинете могут быть визуализированы различные локации.

Экономия персонала. Автоматизированная система оценки и система интеллектуальных подсказок в режиме обучения позволяют снизить нагрузку на преподавателя в процессе обучения. Для выполнения приема пациента и пальпации используется тренажер для обследования брюшной полости пациента, что исключает необходимость участия реальных или стандартизированных пациентов, а также актеров.

Высокая реалистичность. Виртуальная реальность дополнена тактильными ощущениями реалистичного тренажера со сменными патологиями. Анатомические ориентиры и визуализация окружения позволяют максимально погрузиться в решение клинического кейса.

Эргономичность. Все части симулятора занимают не более 1 м.кв. площади помещения, датчики располагаются на платформе и очках виртуальной реальности, а мобильная стойка может свободно перемещаться в случае необходимости.

Удобство интерфейса. Интерфейс симулятора представлен двумя частями - инструктора (преподавателя) и обучающегося. Запуск осуществляется с компьютера инструктора, а калибровка оборудования с помощью приложения на мобильном телефоне. Интерфейс обучающегося расположен полностью в виртуальной среде и интерактивно адаптирован.

Медицинская достоверность. В решении используется физическая часть тренажера для обследования брюшной полости, которая имеет высокую доказательную базу и полностью соответствует тактильным ощущениям при пальпации живого человека. Наполнение кейса: диалоги, результаты обследований и поведение виртуального пациента соответствуют клиническим ситуациям, которые составлены в соответствии с клиническими рекомендациями и порядками осмотра по профилю заболевания.

Симулятор для физикального обследования пациентов с заболеваниями органов дыхательной системы состоит из следующих компонентов:

• Торс (манекен) человека в натуральную величину на подставке для размещения на горизонтальной поверхности;

• Очки виртуальной реальности;

• Имитатор стетофонендоскопа.

Симулятор воспроизводит звуки, характерные для заданной патологии (состояния), в наушники виртуальных очков. Воспроизводимый звук представляет собой звук, записанный в конкретной аускультативной точке реального пациента.

Выбор воспроизводимого звука происходит автоматически при касании стетоскопом соответствующей зоны на манекене.

Пользователь в виртуальных очках видит симулированного пациента и элементы его дыхательной и сердечно-сосудистой системы.

Возможность регулировки степени прозрачности грудной стенки для визуализации подлежащих структур. Воспроизведение анимации исследуемых структур (движение клапанов, альвеол, бронхиальной стенки и т.д. в отдельном окне) для формирования понимания механизмов возникновения звуковых феноменов.

• Ознакомительный режим.

Предполагает выбор любого состояния из библиотеки со свободным прослушиванием любых зон в произвольном порядке, выбором степени прозрачности грудной клетки, отображением витальных показателей, ознакомлением с дидактическими материалами. Точки аускультации подсвечиваются.

• Режим обучения по сценарию.

Предполагает выбор любого состояния из библиотеки, обследование идет по заранее созданному алгоритму с текстовым и голосовым описанием, подсказками, анимация определенных структур в отдельном окне для наглядного понимания механизмов появления звуковых феноменов. Прозрачность грудной клетки определяется сценарием (назначается Преподавателем из веб-интерфейса).

• Режим практического занятия.

Предполагает обследование виртуального пациента согласно выбранному из библиотеки состоянию (назначается Преподавателем из веб-интерфейса). Анимация для наглядного понимания механизмов появления звуковых феноменов. Прозрачность грудной клетки определяется сценарием. В ходе исследования пользователь заполняет протокол аускультации. В конце занятия выдается протокол обследования с указанием верных и неверных действий, интерпретаций.

• Режим экзамена.

Предполагает обследование заданного Администратором виртуального пациента с заполнением протокола аускультации. Подсказки выключены, грудная клетка непрозрачная. (Экзаменационный случай назначается Преподавателем из веб-интерфейса, результат отображается в веб-интерфейсе Преподавателя)

В режиме Практического занятия доступна автоматическая оценка, отслеживание правильной последовательности и времени аускультации в каждой точке.

Симулятор для физикального обследования пациентов с заболеваниями органов сердечно-сосудистой системы представляет собой манекен взрослого мужчины европеоидной расы нормостенического телосложения, закрепленный на подвижной тележке-подставке в горизонтальном положении с приподнятым головным концом.

Вычислительное устройство (компьютер) отслеживает положение стетоскопа в реальном времени в каждой точке аускультации с отображением в виде трехмерной модели грудной клетки. Отслеживание производится с помощью сети герконов, расположенных под кожей манекена.

Физическое нахождение стетоскопа в одной области аускультации отображается в виде анимации соответствующей области на экране и на трехмерной модели в виртуальных очках.

Режим обучения должен сопровождаться отображением на мониторе подробной анатомии, физиологии и патофизиологии выбранной программы.

3D модель отображается с разных ракурсов и сопровождаться текстовыми комментариями.

В режиме обучения на монитор выводятся следующие данные:

- ЧСС;

- ЧДД;

- АД;

- данные о пациенте;

- динамическая ЭКГ (12 отведений);

- динамическая ФКГ;

- пульсовая волна с возможностью масштабирования и выбора интенсивности изображения.

Режим экзамена.

В режиме экзамена на экране монитора отображаются:

- данные студента;

- время выполнения экзамена;

- время фиксации стетоскопа в точке аускультации;

- выбор дополнительных исследований.

При выборе клинического случая в режиме экзамена на мониторе отображаются данные пациента:

- жалобы;

- анамнез заболевания;

- семейный анамнез;

- перенесенные заболевания.

При прохождении экзамена по выбранному клиническому случаю на мониторе отображаются активные поля для заполнения результатов осмотра путем выбора значения из списка:

- ЧДД;

- АД;

- ЧСС;

- вены шеи;

- дефицит пульса;

- внешний вид области сердца.

- Артериальный пульс:

• симметричность;

• ритмичность;

• частота;

• напряжение;

• величина;

• форма.

- Прекордиальная пульсация:

Левый желудочек:

• пальпируется;

• локализация;

• площадь;

• высота;

• сила;

• резистентность;

• форма.

Правый желудочек.

• пальпируется.

Легочная артерия.

• пальпируется.

- Венозный пульс на яремной вене.

• форма.

- Предварительная диагностическая гипотеза.

После прохождения клинического случая вычислительной системой осуществляется формирование итоговый отчет с общим баллом и правильными ответами.

Количественные параметры, необходимые для реализации предлагаемого технического решения:

количество отслеживаемых степеней свободы движений головы пользователя: 6 (3 перемещения, 3 вращения);

количество отслеживаемых степеней свободы движений манекена: 6 (3 перемещения, 3 вращения);

частота обновления данных трекинга: от 60 Гц;

диапазон измеряемых усилий нажатия на манекен: 0-10 кгс;

чувствительность определения координат нажатия на поверхность манекена: 5 мм;

частота обновления данных с датчиков усилия: от 60 Гц;

Входные воздействия, необходимые для реализации предлагаемого технического решения:

движения шлема виртуальной реальности;

движения рук пользователя;

положение и ориентация манекена;

данные датчиков усилий нажатия на манекен.

Выходные реакции, необходимые для реализации предлагаемого технического решения:

изображение в очках виртуальной реальности;

звук в наушниках;

таблицы результатов прохождения симуляционных сессий.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Настоящее техническое решение относится к области вычислительной техники, в частности, к способам обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности. Предложен способ, который включает в себя этапы, на которых: обучающемуся пользователю, в режиме реального времени в очки виртуальной реальности, транслируется анимированный интерактивный пациент, синхронизированный по контурам тела с физическим манекеном, располагаемым в непосредственной близости с обучаемым пользователем, позволяющим пользователю в режиме реального времени тактильно ощущать анатомически достоверный рельеф тела и проводить пальпацию, перкуссию и аускультацию органов, причем усилия, оказываемые пользователем при взаимодействии с манекеном при пальпации, перкуссии или аускультации, определяются с помощью датчиков веса и/или магнитных датчиков и конвертируются в деформацию поверхности тела виртуального пациента, за счет чего в очках виртуальной реальности воспроизводится аудио и/или видео поток в виде двигательных, речевых и мимических реакций виртуальных пациентов на воздействия обучаемого, с возможностью визуализации патологических изменений, причем зафиксированные координаты и усилия давлений, прикладываемые пользователем к манекену, используются вычислительной системой для автоматизированной оценки действий пользователя, согласно заранее заданным критериям. 1 з.п. ф-лы.

1. Способ обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности, включающий этапы, на которых:

обучающемуся пользователю в режиме реального времени в очки виртуальной реальности транслируется анимированный интерактивный пациент, синхронизированный по контурам тела с физическим манекеном, располагаемым в непосредственной близости с обучаемым пользователем, позволяющим пользователю, в режиме реального времени, тактильно ощущать анатомически достоверный рельеф тела и проводить пальпацию, перкуссию и аускультацию органов в соответствии с заранее заданными сценариями обследования, причем усилия, оказываемые пользователем при взаимодействии с манекеном при пальпации, перкуссии или аускультации, определяются с помощью датчиков веса и конвертируются в деформацию поверхности тела виртуального пациента, за счет чего

в очках виртуальной реальности воспроизводится аудио и видео поток в виде двигательных, речевых и мимических реакций виртуальных пациентов на воздействия обучаемого, с возможностью визуализации патологических изменений, причем зафиксированные координаты и усилия давлений, прикладываемые пользователем к манекену, используются вычислительной системой для автоматизированной оценки действий пользователя, согласно заранее заданным критериям.

2. Способ по п. 1, в котором в число оцениваемых действий входит последовательность прохождения точек пальпации, прилагаемые усилия, точность позиционирования рук пользователя относительно тела пациента, постановка диагноза, элементы осмотра и взаимодействия с пациентом и окружением.