НЕПРЕРЫВНОЕ АВТОМАТИЧЕСКОЕ НАБЛЮДЕНИЕ ЗА ДВИЖЕНИЯМИ ПАЦИЕНТА Российский патент 2018 года по МПК A61B5/11 

Изобретение в целом относится к медицинской визуализации и наблюдению за пациентом. Оно находит конкретное применение в случае непрерывного наблюдения за движениями пациентов с подозрением на делирий и будет описываться со ссылкой непосредственно на это заболевание. Однако следует понимать, что оно также находит применение и в других вариантах использования и не обязательно ограничено вышеупомянутым применением.

Движение может предоставлять информацию о состоянии и самочувствии пациента. Например, делирий представляет собой широко распространенное острое расстройство, которым страдают многие взрослые пациенты, находящиеся в больницах, и может быть идентифицировано исходя из особых движений, таких как хватательные движения в воздухе, щипание кожи или периодически повторяющиеся и непрерывные движения головы, рук или ног. Другие движения пациента могут указывать на изменение его состояния и/или состояние, требующее экстренной помощи, такое как падение с кровати, покидание кровати, дергание или постоянное дергание медицинского оборудования и т.д. Движения пациента обычно анализируются при единичных осмотрах медицинскими работниками, которые могут не заметить движения и соответствующие изменения в состояниях пациента. Например, единичный осмотр медицинскими работниками приводит к недопустимой задержке обнаружения критических проблем, таких как делирий.

Известный подход к наблюдению за движениями пациента включал использование нательного запястного датчика или акселерометра. Присутствие нательного запястного датчика или другого носимого на теле датчика может беспокоить пациента. Запястный датчик не фиксирует перемещения, выполняемые другими частями тела.

Запястный датчик не позволяет идентифицировать сложно-интерпретируемые движения, такие как «щипание кожи», «захватывание воздуха», постоянное дергание медицинского оборудования, падение с кровати, покидание кровати и т.д.

Основанный на непрерывном анализе видеоизображения пациента подход усложнен некоторыми обстоятельствами. Одно обстоятельство заключается в распознавании пациента и идентификации частей тела пациента отдельно от любой возможной окружающей обстановки. Распознавание пациента и идентификация частей тела могут быть дополнительно усложнены присутствием покрывала, такого как оделяло, которое может загораживать непосредственный обзор частей тела. Другое обстоятельство может заключаться в периодическом присутствии посетителей или медицинских работников, которые могут загораживать или перекрывать части тела пациента, видимые для видеоизображения. Другим затрудняющим обстоятельством является изменения освещения.

Далее описано новое и улучшенное непрерывное автоматическое наблюдение за движениями пациента, которое направлено на решение вышеупомянутых и других проблем.

В соответствии с одним вариантом выполнения система наблюдения включает по меньшей мере одну видеокамеру, блок определения движений и блок сегментации. По меньшей мере одна видеокамера выполнена с возможностью непрерывного приема видеоизображения субъекта при нормальных и затемненных комнатных условиях. Блок определения движений выполнен с возможностью идентификации групп движений субъекта на основе принятого видеоизображения субъекта. Блок сегментации выполнен с возможностью сегментации частей тела субъекта на основе идентифицированных групп движения субъекта.

В соответствии с другим вариантом выполнения способ наблюдения за движением субъекта включает этап, на котором непрерывно принимают видеоизображение субъекта при нормальных и затемненных комнатных условиях. Группы движений субъекта идентифицируют на основе созданных абсолютных разностных изображений между текущим изображением и множеством опорных изображений, находящихся во временной окрестности принятого видеоизображения субъекта. Части тела субъекта сегментируют на основе идентифицированных групп движений субъекта.

В соответствии с другим вариантом выполнения система наблюдения за пациентом включает множество тепловых и функционирующих в ближнем инфракрасном диапазоне видеокамер, которые включают по меньшей мере одну камеру, выполненную с возможностью непрерывного приема видеоизображения одного пациента, и по меньшей мере один сконфигурированный процессор. Упомянутый по меньшей мере один процессор сконфигурирован по меньшей мере для одной камеры с возможностью вычисления разностного сигнала на основе абсолютных разностей между текущим изображением и множеством опорных изображений, находящихся во временной окрестности принятого видеоизображения субъекта и с возможностью идентификации группы дыхательных движений субъекта на основе разностного сигнала. Упомянутый по меньшей мере один процессор дополнительно сконфигурирован с возможностью сегментации верхней части тела частей тела на основе идентифицированной группы дыхательных движений субъекта и с возможностью идентификации по меньшей мере одной группы недыхательных движений. Упомянутый по меньшей мере один процессор дополнительно сконфигурирован с возможностью сегментации по меньшей мере головы и торса из частей тела на основе идентифицированной по меньшей мере одной группы недыхательных движений и пропорций тела и с возможностью классификации движения субъекта на основе частоты и изменения расстояния идентифицированного движения и сегментированных частей тела.

Одно преимущество состоит в постоянном наблюдении за движением пациента.

Другое преимущество заключается в наблюдении за движением множества частей тела пациента.

Еще одно преимущество состоит в идентификации движения с покрывалом частей тела пациента или без него.

Другое преимущество заключается в наблюдении за пациентами без физического прикрепления датчиков к телу пациента.

Еще одно преимущество состоит в наблюдении за движениями пациента и отделении их от движений посетителей, медицинских работников и/или медицинского оборудования.

Другое преимущество включает идентификацию и сегментацию частей тела пациента и идентификацию сложных интерпретируемых движений.

Другие дополнительные преимущества станут очевидны средним специалистам в уровне техники после прочтения и понимания следующего подробного описания.

Настоящее изобретение может быть выполнено в виде различных компонентов и размещений компонентов, и в виде различных этапов и размещении этапов. Чертежи приведены только в целях иллюстрации предпочтительных вариантов осуществления и не должны рассматриваться в качестве ограничения изобретения.

На Фигуре 1 схематично показан один вариант осуществления системы непрерывного автоматического наблюдения за движениями пациента.

На Фигуре 2 показана блок-схема последовательности операций способа непрерывного автоматического наблюдения за движениями пациента согласно одному варианту осуществления.

На Фигуре 3 показана блок-схема последовательности операций способа локализации субъекта в источнике видеоизображения и выполнения грубой сегментации частей тела согласно одному варианту осуществления.

На Фигуре 4 показан примерный разностный сигнал.

На Фигуре 5 показана блок-схема последовательности операций способа анализа перемещения, который включает размещение покрывала поверх субъекта согласно одному варианту осуществления.

На Фигурах 6А и 6B показан примерный снабженный обозначениями кадр видеоизображения и соответствующее снабженное обозначениями разностное изображение, которые включают покрывало поверх субъекта и идентификацию движения ноги.

На Фигурах 7А и 7B показан примерный снабженный обозначениями кадр видеоизображения и соответствующее снабженное обозначениями разностное изображение, которые включают покрывало поверх субъекта и идентификацию движение стопы.

На Фигурах 8А и 8B показан примерный кадр видеоизображения и соответствующие идентифицированные группы движения, которые включают группы движения ноги, торса и головы, и подобранная линия оси тела субъекта.

На Фигуре 9А и 9B показан примерный субъект и векторы движения без покрывала и с покрывалом.

На Фигуре 10 показана блок-схема последовательности операций одного варианта осуществления способа анализа перемещения, который включает отделение движения третьей стороны.

На Фигуре 1 схематично изображен один вариант осуществления системы 10 непрерывного автоматического наблюдения за движением пациента. Система наблюдает за отдельным субъектом 12 с помощью по меньшей мере одной камеры 14, такой как видеокамера, тепловая камера, функционирующая в ближнем инфракрасном диапазоне камера, например, для ночного видения, или их сочетание. Камера осуществляет непрерывную потоковую передачу изображения субъекта, такого как стационарный пациент, находящегося в комнатных условиях при нормальном свете и затемненных комнатных условиях, например, в течение ночи. Субъект обычно находится в состоянии покоя на кровати 16, и камера размещена таким образом, что ее поле 18 зрения включает субъект и кровать, однако может охватывать и комнату 20. Камера 14 может быть выполнена с возможностью функционирования проводным или беспроводным образом и может включать сеть 22 и/или устройство 24 распространения/сбора видеоизображений для передачи потокового видео. Одиночная камера формирует изображение субъекта, которое включает двухмерные (2-D) измерения, либо две или большее количество камер могут формировать изображение субъекта для трехмерных (3-D) измерений.

Видео поток от каждой камеры передается в один или большее количество процессоров 30, таких как процессор компьютера или рабочей станции 32. Видеоизображения могут быть сохранены в хранилище 34 данных видеоизображений. Хранилище данных может включать запоминающее устройство (random access memory, RAM) с произвольным доступом или некратковременный машиночитаемый носитель, такой как диск, твердотельный диск, серверное хранилище и т.д. Хранилище данных может включать файловую структуру, структуру базы данных и т.п. Обработка может включать отдельное наблюдение, например, выделенную рабочую станцию, или объединенное наблюдение, например, конфигурируемый сервер. Рабочая станция может включать другие функции, такие как центральное наблюдение за основными показателями жизнедеятельности для одного или большего количества субъектов. Рабочая станция может быть частью центральной системы наблюдения или может быть соединена с нею с оповещениями или сигналами тревоги.

Система включает блок 40 определения движений, который принимает видеоизображения или передаваемое потоковое видео субъекта. Блок определения движений идентифицирует группы движения субъекта на основе созданных абсолютных разностных изображений. Абсолютное разностное изображение создается из текущего изображения и любого опорного изображения во временной окрестности.

Блок 42 сегментации сегментирует части тела субъекта на основе идентифицированных групп движений и пропорций тела. Для сегментации частей тела блок сегментации действует постепенно в ходе того, как дополнительное движение появляется в принятом видеоизображении и группируется блоком определения движений. Сегментация задействуется сначала для определения местоположения субъекта в группах движения посредством идентификации дыхательного движения и сегментации группы в качестве области торса/грудной клетки. Поскольку в группах движения присутствует дополнительное недыхательное движение, то при сегментации осуществляется построение маски тела для сегментации частей тела и связывания группы движения с каждой частью тела. Блок сегментации идентифицирует ось тела посредством подбора линии через группы, представляющие собой сегментированные части тела, такие как голова, грудная клетка и ноги.

Блок 44 классификации группирует движение субъекта на основе частоты и измерений движения групп и сегментированных частей тела, таких как угол, скорость, местоположение, расстояние, ускорение и т.п. Например, движение области торса/грудной клетки субъекта с кровати на пол, когда ось тела остается параллельной кровати/полу, указывает на выпадение пациента из кровати. В другом примере движение области торса/грудной клетки субъекта с кровати по направлению вверх и изменение оси тела с параллельной полу на перпендикулярную полу указывает на вставание пациента с кровати. Блок классификации может интерпретировать периодически повторяющиеся движения частей тела и измерений движения сложных движений. Например, сложные движения, такие как щипание кожи, захватные движения в воздухе, указывают на возможность классификации делирия. Блок классификации может также деидентифицировать записанное видеоизображение, например, вставить в видеоизображение прикрытие лица пациента и других частей тела, которые позволяют идентифицировать пациента.

Блок 46 истории движения записывает каждую группу движений в хранилище 48 данных истории движения. Блок истории движения записывает присутствие и местоположение или отсутствие покрывала в хранилище 49 данных покрывала. Блок истории движения записывает сегментированные части тела в хранилище 50 данных сегментированных частей тела. Блок истории движения идентифицирует и записывает группы, относящиеся к субъекту. Блок истории движения хранит группы субъекта в хранилище 51 данных истории субъекта. Блок истории движения может идентифицировать и записать группы движения, относящиеся к третьей стороне. Блок истории движения хранит группы третьей стороны в хранилище 52 данных истории третьей стороны. Хранилище 48 данных истории движения, хранилище 49 данных покрывала, хранилище 50 данных сегментированных частей тела, хранилище 51 данных истории субъекта и хранилище 52 данных истории третьей стороны могут быть объединены в одном хранилище данных или сочетании хранилищ данных.

Блок 54 наблюдения принимает и конфигурирует для отображения классифицированное движение и соответствующую часть истории видеоизображения, например, временной сегмент видеоизображения. Блок наблюдения может отображать сигнал тревоги или оповещение на устройстве 56 отображения, таком как устройство отображения рабочей станции 32, или передать сигнал тревоги или оповещение в центральную станцию наблюдения. Блок наблюдения может также задавать конфигурацию для отображения текущего видеоизображения. Отображение, имеющее заданную конфигурацию, может включать составное отображение различных ракурсов камер и/или множества субъектов. Отображение, имеющее заданную конфигурацию, может включать отображение исторических видеоизображений по классифицированному движению, сигналу тревоги, оповещению и/или времени.

Рабочая станция 32 включает электронный процессор или электронное устройство 30 обработки, устройство 56 отображения, которое отображает видеоизображения, классификации, оповещения, сигналы тревоги, меню, панели и пользовательские средства управления, и по меньшей мере одно устройство 58 ввода, которое выполнено с возможностью ввода вариантов выбора медицинским работником. Рабочая станция 20 может быть настольным компьютером, ноутбуком, планшетом, мобильным вычислительным устройством, смартфоном и т.п. Устройство ввода может быть клавиатурой, координатным манипулятором типа «мышь», микрофоном и т.п. Устройство отображения может включать в себя монитор компьютера, телевизионный экран, сенсорный экран, тактильный электронный дисплей, электронно-лучевую трубку (Cathode ray tube, CRT), запоминающую трубку (Storage tube), плоскопанельный дисплей (Flat panel display), светодиодный (Light-emitting diode, LED) дисплей, электролюминесцентный дисплей (Electroluminescent display, ELD), плазменные дисплейные панели (Plasma display panels, PDP), жидкокристаллический дисплей (Liquid crystal display, LCD), органические светодиодные дисплеи (Organic light-emitting diode displays, OLED), проектор, шлем-дисплей (Head-mounted display) и т.п.

Различные блоки 40, 42, 44, 46 и 54 соответственно воплощаются электронным устройством обработки данных, таким как электронный процессор или электронное устройство 30 обработки рабочей станции 32, или сетевым серверным компьютером, функционально соединенным с рабочей станцией 32 посредством сети 22, или отдельными электронными блоками, интегральные схемы прикладной ориентации (ASIC), программируемыми вентильными матрицами и так далее. Кроме того, раскрытые методики группирования, сегментации, классификации и наблюдения соответственно реализуются с использованием некратковременного носителя информации, хранящего команды (например, программное обеспечение), считываемые электронным устройством обработки данных и исполняемые этим электронным устройством обработки данных для выполнения раскрытых методик.

На Фигуре 2 показан один вариант осуществления в виде блок-схемы последовательности операций способа непрерывного автоматического наблюдения за движениями пациента. На этапе 60 непрерывно принимают видеоизображения субъекта при нормальных и затемненных комнатных условиях. Изображения могут быть подвергнуты фильтрации. Интенсивность может быть нормализована для компенсации темных сцен. Области едва различимого перемещения вследствие дыхания идентифицируются на этапе 62, таком как создание абсолютного разностного изображения. Разностные изображения представляют собой разность между текущим изображением и опорным или предыдущим изображением, взятым во временной окрестности. Разностное изображение может быть основано на интенсивности и/или других значениях изображения, таких как цвет, контрастность и т.д. Области или участки разности формируют группы пикселей в двухмерном пространстве (2-D) или вокселов в трехмерном пространстве (3-D). Могут использоваться и другие методики, такие как корреляция пространственных признаков, анализ текстур и т.п., которые предоставляют измерения движения. Эти методики могут использовать полные изображения или представляющие интерес участки.

Группы движения субъекта идентифицируются на основе разностных изображений на этапе 64. Например, группа дыхательных движений идентифицируется на основе размера группы и периодичности движения в течение времени. Дыхательное движение идентифицируется при отсутствии большого движения части грудной клетки, например, отсутствие поворота тела. Может быть определена неспособность измерения дыхательного движения при присутствии большого движения части грудной клетки. Идентифицируются недыхательные группы движений. Каждая группа движений может включать такие атрибуты как размер, форма, направление, расстояние, физическое местоположение относительно грудной клетки или другой идентифицированной группы и/или скорость. Атрибуты могут относиться к дыхательной группе и относиться к пропорциям тела субъекта. Идентифицированные группы могут включать в себя присутствие или отсутствие покрывала на части тела субъекта.

На этапе 66 группы назначаются и записываются. Назначение может включать субъект или одну или большее количество третьих сторон. Например, группа в непосредственной близости грудной клетки, имеющая предварительно определенный размер и минимальное изменение расстояния от изображения к изображению может представлять голову субъекта, и назначение осуществляется субъекту. В другом примере группа, которая появляется с внешнего края видеоизображения или предварительно определенного расстояния от дыхательной группы, может представлять третью сторону, и назначение осуществляется третьей стороне. Запись положения и перемещения группы предоставляет дополнительную информацию для каждого дополнительного перемещения группы.

На этапе 68 части тела субъекта сегментируются на основе идентифицированных групп движения субъекта. Первоначально, идентифицируется группа дыхательных движений, которая сегментируется на часть тела грудной клетки. С идентификацией дополнительных групп недыхательных движений сегментируются дополнительные части тела. Соответствие сегментированной части тела идентифицированной группе уточняется и отслеживается. Части тела сегментируются на основе пропорций тела, близости и ориентации по отношению к сегментированному торсу/грудной клетке.

Перемещение групп движения классифицируется на этапе 70. Например, перемещение различных групп, соответствующих конкретным частям тела субъекта, может предполагать вставание, падение, ходьбу, усаживание, процесс поедания и т.д. Движение, присущее третьей стороне, может использоваться для документирования лечения или моменты времени наблюдения практикующим врачом и в некоторых случаях администрирования лечения. Анализ перемещения отделяет группы движений, назначенные субъекту, группы движения, назначенные какой-либо третьей стороне. Классификация перемещения может включать предоставление оповещений и/или сигналов тревоги на основе такой классификации.

Процесс приема видеоизображения, идентификации, назначения, сегментации и классификации повторяется на этапе 72. Процесс итерационно строит и уточняет сегментацию частей тела, отслеживает движение субъекта и любых третьих сторон.

На Фигуре 3 показан один вариант осуществления в виде блок-схемы последовательности операций способа идентификации субъекта на поступающем видеоизображении на основе разностного сигнала. На этапе 80 вычисляют абсолютные разностные изображения между текущим изображением и опорным изображением. Разностные изображения включают регулировки ракурса камеры, наклон спинки кровати в состоянии покоя, различные лежачие положения пациента и присутствие или отсутствие покрывала на частях тела. На этапе 82 принятия решения на основе разностных изображений определяют присутствие повторяющегося малого движения, например, пациент дышит и лежит неподвижно. Если группа движения является малой, то на этапе 84 на основе разностных изображений во времени и пространстве вычисляется разностный сигнал для идентификации группы, которая пульсирует. Пульсирующая группа движений представляет собой дыхательное движение. На этапе 86 сегментируется область грудной клетки/плеча или торс. Сегментация может включать краевой/градиентный анализ, анализ значения яркости и обнаружение предметов.

Если группа движения не является малой, например, большое движение тела, то на этапе 88 генерируется маска или контур всего тела. Большое движение тела, такое как поворачивание в кровати, включает ступенчатое движение. Например, сначала происходит движение руки, затем движение ноги, далее движение головы и затем движение грудной клетки. На этапе 90 части тела дополнительно сегментируются на основе предварительно идентифицированной сегментированной грудной клетки и сгенерированной маски всего тела. Сегментация может включать пропорции тела при генерации маски всего тела или по отдельности для дополнительной сегментации частей тела.

На Фигуре 4 показан примерный разностный сигнал. Как описано относительно Фигуры 3, разностный сигнал идентифицирует движение, возникшее в процессе дыхания. Разностный сигнал основан на выбранном произвольном опорном кадре. Разностный сигнал вычисляется посредством вычитания выбранного опорного кадра из сегмента видеоизображения и затем суммирования разностного изображения, например, суммирования всех разностных пикселей. Изображенный разностный сигнал графически показан со значением разностного сигнала по оси Y и времени по оси X. Пиковые значения сигнала соответствуют дыхательным циклам, например, значения от пика до пика соответствуют одному дыхательному циклу. Периодичность сигнала ясно указывает на движение, являющееся признаком дыхания.

Разностный сигнал может использоваться для идентификации группы движений, которая представляет область грудной клетки, отдельную от перемещения другой части тела.

На Фигуре 5 показан один вариант осуществления в виде блок-схемы последовательности операций способа анализа движения, который включает размещение покрывала поверх субъекта. На этапе 100 движение оценивают с использованием двух последовательных изображений, которые возвращают векторы движения со скоростью и углом. На этапе 102 вычисляют такие атрибуты групп движений, как изменение угла между соседними группами, количество групп и размер групп. Данный этап может включать идентификацию предметов, таких как кровать, и определение местоположения групп относительно идентифицированных предметов.

Присутствие или отсутствие покрывала определяется на этапе 104 на основе атрибутов групп движений. Например, большие, более рассеянные группы в непосредственной близости присутствуют с движением ноги под одеялом по сравнению с движением ноги без какого-либо покрывала.

На этапе 106 выбирают набор признаков для движения при отсутствующем покрывале и классифицируют это движение. Классификация включает историю предварительно сегментированных частей 50 тела. Данный этап может включать дополнительное уточнение сегментированных частей тела. Например, одиночное не повторяющееся движение руки при отсутствии покрывала классифицируется в качестве нормального перемещения во сне. Рука может быть дополнительно сегментирована, например, плечо, предплечье, кисть и т.д., и положение может быть записано в сегментацию частей тела.

На этапе 108 оценивается местоположение покрывала. Протяженность групп движений представляет собой местоположение покрывала наряду с обнаружением краев и/или распознаванием ткани. Например, может использоваться одеяло с известной текстурой и/или цветом, легко идентифицируемыми автоматизированными средствами. Данный этап может включать уточнение и/или модификацию хранящейся информации в хранилище 49 данных покрывала. Этот этап может включать сравнение с сегментированными частями тела. Например, местоположение покрывала над сегментированной головой субъекта может запустить оповещение для медицинского работника.

На этапе 110 сегментируются такие части тела, как ноги, что может включать атрибуты на основе покрывала. Сегментированные части тела могут быть дополнительными или представлять собой уточнение предварительно записанных частей тела, таких какие хранятся в хранилище 50 данных сегментированных частей тела. Атрибуты присутствия покрывала могут включать векторы движения, которые распространяются вдоль покрывала, и большее обобщенное движение. Сегментация части тела может быть дополнительно модифицирована на этапе 112 на основе истории сегментации частей тела и ориентации оси тела.

На этапе 114 выбирается набор признаков движения при наличии покрывала и данное движение классифицируется. Например, при движении ноги под одеялом выбирают набор признаков, используемых при наличии покрывала, который устанавливает атрибуты групп движений, относящихся к движению ноги. Выбранные атрибуты набора признаков сравниваются с атрибутами групп движений, такими как размер, расстояние, направление, скорость, ориентация, частота и т.д. и со связью с сегментированными частями тела для классификации перемещения. Например, повторяющееся движение из стороны в сторону относительно оси тела может предполагать делирий в сочетании с повторяющимся движением головы из стороны в сторону в отличие от одиночного перемещения, параллельного оси тела, одной ногой, которое предполагает нормальное движение во сне, такое как протягивание ноги.

На Фигуре 6А показан примерный кадр видеоизображения пациента, лежащего на спине на кровати. Голова замаскирована (черным квадратом) в целях конфиденциальности для пациента, малая окружность обозначает область, идентифицированную на грудной клетке на основе дыхательного движения, а большая окружность обозначает область движения, идентифицированную в качестве ноги. Простыня покрывает субъект, включая обозначенные области. Контрастность изображения показывает часть простыни в положении в виде палатки, указывающем на то, что ноги находятся в согнутом положении или колени находятся в поднятом положении.

На Фигуре 6B обозначено разностное изображение, созданное из изображения с Фигуры 6А и опорного изображения. Три окружности обозначают разностное изображение, соответствующее округлым обозначениям грудной клетки и ног на Фигуре 6А и головы без присутствия маски. Группа движения ног идентифицирует положение ног, которые сегментирует блок сегментации. Покрывало распространяется на группу движения, которая размещена в выбранном наборе признаков для классификации движения. Ориентация оси тела может просматриваться из ориентации этих трех снабженных обозначениями окружностей с Фигуры 6B.

На Фигуре 7А показан примерный кадр видеоизображения сразу после того, как субъект опустил согнутые ноги на Фигуре 6А. Правая окружность обозначает местоположение области сегментированной грудной клетки. Левая окружность обозначает местоположение движения стопы под покрывалом.

Эти три окружности обозначают разностное изображение Фигуры 7B, созданное из изображения с Фигуры 7А. Самая левая окружность обозначает положение группы движений, идентифицированной и сегментированной в качестве стопы. Центральная окружность обозначает грудную клетку, а самая правая окружность обозначает голову. Группа движений между грудной клеткой и стопами не обозначена, но показывает выпрямление ног.

На Фигуре 8А показан кадр видеоизображения с субъектом на кровати без покрывала. На Фигуре 8B показаны соответствующие группы движения, идентифицированные и сегментированные по частям тела и обозначенные в качестве ног 120, торса 122 и головы 124. Размер непокрытой группы меньше, а расстояние между группами больше по сравнению с группами движения на Фигурах 6B и 7B, которые включают покрывало. Ориентация оси 126 тела показана линией, подобранной для этих групп, например, посредством анализа регрессии метода наименьших квадратов.

На Фигуре 9А показано движение ноги субъекта без покрывала. Указаны векторы движения. То же самое движение ноги показано на Фигуре 9B с субъектом, изображенным с покрывалом. Указаны векторы движения, которые контрастируют с Фигурой 9А для того же самого движения ноги. Векторы движения с покрывалом распространены по области покрывала, например, более большие группы в непосредственной близости, и могут включать более малое, более многонаправленное движение покрывала, например, в непосредственной близости между группами, представляющими собой более короткое или другое направленное движение, поскольку покрывало перемещается с движением лежащей под ним ноги.

На Фигуре 10 показан один вариант осуществления в виде блок-схемы последовательности операций способа анализа движения, который включает отделение движения третьей стороны. На этапе 130 вычисляется разностное изображение и идентифицируются группы движений. На этапе 132 вычисляются пространственные разности для истории предыдущего перемещения третьей стороны и истории перемещения пациента. История перемещения третьей стороны, такой как медицинские работники или посетители, записывается в хранилище 52 данных третьей стороны. История перемещения субъекта записывается в хранилище 51 данных истории субъекта.

Группы индивидуально назначаются либо третьей стороне, либо субъекту на основе информации о движении на краю кровати или изображения, увеличения размера группы движений и пространственного расстояния по отношению к предыдущим движениям третьей стороны и движениям субъекта, например, исторические изображения и/или записанные движения на этапе 134. Движение на краю изображения и/или кровати и малый радиус из истории движений субъекта назначаются субъекту. Например, группы движений, в которых пациент предварительно расположен в центре изображения и движется к краю и никакой третьей стороны предварительно не обнаружено, назначаются пациенту. В другом примере группа движений, которая простирается от предыдущей группы движения пациента к краю, но никаких предшествующих групп третьей стороны не находится во временной близости или на пространственном расстоянии, назначается субъекту. Группы движений в близкой пространственной близости к предшествующим назначенным третьей стороне группам назначаются третьей стороне. Для обнаружения движения группы третьей стороны вводится максимальная степень увеличения группы, например, рост участка. Например, пациент располагается в центре изображения на основе текущего дыхательного движения, и движение, обнаруженное на краю и не превышающее максимальную степень, назначается третьей стороне. Если максимальная степень увеличения группы превышена, то данная группа назначается субъекту, например, пациент переместился на край кровати. Назначенные группы записываются в соответствующей истории.

Следует понимать, что совместно с частными иллюстративными вариантами осуществления, представленными в данном документе, некоторые структурные и/или функциональные признаки описаны в качестве содержащихся в заданных элементах и/или компонентах. Однако подразумевается, что эти признаки могут, с тем же самым или схожим преимуществом, также аналогично содержаться в других элементах и/или компонентах при необходимости. Также следует понимать, что различные аспекты примерных вариантов осуществления могут выборочно использоваться в качестве пригодных для достижения других альтернативных вариантов осуществления, подходящих для требуемых применений, причем другие альтернативные варианты осуществления тем самым реализуют соответствующие преимущества содержащихся в них аспектов.

Также следует понимать, что конкретные элементы или компоненты, описанные в данном документе, могут иметь свою функциональность, подходящим образом реализованную через аппаратное обеспечение, программное обеспечение, встроенное микропрограммное обеспечение или их сочетание. Дополнительно, следует понимать, что некоторые элементы, описанные в данном документе содержащимися совместно, могут при подходящих обстоятельствах быть автономными элементами или разделенными по-иному. Схожим образом, множество конкретных функций, описанных выполняемыми одним конкретным элементом, могут выполняться множеством обособленных элементов, действующих независимо для выполнения отдельных функций, либо некоторые отдельные функции могут быть разделены и выполнены множеством обособленных элементов, действующих сообща. Альтернативно, некоторые элементы или компоненты, иначе описанные и/или изображенные в данном документе в качестве обособленных друг от друга, при необходимости могут быть физически или функционально объединены.

Вкратце, настоящее описание было изложено со ссылкой на предпочтительные варианты осуществления. Очевидно, что после прочтения и понимания настоящего описания у читателя могут возникнуть модификации и изменения. Предполагается, что изобретение должно рассматриваться включающим в себя все такие модификации и изменения, поскольку они охватываются объемом прилагаемой формулы изобретения или ее эквивалентами. То есть, следует понимать, что различные из раскрытых выше и других признаков и функций или их альтернативных вариантов могут быть по желанию объединены во многие другие различные системы или применения, а также что их различные на данный момент непредусмотренные или непредвиденные альтернативные варианты, модификации, изменения или улучшения могут быть впоследствии осуществлены специалистами в уровне техники, которые, как схожим образом предполагается, охватываются последующей формулой изобретения.

Группа изобретений относится к медицине. Способ наблюдения за движением субъекта осуществляют с использованием системы наблюдения. Система наблюдения (10) содержит по меньшей мере одну видеокамеру, выполненную с возможностью непрерывного приема видеоизображения субъекта (12) при нормальных и затемненных комнатных условиях, блок определения движения (40) и блок сегментации (42). При этом осуществляют идентификацию групп дыхательных движений и движений частей тела субъекта в принятом видеоизображении субъекта. Вычисляют разностный сигнал на основе сравнения между текущим изображением и опорными изображениями во временной окрестности из принятого видеоизображения субъекта и осуществляют идентификацию группы дыхательных движений субъекта на основе разностного сигнала. Идентифицируют группы недыхательных движений и генерируют маски движения всего тела. Осуществляют сегментацию принятого видеоизображения субъекта на основе идентифицированных групп движений субъекта в принятом видеоизображении. Осуществляют сегментацию на принятом видеоизображении верхней части тела из частей тела на основе идентифицированной группы дыхательных движений субъекта. Сегментация верхней части тела на видеоизображении включает идентификацию головы и торса на видеоизображении на основе пропорций тела и идентифицированных групп. Осуществляют сегментацию на принятом видеоизображении детализированной части тела из частей тела на основе идентифицированной группы недыхательных движений и сгенерированной маски движения всего тела. Определяют ориентацию тела на основе подбора линии через сегментированные части тела на принятом видеоизображении, которые включают голову, торс и ноги. Достигается улучшенное непрерывное автоматическое наблюдение за движениями пациента и распознавание пациента и идентификация частей тела пациента отдельно от любой возможной окружающей обстановки. 4 н. и 7 з.п. ф-лы, 10 ил.

1. Система (10) наблюдения, содержащая:

по меньшей мере одну видеокамеру (14), выполненную с возможностью непрерывного приема видеоизображения субъекта при нормальных и затемненных комнатных условиях;

блок (40) определения движения, который выполнен с возможностью

идентификации групп дыхательных движений и движений частей тела субъекта в принятом видеоизображении субъекта;

вычисления разностного сигнала на основе сравнения между текущим изображением и опорными изображениями во временной окрестности из принятого видеоизображения субъекта и с возможностью идентификации группы дыхательных движений субъекта на основе разностного сигнала;

идентификации группы недыхательных движений и с возможностью генерации маски движения всего тела; и

блок (42) сегментации, который выполнен с возможностью

сегментации принятого видеоизображения субъекта на основе идентифицированных групп движений субъекта в принятом видеоизображении;

сегментации на принятом видеоизображении верхней части тела из частей тела на основе идентифицированной группы дыхательных движений субъекта, причем сегментация верхней части тела на видеоизображении включает идентификацию головы и торса на видеоизображении на основе пропорций тела и идентифицированных групп;

сегментации на принятом видеоизображении детализированной части тела из частей тела на основе идентифицированной группы недыхательных движений и сгенерированной маски движения всего тела;

определения ориентации тела на основе подбора линии через сегментированные части тела на принятом видеоизображении, которые включают голову, торс и ноги.

2. Система по п. 1, в которой блок (40) определения движения выполнен с возможностью вычисления атрибутов групп и идентификации присутствия и местоположения или отсутствия покрывала на субъекте на основе указанных атрибутов и с возможностью определения перемещения субъекта на основе присутствия или отсутствия покрывала, сегментированного тела и идентифицированных групп.

3. Система по п. 1, дополнительно включающая:

блок (44) классификации, который выполнен с возможностью классификации определенного движения субъекта на основе по меньшей мере одного измерения движения, определенного из сегментированных частей тела.

4. Система по п. 1, дополнительно содержащая:

блок (46) истории движений, который выполнен с возможностью записи каждой группы движений и с возможностью идентификации групп, относящихся к субъекту, и с возможностью идентификации групп, относящихся к третьей стороне.

5. Система по п. 4, в которой блок (46) истории движений выполнен с возможностью идентификации групп, относящихся к третьей стороне, на основе пространственных расстояний записанных групп и идентифицированных групп, относящихся к субъекту.

6. Способ наблюдения за движением субъекта с использованием системы по п. 1, содержащий этапы, на которых:

непрерывно принимают (60) видеоизображение субъекта при нормальных и затемненных комнатных условиях;

идентифицируют (64) в принятом видеоизображении группы движений субъекта на основе дыхательных движений и движений частей тела в принятом видеоизображении субъекта; и

сегментируют (68) в принятом видеоизображении части тела субъекта на основе идентифицированных групп движений субъекта.

7. Способ по п. 6, согласно которому дополнительно:

вычисляют (80) разностный сигнал на основе сравнения между текущим изображением и опорными изображениями, находящимися во временной окрестности принятого видеоизображения субъекта;

идентифицируют (84) в принятом видеоизображении группу дыхательных движений субъекта на основе разностного сигнала; и

при этом сегментация (68) в принятом видеоизображении включает сегментацию (86) верхней части тела из частей тела на основе идентифицированной группы дыхательных движений субъекта.

8. Способ по пп. 6, 7, согласно которому дополнительно:

вычисляют атрибуты идентифицированных групп;

идентифицируют (104) присутствие и местоположение или отсутствие покрывала на субъекте на основе указанных атрибутов и

определяют движение субъекта на основе присутствия или отсутствия покрывала, сегментированного тела и идентифицированных групп.

9. Способ по пп. 6, 7, согласно которому дополнительно:

идентифицируют (134) в принятом видеоизображении группы, относящиеся по меньшей мере к одному из субъекта или третьей стороны.

10. Некратковременный машиночитаемый носитель информации, содержащий программное обеспечение, которое управляет одним или большим количеством устройств (30) обработки электронных данных для выполнения способа по любому из пп. 6-9.

11. Устройство (30) обработки электронных данных, выполненное с возможностью выполнения способа по любому из пп. 6-9.