СИСТЕМА И СПОСОБ МОНИТОРИНГА СНА Российский патент 2019 года по МПК A61B5/11 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к системе мониторинга спящего субъекта, например, младенца. Настоящее изобретение относится к автоматизированному способу мониторинга.

УРОВЕНЬ ТЕХНИКИ

Публикация US20070156060 раскрывает автоматизированную переносную систему мониторинга во сне на базе видеонаблюдения в реальном времени. Процессор получает информацию в реальном времени о состоянии сна субъекта по видеоизображениям, различающимся для разных состояний сна. Для взрослых людей в качестве различающихся состояний сна могут быть использованы глубокий сон, нарушение ритма дыхания, аномальные движения, обструктивное апноэ и центральное апноэ. Публикация US20070156060 раскрывает систему мониторинга, которая также может быть применена для мониторинга младенцев. Для состояний младенцев в качестве различающихся состояний могут быть использованы состояния, такие как сон, бодрствование, вставание, положение лежа на спине, положение лежа на животе, движение, случайное переворачивание, плач, метания и рвота. Система может формировать различные отчеты о сне для взрослых или младенцев. Но способ обнаружения описан в основном без рассмотрения проблем, которые характерны для мониторинга младенцев.

Известно использование корреляции данных изображений для определения состояния субъекта. В публикации US20070156060 используется корреляция между изменениями содержимого изображений для определения состояния сна. Средство сравнения кадров сравнивает значения пикселей между парами изображений, полученными друг за другом. Когда различие между градиентами изображений в соответствующих местоположениях на изображениях, полученных в два момента времени, превышает пороговую величину, обнаруживается движение. Это дает карту местоположений изображений, в которых обнаружено движение для двух моментов времени. Процессор вычисляет корреляцию между картами для разных пар моментов времени. Корреляция используется для обнаружения того, имеется ли повторяющаяся по времени структура. Результаты обнаружения используются в качестве индикации состояния сна.

Даже если такие способы могут обеспечивать некоторую информацию, остается проблема повышения достоверности и надежности определения состояния сна. В частности, для детей, обнаруженное движение часто не связано с поворотом: младенцы часто совершают широкие движения руками и ногами. Более того, младенцы движутся во сне гораздо больше, чем взрослые, которые в основном остаются вытянутыми по длине кровати.

В публикации US20130215248 предложена система ухода за пациентом, которая осуществляет мониторинг пациента на кровати, содержащая блок управления и блок захвата изображений, расположенные в положении, из которого можно осуществить захват изображения со стороны верхней поверхности кровати. Блок управления получает данные изображений, захваченные блоком захвата изображений; определяет характерные точки на изображении пациента среди полученных данных изображений и вычисляет значение заданного показателя для характерных точек, используемое для определения заданного движения пациента; устанавливает заданное условие для определения заданного движения на основании области кровати в полученных данных изображений; определяет заданное движение на основании вычисленного значения и установленного заданного условия; и выводит информацию, указывающую, что пациент совершил заданное движение при условии, что было определено, что совершено заданное движение.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Среди прочего, задача состоит в создании способа и системы мониторинга субъектов, таких как младенцы, во время сна в кровати, при которых возможно более надежное определение состояния сна.

Предложена система мониторинга по пункту 1 формулы. Здесь используются векторы движения для получения показателя поворотного движения. Оценка векторов движения известна сама по себе, например, из кодирования видеоданных MPEG. Путем использования суммы векторов движения, обнаруженных для различных блоков на изображении, может быть реализовано более надежное измерение поворотного движения. Сумма векторов движения также может быть использована для обнаружения движения, обусловленного дыханием, по которому можно определить состояние, связанное с позой во время сна. Обнаружение заданного состояния и/или сохранение того же обнаруженного состояния в течение более длительного периода времени, чем заданное, может быть использовано для формирования сигнала оповещения для пользователя.

В одном варианте осуществления сумма компонентов векторов движения в направлении, нормальном по отношению к главной оси области тела на изображении, используется при вычислении показателя поворотного движения. Это облегчает различение от движения без поворота. В другом варианте осуществления область тела определяется на основании изменений содержимого изображения в наборе изображений с камеры, захваченном во временном окне, включающем в себя момент времени захвата упомянутого изображения или ближайший к упомянутому моменту времени. Было установлено, что в случае младенцев, в частности, главная ось области тела может значительно отклоняться от продольного направления кровати. Путем выравнивания главной оси на основании данных изменения изображений может быть выполнена более надежная оценка поворотного движения. Обнаруженная область тела может быть использована для выбора интересующей области на изображениях с камеры для обнаружения дыхания, лица и/или сердцебиения в зависимости от направления главной оси.

В одном варианте осуществления система обработки сигналов выполнена с возможностью обнаружения интервалов времени покоя, в которые показатель поворотного движения указывает на объем движения меньше заданного; присвоения состояний с различными позами следующим друг за другом обнаруженным временным интервалам, каждый из которых основан на признаках показателя поворотного движения в другие временные интервалы, ближайшие к этому временному интервалу, и/или на положении этого временного интервала в последовательности временных интервалов, в которой возникают обнаруженные временные интервалы.

Таким образом, например, состояния с разными позами могут быть присвоены интервалам времени покоя, согласно тому, указывает ли признак движения в ближайшие временные интервалы поворотного движения, что интервал времени покоя представляет собой локальный максимум и минимум накапливаемого показателя поворотного движения, соответственно. Состояние в позе «на животе» может быть присвоено интервалу времени покоя, если предшествующий интервал времени покоя присвоен «состоянию на спине» и т.д. Отдельные интервалы времени покоя, содержащие локальный максимум/минимум, могут быть обнаружены в качестве временных интервалов, которые отделены от других интервалов времени покоя интервалами поворотного движения, во время которых происходит поворотное движение больше порогового объема измеренного поворотного движения, при необходимости по меньшей мере во время заданного периода времени.

В одном варианте осуществления состояния с разными позами включают в себя состояние в позе на животе, состояние в позе на спине и состояние в позе на боку. В этом варианте осуществления накопленные значения показателя поворотного движения между интервалами времени покоя и/или обнаруженной продолжительностью поворотного движения между интервалами времени покоя могут быть использованы для выбора между присвоением различных состояний поз. В одном варианте осуществления используется признак показателя поворотного движения между интервалами времени покоя для выбора между использованием переходов в состояние к позе на левом боку и состояние в позе на правом боку.

В одном варианте осуществления система обработки сигналов выполнена с возможностью выполнения обнаружения лица и/или обнаружения дыхания на основании изображений с камеры и для установления части присвоенных состояний поз на основании результатов обнаружения лица и/или обнаружения дыхания. Таким образом, может быть устранена неопределенность, соответствующая изменению состояний в позе на спине и на животе в последовательности интервалов времени покоя. В альтернативном варианте осуществления эту неопределенность можно устранить путем использования пользовательского ввода, который определяет состояние в интервале времени покоя.

В одном варианте осуществления система обработки сигналов формирует сигнал оповещения, в момент когда было присвоено заданное состояние в некоторой позе, например, «на животе», например, при условии, что это состояние продолжалось более заданного промежутка времени. Это может быть использовано для предупреждения риска синдрома внезапной смерти младенцев. При необходимости система обработки сигналов выполнена с возможностью формирования сигнала оповещения, в момент, когда она обнаруживает изменение измеренного параметра дыхания и длительное сохранение заданного состояния позы. Аналогично сигнал оповещения может формироваться, когда то же самое состояние в некоторой позе остается присвоенным второму заданному временному интервалу для предупреждения риска синдрома плоской головы. Длительность второго временного интервала может быть больше, чем временного интервала, используемого для предупреждения риска внезапной смерти младенца. В других вариантах осуществления статистика состояний может быть накоплена и сообщена в виде отчета для использования при оценке сна.

В одном варианте осуществления определение показателя поворотного движения содержит обнаружение того, что векторы движения по меньшей мере на заданной части местоположений на изображении в области тела или его части превышают пороговую величину и, если этого не происходит, осуществляется снижение показателя поворотного движения. Отсутствие движения в значительной части области тела указывает, что движение может быть обусловлено тем, что младенец шевелит ногой, а не поворачивается. Таким образом, обнаружение движения, не связанного с поворотом, может быть блокировано. Показатель поворотного движения может быть снижен до нуля, например, если значительная часть области тела не обнаруживает движения. В другом варианте осуществления показатель поворотного движения уменьшается, когда не обнаружено достаточного движения в соответствующих областях. Таким образом, может быть включен тест в области, которая не обнаруживает ножек младенца.

В одном варианте осуществления показатель поворотного движения определяется накоплением сумм векторов движения в соответствующих местоположениях в зависимости от времени, а при необходимости после замены сумм на ноль или другую уменьшенную величину для моментов времени, когда движение не было обнаружено в достаточной большой области, и низкочастотной фильтрации накопленных сумм. Было установлено, что это дает надежные результаты обнаружения поворота.

Этот способ может осуществляться с помощью компьютерного программного продукта, такого как материальный носитель, аналогичный магнитному или оптическому диску или полупроводниковой памяти.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие задачи и предпочтительные аспекты будут очевидны из описания примерных вариантов осуществления со ссылкой на следующие чертежи.

Фиг. 1 иллюстрирует систему мониторинга.

Фиг. 2 иллюстрирует блок-схему обнаружения положения младенца.

Фиг. 2a иллюстрирует карту, содержащую область тела и главную ось области тела.

Фиг. 3 иллюстрирует график накопленных сумм нормальных векторов движения.

Фиг. 4 иллюстрирует блок-схему обнаружения лица.

Фиг. 5 иллюстрирует график результатов обнаружения лица.

Фиг. 6 иллюстрирует модель состояний.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг. 1 иллюстрирует систему мониторинга, содержащую камеру 10, при необходимости источник 12 света, при необходимости передатчик 18 и систему 14 обработки сигналов, содержащая средство 140 оценки векторов движения и оценочный модуль 142. Во процессе работы, камера 10 и при необходимости источник 12 света направлены на поверхность кровати 16 для сна, чтобы захватывать последовательные изображения спящего на этой поверхности. Оценочный модуль 142 может быть выполнен с возможностью формирования сигнала оповещения и/или при необходимости побуждать передатчик 18 передавать предупреждающее сообщение, когда он обнаруживает изображения с камеры, на которых спящий на поверхности кровати находится в нежелательном положении, например, когда спящий лежит на животе. Когда спящим является младенец, это может использоваться для вмешательства для снижения риска внезапной смерти младенца (SID). Оценочный модуль 142 может быть выполнен с возможностью вычисления статистики положений тела, таких как частота поворота и средняя длительность нахождения спящего в соответствующих положениях.

В такой системе мониторинга надежность обнаружения движения тела и/или положения тела является важной особенностью. Эффективность системы снижается с повышением частоты сбоя обнаружения нежелательных положений. Частые ложные сигналы оповещения повышают риск того, что после сигнала оповещения не будут приняты соответствующие меры.

Фиг. 2 иллюстрирует блок-схему обнаружения поворота тела. Операции блок-схемы выполняются повторно для изображений, полученных в последовательные моменты времени. На первом этапе 21 система 14 обработки сигналов принимает изображение с камеры 10. На втором этапе 22 средство 140 оценки векторов движения определяет вектора движения для соответствующих блоков местоположений на изображении.

На третьем этапе 23 оценочный модуль 142 использует полученное изображение и/или векторы движения для обновления карты местоположений на изображении, которые связаны с областями тела субъекта на изображении, или по меньшей мере карты контура набора таких местоположений. На четвертом этапе 24 оценочный модуль 142 использует карту местоположений на изображении, которые связаны с областью тела, для определения направления главной оси области тела (см. фиг. 2a).

На пятом этапе 25 оценочный модуль 142 рассчитывает сумму компонентов нормальных векторов движения, обнаруженных в соответствующих блоках на изображении в направлении, перпендикулярном главной оси области тела. После пятого этапа 25 способ выполняет повторение с первого этапа 21 для следующего изображения, захваченного в следующий момент времени. Таким образом, суммарные значения, полученные при последовательном выполнении пятого этапа 25, будут получены, как функция времени. Суммы компонентов нормальных векторов движения могут быть рассчитаны для каждого захваченного изображения (например, при частоте кадров 50 или 60 Гц), но этого может быть достаточно для набора подвыборок изображений, например, с использованием одного изображения каждую 0,1 секунды или даже менее частых изображений. Это снижает требуемый объем обработки. Сумма компонентов нормальных векторов движения может быть использована непосредственно в качестве показателя поворотного движения.

При необходимости оценочный модуль 142 может выполнять шестой этап, на котором он добавляет сумму к накопленной сумме нормальных векторов движения. Таким образом, значения накопленных сумм, полученных при последовательных выполнениях шестого этапа 26, будут получены, как функция времени.

Фиг. 3 иллюстрирует пример сглаженного графика накопленных значений сумм нормального движения в зависимости от времени, полученных по изображениям младенца. В те временные диапазоны, когда наклон графика велик, субъект, за которым наблюдают, поворачивается. Между этими временными диапазонами поворота имеются диапазоны времени покоя, которые включают в себя локальные минимумы и максимумы. В течение диапазонов времени покоя тело субъекта, за которым проводится наблюдение, находится в фиксированной позе, например, на спине или на животе. Например, все локальные максимумы могут соответствовать позе на животе, а все локальные минимумы могут соответствовать позе на спине.

Сглаживание может быть осуществлено посредством временной фильтрации низких частот, например, усреднения накопленных значений по заданному числу последовательных моментов времени (например, пяти моментам времени). Накопленные значения сумм и их отфильтрованная по низким частотам версия или ее временная производная могут быть использованы в качестве показателя поворотного движения вместо использования суммы нормального движения непосредственно в качестве показателя поворотного движения.

Четвертый этап 24 может быть заменен путем использования заданного направления, когда показатель поворотного движения рассчитывается для взрослых. В этом случае определение направления главной оси может быть заменено использованием направления, которое соответствует основному направлению кровати (от конца для головы до конца для ног). Однако было установлено, что для мониторинга позы во сне маленьких детей необходимо определение направление главной оси их тела, поскольку маленькие дети демонстрируют значительное движение, которое не связано с поворотом, и оно может предполагать широко меняющуюся ориентацию относительно кровати.

В другом варианте осуществления этап теста выполняется, когда рассчитывается первое число блоков местоположений на изображении, в которых был обнаружен вектор движения выше заданной пороговой величины вектора движения (например, нуля). Кроме того, второе число рассчитывается по блокам местоположений на изображении, которые лежат в верхней части области тела, указанной картой местоположений. Здесь верхняя часть может быть выбрана в качестве области точек на изображении, проекция которых на главную ось лежит за выбранной точкой на главной оси, используя выбранную точку на главной оси, которая лежит по меньшей мере на половине длины тела вдоль главной оси, и более предпочтительно не более, чем на 40 процентов длины от конца головы главной оси. В одном варианте осуществления учитываются только те местоположения, проекция векторов движения которых на нормаль главной оси превышает заданную пороговую величину векторов движения. Когда первое и второе число не превышают заданных первой и второй пороговых величин, соответственно, величина значения суммы нормальных векторов движения заменяется на ноль. В альтернативном варианте осуществления значение суммы может быть уменьшено с некоторым коэффициентом. В предпочтительном варианте, этап теста выполняется до пятого этапа 25, и вычисление на пятом этапе 25 будет пропущено, когда первое и второе числа не превышают заданных первой и второй пороговых величин, соответственно. Но в альтернативном варианте пятый этап 25 может быть выполнен в любом случае. Таким образом, вместо использования суммы векторов нормального движения непосредственно в качестве показателя поворота, зависимость от времени, при которой сумма была уменьшена или заменена нулем в зависимости от этапа теста, может быть использована в качестве показателя поворотного движения. И использование нуля с вычислением суммы или без него, и уменьшение с коэффициентом будут упомянуты, как уменьшение показателя поворотного движения.

Добавление этапа теста обладает тем преимуществом, что обнаружение поворота может быть невозможно, когда вектора движения не обусловлены поворотом всего тела, а только локальным движением. В частности, младенцы имеют тенденцию производить движение, аналогичное шевелит ногой, которое не соответствует повороту. Путем использование этапа теста может быть снижен риск ложного обнаружения поворота из-за такого движения.

Обнаружение векторов движения на втором этапе 22 может выполняться с помощью способов, которые известны сами по себе. Способы известные сами по себе, например, из кодирования видеоданных (например, MPEG) или по алгоритмам преобразования частоты кадров, в которых «истинное» движение представляет собой важную характеристику. Например, для каждого соответствующего блока в матрице блоков 8×8 пикселей на изображении средство 140 оценки векторов движения может осуществлять поиск среди блока источника 8×8 пикселей на полученном ранее изображении для идентификации того, что блок источника обладает содержимым изображения, отличающимся по меньшей мере от содержимого соответствующего блока. Вектор движения для соответствующего блока может быть определен по разности между местоположением соответствующего блока и идентифицированным блоком источника.

На фиг. 2a показан пример области 210 тела в пределах карты 200 местоположений на изображении, которые связаны с областью тела. Линия 220 указывает главную ось области тела 210. Обновление на третьем этапе 23 карты местоположений на изображении, которые связаны с областью тела субъекта на изображении, может быть основано на обнаружении локальных изменений содержимого изображения и/или размера векторов движения. Соответствующие местоположения могут быть отмечены, когда изменение содержимого изображения, связанное с соответствующим местоположением, превышает пороговую величину в какой-либо момент времени в пределах временного интервала заданной длительности перед захватом изображения, например, в течении по меньшей мере половины секунды и не более одной минуты.

В одном варианте осуществления может быть использовано изображение с историей движения, на котором каждое местоположение на изображении связано с временным значением последнего момента времени, когда было обнаружено изменение содержимого изображения для местоположения на изображении (или нулевое значение, если не было обнаружено изменения содержимого изображения, или не происходило обнаружения в пределах предшествующего временного интервала заданной длины). В этом варианте осуществления третий этап 23 может содержать сравнение локального содержимого изображения для местоположения на изображении для текущего изображения и предыдущего изображения и обновление значения времени для местоположения на изображении для текущего момента времени, когда обнаружено большее изменение, чем заданная величина. В этом случае область тела для текущего момента времени может быть взята, как область, содержащая местоположения на изображении, в которых значение времени не превышают заданного временного интервала в прошлом.

В качестве содержимого изображения, связанного с соответствующим местоположением, может быть использовано значение пикселя в соответствующем местоположении, или содержимое блока значений пикселей на заданных пространственных местоположениях относительно соответствующего местоположения. Вектора движения для соответствующего местоположения могут быть использованы, например, в качестве обнаружения изменения содержимого изображения.

Главная ось области тела соответствует линии, которая проходит через эту область тела, в направлении, выбранном таким образом, чтобы размер области тела вдоль этого направления был больше, чем размер по меньшей мере половины, и более предпочтительно по меньшей мере двух третей процентов всех возможных направлений. Предпочтительно эта линия расположена таким образом, чтобы она делила область тела на две части равного размера. Предпочтительно используется главная ось в некотором направлении, в котором размер области тела вдоль этого направления больше, чем размер во всех других направлениях, или по меньшей мере не меньше. Когда используется такая предпочтительная главная ось, компонент поперечного движения, перпендикулярный этой предпочтительной главной оси, может быть использован вместо нормального движения, причем поперечное означает непараллельное, предпочтительно между плюс девяносто или минус сорок пять градусов относительно предпочтительной главной оси и более предпочтительно плюс девяносто или минус тридцать градусов.

Может быть использован любой из различных способов определения главной оси. Определение направления главной оси области тела может быть выполнено, например, аппроксимацией по методу наименьших квадратов для линии к местоположениям на изображении, которые лежат в области тела в соответствии с картой изображений, или к местоположениям на изображении на границе области тела. Может быть использовано вычисление моментов (средние линейные значения местоположений на изображении x, y и средние билинейные значения Rxx=(x-<x>)*(x-<x>), Rxy=(x-<x>)*(y-<y>), Ryy=(y-<y>)*(y-<y>)). В этом случае главная ось может быть определена, как собственный вектор матрицы ((Rxx, Rxy), (Rxy,Ryy)), и выбирается тот собственный вектор, который обладает наибольшим характеристическим числом. В альтернативном варианте может быть определен размер вдоль нескольких направлений, и может быть выбрано направление, которое дает наибольший размер.

Вычисление суммы на пятом этапе 25 может быть выполнено путем использования направления главной оси и x и y компонентов вектора движения каждого блока для вычисления компонента вектора движения, перпендикулярного главной оси, и последующего суммирования этих компонентов по блокам. В альтернативном варианте x и y компоненты вектора движения блоков могут суммироваться, и компонент вектора движения, перпендикулярный главной оси, может быть рассчитан по этой сумме.

В накопленном показателе поворотного движения (сглаженные накопленные значения сумм нормального движения, при необходимости с уменьшением суммы в моменты времени, когда этап теста не выявляет движения всего тела), вообще, локальные максимумы и минимумы могут быть связаны с конкретными позами тела. В примере на фиг. 3, субъект расположен на животе в момент каждого локального максимума и на спине в момент каждого локального минимума.

На фиг. 3 показаны локальные максимумы и минимумы на сглаженном графике накопленных значений сумм нормального движения. В одном варианте осуществления оценочный модуль 142 выполнен с возможностью обнаружения интервала времени покоя по показателю поворотного движения и для приведения в соответствие интервалов времени покоя с состояниями, связанными с позами тела. В зависимости от состояния и/или его длительности может формироваться сигнал оповещения, например, когда было выбрано состояние с позой «на животе».

Интервалы времени покоя могут быть обнаружены, например, если показатель поворотного движения, накопленный в этом интервале, ниже заданной пороговой величины. Оценочный модуль 142 может быть выполнен с возможностью приведения в соответствие с состоянием каждого интервала покоя в соответствии с направлением движения в ближайшие интервалы времени относительно поворотного движения и после интервала покоя. Первое состояние присваивается, когда предыдущий интервал поворота представляет собой движение в первом направлении, и последующий интервал поворота представляет собой движение во втором направлении, противоположном первому направлению. И наоборот, интервал покоя может быть связан со вторым состоянием, если предшествующий и последующий интервалы поворота представляют собой движение во втором и первом направлении, соответственно. Здесь направление движения может быть определено по накопленному движению, например, во время интервала поворота. Когда ближайшие временные интервалы относительно интервала времени покоя обладают одним и тем же направлением движения, произошел поворот, и состояние этого интервала времени покоя может быть выбрано в качестве противоположного следующему или предыдущему интервалу времени покоя.

Однако связь между состояниями, соответствующими локальным максимумам и минимумам, с одной стороны, и различными позами тела, с другой стороны, не является однозначной: в некоторых случаях эта связь может быть обратной. В одном варианте осуществления система может быть выполнена с возможностью использования пользовательского ввода, указывающего истинную позу в заданный момент времени для присвоения этой позы одному из локальных минимумов или максимумов, который был обнаружен для этого момента времени. Система может быть выполнена с возможностью запроса этого пользовательского ввода, чтобы привести систему в действие после укладывания младенца в кроватку, и/или когда она была еще неспособна установить соответствие между позой и локальными минимумами или максимумами. В одном варианте осуществления система может быть выполнена с возможностью предложения пользовательского ввода, например, когда младенец уложен, или когда она еще неспособна установить соответствие между позой и локальными минимумами или максимумами.

В дополнительном или другом варианте осуществления может быть использовано выполняемое компьютером визуальное обнаружение лица и/или обнаружение дыхания для устранения неоднозначности соответствия между состояниями, связанными с минимумами и максимумами и различными позами.

В принципе, выполняемое компьютером визуальное распознавание лица может быть использовано для различения между разными позами самостоятельно. Когда камера направлена вниз или при основном направлении вниз к поверхности кровати 16 для сна, распознавание передней поверхности лица может быть связано с позой «на спине», а отсутствие обнаружения лица может быть связано с позой «на животе». Также может быть использовано обнаружение лица в профиль. Но было установлено, что отсутствие обнаружения передней стороны лица спящего, особенно младенца, часто не обусловлено позой «на животе». Кроме того, часто может происходить ложное распознавание.

Реализуемое компьютером визуальное распознавание лица само по себе известно. См., например, P. Viola et al, Rapid Object Detection using a Boosted Cascade of Simple Features, CVPR 2001. В этой публикации используется алгоритм обучения для выбора числа особенностей из большего набора для формирования эффективного блока классификации. Кроме того, формируется каскад все более сложных блоков классификации, что позволяет быстро отбросить области фона на изображении. Например, блоки классификации для распознавания передней стороны лица могут быть основаны на обнаружении комбинации особенностей, включая две аналогичных области изображения, которые соответствуют глазам, и дополнительную область изображения, параллельную линии через области глаз, которая соответствует рту, при необходимости с обнаруживаемой областью изображения, которая соответствует носу между ними. Блоки классификации для обнаружения лица в профиль могут быть основаны на обнаружении комбинации особенностей, включая последовательные области изображения, которые соответствуют подбородку, носу и области глаз, и глаза и область изображения, которая соответствует уху.

На фиг. 4 приведена блок-схема распознавания лица на основании обнаружения поворота тела. На первом этапе 41 оценочный модуль 142 использует полученное изображение для выбора интересующих областей. В одном варианте осуществления оценочный модуль 142 использует карту областей тела, полученную для этой цели на третьем этапе 23 блок-схемы по фиг. 2, путем выбора областей на концах распознанной области тела вдоль главной оси.

На втором этапе 42 оценочный модуль 142 формирует несколько повернутых по-разному версий содержимого изображения в интересующей области, используя углы, которые соответствуют направлению главной оси плюс заданные углы со смещением относительно угла главной оси. Например, могут быть использованы углы со смещением в диапазоне плюс или минус пятнадцать градусов, с шагом три градуса.

На третьем этапе 43 оценочный модуль 142 применяет алгоритм распознавания передней стороны лица и при необходимости алгоритм распознавания лица в профиль/передней стороны лица для повернутых версий содержимого изображения.

На четвертом этапе 44 оценочный модуль 142 устанавливает результат распознавания лица с соответствии с тем, обнаружил ли алгоритм распознавания лица лицо в какой-либо из повернутых версий или нет. При необходимости оценочный модуль 142 устанавливает результат обнаружения лица в соответствии с тем, была ли обнаружена передняя сторона лица, лицо в профиль, или лицо не было обнаружено вообще.

С четвертого этапа 44 способ выполняет повторение с первого этапа 41 для следующего изображения, захваченного в следующий момент времени. Таким образом, будет получен результат обнаружения лица в зависимости от времени.

На фиг. 5 показан график сглаженной версии функции распознавания лица, полученной только при распознавании передней стороны лица и без результатов распознавания передней стороны лица для младенца. Сглаживание может быть выполнено посредством фильтрации низких частот. Высокое сглаженное значение указывает, что лицо было обнаружено во многие моменты времени, и значительно уменьшенные сглаженные значения указывают, что лицо было обнаружено с меньшей частотой. Для справки показана прямоугольная функция, которая указывает, был ли младенец, за которым наблюдают, в позе на спине или нет. Как можно видеть, существует некоторая корреляция между положением «на спине» и обнаружением лица, но не взаимооднозначное соответствие.

Однако в комбинации с обнаружением поворотного движения, как показано на фиг. 2, обнаружение лица может быть использовано для устранения неоднозначности обнаружения поворотного движения, т.е. для определения того, соответствует ли локальный максимум накопленного показателя поворотного движения позе «на спине» или позе «на животе».

Фиг. 6 иллюстрирует модель конечного автомата, используемую в одном варианте осуществления для определения позы. Модель конечного автомата имеет состояния «на спине» 60 и «на животе» 62. Оценочный модуль 142 присваивает одно из этих состояний с последовательными моментами времени. Назначенное состояние является копией приведенного в соответствия состояния предыдущего момента времени, если не обнаружен поворот, или лицо обнаруживается с достоверностью по пороговой величине. Когда обнаружен поворот, оценочный модуль 142 меняет состояние, и когда распознано лицо с достоверностью по пороговой величине, оценочный модуль 142 устанавливает состояние на «на спине». Оценочный модуль 142 может использовать назначенное состояние для вычисления статистики, такой как оценка общего числа моментов времени, чтобы одно из состояний было приведено в соответствие (указывало общий период времени, проведенный в соответствующей позе), или среднюю длительность интервалов времени, в которые это состояние назначено между поворотами).

Для этой цели оценочный модуль 142 может обнаруживать поворот посредством обнаружения временных интервалов поворотов, отличающихся от интервалов времени покоя в накопленном показателе поворотного движения. Для обнаружения интервалов поворота могут быть использованы различные способы. Временные интервалы, когда накопленный показатель движения при повороте не отклоняется на величину более заданной величины от максимума или минимума около локального максимума или минимума, при необходимости ограничены интервалами, которые обладают по меньшей мере заданной минимальной длительностью, и могут рассматриваться, например, как интервалы времени покоя. В качестве другого примера, интервалы поворота могут быть идентифицированы, включая в себя моменты времени, в течение которых показатель поворотного движения (или производная времени накопленного показателя поворотного движения) превышает пороговую величину, или которые лежат между моментами времени, в которые это происходит, разделенными промежутком менее заданного временного промежутка. При необходимости тесты относительно того, превышает ли накопленный показатель поворотного движения во временном интервале с движением и/или длительность этого временного интервала заданную пороговую величину, или пороговая величина может использоваться в качестве условия идентификации временного интервала в качестве интервала поворота.

Оценочный модуль 142 может обнаруживать, обнаружено ли лицо с достоверностью по пороговой величине, если результат обнаружения лица указывает на обнаруженное лицо для числа ближайших моментов времени, большего, чем пороговое во временном окне, содержащем выбранный момент времени. Может быть использована, например, пороговая величина в девяносто процентов временного окна, в более общем случае пороговая величина, которая снижает вероятность ложного положительного распознавания ниже заданной пороговой величины, независимо от вероятности ложных отрицательных результатов.

Модель конечного автомата по фиг. 6 представляет собой лишь один из примеров. Может быть использована более сложная модель конечного автомата, которая включает в себя одно или более состояний «на боку».

Когда обнаружен поворот, оценочный модуль 142 может определять, попадает ли объем поворота (например, накопленный показатель поворотного движения во время интервала поворота) и/или его длительность в рамки заданного диапазона, связанного с полным поворотом, или диапазона, связанного с половинным оборотом. Например, заданная пороговая величина может быть использована для различения полных поворотов от половинных поворотов. В одном варианте осуществления этот диапазон устанавливается адаптивно, например, с помощью пороговой величины в три четверти максимального обнаруженного объема поворота и/или длительности поворота в обнаруженных событиях поворота. В качестве другого примера использования алгоритма группирования для идентификации скопления событий поворота со связанными диапазонами на основании объема и/или длительности поворотного движения, включает в себя скопления с полным поворотом и половинным поворотом.

В зависимости от результата определения того, соответствует ли объем поворота диапазону полного поворота или диапазону половинного поворота, оценочный модуль 142 может выбрать между изменением состояния на полный поворот (например, из состояния на спине на живот или наоборот) или половинный поворот (например, из состояния на спине набок). Кроме того, в одном варианте осуществления оценочный модуль 142 может использовать направление движения (признак показателя поворотного движения), для выбора между изменением состояния в одном направлении на другое (например, с положения на боку на живот или на спину).

Кроме того, обнаружение вида сбоку лица может быть использовано в качестве указания позы на боку, но это неточно, поскольку голова может быть повернута вбок, когда тело находится в позе на животе или на спине. При необходимости, когда используется распознавание лица, использование обнаружения вида сбоку лица используется при условии, что это обнаружение начинается во время или не позже заданного временного интервала после обнаружения интервала поворота по показателю поворотного движения.

Хотя конечный автомат описан для конкретного типа способа, следует понимать, что оценочный модуль 142 может осуществлять способ без использования конкретного конечного автомата. Например оценочный модуль 142 может просто устанавливать флажок для указания того, что интервалы покоя с минимумами или максимумами накопленного показателя поворотного движения по отношению к окружающим интервалам поворота связаны с позой «на спине», и обновлять флажок, когда обнаружено лицо с достоверностью по пороговой величине в соответствии с тем, что обнаружение происходит во время локального минимума или локального максимума накопленного показателя поворотного движения. Оценочный модуль 142 может просто выбрать интервалы времени покоя около локального максимума накопленного показателя поворотного движения, привести в соответствие позу «на спине» каждому временному интервалу, если лицо обнаружено с достоверностью по пороговой величине, и другую копию, противоположную этой позе, назначенной для ближайшего интервала времени покоя.

В других вариантах осуществления система 14 обработки сигналов может содержать датчик дыхания и/или датчик сердцебиения. Датчик дыхания может быть выполнен с возможностью обнаружения дыхания по малому периодическому движению в части изображения, показывающей поверхность на части туловища. Датчик сердцебиения может быть выполнен с возможностью обнаружения сердцебиения по периодическому изменению интенсивности и/или цвета на части изображения, показывающей открытую часть тела, причем изменение обусловлено импульсным кровотоком. Способы выполнения визуального обнаружения сердцебиения предложены сами по себе в публикациях US8542877, US8542878 и US8553940.

Датчик сердцебиения может быть выполнен с возможностью использования местоположения распознанного лица для выбора интересующей области или по меньшей мере использования области, выбранной в соответствии с первым этапом 41. Датчик сердцебиения может суммировать значения интенсивности изображений в выбранной области изображения. Таким образом, изображения для последовательных моментов времени дают сумму интенсивности изображений в зависимости от времени. Может быть рассчитана временная автокорреляция или преобразование Фурье этой функции, и сердцебиение может быть обнаружено по пикам автокорреляции или амплитуде преобразования Фурье. При необходимости результаты обнаружения сердцебиения могут быть блокированы вне интервалов времени покоя, обнаруженных по показателю поворотного движения.

Датчик дыхания может быть выполнен с возможностью выбора области туловища на основании карты местоположений на изображении, которые связаны с некоторой областью тела субъекта. Датчик дыхания может рассчитывать функцию обнаружения по вектору движения или сумме векторов движения в выбранной области в зависимости от времени. В одном варианте осуществления датчик дыхания может рассчитывать функцию обнаружения по пространственной корреляции между содержимым изображения для разных изображений в выбранной области в зависимости от времени. Альтернативные или дополнительные способы обнаружения движения, когда рассчитывается разность между значениями пикселей на (последовательных) изображениях, могут быть использованы для выделения кривой дыхания. По функции обнаружения датчик дыхания может рассчитывать частоту дыхания по способам, аналогично используемым для определения сердцебиения.

Источником 12 света может быть лампа, например, содержащая светодиод. Им может быть, например, источник инфракрасного излучения. В одном варианте осуществления источник 12 света может быть выполнен с возможностью проецирования структурированного света под углом к направлению наблюдения камеры, например, в форме структуры блоков или полосок или набора лучей в соответствующих изолированных направлениях или в форме набора плоскостей света, изолированных друг от друга. Это может быть использовано для улучшения возможности распознавания движения при дыхании в видео последовательности. Структурированный свет также может быть использован при обнаружении поворотного движения. Однако он может препятствовать обнаружению сердцебиения.

В другом варианте осуществления источник 12 света содержит источник структурированного света, и система мониторинга содержит схему управления, выполненную с возможностью переключения источника структурированного света поочередно на включение и отключение периодическим образом, предпочтительно синхронно с захватом изображений камерой 10, чтобы первое число изображений камеры было захвачено при структурированном освещении, и второе число изображений камеры было захвачено без структурированного освещения. В этом варианте осуществления датчик сердцебиения может быть выполнен с возможностью управления синхронно с переключением посредством схемы управления с использованием только изображений, захваченных без структурированного освещения, для определения частоты сердечных сокращений. Аналогичным образом, датчик дыхания может быть выполнен с возможностью управления синхронно с переключением посредством схемы управления, с использованием только изображений, захваченных со структурированным освещением, для определения частоты дыхания.

В одном варианте осуществления обнаружение дыхания может быть использовано для облегчения обнаружения позы. В принципе выполняемое компьютером визуальное распознавание дыхания может быть использовано для различения разных поз самих по себе, поскольку движение, обусловленное дыханием, происходит в то время, как поза остается постоянной, и структура движения различена в зависимости от позы. Движение, обусловленное дыханием, имеет место, главным образом, на животе и на груди. Когда камера направлена под углом к вертикали с главной осью тела, направленной сверху вниз, на изображениях наблюдаемое движение при дыхании в позе «на спине», осуществляется, главным образом, вверх и вниз. В позе «на боку» это движение происходит, главным образом, вбок. Оценочный модуль 142 может тестировать направление наблюдаемого движения при дыхании для соответствующей идентификации поз.

Хотя движение, обусловленное дыханием, гораздо меньше, чем обусловленное поворотом, датчик дыхания может обнаруживать его посредством выборочного использования данных изображений частей обнаруженной области тела, которые, как ожидается, связаны с дыханием (верхняя часть и боковые стороны области тела ниже головы), и/или использования периодичности дыхательного движения для полосовой фильтрации дыхательных движений.

Чтобы обнаружить позу, можно использовать местоположение обнаруженного дыхательного движения и/или направление движения. Оценочный модуль 142 может быть выполнен с возможностью оценки того, обнаружено ли дыхательное движение выше по меньшей мере заданной области в пределах области тела, указанной картой области тела, и назначения позы «на животе», если оно обнаружено. Оценочный модуль 142 может быть выполнен с возможностью оценки того, обнаружено ли дыхательное движение главным образом в линейной области вдоль края области тела, и назначения позы «на боку», если оно обнаружено.

В альтернативном или другом варианте осуществления оценочный модуль 142 может быть выполнен с возможностью различения того, что направление обнаруженного вектора дыхания направлено в большей степени вдоль главной оси области тела, или ортогонально ей, чтобы назначить позу «на животе» или «на боку», соответственно. Кроме того, оценочный модуль 142 может быть выполнен с возможностью блокировки обнаружения движения, когда амплитуда движения при дыхании ниже пороговой величины, и/или когда обнаружен поворот тела. Заданные диапазоны областей и/или направлений, а также амплитуда движения при дыхании могут быть определены для того, чтобы оценочный модуль 142 использовал их в качестве эталона для назначения различных поз.

Как указано, датчик дыхания может быть выполнен с возможностью обнаружения частоты дыхания, использования обнаруженной частоты дыхания для управления центральной частотой полосового фильтра и фильтрации обнаруженных векторов движения с помощью полосового фильтра, чтобы получить обнаруженный вектор движения при дыхании для использования при обнаружении позы.

Как и обнаружение позы с помощью обнаружения лица, обнаружение позы с использованием дыхания может страдать недостоверностью. Аналогично обнаружению позы с использование обнаружения лица, обнаружение позы с использованием дыхания может быть использовано для устранения неоднозначности результатов, полученных по показателю поворотного движения. Например, когда дыхание было обнаружено, соответственно, во время по меньшей мере заданного периода, оценочный модуль 142 может обновлять состояние в соответствии с обнаруженной структурой дыхания, как указано для обнаружения лица, вместо обнаружения лица. В одном варианте осуществления для этой цели может быть использована комбинация обнаружения лица и обнаружения дыхания.

Оценочный модуль 142 может быть выполнен с возможностью обнаружения того, повернута ли голова влево или вправо в «положении на боку». Это может быть определено по обнаружению лица и/или направлению дыхания непосредственно или, если такое обнаружение невозможно, на основании поворотного движения. В зависимости от того, указывает ли показатель поворотного движения на движение влево или движение вправо при переходе из позы «на спине» в позу «на боку», оценочный модуль 142 может отметить состояние на боку отдельно, как обращенное налево или направо, соответственно. Аналогичным образом, оценочный модуль 142 может отметить позу на боку отдельно, как обращенную влево или вправо, в зависимости от того, указывает ли показатель поворотного движения на движение вправо или движение влево, соответственно, при переходе из позы «на животе» в позу «на боку».

На основании обнаруженных поз оценочный модуль 142 может быть выполнен с возможностью вычисления

- период времени, который младенец лежал в каждом положении тела за всю ночь

- число движений с поворотом

- информацию о положениях головы и длительности пребывания в каждом положении,

- измерения продолжительности того, как долго голова младенца находилась в одном и том же положении,

- обнаружения того, была ли голова повернута в одну сторону большую часть времени,

- обнаружения того, что голова была наклонена в одну сторону большую часть времени.

- данных по дыханию, данных по частоте сердечных сокращений, относительных значений активного сна относительно спокойного сна, временных показателей сна;

- изменений упомянутых выше показателей со временем, которые могут быть связаны с развитием младенца и развитием рисков для здоровья, таких как синдром внезапной смерти младенца или синдром плоской головы.

Оценочный модуль 142 может быть выполнен с возможностью формирования изображения по результатам измерений на основании одного или более из этих пунктов информации. На основании обнаруженных поз оценочный модуль 142 может быть выполнен с возможностью формирования сигнала, когда младенец лежит на животе, и/или когда голова лежит в одном и том же положении дольше заданного периода времени.

Оценочный модуль 142 может быть выполнен с возможностью формирования сигнала в зависимости от результатов обнаружения дыхания. Например, оценочный модуль 142 может быть выполнен с возможностью формирования сигнала на основании обнаруженной позы условно, только когда в этом состоянии произошло изменение частоты дыхания более заданного, или когда не обнаружено дыхание с параметрами в заданном диапазоне. Это может быть использовано без обнаружения дыхания для обнаружения позы, но комбинация с использованием обнаружения позы обладает тем преимуществом, что обнаружение позы может быть выполнено более надежно без дополнительных затрат.

Другие варианты описанных вариантов осуществления могут быть понятны и осуществлены специалистами в данной области техники при практической реализации заявленного изобретения по изучению чертежей, описания и приложенной формулы изобретения. В формуле изобретения слово «содержащий» не исключает других элементов или этапов, и использование единственного числа не исключает множественного числа. Один процессор или другой блок может выполнять функции нескольких блоков, упомянутых в формуле изобретения. Сам по себе тот факт, что некоторые средства упомянуты в различных зависимых пунктах формулы, не указывает, что комбинация этих средств не может быть использована с достижением преимущества. Компьютерная программа может быть сохранена/распределена на соответствующем носителе, таком как оптическое запоминающее устройство или твердотельный носитель, поставляемый вместе с другим аппаратным обеспечением или как его часть, но также может быть распределена в другой форме, например по сети Интернет или другим проводным или беспроводным телекоммуникационным системам. Никакие условные обозначения не следует рассматривать, как ограничивающие объем изобретения.

Изобретение относится к медицинской технике. Система для мониторинга субъекта в кровати содержит камеру для получения изображений субъекта в кровати, средство оценки векторов движения для определения векторов движения в зависимости от местоположения на каждом последовательном изображении из набора изображений, полученного во временном интервале, и систему обработки сигналов. Система обработки сигналов выполнена с возможностью определения в каждом последовательном изображении карты местоположений на изображении для блоков в каждом соответствующем изображении, связанных с областью тела субъекта в кровати, и направления главной оси области тела в кровати по определенной карте местоположений на изображении. Направление определяется по тому размеру области тела в кровати в направлении главной оси, который больше или не меньше размера области тела в кровати во всех других направлениях. Направление главной оси области тела в кровати является адаптируемым в ответ на отклонения главной оси от продольного направления кровати. Система обработки сигналов также выполнена с возможностью вычисления показателя поворотного движения субъекта в кровати, которое содержит использование направления главной оси области тела в кровати и компонентов определенных векторов движения каждого блока в каждом соответствующем изображении, которые являются нормальными по отношению к направлению главной оси области тела в кровати, и впоследствии суммирование этих компонентов по блокам из соответствующей карты местоположений изображений, связанных с областью тела субъекта в кровати, в пределах каждого последовательного изображения из набора изображений. Система обработки сигналов выполнена с возможностью обнаружения изменений позы субъекта в кровати на основании вычисленного показателя поворотного движения субъекта. Достигается более надежное определение состояния сна. 11 з.п. ф-лы, 6 ил.