СИСТЕМА И СПОСОБ ДЛЯ ИЗВЛЕЧЕНИЯ ФИЗИОЛОГИЧЕСКОЙ ИНФОРМАЦИИ ИЗ УДАЛЕННО ОБНАРУЖЕННОГО ЭЛЕКТРОМАГНИТНОГО ИЗЛУЧЕНИЯ Российский патент 2018 года по МПК G06T7/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к системе и способу для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения. Конкретнее, настоящее изобретение относится к детектированию жизненно важных параметров или, в более общем смысле, информации об основных показателях состояния организма из электромагнитного излучения, переизлученного исследуемым объектом. Более конкретно, но также не в ограничительном смысле, настоящее изобретение может дополнительно относиться к извлечению информации из удаленно обнаруженного электромагнитного излучения, которое содержит, по меньшей мере, частично, видимое излучение. Видимое излучение может относиться к излучению в определенном диапазоне длин волн, видимом человеческим глазом. Еще более конкретно, настоящее изобретение может относиться к системам и способам обработки изображения для детектирования и мониторинга жизненно важных параметров, что может применяться, например, в области удаленного мониторинга, например удаленного фотоплетизмографического мониторинга, удаленного детектирования насыщения кислородом, а также в родственных областях применения.

Изобретение дополнительно относится к соответствующей компьютерной программе.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

В публикации WO 2008/125995 A1 раскрыты система и способ для одновременного сбора информации об основных показателях состояния организма и получения изображения пациента, при этом система включает в себя:

- устройство контроля основных показателей состояния организма, на которое поступают параметрические данные пациента и данные изображений;

- формирователь изображений, соединенный с устройством контроля основных показателей состояния организма, который фиксирует изображение пациента и передает данные изображений на устройство контроля основных показателей состояния организма; а также

- один или более датчиков, контролирующих по меньшей мере один жизненно важный показатель пациента и передающих параметрические данные пациента, описывающие по меньшей мере один жизненно важный показатель, на устройство контроля основных показателей состояния организма.

В публикации WO 2010/100594 A2 раскрыты способ и система для обработки изображений по меньшей мере одного живого существа, включающие в себя:

- получение последовательности цифровых изображений, принятых в последовательные моменты времени;

- выбор по меньшей мере одной измерительной зоны, содержащей множество точек изображений, при этом

этап выбора по меньшей мере одной измерительной зоны включает в себя анализ информации на основе пиксельных данных множества частей изображений по меньшей мере на одном из изображений, при этом каждая часть изображения включает в себя по меньшей мере одну точку изображения, а также выбор каждой измерительной зоны из сопряженных частей, имеющих по результатам оценки схожие характеристики; а также

- для каждой измерительной зоны получение сигнала, отражающего, по меньшей мере, варьирование изменяющегося во времени среднего значения комбинации пиксельных значений, по меньшей мере, в ряде точек изображений, для использования в обнаружении, по меньшей мере, наличия или частотного значения по меньшей мере одного пика в спектре сигнала, соответствующего частоте периодического физиологического процесса.

В этом документе дополнительно раскрыт ряд усовершенствований способа и системы. Например, предусмотрено использование фотоплетизмографической (PPG) визуализации.

Подходы с использованием фотоплетизмографии могут применяться в т.н. пульсовых оксиметрах, которые обычно выполнены с возможностью проведения мониторинга исследуемого объекта, например мониторинга насыщение крови пациента кислородом. Часто опосредованное измерение насыщения (артериальной) крови кислородом называют SpO₂-измерением.

В последнее время были описаны и продемонстрированы системы удаленного мониторинга на основе цифровых изображений для получения информации о пациенте или физиологической информации о живых существах вообще.

В контексте настоящего описания термин "удаленно обнаруженное электромагнитное излучение" может относиться к компонентам излучения, направленного на исследуемый объект от источника излучения и "отраженного" участком кожи исследуемого объекта. Поскольку механизмы отражения кожи объекта довольно сложны и зависят от множества факторов, таких как длина волны, глубина проникновения, состав кожи, структура сосудистой системы и дополнительных определяющих параметров, такие термины как "испущенное", "переданное" и "отраженное" не следует понимать в ограниченном смысле. Обычно часть падающего излучения может отражаться на (верхней) поверхности кожи. Кроме того, часть падающего излучения может проникать в кожу и проходить сквозь слои кожи. В конечном счете, по меньшей мере, часть падающего проникающего излучения может поглощаться кожей, в то время как, по меньшей мере, другая часть падающего проникающего излучения может рассеиваться в коже (а не отражаться на поверхности кожи). Следовательно, компоненты излучения, представляющие исследуемый объект, которые могут улавливаться датчиком, можно назвать переизлученным излучением.

Для подходов удаленного мониторинга и измерения продемонстрировано использование съемочных камер. Съемочные камеры, в частности, могут подразумевать видеокамеры, способные фиксировать последовательность кадров изображения. Предпочтительно могут использоваться съемочные камеры, способные фиксировать видимый свет. Эти съемочные камеры могут иметь определенную характеристику чувствительности, покрывающую, по меньшей мере, значительную часть диапазона видимого света электромагнитного спектра. В контексте настоящего описания видимый свет следует понимать как часть электромагнитного спектра, воспринимаемая человеческим глазом без дополнительных технических средств.

Удаленный мониторинг объекта (например, мониторинг пациента) считается полезным, поскольку таким способом можно проводить бесконтактные измерения. Наоборот, неудаленные (контактные) измерения обычно требуют наложения датчиков и даже маркеров на исследуемый участок кожи объекта, который требуется проконтролировать. Во многих случаях это считается неприятным, в особенности при проведении долгосрочного мониторинга.

Таким образом, полезно создать систему и способ для удаленного мониторинга, которые дополнительно внесут вклад в преодоление необходимости в проведении навязчивого (контактного) измерения.

В этой связи в работе "Remote plethysmographic imaging using ambient light", Verkruysse и др., Optics Express, 16(26), 22 декабря 2008, стр. 21434-21445, показано, что фотоплетизмографические сигналы могут измеряться удаленно при нормальном окружающем освещении и с помощью весьма традиционных видеокамер. Однако при удаленном измерении следует ожидать больших помех. Помехи могут включать нежелательное относительное движение исследуемого объекта и контрольно-измерительного устройства. Кроме того, условия переменной освещенности могут отрицательно влиять на надежность мониторинга и точность мониторинга. Помимо этого, поскольку датчики сбора изображений (например, съемочные камеры) обычно могут захватывать поле обзора (например, соответствующее размеру кадра), в котором одновременно присутствуют исследуемый объект и дополнительные окружающие объекты, требуется выбрать и отслеживать исследуемую область, если это возможно. Кроме того, в отношении исследуемого объекта могут присутствовать индикативные участки, содержащие требуемую физиологическую информацию (например, участки кожи), и неиндикативные участки (например, волосы и одежда). Помимо этого, в зафиксированном кадре может присутствовать множество объектов (например, пациентов). В то время как при проведении контактных тактильных измерений эти вредные факторы создания помех могут быть сведены к минимуму, подходы к удаленным бесконтактным измерениям в этом отношении сталкиваются с очень большими трудностями.

С учетом того, что представляющие интерес сигналы могут быть заключены или, так сказать, «спрятаны» в незначительных флуктуациях цвета кожи или даже в шаблонах мельчайших движений, следует ожидать весьма низких соотношений сигнал/шум, принимая во внимание существенное отрицательное влияние помех и искажений, способных исказить зарегистрированные данные.

В некоторых областях применения соотношение сигнал/шум может даже быть еще более низким. Это может иметь место, когда контролирование или измерение, в конечном счете, направлено на установление полученной информации об основных показателях состояния организма, которая, главным образом, должна быть определена опосредованно на основе сигналов, напрямую получаемых из зарегистрированных данных.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задача настоящего изобретения заключается в создании системы и способа для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения, направленных на решение, по меньшей мере, некоторых из вышеуказанных проблем, а также обеспечении дальнейшего усовершенствования обработки зарегистрированных сигналов, так чтобы требуемая информация могла быть получена даже в весьма плохих условиях мониторинга. Кроме того, предпочтительно создать систему и способ, способные содействовать процессу мониторинга, более предпочтительно автоматизировать его. В частности, необходимость во вмешательстве и действиях человека в процессе мониторинга будет снижена.

В первом аспекте настоящего изобретения представлена система для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения, при этом система содержит:

- интерфейс, выполненный с возможностью приема потока данных, содержащего данные изображений, представляющие общую наблюдаемую область, содержащую по меньшей мере один исследуемый объект;

- разделительный блок, выполненный с возможностью образования множества подобластей в общей области;

- классификатор, выполненный с возможностью классификации множества подобластей по меньшей мере на один индикативный тип области и по меньшей мере один вспомогательный тип области, при этом по меньшей мере один индикативный тип области содержит по меньшей мере одну индикативную область исследования, по меньшей мере, частично представляющую исследуемый объект; а также

- процессор обработки данных, выполненный с возможностью обработки по меньшей мере одной подобласти, классифицированной в качестве исследуемой области, что позволяет получить жизненно важную информацию.

Изобретение основано на идеи о том, что выбор области в зарегистрированных данных изображений является решающим для достижения более высоких результатов извлечения сигналов даже в весьма плохих условиях мониторинга. Поскольку обычно исследуемый объект, а также окружающие объекты или даже датчик (или съемочная камера), используемые в процессе мониторинга, могут совершать движения относительно друг друга, как правило, также и исследуемая область "перемещается" или "дрейфует" с течением времени в зарегистрированных данных изображений. Таким образом, по существу потребуются действия человека, например, первоначальный выбор исследуемой области и последующий перевыбор. Следовательно, точность мониторинга существенно зависит от фактического опыта оператора.

Автоматизированная классификация и автоматизированный процесс выбора могут уменьшить необходимость во вмешательстве человека в отношении исследуемой области (ROI) при проведении мониторинга объекта. Выбор и классификация подобластей могут содержать выполнение заданных алгоритмов, а значит, выполняться без необходимого участия человека (или оператора). Кроме того, классификатор может быть выполнен не только с возможностью определения "хороших" подобластей, которые отображают требуемые сигналы и могут использоваться в ходе последующих процессов извлечения жизненно важной информации. Классификатор может дополнительно использоваться для определения в некоторой степени "неиндикативных" подобластей (в терминах требуемых сигналов), которые, с другой стороны, могут служить в качестве референсных областей для уменьшения помех и искажений. В этой связи предпочтительно, чтобы по меньшей мере один вспомогательный тип области содержал по меньшей мере одну референсную область.

Следовательно, поскольку обычно преобладающие изменения и варьирования в референсных областях могут быть отнесены к помехам, таким как движение или условия переменной освещенности, референсные области могут использоваться и обрабатываться в сравнительном плане, чтобы дополнительно повысить соотношение сигнал/шум в исследуемой области, к которой в первую очередь обращаются для извлечения требуемой информации.

В контексте настоящего описания данные изображений могут содержать цифровые данные изображений, например по меньшей мере одну последовательность кадров изображений. В некоторых вариантах осуществления последовательность кадров изображений может также именоваться потоком видеоданных. Предпочтительно данные изображений, по меньшей мере, частично содержат информацию видимого излучения. Видимое излучение может именоваться видимым светом. Термин «видимый свет» может относиться к спектральному диапазону излучения, воспринимаемому человеческим глазом. Например, видимый свет или видимое излучение может содержать длины волн от около 390 до около 750 нанометров (нм). Само собой разумеется, термин «видимый свет» может также относиться к поддиапазонам общего диапазона видимого света.

В более общем смысле данные изображений могут содержать информацию оптического излучения. Оптическое излучение может содержать длины волн от около 100 нанометров (нм) до около 1 миллиметра (мм). В некоторых вариантах осуществления данные изображений могут дополнительно содержать информацию невидимого излучения. Невидимое излучение может содержать, но не ограничиваясь перечисленным, инфракрасное (IR) излучение и ультрафиолетовое (UV) излучение. Следовательно, данные изображений могут содержать видимую и невидимую информацию (в терминах восприятия длин волн человеческим глазом).

В качестве примера данные изображений могут содержать изобразительную информацию многоканальной передачи. Например, данные изображений могут состоять из RGB-данных. Цветовая модель RGB может относиться к условному обозначению конкретной цветовой модели или цветового представления. Разумеется, для определения данных изображений могут использоваться различные условные обозначения цветовых моделей. Обычно данные изображений содержат композицию, зависящую от длин волн. В этом отношении данные изображений могут быть сформированы несколькими цветовыми каналами, которые могут содержать цветовые каналы передачи одного цвета (монохромные) и цветовые каналы передачи множества цветов, такие как RGB, CMYK или схожий цветовой канал, или условные обозначения цветовых компонентов. Кроме того, в некоторых вариантах осуществления данные изображений могут пополняться путем добавления дополнительных каналов или компонентов, например каналов невидимого излучения, таких как IR-канал или UV-канал.

Подобласти, которые требуется классифицировать с помощью классификатора, могут иметь одинаковые или неодинаковые размер и форму. Подобласти могут располагаться смежно друг другу. В качестве альтернативы подобласти могут накладываться, по меньшей мере, частично. В качестве альтернативы подобласти могут быть разнесены друг от друга. Помимо этого, по меньшей мере, некоторые из подобластей могут представлять собой составную часть других подобластей. Размер и форма подобластей могут быть «гибкими» и их можно определять по-разному для каждого из каналов изображения, описанных в предыдущем параграфе. Таким образом, размер может приспосабливаться и изменяться с течением времени, чтобы дополнительно повысить результат соответствия, а значит, и качество сигнала. Поскольку по меньшей мере одна или некоторые из подобластей могут дрейфовать или перемещаться в общей наблюдаемой области с течением времени, взаимосвязь, по меньшей мере, между некоторыми из подобластей в отношении размера, перекрытия, положения и т.д. также может изменяться с течением времени.

Следовательно, в общей наблюдаемой области можно создать шаблон классифицированных подобластей. Помимо этого, индикативные подобласти можно отделить от неиндикативных искаженных областей. Таким образом, может быть использован, так сказать, эвристический подход для идентификации индикативных областей исследования.

Классификатор может быть дополнительно выполнен с возможностью отнесения множества подобластей к неопределимому типу области. Таким образом, классификатор может классифицировать подобласти на индикативный тип области, вспомогательный тип области и неопределимый тип области. Например, некоторые подобласти могут содержать изображение индикативного участка исследуемого объекта, по меньшей мере, частично, и в то же время содержать неиндикативные области. Таким образом, классификатор приписывает данный тип области к неопределимому типу области, чтобы исключить сомнительные случаи.

Жизненно важная информация может относиться к информации об основных показателях состояния организма или других физиологических параметрах. В некоторых вариантах осуществления могут определяться насыщение крови кислородом, частота пульса, частота дыхания, а также схожие жизненно важные показатели и/или физиологические параметры в целом, в том числе их сочетания и производные параметры. Исследуемый объект, который требуется проконтролировать, может представлять собой живое существо или, по меньшей мере, часть живого существа, такую как орган. Например, могут рассматриваться люди и животные. Само собой разумеется, общая наблюдаемая область не обязательно должна содержать полноразмерное представление исследуемого объекта. Также и частичное изображение исследуемого объекта может быть обработано для извлечения информации об основных показателях состояния организма. В некоторых вариантах осуществления система может быть дополнительно выполнена с возможностью обработки данных изображения, содержащих изображение более чем одного исследуемого объекта. Для этого могут применяться известные подходы распознавания личности. Следовательно, в общей области может присутствовать множество исследуемых объектов и соответственно обрабатываться в целях мониторинга множества объектов.

Процессор обработки данных может быть дополнительно выполнен с возможностью отслеживания по меньшей мере одной индикативной области исследования. В частности, процессор обработки данных может быть дополнительно выполнен с возможностью отслеживания по меньшей мере одной исследуемой области при рассмотрении по меньшей мере одной подобласти, классифицированной в качестве референсной области. Как указано выше, сведения о наличии и характеристиках по меньшей мере одной референсной области могут использоваться системой. Разумеется, также по меньшей мере одна референсная область может соответственно отслеживаться, чтобы распознать соответствующий сдвиг, который может соответствовать сдвигу, претерпеваемому по меньшей мере одой исследуемой областью.

Согласно дополнительному варианту осуществления по меньшей мере один вспомогательный тип области содержит по меньшей мере одну референсную область, при этом по меньшей мере один вспомогательный тип области содержит по меньшей мере одну область, выбранную из группы, состоящей из референсной области по сигналу, референсной области по отслеживанию, референсной области по относительному движению, а также их сочетания.

Каждая из референсных областей может содержать определенные характеристики, которые могут использоваться при отслеживании по меньшей мере одной исследуемой области. Например, референсная область по отслеживанию может содержать отображение выраженных признаков исследуемого объекта, которые могут легко отслеживаться. Следовательно, для отслеживания по меньшей мере одной исследуемой области, например, относительное смещение между референсной областью по отслеживанию и исследуемой областью может применяться к отслеженной референсной области по отслеживанию с течением времени. В качестве примера референсная область по отслеживанию может содержать изображение лица. Обычно лицо объекта можно легко отследить. Кроме того, исследуемая область может содержать лобный участок контролируемого объекта. Таким образом, исследуемая область может представлять собой составную часть референсной области по отслеживанию. Однако в альтернативных вариантах осуществления соответствующие области могут быть разнесены или перекрыться друг с другом. Движение в отношении соответствующих сдвигов может использоваться в качестве меры компенсации движения.

Референсная область по относительному движению может содержать изображение окружающих объектов или фоновых объектов, которые обычно неподвижны. Таким образом, можно определить относительное движение между исследуемым объектом и стационарными объектами. Кроме того, можно определить относительное движение между датчиком (например, съемочной камерой) и неподвижными компонентами.

Референсная область по сигналу может содержать информацию, которая не представляет главного интереса для отслеживания объекта. Референсная область по сигналу может представлять собой область, расположенную вблизи по меньшей мере одной исследуемой области, но не содержащую индикативных компонентов (в терминах требуемой информации об основных показателях состояния организма). Например, референсная область по сигналу может содержать изображение участка исследуемого объекта, накрытого одеждой или даже постельным бельем. Таким образом, референсная область по сигналу обычно подвержена воздействию схожих или даже тех же самых помех, которые оказывают влияние по меньшей мере на одну исследуемую область. Следовательно, референсная область по сигналу может служить в качестве индикатора или базисной мерой фактического зависящего от шума искажения индикативной области исследования. Таким образом, факторы создания помех могут быть распознаны и "вычтены" по меньшей мере из одной индикативной области исследования. Следовательно, соотношение сигнал/шум по меньшей мере в одной исследуемой области может быть повышено.

Кроме того, предпочтительно исследуемая область содержит участок кожи по меньшей мере одного исследуемого объекта. Обычно требуемая жизненно важная информация заключена в малых флуктуациях цвета кожи или шаблонах мельчайших движений, присутствующих на коже. Следовательно, по меньшей мере, значительная часть индикативной области исследования должна содержать изображение кожи.

Согласно другому аспекту система дополнительно содержит аппликатор шаблонов, выполненный с возможностью применения шаблона подобластей к общей области. В частности, аппликатор шаблонов может быть выполнен с возможность применения первоначального шаблона подобластей в начале события мониторинга. Первоначальный шаблон может образовывать первоначальный набор подобластей, которые можно выбирать и классифицировать. В качестве альтернативы или дополнительно аппликатор шаблонов может быть выполнен с возможностью повторного применения шаблона подобластей в ходе события мониторинга. Применение шаблона может повторно запускаться в случае, если некоторые проверочные значения качества ниже заданных пороговых значений. Разделительный блок может быть выполнен с возможностью определения каждой подобласти шаблона. В качестве альтернативы разделительный блок может быть выполнен с возможностью определения только некоторых из подобластей шаблона. Проведя классификацию заданных подобластей, система может пренебречь некоторыми из подобластей, в то время как обработка данных может базироваться на оставшихся классифицированных подобластях. Согласно еще одному аспекту классификатор дополнительно выполнен с возможностью классификации подобластей согласно классификационной схеме, при этом классификационная схема содержит по меньшей мере один классификационный параметр, выбранный из группы, состоящей из соответствия цветовой модели, наличия признака, контраста изображения, состояния освещенности, пространственного или временного изменения освещенности, отражения, анатомического расположения, наличия частей тела, точности жизненно важной информации, достоверности жизненно важной информации, а также их вариаций.

В качестве примера классификационный параметр соответствия цветовой модели может базироваться на моделях цвета кожи. Таким образом, может распознаваться наличие цвета кожи. Могут использоваться предопределенные и/или адаптивные модели цвета кожи. Модели цвета кожи могут регулироваться в соответствии с обнаруженными участками кожи. Адаптация модели цвета кожи может быть объединена с распознаванием части тела. Классификационный параметр наличия признака может относиться к наличию кровеносных сосудов, фиброзной ткани (например, рубцов), выраженных особенностей кожи, пигментных пятнен, присутствию глаз, присутствию рта, присутствию носа, присутствию лица и т.д.

Например по меньшей мере одна индикативная область исследования должна классифицироваться на основе классификационной схемы, которая в значительной степени полагается на распознавание кожи, а потому должна быть согласована с моделью цвета кожи. В качестве альтернативы или дополнительно индикативная область исследования может быть получена на основе распознавания части тела. Распознавание части тела может элементарно заключаться в разделении между частями тела и не частями тела или быть весьма сложным, выполняемым на уровне классификации конкретных анатомических расположений (например, лоб в сравнении со щекой, в сравнении с рукой, либо центральное в сравнении с периферийным и т.д.). Кроме того, в некоторых вариантах осуществления индикативный тип области должен обладать низким контрастом изображения. Предпочтительно изменения освещенности и отражение от поверхности кожи (например, зеркальное отражение) отсутствуют или присутствуют лишь в ограниченном объеме по меньшей мере в одной выбранной индикативной области исследования. Помимо этого, если обработка рассматриваемой индикативной области исследования позволяет получить адекватные результаты (например, в терминах достоверной информации об основных показателях состояния организма), по всей вероятности соответствующую область можно классифицировать в качестве индикативной области исследования. Таким образом, может применяться ретроспективный классификационный подход. Например, рассматриваемая область может обрабатываться так, чтобы выявить частоту сердечных сокращений и/или насыщение кислородом, и/или производные сигналы. Если эти сигналы лежат в разумных пределах, в еще большей степени есть основания полагать, что рассматриваемая область представляет собой индикативную область исследования.

По меньшей мере, одна референсная область по сигналу может использоваться в качестве привязки к шуму окружающей среды, например, изменяющимся условиям окружающего освещения. Таким образом, соответствующая классификационная схема может содержать параметры, фокусирующие внимание на весьма высокой отражающей способности и весьма низком контрасте изображения. Кроме того, референсная область по сигналу может располагаться вблизи индикативной области исследования.

По меньшей мере, одна референсная область по отслеживанию главным образом служит для целей отслеживания. Поскольку движение обычно сильно искажает соотношение сигнал/шум, внесение поправок на движение является решающим для существенного усиления представляющих интерес сигналов. В некоторых вариантах осуществления отслеживание индикативной области исследования по существу практически невозможно, поскольку индикативная область исследования всего лишь обеспечивает низкий контраст изображения. Таким образом, полезно выбрать дополнительные области, которые могут служить в качестве референсной области по отслеживанию. Обычно могут выбираться области, обеспечивающие высокий контраст изображения, поскольку их можно легче отслеживать, чем области с низким контрастом изображения. Следовательно, референсная область по отслеживанию может содержать ярко выраженные ориентиры и структуры. В целях отслеживания к этим ориентирам в референсных областях по отслеживанию могут применяться подходы согласования признаков.

По меньшей мере, одна референсная область по относительному движению может содержать фоновое изображение в общей наблюдаемой области. Обычно для некоторых вариантов осуществления референсная область по относительному движению не содержит компонентов физиологических сигналов. Предпочтительно референсная область по относительному движению содержит весьма высокие характеристики отражения. Кроме того, предпочтительно по меньшей мере одна референсная область по относительному движению обеспечивает высокий контраст изображения, чтобы упростить распознавание движения (относительного).

Согласно еще одному аспекту настоящего раскрытия классификатор дополнительно выполнен с возможностью ранжирования, по меньшей мере, некоторых из подобластей по меньшей мере одного индикативного типа области и по меньшей мере одного вспомогательного типа области. Таким образом, если более одной подобласти можно классифицировать в качестве индикативной области исследования или в качестве соответствующей референсной области, среди множества классифицированных областей могут выбираться и рассматриваться в процессе дальнейшей обработки только те, которые имеют весьма высокое качество. Таким образом, точность обработки и соотношение сигнал/шум можно дополнительно повысить. Например, только соответствующая исследуемая область или референсная область наивысшей категории может быть выбрана для дальнейшей обработки. В качестве альтернативы может быть выбрана относительная или абсолютная доля областей, например, первая десятка, верхние десять процентов. Что же касается по меньшей мере одного вспомогательного типа области, ранжирование может применяться, по меньшей мере, к некоторым или каждой по меньшей мере одной референсной области по сигналу по меньшей мере одой референсной области по отслеживанию и по меньшей мере одной референсной области по относительному движению.

Следовательно, если первоначально в общей области может быть определено и выбрано большое число подобластей, только самые многообещающие области могут использоваться для дальнейшей обработки с целью получения требуемой информации об основных показателях состояния организма.

Поскольку в процессе классификации и/или ранжирования подобластей может рассматриваться множество классификационных параметров, может быть выбрана комбинация классификационных параметров. Каждая из индикативных областей исследования, референсных областей по сигналу, референсных областей по отслеживанию и референсных областей по относительному движению может быть связана (или ассоциирована) с соответствующей определенной комбинацией классификационных параметров. Кроме того, весовые коэффициенты могут применяться, по меньшей мере, к некоторым классификационным параметрам для формирования комбинации классификационных параметров. В некоторых вариантах осуществления, по меньшей мере, некоторые из классификационных параметров могут быть определены в качестве т.н. критериев неприемлемости. Таким образом, может быть определен некоторый порог, устанавливающий минимальные требования к некоторым параметрам. Например, в том, что касается параметра соответствия цветовой модели (кожи), могут быть определены критерии неприемлемости, поскольку, как правило, совершенно необходимо использовать участок кожи в качестве по меньшей мере одной индикативной области исследования.

Согласно еще одному дополнительному аспекту система также содержит по меньшей мере один датчик, способный распознать электромагнитное излучение в конкретном диапазоне длин волн, при этом по меньшей мере один из датчиков способен распознать по меньшей мере один участок длин волн видимого света.

Как говорилось выше, система по изобретению в особенности пригодна для мониторинга на основе изображений, при котором используется оптическое излучение, распознаваемое стандартными датчиками CCD или CMOS, либо датчиками, применяемыми, например, для формирования тепловых изображений. По меньшей мере, один датчик может быть выполнен с возможностью захвата потока данных, содержащего данные изображений. По меньшей мере, один датчик может обладать спектральной чувствительностью или восприимчивостью, приспособленной к диапазону длин волн видимого света. По меньшей мере, один датчик может быть реализован в виде датчика изображения, например CCD-датчика или CMOS-датчика. Разумеется, может также использоваться множество датчиков для распознавания электромагнитного излучения с целью захвата данных изображения, которые требуется обработать.

Согласно дальнейшим разработкам система содержит первый набор датчиков, содержащий по меньшей мере один датчик, способный распознать по меньшей мере один индикативный участок длин волн, а также второй набор датчиков, содержащий по меньшей мере один датчик, способный распознать по меньшей мере один вспомогательный участок длин волн.

Возможны дополнительные группы датчиков, например третий набор датчиков, способных распознать по меньшей мере один дополнительный вспомогательный участок длин волн. Разумеется, соответствующие участки длин волн могут располагаться смежно, на расстоянии друг от друга или, по меньшей мере, частично внахлест в электромагнитном спектре.

Кроме того, в этой связи предпочтительно по меньшей мере один вспомогательный участок длин волн представляет собой участок длин волн, обладающий большей глубиной проникновения в кожу, чем по меньшей мере один индикативный участок длин волн. Таким образом, система может использовать тот факт, что излучение, способное глубоко проникать в кожу, может усилить выраженные признаки кожи, которые могут легко отслеживаться, когда они присутствуют в зарегистрированных данных изображений. По меньшей мере, один индикативный участок длин волн, в свою очередь, может быть выбран соответствующим образом, чтобы повысить флуктуации цвета кожи, которые могут быть весьма индикативными в отношении требуемой информации об основных показателях состояния организма.

Согласно еще одному варианту осуществления второй набор датчиков содержит по меньшей мере один датчик рельефа, способный распознать информацию о глубине. В этой связи система может дополнительно содержать источник электромагнитного излучения, например, лазер. Такой особый источник электромагнитного излучения может избирательно направляться в определенные места в общей области или по меньшей мере одной индикативной области исследования и, в конечном счете, фиксироваться по меньшей мере одним датчиком рельефа. Таким образом, общая область, в частности по меньшей мере одна индикативная область исследования, может быть просканирована, чтобы получить данные о рельефе. Данные о рельефе могут использоваться в качестве дополнительного индикатора для отслеживания по меньшей мере одной исследуемой области. Следовательно, в дополнение к зависящим от длин волн данным изображений система может дополнительно фиксировать информацию, зависящую от глубины, на основе определение времени прохождения определенного излучения, испущенного источником электромагнитного излучения, в сочетании по меньшей мере с одним датчиком рельефа. В более общем смысле, в этом отношении может оказаться предпочтительным, если поток данных содержит по меньшей мере один канал данных изображения, содержащий информацию о глубине.

Согласно еще одному аспекту поток данных содержит по меньшей мере два канала данных изображения, представляющие разные диапазоны длин волн. Разные каналы длин волн могут быть реализованы с помощью отдельных съемочных камер с фильтрами, освещением с временным мультиплексированием, одинарных датчиков с перестраиваемым фильтром и т.д.

Согласно еще одному аспекту система дополнительно содержит фильтрующую схему, содержащую по меньшей мере один фильтр для избирательной передачи электромагнитного излучения на заданных участках длин волн. По меньшей мере, один фильтр может быть реализован посредством оптического фильтра, электронного фильтра, аппаратного фильтра и/или программного фильтра. Таким образом, также по меньшей мере один индикативный участок длин волн и по меньшей мере один вспомогательный участок длин волн могут фиксироваться, не прибегая к необходимости создания более одного набора датчиков. В качестве примера фильтрующая схема может содержать коммутационные фильтры. Таким образом, поочередно по меньшей мере один индикативный участок длин волн и по меньшей мере один вспомогательный участок длин волн могут распознаваться одним и тем же набором датчиков.

В дополнительном аспекте настоящего изобретения представлен способ для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения, при этом способ содержит этапы:

- прием потока данных, содержащего данные изображений, представляющие всю наблюдаемую область, содержащую исследуемый объект ;

- создание множества подобластей в общей области;

- классификация множества подобластей по меньшей мере на один индикативный тип области и по меньшей мере один вспомогательный тип области, при этом по меньшей мере один индикативный тип области содержит по меньшей мере одну индикативную область исследования, по меньшей мере, частично представляющую исследуемый объект; а также

- обработка, по меньшей, одной подобласти, классифицированной в качестве исследуемой области, что позволяет получить жизненно важную информацию.

Предпочтительно способ дополнительно содержит по меньшей мере один из следующих этапов:

- применение шаблона подобластей к общей области;

- классификация подобластей согласно классификационной схеме, при этом классификационная схема содержит по меньшей мере один классификационный параметр, выбранный из группы, состоящей из соответствия цветовой модели, наличия признака, контраста изображения, состояния освещенности, пространственного или временного изменения освещенности, отражения, наличия частей тела, точности жизненно важной информации, достоверности жизненно важной информации, а также их сочетания; а также

- ранжирование, по меньшей мере, некоторых из подобластей по меньшей мере одного индикативного типа области и по меньшей мере одного вспомогательного типа области.

Согласно еще одному аспекту способ может дополнительно содержать этапы:

- обработка по меньшей мере двух подобластей, классифицированных в качестве индикативной области исследования, тем самым извлекая те же жизненно важные параметры из каждой такой области; а также

- объединение результатов из каждой области для получения единственного окончательного жизненно важного параметра, при этом этап объединения предпочтительно содержит усреднение, получение средневзвешенного значения и/или принятие срединного значения.

В еще одном аспекте настоящего изобретения предложена компьютерная программа, содержащая средство программного кода для выполнения компьютером этапов способа обработки, когда упомянутая компьютерная программа выполняется на этом компьютере.

В контексте настоящего описания термин "компьютер" охватывает широкое множество устройств обработки информации. Другими словами, также мобильные устройства, обладающие значительной вычислительной способностью, можно назвать вычислительным устройством, несмотря на то, что они обладают меньшими ресурсами обработки информации, чем обычные настольные компьютеры. Кроме того, термин "компьютер" может также относиться к распределенному вычислительному устройству, которое может иметь или использовать вычислительную способность в облачной среде. Термин "компьютер" также может относиться к устройствам медицинской техники, тренажерным устройствам и устройствам для мониторинга в целом, способным выполнять обработку данных.

Предпочтительные варианты осуществления изобретения определены в зависимых пунктах формулы изобретения. Следует понимать, что заявленный способ и заявленная компьютерная программа могут иметь те же предпочтительные варианты осуществления, что и заявленное устройство, которые определены в зависимых пунктах формулы изобретения, касающихся устройства.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения станут понятны из описанных ниже вариантов осуществления. На следующих чертежах

на Фиг. 1 схематично показана общая схема системы, в которой может использоваться настоящее изобретение;

на Фиг. 2 схематично показана альтернативная общая схема системы, в которой может использоваться настоящее изобретение;

на Фиг. 3 показан пример схемы мониторинга, в которой присутствует датчик, способный проводить мониторинг общей области;

на Фиг. 4 показан участок контролируемой общей области, в которой присутствуют исследуемый объект и окружающие объекты;

на Фиг. 5a, 5b показан пример участков изображений, захваченных при различной чувствительности к длинам волн;

На Фиг. 6a-6d схематично показана общая область, в которой присутствует множество подобластей, поддающихся классификации и отслеживанию;

На Фиг. 7 показана наглядная блок-схема, представляющая ряд этапов одного варианта осуществления способа согласно изобретению.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В следующем разделе описаны примеры подходов к удаленному мониторингу исследуемых объектов, в частности к удаленной фотоплетизмографии (удаленной PPG), в которых используется несколько аспектов системы и способа по изобретению. Следует понимать, что одиночные этапы и признаки показанных подходов могут быть удалены из контекста соответствующего общего подхода или варианта осуществления. Эти этапы и признаки, таким образом, могут составлять часть отдельных вариантов осуществления, по-прежнему входящих в объем изобретения.

На Фиг. 1 схематично показана система для детектирования информации об основных показателях состояния организма, обозначенная ссылочной позицией 10. Информация об основных показателях состояния организма может относиться к основным показателям состояния организма как таковым, а также дополнительно касающейся или производной физиологической информации, которая может быть получена посредством бесконтактного удаленного мониторинга. В частности, может использоваться мониторинг на основе изображений. Мониторинг на основе изображений может содержать видиомониторинг, при котором используются устройства для захвата видимого света, такие как видеокамеры.

В качестве примера система 10 может использоваться для регистрации последовательности изображений, содержащей кадры изображений, представляющие удаленный исследуемый объект 12 или, по меньшей мере, участок объекта 12 для удаленного мониторинга, в частности для удаленного PPG мониторинга. В этой связи исследуемым объектом 12 может быть назван целостный объект (или пациент) или, по меньшей мере, участок объекта, например, лицо. Зарегистрированные данные изображений могут быть получены из электромагнитного излучения 18, переизлученного объектом 12. Возможно при определенных условиях, по меньшей мере, часть электромагнитного излучения 18 может испускаться, отражаться или передаваться самим объектом 12. Передача излучения может происходить, например, когда объект 12 подвержен воздействию мощных источников света, просвечивающих объект 12. Испускание излучения может происходить тогда, когда затрагивается и захватывается инфракрасное излучение, порожденное тепловым излучением тела. Однако, например, в сфере применения удаленной PPG очень большая часть электромагнитного излучения 18, которое требуется захватить, в целом может рассматриваться как излучение, переизлученное объектом 12. Объект 12 может быть человекам или животным, или в общем живым существом.

Источник 14 излучения, такого как солнечный свет, или источник искусственного излучения может освещать объект 12. Источник 14 излучения главным образом испускает падающее излучение 16, попадающее на объект 12. В некоторых вариантах осуществления источник 14 освещения может представлять собой часть системы 10. Система 10 может быть выполнена с возможностью, в конечном счете, извлечения информации 20, 22 об основных показателях состояния организма из захваченных данных изображения. Информация 20, 22 об основных показателях состояния организма может содержать, например, частоту сердечных сокращений, насыщение крови кислородом, частоту дыхания, и т.д. В некоторых вариантах осуществления системой 10 могут распознаваться и вычисляться производные основных показателей состояния организма и/или жизненно важных параметров. В системе 10 может использоваться по меньшей мере один датчик 24, например датчик изображения. Датчик 24 может быть реализован, по меньшей мере, с помощью видеокамеры. Датчик 24 может содержать, например, CCD-съемочную камеру или CMOS-съемочную камеру. Разумеется, съемочная камера, применяемая в системе 10, может содержать множество датчиков 24 (изображения).

В некоторых вариантах осуществления система 10 не обязательно должна содержать датчик 24. Таким образом, система 10 также может быть выполнена с возможностью обработки входных сигналов, а именно входного потока 26 данных, содержащего данные изображений, уже зарегистрированные заранее и помещенные в память или буфер. Поток 26 данных может передаваться на интерфейс 28. Разумеется, между датчиком 24 и интерфейсом 28 может быть также установлено буферное средство. Далее по ходу от интерфейса 28 входной поток 30 данных может передаваться в разделительный блок 32. Как указано выше, входной поток 30 данных может содержать последовательность кадров изображений, содержащих общую область. Разделительный блок 32 может быть выполнен с возможностью образования множества подобластей в общей области во входном потоке 30 данных.

Система может дополнительно содержать аппликатор 31 шаблонов для применения шаблона подобластей к общей области в соответствующем кадре. Таким образом, может быть определен первоначальный набор подобластей. На Фиг. 1 аппликатор 31 шаблонов (входящий в качестве опции) представлен в виде пунктирного блока. В некоторых вариантах осуществления аппликатор шаблонов может содержать режим работы вслепую. С учетом того, что в начале события мониторинга может быть доступна только ограниченная информация, возможный подход может содержать применение к общей области "вслепую" шаблона, имеющего значительное число подобластей. Вероятно, малое число подобластей могут быть ясно классифицированы и служить в качестве основы или привязки для последующих этапов обработки сигнала. Аппликатор 31 шаблонов может быть дополнительно выполнен с возможностью измерения числа, размера и положения применяемых подобластей в общей области. Таким образом, может быть получена гибкая схема образования и распределения подобластей.

Выбранные данные 34, например, созданные подобласти в общей области, могут передаваться в классификатор 36. Классификатор 36 может быть выполнен с возможностью классификации множества подобластей по меньшей мере на один индикативный тип области и по меньшей мере один вспомогательный тип области. Таким образом, индикативные области исследования могут быть идентифицированы и выбраны для дальнейшей обработки. По меньшей мере, среди одного вспомогательного типа области могут быть выбраны, по меньшей мере, некоторые подобласти, которые могут использоваться в качестве референсной области для компенсации шумов и помех по меньшей мере в одной исследуемой области.

Классифицированные данные 38 (или классифицированные подобласти) могут передаваться в процессор 40 обработки данных. Процессор 40 обработки данных может быть выполнен с возможностью обработки по меньшей мере одной подобласти, классифицированной в качестве исследуемой области, в частности с учетом по меньшей мере одной референсной области. Например по меньшей мере одна подобласть может содержать изображение кожи. Флуктуации цвета кожи могут быть распознаны и обработаны, чтобы в результате получить требуемую информацию об основных показателях состояния организма. В конечном счете, обработанные данные 42 могут поступать пользователю или на дополнительную обработку. В этой связи может использоваться (выходной) интерфейс. Кроме того, могут использоваться устройства для представления информации, такие как дисплеи. Интерфейс 28, аппликатор 31 шаблонов (при наличии таковых), разделительный блок 32, классификатор 36 и процессор 40 обработки данных или некоторые из них могут быть объединены или реализованы в блоке 46 обработки данных. Блок 46 обработки данных может рассматриваться в качестве вычислительного устройства или, по меньшей мере, части вычислительного устройства, управляемого соответствующими логическими командами (программным кодом), чтобы обеспечить требуемую обработку данных. Блок 46 обработки данных может содержать несколько компонентов или блоков, которые могут быть реализованы виртуально или разрозненно. Например, блок 46 обработки данных может содержать некоторое число процессоров, таких как мультипроцессоры или одноядерные процессоры. По меньшей мере, один процессор может использоваться блоком 46 обработки данных. Каждый из процессоров может быть выполнен в виде стандартного процессора (например, центрального вычислительного блока) или в виде специализированного процессора (например, графического процессора). Таким образом, блоком 46 обработки данных можно управлять надлежащим образом, чтобы распределить несколько операций обработки данных между соответствующими процессорами.

Система 10 может дополнительно содержать фильтр 48 или соответствующую фильтрующую схему. Фильтр 48 может быть соединен с датчиком 24. Фильтр 48 может использоваться для избирательной настройки чувствительности датчика 24. Кроме того, может быть реализован процессор 50 управления визуализацией для надлежащего управления датчиком 24 и фильтром 48. Таким образом, например, могут захватываться данные изображений, имеющие множество отдельных комбинаций длин волн. Процессор 50 управления визуализацией может также образовывать часть блока 46 обработки данных. В качестве альтернативы процессор 50 управления визуализацией может образовывать часть датчика 24 и/или источника 14 излучения или быть соединенным с ними.

На Фиг. 2 схематично показана альтернативная система для извлечения информации об основных показателях состояния организма, обозначенная ссылочной позицией 10a. В сравнении с Фиг. 1 схожие или одинаковые элементы на Фиг. 2 имеют те же ссылочные позиции. Система 10a, показанная на Фиг. 2, содержит первый датчик 24, способный распознать электромагнитное излучение 18, который обладает первой чувствительностью к длинам волн. Кроме того, предусмотрен второй датчик 24a, способный распознать электромагнитное излучение 18a, обладающий второй чувствительностью к длинам волн. Разумеется, в некоторых вариантах осуществления может быть реализовано более двух датчиков 24, 24a. Например, датчик 24 может быть должным образом выполнен с возможностью захвата излучения на участке длин волн, на котором присутствуют в особенности мелкие изменения цвета кожи, вызванные деятельностью сосудов. Кроме того, датчик 24a может быть выполнен с возможностью сбор электромагнитного излучения в диапазоне длин волн, в котором излучение может глубоко проникать в кожу для усиления признаков кожи, которые могут легко отслеживаться. Следовательно, используя множество датчиков 24, 24a, можно захватывать мультиканальные входные данные изображений. Кроме того, по меньшей мере, для некоторых датчиков 24, 24a мультиканальные входные данные изображений могут фиксироваться одинарным датчиком как таковым. Например, могут быть созданы сенсорные элементы, подходящие для нескольких отдельных участков излучения, например CCD-элементы или CMOS-элементы, имеющие заданные неодинаковые спектральные чувствительности.

Как обозначено пунктирными линиями, система 10a может дополнительно содержать источник 14a излучения или света, способный испускать электромагнитное излучение 16. Кроме того, может быть предусмотрен отдельный источник 14b излучения, также способный испускать электромагнитное излучение 16a. Источник 14b излучения может быть реализован, например, с помощью лазерного устройства, способного испускать лазерное излучение. Процессор 50 управления изображением может быть выполнен с возможностью управления источником 14b излучения, чтобы избирательно контролировать и направлять падающее электромагнитное излучение 16a (например, лазерный луч) в заданные точки в общей области, в частности на исследуемый объект 12. Таким образом, поверхность (или рельеф) можно просканировать, если по меньшей мере один из датчиков 24, 24a способен распознать отраженную (или переизлученную) часть электромагнитного излучения 16a. Таким образом, система 10a может быть выполнена с возможностью измерения глубин, например, посредством определения времени прохождения. Измерение глубин может использоваться для получения данных о рельефе. Таким образом, могут распознаваться выраженные признаки исследуемого объекта 12, например форма лица или схожие выраженные признаки. Таким образом, можно дополнительно способствовать отслеживанию исследуемого объекта 12.

На Фиг. 3 показана схема мониторинга, содержащая контролируемый объект 12, мониторинг которого осуществляется с помощью сенсорного средства 24. Например, объект 12 может быть пациентом, лежащим на кровати 56. Датчик 24 может быть выполнен с возможностью мониторинга или захвата общей области 54, обозначенной кадром на Фиг. 3. Общая область может содержать изображение исследуемого объекта 12. Общая область 54 может содержать информацию, собранную одним или более датчиками 24, имеющими один или более углов обзора. Следует понимать, что информация от разных диапазонов длин волн может быть получена в виде отдельных участков общей области 54. Кроме того, общая область может содержать изображение окружающих объектов или фоновых объектов, таких как кровать 56 или, например, стул 58. Объект 12 может быть, по меньшей мере, частично скрыт или накрыт, например одеялом или одеждой.

Для классификации области и обработки данных к общей области 54 может быть применен шаблон подобластей 62. Потенциально это может привести к созданию подобластей, имеющих различные границы для разных диапазонов длин волн. На Фиг. 3 множество подобластей 62 обозначено соответствующими штрихпунктирными блоками. Множество подобластей 62 может служить в качестве основы для классификации области. Таким образом, по меньшей мере, некоторые из подобластей 62 могут быть приписаны к области отдельного типа, чтобы использоваться для заданной конкретной цели при дальнейшей обработке подобластей 62. Например, по меньшей мере, некоторые из классифицируемых подобластей 62 могут использоваться в качестве референсных областей по отслеживанию. В основном отслеживание объекта 12 может внести вклад в компенсацию движения и снижение помех. Относительное движение объекта 12 и датчика 24 может сильно исказить информацию об представляющих интерес основных показателях состояния организма, заключенных в зарегистрированных данных изображений. Кроме того, движение объекта 12 относительно окружающих объектов 56, 58 может исказить обнаруженные сигналы и еще более затруднить обработку данных изображения. Особенно это касается сред удаленного мониторинга. На Фиг. 3, стрелки 64 обозначают движение датчика 24. Кроме того, стрелки 66 обозначают движение объекта 12.

На Фиг. 4 показан участок общего кадра 54a, представляющий объекта 12, которого требуется проконтролировать. В общей области 54a, по меньшей мере, некоторые из подобластей 62 (относящихся к Фиг. 3) выбраны и классифицированы для дальнейшего использования в процессе обработки данных. Например, в общем кадре 54a присутствует индикативная область 68 исследования. Индикативная область 68 исследования представляет собой область, главным образом предоставляющую требуемые сигналы, на которые, однако, обычно накладываются шумы, такие как помехи и искажения вследствие артефактов движения и переменной освещенности.

К примеру, в некоторых областях применения, по меньшей мере, могут быть сделаны некоторые из следующих оценок и допущений, чтобы определить соответствующие классификационные параметры для индикативных областей 68 исследования. Область может представлять собой кожу (ткань) и должна обеспечивать хорошее состояние сигнала для извлечения требуемой физиологической информации. Критерии выбора, таким образом, могут содержать, например

- цвет кожи: цвет области должен соответствовать цветовой модели кожи, которая может представлять собой заданную модель, или полученную с помощью распознавания частей тела (рассматривается ниже),

- контраст изображения: область должна обладать низким контрастом изображения,

- освещенность (отражение): фотометрическое измерение, например насыщения крови кислородом, главным образом требует светового излучения от участка кожи. Любые изменения освещенности потенциально могут исказить результат измерения. Отражение на коже также может повлиять на результат фотометрического измерения. Таким образом, предпочтительно изменения освещенности и отражения в этой области следует избегать, и/или

- физиологический параметр (например, PPG-сигнал), полученный из области: адекватные параметры могут свидетельствовать о наличии индикативной области 68 исследования. Соответствующие параметры могут содержать, но не ограничиваясь перечисленным, частоту пульса (например, 30-250 ударов в минуту и/или согласуется ли она с прошлыми полученными значениями частоты пульса в физиологически адекватных пределах, и/или согласуется ли она с частотой пульса в других областях), адекватное насыщение кислородом (отношение соответствует 50-100% насыщения кислородом во всех случая, в 99% случаев - 95-100%, и/или согласуется ли оно с прошлыми полученными значениями насыщения кислородом в физиологических пределах), пульсовую амплитуду, форму пульса, периодичность или любую другую метрику качества распознанных сигналов.

Кроме того, в общем кадре 54a присутствует референсная область 70 по сигналу. Референсная область 70 по сигналу весьма близка к индикативной области 68 исследования. Однако предпочтительно индикативная область 68 исследования содержит изображение кожи. Референсная область 70 по сигналу, в свою очередь, предпочтительно содержит изображение, не относящееся к коже. Таким образом, можно предположить, что, например, представляющие интерес незначительные изменения цвета кожи не присутствуют в референсной области 70 по сигналу. Кроме того, если все же некоторые изменения с течением времени присутствуют в референсной области 70 по сигналу, можно предположить, что эти изменения могут быть связаны с варьированием условий освещения и т.п. Таким образом, предоставляется ссылочная информация для компенсации помех.

Вышесказанное, в общем, применимо к шумам окружающей среды и/или шумам, свойственным системе, например, флуктуациям освещенности окружающей среды или другим шумам, присутствующим в потоке 26 данных. В качестве альтернативы или дополнительно референсные области 70 по сигналу могут использоваться в качестве опорных для получения информации об общем состоянии освещенности, например абсолютном или относительном уровне освещенности на различных длинах волн.

К примеру, в некоторых областях применения, по меньшей мере, могут быть сделаны некоторые из следующих оценок и допущений, чтобы определить соответствующие классификационные параметры для референсной области 70 по сигналу. Главным образом, соответствующие области должны использоваться в качестве привязки к шумам окружающей среды, например, условиям окружающего освещения. Таким образом, в этих областях присутствуют только ослабленные компоненты физиологических сигналов или даже компоненты физиологических сигналов отсутствуют вовсе (например, отсутствует информация по модуляции в отношении крови). Однако эти области должны располагаться вблизи индикативных областей 68 исследования для фактического измерения. Критерии выбора, например, могут содержать: качественное отражение на всех релевантных длинах волн, а также низкий контраст изображения в этих областях. Таким образом, преобладающие вариации освещенности отчетливо присутствуют в референсных областях 70 по сигналу.

Кроме того, на Фиг. 4 присутствует референсная область 72 по отслеживанию. Референсная область 72 по отслеживанию может содержать отображение выраженных признаков объекта 12. Например, для идентификации и классификации референсной области 72 по отслеживанию могут использоваться распознавание лиц, распознавание частей тела, а также схожие подходы. В некоторых вариантах осуществления референсная область 72 по отслеживанию может быть уменьшена в размере до формы отслеживаемых выраженных ориентиров на коже. Предпочтительно референсная область 72 по отслеживанию может легко отслеживаться в общей области 54a с течением времени. Следовательно, путем сохранения позиционного (или пространственного) смещения между индикативной областью 68 исследования и референсной областью 72 по отслеживанию положение индикативной области 68 исследования может отслеживаться, по меньшей мере, приблизительно.

К примеру, в некоторых областях применения, по меньшей мере, могут быть сделаны некоторые из следующих оценок и допущений, чтобы определить соответствующие классификационные параметры для референсной области 72 по отслеживанию. Поскольку относительно слабые физиологические сигналы, которые требуется распознать по меньшей мере в одной индикативной области 68 исследования и извлечь из нее, могут легко искажаться вследствие движения в этих областях индикации, внесение поправок на движение для этих областей существенно повышает соотношение сигнал/шум. Однако по меньшей мере одна индикативная область 68 исследования обычно содержит недостаточный низкий контраст изображения, а значит, весьма сложно надежно отслеживать соответствующие области. Таким образом, для отслеживания рассматриваются и используются дополнительные области по меньшей мере одна референсная область 72 по отслеживанию, которая может содержать высокий контраст изображения. Следует отметить, что референсные области 72 по отслеживанию, используемые для отслеживания, можно обобщенно назвать отслеживанием точек, например, отслеживанием ориентировочных точек. На основе отслеживания референсных областей 72 по отслеживанию, движение по меньшей мере одной индикативной области 68 исследования может быть скорректировано. Например, первоначально может быть выбрано множество областей вблизи выраженных естественных ориентиров (структур) объекта 12. Эти области далее могут непрерывно отслеживаться в последовательности изображений. Отслеживание может содержать несколько технологий анализа изображений и видеоданных, например, сопоставление с шаблоном. В конечном итоге, исходя из точности отслеживания, внутри/вблизи наилучшим образом отслеженных референсных областей 72 может быть выбрана одна оптимальная индикативная область 68 исследования для обработки информации об основных показателях состояния организма.

В качестве альтернативы или дополнительно в общей области 54a может присутствовать по меньшей мере одна референсная область 74 по относительному движению. Например, референсная область 74 по относительному движению может содержать изображение зафиксированного (неподвижного) объекта, например, фонового объекта. Таким образом, можно получить ссылочную информацию для компенсации движения. Следовательно, при наличии такового, движение датчика относительно фона может быть распознано и компенсировано. Кроме того, движение объекта 12 относительно фона может быть распознано и компенсировано. Таким образом, можно достичь компенсации относительного движения, по меньшей мере, частично. Соответственно точность отслеживания индикативной области 68 исследования можно дополнительно повысить.

Референсные области 74 по относительному движению могут использоваться в случае, если происходит движение объекта 12. Референсные области 74 по относительному движению могут содержать фоновые признаки, которые не связаны и не сопряжены с объектом 12. Таким образом, эти области могут использоваться в качестве привязки к движению объекта. Релевантные классификационные параметры могут содержать яркий контраст изображения, в частности для надежного измерения движения объекта.

В иллюстративных целях на Фиг. 4 в общей области 54a также показана неопределимая область 76. Неопределимая область 76 может представлять подобласть, которую невозможно классифицировать должным образом. Предпочтительно неопределимой областью 76 можно пренебречь в процессе дальнейшей обработки. Как указано на Фиг. 4, области 68, 70, 72, 74, 76 могут иметь разный размер. Кроме того, по меньшей мере, некоторые из областей 68, 70, 72, 74, 76 могут накладываться друг на друга. В некоторых случаях, по меньшей мере, некоторые области могут быть образованы из составных частей других областей.

Следует дополнительно упомянуть со ссылкой на Фиг. 4, что общая область 54a может также содержать множество, состоящее по меньшей мере из одной индикативной области 68 исследования, референсной области 70 по сигналу, референсной области 72 по отслеживанию и референсной области 74 по относительному движению.

На Фиг. 5a и 5b показано захваченное изображение, в частности участок общей области. Например, соответствующая часть видимого изображения может соответствовать референсной области 72 по отслеживанию. Кроме того, в качестве составной части референсной области 72 по отслеживанию может присутствовать индикативная область 68 исследования, содержащая лобный участок объекта 12, которого требуется проконтролировать. Фиг. 5a может содержать изображение, захваченное в условиях первой спектральной чувствительности для усиления индикативного участка длин волн. Наоборот, на Фиг. 5b может быть представлено изображение, захваченное в условиях второй спектральной чувствительности для усиления вспомогательного участка длин волн. Обычно комбинация длин волн изображения, показанного на Фиг. 5a, надлежащим образом приспособлена для детектирования и обработки информации об основных показателях состояния исследуемого организма. В качестве альтернативы комбинация длин волн изображения, представленного на Фиг. 5b, приспособлена для усиления выраженных ориентиров или признаков в референсной области 72 по отслеживанию, чтобы способствовать отслеживанию объекта 12. В качестве примера изображение, показанное на Фиг. 5b, может основываться на части излучения, которое может глубже проникать в кожу объекта 12, чем часть излучения, используемая для захвата изображения, показанного на Фиг. 5a.

На Фиг. 6a, 6b, 6c и 6d представлено упрощенное изображение общей области 54, 54', 54", 54"' на нескольких стадиях индикативного сеанса мониторинга и классификации. Как указано выше, в общей области 54 может присутствовать по меньшей мере один объект 12. Как показано на Фиг. 6a, первоначально к общей области может быть приложен набор подобластей 62. На Фиг. 6a, к примеру, некоторые подобласти обозначены ссылочными позициями 62a, 62b, 62c. Предпочтительно к общей области 54 может быть применен шаблон подобластей 62, например, с помощью аппликатора 31 шаблонов. По меньшей мере, некоторые из подобластей 62 могут быть выбраны и классифицированы.

Как, к примеру, показано на Фиг. 6b, подобласти 62 можно разделить на индикативную область 68 исследования, референсную область 70 по сигналу, референсную область 72 по отслеживанию, референсную область 74 по относительному движению, а также неопределимую область 76. Проведя классификацию некоторых или всех подобластей 62, классифицированные области 68, 70, 72, 74 могут быть соответствующим образом использованы в процессе дальнейших операций обработки данных для компенсации помех и получения информации об основных показателях состояния организма. Кроме того, по меньшей мере, неопределимыми областями 76 можно пренебречь. Помимо этого, поскольку не все области 68, 70, 72, 74 должны рассматриваться в процессе дальнейших операций обработки данных, некоторыми из этих областей также можно пренебречь. В этой связи предпочтительно, чтобы среди каждого типа областей 68, 70, 72, 74 было организовано ранжирование. Таким образом, для дальнейшей обработки могут быть выбраны, в частности, области 68, 70, 72, 74 высшей категории.

Как показано на Фиг. 6c, множество областей 78 («белые» блоки) во внимание не принимаются. Остальные области (структурированные блоки) выбраны в целях отслеживания и компенсации шумов, а также извлечения сигналов.

На Фиг. 6d представлено изображение общей области 54"', в которой, по меньшей мере, некоторые из рассматриваемых областей 68', 70', 72' переместились, поскольку, очевидно, также переместился объект 12 (не показан). Однако так как можно достичь высокой точности отслеживания, индикативная область 68’ исследования по-прежнему идентифицирована и может использоваться для обработки сигнала. В некоторых вариантах осуществления, если система 10 определяет, что по меньшей мере один параметр качества и/или точности находится за пределами приемлемого диапазона, применение шаблона (Фиг. 6a), классификация подобласти (Фиг. 6b) и выбор подобласти (Фиг. 6c) могут производиться повторно.

В некоторых вариантах осуществления система 10 регулярно отслеживает и контролирует качество выбранных областей. Для этого на основе классификационных параметров могут быть определены показатели качества. Классификационная схема также может содержать показатели качества. Если некоторые или все показатели качества, о которых говорилось выше, находятся ниже или за пределами заданного порогового значения, система может перезапустить фактическое измерение и заново запустить выбор областей.

Кроме того, для каждой из областей могут быть определены классификационные схемы на основе множества параметров (метрик качества), например, вектор классификационных параметров. Некоторые критерии могут быть определены в качестве критерия "неприемлемости". Например, при установке классифицируемых областей, если отсутствует область, которая, вероятно, является кожей, совершенно невозможно извлечь жизненно важный показатель. С другой стороны, существует возможность иметь "общую" метрику качества, которая объединяет метрики каждой индикативной области 68 с целью избрания набора индикативных областей 68, чтобы гарантировать оптимальное измерение. Кроме того, если говорить о различных метриках (или классификационных параметрах), каждой метрике может быть присвоен свой весовой коэффициент. Для выбора областей могут также учитываться прошлые данные или входные сигналы с других датчиков. Например, если жизненно важный сигнал, такой как частота сердечных сокращений, измерен в хороших условиях за несколько секунд до того, как система проводит новую оценку используемых областей исследования (ROI), система может в большей степени придерживаться значений этого конкретного жизненно важного сигнала, которые были измерены ранее, и принимать решения на этой основе. Аналогичным образом система может использовать внешние источники данных (референсные), предоставляющие, например, частоту пульса или насыщение кислородом от другого средства (например, перемежающихся измерений, проводимых беспроводными датчиками или емкостными датчиками для снятия ЭКГ). Таким образом, также можно собрать данные контроля точности.

На Фиг. 7 схематично показан способ извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения. Первоначально на этапе 82 получают данные изображений, например, последовательность кадров 84a, 84b, 84c изображений. На последующем этапе 86 шаблон 88 области, относящийся к подобластям, применяется по меньшей мере к одному кадру 84a. Кадр 84a может представлять общую область. На другом этапе 90, по меньшей мере, некоторые подобласти из числа соответствующих шаблону 88 выбираются с целью проведения классификации. В некоторых вариантах осуществления оба этапа 86, 90 могут быть объединены и обобщены под названием "создание множества подобластей". Этап 92 может представлять процесс классификации, в котором, по меньшей мере, некоторые из подобластей классифицированы на несколько типов областей, которые могут служить различным целям в процессе обработки данных.

После этого может следовать другой этап 94, на котором выполняется ранжирование классифицированных подобластей (обычно принадлежащих одному типу области). Предпочтительно для дальнейших действий по обработке данных используются области наивысшей категории. В этой связи областями низшей категории можно пренебречь в процессе дальнейшей обработки данных.

Затем может следовать этап 96 обработки, который может содержать подэтап 98 отслеживания, а также подэтап 100 извлечения информации об основных показателях состояния организма. Подэтап 100 может содержать обработку сигнала и меры по извлечению данных, направленные на установление информации об основных показателях состояния организма, таких как частота сердечных сокращений, вариабельность частоты сердечных сокращений, частота дыхания, насыщение кислородом, и т.д. Этап 98 отслеживания может также содержать отслеживание по меньшей мере одной или некоторых референсных областей. По меньшей мере, некоторые подобласти в шаблоне 88 области могут отслеживаться с течением времени согласно представлению кадровой последовательности 84a, 84b, 84c на Фиг. 7, включающей пример представления шаблона.

На этапе 96 может быть получена вспомогательная информация, которая может помочь в адаптации классификационных параметров и/или классификационной схемы. Обычно набор классификационных параметров может быть создан в накопителе 104 данных. На этапе 102, который может включать в себя адаптацию классификационных параметров, может использоваться ввод данных из накопителя 104. Кроме того, на этапе 96 обработки может быть получена информация обратной связи, чтобы адаптировать соответственно классификационные параметры и/или классификационную схему. Таким образом, на этапе 92 классификации может быть оказано управляющее действие. Кроме того, этап 96 может предоставлять информацию 106 обратной связи, которая может содержать пусковой сигнал для перезапуска этапа 86 применения шаблона. Таким образом, например, если обнаружены значительные помехи и/или сбои, выбор и классификация подобластей могут быть перезапущены.

В конечном счете, обработанные сигналы, предпочтительно сигналы, представляющие информацию об основных показателях состояния организма, могут быть получены и предоставлены для отображения и/или даже дальнейших действий по обработке данных. На этапе 108 процесс завершается.

В качестве примера настоящее изобретение может применяться в области здравоохранения, например, для бесконтактного удаленного мониторинга пациента, в области общего обзорного наблюдения, например, охранного мониторинга, а также в т.н. средах, соответствующих образу жизни, таких как тренажерное оборудование, и т.п. Сферы применения могут включать в себя мониторинг насыщения кислородом (пульсовую оксиметрию), частоту сердечных сокращений, кровяное давление, функциональное состояние сердца, изменения кровяной перфузии, оценку работы вегетативной нервной системы, а также обнаружение заболеваний периферических кровеносных сосудов. Разумеется, в варианте осуществления способа согласно изобретению ряд этапов, представленных в настоящем описании, могут выполняться в измененном порядке или даже одновременно. Кроме того, некоторые этапы могут быть также пропущены без отхода от объема изобретения. Особенно это касается нескольких альтернативных этапов обработки сигнала. Ряд раскрытых иллюстративных вариантов осуществления могут принимать форму вариантов осуществления аппаратного обеспечения, вариантов осуществления программного обеспечения или вариантов осуществления, содержащих как элементы аппаратного обеспечения, так и элементы программного обеспечения. Некоторые варианты осуществления реализованы в программном обеспечении, которое может включать в себя встроенные программы и прикладные программы.

Хотя изобретение проиллюстрировано на чертежах и подробно представлено в вышеприведенном описании, эти иллюстрации и описания следует рассматривать как приведенные в качестве примера, но не ограничивающие; изобретение не ограничено раскрытыми вариантами осуществления. Специалисты в данной области техники смогут предложить и реализовать другие модификации раскрытых вариантов осуществления, применяя на практике заявленное изобретение, изучив чертежи, описание и прилагаемую формулу изобретения.

В формуле изобретения термин "содержащий" не исключает наличия других элементов или этапов, а единственное число не исключает множества. Единственный элемент или другой блок может выполнять функции нескольких объектов, перечисленных в формуле изобретения. Тот факт, что определенные меры упоминаются во взаимно отличных зависимых пунктах формулы изобретения, не означает, что сочетание этих мер не может быть использовано с выгодой.

Компьютерная программа может храниться/быть распределена на подходящем носителе, таком как оптический носитель информации или твердотельный носитель, поставляемом совместно с другим аппаратным обеспечением или в виде его части, однако может также быть распределена в других формах, например через Интернет или другие проводные или беспроводные телекоммуникационные системы. Кроме того, другие варианты осуществления могут принимать форму компьютерного программного продукта, доступного из допускающего использование компьютера или компьютерно-читаемого носителя, предоставляющего программный код для использования компьютером или в связи с использованием компьютера, либо любым устройством или системой, выполняющей инструкции. В целях, соответствующих данному раскрытию, допускающий использование компьютера или компьютерно-читаемый носитель, в общем, может представлять собой любое реальное устройство, способное содержать, хранить, передавать, распространять или переносить программу для использования устройством, выполняющим инструкции, или в связи с использованием такого устройства.

Ни одну из ссылочных позиций не следует рассматривать, как ограничивающую объем изобретения.

Изобретение относится к медицинской технике. Система содержит интерфейс, выполненный с возможностью приема потока данных, содержащего данные изображений, представляющие всю наблюдаемую область, содержащую по меньшей мере один исследуемый объект; разделительный блок, выполненный с возможностью образования множества подобластей в общей области; а также классификатор, выполненный с возможностью классификации множества подобластей по меньшей мере на один индикативный тип области и по меньшей мере один вспомогательный тип области, при этом по меньшей мере один индикативный тип области содержит по меньшей мере одну индикативную область исследования, по меньшей мере частично представляющую исследуемый объект. Предпочтительно по меньшей мере один вспомогательный тип области содержит по меньшей мере одну референсную область. Более предпочтительно система дополнительно содержит процессор обработки данных, выполненный с возможностью обработки по меньшей мере одной подобласти, классифицированной в качестве исследуемой области, что позволяет получить жизненно важную информацию. 3 н. и 10 з.п. ф-лы, 7 ил.

1. Система удаленного PPG мониторинга для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения (18, 18a), содержащая:

интерфейс (28), выполненный с возможностью приема потока (26) данных, содержащего данные изображений, представляющие всю наблюдаемую область (54), содержащую по меньшей мере один исследуемый объект (12);

отличающаяся

разделительным блоком (32), выполненным с возможностью образования множества подобластей (62) в общей области (54);

классификатором (36), выполненным с возможностью классификации множества подобластей (62) по меньшей мере на один индикативный тип области и по меньшей мере один вспомогательный тип области, при этом по меньшей мере один индикативный тип области содержит по меньшей мере одну индикативную область (68) исследования, по меньшей мере частично представляющую исследуемый объект; и

процессором (40) обработки данных, выполненным с возможностью обработки по меньшей мере одной подобласти (62), классифицированной в качестве исследуемой области (68), что позволяет получить физиологическую информацию.

2. Система по п.1, в которой по меньшей мере один вспомогательный тип области содержит по меньшей мере одну референсную область (70, 72, 74), и при этом процессор (40) обработки данных дополнительно выполнен с возможностью отслеживания по меньшей мере одной исследуемой области (68) при рассмотрении по меньшей мере одной подобласти (62), классифицированной в качестве референсной области (70, 72, 74).

3. Система по п.1, при этом по меньшей мере один вспомогательный тип области содержит по меньшей мере одну область, выбранную из группы, состоящей из референсной области (70) сигнала, референсной области (72) отслеживания, референсной области (74) относительного движения, неопределимой области (76), а также их сочетания.

4. Система по п.1, при этом исследуемая область (68) содержит участок кожи исследуемого объекта.

5. Система по п.1, дополнительно содержащая:

аппликатор (31) шаблонов, выполненный с возможностью применения шаблона подобластей (62) к общей области (54).

6. Система по п.1, при этом классификатор (36) дополнительно выполнен с возможностью классификации подобластей (62) согласно классификационной схеме, при этом классификационная схема содержит по меньшей мере один классификационный параметр, выбранный из группы, состоящей из соответствия цветовой модели, наличия признака, контраста изображения, состояния освещенности, пространственного или временного изменения освещенности, отражения, анатомического расположения, наличия частей тела, точности физиологической информации, достоверности физиологической информации, а также их сочетания.

7. Система по п.1, при этом классификатор (36) дополнительно выполнен с возможностью ранжирования по меньшей мере некоторых из подобластей (62) по меньшей мере одного индикативного типа области и по меньшей мере одного вспомогательного типа области.

8. Система по п.1, при этом поток (26) данных содержит по меньшей мере один канал данных изображения, содержащий информацию о представленной глубине, полученную при измерении глубины.

9. Система по п.1, при этом поток (26) данных содержит по меньшей мере два канала данных изображения, представляющие разные диапазоны длин волн.

10. Способ удаленного PPG мониторинга для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения (18, 18a), содержащий этапы:

приема потока данных, содержащего данные изображений, представляющие всю наблюдаемую область (54), содержащую исследуемый объект;

создания множества подобластей (62) в общей области (54);

классификации множества подобластей (62) по меньшей мере на один индикативный тип области и по меньшей мере один вспомогательный тип области, при этом по меньшей мере один индикативный тип области содержит по меньшей мере одну индикативную область (68) исследования, по меньшей мере частично представляющую исследуемый объект; и

обработки, по меньшей, одной подобласти (62), классифицированной в качестве исследуемой области (68), что позволяет получить физиологическую информацию.

11. Способ по п.10, дополнительно содержащий по меньшей мере один из следующих этапов:

применение шаблона подобластей (62) к общей области (54);

классификация подобластей (62) согласно классификационной схеме, при этом классификационная схема содержит по меньшей мере один классификационный параметр, выбранный из группы, состоящей из соответствия цветовой модели, наличия признака, контраста изображения, состояния освещенности, пространственного или временного изменения освещенности, отражения, анатомического расположения, наличия частей тела, точности физиологической информации, достоверности физиологической информации, а также их сочетания; и

ранжирование по меньшей мере некоторых из подобластей (62) по меньшей мере одного индикативного типа области и по меньшей мере одного вспомогательного типа области.

12. Способ по п.10, дополнительно содержащий этапы:

обработки по меньшей мере двух подобластей (62), классифицированных в качестве индикативной области (68) исследования, тем самым извлекая физиологическую информацию из каждой такой области; а также

объединения результатов из каждой области для получения комбинированной физиологической информации, при этом этап объединения предпочтительно содержит усреднение, получение средневзвешенного значения и/или принятие срединного значения.

13. Компьютерно-читаемый носитель, содержащий средство программного кода для выполнения компьютером этапов способа по п.10, когда упомянутый программный код выполняется на этом компьютере.