УСТРОЙСТВО И СПОСОБ ИЗВЛЕЧЕНИЯ ИНФОРМАЦИИ ИЗ ХАРАКТЕРИСТИЧЕСКИХ СИГНАЛОВ Российский патент 2016 года по МПК A61B5/24 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству и способу немешающего дистанционного контроля для извлечения информации из характеристических сигналов, в которых характеристические сигналы включены в поток данных, получаемый из электромагнитного излучения, в частности, в которых поток данных содержит непрерывный или дискретный сигнал, содержащий физиологическую информацию, характеризующую по меньшей мере один, по меньшей мере, частично периодический показатель жизнедеятельности.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Документ WO 2010/100594 A2 раскрывает способ и систему обработки изображений живых существ. Способ содержит этапы, на которых:

- получают в последовательные моменты времени последовательность цифровых изображений;

- выбирают по меньшей мере одну зону измерений, содержащую множество точек изображения, причем

- этап выбора по меньшей мере одной зоны измерений, содержит анализ информации, основанный на пиксельных данных множества частей изображения по меньшей мере в одном из изображений, причем каждая часть изображения содержит по меньшей мере одну точку изображения, и выбирают каждую зону измерения из непрерывных частей, определенных как имеющие схожие характеристики; и

- для каждой зоны измерений получают сигнал, представляющий, по меньшей мере, изменения во времени среднего значения комбинации пиксельных значений по меньшей мере для некоторого количества точек изображения при использовании для определения по меньшей мере присутствия или значения частоты по меньшей мере одного пика в спектре сигнала, соответствующего частоте периодического физиологического явления.

Этот документ дополнительно раскрывает несколько усовершенствований способа. В целом, в области обработки изображений достигнут огромный прогресс, заключающийся в том, что стал возможен глубокий анализ записанных данных. В этом контексте можно было бы предложить извлечение информации из записанных данных способом, позволяющим получить подробные заключения в отношении объекта или даже самочувствия наблюдаемого живого существа.

Однако, поскольку записанные данные, такие, как зарегистрированные с помощью отраженного или испускаемого электромагнитного излучения, особенно записанные кадры изображения, всегда содержат помимо требуемого сигнала, который должен быть извлечен из них, дополнительные составляющие сигнала, возникающие за счет общих помех, например, такие как шум из-за изменяющихся условий освещения или перемещения наблюдаемых объектов, подробное точное извлечение требуемых сигналов продолжает вызывать большие проблемы при обработке таких данных.

Это относится, в частности, к случаям, когда амплитуды и/или номинальные величины помеховых составляющих сигнала намного больше, чем амплитуды и/или номинальные величины требуемых составляющих сигнала, которые должны быть извлечены. Потенциально, можно ожидать, что величина разности между соответствующими составляющими составит даже несколько порядков.

Возможный подход к этой проблеме может быть направлен на обеспечение хорошо подготовленных и установившихся окружающих условий, когда регистрируют интересующий сигнал, в который включена требуемая составляющая сигнала, чтобы минимизировать помеховые составляющие сигнала, накладывающиеся на сигнал. Однако, такие лабораторные условия не могут быть перенесены на каждодневные эксплуатационные применения, поскольку для этого должны потребоваться большие усилия и подготовительная работа.

Требующаяся подготовка может содержать, например, установку и ориентацию нескольких стандартных источников света и, кроме того, меры по закреплению объекта, который должен наблюдаться, чтобы избежать помеховых перемещений, по причине которых создается еще больший уровень шума.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Поэтому задача настоящего изобретения состоит в обеспечении системы и способа извлечения информации из обнаруженных характеристических сигналов, обеспечивая дополнительные улучшения, облегчающие получение требуемых сигналов с более высокой точностью.

Дополнительно, должно быть предпочтительным обеспечить, кроме того, систему, выполненную с возможностью разрешения извлечения требуемых сигналов при весьма плохих окружающих условиях, например, при малом отношении "сигнал-шум", при меняющихся условиях освещения и/или при монотонных и даже немонотонных перемещениях объекта наблюдения.

В первом варианте настоящего изобретения представляется устройство немешающего дистанционного контроля для извлечения информации из обнаруженных характеристических сигналов, содержащая:

- интерфейс для приема потока данных, содержащего последовательность кадров изображения, получаемых из электромагнитного излучения, испускаемого или отражаемого объектом, причем последовательность кадров изображения содержит непрерывный или дискретный характеристический сигнал, содержащий физиологическую информацию, причем физиологическая информация представляет по меньшей мере один, по меньшей мере, частично периодический сигнал жизнедеятельности,

- средство экстрактора для извлечения физиологической информации из потока данных, причем средство экстрактора получает множество элементов характеристических показателей, характеризующих физиологическую информацию, и помеховую составляющую сигнала, причем множество элементов характеристических показателей связано с сигнальным пространством, представляющим характеристики электромагнитного излучения, причем сигнальное пространство содержит заданный элемент показателя, имеющий установленную ориентацию, характеризующую ссылочную физиологическую информацию, заданный элемент показателя является, по меньшей мере, пригодным для приблизительного определения посредством определения соответствующих ссылочных значений в восходящем потоке,

- средство преобразователя для преобразования множества элементов характеристических показателей, проецируя их на элемент показателя с пониженной помехой, полученный из заданной ориентации и длины множества элементов характеристических показателей, причем элемент показателя с пониженной помехой имеет отличительную ориентацию относительно предполагаемой ориентации помеховой составляющей сигнала, элемент показателя с пониженной помехой определяется путем оптимизации выражения с учетом ориентации заданного элемента показателя, и

средство датчика для обнаружения электромагнитного излучения в пределах по меньшей мере одного конкретного диапазона длин волн, выбранного из группы, содержащей видимый свет, инфракрасный свет и ультрафиолетовое излучение, причем средство датчика может соединяться с интерфейсом и средством датчика является видеокамера,

при этом средство преобразователя дополнительно выполнено с возможностью определения элемента показателя с подавленной помехой, определяя набор данных, содержащий набор значений элементов характеристических показателей, полученных средством экстрактора, и выполняя преобразование, предпочтительно, по существу, ортогональное линейное преобразование, набора данных в систему координат, в которой доминирующая составляющая выровнена с осью координат, и в которой доминирующая составляющая совпадает с элементом показателя с пониженной помехой и в которой элемент показателя с пониженной помехой определяется, минимизируя энергию спроецированных элементов характеристических показателей во временном интервале.

Настоящее изобретение основано на представлении, что при нацеливании на извлечение требующегося сигнал жизнедеятельности, в целом, должно учитываться плохое отношение "сигнал-шум". Имея в виду это общее соображение, вероятно, можно предположить, что интересующая составляющая сигнала, а именно, элементы характеристических показателей, обычно содержит большую часть, указывающую на шум т.п., а именно, помеховую составляющую, и, вероятно, очень небольшую часть, характеризующую требуемый сигнал жизнедеятельности, а именно, физиологическую информацию. Поскольку помеховая составляющая сигнала может быть вызвана многочисленными источниками помех, ее положение и ориентация относительно сигнального пространства не могут быть заранее точно предсказаны. Однако, общая ориентация физиологической информации в сигнальном пространстве может быть, по меньшей мере, приблизительно, определена заранее и осуществлена заданным элементном показателя, связанным с сигнальным пространством. Другими словами, просто ожидаемая номинальная ориентация, например, ось или кривая, физиологической информации может быть определена процессом в восходящем потоке. С другой стороны, сигнал, который должен быть обнаружен, содержит, помимо малой полезной части, большую помеховую составляющую, ориентация, положение и значение которой фактически неизвестны.

В этом контексте европейская патентная заявка № 09172337.9, от имени того же самого заявителя, что и настоящее изобретение, поданная ранее и опубликованная после даты приоритета настоящей заявки, предлагает улучшение извлечения требуемых сигналов, заключающееся, в основном, в том, что обнаруженный полный сигнал, представляющий требуемый сигнал и шум, должен проецироваться на заданную ось в сигнальном пространстве, исключая, таким образом, шум, ортогональный к этой заданной оси. Таким образом, отношение "сигнал-шум" в определенной степени может быть улучшено. Однако, в качестве дополнительного улучшения, может быть желательным дополнительно улучшить это отношение посредством также удаления составляющих сигнала, характерных для шума, обычно ориентированных параллельно заданной оси или линии.

Учитывая доступные входные переменные и заданные константы, следует заметить, что, как представляется, вряд ли возможно обеспечить решение проблемы, описанной выше, основываясь просто на аналитических и подобных способах, направленных на ясные и однозначные результаты. Напротив, настоящее изобретение опирается на способы мультивариантной статистики, чтобы прийти к приближенному решению. Само собой разумеется, также рассматриваются приближенные решения для соответствующего улучшения отношения "сигнал-шум" и следовательно фактического облегчения извлечения требуемых сигналов жизнедеятельности. Характеристический сигнал анализируется, так сказать, способом, позволяющим обнаружить характеристическую структуру нескольких элементов характеристических показателей, указывающих основную ориентацию перекрытия помеховых составляющих сигнала. При наличии, по меньшей мере, приблизительно определенной ориентации основной помехи или шума, элементы характеристических показателей могут проецироваться на элемент, ортогональный этой определенной основной ориентации, а именно, так называемый элемент показателя с пониженной помехой, устраняя, таким образом, ортогональный ему шум. Таким образом, может быть достигнуто значительное улучшение подавления шумов и качества сигнала.

Существуют несколько вариантов осуществления средства экстрактора и средства преобразователя. Во-первых, фактически простой вариант осуществления как средства детектора, так и средства преобразователя, осуществляется процессором, в частности, процессором персонального компьютера, управляемого соответствующими логическими командами. Такой процессор может также содержать соответствующие интерфейсы ввода и вывода.

Однако, в альтернативном варианте, как средство экстрактора, так и средство преобразователя могут быть осуществлены отдельным процессором, управляемым или способным управляться соответствующими командами. Следовательно, каждый соответствующий процессор может быть выполнен для своей конкретной цели. Следовательно, может быть применимо разделение задач, при котором различные задачи обрабатываются, например, исполняются на едином процессоре многопроцессорного блока обработки или, снова обращаясь к персональному компьютеру, задачи, связанные с обработкой изображения, исполняются на видеопроцессоре, в то время, как другие операционные задачи исполняются на блоке центрального процессора.

В соответствии с предпочтительным вариантом осуществления устройства извлечения информации, устройство дополнительно содержит средство анализа для определения изменения во времени спроецированного элемента показателя и для обнаружения по меньшей мере одного, по меньшей мере, частично периодического сигнала жизнедеятельности, представленного физиологической информацией.

Также средство анализа может быть осуществлено процессором, управляемым логическими командами. С этой целью, может быть использован отдельный процессор или процессор, являющийся общим для средства экстрактора, средства преобразователя и средства анализа. Интересующий сигнал, по меньшей мере, один, по меньшей мере, частично периодический сигнал жизнедеятельности, представляется, так сказать, пульсацией спроецированного элемента показателя во времени. Характеристическая частота, лежащая в основе этой пульсации, может считаться весьма показательной для требуемого сигнала жизнедеятельности.

Следует заметить, что спроецированный элемент показателя все же обычно не совпадает точно с заданным элементом показателя. Это может произойти в случае, если определенная основная ориентация помеховых составляющих сигнала множества элементов характеристических показателей должна быть ортогональна заданному элементу показателя. Если это может быть применено, то уже простая проекция каждого из множества элементов характеристических показателей на заданный элемент показателя, который в этом случае совпадает с элементом показателя с пониженной помехой, могла бы достигнуть фактически точного определения по меньшей мере одного, по меньшей мере, частично периодического сигнала жизнедеятельности. Однако, даже если заданный элемент показателя и элемент показателя с пониженной помехой формируют угол, предпочтительно острый угол, спроецированный элемент показателя (спроецированный на элемент показателя с пониженной помехой) позволяет точное определение по меньшей мере одного, по меньшей мере, частично периодического сигнала жизнедеятельности в качестве помеховых составляющих сигнала, поскольку помеховые составляющие сигнала, характеризующие шум, удаляются из него, по меньшей мере, в значительной степени. В случае, если, главным образом, частота изменений во времени спроецированного элемента показателя должна быть проанализирована, чтобы обнаружить интересующий сигнал, простая длина спроецированного элемента показателя, которая отличается предполагаемой длиной физиологической информации, когда он выровнен с заданным элементом показателя, не приводит к неправильному или искаженному результату частотного анализа, поскольку частота, лежащая в основе временной пульсации, не затрагивается.

Альтернативно, дополнительно должно быть предпочтительным представить устройство, дополнительно усовершенствованное в том отношении, что амплитуда спроецированного элемента показателя корректируется с помощью коэффициента, зависящего от угла между элементом показателя с пониженной помехой и заданным элементом показателя.

В этой связи, в соответствии с дальнейшим улучшением варианта осуществления средство анализа дополнительно выполнено с возможностью компенсации углового смещения между спроецированным элементом показателя и заданным элементом показателя, имеющим установленную ориентацию.

Компенсация может выполняться посредством тригонометрических вычислений. В этом случае, элемент характеристического показателя может быть точно разделен на помеховую составляющую сигнала и физиологическую информацию, которая точно представляет интересующую составляющую сигнала. Другими словами, физиологическая информация может быть почти полностью восстановлена из содержащего шум первоначального элемента характеристического показателя.

В соответствии с предпочтительным вариантом осуществления устройства извлечения информации множество элементов характеристических показателей является набором векторов разности, представляющих изменения во времени непрерывного или дискретного характеристического сигнала в сигнальном пространстве.

В этой связи документ WO 2010/100594 A2 и европейская патентная заявка № 09172337.9, в основном, в качестве примера приводят способы и устройства обнаружения таких элементов характеристических показателей и, кроме того, способы и устройства анализа обработанного сигнала, полученного из них, так чтобы, в принципе, прийти к требуемым сигналам жизнедеятельности.

Устройство извлечения информации дополнительно содержит средство датчика для обнаружения электромагнитного излучения в пределах по меньшей мере одного конкретного диапазона длин волн, выбранного из группы, содержащей видимый свет, инфракрасный свет и ультрафиолетовое излучение, причем средство датчика может соединяться с интерфейсом.

В альтернативном варианте данные, уже зарегистрированные и сохраненные, могут быть поданы на интерфейс и обработаны устройством. Наблюдая живое существо, в частности, животное или, более конкретно, человека, сигналы жизнедеятельности могут быть получены из тонких вариаций в испускаемом излучении, например, инфракрасном свете и/или отраженном свете, например, видимом свете и ультрафиолетовом излучении. Для каждодневного применения следует понять, обнаруживается и анализируется ли, по существу, видимый свет. Для этой цели помимо обычных источников естественного или искусственного света никакие дополнительные источники излучения не требуются и/или не должны рассматриваться во время анализа.

Этот вариант осуществления может быть разработан дополнительно таким образом, что средство датчика содержит камеру, приспособленную для регистрации данных сигнала внутри сигнального пространства, выбранного из группы, содержащей RGB, sRGB, Rg-хроматичность, HSV, HSL, CMYK, YPbPr, YCbCr и xvYCC.

Другими словами, для наблюдения за интересующим объектом и записи потока данных, который будет анализироваться, могут использоваться видеокамеры, обеспечивающие достаточную глубину цвета, даже так называемые веб-камеры. Само собой разумеется, что могут также быть использованы производные названных типов сигнального пространства, такие как logRGB. Дополнительно можно предложить объединение нескольких различных сигнальных пространств, по меньшей мере, частично, чтобы обеспечить более широкую спектральную основу для требуемых процессов анализа.

В этом контексте, как альтернатива, также может быть рассмотрено сигнальное пространство, содержащее диапазоны длин волн видимого света и инфракрасного света. Таким образом, устройство может быть должным образом адаптировано к изменениям общих условий, таких как большие изменения яркости или изменения в течение дня и ночи.

В соответствии с дополнительным вариантом осуществления сигнальное пространство может быть дополнительно преобразовано, взяв логарифм от обнаруженного множества элементов характеристических показателей. Другими словами, также, масштаб спектральных составляющих или характеристик электромагнитного излучения, представленного сигнальным пространством, может быть преобразован в логарифмический масштаб. В этом случае последующие вычисления в сигнальном пространстве могут быть облегчены. Дополнительно, ряд нескольких величин значений входных сигналов может быть обнаружен и обработан, в то же время позволяя еще иметь ясное общее представление и понимание того, что представлено.

В соответствии с еще одним дополнительным вариантом осуществления устройства извлечения информации, по меньшей мере один по меньшей мере частично периодический сигнал жизнедеятельности выбирается из следующей группы показателей жизнедеятельности: сердцебиение, частота дыхания и изменчивость частоты сердечных сокращений.

Само собой разумеется, следует понимать, могут ли соответствующие типы сигналов жизнедеятельности быть преобразованы в другие, применяя соответствующие этапы преобразования и анализа.

Перечисленные сигналы жизнедеятельности связаны с кровообращением, которое может наблюдаться с помощью средства датчика, записывая последовательность изображений, представляющих область признаков интересующего объекта, например, человека. Тонкие изменения электромагнитного излучения, испускаемого или отражаемого наблюдаемым объектом, могут быть представлены при анализе записанного потока данных, с помощью производного множества элементов характеристических показателей. Однако, как упомянуто выше, помимо тонких изменений, во множество элементов характеристических показателей включены также помеховые составляющие сигнала.

В соответствии с дополнительным вариантом осуществления устройства извлечения информации, сигнальное пространство является нормализованным цветовым пространством, в котором по меньшей мере одна степень свободы является, по меньшей мере, временно компенсированной посредством процесса нормализации.

На практике, например, "пульсация" множества элементов характеристических показателей, содержащая физиологическую информацию, может описывать пространственную кривую в сигнальном пространстве. Анализ и вычисление могут быть максимально упрощены в случае, когда упомянутая пространственная кривая может быть преобразована в двумерную кривую или даже в двумерную прямую линию.

В этом контексте дополнительно предпочтительно, когда сигнальное пространство является нормализованным двумерным цветовым пространством, в котором выполняются нормализация яркости и нормализация цвета.

В соответствии с еще одним дополнительным вариантом осуществления устройства извлечения информации, средство экстрактора дополнительно содержит средство нормализации для преобразования потока данных в сигнальное пространство, нормализуя фактические значения яркости, включенные в поток данных, с помощью применения соответствующей определенной комбинации основных цветов к представляющим цвета составляющим потока данных и/или нормализуя цветовую интенсивность потока данных, применяя соответствующие средние во времени значения потока данных к фактическим значениям его представляющих цвета составляющих.

В соответствии с еще одним другим дополнительным предпочтительным вариантом осуществления устройства извлечения информации, средство анализа дополнительно содержит средство фильтра для фильтрации потока данных и для улучшения составляющей сигнала в полосе шириной между 0,2 Гц и 10 Гц, предпочтительно между 0,5 Гц и 3,5 Гц.

Таким образом, дополнительно еще одни другие помеховые составляющие сигнала, не имеющие отношения к требуемым сигналам жизнедеятельности, могут быть удалены от потока данных. В этом контексте следует упомянуть, что этап нормализации яркости, этап нормализации цветности и этап фильтрации могут быть применены к потоку данных только на каждом этапе или в любой комбинации двух или трех этапов.

Дополнительно средство преобразователя выполнено с возможностью определения элемента показателя с пониженной помехой, определяя набор данных, содержащий набор значений элементов характеристических показателей, полученных средством экстрактора, и, выполняя преобразование, предпочтительно, по существу, ортогональное линейное преобразование, набора данных в систему координат, в которой его доминирующая составляющая выровнена с осью системы координат, и в которой доминирующая составляющая совпадает с элементом показателя с пониженной помехой.

Применяя такой статистический анализ к множеству элементов характеристических показателей, может быть определен элемент показателя с пониженной помехой даже при том, что нехватка входных данных и заданные ограничения препятствует аналитическому решению. Дополнительно элемент показателя с пониженной помехой определяется, минимизируя энергию проецированных элементов характеристических показателей в интервале времени.

В соответствии с дополнительным вариантом осуществления, элемент показателя с пониженной помехой определяется, выполняя анализ основных составляющих множества элементов характеристических показателей или их производных в интервале времени и выбирая элемент, полученный в результате, который имеет наименьшее собственное значение и в значительной степени коррелируется с известным заданным элементом показателя как элементом показателя с пониженной помехой.

В альтернативном варианте дополнительно может быть предпочтительным, если для определения элемента показателя с пониженной помехой применяется весовая функция, чтобы свести элемент показателя с пониженной помехой к заданному элементу показателя.

В дополнительном варианте настоящего изобретения представлен способ немешающего дистанционного контроля для извлечения информации из обнаруженных характеристических сигналов, содержащий этапы, на которых:

- принимают поток данных, содержащий последовательность кадров изображения, получаемый из электромагнитного излучения, испускаемого или отраженного объектом, причем последовательность кадров изображения содержит непрерывный или дискретный характеристический сигнал, содержащий физиологическую информацию, причем физиологическая информация представляет по меньшей мере один, по меньшей мере, частично периодический сигнал жизнедеятельности, при этом электромагнитное излучение обнаруживается средством датчика для обнаружения электромагнитного излучения в пределах по меньшей мере одного конкретного диапазона длин волн, выбранного из группы, содержащей видимый свет, инфракрасный свет и ультрафиолетовое излучение, причем средство датчика может соединяться с интерфейсом и средством датчика является видеокамера,

- извлекают физиологическую информацию из потока данных, посредством получения множества элементов характеристических показателей из потока данных, множество элементов характеристических показателей характеризуют физиологическую информацию, и помеховую составляющую сигнала, причем множество элементов характеристических показателей связано с сигнальным пространством, представляющим характеристики электромагнитного излучения, причем сигнальное пространство содержит заданный элемент показателя, имеющий установленную ориентацию, характеризующую ссылочную физиологическую информацию, заданный элемент показателя является, по меньшей мере, пригодным для приблизительного определения посредством определения в восходящем потоке соответствующих ссылочных значений,

- преобразуют множество элементов характеристических показателей, проецируя их на элемент показателя с пониженной помехой, полученный из заданной ориентации и длины множества элементов характеристических показателей, причем элемент показателя с пониженной помехой имеет отличительную ориентацию относительно предполагаемой ориентации помеховой составляющей сигнала, элемент показателя с пониженной помехой определяется путем оптимизации выражения с учетом ориентации заданного элемента показателя, в котором определение элемента показателя с подавленной помехой содержит определение набора данных, содержащего набор значений элементов характеристических показателей, и выполнение преобразования, предпочтительно, по существу, ортогонального линейного преобразования, набора данных в систему координат, в которой его доминирующая составляющая выровнена с осью системы координат, в которой доминирующая составляющая совпадает с элементом показателя с пониженной помехой и в которой элемент (64) показателя с пониженной помехой определяется, минимизируя энергию спроецированных элементов характеристических показателей во временном интервале.

Предпочтительно, способ может быть выполнен, используя устройство извлечения информации, соответствующее изобретению.

В соответствии с еще одним дополнительным вариантом изобретения, представляется компьютерная программа, причем компьютерная программа содержит средство управляющей программы для предписания компьютеру выполнять этапы способа извлечения информации, соответствующего изобретению, когда упомянутая компьютерная программа выполняется на компьютере.

Предпочтительные варианты осуществления изобретения определяются в зависимых пунктах формулы изобретения. Следует понимать, что заявленный способ имеет подобные и/или идентичные предпочтительные варианты осуществления, соответствующие заявленному устройству и определенные в зависимых пунктах формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие варианты изобретения станут очевидны и будут подробно объяснены со ссылкой на варианты осуществления, описанные далее. На последующих чертежах:

Фиг. 1 - общее расположение устройства, в котором может использоваться настоящее изобретение,

Фиг. 2 - типовое схематическое изображение сигнального пространства, к которому может быть применена нормализация,

Фиг. 3 - типовое схематическое изображение нормализованного сигнального пространства, на котором показаны заданный элемент показателя и элемент показателя с пониженной помехой,

Фиг. 4 - дополнительное схематическое изображение нормализованного сигнального пространства, сопоставимого с сигнальным пространством, показанным на фиг. 3,

Фиг. 5 - еще одно дополнительное изображение сигнального пространства, в котором показано множество элементов характеристических показателей, и

Фиг. 6 - блок-схема последовательности выполнения операций, представляющая несколько этапов варианта осуществления способа в соответствии с изобретением.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В последнее время был продемонстрирован незаметный контроль показателей жизнедеятельности, таких как, например, сердечные сокращения, изменчивость частоты сердечных сокращений и частоты дыхания, с помощью использования датчиков, таких как фотокамера или устройства дистанционной фотоплетизмографии. Как правило, основополагающие алгоритмы позволяют отслеживать средний сигнал, испускаемый или отраженный человеком или, в целом, живым существом, например, цвет или тон кожи наблюдаемого объекта. Зарегистрированный сигнал может изменяться во времени в зависимости от оксигенации крови и объема крови. В целом, однако, этот способ чувствителен к движению объекта относительно камеры, в дополнение к локальным изменениям в интересующем сигнале, например, цвет кожи и изменения уровня освещенности и/или изменения спектра, которые обычно предполагаются, как оказывающие отрицательное влияние на результат контроля. Другими словами, сигнал, который должен быть извлечен, включен в зарегистрированный сигнал, имеющий малое, то есть, разумно низкое значение, отношения "сигнал-шум".

В этом контексте предложены дополнительные меры, чтобы улучшить извлечение интересующего сигнала из общего сигнала, содержащего шум, повышая защищенность включенного сигнала жизнедеятельности, указывающего интересующий признак жизнедеятельности. При ориентации на анализ зарегистрированных последовательностей кадров изображения, в целом, этого можно достигнуть, нормализуя средний цвет кожи во временном интервале, исключая, таким образом, эффект медленных изменений в спектре освещения и медленных изменений в среднем цвете кожи, возникающих за счет движения. Кроме того, эффект местных изменений яркости может быть устранен нормализацией освещения, выравнивая, таким образом, ослабление влияния нестабильных условий окружающего освещения.

Остальные изменения во времени для обнаруженного сигнала, например, цвета кожи, при, так сказать, нормализованные условия цветности и нормализованные локальные условия освещения, как предполагается, должны отражать изменения интересующего сигнала жизнедеятельности, по меньшей мере, в значительной степени. При дополнительном преобразовании этого предварительно обработанного сигнала в сигнальное пространство, которое содержит заданный элемент показателя, например, так называемая, ось сердцебиения, которая, как предполагается, по меньшей мере, приблизительно представляет принятый диапазон или ориентацию интересующего сигнала, предварительно обработанный сигнал может быть спроецирован на нее. Таким образом, содержащие шум составляющие сигнала, все еще остающиеся в предварительно обработанном сигнале, ортогональные к заданному элементу, могут быть устранены.

При принятии подхода для оценки сигналов жизнедеятельности, по существу, получая их из изменений цвета кожи во времени, в качестве основной проблемы в этом отношении следует считать, что кожа живого существа, в частности, человека, является сложным оптическим слоем. По существу, кожа состоит из тонкого поверхностного слоя, эпидермиса, и дермы, являющейся более толстым слоем, расположенным под эпидермисом. Обычно отражение света от кожи имеет место на поверхности эпидермиса, где отражается только совсем небольшая часть, например, приблизительно около 5% падающего света. Остальная часть падающего света проходит в кожу, где поглощается и рассеивается внутри слоев кожи. Другими словами, эпидермис, главным образом, поглощает свет; он обладает свойствами оптического фильтра, через который свет проходит в зависимости от длины волны и концентрации меланина в эпидермисе, то есть "цвета" кожи. Свет дополнительно рассеивается в дерме и либо слабеет за счет диффузного отражения, либо поглощается дермой, наиболее вероятно кровью или волосами. Диффузно отраженный свет содержит сигнал, так как его интенсивность модулируется во времени с периодическими изменениями фракции объема крови. Поглощение зависит, главным образом, от содержания крови и ее компонентов, таких как гемоглобин, билирубин и бета-каротин. Преимуществом при использовании этих характеристик является то, что малые вариации подробностей цвета кожи, например, за счет кровообращения, могут быть обнаружены, применяя способы обработки изображений.

В этой связи, можно предложить выполнение обнаружения сигнала жизнедеятельности, применяя средство датчика, например, камеру, получающую изображения области наблюдаемого объекта, которые, как предполагается, очень характерны для требуемого сигнала. Для примера, щека человека может надежно представлять кровообращение во времени и связанные с ним сигналы жизнедеятельности. С этой целью, средние значения пикселей интересующей области могут быть вычислены и проанализированы, так чтобы определить, по меньшей мере, частично периодические изменения сигнала. Интересующая область может быть выбрана вручную или выполняя алгоритмы, направленные на высоко репрезентативные области кожи.

Само собой разумеется, что в качестве входных данных могут быть также использованы запомненные данные, например, уже записанные последовательности изображений или видеоданные, которые должны быть проанализированы, чтобы обнаружить в них присутствие сигналов жизнедеятельности.

В принципе, обнаружение сердцебиения с помощью видеокамеры, или дистанционной PPG, может применяться следующим образом: изменения объема крови в коже за счет сердцебиения вызывают изменение цвета кожи во времени. Соответствующая область кожи может быть обнаружена и, соответственно, записана. Усреднение выбранных пикселей, представляющих область кожи в последовательности кадров изображения, обнаружение усредненного сигнала и слежение за ним во времени могут привести к форме сигнала, например, колебательной форме, из которой может быть получен сигнал сердцебиения или, в общем, другой жизненный сигнал.

Однако, как упоминалось выше, такая так называемая базовая система наталкивается на проблему, что сердцебиение не является единственной причиной изменений в извлеченном сигнале. Тонкие движения кожи относительно камеры, то есть, средства датчика, и временные изменения освещения можно считать главным источником шума, который легко может превысить амплитуду чистого сигнала сердцебиения на порядки величины.

Опять, при оценке сигналов жизнедеятельности, по существу, полученных из изменений цвета кожи во времени, зарегистрированных посредством камеры, можно представить, что для известного спектра освещения, известной чувствительности цветовых фильтров в камере и известном эффекте фильтрации цвета кожи, может быть выполнимо улучшение отношения "сигнал-шум", поскольку интересующее изменение цвета может быть предсказано как лежащее на известном векторе в цветовом пространстве. Проецируя измеренный сигнал на этот вектор, можно исключить артефакты, приводящие к шуму, ортогональному к этому вектору.

Дополнительно стремясь к извлечению сигнала сердцебиения из пространственно усредненного света, отраженного кожей, слоя или излучения, следует понимать, что необходимо устранить влияние зависящего от времени спектра освещения, которое может изменять направление сигнала сердцебиения в сигнальном пространстве и может быть вызвано, в общем, движением в среде со спектрально различными источниками света или движением относительно цветных отражающих поверхностей.

Дополнительно, может быть желательно устранение влияния изменяющегося пространства локального цвета кожи, которое может следовать из того факта, что не всегда цвета кожи усредняются в одном и том же положении, и опять же, возможно вызываются движением и отчасти несовершенным обнаружением цвета кожи.

Рассматривая зависящий от времени спектр освещения, можно предложить преобразовать сигнальное пространство, используемое средством датчика, например, цветовое пространство, в нормализованное сигнальное пространство, в который относительно медленные изменения цвета, которые, в принципе, не представляют интереса, не оказывают никакого влияния. Дополнительный этап, который должен выполняться впоследствии, перед, или вместе с нормализацией яркости, основан на точке зрения, что сложное движение объекта, который должен наблюдаться, и/или камеры относительно объекта, оказывает трудным или даже невозможным для слежения за местоположением интересующей области пикселей. Так как большая область пикселей кожи демонстрирует изменение цвета за счет сердцебиения и/или оксигенации крови, может быть предпочтительным следить просто за изменениями среднего значения пикселей кожи так называемой модели, имеющей переменный состав за счет движения и т. д. С этой целью, хотя движение само может вызывать изменения яркости, дополнительно предлагается перед усреднением нормализовать яркость индивидуальных пикселей.

Опять же, само собой разумеется, что порядок двух этапов может выбираться по желанию, и оба варианта способствуют улучшенному отношению "сигнал-шум".

Извлечение сигналов жизнедеятельности из изменений во времени усредненных нормализованных пикселей кожи может быть дополнительно улучшено, проецируя обнаруженный сигнал, по меньшей мере, на приблизительно фиксированный заданный элемент показателя, например, эмпирически определенный вектор сердцебиения, и применяя полосовую фильтрацию к извлеченной форме сигнала. Такая последующая обработка использует преимущество того факта, что частота интересующих сигналов жизнедеятельности находится обычно в пределах известного диапазона частот.

Дополнительное преимущество двух этапов нормализации состоит в том, результирующие пиксели цвета кожи, в конечном счете, должны в значительной степени напоминать друг друга, то есть, посторонние пиксели, например, основанные на нечеловеческих артефактах, остающиеся в форме сигнала, например, за счет неточного начального обнаружения цвета кожи, могут быть легко обнаружены и устранены.

Следует заметить, что на протяжении всего этого документа в непрерывной текстовой части векторы и матрицы не обязательно обозначаются отдельными векторными стрелками. В частности, понятно, что специалист в данной области техники понимает, идет ли речь о скалярном или векторном значении.

Как пример, объем крови в коже живых существ изменяется, например, за счет сердцебиения, что, как можно предположить, вызывает цветовые изменения в электромагнитном излучении, отраженном или испускаемом кожей. Конечно, это очевидно, что отраженный свет может быть использован для получения из него интересующих входных данных. При просмотре с помощью мультиспектральной камеры, например, чувствительной в диапазоне RGB или подобных цветовых пространствах, или, в общем, в сигнальных пространствах, на зарегистрированное цветовое изменение H _c в положении x и во время t,

влияет спектр источника освещения фильтры основных цветов камеры и локальный цвет кожи, покрывающей изменяющийся объем крови Дополнительно можно предположить, что спектр освещения I _l, по существу, не изменяется в пространственном смысле и локальный цвет F _s кожи не изменяется во времени, кроме как для требуемого сигнала жизнедеятельности.

Хотя на обнаруженное изменение H _c света из-за изменения сигналов жизнедеятельности в существующем примере, точнее, объеме крови, влияют и до некоторой степени отрицательно влияют как локальный цвет кожи, так и изменяющийся во времени спектр освещения, мультипликативный процесс должен быть применен. Поэтому следует учитывать, когда некоторые меры нормализации применяются ради простоты.

С этой целью, на первом этапе, цветовое пространство может быть нормализовано посредством деления мгновенных спектральных составляющих, например, RGB-составляющих, вектора I _c цвета на соответствующие усредненные во времени значения красного цвета, зеленого цвета и синего цвета, например, в случае RGB или подобного сигнального пространства применяется:

в котором, учитывая определение, сделанное в настоящем примере, соответствуют среднему красному, среднему зеленому и среднему синему значениям, соответственно, в интересующей области, например, модели пикселей кожи Х за время t:

где |X|соответствует области этой интересующей области X. Изменение H _n(x,t) цвета в этом нормализованном цветовом пространстве за счет интересующего сигнала жизнедеятельности, например, сердечного сокращения, может быть определено следующим образом:

настолько, насколько на изменение H _n(x,t) не влияет зависящий от времени спектр освещения.

В дискретной системе времени, которая в формулах и выражениях может быть обозначена дополнительным нижним индексом d, в которой t может принимать следующие значения t = 0, 1, 2..., n, и x соответствует положению пикселя, цветовая нормализация, в конечном счете, может выглядеть следующим образом:

где оответствуют значениям красного, зеленого и синего цвета пикселя x во время t, например, представленного соответствующими кадрами изображения. Значения соответствуют средним значениям красного, зеленого и синего цвета соответствующей объединенной модели, а именно, интересующей области в кадре t, соответственно. Дополнительно, изменение H _n(x,t) цвета в нормализованном цветовом пространстве за счет сердцебиения может быть аппроксимировано следующим образом:

Показанный этап может вызвать нормализованный нейтральный, например, серый цвет для пикселей цвета кожи, который может считаться обычно независимым от спектра источника освещения, медленное изменение по сравнению с сердцебиением и фильтрацию изменений объема крови для кожи, то есть, фильтрацию изменений отраженного света, вызванных изменениями объема крови. Следовательно, интересующий сигнал жизнедеятельности может быть, так сказать, улучшен относительно остального содержащего шум общего сигнала. В этом контексте следует заметить, что соответствующие деления, примененные к значениям RGB, кратко описанные выше, могут быть заменены вычитаниями, когда значения RGB преобразуются в пространство сигнала logRGB.

На дополнительном этапе, который может следовать или предшествовать упомянутому выше этапу, уровень освещения может быть нормализован, чтобы устранить изменения, которые могут быть им вызваны, или, в целом, движением объекта, который должен наблюдаться, и/или камеры или общими изменениями в условиях освещения. Как пример, уровень освещения для заданного пикселя цвета кожи может изменяться от одного изображения к другому за счет движения. Дополнительно, локальные коэффициент пропускания, коэффициент отражения и поглощение, или, в целом, оптические свойства кожи могут изменяться по многим причинам. Поскольку, опять же из-за эффектов движения, не всегда одни и те же пиксели кожи могут браться для создания модели, на которой основано определение среднего значения, было бы весьма предпочтительно устранить эти локальные различия в освещении.

Для нормализации амплитуды, то есть, чтобы стать независимым от меняющихся локальных уровней яркости и локальных степеней пропускания кожи, предлагается разделение локальных значений пикселей на линейную комбинацию их RGB-составляющих:

Таким образом, эффект регистрации различных пикселей для кожи и регистрации по-другому освещенных пикселей кожи в различных последовательных кадрах изображения может быть значительно уменьшен. С этой целью, можно предположить, что на все основные цвета оказывается влияние с одним и тем же процентом с разностями, указанными выше. Поэтому каждая линейная комбинация R, G и B может использоваться и может привести к улучшенному результату. В теории оптимальным выбором α, β и γ может считаться их комбинация, заставляющая результирующие нормализованные пиксели находиться в плоскости, параллельной вектору сердцебиения в нормализованном цветовом пространстве. На практике, конечно, могут также применяться другие комбинации, хотя приводящие к отчасти такой же пониженной амплитуде сигнала сердцебиения, по сравнению с оптимальной линейной комбинацией, но, в целом, для α, β и γ нет никакого существенно неблагоприятного значения.

Другой дополнительный вклад в повышение надежности извлечения сигнала посредством улучшения отношения "сигнал-шум" основан на том факте, что в нормализованном сигнальном пространстве, например, цветовом пространстве, таком как цветовое RGB-пространство, изменения зарегистрированных сигналов из-за сердцебиения и/или оксигенации крови, а именно, изменения цвета, так или иначе связаны с кривой, например, линией или осью, в используемом сигнальном пространстве. Другими словами, можно предположить, что, в целом, интересующий сигнал представляется пульсацией между двумя точками вдоль кривой или линии, указывающей требуемую форму сигнала для интересующего сигнала. Эта кривая или линия могут определяться как так называемая линия или ось сердцебиения, которая может быть, по меньшей мере, приблизительно, задана эмпирическими исследованиями и/или аналитическими способами.

Предпочтительно, зарегистрированные и предварительно обработанные сигналы могут быть спроецированы на линию или ось сердцебиения, устраняя, таким образом, шум, который ориентируется ортогонально к этой линии. В случае, когда сигнальное пространство нормализовано, в частности, когда остающееся сигнальное пространство является двумерным сигнальным пространством, заданная кривая или линия также может быть преобразована в результирующее нормализованное сигнальное пространство, например, в плоскость. В этом контексте было бы дополнительно предпочтительным применять нормализацию яркости к интересующему сигнальному пространству, учитывая заданную ориентацию заданного элемента показателя, чтобы получить в результате нормализованное сигнальное пространство, выровненное с заданным элементом показателя, по меньшей мере, до некоторой степени. Таким образом, проекция, которая должна применяться к заданному элементу показателя, может быть осуществлена, избегая значительной потери сигнала, например, чрезмерного сжатия из-за большого угла между первоначального заданным элементом показателя и результирующим заданным элементом показателя, преобразованного в нормализованное сигнальное пространство.

В соответствии с другим вариантом осуществления, предлагается применить к зарегистрированным данным, содержащим интересующий сигнал жизнедеятельности, два этапа нормализации и, впоследствии, этап проецирования. В дополнительном предпочтительном варианте осуществления следующие за этапом предварительной обработки этапы могут применяться к сигналу, полученному из входных данных, содержащих, например, полосовую фильтрацию и/или анализ в области Фурье, чтобы получить точное определение улучшенного и совершенно определенного выходного сигнала, например, в форме сигнала, характеризующего требуемый ритм сердечных сокращений или частоту.

Однако, проецируя сигнал показателя жизнедеятельности, независимо от того, нормализованный или нет, на заданный элемент показателя, например, на так называемую ось сердцебиения, составляющие сигнала, ориентированные ортогонально к упомянутому заданному элементу показателя, главным образом, содержащие шум, могут быть удалены. Все же, однако, в сигнале остаются содержащие шум составляющие сигнала, по меньшей мере, частично, ориентированные параллельно или выровненные с заданным элементом показателя индекса. Как упомянуто выше, при оценке сигналов жизнедеятельности, включенных в зарегистрированные данные, извлеченные из электромагнитного излучения, испускаемого или отраженного объектом, можно ожидать, что содержащие шум составляющие существенно больше, чем их дополнительные составляющие, характеризующие сигналы жизнедеятельности. Поэтому, даже при применении проекции заданного элемента показателя, направленной к соответствующему сигналу, результирующий обработанный улучшенный сигнал, хотя и имеющий улучшенное отношение "сигнал-шум", вероятно все еще выводится с основной составляющей, первоначально характеризуемой шумом.

Дополнительно может быть предпочтительным изменить проекцию таким образом, чтобы дополнительно улучшить отношение "сигнал-шум", так чтобы также составляющие сигнала, содержащие шум, не ориентированные ортогонально заданному элементу показателя, на который они должны были первоначально проецироваться, могли быть исключены или, по меньшей мере, уменьшены в некоторой степени.

В этом контексте может быть предложено усовершенствование, относящееся к проекции элементов характеристического показателя на элемент показателя с пониженной помехой. В случае, когда искажение, то есть, составляющая сигнала, содержащая шум, не является ортогональной к заданному элементу показателя, например, к известной линии или оси сердцебиения, отношение "сигнал-шум" может быть еще более улучшено при проецировании элементов характеристических показателей на так называемый элемент показателя с пониженной помехой, расположенный в ориентации, по меньшей мере, приблизительно ортогональной к основной ориентации искажения. Таким образом, на практике упомянутое искажение может быть уменьшено, хотя, в то же время, в случае, когда искажение так или иначе ориентируется параллельно оси сердцебиения, интересующий сигнал, физиологическая информация, если говорить в целом, просто сжимается или растягивается, то есть, имеет уменьшенную или увеличенную амплитуду. Кроме того, когда угол между заданным элементом показателя и элементом показателя с пониженной помехой известен, потеря амплитуды может быть определена и скорректирована.

Другими словами, это усовершенствование основано на точке зрения, что при проецировании элементов характеристических показателей на элемент показателя с пониженной помехой, а не на заданный элемент показателя, который характеризуется ориентацией интересующего сигнала, искажение в значительной степени можно устранить, хотя результирующий сигнал, относящийся к физиологической информации, просто будет испытывать некоторую потерю амплитуды или изменение, которые могут быть просто скорректированы.

В этом контексте, как показано на фиг. 1, устройство извлечения информацию представляется и обозначается номером позиции 10. Устройство 10 может использоваться для записи кадров изображения, представляющих объект 11. Кадры изображения могут быть получены из электромагнитного излучения 14, испускаемого или отражаемого объектом 11. Объект 11 может быть человеком или животным, или, вообще, живым существом. Для извлечения информации из записанных данных, например, последовательности кадров изображения, определенная часть или участок объекта 11 могут быть обнаружены средством 16 датчика. Средство 16 датчика может быть осуществлено, как пример, в виде камеры, выполненной с возможностью регистрации информации, принадлежащей, по меньшей мере, спектральной составляющей электромагнитного излучения 14. Само собой разумеется, что устройство 10 также может быть выполнено с возможностью обработки входных сигналов, а именно, потока входных данных, уже записанного ранее и на данный момент запомненного или буферированного. Как указано выше, электромагнитное излучение 14 может содержать непрерывный или дискретный характеристический сигнал 13, который может быть весьма характерным по меньшей мере для одного, по меньшей мере, частично периодического сигнала 12 жизнедеятельности. На фиг. 1 сигнал 12 жизнедеятельности может позволить сделать несколько заключений в отношении частоты сердечных сокращений, изменчивости частоты сердечных сокращений, или даже частоты дыхания.

Существующие способы получения таких сигналов жизнедеятельности могут содержать, например, тактильный контроль частоты сердечных сокращений или электрокардиографию. Для этой цели, однако, требуется заметный для пациента контроль. Как указано выше, альтернативный подход направлен на незаметную телеметрию, использующую способы обработки изображений.

Непрерывный или дискретный характеристический сигнал 13 может поступать от средства 16 датчика к интерфейсу 18. Само собой разумеется, между средством 16 датчика и интерфейсом 18 может быть также включено буферное средство. Далее за интерфейсом 18 обеспечивается средство 20 экстрактора, выполненное с возможностью извлечения требуемой физиологической информации (все еще включенной в элементы характеристических показателей) из непрерывного или дискретного характеристического сигнала 13. Дополнительно, далее может следовать средство 22 преобразователя, выполненное с возможностью обработки физиологической информации, полученной средством 20 экстрактора. Предварительно обработанный сигнал, извлеченный средством 20 экстрактора, все еще может содержать большие составляющие, указывающие на шум. В этой связи, средство 22 преобразователя может быть применено для выделения из полного сигнала, поданного на него, и улучшения требуемой составляющей сигнала, характеризующей интересующий сигнал 12 жизнедеятельности.

Когда улучшенная составляющая сигнала извлечена, средством 24 анализа может быть выполнена дополнительная последующая обработка данных. С этой целью, последующая обработка может содержать полосовую фильтрацию и/или анализ Фурье. Могут быть предложены дополнительные меры по последующей обработке, способствующие еще более улучшенному обнаружению требуемого интересующего сигнала, например, доминирующего сердцебиения, характеризующего частотный пик в непрерывном или дискретном характеристическом сигнале 13.

Средство 20 экстрактора, средство 22 преобразователя и средство 24 анализа совместно могут быть осуществлены общим процессором 26, например, центральным процессором, имеющим единый процессор или многочисленные процессоры. Кроме того, интерфейс 18 может быть присоединен к нему в общем процессоре 28, в котором располагаются соответствующие входящие компоненты. Как пример, процессор 28 может быть осуществлен персональным компьютером, управляемым соответствующими логическими командами. В случае, если средство 16 датчика также совместно соединяется с интерфейсом 18 посредством аппаратурного обеспечения, блок 30 регистрации может также содержать в себе соответствующие входящие компоненты.

Однако, как альтернатива, может быть предложено объединить отдельное средство 16 датчика с процессором 28. Это соединение может быть установлено посредством кабельных линий или радиолиний. Вместо средства 16 датчика к процессору 28 может также быть присоединено средство хранения, содержащее ранее записанные данные.

Как указано выше, средство 20 экстрактора может быть дополнительно выполнено с возможностью некоторой предварительной обработки принятых данных, чтобы улучшить отношение "сигнал-шум" уже при подготовке к последующим анализам, проводимым для требуемых сигналов жизнедеятельности. Возможным этапом предварительной обработки может быть нормализацией яркости, приводящая в результате к сигнальному пространству, так или иначе упрощенному с точки зрения количества представленных измерений, или, можно сказать, количества спектральных составляющих или спектрального многообразия. Как пример, результирующее сигнальное пространство может упоминаться как относящееся к плоскости хроматичности. В этой связи, на фиг. 2 показано типовое сигнальное пространство 36, к которому применяется нормализация яркости. Основное сигнальное пространство 36 характеризуется тремя основными спектральными составляющими 38, 40 и 42, например, когда используется пространство RGB, красная, зеленая и синяя составляющие видимого спектра.

Следует понимать, что когда интересующий сигнал является сигналом, изменяющимся во времени, то есть, в итоге, по меньшей мере одним, по меньшей мере, частично периодическим сигналом 12 жизнедеятельности, для оценки информации жизнедеятельности, включенной в зарегистрированные сигналы, должны рассматриваться значения разности, а не абсолютные величины. Как пример, стремясь к извлечению частоты сердечных сокращений или тому подобному из видимого излучения, отраженного объектом 11, множество элементов 50 характеристических показателей, связанных с цветовым пространством, то есть сигнальным пространством 36, могут быть извлечены из зарегистрированных сигналов, то есть, последовательности изображения. Каждый из элементов 50 характеристических показателей может представить "фактическое" разностное значение, поскольку интересующими являются, главным образом, составляющие сигнала, изменяющиеся за счет изменения по меньшей мере одного, по меньшей мере, частично периодического сигнала 12 жизнедеятельности. С этой целью, каждый из элементов 50 характеристических показателей может представить изменение цвета в цветовом пространстве, определенном между двумя явно схожими последовательными моментами времени; в этом отношении также обратитесь к уравнению (6).

Таким образом, следует заметить, что, в принципе, сигнальное пространство 36 может также содержать дополнительные квадранты или полупространства, характеризующие отрицательные значения спектральных составляющих 38, 40 и 42. Поскольку в сигнальном пространстве 36 представляются разностные значения, могут также появляться отрицательные значения. Само собой разумеется, когда рассматриваются разностные значения, каждый из множества элементов 50 характеристических показателей берет начало из точки начала координат, смотрите также фиг. 5. Применяя нормализацию яркости (смотрите уравнение (7)), подпространство может быть определено в сигнальном пространстве 36. На фиг. 2 плоскость хроматичности или нормализованное сигнальное пространство указывается номером позиции 44. Посредством нормализации яркости соответствующие сигнальные составляющие могут быть преобразованы в плоскость хроматичности или нормализованное сигнальное пространство 44, позволяя, таким образом, упростить анализ.

Дополнительно обращаясь к фиг. 3, фиг. 4 и фиг. 5, на которых плоскость хроматичности или нормализованное сигнальное пространство 44 показаны более подробно на виде в плане, можно понять, что объем проблемы, лежащей в основе требуемого извлечения сигналов жизнедеятельности из зарегистрированных данных, может быть уменьшен посредством мер нормализации. Другими словами, обращаясь снова к тому факту, что каждый из элементов 50 характеристических показателей можно считать векторной величиной, количество векторных значений в строке, требующихся для точного определения векторов, может быть в значительной степени уменьшено.

На фиг. 2 дополнительно представляет заданный элемент 46 показателя, который может считаться, например, так называемой осью сердцебиения, которая, как предполагается, должна представлять установленную ориентацию ожидаемого сигнала жизнедеятельности в сигнальном пространстве 36. Предпочтительно, также заданный элемент 46 показателя преобразуется в плоскость хроматичности или нормализованное сигнальное пространство 44. Как указано выше, можно предложить проецировать элемент 50 характеристического показателя на заданный элемент 46 показателя, приходя, таким образом, к составляющей 56 сигнала, смотрите фиг. 3 и фиг. 4. Однако, эта составляющая также упоминается как сигнал 56, содержащий шум, который все еще содержит составляющие, характерные для шума, в котором проекция, примененная к элементу 50 характеристического показателя просто удаляет шум, ортогональный к заданному элементу 46 показателя. Дополнительно, физиологическая информация, которая в высшей степени репрезентативна по меньшей мере для одного, по меньшей мере, частично периодического сигнала 12 жизнедеятельности, обозначается номером позиции 48. Физиологическая информация 48, как предполагается, должна совпадать с заданным элементом 46 показателя.

В соответствии с подходом, кратко описанным выше, может дополнительно быть предпочтительным определить дополнительный элемент показателя, так называемый элемент 64 показателя с пониженной помехой, имеющий ориентацию, производную от основной ориентации составляющих с помеховым шумом, накладывающихся на требуемые сигналы в потоке данных.

Однако, определение этой требуемой линии или оси вызывает дополнительную проблему. В основном, элементы 50 характеристических показателей могут проецироваться на заданный элемент 46 показателя или на дополнительные альтернативные элементы, например, на любую требуемую ось в сигнальном пространстве 36. При применении проецирования к альтернативным элементам, производным от заданного элемента 46 показателя, следует ожидать некоторую потерю амплитуды интересующего сигнала, то есть, физиологической информации 48. Однако, как упомянуто выше, потеря амплитуды может быть скорректирована, применяя коэффициент преобразования, учитывающий различную ориентацию обоих элементов.

На фиг. 3, фиг. 4 и фиг. 5 представлен предложенный подход к описанному выше недостатку. На каждом из чертежей показано нормализованное сигнальное пространство 36', осуществленное в виде плоскости хроматичности или нормализованного сигнального пространства 44. На фиг. 3 в качестве примера показан типовой вариант осуществления, а именно, обнаружение сигналов частоты сердечных сокращений в кадрах изображения. Вектор d соответствует вектору разности цветов, вызванной только сердечным сокращением, или, так сказать, полезной физиологической информации 48. Вектор v соответствует разности цветов за счет искажения или шума; вектор v также может упоминаться как составляющая помехового сигнала, которая обозначается номером позиции 56. Вектор s соответствует зарегистрированному и извлеченному элементу 50 характеристического показателя, который может считаться произведением векторов d и v или, соответственно, помеховой составляющей 56 сигнала и полезной физиологической информации 48. На фиг. 3 предполагается, что искажение так или иначе увеличивается до требуемого сигнала. Само собой разумеется, в принципе, может предполагаться любая линейная комбинация векторов в нормализованном сигнальном пространстве 36'. Дополнительно, вектор q соответствует так называемой оси сердцебиения, а именно, заданному элементу 46 показателя, который может быть определен эмпирически, по меньшей мере, приблизительно. При простом проецировании измеренного вектора s на так называемую ось q сердцебиения, может быть получен вектор s _q, соответствующий сигналу 56, содержащему шум, который все еще содержит шумовые составляющие, ориентированные параллельно оси q сердцебиения.

Другими словами, вектор s _q, сигнал 56, содержащий шум, все еще содержит часть нежелательного вектора v искажения. Вектор v искажения соответствует так называемой составляющей 58 помехового сигнала, который обычно неизвестен, и, следовательно, не может быть использован для немедленного получения из него требуемой физиологической информации 48. Элемент 50 характеристического показателя можно считать линейной комбинацией шумовой составляющей 58 сигнала и полезной физиологической информации 48; в этом отношении, он также упоминается как параллельный перенос, обозначенный 48'. В исходном состоянии, однако, известны только ориентация и длина элемента 50 характеризующего показателя и общая ориентация заданного элемента 46 показателя, позволяющая приблизительно понять общую ориентацию физиологической информации 48.

Напротив, однако, проекция на явно неизвестный вектор z, который, как предполагается, является приблизительно ортогональным к вектору v искажения, может быть применена к вектору s и может быть получен вектор d _z. Вектор z соответствует так называемому элементу показателя с пониженной помехой, обозначенному номером позиции 64, тогда как вектор d _z соответствует спроецированному элементу показателя, обозначенному номером позиции 66. В основном, вектор d _z не содержит составляющие, содержащие шум, заслуживающий упоминания. Длина вектора d _z пропорциональна длине вектора d разности сердцебиения и поэтому весьма характерна для требуемого сигнала жизнедеятельности. Вектор z можно считать "динамической" осью сердцебиения, ориентация которой изменяется во времени в соответствии с изменениями вектора v, а именно, помеховой составляющей сигнала 58.

Определение вектора z, элемента 64 показателя с пониженной помехой, которое устанавливает как основную проблему ориентацию вектора v, к которому вектор z должен быть ортогональным, явно неизвестно. С этой целью, могут быть использованы статистические способы, чтобы проанализировать множество векторов s, полученных из последовательности, зарегистрированной во времени, так называемое множество элементов 50 характеристических показателей. Такое множество элементов характеристических показателей показано на фиг. 5 и обозначается номерами позиций 50, 50' и 50".

Для полноты изложения, снова обратимся к фиг. 3 и фиг. 4, где представлены дополнительные элементы. Линия проекции, указывающая проекцию элемента 50 характеристического показателя на заданный элемент 46 показателя, ведущая к сигнальной составляющей 56, обозначается номером позиции 52. Само собой разумеется, что заданный элемент 46 показателя и проекционная линия 52 образуют прямой угол 54.

В основном, то же самое применяется к проекционной линии 60, указывающей проекцию элемента 50 характеристического показателя на элемент 64 показателя с пониженной помехой, которые вместе образуют, в основном, прямой угол 62. Проекционная линия 60 является, в основном, параллельной помеховой составляющей 58 сигнала. Поэтому, составляющая 58 помехового сигнала и элемент 64 показателя с пониженной помехой также образуют в основном прямой угол 68. Однако, как представлено далее, в случае, если может быть выполнено "простое" приблизительное определение элемента 64 показателя с пониженной помехой, которое может быть даже основано на множестве элементов характеристических показателей, вероятно, имеющих различную длину и ориентацию, следует заметить, что угол 68 может рассматриваться просто как приблизительно прямой угол 68.

В случае, если сигнальное пространство 36 является нормализованным сигнальным пространством 36', представленным двумерным "разностным" цветовым пространством, требуются по меньшей мере два элемента 50 характеристических показателей для приблизительного определения элемента 64 показателя с пониженной помехой.

Когда, однако, сигнальное пространство 36 представлено трехмерным "разностным" цветовым пространством, требуются по меньшей мере три элемента 50 характеристических параметров. Поскольку каждый из элементов 50 характеристических показателей может отличаться от своего предшественника и/или своего последующего элемента из-за вариаций полного сигнала, предложенный подход не может быть предписан для определения элемента 64 показателя с пониженной помехой, который в то же самое время является точно ортогональным к каждому из извлеченных элементов 50 характеризующих показателей одновременно.

Напротив, предполагая, что помеховые составляющие 58 сигнала являются значительно большими по сравнению с полезной физиологической информацией 48, можно предложить определить элемент 64 показателя с пониженной помехой таким способом, чтобы получить "ось отсчета", которая, по меньшей мере, до некоторой степени коррелируется с заданным элементом 46 показателя. Кроме того, определение может быть дополнительно направлено на минимизацию энергии элементов 50 характеристических показателей, когда они проецируются на элемент 64 показателя с пониженной помехой, а именно, на спроецированные элементы 66 показателей.

При этом, влияние искажения в полученном спроецированном элементе 66 показателя явно ограничено. Однако, поскольку определенный элемент 64 показателя с пониженной помехой коррелируется с "оригинальным" заданным элементом 46 показателя, полученный сигнал, который может быть производным от пульсации спроецированных элементов 66 показателей во времени, остается в большой степени характерным для требуемого сигнала жизнедеятельности, например, частоты сердечных сокращений. Снова, само собой разумеется, что полученные спроецированные элементы 66 показателя могут быть масштабированы в случае, если вектор z, на который они проецируются, не совпадает с "оригинальным" вектором q, то есть, элементом 46 заданного параметра. В этой связи, следует заметить, что, в случае, когда элемент 64 показателя с пониженной помехой, сравните с вектором z, изменяется во времени, предпочтительно, если также должны будут применяться различные во времени масштабные коэффициенты.

Далее примеры получения требуемых элементов описываются с точки зрения математических символов, а не номерами позиций, которые также использовались выше для обозначения соответствующих элементов. Однако, в целях визуализации, можно также обратиться к фиг. 3, фиг. 4 и фиг. 5, где фиг. 3 представляет некое "преобразование" элементов.

Для примера, можно предложить штабелировать множество, обозначенное N, разностные векторы-строки s ^T, сравните элементы 50 характеристических параметров, в матрицу S Nx2 при обращении к двумерному случаю. Чтобы найти, например, вектор z с длиной, которая минимизирует энергию спроецированных разностных векторов Sz, можно рассмотреть выражение .

По всему тексту настоящего описания, (евклидова) длина вектора , где ^T обозначает транспонирование, может быть обозначена как

Вектор z, который минимизирует представленное выше выражение, может быть определен способами мультивариантной статистики, как пример, используя анализ основных составляющих. В конечном счете, вектор z, который, как можно предположить, должен выбираться равным собственному вектору матрицы s ^T s, который связан с самым малым собственным значением. В случае, если обнаруженный вектор z не является ортогональным к оси сердцебиения q, решение находится. В противном случае, в ступенчатом процессе может рассматриваться собственный вектор s ^T s, связанный со следующим самым малым собственным значением, и т. д.

Этот подход может быть дополнительно улучшен, применяя порог к обнаруженному собственному значению, чтобы определить решения, в которых обнаруженный вектор z близок к ортогональному относительно оси q сердцебиения. В этой связи усовершенствование направлено на возможный недостаток, который может привести к очень большому масштабному коэффициенту, который должен применяться к вектору d _z в случае, если требуется коррекция связанной к этим потери амплитуды. В целом, масштабный коэффициент может быть равен (z, q)^-1, который непосредственно следует из (z, q) = ||z||||q||cosφ = cosφ. В основном, средством устранения проблемы должно быть применение порога. В случае, когда фактическое собственное значение меньше этого порога, соответствующий собственный вектор может быть отброшен и должны рассматриваться остальные собственные векторы.

Однако, дополнительно было бы предпочтительным избежать порога. На деле, рассматривая, например, двумерный случай, собственный вектор, близкий к ортогональному к оси q сердцебиения, может считаться оптимальной величиной, если искажения очень малы или если искажения ориентированы, главным образом, вдоль оси q сердцебиения. В этом случае, вектор, сильно коррелированный с осью q сердцебиения, может считаться хорошим выбором, поскольку дифференциация между требуемым сигналом, например, сердечным сокращением и составляющими v искажения, содержащего шум, на оси q сердцебиения является трудной.

Дополнительная проблема может возникнуть из того факта, что представленный подход с собственным вектором наиболее вероятно не обеспечивает решение в аналитическом виде. Оптимальный вектор z выбирается из скопления собственных векторов в зависимости от связанных собственных значений и корреляции с осью q сердцебиения.

Далее будет предложен альтернативный подход к обнаружению оптимального вектора z, обозначенного как по всему описанию. Как указано выше, было бы предпочтительно, если бы могло быть обнаружено решение в аналитическом виде, которое, дополнительно предпочтительно, содержало бы тенденцию высокой корреляции с осью q сердцебиения.

В основном, такое решение могло бы быть получено, применяя весовую функцию (z, q)^-1 к спроецированным разностям Sz. Эта весовая функция может быть определена таким образом, чтобы становиться больше, когда вектор z приближается к ориентации, явно ортогональной к оси q сердцебиения. В конечном счете, решение может быть получено с тенденцией ухода из этого состояния. Само собой разумеется, что могут использоваться другие весовые функции, выглядящие подобным образом. Как пример, весовые функции 1+c(1-(z,q) ² )/(z,q) и π ² /(π ² -4carccos ² (z,q), где с - положительная константа, которая также может использоваться. Чтобы подвести итог, может быть желательным найти вектор z с длиной, которая минимизирует ||〈z, q〉^-1Sz||².

В дальнейшем будет подробно продемонстрировано, что результирующий минимум имеет решение в аналитическом виде, которое в основном выглядит как z = ||(S ^T S)^-1 q||^-1(S ^T S)^-1 q. Соответствующие типовые производные относятся к двумерному и трехмерному случаям. Снова следует заметить, что, например, рассматривая нормализацию яркости или подобную предварительную обработку, сигнальное пространство, к которому применяется анализ, может содержать две, три или даже более размерностей. Дополнительное предположение может быть сделано в том отношении, что инверсия матрицы S ^T S существует всегда. Это условие выполняется, пока интересующие разностные векторы s перекрывают полное рассматриваемое сигнальное пространство, то есть, векторы также содержат составляющие в двух, трех или даже более измерениях.

Используя этот подход, может быть определен оптимальный вектор , который незначительно отклоняется от оптимального вектора, найденного посредством подхода с собственными векторами, если угол между этим вектором z и осью сердцебиения q остается очень малым. В этом случае весовая функция могла бы быть близка к той, которая ведет к члену ||(z,q)^-1 Sz||²≈||Sz||².

Однако, отклонения между двумя подходами можно ожидать, когда упомянутый угол, сравните угол φ на фиг. 3, обозначенный номером позиции 70, станет больше, в частности, когда он приближается к 90° (градусам). В этом случае также оптимальный вектор , определенный, применяя предложенный подход, становится ортогональным вектору q сердцебиения. Тем не менее, на практике очень маловероятно, что это произойдет, так как всегда следует ожидать некоторого искажения.

В дополнительном перспективном варианте осуществления может быть предложено, что оптимизация может быть усовершенствована в области Фурье, применяя теорему Парсеваля об энергии. Таким образом, во время оптимизации могут быть выбраны требуемые полосы частот, которые в максимальной степени характеризуют интересующий сигнал жизнедеятельности.

В зависимости от случая, к полученной форме сигнала может быть применено дополнительное совершенствование полосовой фильтрации. С этой целью, предпочтительно, полосы частот, соответствующие диапазону сердцебиения, выбираются или, по меньшей мере, уточняются. Как пример, интересующий диапазон частот может содержать диапазон от 40 ударов в минуту до 210 ударов в минуту. Таким образом, оптимальный вектор не затрагивается шумом, находящимся вне этого интересующего диапазона.

В соответствии с вариантом осуществления ниже выводится двумерное решение. В двумерном случае оптимальный вектор выглядит следующим образом:

где вектор q, учитывая ||q||=1, соответствует (эмпирически найденной) оси q сердцебиения. Дополнительно, матрица S, N×2 содержит строки, соответствующие средним разницам (например, реализованным множеством векторов v) в сигнальном пространстве, например, в плоскости хроматичности.

Уравнение может быть переписано в матричной форме:

В этом уравнении матрицу S ^T S можно считать симметричной положительной (полу)определенной матрицей и она может быть выражена как S ^T S = EDE ^T, где столбцы матрицы E соответствуют собственным векторам, а диагональные элементы диагональной матрицы D соответствуют собственным значениям матрицы S ^T S:

Используя унитарное свойство матрицы E, то есть, E ^l =E ^T, можно отметить следующее:

Дополнительно, могут быть применены подстановки y=E ^T z и v=E ^T q, которые дают промежуточный результат, в виде:

Следует заметить, что

поскольку матрица E унитарна. Для удобства может использоваться следующая запись:

в которой λ ₀ и λ ₁ - собственные значения матрицы S ^T S. При дополнительном поиске решения для вектора y на единичной окружности, вектор y может быть поэтому записан в полярных координатах, то есть y ₀=cosφ и y ₁=sinφ. При использовании обозначений (9) и полярных координат, промежуточный результат (8) на основе угла φ выглядит следующим образом:

Для обнаружения минимального значения этого выражения C(φ) для заданного вектора v и собственных значений λ ₀ и λ ₁, может быть вычислена первая производная этого выражения относительно угла φ:

Принимая эту первую производную равной нулю, решение следует из

при условии, что

Из этого может непосредственно следовать, что угол φ =φ _s , тогда как tanφ _s = λ ₀ v ₁ /λ ₁ v ₀ является решением и, как следствие, оптимальные вектора и имеют вид:

Следует заметить, что

поскольку собственные значения λ ₀≥0 и λ ₁≥0.

Дальнейшее рассмотрение должно быть выполнено в случае, если оба собственных значения равны нулю, если собственное значение λ ₀ = 0 и v ₀ = 0 или если собственное значение λ ₁ = 0 и v ₁ = 0.

Оба собственных значения, равные нолю, могут быть результатом, только если матрица S содержит только нули, или, эквивалентно, если все разности являются нулевыми. На практике это наиболее вероятно никогда не произойдет.

Второй или третий случай может произойти, когда все разности в матрице S совпадают или являются ортогональными к оси q сердцебиения. В этом случае, собственный вектор, связанный с наибольшим собственным значением, совпадает с осью q сердцебиения и собственный вектор, связанный с нулевым собственным значением, является ортогональным к оси q сердцебиения или наоборот. Для этих двух случаев промежуточный результат (10) равен константе для всех углов φ и никакого минимума не существует. Другими словами, все векторы z на единичной окружности одинаково правильны. В этом случае, совершенно неясно, какой вектор получается в пределе. Однако, на практике одно собственное значение, которое равно нолю, вряд ли произойдет, благодаря неизбежному шуму в разностных векторах s.

Дополнительное рассмотрение оптимального вектора [смотрите уравнения (9) и (12)] и используя выражение инверсии матрицы S ^T S

при

дают в итоге

при условии, что все собственные значения больше нуля, то есть, инверсия матрицы S ^T S существует. Как следствие, оптимальный вектор может быть вычислен без вычисления собственных векторов и собственных значений матрицы S ^T S.

Заметим, что

для всех возможных осей q сердцебиения, поскольку (S ^T S)^-1 является положительной определенной матрицей. Или, другими словами, вектор всегда направлен в положительном направлении оси q сердцебиения. Кроме того, минимум для оптимального вектора равняется

и, наконец, используя теорему Персиваля об энергии, получаем

где F - единичная матрица Фурье N×N, то есть, F ^-1 = F*. Или, другими словами, оптимизация в области Фурье дает тот же самый оптимальный вектор .

Этот вывод приводит к совершенствованию оптимизации в том, что элементы разрешения по частоте преобразованных столбцов Фурье матрицы FS могут быть выбраны в интересующем диапазоне, например, элементы разрешения по частоте, соответствующие диапазону сердцебиения, например, от 40 ударов в минуту до 210 ударов в минуту. Таким образом, на оптимум не влияет шум в элементах разрешения по частоте вне интересующего диапазона.

Или, выражаясь более формально, матрица FS может быть умножена на матрицу R отбора N×N, которая является диагональной матрицей с нулями и единицами на диагонали, чтобы получить оптимальный вектор :

с .

В конечном счете, оптимальный вектор имеет вид

где S* соответствует эрмитовой транспонированной матрице S. На это выражение следует обратить особое внимание и оно может рассматриваться как предпочтительный изящный вариант осуществления, который, кроме того, довольно прост для реализации в устройстве или способе изобретения.

В соответствии с альтернативным вариантом осуществления, далее выводится трехмерное решение. В трехмерном случае интересующий оптимальный вектор имеет вид

где вектор q при ||q||=1 и матрица S N×3, строки которой соответствуют средним разностям в сигнальном пространстве, например, в цветовом пространстве RGB или даже в логарифмической области logRGB.

Производная промежуточного результата подобна производной промежуточного результата в двумерном случае [смотрите уравнение (8)]:

Однако, в трехмерном случае столбцы матрицы E содержат три собственных вектора и диагональные элементы диагональной матрицы D соответствуют трем собственным значениям матрицы S ^T S 3 x 3.

Далее используется следующая запись [сравните с уравнением (9)]:

где λ ₀, λ ₁ и λ ₂ представляют собственные значения матрицы S ^T S. Также, в этом случае могут быть рассмотрены полярные координаты, в частности, сферические полярные координаты, вектора y, то есть, y ₀ = cosθ sinφ, y ₁ = sinθ sinφ и y ₂ = cosφ. Промежуточный результат (13) может быть выражен в этих полярных координатах:

Дополнительно, чтобы определить минимум этого выражения, могут быть вычислены первые производные относительно углов θ и φ

где

и

где

d _θ,φ = -2v ₁ (λ ₂ cos ² φ + λ ₀ sin ² φ)sinφ,

d _1,φ = 2v ₀ (λ ₂ cos ² φ + λ ₁ sin ² φ)sinφ

и

d _2,φ = -2v ₂ (λ ₀ -λ ₁ )cosφ sin ² φ

Прежде всего, может быть рассмотрена более подробно производная по φ. Принимая эту первую производную равной нулю, решение следует из

c _0,θ sinφ - c _1,θ cosφ =0,

при условии, что

<y,v> = v ₀ cosθ sinφ + v ₁ sinθ sinφ + v ₂ cosφ ≠ 0.

Из этого непосредственно следует, что угол φ=φ _s с tanφ _s = c _1,θ/c _0,θ является решением. Подставляя это решение φ=φ _s в первую производную относительно θ [смотрите уравнение (16)] и используя

может быть получено следующее уравнение:

Деля на -2c _1,θ и дополнительно принимая, что c _1,θ ≠ 0, в итоге получаем, что

Подстановка значения c _0,θ и c _1,θ [смотрите уравнение (15)] и реорганизация выражения дают в результате

где

Из уравнения (18) следует, что, в основном, могут быть получены два решения:

или собственное значение λ ₂ = 0, но этот случай будет рассмотрен ниже.

Первое решение может быть получено, рассматривая сделанные допущения (<y,v> ≠ 0 и c _1,θ ≠ 0). Наконец, можно продемонстрировать, что, в общем, на практике второе уравнение не дает решения с действительными числами.

Решением для первого выражения является θ = θ _s при tanθ _s = λ ₀ v ₁ /λ ₁ v ₀. Для этого угла θ _s могут быть использованы следующие тождества:

и

из которых следует, что коэффициенты c _0,θs и c _1,θs становятся [смотрите уравнение (15)]

и

Дополнительно, эти выражения могут использоваться для коэффициентов c _0,θs и c _1,θs и, используя тождества в (17), оптимальные векторы и для трехмерного случая могут быть получены [сравните с решением в двумерном случае в уравнении (12)].

где Также в этом случае применяется

так как собственные значения λ ₀ ≥0 _, λ ₁ ≥0 и λ ₂ ≥0 _.

В этой связи могут ожидаться проблемы, когда все собственные значения будут нулевыми, когда λ ₀ = v ₀ = 0, λ ₁ = v ₁ = 0 или когда λ ₂ = v ₂ = 0. Однако, это вряд ли встретится на практике.

Далее, будет продемонстрировано, что второе уравнение e ₀ + e ₁ cos2θ + e ₂ sin2θ = 0 на практике не дает в результате решения с действительными числами. Переписывание этого выражения в виде:

где arctan2 соответствует инверсному тангенсу четвертого квадранта, непосредственно дает решение

в котором k является целым числом. Однако, если или эквивалентно, если то это приводит в результате к решению с комплексным углом. Используя выражение для e ₀, e ₁ и e ₂ в (12), мы приходим к выражению

^,

которое всегда меньше нуля, за исключением случая, когда по меньшей мере два собственных значения являются нулевыми или когда v ₂ = 0. Однако, как указано выше, маловероятно, чтобы по меньшей мере два собственных значения равнялись нулю.

Второй случай, v ₂ = 0, не может появляться. Равенство v ₂ = 0 означает, что <E ₂, E ^T q> = 0, в котором E ₂ соответствует собственному вектору в третьем столбце матрицы E, или эквивалентно, <EE ₂ ,q>. Однако, это выражение равно q ₂ ≠ 0. Таким образом, если узел q ₂ сердцебиения в направлении изменений яркости существует, v ₂ = 0 никогда не встречается.

И наконец, подобно двумерному случаю, решение в аналитической форме для оптимального вектора имеет вид:

в котором оптимальный вектор всегда направлен в положительном направлении оси q сердцебиения:

и в котором минимум для оптимального вектора равняется:

Наконец, оптимальный вектор , полученный после выбора элементов разрешения по частоте, становится равным:

Также на это выражение следует обратить особое внимание и оно может считаться предпочтительным изящным вариантом осуществления, который, помимо прочего, довольно прост в реализации для устройства или способа изобретения.

Продемонстрировав несколько альтернативных типовых подходов, охваченных изобретением, обратимся к фиг. 6, где схематично показан способ извлечения информации из характеристических сигналов.

Первоначально, на этапе 84 принимается поток 76a, 76b, 76c входных данных. Поток 76a, 76b, 76c данных может прийти от средства 16 датчика или от буфера данных или средства хранения данных. Поток 76a, 76b, 76c данных может быть реализован, например, посредством последовательности кадров изображения, изменяющихся во времени t.

На последующем этапе 86 интересующие сигналы, полученные из входного потока 76a, 76b, 76c данных, могут быть обработаны и преобразованы в сигнальное пространство, создавая, таким образом, предварительно обработанный поток 78a, 78b, 78c данных. Связанная с этим обработка может содержать обнаружение интересующей области объекта, из которой получают входной поток 76a, 76b, 76c данных. Дополнительно, этап 86 может также содержать компенсацию движений объекта, представленных во входном потоке 76a, 76b, 76c данных. Другими словами, интересующая область, характеризующая требуемую информацию, может прослеживаться во времени во входном потоке данных 76a, 76b, 76c.

Далее, к предварительно обработанному потоку 78a, 78b, 78c данных могут быть применены нормализация 88 цветности и/или нормализация 90 яркости. Следовательно, проблема извлечения требуемой информации может быть облегчена, например, в том, что многомерная проблема может быть преобразована в проблему с меньшим количеством размерностей, как указывается нормализованным предварительно обработанным потоком 80a, 80b, 80c данных. Как уже упоминалось выше, нормализация 88 цветности может предшествовать нормализации 90 яркости и наоборот.

На последующем этапе 92 выполняется определение элемента показателя с пониженной помехой, используя полученные сигналы, извлеченные из потока данных. Как упомянуто выше, определение может содержать способы мультивариантной статистики. Дополнительно, элемент показателя с пониженной помехой может быть определен с учетом ориентации заданного элемента показателя, такого как приблизительно определенная ось сердцебиения.

На дополнительном последующем этапе 94 обнаруженные элементы 50, 50' и 50" характеристических показателей требуемой информации проецируются на соответствующие элементы показателей с пониженной помехой, определенные на этапе 92, удаляя, таким образом, составляющие элементов 50, 50' и 50" характеристических показателей, по меньшей мере, в некоторой степени. Таким образом, создается поток 82a, 82b, 82c данных, в высшей степени характеризующий требуемую информацию.

На еще одном дополнительном последующем этапе 96 требуемая информация извлекается из потока 82a, 82b и 82c данных. Другими словами, пульсация во времени спроецированных элементов характеристических показателей анализируется и извлекается. Кроме того, к извлеченным данным могут быть применены полосовая фильтрация и/или анализ в области Фурье, чтобы дополнительно улучшить требуемую информацию в данных, содержащих шум. Полосовая фильтрация может быть изображена системой координат, имеющей ось 102 амплитуд и ось 104 частот. В ней представляется форма сигнала, некоторые области которого, блокированные зоны 108a, 108b, подавляются или даже удаляются, в то время как остающиеся области в полосе 106 частот могут быть улучшены. Можно предложить, чтобы дополнительные анализы применялись к данным, содержащимся в остающейся полосе 106 частот. В остающейся полосе частот может быть определен доминирующий частотный пик 110, который представляет требуемую информацию. В конечном счете, выходной сигнал, измененный таким образом, может быть сделан доступным на выходном интерфейсе и распространяться для дальнейшего использования.

Как пример, настоящее изобретение может быть применено в области здравоохранения, например, для незаметного для пациента дистанционного мониторинга, общего наблюдения, контроля безопасности и применений для так называемого образа жизни, такого как оборудование для фитнеса и т.п.

С этой целью, можно предложить извлекать и предоставлять подробную информацию жизнедеятельности, например, частоту сердечных сокращений, изменчивость частоты сердечных сокращений, или даже частоту дыхания. С другой стороны, можно также подавать полученную оттуда информацию, например, присутствие живого существа или простое его изображение.

Дополнительно, следует заметить, что может быть предложено применять также обнаружение движения или слежение за изображением для интересующих движущихся объектов. С этой целью, могут быть определены интересующие модели, например, наиболее характерные области лица, за которыми можно следить во время регистрации и последующей обработки. В этом случае, дополнительно может быть предпочтительным, если усреднение и нормализация выполняются на уровне модели, а не на уровне всего кадра изображения.

Хотя на чертежах и в предшествующем описании изобретение было представлено и подробно описано, такие чертежи и описание должны рассматриваться как иллюстративные или примерные и не создающие ограничений; изобретение не ограничено раскрытыми вариантами осуществления. Другие модификации раскрытых вариантов осуществления могут быть поняты и реализованы специалистами в данной области техники при осуществлении заявленного изобретения, исходя из изучения чертежей, описания и приложенной формулы изобретения.

В формуле изобретения слово "содержащий" не исключает другие элементы или этапы и единственное число не исключает множественное число. Одиночный элемент или другой блок могут выполнять функции нескольких позиций, перечисленных в формуле изобретения. Простой факт, что определенные характеристики повторяются во взаимно различных зависимых пунктах формулы изобретения, не указывает, что объединение этих характеристик не может использоваться для достижения преимущества.

Компьютерная программа может храниться/распространяться на соответствующем непередаваемом носителе, таком как оптический носитель или твердотельный носитель, поставляемый вместе или как часть другого аппаратурного обеспечения, но может также распространяться в других формах, таких как через Интернет или другие проводные или беспроводные системы связи.

Любые номера позиций в формуле изобретения не должны рассматриваться как ограничение объема защиты изобретения.

Изобретение относится к устройству и способу извлечения информации из обнаруженных характеристических сигналов. Техническим результатом является обеспечение получения требуемых характеристических сигналов с высокой точностью. Поток данных, получаемый из электромагнитного излучения, испускаемого или отраженного объектом, принимается и из него могут быть извлечены множество элементов характеристических показателей, изменяющихся во времени. Элементы показателей содержат физиологическую информацию, характеризующую периодический сигнал жизнедеятельности и помеховую составляющую сигнала. Для устранения в значительной степени помеховой составляющей сигнала элементы характеристических показателей могут проецироваться на элемент показателя с пониженной помехой, имеющий отличительную ориентацию относительно предполагаемой ориентации помеховой составляющей сигнала. Элемент показателя с пониженной помехой выбирается так, чтобы отражать доминирующую основную ориентацию и длину помеховой составляющей сигнала во времени. Следовательно, исходная физиологическая информация, извлеченная из потока данных, может быть использована для определения периодического сигнала жизнедеятельности. 3 н. и 11 з.п. ф-лы, 6 ил.

1. Устройство немешающего дистанционного контроля для извлечения информации из обнаруженных характеристических сигналов, содержащее:
- интерфейс (18) для приема потока (76, 78, 80, 82) данных, содержащего последовательность кадров изображения, получаемых из электромагнитного излучения (14), испускаемого или отражаемого объектом (11), причем последовательность кадров изображения содержит непрерывный или дискретный характеристический сигнал (13), содержащий физиологическую информацию (48), причем физиологическая информация (48) представляет по меньшей мере один, по меньшей мере, частично периодический сигнал жизнедеятельности,
- средство (20) экстрактора для извлечения физиологической информации (48) из потока (76, 78, 80, 82) данных, причем средство (20) экстрактора получает множество элементов (50) характеристических показателей из потока (76, 78, 80, 82) данных, множество элементов (50) характеристических показателей характеризуют физиологическую информацию (48) и помеховую составляющую (58) сигнала, причем множество элементов (50) характеристических показателей связано с сигнальным пространством (36), представляющим характеристики электромагнитного излучения (14), причем сигнальное пространство (36) содержит заданный элемент (46) показателя, имеющий установленную ориентацию, характеризующую ссылочную физиологическую информацию, заданный элемент (46) показателя является, по меньшей мере, пригодным для приблизительного определения посредством определения в восходящем потоке соответствующих ссылочных значений,
- средство (22) преобразователя для преобразования множества элементов (50) характеристических показателей, проецируя их на элемент (64) показателя с пониженной помехой, полученный из заданной ориентации и длины множества элементов (50) характеристических показателей, причем элемент (64) показателя с пониженной помехой имеет отличительную ориентацию относительно предполагаемой ориентации помеховой составляющей (58) сигнала, в котором элемент (64) показателя с пониженной помехой определяется путем оптимизации выражения с учетом ориентации заданного элемента (46) показателя, и
- средство (16) датчика для обнаружения электромагнитного излучения (14) в пределах по меньшей мере одного конкретного диапазона длин волн, выбранного из группы, содержащей видимый свет, инфракрасный свет и ультрафиолетовое излучение, причем средство (16) датчика выполнено с возможностью соединения с интерфейсом (18), и средством (16) датчика является видеокамера,
- при этом средство (22) преобразователя дополнительно выполнено с возможностью определения элемента (64) показателя с подавленной помехой, определяя набор данных, содержащий набор значений элементов характеристических показателей, полученных средством (20) экстрактора, и выполняя преобразование, предпочтительно, по существу, ортогональное линейное преобразование, набора данных в систему координат, в которой его доминирующая составляющая выровнена с осью системы координат, и в которой доминирующая составляющая совпадает с элементом (64) показателя с пониженной помехой, причем элемент (64) показателя с пониженной помехой определяется путем минимизации энергии спроецированных элементов (66) характеристических показателей во временном интервале.

2. Устройство по п. 1, дополнительно содержащее средство (24) анализа для определения изменения во времени спроецированного элемента (66) показателя и для обнаружения по меньшей мере одного, по меньшей мере, частично периодического сигнала (12) жизнедеятельности, представленного физиологической информацией (48).

3. Устройство по п. 2, в котором средство (24) анализа дополнительно выполнено с возможностью компенсации углового смещения (70) между спроецированным элементом (66) показателя и заданным элементом (46) показателя, имеющим установленную ориентацию.

4. Устройство по п. 1, в котором множество элементов (50) характеристических показателей является набором разностных векторов, представляющих изменения во времени непрерывного или дискретного характеристического сигнала (13) в сигнальном пространстве (36).

5. Устройство по п. 4, в котором средство (16) датчика содержит камеру, выполненную с возможностью регистрации сигнала в сигнальном пространстве (36), выбранном из группы, содержащей RGB, sRGB, хроматичность Rg, HSV, HSL, CMYK, YPbPr, YCbCr и xvYCC.

6. Устройство по п. 1, в котором по меньшей мере один, по меньшей мере, частично периодический сигнал (12) жизнедеятельности выбран из группы, содержащей сердцебиение, частоту дыхания и изменчивость частоты сердечных сокращений.

7. Устройство по п. 1, в котором сигнальное пространство (36) является нормализованным цветовым пространством, в котором по меньшей мере одна степень (38, 40, 42) свободы, по меньшей мере, временно компенсируется процессом нормализации.

8. Устройство по п. 1, в котором средство (20) экстрактора дополнительно содержит средство нормализации для преобразования потока (76, 78, 80, 82) данных в сигнальное пространство (36) путем нормализации фактических значений яркости, включенных в поток (76, 78, 80, 82) данных путем применения соответствующей определенной комбинации основных цветов к представляющим цвета составляющим потока данных, и/или путем нормализации цветовой интенсивности потока (76, 78, 80, 82) данных, применяя соответствующие средние по времени значения потока данных к фактическим значениям представляющих цвета составляющих потока.

9. Устройство по п. 2, в котором средство (24) анализа дополнительно содержит средство фильтра для фильтрации потока (76, 78, 80, 82) данных и для улучшения сигнальной составляющей (106) в полосе частот шириной между 0,2 Гц и 10 Гц, предпочтительно между 0,5 Гц и 3,5 Гц.

10. Устройство по п. 2, дополнительно содержащее процессор (26), содержащий средство (20) экстрактора, средство (22) преобразователя (22) и средство (24) анализа.

11. Устройство по п. 1, в котором весовая функция применяется для определения элемента (64) показателя с пониженной помехой, чтобы свести элемент (64) показателя с пониженной помехой к заданному элементу (46) показателя.

12. Устройство по п. 1, в котором элемент (64) показателя с пониженной помехой соответствует вектору z, причем вектор z определяется способами мультивариантной статистики, так что выражение минимизируется, матрица S содержит стек из множества разностных строчных векторов S^T′ и вектор s соответствует элементу (50) характеристического показателя.

13. Способ немешающего дистанционного контроля для извлечения информации из обнаруженных характеристических сигналов, содержащий этапы, на которых:
- принимают поток (76, 78, 80, 82) данных, содержащий последовательность кадров изображения, получаемый из электромагнитного излучения (14), испускаемого или отраженного объектом (11), причем последовательность кадров изображения содержит непрерывный или дискретный характеристический сигнал (13), содержащий физиологическую информацию (48), причем физиологическая информация (48) представляет по меньшей мере один, по меньшей мере, частично периодический сигнал (12) жизнедеятельности, причем электромагнитное излучение (14) обнаруживают средством (16) датчика для обнаружения электромагнитного излучения (14) в пределах по меньшей мере одного конкретного диапазона длин волн, выбранного из группы, содержащей видимый свет, инфракрасный свет и ультрафиолетовое излучение, средство (16) датчика выполнено с возможностью соединения с интерфейсом (18), и средством (16) датчика является видеокамера,
- извлекают физиологическую информацию (48) из потока (76, 78, 80, 82) данных посредством получения множества элементов (50) характеристических показателей из потока (76, 78, 80, 82) данных, множество элементов (50) характеристических показателей характеризуют физиологическую информацию (48) и помеховую составляющую (58) сигнала, причем множество элементов (50) характеристических показателей связано с сигнальным пространством (36), представляющим характеристики электромагнитного излучения (14), причем сигнальное пространство (36) содержит заданный элемент (46) показателя, имеющий установленную ориентацию, характеризующую ссылочную физиологическую информацию, заданный элемент (46) показателя является, по меньшей мере, пригодным для приблизительного определения посредством определения в восходящем потоке соответствующих ссылочных значений,
- преобразуют множество элементов (50) характеристических показателей, проецируя их на элемент (64) показателя с пониженной помехой, полученный из заданной ориентации и длины множества элементов (50) характеристических показателей, причем элемент (64) показателя с пониженной помехой имеет отличительную ориентацию относительно предполагаемой ориентации помеховой составляющей (58) сигнала, элемент (64) показателя с пониженной помехой определяют путем оптимизации выражения с учетом ориентации заданного элемента (46) показателя, при этом определение элемента (64) показателя с подавленной помехой содержит определение набора данных, содержащего набор значений элементов характеристических показателей, и выполнение преобразования, предпочтительно, по существу, ортогонального линейного преобразования, набора данных в систему координат, в которой его доминирующая составляющая выровнена с осью системы координат, и в которой доминирующая составляющая совпадает с элементом (64) показателя с пониженной помехой, при этом элемент (64) показателя с пониженной помехой определяют путем минимизации энергии спроецированных элементов (66) характеристических показателей во временном интервале.

14. Носитель данных, содержащий программные коды для предписания компьютеру выполнять этапы способа, заявленного в п. 13, когда упомянутые программные коды выполняются на компьютере.