ОБНАРУЖЕНИЕ СИГНАЛА СО СНИЖЕННЫМ ИСКАЖЕНИЕМ Российский патент 2016 года по МПК G06K9/20 A61B5/55 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству и способу для извлечения информации из сигналов характеристик, где сигналы характеристик встраиваются в поток данных, извлекаемый из электромагнитного излучения, в частности, где поток данных содержит непрерывный или дискретный, контролируемый по времени сигнал характеристики, где сигнал характеристики содержит по меньшей мере две основные составляющие, ассоциированные с пространством сигналов, причем пространство сигналов содержит дополняющие каналы для представления сигнала характеристики, причем основные составляющие сигнала характеристики связаны с соответствующими дополняющими каналами пространства сигналов. Изобретение дополнительно рассматривает обнаружение сигнала со сниженным искажением.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

WO 2011/021128 A2 раскрывает способ и систему для анализа изображений, включающие в себя:

- получение последовательности изображений;

- выполнение видеоанализа по меньшей мере одного из последовательности изображений, чтобы получить данные для классификации состояния субъекта, представленного на изображениях;

- определение по меньшей мере одного значения физиологического параметра живого существа, представленного по меньшей мере на некотором из последовательности изображений, где по меньшей мере одно значение физиологического параметра определяется посредством анализа данных изображений из той же последовательности изображений, из которой взято по меньшей мере одно изображение, которое подвергается видеоанализу; и

- классификацию состояния субъекта с использованием данных, полученных с помощью видеоанализа, и по меньшей мере одного значения физиологического параметра.

Документ дополнительно раскрывает несколько уточнений способа и системы. Например, предусмотрено использование фотоплетизмографического дистанционного (PPG) анализа. Вообще, в области обработки изображений сделаны большие успехи в том, что стали возможными глубокие анализы записанных данных. В этом смысле можно было бы предусмотреть извлечение информации из записанных данных некоторым образом, чтобы сделать возможным подробные выводы касательно физического состояния или даже здоровья наблюдаемого индивидуума.

WO 2011/042858 A1 раскрывает еще один способ и систему, направленные на обработку сигнала, включающего в себя по меньшей мере составляющую, представляющую периодическое явление в живом существе. Дополнительные базовые подходы к дистанционной фотоплетизмографии описываются в работе Verkruysse, W. и др. (2008), ″Remote plethysmographic imaging using ambient light″ в Optics Express, Optical Society of America, Washington, D.C., USA, том 16, № 26, стр. 21434-21445.

Однако записанные данные, например, зарегистрированное отраженное или выпущенное электромагнитное излучение, главным образом записанные кадры изображения, всегда помимо нужного сигнала, который необходимо извлечь из них, содержат дополнительные составляющие сигнала, получающиеся из общих возмущений, например, шума из-за меняющихся условий освещенности или перемещения наблюдаемых объектов. Поэтому подробное точное извлечение нужных сигналов по-прежнему создает значительные проблемы для обработки таких данных.

Хотя сделаны значительные успехи в области производительности вычислений, по-прежнему имеется проблема в обеспечении мгновенного распознавания изображений и обработки изображений, дающих возможность немедленного, так сказать, оперативного обнаружения нужных жизненно важных сигналов. Это относится, в частности, к приложениям для мобильных устройств, обычно не имеющим достаточной вычислительной мощности. Кроме того, в некоторых приложениях пропускная способность данных может ограничиваться.

Возможный подход к этой проблеме может быть направлен на предоставление хорошо подготовленных и стабильных условий окружающей среды при регистрации интересующего сигнала, в который включена нужная составляющая сигнала, чтобы минимизировать наложение возмущающих составляющих сигнала на этот сигнал. Однако такие лабораторные условия нельзя перенести на ежедневную эксплуатацию, так как для этого потребовались бы большие усилия и подготовительная работа.

В конечном счете обнаружение жизненно важных сигналов становится даже сложнее, когда амплитуды и/или номинальные значения возмущающих составляющих сигнала гораздо больше, чем амплитуды и/или номинальные значения нужных составляющих сигнала, которые будут извлечены. Теоретически, величина разницы между соответствующими составляющими может предполагаться содержащей даже несколько порядков. Это относится, в частности, к дистанционной PPG.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Поэтому цель настоящего изобретения - предоставить систему и способ для извлечения информации из обнаруженных сигналов характеристик, предоставляющей дополнительные уточнения, облегчающие получение нужных сигналов с большей точностью.

Кроме того, было бы полезно предоставить устройство и способ, приспособленные для обеспечения извлечения нужных сигналов при довольно плохих условиях окружающей среды, например малом отношении сигнал-шум, изменяющихся условиях освещенности и/или равномерных или даже неравномерных перемещениях объекта, который будет наблюдаться. Еще было бы полезно предоставить устройство, приспособленное для меньшей восприимчивости к возмущениям, влияющим на зарегистрированные сигналы, которые будут обрабатываться и анализироваться.

В первом аспекте настоящего изобретения представляется система для извлечения информации из обнаруженных сигналов характеристик, причем система содержит:

- интерфейс для приема потока данных, извлекаемого из электромагнитного излучения, отраженного объектом, причем поток данных содержит непрерывный или дискретный контролируемый по времени сигнал характеристики, сигнал характеристики содержит по меньшей мере две основные составляющие, ассоциированные с пространством сигналов, причем пространство сигналов содержит дополняющие каналы для представления сигнала характеристики, причем основные составляющие сигнала характеристики связаны с соответствующими дополняющими каналами пространства сигналов,

- средство преобразования для отображения сигнала характеристики в заданное представление составляющей с учетом по существу линейной алгебраической модели состава сигнала, чтобы задать линейное алгебраическое уравнение, причем сигнал характеристики по меньшей мере по существу состоит из составляющей физиологического отражения и составляющей возмущающего отражения, где составляющая физиологического отражения содержит часть базового отражения, свойственную базовым физиологическим свойствам объекта, который должен находиться под наблюдением, и часть индикативного отражения, свойственную по меньшей мере одному, по меньшей мере частично периодическому жизненно важному сигналу,

- где часть базового отражения содержит индексный элемент базового отражения и коэффициент базового отражения,

- где часть индикативного отражения содержит индексный элемент индикативного отражения и зависящий от времени коэффициент индикативного отражения, причем коэффициент индикативного отражения является высокопоказательным по меньшей мере для одного, по меньшей мере частично периодического жизненно важного интересующего сигнала,

- где составляющая возмущающего отражения содержит индексный элемент возмущающего отражения и коэффициент возмущающего отражения,

- средство обработки для по меньшей мере частичного решения линейного алгебраического уравнения с учетом по меньшей мере приблизительной оценки ориентации индексного элемента базового отражения, индексного элемента индикативного отражения и индексного элемента возмущающего отражения, чтобы вывести выражение, высокопоказательное по меньшей мере для одного, по меньшей мере частично периодического жизненно важного сигнала, причем высокопоказательное выражение по меньшей мере содержит коэффициент индикативного отражения.

Условия с движением объекта и меняющимся освещением создают значительные проблемы для обнаружения сигнала, в частности, когда требуется мгновенное обнаружение сигнала. Например, обнаруженные изменения освещения могут быть вызваны движением объекта. Это имеет место, в частности, когда слежение за объектом подвергается ограничениям, например, временной задержке, или даже когда освещение является подходящим только в очень небольшой области. Кроме того, условия освещения могут ухудшаться из-за нестабильных источников освещения, например, меняющегося окружающего света. Это относится, в частности, к обнаружению сигнала на основе дистанционно зарегистрированных данных.

Настоящее изобретение основывается на понимании того, что сигналы характеристик можно разложить на части сигнала, свойственные нескольким явлениям. Учитывая эту взаимосвязь, извлечение сигнала можно улучшить в том, что могут применяться оценки касательно ориентации нескольких частей сигнала, чтобы упростить лежащую в основе проблему.

Другими словами, при ″отображении″ сигнала характеристики в заданное представление составляющей и ″разделении″ сигнала на индексные элементы (например, единичные векторы) и коэффициенты, представляющие соответствующие величины, сложный вопрос можно перенести на некое выражение, содержащее упрощенные подвопросы. Поэтому обработку данных можно сосредоточить на этих подвопросах. Предположения и оценки могут быть направлены на подвопросы и могут, по меньшей мере частично, вносить вклад в рассмотрение сложного вопроса. В частности, можно в некоторой степени оценить ориентацию составляющей возмущающего отражения. Следовательно, можно по меньшей мере частично компенсировать составляющую возмущающего отражения в сигнале характеристики. Таким образом можно повысить отношение сигнал-шум. Таким образом, можно упростить идущий далее анализ сигналов даже при довольно трудных условиях.

Поток данных может содержать последовательность данных, например последовательность кадров изображения, содержащих цветовую информацию, например RGB-изображения. Кадры изображения могут представлять интересующий объект и дополнительные элементы. В основном дополнительные элементы не показательны для нужных сигналов, которые будут извлечены из потока данных. В этой связи можно представить, что сигнал характеристики содержит три (например, R, G и B) или даже больше основных составляющих.

Существует несколько вариантов осуществления средства преобразования и средства обработки. В первом, довольно простом варианте осуществления средство преобразования и средство обработки реализуются блоком обработки, в частности, блоком обработки персонального компьютера или мобильного устройства, который управляется соответствующими логическими командами. Такой блок обработки также может содержать подходящие интерфейсы ввода и вывода.

Однако в альтернативном варианте каждое из средства преобразования и средства обработки можно реализовать отдельным блоком обработки, управляемым соответствующими командами. Поэтому каждый соответствующий блок обработки можно приспособить для специального назначения. Следовательно, может применяться распределение задач, где отдельные задачи обрабатываются, например, исполняются на одном процессоре многопроцессорного блока обработки, либо, снова ссылаясь на персональный компьютер, связанные с обработкой изображений задачи выполняются на процессоре изображений, тогда как остальные оперативные задачи выполняются на центральном блоке обработки.

Совершенно очевидно, что дополнительные меры по оптимизации сигналов могут применяться к потоку данных, содержащему сигналы характеристик. Эти меры могут содержать компенсацию движения, обнаружение образов, например обнаружение лица, или меры по нормализации. Нормализация может представить составляющие сигнала по меньшей мере частично независимыми от общих возмущений. В этой ситуации напомним, что при обычном условии интересующие сигналы довольно слабые по сравнению с непоказательными возмущениями. Кроме того, предшествующие и/или последующие фильтры могут использоваться, чтобы ослабить потенциально непоказательные части потока данных.

В соответствии с дополнительным аспектом устройства по меньшей мере один, по меньшей мере частично периодический жизненно важный сигнал выбирается из группы, состоящей из частоты сердечных сокращений, сердечного сокращения, частоты дыхания, вариабельности частоты сердечных сокращений, волн Траубе-Геринга-Мейера и насыщения кислородом, и где пространство сигналов является аддитивным или субтрактивным пространством цветовых сигналов, где по меньшей мере две основные составляющие представляют соответствующие отдельные цветовые составляющие, указанные дополняющими каналами, где дополняющие каналы относятся к заданным спектральным частям.

Преимущественно, что по меньшей мере некоторые из этих жизненно важных сигналов можно преобразовывать друг в друга. Небольшие пульсации или колебания сигналов характеристик можно анализировать и интерпретировать, чтобы прийти к обнаружению нужных жизненно важных сигналов. Кроме того, подразумевается, что обычно нужный жизненно важный сигнал (сигналы) можно вывести прямо или косвенно по меньшей мере из одного, по меньшей мере частично периодического сигнала, который демонстрирует интересующий объект. Совершенно очевидно, что устройство и способ из изобретения можно объединить с дополнительными мерами по обнаружению и анализу, чтобы дополнительно улучшить извлечение сигнала.

Например, может применяться пространство RGB-сигналов. Альтернативные пространства сигналов могут содержать или выводиться из сигналов YUV, CIE XYZ, HSV, HSL, sRGB и xvYCC. Также могут использоваться их производные. Следует отметить, что в основном линейные RGB-сигналы могут использоваться для обнаружения нужного сигнала. Поэтому нелинейные пространства сигналов (например, сигналы с гамма-коррекцией) можно преобразовать соответствующим образом. Можно еще предусмотреть объединение нескольких отдельных пространств сигналов, по меньшей мере частично, чтобы предоставить более широкую спектральную основу для необходимых анализирующих процессов. Например, с тем же успехом могут применяться так называемые RGBY-сигналы. В пространстве RGBY-сигналов, в дополнение к красному, зеленому и синему, сигналы желтого также могут нести цветовую информацию.

Если входной поток данных имеет отношение к субтрактивной цветовой модели, например CMYK, то данные могут передаваться соответствующим образом, чтобы прийти к аддитивному пространству сигналов.

Дополнительные спектральные составляющие могут использоваться для извлечения нужного жизненно важного сигнала (сигналов) из потока данных. В этой связи также могут применяться составляющие инфракрасного излучения. Например, отношение между сигналом красного и инфракрасным сигналом может быть высокопоказательным для нужных сигналов. Также инфракрасное излучение может подвергаться зеркальному отражению. Также можно представить добавление инфракрасных сигналов в пространство RGB-сигналов.

В соответствии с еще одним аспектом устройство содержит средство извлечения для извлечения жизненно важного сигнала из вычисленного высокопоказательного выражения, и предпочтительно, чтобы жизненно важный сигнал извлекался с учетом коэффициента индикативного отражения или отношения коэффициента индикативного отражения и коэффициента базового отражения.

Например, коэффициент индикативного отражения можно разделить на коэффициент базового отражения или среднее коэффициента базового отражения. Таким образом можно добиться подходящей нормализации интенсивности. Следовательно, нужный сигнал может стать сглаженным, что могло бы считаться желательным для дальнейших мер по обработке сигналов.

В соответствии с другим преимущественным вариантом осуществления устройства часть базового отражения является по меньшей мере высокопоказательной для среднего цвета ткани, который демонстрирует интересующий объект, где часть индикативного отражения является по меньшей мере высокопоказательной по меньшей мере для частично периодической пульсации цвета ткани интересующего объекта, и где составляющая возмущающего отражения является по меньшей мере высокопоказательной для возмущающего зеркального отражения.

Например, значительную часть связанных с освещением возмущений можно объяснить зеркальным отражением. Зеркальное отражение является ″идеальным″ отражением падающего излучения на границе раздела. В основном, падающий луч соответствует отраженному лучу. Угол отражения равен углу падения. Другими словами, зеркальное отражение подразумевает зеркально подобное отражение на поверхностях и границах раздела. Кроме того, отраженный луч является высокопоказательным для источника электромагнитного излучения, а именно источника освещения. Эта взаимосвязь может использоваться для создания и решения линейного алгебраического уравнения, представляющего модель состава сигнала характеристики.

Подразумевается, что преимущественно диффузное отражение предоставляет нужные жизненно важные сигналы. Диффузное отражение большей частью содержит отражение тела, а не отражение границы раздела. Например, на отражение тела влияют небольшие изменения цвета интересующей области тела. Изменения цвета могут вызываться, среди прочего, сосудистой пульсацией вследствие кровообращения. Из этого можно вывести нужные жизненно важные сигналы. Кроме того, падающее излучение может в некоторой степени поглощаться. Однако обнаруживаемые отраженные сигналы, скорее всего, содержат часть возмущающего зеркального отражения. Зеркальное отражение в основном ″зеркально отображает″ падающее излучение без влияния свойств объекта, наличествующих за границей раздела, например верхней стороной кожи. В особенности потеющие области кожи и жирные или сальные области кожи очень восприимчивы к зеркальным отражениям. В некоторых обстоятельствах, например спортивные упражнения, тренировки, тяжелая физическая работа или даже заболевание, большая часть электромагнитного излучения, отраженного объектом, может относиться к зеркальному отражению. Таким образом, сигнал характеристики может предполагаться имеющим плохое, то есть умеренно небольшое отношение сигнал-шум.

В соответствии с еще одним аспектом устройства оцененный индексный элемент индикативного отражения получается с учетом выражения, содержащего оценку индексного элемента базового отражения, и нормализованного выражения заранее заданного типового индексного элемента индикативного отражения.

Начальная или скользящая оценка примерного индексного элемента индикативного отражения, объединенная с соответствующей нормализацией, чтобы избежать зависимых от типа кожи влияний, может считаться подходящим подходом к решению линейного алгебраического уравнения, созданного средством преобразования.

Нужно понимать, что заранее заданный типовой индексный элемент индикативного отражения, полученный во время типовых измерений, может дать возможность определения дополнительных индексных элементов индикативного отражения у объектов, которые будут наблюдаться, когда определяется соответствующий индексный элемент базового отражения. В основном индексный элемент базового отражения может использоваться для нужной оценки индексного элемента индикативного отражения. Нормализация, примененная к типовому индексному элементу индикативного отражения, может быть направлена на ослабление зависимых от типа кожи влияний, по меньшей мере до некоторой степени. Следовательно, нормализованный (независимый от типа кожи) индексный элемент индикативного отражения можно объединить с индексным элементом базового отражения, чтобы ″заменить″ настоящий индексный элемент индикативного отражения.

В соответствии с полезным альтернативным подходом оцененный индексный элемент индикативного отражения считается ортогональным плоскости сигнала, образованной индексным элементом базового отражения и индексным элементом возмущающего отражения, где оцененный индексный элемент возмущающего отражения по меньшей мере в основном совпадает с индексным элементом яркости, указывающим характеристики источника электромагнитного излучения, воздействующего на интересующий объект.

Как упоминалось выше, зеркальное отражение в основном ″зеркально отображает″ падающее излучение. Следовательно, индексный элемент возмущающего отражения может считаться демонстрирующим цвет источника излучения, излучающего отраженное излучение. Обычно источником излучения излучается по существу белый свет. В результате для зеркального отражения зеркально отраженное излучение, обнаруженное датчиком, также демонстрирует белое излучение (свет). При сборе основных составляющих индикативного шаблона, чтобы прийти к сигналам характеристик, связанная с зеркальным отражением составляющая возмущающего отражения в основном вызывает ″смещение сигнала″, совпадающее с индексным элементом возмущающего отражения. Длина (или величина) смещения сигнала может относиться к доле индикативного шаблона, подвергнутой зеркальному отражению. Для белого света индексный элемент возмущающего отражения может считаться параллельным диагональному вектору, пересекающему пространство сигналов, причем диагональный вектор представляет характеристику источника излучения. Если применяется (унитарное) пространство RGB-сигналов, то диагональный вектор в основном начинается в точке черного, например (0,0,0), и заканчивается точке белого, например (1,1,1), в пространстве сигналов. Поэтому индексный элемент возмущающего отражения можно представить вектором (1,1,1). Совершенно очевидно, что нормализация (длины) может применяться к соответствующему вектору, поскольку индексный элемент возмущающего отражения указывает направление (то есть пространственную ориентацию), а не отдельное выражение значения, содержащее информацию о длине.

Если весь собранный шаблон подвергается зеркальному отражению, то сигнал характеристики по существу соответствует составляющей возмущающего отражения, которая может считаться равной диагональному вектору. Если наблюдаемый шаблон только частично затронут зеркальным отражением, то сигнал характеристики частично состоит из составляющей возмущающего отражения, которая может считаться параллельной диагональному вектору, но соответственно короче его.

Следует понимать, что ″диагональный вектор″ можно приспособить соответствующим образом, если применяется не белый свет.

Дополнительное предположение, что оцененный индексный элемент индикативного отражения может считаться ортогональным плоскости, образованной индексным элементом базового отражения и индексным элементом возмущающего отражения, является адекватным допущением, поскольку колебания нужного жизненно важного сигнала в сигнале можно предположить не параллельными ни индексному элементу базового отражения, ни индексному элементу возмущающего отражения. Другими словами, допущение того, что индексный элемент индикативного отражения может считаться (нормализованным) векторным произведением индексного элемента базового отражения и индексного элемента возмущающего отражения, является полезным подходом, если нормализованное выражение (заранее заданного) типового индексного элемента индикативного отражения нельзя определить заранее.

В соответствии с еще одним дополнительным аспектом оцененный индексный элемент базового отражения выводится из собранных основных составляющих сигнала характеристики индикативной области интересующего объекта, где оцененный индексный элемент возмущающего отражения по меньшей мере в основном совпадает с индексным элементом яркости, указывающим характеристики источника электромагнитного излучения, воздействующего на интересующий объект, и предпочтительно, чтобы устройство дополнительно приспосабливалось для применения начального определения индексного элемента базового отражения при наблюдении интересующего объекта.

Например, можно наблюдать лицевую часть интересующего объекта. При слежении за лицевой частью может применяться нормализация, чтобы суммировать одиночные значения (пикселей) соответствующего шаблона (пикселей), покрывающего лицевую часть. Следовательно, сигнал характеристики может содержать одно собранное значение. Сигнал характеристики можно нормализовать таким образом по движению объекта и/или меняющемуся освещению.

В соответствии с полезной разновидностью этого варианта осуществления оцененный индексный элемент индикативного отражения считается по меньшей мере по существу ортогональным индексному элементу базового отражения и по меньшей мере по существу ортогональным индексному элементу возмущающего отражения.

В соответствии с еще одним дополнительным вариантом осуществления логарифмическое представление сигнала применяется к заданному представлению составляющей, и предпочтительно, чтобы предполагаемое отношение между коэффициентом базового отражения и коэффициентом возмущающего отражения учитывалось для определения коэффициента индикативного отражения.

Этот вариант осуществления может быть особенно удобным также при использовании пространств сигналов, содержащих логарифмические шкалы. Например, пространство logRGB-сигналов может применяться для представления сигналов характеристик. Вообще, логарифмическое представление данных может справиться с предполагаемыми плохими отношениями сигнал-шум путем уменьшения представления широкомасштабных значений до меньших масштабов. Кроме того, логарифмы могут упростить вычисление данных, поскольку сложные вычисления можно заменить или по меньшей мере приблизительно заменить упрощенными вычислительными операциями с логарифмическими значениями. Кроме того, логарифмическое представление данных допускает еще более упрощенные представления, например, ряд Тейлора. Поэтому, например, для обработки данных, в основном опирающейся на отношение двух отдельных значений, это отношение можно перенести на логарифмическое представление, которое можно перенести на (приближенный) ряд Тейлора. Следовательно, термин ″деление″ можно легко заменить термином ″разность″.

В соответствии с разновидностью этого варианта осуществления замена базиса применяется к заданному представлению составляющей, чтобы гарантировать, что среднее значение коэффициента индикативного отражения больше нуля, где жизненно важный сигнал можно вывести из преобразованного представления коэффициента индикативного отражения.

В соответствии с другим аспектом изобретения обработка данных дополнительно содержит нормализацию сигнала характеристики с учетом индексного элемента базового отражения.

В соответствии с дополнительным аспектом изобретения индексный элемент возмущающего отражения получается с учетом выражения, содержащего заранее заданное нормализованное значение индексного элемента базового отражения, полученное с учетом предполагаемой стандартной ориентации индексного элемента яркости, указывающего характеристики источника электромагнитного излучения, воздействующего на интересующий объект.

В этой связи следует понимать, что в некоторых случаях может рассматриваться оцененный (общий) индексный элемент базового отражения. Например, когда источник излучения в основном излучает белый свет, индексный элемент базового отражения может оцениваться как независимый от типа кожи интересующего объекта, по меньшей мере до некоторой степени. Учитывая эту оценку, фактический индексный элемент базового отражения можно заменить оцененным индексным элементом базового отражения для дальнейшей обработки.

В соответствии с дополнительной полезной разновидностью устройство дополнительно содержит средство буферизации для буферизации сигнала характеристики и результирующего представления коэффициента базового отражения, коэффициента индикативного отражения и коэффициента возмущающего отражения на заданный период, где средство обработки дополнительно приспособлено для применения преобразования Фурье к буферизованному коэффициенту индикативного отражения, чтобы определить его доминантные частотные составляющие, где коэффициент базового отражения, коэффициент индикативного отражения и коэффициент возмущающего отражения переносятся в преобразованное представление сигнала, содержащее скалярные произведения соответствующих коэффициентов, где индексный элемент индикативного отражения определяется с учетом преобразованного представления сигнала.

Коэффициент индикативного отражения таким образом можно оценить на приемлемость для дальнейшей обработки сигналов. В основном, когда преобразование Фурье буферизованного коэффициента индикативного отражения показывает четкий максимум сигнала, связанный с соответствующей частотой, к коэффициенту индикативного отражения может применяться дальнейшая обработка. В этой связи можно было бы предусмотреть применение некой пороговой величины к отношению наибольшего максимума сигнала и дальнейших максимумов сигнала. Таким образом может определяться доминантная частота.

В дополнительном аспекте настоящего изобретения представляется способ для извлечения информации из обнаруженных сигналов характеристик, содержащий этапы:

- приема потока данных, извлекаемого из электромагнитного излучения, отраженного объектом, причем поток данных содержит непрерывный или дискретный контролируемый по времени сигнал характеристики, сигнал характеристики содержит по меньшей мере две основные составляющие, ассоциированные с пространством сигналов, причем пространство сигналов содержит дополняющие каналы для представления сигнала характеристики, причем основные составляющие сигнала характеристики связаны с соответствующими дополняющими каналами пространства сигналов,

- отображения сигнала характеристики в заданное представление составляющей с учетом по существу линейной алгебраической модели состава сигнала, чтобы задать линейное алгебраическое уравнение, причем сигнал характеристики по меньшей мере в основном состоит из составляющей физиологического отражения и составляющей возмущающего отражения, где составляющая физиологического отражения содержит часть базового отражения, свойственную базовым физиологическим свойствам объекта, который должен находиться под наблюдением, и часть индикативного отражения, свойственную по меньшей мере одному, по меньшей мере частично периодическому жизненно важному сигналу,

- где часть базового отражения содержит индексный элемент базового отражения и коэффициент базового отражения,

- где часть индикативного отражения содержит индексный элемент индикативного отражения и зависящий от времени коэффициент индикативного отражения, причем коэффициент индикативного отражения является высокопоказательным по меньшей мере для одного, по меньшей мере частично периодического жизненно важного интересующего сигнала,

- где составляющая возмущающего отражения содержит индексный элемент возмущающего отражения и коэффициент возмущающего отражения,

- частичного решения линейного алгебраического уравнения с учетом по меньшей мере приблизительной оценки ориентации индексного элемента базового отражения, индексного элемента индикативного отражения и индексного элемента возмущающего отражения, чтобы вывести выражение, высокопоказательное по меньшей мере для одного, по меньшей мере частично периодического жизненно важного сигнала, причем высокопоказательное выражение по меньшей мере содержит коэффициент индикативного отражения.

Преимущественно, что способ может выполняться с использованием устройства из изобретения для извлечения информации.

В соответствии с еще одним аспектом изобретения представляется компьютерная программа, причем компьютерная программа содержит средство программного кода для побуждения компьютера выполнить этапы способа из изобретения для извлечения информации, когда упомянутая компьютерная программа выполняется на компьютере.

Предпочтительные варианты осуществления изобретения задаются в зависимых пунктах формулы изобретения. Нужно понимать, что заявленный способ содержит сходные и/или идентичные предпочтительные варианты осуществления, как и заявленное устройство, как задано в зависимых пунктах формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения станут очевидными и разъясненными со ссылкой на варианты осуществления, описанные ниже. На следующих чертежах

Фиг. 1 показывает схематическую иллюстрацию общей схемы устройства, в котором может использоваться настоящее изобретение,

Фиг. 2 показывает схематическую иллюстрацию модели отражательной способности, использующей подход с отражением тела и отражением границы раздела,

Фиг. 3 показывает дополнительную типовую схематическую иллюстрацию модели отражательной способности,

Фиг. 4a показывает типовую схематическую иллюстрацию пространства сигналов, содержащего индексный элемент, представляющий сигнал характеристики,

Фиг. 4b показывает дополнительную типовую упрощенную схематическую иллюстрацию пространства сигналов с целью объяснения, и

Фиг. 5 показывает схематическую иллюстрацию системы, содержащей преобразование сигналов и обработку сигналов.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Фиг. 1 показывает схематическую иллюстрацию устройства для извлечения информации, которое обозначается позиционным обозначением 10. Например, устройство 10 может использоваться для записи или обработки кадров изображения, представляющих удаленный объект 12 для наблюдения с помощью дистанционной PPG. Кадры изображения можно вывести из электромагнитного излучения 14, отраженного объектом 12. Объект 12 может быть человеком либо животным или, в общем, живым существом. Кроме того, объект 12 может быть частью человека, высокопоказательной для нужного сигнала, например, лицевой частью или, в общем, кожной частью.

На объект 12 может воздействовать источник излучения, например солнечный свет 16a или источник 16b искусственного излучения, а также сочетание нескольких источников излучения. Источник 16a, 16b излучения в основном испускает падающее излучение 18a, 18b, проникающее в объект 12. Для извлечения информации из записанных данных, например последовательности кадров изображения, заданная часть объекта 12 может обнаруживаться датчиком 24. Датчик 24 может быть реализован, в качестве примера, с помощью камеры, приспособленной для регистрации информации, принадлежащей по меньшей мере спектральной составляющей электромагнитного излучения 14. Совершенно очевидно, что устройство 10 также может быть приспособлено для обработки входных сигналов, а именно входного потока данных, уже записанного заранее и, тем временем, сохраненного или буферизованного. Как указано выше, электромагнитное излучение 14 может содержать непрерывный или дискретный сигнал характеристики, который может быть высокопоказательным по меньшей мере для одного, по меньшей мере частично периодического жизненно важного сигнала 20. Сигнал характеристики может быть воплощен во (входном) потоке 26 данных. Для регистрации данных потенциально показательная часть объекта 12 может маскироваться с помощью шаблона 22 пикселей. При сборе соответствующих одиночных значений пикселей у аддитивных составляющих можно вывести среднее значение пикселя из шаблона 22 пикселей. Таким образом, обнаруженные сигналы можно нормализовать и в какой-то степени компенсировать нежелательное движение объекта. Среднее значение пикселя можно представить с помощью сигнала характеристики. Ниже зарегистрированный поток 26 данных может считаться представлением некой интересующей области объекта 12, которая может охватывать одиночный пиксель или, предпочтительно, объединенную область пикселей, охватывающую множество пикселей.

На фиг. 1 жизненно важный сигнал 20 может позволить сделать несколько выводов касательно частоты сердечных сокращений, сердечного сокращения, вариабельности частоты сердечных сокращений, частоты дыхания или даже насыщения кислородом.

Распространенные способы для получения таких жизненно важных сигналов могут содержать, например, тактильное наблюдение частоты сердечных сокращений, электрокардиографию или пульсовую оксиметрию. Однако для этого необходимо вмешивающееся наблюдение. Как указано выше, альтернативный подход направлен на малозаметное дистанционное измерение с использованием способов обработки изображений.

Поток 26 данных, содержащий непрерывный или дискретный сигнал характеристики, может доставляться из датчика 24 в интерфейс 28. Разумеется, средство буферизации также можно поместить между датчиком 24 и интерфейсом 28. После интерфейса 28 может предоставляться входной фильтр 32, в который может доставляться поток 30 данных. Входной фильтр 32 может считаться необязательным, что указывается пунктирной линией. Входной фильтр 32 может быть приспособлен для фильтрации доставленного в него потока 30 данных. Например, входной фильтр может содержать средство полосовой фильтрации, фильтрации верхних частот и/или фильтрации нижних частот. Для некоторых подходов входная фильтрация может считаться подходящей мерой, чтобы удалить нежелательные части (частот) из потока данных, по меньшей мере в некоторой степени. Входной фильтр 32 может быть реализован посредством аппаратных средств или программного обеспечения. Таким образом можно получить отфильтрованный поток 34 данных.

Отфильтрованный поток 34 данных может доставляться в средство 36 преобразования, чтобы построить заданное представление данных с учетом (предполагаемых) составляющих потока 26, 30, 34 данных. С этой целью сигнал характеристики, содержащийся в потоке 26, 30, 34 данных, по существу приравнивается к модели состава сигнала, которая заключает в себя составляющую физиологического отражения и составляющую возмущающего отражения. Кроме того, составляющая физиологического отражения может относиться к части базового отражения и части индикативного отражения. Часть индикативного отражения считается высокопоказательной для интересующего сигнала. Путем ″выведения″ уравнения, подразумевающего эти взаимосвязи, лежащую в основе извлечения сигнала проблему можно упростить и подготовить к дальнейшим подходящим мерам по обработке сигналов.

После средства 36 преобразования предоставляется средство 40 обработки, в которое может доставляться преобразованный поток 38 данных. Средство 36 преобразования приспособлено по меньшей мере для частичного решения уравнения, составленного средством 36 преобразования. Следовательно, можно получить обработанный поток 42 данных. Например, обработанный поток 42 данных может содержать значение, связанное с частью индикативного отражения, например выражение, указывающее временную ″мощность″ или ″энергию″ части индикативного отражения. В основном, часть индикативного отражения предполагается слегка пульсирующей в соответствии с нужным интересующим сигналом.

Обработанный поток 42 данных можно дополнительно оптимизировать с использованием необязательного средства 44 нормализации интенсивности. Нормализация интенсивности может содержать рассмотрение составляющей сигнала, предполагаемой не показательной для жизненно важного интересующего сигнала, а высокопоказательной для общих изменений интенсивности. Например, изменения интенсивности могут содержать изменяющиеся условия освещения. Следовательно, можно получить нормализованный поток 46 данных.

Выходным фильтром 48 может выполняться дополнительная необязательная мера по обработке данных. Выходной фильтр 48 может дополнительно повысить качество сигнала. Выходной фильтр 48 может содержать средство полосовой фильтрации, фильтрации верхних частот и/или фильтрации нижних частот, чтобы улучшить потенциально показательную часть (частоты) сигнала.

Отфильтрованный поток 50 данных может доставляться в средство 52 извлечения, которое может быть приспособлено для извлечения жизненно важного интересующего сигнала 20 из отфильтрованного потока 50 данных. Например, можно сравнить составляющие сигнала характеристики, включающие элемент, связанный с частью индикативного отражения, чтобы вывести показательный элемент. Следовательно, можно создать извлеченный выходной сигнал 54. Кроме того, средство 52 извлечения может быть приспособлено для дальнейшей обработки сигналов, например, обнаружения максимума доминантного сигнала, например, максимума частоты показательной для частоты сердечных сокращений.

Входной фильтр 32, средство 36 преобразования, средство 40 обработки, средство 44 нормализации интенсивности, выходной фильтр 48 и средство 52 извлечения можно реализовать совместно с помощью общего блока 56 обработки, например, центрального блока обработки, содержащего один процессор или несколько процессоров. Также к ним может подключаться интерфейс 28 в общем блоке 56 обработки, вмещающем в себя соответствующие подкомпоненты. В качестве примера блок 56 обработки может быть реализован с помощью персонального компьютера, управляемого соответствующими логическими командами. Если датчик 24 также совместно подключается к интерфейсу 28 посредством аппаратных средств, то блок регистрации, организованный на более высоком уровне, может вмещать в себя соответствующие подкомпоненты.

Однако в альтернативном варианте можно предусмотреть объединение отдельного датчика 24 с блоком 56 обработки. Это подключение может устанавливаться посредством кабельных линий связи или посредством беспроводных линий связи. Вместо датчика 24 к блоку 56 обработки также можно было бы подключить средство хранения, содержащее заранее записанные данные.

Следующий раздел описывает типовые подходы к дистанционной фотоплетизмографии, использующие несколько аспектов устройства и способа из изобретения. Следует понимать, что из контекста объяснения можно извлечь отдельные этапы и признаки показанных подходов и вариантов осуществления. Поэтому эти этапы и признаки могут быть частью отдельных вариантов осуществления, все же охватываемых объемом изобретения.

Предложено малозаметное наблюдение жизненно важных сигналов, использующее дистанционные детекторы. Например, могут использоваться видеокамеры. В качестве примера интересующие жизненно важные сигналы могут содержать частоту сердечных сокращений, сердечное сокращение или частоту дыхания. В частности, некоторые из этих попыток могут называться дистанционной фотоплетизмографией (PPG).

Возможный подход для дистанционной PPG может содержать алгоритмы, следящие за средним оттенком кожи интересующего объекта, который меняется, или колеблется, с объемом циркулирующей крови и насыщенностью крови кислородом. Однако обычно этот общий подход очень чувствителен к движению, локальным изменениям в оттенке кожи и уровню/спектру освещения, поскольку нужный сигнал становится соответственно искаженным, когда затронут воздействием этих явлений.

Так называемое аддитивное искажение может считаться огромной проблемой для этих основных подходов. В основном аддитивное искажение, например, изменение в зеркальном отражении, не содержит интересующий сигнал, например сигнал сердечного сокращения. Поэтому эффективность известных подходов и алгоритмов может значительно ухудшаться, сталкиваясь с аддитивным искажением.

Стандартная фотоплетизмография (PPG) может использоваться для получения нужных жизненно важных сигналов неинвазивным способом. Например, может наблюдаться сердечно-сосудистый импульс. Однако стандартная PPG использует насадки, прочно закрепляемые на интересующем объекте, например, на кончике пальца или мочке уха. Таким образом, стандартная PPG по-прежнему может считаться вмешивающимся способом. Вообще, PPG использует отражение или пропускание света, которое может считаться меняющимся из-за локального изменения объема циркулирующей крови или изменения насыщения кислородом. Например, светодиоды (LED) на разных длинах волн, например, красного и инфракрасного света, могут использоваться для формирования излучения, направленного на интересующий объект. Кроме того, фотодиодный детектор может использоваться для обнаружения изменений света. Следовательно, например, чтобы оценить частоту сердечных сокращений, можно проанализировать отношение $$v^{}$$ двух временных сигналов $$v_r$$ и $$v_{ir}$$ , соответствующих отклику фотодиода на красный свет и инфракрасный свет:

, $$\begin{array}{ccc}& & \end{array}$$ (1)

где $$\overline{v_r}$$ и $$\overline{v_{ir}}$$ соответствуют средним значениям сигналов $$v_r$$ и $$v_{ir}$$ соответственно. Отношения рассматриваются, чтобы нормализовать сигналы по интенсивности LED и по цвету кожи. В основном, сигнал $$v^{}$$ может демонстрировать сердечно-сосудистый импульс, и частоту сердечных сокращений в основном можно определить посредством частотного анализа результирующего сигнала $$v^{}$$ .

Уравнение (1) можно переписать при оценивании, что среднее $$\overline{v}$$ сигнала $$v^{}$$ в основном равно единице, например благодаря единичной нормализации. Поскольку альтернативное поведение (например, связанное с частотой сердечных сокращений) сигнала $$v^{}$$ может представлять особый интерес, среднее $$\overline{v}$$ (то есть 1) можно вычесть соответствующим образом:

В этой связи следует понимать, что отношение красного к инфракрасному является типовым подходом к извлечению нужного сигнала. Например, также могло бы использоваться отношение красного к зеленому. С тем же успехом могут рассматриваться дополнительные отношения, связанные с составляющими сигнала, связанными с заданными спектральными частями.

При дальнейшем допущении, что знаменатель вышеприведенного выражения близок к единице, можно сделать вывод, что это выражение можно приближенно выразить элементом разностного сигнала:

$$\begin{array}{ccc}& & \end{array}$$ (2)

Однако для случаев, включающих возмущения, которые ″видимы″ в инфракрасном излучении, указывающие элемент знаменателя, особенно для применений дистанционной PPG, это приближение считается неподходящим.

В качестве альтернативы логарифмический оператор может использоваться для упрощения выражения сигнала $$v^{}$$ , предоставленного в уравнении (1), что приводит к

, $$\begin{array}{ccc}& & \end{array}$$ (3)

учитывая допущение, в соответствии с которым отношения $$v_r(n)/{\overline{v}}_r$$ и $$v_{ir}(n)/{\overline{v}}_{ir}$$ оба близки к единице, и дополнительно используя ряд Тейлора в логарифмическом операторе для приближения логарифмического выражения, например

Преимущество логарифмического оператора можно увидеть в том, что в основном можно избежать нормализации яркости (например, направленной на интенсивность источников света, например, LED, и на цвет кожи, который демонстрирует интересующий объект), так как логарифмический оператор приводит к

где элемент $$\log \frac{{\overline{v}}_r}{{\overline{v}}_{ir}}$$ можно удалить при рассмотрении полосовой фильтрации сигналов, чтобы уменьшить искажение вне интересующего частотного диапазона.

В основном две (приблизительно дискретных) длины волн, например красную и инфракрасную, можно использовать для измерения интересующего сигнала, например сердечно-сосудистого импульса. Однако настоящий подход не ограничивается этими длинами волн. Однако, поскольку предложены базовые подходы дистанционной PPG, опирающиеся на измерение с помощью камеры, также становятся доступны сигналы красного, зеленого и синего (RGB) для обработки сигналов и обнаружения жизненно важного интересующего сигнала.

По-прежнему дистанционное измерение подвергается нескольким значительным возмущающим влияниям. Например, зеркальное отражение, а также нежелательное движение объекта наблюдается с помощью камеры. Следовательно, отношение сигнал-шум может значительно ухудшиться. В этой связи было бы желательно учитывать эти возмущения. Зная об основных возмущениях и учитывая их базовые свойства, можно значительно улучшить обнаружение сигнала.

Ниже предлагается двухцветная модель отражения, которая может считаться подходящим подходом, чтобы сделать возможным обнаружение нужных сигналов, даже имея дело с плохим отношением сигнал-шум. Двухцветная модель отражения моделирует то, как свет (или электромагнитное излучение в общем) взаимодействует со средой, которая содержит поверхностный слой, отражающий часть падающего света, и слоем ткани, содержащим пигмент, создающий рассеянное отражение и окраску (кожи).

В этой связи сошлемся на фиг. 2, иллюстрирующую отражение падающего излучения 70 на границе 60 раздела между двумя средами 62, 64. Позиционное обозначение 62 обозначает воздух, через который проходит падающее излучение 70. Позиционное обозначение 64 обозначает кожную ткань, на которую направлено падающее излучение 70. Граница 60 раздела расположена между воздухом 62 и кожной тканью 64. Граница 60 раздела может считаться верхней стороной кожи. Кожная ткань 64 может содержать пигмент 66, который слегка колеблется вместе с интересующим сигналом, например частотой сердечных сокращений. Граница раздела или верхняя сторона 60 может содержать нормаль 68 к макроскопической поверхности и нормали 74 к микроскопическим поверхностям, причем последние свойственны неровности микроскопической поверхности. Поэтому даже падающее излучение 70, подвергнутое (полному) зеркальному отражению на границе 60 раздела, может отражаться под углом отражения, соответствующим нормали 74 к микроскопической поверхности, а не нормали 68 к макроскопической поверхности. Отраженное излучение обозначается позиционным обозначением 76. Отраженное излучение, предполагаемое при наличии информации о макроскопической нормали 68 к поверхности, обозначается позиционным обозначением 72. Однако для нижеследующего объяснения нормаль 74 к микроскопической поверхности может приравниваться к нормали 68 к макроскопической поверхности.

Кроме того, значительная составляющая падающего излучения 70 отражается пигментом 66 кожной ткани, а не границей 60 раздела. Отражение может содержать несколько отражений, которые указаны позиционными обозначениями 78, 78′, 78″. Так как пигмент 66 кожной ткани распределяется в кожной ткани 64 неравномерно, и соответствующие цвета могут меняться со временем, так называемое отражение тела может считаться по существу диффузным отражением. Отраженное излучение из-за отражения тела обозначается позиционным обозначением 80. Таким образом, кроме составляющей 76 зеркального отражения также составляющая 80 диффузного рассеянного отражения может отражаться интересующим объектом.

Поэтому часть падающего света или излучения отражается составляющей диффузного отражения, а именно составляющей 80 отражения тела, которая прошла через кожу и представляет цвета кожи, включая их изменения вследствие нужных жизненно важных сигналов, например частоты сердечных сокращений. Эта составляющая отражения высокопоказательна для интересующих сигналов.

Наоборот, составляющая 76 зеркального отражения, отраженная непосредственно на верхней стороне 60 кожи, преимущественно показательна для цвета источника света и не содержит значительных интересующих сигналов.

Поэтому могут возникнуть две части излучения, отраженного интересующим объектом. Эти части в сочетании образуют наблюдаемые сигналы характеристик, например, наблюдаемый цвет. Условия освещения могут меняться со временем, например из-за движения объекта. Следовательно, также сигналы характеристик могут широко меняться со временем.

Двухцветная модель отражения в основном утверждает, что суммарное излучение P отраженного света для длины волны λ является суммой двух независимых частей:

$$\begin{array}{ccc}& & \end{array}$$ (5)

где $$i^{}$$ - угол падения, $$e^{}$$ - угол излучения, и $$g^{}$$ - фазовый угол, как проиллюстрировано на фиг. 3. На фиг. 3 позиционное обозначение 70 соответствует направлению освещения (падающее излучение). Позиционные обозначения 74, 68 обозначают соответствующие нормали к поверхности, которые для наглядности унифицированы на фиг. 3. Позиционное обозначение 76 означает составляющую зеркального отражения, отраженную на границе раздела у интересующего объекта. Позиционное обозначение 84 обозначает направление наблюдения. Кроме того, для полноты фиг. 3 показывает угол s, указывающий угол между направлением зеркального отражения 76 и направлением 84 наблюдения, указывающим положение и/или ориентацию датчика 24. Ниже угол s не следует путать со спектральными распределениями s энергии из уравнения (5).

Уравнение (5) содержит два относительных спектральных распределения s и b энергии. В основном, s и b зависят от длины волны λ излучения. Тогда как s может считаться составляющей отражения границы раздела, b может считаться составляющей отражения тела. Коэффициенты m_s и m_b главным образом зависят от геометрии. Коэффициенты m_s и m_b могут называться геометрическими масштабными коэффициентами составляющей b отражения тела и составляющей s отражения границы раздела.

Для удобства уравнение (5) можно перенести в обобщенное представление векторного пространства

$$\begin{array}{ccc}& & \end{array}$$ (6)

при рассмотрении характеристик спектральной чувствительности фактически используемого датчика (например, камеры). Например, может учитываться характеристика фильтра у датчика, например красного, зеленого и синего фильтров. В итоге уравнение (5) можно интегрировать по спектру примененного освещения, чтобы вывести полную интенсивность отраженного света. Это приводит к уравнению (6), предоставляющему двухцветную модель отражения для пространства сигналов, например цветового пространства RGB, для определенной точки на интересующей поверхности, где величины m_s и m_b могут считаться скалярными. Вектор p представляет измеренный цвет, или сигнал характеристики. Коэффициенты m_s и m_b могут считаться величинами отражения в точке, о которой идет речь. Векторы s и b представляют цвета отражения границы раздела (также называемого зеркальным отражением) и отражения тела (также называемого физиологическим отражением) у интересующего объекта.

Можно предположить, что измеренный (общий) цвет p (также называемый сигналом характеристики) представляет набор (пиксельных) точек на поверхности объекта, которая может быть окрашена по существу равномерно (цвет кожи). В основном связанные с геометрией факторы отличаются от точки к точке. Поэтому масштабные коэффициенты m_s и m_b могут меняться от точки к точке. Однако цвета s и b отражения границы раздела и тела остаются по существу без изменений во всех точках на интересующей поверхности, поскольку они могут считаться спектральными проекциями s(λ) и b(λ), которые не меняются с геометрией. Другими словами, при применении векторного представления каждый сигнал p пикселя лежит в плоскости, образованной обоими цветовыми векторами s и b (также называемой двухцветной плоскостью). Следовательно, цвета p могут считаться независимыми от условий освещения (содержащих одинаковый спектр, но разную интенсивность).

В соответствии с полезным подходом двухцветную модель отражения можно расширить с помощью дальнейших допущений касательно вектора b отражения тела, или составляющей физиологического отражения. Как упоминалось выше, можно обнаружить небольшие изменения поглощательной способности у кожной ткани объекта, чтобы извлечь жизненно важный интересующий сигнал. Другими словами, вектор b (фактического) отражения тела (незначительно) колеблется во времени около вектора $$\underset{\_}{\widehat{b}}$$ среднего отражения тела. Для удобства можно предположить, что эти колебания можно описать с помощью вектора, или по меньшей мере линейно приближенно выразить с помощью вектора. Следовательно, вектор можно обозначить как вектор h сердечного сокращения. Включение вектора h в двухцветную модель отражения может считаться подходящей мерой для расширения двухцветной модели отражения, чтобы упростить обнаружение и обработку сигналов. Следовательно, сигнал p характеристики (например, RGB-значения) интересующего пиксель (или шаблона пикселей) можно описать с помощью по существу линейной комбинации вектора $$\underset{\_}{\widehat{b}}$$ (среднего) отражения тела, вектора s границы раздела и вектора h сердечного сокращения:

Для удобства ″крышку″ вектора $$\underset{\_}{\widehat{b}}$$ среднего отражения тела в дальнейшем можно опустить:

$$\begin{array}{ccc}& & \end{array}$$ (7)

Следует понимать, что вектор h, например вектор сердечного сокращения, не является постоянным вектором, а зависит от цвета освещения, чувствительности камеры, характеристик фильтра по красному, зеленому и синему каналу и цвета кожи субъекта. В основном то же самое относится к векторам b и s. Следовательно, вектор h следует определять для каждого датчика (камеры) и для каждого типа источника излучения (освещения). Однако на основе следующих объяснений можно сделать вывод, что тип кожи (то есть цвет кожи) не играет роли. Поэтому, в общем может считаться достаточным оценить вектор h сердечного сокращения для датчика при стабильных условиях освещения для типового интересующего объекта, имеющего некоторый тип кожи. Впоследствии вектор h (фактического) сердечного сокращения можно оценить в каждом отдельном случае, используя оценку вектора b отражения тела для фактического типа кожи. Теоретически это понимание можно использовать следующим образом: если интересующий субъект остается неподвижным на короткий период времени, например, несколько секунд, то вектор h сердечного сокращения можно легко определить опосредствованным способом посредством анализа главных компонентов, применяемого к значениям среднего красного, среднего зеленого и среднего синего у пикселей кожи интересующего объекта в этом коротком периоде времени. В основном, соответствующие значения среднего красного, среднего зеленого и среднего синего могут считаться показательными для вектора b фактического отражения тела.

В альтернативном варианте вектор h можно вывести посредством рассмотрения показательных максимумов частоты у соответствующих сигналов красного, зеленого и синего. С этой целью, например, к сигналам может применяться преобразование Фурье, чтобы получить соответствующие спектры величин. Значительные максимумы, которые по меньшей мере в основном присутствуют в каждом из сигналов красного, зеленого и синего на одной и той же частоте, могут указывать вектор h сердечного сокращения. Следовательно, соответствующие максимальные величины красного, зеленого и синего могут использоваться для ″построения″ вектора h. Поэтому можно определить ориентацию вектора h сердечного сокращения. Разумеется, вектор h сердечного сокращения можно дополнительно преобразовать в единичный вектор или что-то аналогичное, поскольку вектор h всего лишь указывает (предполагаемую) ориентацию связанной с сердечным сокращением части c₁ h сигнала.

В этой связи ссылаются на фиг. 4a и 4b. Фиг. 4a изображает типовое пространство 88 сигналов, например цветовое пространство RGB. Пространство 88 сигналов содержит дополняющие каналы 90a, 90b, 90c, указывающие спектральную информацию, например красный, зеленый и синий цветовые каналы. В качестве примера пространство 88 сигналов может считаться ″унитарным″ пространством сигналов, в котором составляющие по дополняющим каналам 90a, 90b, 90c могут принимать значения между нулем и единицей. Можно представить и соответствующим образом рассмотреть дополнительные диапазоны значений, отступающие от диапазона нуля и единицы. Фиг. 4b показывает упрощенное пространство 88' сигналов, для наглядности содержащее лишь два дополняющих канала 90a, 90b. Другими словами, пространство 88' сигналов может считаться ″срезом″ пространства 88 сигналов. Например, сигнал 98 характеристики, p, может выражаться основными составляющими 92a, 92b, 92c, указывающими значения интенсивности (например, p_R, p_G и p_B), из которых состоит сигнал 98 характеристики (или p), которые относятся к соответствующим дополняющим каналам 90a, 90b, 90c. Позиционное обозначение 94 указывает индексный элемент яркости. Индексный элемент 94 яркости является показательным для источника падающего излучения, например, источника света. Индексный элемент 94 яркости может считаться диагональным вектором, пересекающим пространство 88 сигналов. Это имеет место, в частности, когда источник 16 излучения в основном излучает простой белый свет. Предпочтительно, чтобы ″цвет″ источника 16 излучения был равен точке белого (например, 1,1,1) в пространстве 88 сигналов.

В соответствии с указанной выше моделью отражения обнаруженный сигнал 98 характеристики (или p) может считаться аддитивной комбинацией составляющей 100 физиологического отражения и части 102 возмущающего отражения (или c₂ s). Составляющая 100 физиологического отражения дополнительно может считаться состоящей из части 104 базового отражения (или c₀ b, и c₀ $$\underset{\_}{\widehat{b}}$$ соответственно) и части 106 индикативного отражения (или c₁ h). Другими словами, составляющая 100 физиологического отражения может считаться линейной комбинацией части 104 базового отражения и части 106 индикативного отражения. Часть 104 базового отражения представляет вектор b среднего отражения тела (или $$\underset{\_}{\widehat{b}}$$ ) и соответствующий коэффициент c₀. Как указывалось выше, вектор b* (фактического) отражения тела колеблется во времени около вектора b среднего отражения тела (или $$\underset{\_}{\widehat{b}}$$ ). Поэтому для полноты фиг. 4a и фиг. 4b также показывают соответствующий элемент фактического отражения тела (c₀ ^* b ^*), также называемый составляющей 100 физиологического отражения. Элемент c₂ s, или часть 102 возмущающего отражения считается параллельным индексному элементу 94 яркости, поскольку зеркальное отражение в основном зеркально отображает падающий свет. Таким образом, соответствующая составляющая 102 сигнала по меньшей мере частично указывает характеристику источника света, например указанную индексным элементом 94 яркости.

Пространство 88 сигналов дополнительно содержит двухцветную плоскость 96, которая в основном образована составляющей 102 возмущающего отражения и частью 104 базового отражения, или, другими словами, двухцветная плоскость 96 образуется векторами s и b. В дальнейшем b, h и s могут считаться единичными векторами, указывающими ориентацию и направление, тогда как c₀, c₁ и c₂ могут считаться соответствующими коэффициентами, указывающими длину. Когда пренебрегают частью 106 индикативного отражения (или c₁ h), оставшиеся составляющие 102, 104 сигнала могут считаться лежащими в двухцветной плоскости 96.

Кроме того, ссылаясь также на фиг. 2, составляющую 100 физиологического отражения можно проследить до отражения 80 тела (включающего нужные сигналы), тогда как составляющую 102 возмущающего отражения можно проследить до отражения 76 границы раздела.

В следующем разделе предоставляется подход к стандартной (вмешивающейся) фотоплетизмографии с учетом расширенной двухцветной модели отражения, указанной выше. Для стандартной PPG сигнал сердечного сокращения обычно измеряется в замкнутом пространстве (например, пульсоксиметре), где искажение из-за зеркального отражения не играет роли. Следовательно, составляющая c₂ s зеркального отражения в (расширенной) двухцветной модели отражения может оцениваться в основном равной нулю. Соответственно, сигнал p характеристики, полученный посредством датчика, можно описать линейной комбинацией вектора b отражения тела и вектора h сердечного сокращения (см. уравнение (7) с c₂=0):

,

где вектор p может содержать соответствующий сигнал красного и инфракрасный сигнал (в дальнейшем также называемые основными составляющими), и где n соответствует времени. Или, выражаясь точнее,

В этой связи следует понимать, что RGB-сигналы также могут использоваться в качестве основных составляющих вектора p. Например, можно анализировать сигналы красного и зеленого, чтобы обнаружить нужный жизненно важный интересующий сигнал. При дальнейшей нормализации элемента с учетом $${\overline{c}}_1=0$$ (в основном, сигнал сердечного сокращения демонстрирует нулевое среднее), вектор $$\underset{\_}{\overline{p}}$$ среднего равен

Кроме того, сигнал красного и инфракрасный сигнал можно нормализовать по изменяющейся интенсивности яркости и по отличиям цвета кожи путем деления соответствующих сигналов на их средние значения, чтобы связать это выражение с уравнениями (2) и (3). Нормализация в основном содержит деление на среднюю интенсивность $${\overline{c}}_0$$ освещения и на вектор b отражения тела. Вектор b отражения тела может считаться результатом (среднего) отражения красного и инфракрасного света кожей объекта. Это деление приводит к нормализованному вектору p _n:

, $$\begin{array}{ccc}& & \end{array}$$ (8)

где $$\Vert \cdot \Vert$$ обозначает обычную -норму, где диагональная матрица B имеет вектор b отражения тела по диагонали, где вектор 1 является вектором, содержащим значения единицы, и вектор h _n соответствует нормализованному вектору сердечного сокращения, который не зависит от типа кожи:

$$\begin{array}{ccc}& & \end{array}$$ (9)

Следует понимать, что из-за этой нормализации цвет кожи в основном становится серым. Другими словами, вектор отражения тела равен вектору 1, см. уравнение (8). В альтернативном варианте можно было бы начать с оценки вектора b отражения тела и нормализованного вектора h _n сердечного сокращения, из которой можно вывести вектор h сердечного сокращения следующим образом, например, в пространстве RGB-сигналов:

$$\begin{array}{ccc}& & \end{array}$$ (10)

Это выражение основывается на уравнении (9) совместно с нормализацией до единичной длины.

В следующем разделе представленный подход расширяется, чтобы дополнительно охватить дистанционную (малозаметную) фотоплетизмографию. Для дистанционной PPG нужно рассматривать зеркальное отражение. В соответствии с расширенной двухцветной моделью отражения, указанный выше, сигнал p(n) характеристики, полученный от дистанционного датчика, можно описать в виде линейной комбинации вектора b отражения тела, вектора h сердечного сокращения и вектора s отражения границы раздела (также см. уравнение (7)):

$$\begin{array}{ccc}& & \end{array}$$ (11)

Чтобы оценить частоту сердечных сокращений интересующего объекта, нужно анализировать зависящий от времени сигнал c₁, аналогично случаю стандартной PPG. Чтобы проанализировать этот сигнал, его нужно отделить от двух других сигналов c₀ и c₂. Кроме того, чтобы уменьшить влияние (меняющейся) интенсивности освещения, сигнал c₁ можно разделить на (или нормализовать по) интенсивность c₀ или среднюю интенсивность $${\overline{c}}_o$$ . Однако это может считаться необязательным этапом. В особенности когда предполагаются только небольшие изменения интенсивности, нормализацию интенсивности можно пропустить. Другой типовой этап нормализации может содержать деление результирующего сигнала на вектор b отражения тела.

В следующем разделе представляются подходы к алгебраическому разделению сигналов c₀, c₁ и c₂. Уравнение (11) можно переписать в произведение матрицы на вектор:

, при и ,

где c₀ также может называться коэффициентом базового отражения, c₁ также может называться коэффициентом индикативного отражения, и c₂ также может называться коэффициентом возмущающего отражения.

Рассматривая это выражение, можно сделать вывод, что сигналы c₀, c₁ и c₂, по меньшей мере в принципе, можно получить путем умножения этого выражения на обратную матрицу T^-1 по обеим сторонам:

. $$\begin{array}{ccc}& & \end{array}$$ (12)

Уравнение (12) может считаться линейным алгебраическим уравнением, созданным с учетом заданного представления составляющей. Следовательно, жизненно важный интересующий сигнал u(n), например сигнал сердечного сокращения, становится

, или просто $$\begin{array}{ccc}& & \end{array}$$ (13)

Кроме того, сигнал u можно отфильтровать полосовым фильтром, чтобы отфильтровать частотный спектр вне интересующего частотного диапазона.

Чтобы вычислить обратную матрицу T^-1, нужно оценить вектор b отражения тела и вектор s зеркального отражения. Кроме того, как показано выше, вектор h сердечного сокращения можно вывести из вектора b отражения тела, см. уравнение (10). Для элемента зеркального отражения можно считать, что для материалов с высоким содержанием жира или воды, типа кожи, отраженный от поверхности материала свет в основном выглядит демонстрирующим такой же цвет, как и источник света. В качестве первого приближение можно справедливо предположить, что освещение является белым (например, RGB=1,1,1). То есть вектор s зеркального отражения может считаться равным единичному вектору 1. Кроме того, вектор b отражения тела может считаться эквивалентным среднему красному, среднему зеленому и среднему синему у пикселей кожи интересующего объекта в начальном кадре зарегистрированной последовательности кадров. Соответственно, можно применить нормализацию до единичной длины:

Поэтому интересующий сигнал u можно получить путем применения уравнений (12) и (13).

Вместо использования уравнения (10) также можно предусмотреть использование вектора, ортогонального вектору b отражения тела и вектору s=1 границы раздела, в качестве показательного (для сердечного сокращения) вектора h. Этот подход основывается на понимании того, что в соответствии с полезным допущением показательный (для сердечного сокращения) вектор h не зависит от s и b, а поэтому в основном направлен из двухцветной плоскости, см. позиционное обозначение 96 на фиг. 4a. Следовательно, изменяющиеся условия освещения не воздействуют значительно на показательный (для сердечного сокращения) вектор h.

В следующем разделе модель и подходы, указанные выше, расширяются до логарифмических пространств сигналов. Например, может использоваться цветовое пространство log RGB. При выведении уравнения (3) также использовался логарифмический оператор. При логарифмировании нужно избегать предшествующей фильтрации сигнала, например полосовой фильтрации, чтобы предотвратить применение логарифмического оператора к выборкам сигнала, меньшим либо равным нулю. Таким образом, этап фильтрации предпочтительно может выполняться после применения логарифмического оператора. Следовательно, для дистанционной PPG значения среднего красного, зеленого и синего (также называемые основными составляющими) у сигнала p(n) характеристики по-прежнему затрагиваются зеркальным отражением. Поэтому среднее значение зеркального отражения все еще присутствует в значениях среднего красного, зеленого и синего.

Этот случай можно разобрать при допущении отношения между предполагаемым зеркальным отражением и отражением тела, например отношения между коэффициентами c₂ и c₀, которое будет представлено ниже.

Логарифмический оператор можно (поэлементно) применить к выражению, представленному в уравнении (11):

Первое допущение может полагать, что величина зеркального отражения равна нулю, то есть c₂(n)=0 для всех n. Следующие элементы возникают исходя из этого:

где элементы диагональной матрицы B считаются равными элементами вектора b отражения тела. Из этого выражения можно сделать вывод, что для идеального случая без зеркального отражения пространство RGB, образованное вектором b отражения тела и вектором h сердечного сокращения, можно преобразовать в пространство log RGB, образованное вектором 1 интенсивности и нормализованным вектором h _n сердечного сокращения.

Для ситуаций, в которых величина зеркального отражения отклоняется от нуля, можно изобразить дополнительные случаи. В первом случае величина зеркального отражения считается относительно небольшой по сравнению с отражением тела, то есть c₀(n)>>c₂(n). Тогда можно вывести следующие элементы:

Из этого выражения можно сделать вывод, что пространство RGB, образованное вектором b отражения тела, вектором h сердечного сокращения и вектором s отражения границы раздела, можно преобразовать в пространство log RGB, образованное нормализованным вектором 1 отражения тела, нормализованным вектором h _n сердечного сокращения и измененным вектором B^-1 s отражения границы раздела. То есть сигнал сердечного сокращения может извлекаться аналогичным способом, как описано выше.

В другом случае можно предположить, что величина зеркального отражения относительно большая по сравнению с величиной отражения тела, то есть . Следовательно, можно вывести следующие элементы

где элементы диагональной матрицы S равны элементам вектора s отражения границы раздела. Это выражение позволяет сделать вывод, в соответствии с которым пространство RGB, которое образуется вектором b отражения тела, вектором h сердечного сокращения и вектором s отражения границы раздела, можно преобразовать в пространство log RGB, образованное вектором 1 отражения границы раздела, измененным вектором S^-1 h сердечного сокращения и измененным вектором S^-1 b отражения тела. В результате вместо наличия известного вектора h _n сердечного сокращения можно получить вектор сердечного сокращения, который зависит от цвета источника света. Кроме того, амплитуда сигнала сердечного сокращения зависит от величины c₂ зеркального отражения вместо величины c₀ отражения тела. Следовательно, в этом случае пространство log RGB может считаться менее подходящим для извлечения сигнала сердечного сокращения, поскольку величина зеркального отражения относительно большая.

В еще одном случае можно предположить, что в основном величина зеркального отражения аналогична величине отражения тела, то есть . В результате можно вывести следующий элемент:

где , и где элементы диагональной матрицы G равны элементам вектора g. На основе этого выражения можно сделать вывод, что пространство RGB, которое образуется вектором b отражения тела, вектором h сердечного сокращения и вектором s отражения границы раздела, можно преобразовать в пространство log RGB, образованное вектором 1 и измененным вектором сердечного сокращения.

Чтобы обобщить вышеприведенные случаи, можно сделать вывод, что для увеличивающейся величины зеркального отражения нормализованный вектор h _n сердечного сокращения преобразуется в измененный вектор S^-1 h сердечного сокращения посредством так называемого промежуточного вектора сердечного сокращения.

Однако во многих случаях величина зеркального отражения может предполагаться относительно небольшой, и следовательно, вектор сердечного сокращения меняется лишь незначительно. Однако если предполагаемая величина зеркального отражения большая, то можно рассмотреть уменьшение зеркального отражения сначала путем проецирования пространства RGB на плоскость, ортогональную вектору s отражения границы раздела, перед применением логарифмического оператора. В этом случае, чтобы должным образом уменьшить зеркальное отражение, было бы полезным определить цвет источника света. Однако, если цвет источника света известен, например для самого общего случая, содержащего в основном белый источник света, то этот подход пригоден.

В следующем разделе описываются общие принципы нескольких примеров, использующих указанные выше подходы. В этой связи ссылаются на фиг. 5. Фиг. 5 показывает упрощенную блок-схему системы или способа для извлечения информации. В основном система выполнена с возможностью обработки сигнала p(n) характеристики, содержащей несколько этапов, которые предложены выше и могут использоваться примерами, представленными ниже. Разумеется, некоторые из этапов могут считаться необязательными, что указывается пунктирными линиями. На первом этапе 110 фильтруется входной сигнал p(n) характеристики. Фильтрация может содержать полосовую фильтрацию, фильтрацию нижних частот и фильтрацию верхних частот. С тем же успехом могут применяться дополнительные характеристики фильтра. (Входная) фильтрация может быть направлена на ослабление непоказательных частей частот и улучшение потенциально показательных частей частот у сигнала p(n) характеристики.

Далее может идти этап 112, содержащий создание и/или выведение линейного алгебраического уравнения с учетом по существу линейной алгебраической модели состава сигнала. В основном этап 112 может использовать модель представления сигнала, показанную в уравнении (11): . В векторно-матричном представлении это уравнение можно представить с помощью элемента .

На последующем этапе 114 созданное на этапе 112 уравнение можно перестроить, чтобы прийти к элементу, аналогичному уравнению (12). Кроме того, уравнение (12) можно по меньшей мере частично решить на этапе 114, чтобы получить представление показательного сигнала, например c(n), или по меньшей мере c₁(n).

На дальнейшем, необязательном этапе 116 сигнал, выведенный посредством этапа 114, можно нормализовать по интенсивности путем его деления, например, на коэффициент c₀(n) или средний коэффициент $${\overline{c}}_o$$ . Следовательно, можно получить сигнал u(n), который считается высокопоказательным для нужного интересующего сигнала. Следует отметить, что для некоторых применений коэффициент c₀(n) (или $${\overline{c}}_o$$ ) не следует подвергать этапу фильтрации перед необязательным этапом 116, чтобы избежать его нежелательных преобразований. Возможно, эти преобразования могут неблагоприятно воздействовать на отношение, которое будет вычислено на этапе 116.

На другом необязательном этапе 118 сигнал, например c₁(n), или u(n) можно отфильтровать, чтобы дополнительно повысить качество сигнала. Постфильтрация, а также предварительная фильтрация могут быть направлены на некоторые рабочие вопросы и ограничения. Следовательно, на этапе 118 можно вывести отфильтрованный показательный сигнал u_f(n).

Кроме того, может идти последующий этап 120 для извлечения жизненно важного интересующего сигнала, например частоты сердечных сокращений, из отфильтрованного показательного сигнала u_f(n). Например, извлечение может быть направлено на обнаружение максимумов частоты у контролируемого по времени сигнала u_f(n). В этой связи позиционное обозначение 122 указывает соответствующую диаграмму частотной характеристики, имеющую подавленные (отфильтрованные) полосы и пропущенную полосу, в которой обнаруживается четкий максимум частоты. Например, максимум частоты может демонстрировать сердечное сокращение у наблюдаемого интересующего объекта.

В соответствии с вышеупомянутым описанием общие принципы опираются на матрицу T, например фиксированную матрицу T. Этот подход можно проследить до уравнений (12) и (13). Соответственно, значения среднего красного, среднего зеленого и среднего синего в векторе p преобразуются в вектор c посредством матричного умножения. Затем в качестве необязательной меры в сигнале c₁ сердечного сокращения можно компенсировать интенсивность, получая в результате сигнал u сердечного сокращения. Для дальнейшего улучшения этого сигнала сердечного сокращения сигнал u сердечного сокращения можно отфильтровать полосовым фильтром. Обычно, указывая интересующий частотный диапазон, может использоваться, например, полоса пропускания, включающая в себя диапазон примерно от 35 ударов в минуту (BPM) до примерно 210 BPM. В основном следующие примеры опираются на точку зрения, основанную на векторном пространстве.

Однако, в частности, для некоторых применений, особенно когда интересующим сигналом является лишь сердечное сокращение, не нужно вычислять всю обратную матрицу T^-1 матрицы T. Например, скалярное произведение , где h считается ортогональным двухцветной плоскости, может считаться высокопоказательным для нужного сигнала (сердечного сокращения).

В первом примере вектор b отражения тела может оцениваться один раз, например, путем вычисления значений среднего красного, среднего зеленого и среднего синего у пикселей кожи в первом кадре последовательности кадров. Кроме того, можно справедливо предположить, что цветом источника света является белый, то есть вектор s=1 отражения границы раздела. Следовательно, вектор h сердечного сокращения может следовать непосредственно из вектора отражения тела, см. уравнение (10). Матрица T преобразования теперь равна

,

и соответственно уравнения (12) и (13) могут использоваться для вычисления сигнала u сердечного сокращения. Более того, этот сигнал сердечного сокращения можно отфильтровать полосовым фильтром, чтобы отфильтровать частотный спектр вне интересующего частотного диапазона.

В качестве альтернативы вектор h сердечного сокращения может считаться равным вектору, ортогональному двухцветной плоскости, то есть h=b×1. Этот подход может быть предпочтительным, если спектр источник света неизвестен, и соответственно нельзя определить нормализованный вектор h _n сердечного сокращения. Поэтому, принимая во внимание три вектора, можно построить матрицу T преобразования:

,

и опять уравнения (12) и (13) можно использовать для вычисления сигнала u сердечного сокращения.

Во втором примере, изменяющем первый пример, сигнал p характеристики можно нормализовать путем деления его на вектор b отражения тела (представленный диагональной матрицей B)

,

где нормализация предпочтительно осуществляется незамедлительно. Нормализация опирается на вектор b отражения тела, который не зависит от вектора h сердечного сокращения и в основном постоянный, а поэтому не содержит сигнал сердечного сокращения.

Вследствие нормализации матрица T немного изменяется: нормализованный вектор отражения тела теперь представляется с помощью вектора 1, вектор сердечного сокращения становится нормализованным вектором h _n сердечного сокращения, а вектор (зеркального) отражения границы раздела становится нормализованным вектором B^-1 s отражения границы раздела. Следовательно, эти нормализованные векторы могут использоваться для построения матрицы T:

,

и опять уравнения (12) и (13) можно рассмотреть для вычисления сигнала u сердечного сокращения.

Следует отметить, что этот пример может считаться в основном эквивалентным предыдущему примеру, поскольку первоначально имеется участвующая показательная для отражения тела матрица B.

Третий пример основывается на понимании того, что из-за зеркального отражения вектор отражения тела может считаться приблизительно одинаковым для различных типов кожи в основном под белым светом. Вообще, это допущение справедливо вплоть до максимального отклонения примерно в 2,5 градуса. Кроме того, можно задать вектор b _n, который может считаться вектором среднего отражения тела для всех типов кожи под белым светом. Соответственно, можно создать соответствующую диагональную матрицу B_n с b _n в качестве диагонали. Поэтому можно вывести приближение отражения s границы раздела:

,

где b может считаться приближенным вектором отражения тела. Следовательно, вектор h сердечного сокращения теперь равен , и матрицу T можно построить следующим образом:

,

и опять уравнения (12) и (13) можно использовать для вычисления сигнала u сердечного сокращения.

В качестве альтернативы h может приравнять вектор, ортогональный вектору b отражения тела, и вектор отражения границы раздела:

.

Если цвет освещения предполагается (медленно) меняющимся во времени, то можно рассмотреть постоянную оценку и фильтрацию вектора отражения тела. Фильтрация может выполняться с использованием фильтра нижних частот, см. этап 110 фильтрации на фиг. 5, чтобы улучшить сигнал сердечного сокращения. Соответственно, матрицы T и T^-1 можно постоянно изменять и адаптировать.

В четвертом примере логарифмический оператор применяется к сигналу p характеристики. Как указано выше, следует избегать логарифмирования нулевых значений или даже небольших чисел. По существу матрицу T можно построить, например, в соответствии с одним из предыдущих примеров. Соответственно, обратная матрица T^-1 может применяться к сигналу p, добиваясь вектора c:

.

В соответствии с этим примером третья строка этого полученного вектора c может отбрасываться, поскольку в основном она соответствует зеркальному отражению. Другими словами, можно задать матрицу $$\widehat{T}$$ 2×3, содержащую строки, которые соответствуют первым двум строкам T^-1, и эта матрица может применяться к сигналу p:

.

Сигнал c₀ представляет сигнал интенсивности со средним $${\overline{c}}_0$$ , тогда как сигнал c₁ представляет сигнал сердечного сокращения со средним, близким к нулю. Поэтому, чтобы иметь возможность применить логарифмический оператор к этому сигналу $$\underset{\_}{\widehat{c}}$$ , можно выполнить замену базиса путем применения матрицы U к элементу:

,

где

.

Цель этого преобразования - убедиться, что сигнал сердечного сокращения имеет среднее значительно больше нуля. Эта матрица U может выбираться таким образом, что в основном оба сигнала имеют среднее, приблизительно равное . Конечно, можно представить другие матрицы помимо типовой матрицы U.

Потом логарифмический оператор может применяться на поэлементной основе к вектору y. Кроме того, обратная матрица U^-1 может использоваться для получения вектора z:

.

Следовательно, сигнал z₁ может соответствовать сигналу сердечного сокращения.

В пятом примере внимание направлено на обнаружение так называемой динамической оси сердечных сокращений. Динамическая ось сердечных сокращений может применяться, если сигналы характеристик в значительной степени затрагиваются нежелательным движением объекта. В этом смысле было бы полезным использовать умеренно приближенную ось сердечных сокращений h.

Сначала матрицу T можно построить в соответствии с третьим примером, где рассматривается вектор сердечного сокращения, ортогональный двухцветной плоскости. Затем значения среднего красного, среднего зеленого и среднего синего можно буферизовать на короткий промежуток времени, например от 10 до 15 секунд. Кроме того, можно ввести вектор для вмещения этих средних значений, где N также соответствует 10-15 секундам. Потом обратная матрица T^-1 может применяться к этому вектору, чтобы получить вектор c:

, при .

Кроме того, каждая строка сигналов в c может подвергаться полосовой фильтрации, чтобы ослабить спектр вне интересующего частотного диапазона. Отфильтрованный по полосе сигнал c₁ теперь уже может содержать потенциально показательный сигнал сердечного сокращения при допущении, что движение индивидуума не слишком сильное. Например, это можно проверить путем преобразования сигнала c₁ в область Фурье и обнаружения отношения сигнал/шум путем вычисления отношения наибольшего максимума ко второму наибольшему максимуму. Если это отношение выше некоторой пороговой величины, то отфильтрованный по полосе сигнал c₁ может считаться достаточно четким для использования в качестве шаблона. Амплитуды a₀ и a₂ сердечного сокращения в отфильтрованных по полосе сигналах c₀ и c₂ теперь можно вычислить с помощью

, и ,

где соответствует скалярному произведению. В основном, вычисляются следующие элементы:

, и .

Кроме того, следует отметить, что a₁=1, поскольку

.

Следовательно, этот пример приводит к вектору $$\underset{\_}{\tilde{h}}$$ сердечного сокращения

,

и при обращении к пространству RGB-сигналов вектор h сердечного сокращения становится

Однако в качестве альтернативы можно дополнительно предусмотреть обнаружение максимумов частоты ожидаемого сигнала при применении преобразования Фурье к (отфильтрованным по полосе) сигналам красного, зеленого и синего (также называемым выше основными составляющими).

В основном, ссылаясь на все примеры и варианты осуществления, предоставленные в вышеприведенных разделах, следует понимать, что построение матрицы T и по меньшей мере частичное вычисление обратной матрицы T^-1, чтобы получить коэффициенты c₀, c₁ и c₂, в альтернативном варианте можно дополнить или заменить поэтапным преобразованием, использующим геометрические ассоциации сигнала p(n) характеристики и дополнительных составляющих пространства сигналов. Другими словами, матричные операции можно легко заменить поэтапными векторными операциями.

В качестве примера настоящее изобретение может применяться в области здравоохранения, например, малозаметного дистанционного наблюдения за пациентами, общего надзора, контроля безопасности и так называемых бытовых применений, например тренажеры, или т.п. Применения могут включать в себя наблюдение за насыщением кислородом (пульсовая оксиметрия), частотой сердечных сокращений, частотой дыхания, кровяным давлением, минутным объемом сердца, изменениями кровоснабжения, оценку автономных функций и обнаружение болезни периферических сосудов.

Разумеется, в варианте осуществления способа в соответствии с изобретением несколько предоставленных этапов могут выполняться в измененном порядке или даже одновременно. Кроме того, некоторые из этапов с тем же успехом можно пропустить без отклонения от объема изобретения. Это относится, в частности, к нескольким альтернативным этапам обработки сигналов.

Хотя изобретение проиллюстрировано и подробно описано на чертежах и в предшествующем описании, такая иллюстрация и описание должны считаться пояснительными или типовыми, а не ограничивающими; изобретение не ограничивается раскрытыми вариантами осуществления. Другие вариации к раскрытым вариантам осуществления могут подразумеваться и осуществляться специалистами в данной области техники при применении на практике заявленного изобретения, из изучения чертежей, раскрытия изобретения и прилагаемой формулы изобретения.

В формуле изобретения слова ″содержащий″ и ″включающий″ не исключают других элементов или этапов, и единственное число не исключает множественного. Один элемент или другой блок могут выполнять функции нескольких элементов, перечисленных в формуле изобретения. Сам факт, что некоторые критерии перечисляются во взаимно разных зависимых пунктах формулы изобретения, не указывает на то, что сочетание этих критериев не может использоваться с пользой.

Компьютерная программа может храниться/распространяться на подходящем невременном носителе, например оптическом носителе информации или твердотельном носителе, поставляемом вместе или как часть других аппаратных средств, но также может распространяться в других видах, например через Интернет или другие проводные или беспроводные телекоммуникационные системы.

Любые позиционные обозначения в формуле изобретения не следует толковать как ограничивающие объем.

Изобретение относится к средствам извлечения информации из обнаруженного сигнала характеристики. Технический результат заключается в повышении точности извлечения информации. Принимается поток данных (26), извлекаемый из электромагнитного излучения (14), выпущенного или отраженного объектом (12). Поток данных (26) содержит непрерывный или дискретный контролируемый по времени сигнал характеристики (p; 98), содержащий по меньшей мере две основные составляющие (92a, 92b, 92c), связанные с соответствующими дополняющими каналами (90a, 90b, 90c) пространства сигналов (88). Сигнал характеристики (p; 98) отображается в заданное представление составляющей (b, h, s, c; T, c) с учетом по существу линейной алгебраической модели состава сигнала, чтобы задать линейное алгебраическое уравнение. Линейное алгебраическое уравнение по меньшей мере частично решается с учетом по меньшей мере приблизительной оценки заданных частей сигнала (b, h, s). Следовательно, из линейного алгебраического уравнения можно вывести выражение, высокопоказательное по меньшей мере для одного, по меньшей мере частично периодического жизненно важного сигнала (20). 3 н. и 12 з.п. ф-лы, 6 ил.

1. Устройство для извлечения информации из обнаруженных сигналов характеристик, содержащее:
- интерфейс (28) для приема потока данных (26), извлекаемого из электромагнитного излучения (14), отраженного объектом (12), причем поток данных (14) содержит непрерывный или дискретный контролируемый по времени сигнал характеристики (р; 98), сигнал характеристики (р; 98) содержит по меньшей мере две основные составляющие (92а, 92b, 92с), ассоциированные с пространством сигналов (88), причем пространство сигналов (88) содержит дополняющие каналы (90а, 90b, 90с) для представления сигнала характеристики (р; 98), причем основные составляющие (92а, 92b, 92с) сигнала характеристики (р; 98) связаны с соответствующими дополняющими каналами (90а, 90b, 90с) пространства сигналов (88),
- средство преобразования (36) для отображения сигнала характеристики (р; 98) в заданное представление составляющей (b, h, s, с; Т, с) с учетом по существу линейной алгебраической модели состава сигнала, чтобы задать линейное алгебраическое уравнение, причем сигнал характеристики (р; 98) по меньшей мере в основном состоит из составляющей физиологического отражения (100) и составляющей возмущающего отражения (102), где составляющая физиологического отражения (100) содержит часть базового отражения (104), свойственную базовым физиологическим свойствам объекта (12), который должен находиться под наблюдением, и часть индикативного отражения (106), свойственную по меньшей мере одному, по меньшей мере частично периодическому жизненно важному сигналу (20),
- где часть базового отражения (104) содержит индексный элемент базового отражения (b) и коэффициент базового отражения (с₀),
- где часть индикативного отражения (106) содержит индексный элемент индикативного отражения (h) и зависящий от времени коэффициент индикативного отражения (c₁), причем коэффициент индикативного отражения (c₁) является высокопоказательным по меньшей мере для одного, по меньшей мере частично периодического жизненно важного интересующего сигнала (20),
- где составляющая возмущающего отражения (102) содержит индексный элемент возмущающего отражения (s) и коэффициент возмущающего отражения (с₂),
- средство обработки (40) для по меньшей мере частичного решения линейного алгебраического уравнения с учетом по меньшей мере приблизительной оценки ориентации индексного элемента базового отражения (b), индексного элемента индикативного отражения (h) и индексного элемента возмущающего отражения (s), чтобы вывести выражение, высокопоказательное по меньшей мере для одного, по меньшей мере частично периодического жизненно важного сигнала (20), причем высокопоказательное выражение по меньшей мере содержит коэффициент индикативного отражения (c₁).

2. Устройство по п. 1, в котором по меньшей мере один, по меньшей мере частично периодический жизненно важный сигнал (20) выбирается из группы, состоящей из частоты сердечных сокращений, сердечного сокращения, частоты дыхания, вариабельности частоты сердечных сокращений, волн Траубе-Геринга-Мейера и насыщения кислородом, и где пространство сигналов (88) является аддитивным или субтрактивным пространством цветовых сигналов, где по меньшей мере две основные составляющие (92а, 92b, 92с) представляют соответствующие отдельные цветовые составляющие, указанные дополняющими каналами (90а, 90b, 90с), где дополняющие каналы (90а, 90b, 90с) относятся к заданным спектральным частям.

3. Устройство по п. 1, дополнительно содержащее средство извлечения (52) для извлечения жизненно важного сигнала (20) из вычисленного высокопоказательного выражения, и предпочтительно, чтобы жизненно важный сигнал извлекался с учетом коэффициента индикативного отражения (c₁) или отношения коэффициента индикативного отражения (c₁) и коэффициента базового отражения (с₀).

4. Устройство по п. 1, в котором часть базового отражения (104) является по меньшей мере в основном показательной для среднего цвета ткани, который демонстрирует интересующий объект (12), где часть индикативного отражения (106) является по меньшей мере в основном показательной по меньшей мере для частично периодической пульсации цвета ткани интересующего объекта (12) и где составляющая возмущающего отражения (102) является по меньшей мере в основном показательной для возмущающего зеркального отражения.

5. Устройство по п. 1, в котором оцененный индексный элемент индикативного отражения (h) получается с учетом выражения, содержащего оценку индексного элемента базового отражения (b) и нормализованного выражения заранее заданного типового индексного элемента индикативного отражения (h_n).

6. Устройство по п. 1, в котором оцененный индексный элемент индикативного отражения (h) считается ортогональным плоскости сигнала, образованной индексным элементом базового отражения (b) и индексным элементом возмущающего отражения (s), и где оцененный индексный элемент возмущающего отражения (s) по меньшей мере в основном совпадает с индексным элементом яркости (94), указывающим характеристики источника электромагнитного излучения (16), воздействующего на интересующий объект (12).

7. Устройство по п. 1, в котором оцененный индексный элемент базового отражения (b) выводится из собранных основных составляющих (92а, 92b, 92с) сигнала характеристики (р; 98) индикативной области (22) интересующего объекта (12) и где оцененный индексный элемент возмущающего отражения (s) по меньшей мере в основном совпадает с индексным элементом яркости (94), указывающим характеристики источника электромагнитного излучения (16), воздействующего на интересующий объект (12), и предпочтительно, чтобы устройство дополнительно приспосабливалось для применения начального определения индексного элемента базового отражения (b) при наблюдении интересующего объекта (12).

8. Устройство по п. 7, в котором оцененный индексный элемент индикативного отражения (h) считается по меньшей мере в основном ортогональным индексному элементу базового отражения (b) и по меньшей мере в основном ортогональным индексному элементу возмущающего отражения (s).

9. Устройство по п. 1, в котором логарифмическое представление сигнала применяется к заданному представлению составляющей (b, h, s, с; T, с), и предпочтительно, чтобы предполагаемое отношение между коэффициентом базового отражения (с₀) и коэффициентом возмущающего отражения (с₂) учитывалось для определения коэффициента индикативного отражения (c₁).

10. Устройство по п. 9, в котором замена базиса применяется к заданному представлению составляющей (b, h, s, с; Т, с), чтобы гарантировать, что среднее значение коэффициента индикативного отражения (c₁) больше нуля, где жизненно важный сигнал (20) можно вывести из преобразованного представления (z₁) коэффициента индикативного отражения (c₁).

11. Устройство по п. 1, дополнительно содержащее нормализацию сигнала характеристики (р; 98) с учетом индексного элемента базового отражения (b).

12. Устройство по п. 1, в котором индексный элемент возмущающего отражения (s) получается с учетом выражения, содержащего заранее заданное нормализованное значение индексного элемента базового отражения (b), полученное с учетом предполагаемой стандартной ориентации индексного элемента яркости (94), указывающего характеристики источника электромагнитного излучения (16), воздействующего на интересующий объект (12).

13. Устройство по п. 1, дополнительно содержащее средство буферизации для буферизации сигнала характеристики (р; 98) и результирующего представления (с) коэффициента базового отражения (с₀), коэффициента индикативного отражения (с₁) и коэффициента возмущающего отражения (с₂) на заданный период, где средство обработки (40) дополнительно приспособлено для применения преобразования Фурье к буферизованному коэффициенту индикативного отражения (c₁), чтобы определить его доминантные частотные составляющие, где коэффициент базового отражения (с₀), коэффициент индикативного отражения (c₁) и коэффициент возмущающего отражения (с₂) переносятся в преобразованное представление сигнала (а₀, a₁, а₂), содержащее скалярные произведения соответствующих коэффициентов (с₀, c₁, с₂), где индексный элемент индикативного отражения (h) определяется с учетом преобразованного представления сигнала (ао, a₁, а₂).

14. Способ извлечения информации из обнаруженного сигнала характеристик, содержащий этапы, на которых:
- принимают поток данных (26), извлекаемый из электромагнитного излучения (14), отраженного объектом (12), причем поток данных (14) содержит непрерывный или дискретный контролируемый по времени сигнал характеристики (р; 98), сигнал характеристики (р; 98) содержит по меньшей мере две основные составляющие (92а, 92b, 92с), ассоциированные с пространством сигналов (88), причем пространство сигналов (88) содержит дополняющие каналы (90а, 90b, 90с) для представления сигнала характеристики (р; 98), причем основные составляющие (92а, 92b, 92с) сигнала характеристики (р; 98) связаны с соответствующими дополняющими каналами (90а, 90b, 90с) пространства сигналов (88),
- отображают сигнал характеристики (р; 98) в заданное представление составляющей (b, h, s, с; Т, с) с учетом по существу линейной алгебраической модели состава сигнала, чтобы задать линейное алгебраическое уравнение, причем сигнал характеристики (р; 98) по меньшей мере в основном состоит из составляющей физиологического отражения (100) и составляющей возмущающего отражения (102), где составляющая физиологического отражения (100) содержит часть базового отражения (104), свойственную базовым физиологическим свойствам объекта (12), который должен находиться под наблюдением, и часть индикативного отражения (106), свойственную по меньшей мере одному, по меньшей мере частично периодическому жизненно важному сигналу (20),
- где часть базового отражения (104) содержит индексный элемент базового отражения (b) и коэффициент базового отражения (с₀),
- где часть индикативного отражения (106) содержит индексный элемент индикативного отражения (h) и зависящий от времени коэффициент индикативного отражения (c₁), причем коэффициент индикативного отражения (c₁) является высокопоказательным по меньшей мере для одного, по меньшей мере частично периодического жизненно важного интересующего сигнала (20),
- где составляющая возмущающего отражения (102) содержит индексный элемент возмущающего отражения (s) и коэффициент возмущающего отражения (с₂),
- по меньшей мере частично решают линейное алгебраическое уравнение с учетом по меньшей мере приблизительной оценки ориентации индексного элемента базового отражения (b), индексного элемента индикативного отражения (h) и индексного элемента возмущающего отражения (s), чтобы вывести выражение, высокопоказательное по меньшей мере для одного, по меньшей мере частично периодического жизненно важного сигнала (20), причем высокопоказательное выражение по меньшей мере содержит коэффициент индикативного отражения (c₁).

15. Носитель данных, содержащий средство программного кода для побуждения компьютера выполнять этапы способа по п. 14, когда упомянутое средство программного кода выполняется на компьютере.