УСТРОЙСТВО И СПОСОБ ДЛЯ ИЗВЛЕЧЕНИЯ ИНФОРМАЦИИ ИЗ ДИСТАНЦИОННО ОБНАРУЖИВАЕМЫХ ХАРАКТЕРИСТИЧЕСКИХ СИГНАЛОВ Российский патент 2017 года по МПК G06T7/20 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству и к способу для извлечения информации из дистанционно обнаруживаемых характеристических сигналов, при этом характеристические сигналы включены в поток данных, получаемый из электромагнитного излучения, в частности, причем поток данных содержит непрерывный или дискретный характеристический сигнал, включающий в себя физиологическую информацию, показывающую по меньшей мере один по меньшей мере частично периодический сигнал жизнедеятельности.

УРОВЕНЬ ТЕХНИКИ

Работа YU SUN ET AL: «Motion-compensated noncontact imaging photoplethysmography to monitor cardiorespiratory status during exercise», JOURNAL OF BIOMEDICAL OPTICS, vol. 16, ni. 7, 1 January 2011 (2011-01-01) на странице 077010 раскрывает способ подавления артефактов для фотоплетизмографии на основе формирования изображений, при этом способ содержит компенсацию плоского движения и слепое разделение сигналов. Способ предназначен для применения при бесконтактном измерении показателей жизнедеятельности и дистанционной физиологической оценки и может применяться при спортивных тренировках.

Работа STEFANO ALLINEY ET AL: «Digital Image Registration Using Projections», TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE, PISCATAWAY, USA, vol. 30, no. 2, 1 March 1986 (1986-03-01) на страницах 222-233 раскрывает способ компенсации движения в последовательностях изображений, при этом смещение каждого изображения в последовательности относительно изображения, выбранного в качестве опорного, предварительно определяется посредством алгоритма для совмещения, который использует одномерные Фурье-преобразования, чтобы получить стабильное отображение.

Документ US 2009/0141124 A1 раскрывает способ оценки сигналов жизнедеятельности из пассивного тепловизора, содержащий этап приема инфракрасного видеосегмента субъекта, этап сегментирования контуров видеосегмента, чтобы выбрать область пикселей, представляющую участок субъекта, этап выравнивания выбранной области пикселей по множеству кадров видеосегмента, этап обнаружения сигнала от выбранной области с использованием способа обнаружения сигнала на основе распространения тепловых волн, этап пространственной фильтрации сигнала для удаления шума, не относящегося к показателю жизнедеятельности, подлежащему измерению, этап выполнения нелинейной фильтрации сигнала, соответствующего каждому выровненному пикселю выбранной области, этап удаления резко отклоняющихся значений сигнала с использованием алгоритма кластеризации пикселей, этап выбора частотного максимума сигнала с использованием метода мажоритарной выборки с доминантной частотой и этап усреднения выбранного частотного максимума, чтобы вычислить среднюю оценку по меньшей мере одного показателя жизнедеятельности.

Документ US 2010/0013919 A1 раскрывает способ обнаружения движения объекта в первом изображении, при этом упомянутый способ содержит этап определения взвешенных средних значений строк и столбцов первого изображения и этап обнаружения движения объекта на основании определенных взвешенных средних значений строк и столбцов опорного изображения и первого изображения.

Документ WO 2011/161307 A1 раскрывает способ, содержащий этап обнаружения участка лица в кадре из множества кадров мультимедийного контента, этап отслеживания участка лица в по меньшей мере одном последующем кадре после кадра и этап выполнения отслеживания цвета участка лица при срыве отслеживания участка лица в по меньшей мере одном последующем кадре, при этом отслеживание цвета выполняется для повторного отслеживания участка лица в по меньшей мере одном последующем кадре.

Документ WO 2011/021128 A2 раскрывает способ и систему для анализа изображений, включающие в себя следующие этапы:

- получают последовательность изображений;

- выполняют анализ с помощью видеосистемы на по меньшей мере одном из последовательности изображений, чтобы получить данные для классификации состояния субъекта, представленного на изображениях;

- определяют по меньшей мере одно значение физиологического параметра живого существа, представленного на по меньшей мере одном из последовательности изображений, при этом по меньшей мере одно значение физиологического параметра определяют посредством анализа данных изображений из той же последовательности изображений, из которой взято по меньшей мере одно изображение, на котором выполнен анализ с помощью видеосистемы; и

- классифицируют состояние субъекта с использованием данных, полученных путем анализа с помощью видеосистемы, и по меньшей мере одного значения физиологического параметра.

Этот документ дополнительно раскрывает несколько усовершенствований способа и системы. Например, обсуждается применение дистанционного фотоплетизмографического (PPG) анализа.

Документ WO 2011/042858 A1 раскрывает дополнительные способ и систему, решающие задачу обработки сигнала, включающего в себя по меньшей мере составляющую, представляющую периодический симптом в живом существе. Дополнительные основные подходы к дистанционной плетизмографии описаны в работе Verkruysse, W. et al. (2008), «Remote plethysmographic imaging using ambient light», Optics Express, Optical Society of America, Washington, D.C., USA, Volume 16, No. 26, pages 21434-21445.

Однако записанные данные, например, собранное, отраженное или испущенное электромагнитное излучение (например, записанные кадры изображения) всегда содержат, кроме искомого сигнала, подлежащего извлечению из него, дополнительные составляющие сигнала, происходящие вследствие общих искажений, например, таких как шумы, обусловленные изменением условий освещенности или перемещением наблюдаемых объектов. Следовательно, подробное точное извлечение искомых сигналов по-прежнему представляет большие проблемы при обработке упомянутых данных.

Несмотря на то, что достигнут значительный прогресс в области производительности вычислений, еще существует проблема обеспечения моментальных распознавания изображений и обработки изображений, допускающих немедленное или так называемое «онлайновое» обнаружение искомых сигналов жизнедеятельности. Это относится, в частности, к областям применения мобильных устройств, еще не имеющих достаточных вычислительных мощностей. Кроме того, пропускная способность передачи данных может быть ограниченной в некоторых средах. Например, многие мобильные пользователи по-прежнему полагаются на контракты мобильной связи с, так называемой, «оплатой по факту». При условии, изложенном выше, по-прежнему остается потребность в сохранении небольших объемов данных и вычислительных затрат.

Возможный подход к приведенной проблеме может быть направлен на обеспечение хорошо подготовленных и устойчивых внешних условий при сборе представляющего интерес сигнала, в который включена искомая составляющая сигнала, чтобы минимизировать возмущающие составляющие сигнала, накладывающиеся на сигнал. Однако упомянутые лабораторные условия невозможно перенести для применения при повседневной эксплуатации, так как в связи с этим потребуются значительные усилия и подготовительная работа.

В конце концов, обнаружение сигналов жизнедеятельности осуществляется еще сложнее, когда амплитуды и/или номинальные значения возмущающих составляющих сигнала намного больше, чем амплитуды и/или номинальные значения искомых составляющих сигнала, подлежащих извлечению. В области дистанционной фотоплетизмографии (PPG) можно ожидать, что величина разности между соответствующими составляющими составит несколько порядков.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Следовательно, целью настоящего изобретения является обеспечение системы и способа для извлечения информации из дистанционно обнаруживаемых характеристических сигналов, обеспечивающих дополнительные усовершенствования, облегчающие получение упомянутых искомых сигналов с повышенной точностью и, предпочтительно, с уменьшенным объемом вычислений.

Кроме того, предпочтительно было бы обеспечить устройство и способ, еще более приспособленные для предоставления возможности ошибкоустойчивого извлечения искомых сигналов в достаточно плохих окружающих условиях, например, при небольшом отношении сигнала к шуму, по меньшей мере частично проистекающего из установившегося или даже неустановившегося движения объекта, подлежащего наблюдению, или из движения самого измерительного устройства. Предпочтительно было бы дополнительно обеспечить устройство, приспособленное для проявления меньшей чувствительности к возмущениям, влияющим на собираемые сигналы, подлежащие обработке и анализу.

В первом аспекте настоящего изобретения представлено устройство для извлечения информации из дистанционно обнаруживаемых характеристических сигналов, при этом устройство содержит:

- интерфейс для приема потока данных, получаемого из электромагнитного излучения, испускаемого или отраженного объектом, причем поток данных содержит последовательность кадров, причем по меньшей мере некоторые из кадров содержат секцию кадра, представляющую область интереса, относимую к объекту, причем область интереса издает непрерывный или дискретный характеристический сигнал, включающий в себя физиологическую информацию, причем физиологическая информация представляет по меньшей мере один по меньшей мере частично периодический сигнал жизнедеятельности, последовательность кадров дополнительно содержит участок возмущающего сигнала, по меньшей мере частично показывающий нежелательное движение объекта, причем участок возмущающего сигнала отрицательно влияет на характеристический сигнал,

- средство стабилизирующей обработки, содержащее:

- преобразователь для получения производной формы сигнала из по меньшей мере некоторых кадров упомянутой последовательности кадров посредством уменьшения в размерах, причем производная форма сигнала содержит по меньшей мере первую составляющую сигнала и вторую составляющую сигнала, показывающие позиционную информацию,

- компаратор для оценки позиционного сдвига текущей производной формы сигнала относительно предыдущей производной формы сигнала, причем позиционный сдвиг представляет нежелательное движение объекта,

- компенсатор для определения текущей секции кадра с учетом оцененного позиционного сдвига, причем текущая секция кадра по меньшей мере частично представляет область интереса, так что область интереса можно отслеживать для по меньшей мере частичной компенсации нежелательного движения объекта,

- экстрактор для извлечения характеристического сигнала из последовательности кадров с учетом последовательности определенных секций кадров, причем характеристический сигнал связывается с пространством сигналов, представляющим характеристики электромагнитного излучения,

причем характеристический сигнал связывается с пространством сигналов, представляющим характеристики электромагнитного излучения,

причем преобразователь дополнительно сконфигурирован для получения опорной производной формы сигнала из кадра упомянутой последовательности кадров в течение начальной стадии, причем опорная производная форма сигнала содержит по меньшей мере первую опорную составляющую и вторую опорную составляющую, показывающие опорную позиционную информацию,

причем компаратор дополнительно сконфигурирован для оценки позиционного сдвига каждой из множества последующих производных форм сигнала в течение последующей стадии относительно опорной производной формы сигнала, и

причем средство стабилизирующей обработки дополнительно сконфигурировано для запуска преобразовательного средства таким образом, что по меньшей мере дополнительную опорную производную форму сигнала можно получить из кадра в течение последующей стадии.

Движение объекта представляет большие проблемы при обнаружении сигнала, в частности, когда требуется моментальное обнаружение сигнала, и/или когда ограничена вычислительная мощность. Все же вычислительную мощность можно считать критическим параметром для обнаружения сигналов жизнедеятельности, особенно, когда используют мобильные устройства. Кроме того, движение объекта может вызывать изменения освещения и связанные возмущения, еще больше отрицательно влияющие на характеристический сигнал. Следовательно, целесообразно решить проблему компенсации движения.

Вышеупомянутое устройство сконфигурировано для выполнения предпочтительного алгоритма компенсации движения. Обычно компенсация движения требует очень больших вычислительных мощности и затрат. Поэтому мгновенной компенсации движения достичь сложно, особенно для мобильных устройств. Например, компенсация движения может быть основана на обнаружении лица, примененном к каждому отдельному кадру последовательности. В результате, объект, подлежащий контролю и наблюдению, можно соответственно отслеживать. Однако при наличии производительности вычислений обычных мобильных устройств обнаружение лица занимает много времени и вряд ли может быть реализовано для моментального обнаружения сигналов жизнедеятельности. Следует понимать, что моментальное обнаружение в контексте настоящей заявки содержит также почти моментальное обнаружение. Другими словами, обнаружение сигнала можно считать моментальным, когда пользователь не замечает значительной временной задержки.

Следует понимать, что дорогие современные мобильные устройства, фактически, реализуют подходы к обнаружению лиц. Однако данные традиционные подходы направлены на индивидуальные (или отдельные) выполнения программы обнаружения, а не на долговременное обнаружение и отслеживание лица. Например, обнаружение лица можно использовать для селективного «отпирания» запертого устройства. Однако упомянутые подходы подвержены ошибкам. Например, можно выполнять обнаружение лиц спереди или почти спереди в очень хороших условиях освещения. Кроме того, обнаружение лица часто не выполняется вследствие неблагоприятной ориентации объекта и/или плохих условий освещения.

Поэтому представленный выше подход полезен тем, что компенсация движения не требует обнаружения лица и т.п. в каждом кадре (или: в большом числе кадров). Это достигается посредством преобразования основной проблемы в достаточно упрощенную «замещающую» проблему.

Например, обработку изображений, требующую много времени вычислений, можно превратить в обработку упрощенных производных элементов. Иначе говоря, в соответствии с предпочтительным вариантом осуществления, задачу обработки двумерного изображения можно превратить в две задачи обработки одномерного изображения.

Данный подход основан на идее, что по меньшей мере два характеристических одномерных образа, полученных из данного двумерного (изображения) образа, могут содержать достаточно позиционной информации, позволяющей оценить позиционный сдвиг объекта, подлежащего наблюдению. Кроме того, устройству необязательно должен быть «известен» характер объекта, подлежащего отслеживанию. Кроме того, позиционный сдвиг можно оценивать посредством наблюдения (сравнения) характеристических одномерных образов с течением времени. Например, секцию кадра, представляющую область интереса, можно выбрать в начале наблюдения объекта интереса. Упомянутый выбор может выполняться вручную или с использованием алгоритмов обнаружения образов. Однако первоначальный выбор секции кадра можно считать, по существу, однозначно процедурой для определения опорной секции, подлежащей отслеживанию. Последующая компенсация движения основана на заменителях кадров, содержащих заменители секции кадра, подлежащие отслеживанию. Заменители, а именно, производные формы сигнала, легко вычисляются и обрабатываются. В частности, необязательно в явной форме моделировать область интереса (которая находится за выбранной секцией кадра) для каждого одиночного кадра.

Следует отметить, что общеизвестные подходы к обнаружению образов, по существу, требуют, чтобы обязательно наблюдались некоторые особые области объекта. Например, человеческое лицо можно считать такой особой областью, поскольку глаза, нос и рот можно обнаруживать посредством традиционных алгоритмов, уже реализованных в нескольких устройствах для обработки изображений, например, функций обнаружения лица и/или обнаружения улыбки цифровых камер. Однако представляющий интерес сигнал жизнедеятельности представляется также другими областями объекта, которые необязательно должны содержать лицо объекта. Например, дистанционную PPG можно применить к участкам кожи лица (не всего лица), шеи, рук или даже кистей рук объекта интереса. Следовательно, представленный выше подход является намного более гибким, чем подходы, основанные на обнаружении лица на изображениях, следующих одно за другим, и т.п.

Следует дополнительно отметить, что в соответствии с представленным выше подходом может допускаться отслеживание более чем одной области интереса. Множество областей интереса могут принадлежать одному и тому же или даже разным объектам, подлежащим наблюдению. По существу, заменяющие производные формы сигнала еще содержат позиционную информацию обо всем кадре. Поэтому при условии, что компаратор и компенсатор соответственно выполнены, можно отслеживать более чем одну область интереса. С данной целью компаратор может быть сконфигурирован для оценки более чем одного характеристического сдвига текущей производной формы сигнала относительно предыдущей производной формы сигнала. Соответственно, компенсатор может быть сконфигурирован для определения более чем одной текущей секции кадра с учетом оцененного позиционного(ых) сдвига(ов) областей интереса, подлежащих отслеживанию.

Следует понимать, что движение объекта может содержать движение объекта, подлежащего наблюдению, относительно устройства, и, наоборот, движение устройства относительно объекта интереса. Следовательно, термин движение объекта содержит относительное движение между объектом интереса и устройством, которое можно соответственно скомпенсировать.

Последовательность кадров может быть осуществлена серией кадров изображений, содержащих цветовую информацию, например, RGB-изображения. Кадры изображений могут представлять объект интереса и дополнительные элементы. По существу, по меньшей мере некоторые из дополнительных элементов не показывают искомые сигналы, подлежащие извлечению из характеристических сигналов.

Существует несколько вариантов осуществления экстрактора и средства стабилизирующей обработки, содержащего преобразователь, компаратор и компенсатор. В первом, достаточно простом варианте осуществления как средство стабилизирующей обработки, так и экстрактор осуществлены блоком обработки, в частности, блоком обработки мобильного устройства, который приводится в действие (или: управляется) соответствующими логическими командами. Данный блок обработки может также содержать подходящие интерфейсы ввода и вывода.

Однако, в качестве альтернативы, каждое из средств стабилизирующей обработки, включающих в себя преобразователь, компаратор и компенсатор, и экстрактор могут быть осуществлены отдельными блоками обработки (или: управляться) или управляемыми соответствующими командами. Следовательно, каждый соответствующий блок обработки может быть выполнен для своей конкретной цели. Поэтому можно применить распределение задач, когда отдельные задачи обрабатываются (или: выполняются) в процессоре сигналов мультипроцессорного блока обработки, или когда задачи, связанные с обработкой изображений, выполняются в процессоре изображений, тогда как другие операционные задачи выполняются в центральном процессоре.

В соответствии с предпочтительным вариантом осуществления, устройство дополнительно содержит анализатор для определения временных вариаций характеристического сигнала и для обнаружения по меньшей мере одного, по меньшей мере частично периодического сигнала жизнедеятельности, представленного физиологической информацией, заключенной в характеристическом сигнале.

Целесообразно, чтобы анализатор был осуществлен центральным процессором или по меньшей мере частью мультипроцессорного блока обработки, соответственно управляемого логическими командами. Разумеется, что к характеристическому сигналу можно применить дополнительные меры по оптимизации сигнала перед обнаружением по меньшей мере одного по меньшей мере частично периодического сигнала жизнедеятельности. Таким образом, еще больше возмущающих составляющих сигнала, по существу, не показывающих искомого сигнала жизнедеятельности, можно ослабить или даже исключить из потока данных.

В соответствии с дополнительным аспектом устройства, преобразователь сконфигурирован для интегрирования элементов кадра вдоль первого направления и вдоль второго направления по меньшей мере некоторых кадров упомянутой последовательности кадров, чтобы получить производную форму сигнала, при этом первая составляющая сигнала, предпочтительно, содержит уменьшенное в размерах отображение строк кадра, и причем вторая составляющая сигнала, предпочтительно, содержит уменьшенное в размерах отображение столбцов кадра.

Другими словами, элементы кадра можно проецировать вдоль линий в первом направлении и втором направлении, которые содержат разные ориентации. Предпочтительно, первое направление и второе направление находятся под прямым углом одно к другому (например, горизонтальное и вертикальное). Проекции могут содержать интеграл или сумму элементов кадра (например, соответствующих RGB-значений) вдоль строк и столбцов кадров.

В контексте настоящей заявки элемент может содержать одиночный пиксель или субинтеграцию пикселей. При наличии строк и столбцов элементов (пикселей) кадр может содержать пиксельный образ. Другими словами, каждый из кадров может содержать матричную структуру. В качестве альтернативы, кадры могут также содержать сотовую структуру. Разумеется, можно представить дополнительные формы. Строки и столбцы кадров могут быть расположены в соответствии с системой координат, предпочтительно, системой декартовых координат. В качестве альтернативы можно также воспользоваться полярной системой координат, дополнительными подходящими системами координат и их производными.

Разумеется, координатное преобразование также можно применить к системе координат исходного кадра перед уменьшением в размерах. Следовательно, секция кадра, подлежащая обработке, может быть приведена в такую подходящую ориентацию, что строки и столбцы, подлежащие обработке, представляют очевидную позиционную информацию. Например, края, относимые к объекту (или: переходу объект-фон), которые присутствуют в кадрах, могут быть выставлены по меньшей мере, по существу, ортогонально строкам или столбцам, подлежащим обработке для взятия производной. В общем, в основном, ортогональные (например, горизонтальные или вертикальные) края могут вызывать мощные сигналы позиционной информации, которые можно легко обнаруживать и обрабатывать. Высококонтрастные зоны, относимые к объекту, также вызывают мощные сигналы позиционной информации.

В соответствии с еще одним аспектом устройства, по меньшей мере один по меньшей мере частично периодический сигнал жизнедеятельности выбирается из группы, состоящей из частоты сердечных сокращений, цикла сердечных сокращений, частоты дыхания, изменчивости частоты сердечных сокращений, волн Траубе-Геринга-Майера и насыщения кислородом.

Предпочтительно по меньшей мере некоторые из сигналов жизнедеятельности могут быть преобразованы один в другой. Например, характеристический сигнал может содержать RGB-значения одиночных пикселей или пиксельного образа, показывающие цвет кожи объекта интереса. Небольшие флуктуации данных значений во времени могут быть названы физиологической информацией. Обработка и анализ характеристического сигнала позволяет обнаружить представляющий(ие) интерес сигнал(ы) жизнедеятельности. Например, небольшие колебания характеристических сигналов можно анализировать и интерпретировать, чтобы обеспечивать обнаружение сигналов цикла сердечных сокращений или частоты сердечных сокращений. Кроме того, следует понимать, что, в общем, искомый(ые) сигнал(ы) жизнедеятельности можно получать прямо или косвенно из по меньшей мере частично периодического сигнала, который издается объектом интереса. Разумеется, устройство (и способ) в соответствии с изобретением можно объединять с дополнительными мерами по обнаружению и анализу, чтобы дополнительно повышать качество извлекаемых сигналов.

Удаленная фотоплетизмография может использовать несколько подходов для обнаружения представляющих интерес сигналов жизнедеятельности. Например, в частности, когда кадры содержат RGB-значения или аналогичную цветовую информацию, можно определять отношение между красным (R) и зеленым (G) сигналами. Упомянутое отношение можно считать отчетливо показывающим искомые сигналы, подлежащие извлечению. Кроме того, можно применить нормирование, при котором красный и зеленый сигналы делят на их соответствующие средние (по времени) значения. Нормирование может сделать составляющие сигнала по меньшей мере частично независимыми от суммарных возмущений. В соответствии с альтернативным подходом, можно внимательно рассматривать отношение между красным (R) и инфракрасным (IR) сигналом для извлечения представляющих интерес сигналов жизнедеятельности.

Представляющий интерес сигнал жизнедеятельности может содержать дискретные значения, например, значения частоты сердечных сокращений (ударов в минуту). В качестве альтернативы, форма сигнала во времени также может представлять интерес для получения возможности дополнительных выводов.

В соответствии с другим аспектом устройства, пространство сигналов является пространством цветовых сигналов, содержащим по меньшей мере два дополнительных канала, при этом по меньшей мере два дополнительных канала относятся к заданным спектральным участкам, причем характеристический сигнал содержит по меньшей мере две главных составляющих, каждая из которых относится к соответствующему дополнительному каналу.

В примерном варианте осуществления пространство сигналов может быть пространством RGB-сигналов или соответствующим производным. Следовательно, пространство сигналов может содержать три составляющие, представляющие значения трех главных составляющих характеристического сигнала. Альтернативные пространства сигналов могут содержать или быть получены из сигналов CIE XYZ, HSV, HSL, sRGB и xvYCC. Можно также использовать их производные. Следует отметить, что для обнаружения искомых сигналов можно использовать, в основном, линейные RGB-сигналы. Поэтому пространства нелинейных сигналов (например, сигналов с гамма коррекцией) можно преобразовывать соответственно. Дополнительно можно предусмотреть объединение нескольких отдельных пространств сигналов по меньшей мере частично, чтобы обеспечить более широкую спектральную основу для требуемых процедур анализа. Например, можно также применить, так называемые, RGBY-сигналы. В пространстве RGBY-сигналов дополнительно к красному, зеленому и синему цветовую информацию могут также нести желтые сигналы. В случае, если входной поток данных относится к субъективной цветовой модели, например, CMYK, то данные можно передавать соответственно, чтобы прийти к пространству аддитивных сигналов. Дополнительные спектральные составляющие можно использовать для извлечения искомого(ых) сигнала(ов) жизнедеятельности от потока данных. В этой связи можно также применить составляющие инфракрасного или ближнего инфракрасного излучения. Например, отношение между красным и инфракрасным сигналами может отчетливо показывать искомые сигналы.

Кроме того, предпочтительно, чтобы пространство сигналов было сконфигурировано так, что по меньшей мере частично периодический сигнал жизнедеятельности заключен в небольших временных флуктуациях по меньшей мере одной из по меньшей мере двух главных составляющих характеристического сигнала.

В соответствии с изобретением, преобразователь дополнительно сконфигурирован для получения опорной производной формы сигнала из кадра упомянутой последовательности кадров в течение начальной стадии, при этом опорная производная форма сигнала содержит по меньшей мере первую опорную составляющую и вторую опорную составляющую, показывающие опорную позиционную информацию, и причем компаратор дополнительно сконфигурирован для оценки позиционного сдвига каждой из множества последующих производных форм сигнала в течение последующей стадии относительно опорной производной формы сигнала.

Другими словами, производную форму сигнала каждого из множества последующих кадров можно прослеживать обратно (или связывать) с одиночным (или статическим) опорным кадром, обработанным в начале процедуры обработки сигналов. Например, первый кадр последовательности может быть обработан для получения (статической) опорной производной формы сигнала. Следовательно, опорную производную форму сигнала (или первую опорную составляющую и вторую опорную составляющую) можно буферизовать, чтобы обеспечить устойчивую основу для стабилизирующей обработки. Таким образом, можно избежать использования процедуры обработки «скользящего» сдвига, требующей постоянного вычисления изменяющихся производных форм сигнала в качестве опорных.

Это полезно тем, что искаженные кадры не могут служить основой для получения опорной производной формы сигнала, что может помешать определению секций следующих по порядку секций кадров для следующих по порядку кадров. В контексте настоящей заявки можно считать, что искаженные кадры содержат ошибочное представление области интереса. Например, искаженные кадры могут содержать заграждения, например, дополнительные объекты, скрывающие объект интереса. Искаженные кадры могут испытывать вредное влияние помех (изображений), например, шумов и т.п. Кроме того, в искаженном кадре объект интереса может быть расположен вне зафиксированной зоны кадра. Кроме того, объект интереса может быть неблагоприятно ориентирован в искаженном кадре, например, изогнут, скручен или повернут.

В данной связи предпочтительно, чтобы устройство дополнительно содержало буферное средство, предназначенное для буферизации опорной производной формы сигнала в течение всей процедуры обработки. Тем самым можно обеспечить устойчивую основу для оценки сдвига и компенсации движения. Необязательно выводить опорную производную форму сигнала из кадра, имеющего установленный интервал (или шаг последовательности) относительно каждого текущего кадра последовательности, подлежащей обработке.

В соответствии с изобретением, средство стабилизирующей обработки дополнительно сконфигурировано для запуска преобразовательного средства таким образом, что по меньшей мере дополнительную производную форму сигнала можно получить из кадра в течение последующей стадии.

Например, пусковые события можно выбирать из группы, содержащей прошлые периоды времени, некоторое число обработанных кадров и дополнительные параметры обработки. Поэтому пусковые события могут быть, в основном, периодическими. С другой стороны, можно применять непериодический запуск. Например, преобразовательное средство может запускаться для получения нового опорного производного сигнала в случае, если было обработано некоторое число искаженных кадров. Можно предположить дополнительные пусковые события, имеющие отношение к качеству. Таким образом, процедура обработки может подразделяться на несколько подпериодов, каждый из которых имеет опорный кадр, содержащий опорный производный сигнал, служащий основой для оценки позиционного сдвига в течение данного конкретного срока. В предпочтительном варианте может также допускаться ручной запуск. Таким образом, пользователь может перезапускать (или: восстанавливать) процедуру обработки сигналов.

В соответствии с другим вариантом осуществления устройства, средство стабилизирующей обработки дополнительно содержит обнаружитель образов для определения секции кадра, по меньшей мере частично представляющей область интереса в по меньшей мере одном кадре упомянутой последовательности кадров в течение начальной стадии таким образом, что секцию начального кадра можно определить как опорную секцию кадра.

Следует понимать, что в данном варианте осуществления обнаружение образа также требуется просто для одиночного кадра или небольшого числа кадров (например, опорных кадров) относительно абсолютного числа обрабатываемых кадров.

В предпочтительном варианте обнаружитель образов может быть связан со средством стабилизирующей обработки таким образом, чтобы запуск преобразователя запускал также (автоматическое) обнаружение образов. Например, упомянутое обнаружение может запускаться, когда оценка смещения не выполняется из-за искаженных кадров. Обнаружитель образов может быть сконфигурирован для обнаружения лица, обнаружения кожи и т.п.

В соответствии с еще одним вариантом осуществления средство стабилизирующей обработки дополнительно содержит средство смещения для коррекции оцененных значений позиционного сдвига с учетом текущих оценок абсолютного сдвига и/или временного постоянства текущих оценок сдвига.

Коррекция оцененных значений позиционного сдвига может содержать уменьшение влияний на значения сдвига, получающиеся из достаточно больших рассогласований и/или не постоянных во времени оценок смещений. Для применения функции смещения можно рассмотреть несколько допущений, некоторые из которых будут представлены ниже.

В соответствии с дополнительным предпочтительным аспектом, устройство содержит интегрированное воспринимающее средство, выполненное с возможностью собирать поток данных, содержащий последовательность кадров.

В предпочтительном варианте устройство является мобильным устройством, например, мобильным телефоном, персональным электронным секретарем (PDA), мобильным компьютером, мобильным планшетным компьютером и/или мобильным специализированным или универсальным медицинским сканирующим или контрольным устройством. Кроме того, устройство может находиться в транспортном средстве либо как нераздельная часть, либо как съемная аппаратура транспортного средства.

В соответствии с другим вариантом осуществления, устройство для извлечения информации дополнительно содержит фильтр для селективного ослабления или усиления составляющих характеристического сигнала.

Например, частотный фильтр можно использовать для повышения качества составляющей сигнала в полосе частот от 0,05 Гц до 10 Гц, предпочтительно от 0,5 Гц до 3,5 Гц. Данный диапазон можно считать особенно подходящим диапазоном для измерения цикла сердечных сокращений. Для измерения частоты дыхания, например, диапазон может содержать значения частот от приблизительно 0,1 Гц до приблизительно 2 Гц. Для обнаружения волн Траубе-Геринга-Майера диапазон может содержать значения частот от приблизительно 0,05 Гц до приблизительно 0,2 Гц. Постфильтрация обработанного сигнала может дополнительно повысить отношение сигнала к шуму. Таким образом, из потока данных могут быть исключены дополнительные возмущающие составляющие сигнала, не показывающие искомых сигналов жизнедеятельности.

В качестве альтернативы или дополнительно можно применить рекурсивный временной фильтр. Например, устройство может дополнительно содержать средство взвешивания для селективного влияния на составляющие характеристического сигнала. В данной связи следует напомнить, что представляющий интерес сигнал жизнедеятельности считается заключенным в небольшие флуктуации физиологической информации, представляемой характеристическими сигналами. Можно ожидать, что общие возмущения должны быть намного больше по величине, чем искомые представляющие интерес сигналы.

В дополнительном аспекте настоящего изобретения предлагается способ извлечения информации из дистанционно обнаруженных характеристических сигналов, при этом способ содержит следующие этапы:

- принимают поток данных, получаемый из электромагнитного излучения, испускаемого или отраженного объектом, причем поток данных содержит последовательность кадров, причем по меньшей мере некоторые из кадров содержат секцию кадра, представляющую область интереса, относимую к объекту, причем область интереса издает непрерывный или дискретный характеристический сигнал, включающий в себя физиологическую информацию, причем физиологическая информация представляет по меньшей мере один по меньшей мере частично периодический сигнал жизнедеятельности, последовательность кадров дополнительно содержит участок возмущающего сигнала, по меньшей мере частично показывающий нежелательное движение объекта, причем участок возмущающего сигнала отрицательно влияет на характеристический сигнал,

- стабилизируют характеристический сигнал, причем стабилизация содержит следующие этапы:

- получают производную форму сигнала из по меньшей мере некоторых кадров упомянутой последовательности кадров посредством уменьшения в размерах, причем производная форма сигнала содержит по меньшей мере первую составляющую сигнала и вторую составляющую сигнала, показывающие позиционную информацию,

- оценивают позиционный сдвиг текущей производной формы сигнала относительно предыдущей производной формы сигнала, причем позиционный сдвиг представляет нежелательное движение объекта,

- определяют текущую секцию кадра с учетом оцененного позиционного сдвига, причем текущая секция кадра по меньшей мере частично представляет область интереса, так что область интереса можно отслеживать для по меньшей мере частичной компенсации нежелательного движения объекта, и

- получают опорную производную форму сигнала из кадра упомянутой последовательности кадров в течение начальной стадии, причем опорная производная форма сигнала содержит по меньшей мере первую опорную составляющую и вторую опорную составляющую, показывающие опорную позиционную информацию,

- оценивают позиционный сдвиг каждой из множества последующих производных форм сигнала в течение последующей стадии относительно опорной производной формы сигнала, и

- запускают получение опорной производной формы сигнала таким образом, что по меньшей мере дополнительная опорная производная форма сигнала может быть получена из кадра в течение последующей стадии, и

- извлекают характеристический сигнал из последовательности кадров с учетом последовательности определенных секций кадров, причем характеристический сигнал связывается с пространством сигналов, представляющим характеристики электромагнитного излучения.

В предпочтительном варианте способ может выполняться с использованием устройства для извлечения информации в соответствии с изобретением.

Таким образом, можно создать петлевую функцию, имеющую установленный (или статический) опорный стандартный сегмент. Не требуется никакого контура управления по типу «бегущей волны». Поскольку петлевая функция, в основном, полагается на доступные опорные значения, то требуется меньше вычислительных ресурсов.

В еще одном аспекте настоящего изобретения предлагается компьютерная программа, которая содержит средство программного кода для предписания компьютеру выполнять этапы способа обработки, когда упомянутая компьютерная программа выполняется в компьютере.

В контексте настоящего изобретения, термин компьютер означает множество различных устройств для обработки. Другими словами, мобильные устройства, имеющие значительную вычислительную мощность, также можно называть вычислительным устройством, хотя мобильные устройства обеспечивают ресурсы с меньшей вычислительной мощностью, чем стандартные настольные компьютеры.

Предпочтительные варианты осуществления определены в зависимых пунктах формулы изобретения. Следует понимать, что заявленные способы и заявленная компьютерная программа имеют предпочтительные варианты осуществления, сходные с заявленным устройством и определенные в зависимых пунктах формулы изобретения на устройство.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Приведенные и другие аспекты изобретения будут очевидны из последующего пояснения со ссылкой на нижеописанный(ые) вариант(ы) осуществления. На следующих чертежах:

Фиг. 1 - схематическое изображение общей компоновки устройства, в котором можно использовать настоящее изобретение;

Фиг. 2a, 2b - изображения кадров, содержащих секции кадров, представляющие область интереса;

Фиг. 3 - примерное мобильное устройство, в котором можно использовать настоящее изобретение;

Фиг. 4 - схематическое изображение кадра, содержащего некоторую секцию кадра, к которой можно применить преобразование координат;

Фиг. 5a - изображение кадра, к которому применен вывод производной формы сигнала;

Фиг. 5b - изображение дополнительного кадра, содержащего секцию кадра, представляющую область интереса объекта, которая сдвинута относительно соответствующего положения, показанного на Фиг. 5a;

Фиг. 6 - изображение последовательности кадров, представляющих движущийся объект;

Фиг. 7 - изображение дополнительного кадра, представляющего объект, на котором изображены примерные области интереса;

Фиг. 8 - изображение дополнительной последовательности кадров, представляющих движущийся объект;

Фиг. 9 - примерное схематическое изображение пространства сигналов, содержащего характеристический сигнал;

Фиг. 10a, 10b - два графика, представляющих, каждый, направленную составляющую движения в движении объекта;

Фиг. 10c, 10d - два графика, представляющих, каждый, характеристический сигнал, в который включена физиологическая информация, из которой можно вывести представляющий интерес сигнал жизнедеятельности; и

Фиг. 11 - иллюстративная блок-схема, представляющая несколько этапов варианта осуществления способа в соответствии с изобретением.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Следующий раздел описывает примерные подходы к дистанционной фотоплетизмографии, использующей несколько аспектов устройства и способа согласно изобретению. Следует понимать, что одиночные этапы и признаки показанных подходов можно выделить из контекста соответствующего общего подхода. Поэтому упомянутые этапы и признаки могут быть частью отдельных вариантов осуществления, все еще входящих в объем изобретения.

Фиг. 1 представляет схематическое изображение устройства для извлечения информации, которое обозначено позицией 10. Например, устройство 10 можно использовать для записи кадров изображений, представляющих дистанционный объект 12 для контроля методом PPG. Кадры изображений могут быть получены из электромагнитного излучения 14, испускаемого или отражаемого объектом 12. Объект 12 может быть человеком или животным, или, в общем, живым существом. Кроме того, объект 12 может быть частью человека, отчетливо показывающей искомый сигнал, например, участком лица или, в общем, участком кожи.

Источник излучения, например, солнечный свет 16a или источник 16b искусственного излучения, а также сочетание нескольких источников излучения может действовать на объект 12. Источник 16a, 16b излучения, в сущности, испускает падающее излучение 18a, 18b, попадающее на объект. Для извлечения информации из записанных данных, например, последовательности кадров изображения, заданную часть или участок объекта 12 можно обнаруживать воспринимающим средством 22. Воспринимающее средство 22 может быть осуществлено, например, камерой, предназначенной для сбора информации, относящейся к по меньшей мере спектральной составляющей электромагнитного излучения 14. Разумеется, устройство 10 может быть также выполнено с возможностью обработки входных сигналов, а именно, входного потока данных, уже записанного заранее и, тем временем, сохраненного или буферизованного. Как указано выше, электромагнитное излучение 14 может содержать непрерывный или дискретный характеристический сигнал, который может отчетливо показывать по меньшей мере один по меньшей мере частично периодический сигнал 20 жизнедеятельности. Характеристический сигнал может быть включенным в (входной) поток 24 данных. В соответствии с одним вариантом осуществления, для сбора данных может быть выбран (или: маскирован пиксельным образом) потенциально особенно показательный участок объекта 12. При интегрировании соответствующих значений сигнальных пикселей пиксельного образа в некоторый момент из пиксельного образа можно вывести среднее значение пикселя. Таким образом, обнаруженные сигналы можно нормировать и компенсировать с учетом суммарных возмущений до некоторой степени. Среднее значение пикселя может быть представлено характеристическим сигналом. Представляющий интерес сигнал 20 жизнедеятельности может быть включен в слабые флуктуации (слабые периодические изменения свойства) характеристического сигнала. В дальнейшем, собранный поток 24 данных можно рассматривать как представление некоторой зоны интереса объекта 12, которая может охватывать собранную зону пикселей, охватывающую множество пикселей. На Фиг. 1 сигнал 20 жизнедеятельности может допускать несколько выводов, относящихся к частоте сердечных сокращений, циклу сердечных сокращений, изменчивости частоты сердечных сокращений, частоты дыхания или даже насыщению кислородом.

Известные способы получения упомянутых сигналов жизнедеятельности могут содержать тактильный контроль частоты сердечных сокращений, электрокардиографию или пульсовую оксиметрию. Однако для этого требовался навязчивый контроль. Как указано выше, альтернативный подход относится к ненавязчивому дистанционному измерению с использованием способов обработки изображений.

Поток 24 данных, содержащий непрерывный или дискретный характеристический сигнал, может подаваться из воспринимающего средства 22 в интерфейс 26. Разумеется, между воспринимающим средством 22 и интерфейсом 26 может быть также установлено буферное средство. После интерфейса 26 по движению потока данных обеспечено средство 28 стабилизирующей обработки, которое предназначено для обработки сигналов принятого потока 24' данных. В основном, обработка сигналов может быть направлена на компенсацию движения. Нежелательное движение объекта или движение воспринимающего средства 22 относительно объекта 12 может по-прежнему представлять большие проблемы для методов обнаружения сигналов жизнедеятельности. Алгоритмы компенсации движения, по существу, широко известны, однако, как правило, требуют значительных объемов вычислений. В частности, для мобильных устройств существует потребность в усовершенствованных способах компенсации движения, требующих меньших вычислительных затрат.

В соответствии с вариантом осуществления настоящего изобретения, средство 28 стабилизирующей обработки содержит преобразователь 30, компаратор 32 и компенсатор 34. Каждый из преобразователя 30, компаратора 32 и компенсатора 34 может быть осуществлен одинаковыми или разными блоками обработки. Другими словами, в соответствии с примерным вариантом осуществления, каждый из преобразователя 30, компаратора 32 и компенсатора 34 может содержаться в логическом участке одного и того же блока обработки.

Как указано пунктирными рамками 35, 36, средство 28 стабилизирующей обработки может дополнительно содержать обнаружитель 35 образов и/или средство 36 смещения. Как обнаружитель 35 образов, так и средство 36 смещения можно осуществить подобно преобразователю 30, компаратору 32 и компенсатору 34.

В предположении, что входной поток 24, 24' данных содержит последовательность кадров, преобразователь 30 может быть сконфигурирован для вывода производной формы сигнала из по меньшей мере некоторых кадров упомянутой последовательности кадров. Производную форму сигнала можно уменьшить в размерах так, что можно упростить дополнительную обработку, предназначенную для компенсации движения. Компаратор 32 может быть сконфигурирован для оценки позиционного сдвига между текущей производной формой сигнала и предыдущей производной формой сигнала. Позиционный сдвиг может представлять движение объекта, подлежащее компенсации. Как упоминалось выше, предыдущая производная форма сигнала может записываться и храниться в буфере для обработки более чем одного последующего кадра последовательности на основании данной отдельной (статичной) производной формы сигнала. Следовательно, по меньшей мере часть алгоритма сравнения, а именно вывод опорных производных форм сигнала, требуется выполнять только один раз в течение начальной стадии.

Компенсатор 34 может быть предназначен для определения текущей секции кадра (например, текущего пиксельного образа, представляющего область интереса объекта 12) на основании оценки позиционного сдвига. Область интереса может отслеживаться, таким образом, для компенсации нежелательного движения объекта. Следует упомянуть, что компенсатору 34 не должно быть «известно» о том, что находится позади текущей секции кадра. Сравнение текущей производной формы сигнала с предыдущей производной формой сигнала содержит, по существу, сравнение производных (или: заменителей), которые не ясно показывают или представляют плоское представление (например, видимое представление образа) области интереса. Другими словами, производная форма сигнала может быть выведена из кадра, тогда как, в общем, кадр невозможно вывести из соответствующей производной формы сигнала, поскольку производная форма сигнала уменьшена в размерах. Следовательно, обнаружение образа или обнаружение лица не требуется для каждого отдельного кадра, подлежащего сравнению для оценки движения.

Однако средство 28 стабилизирующей обработки может содержать по-прежнему обнаружитель 35 образов, который предназначен для обнаружения образа, например, обнаружения лица и/или обнаружения кожи. В соответствии с предпочтительным вариантом осуществления обнаружитель 35 образов требуется только для начальной стадии процедуры компенсации движения, чтобы обнаруживать некоторую секцию кадра, представляющую область интереса в кадре, которая служит основой для последующего определения соответствующих секций кадра в последующих кадрах с учетом оценки позиционного сдвига.

В альтернативном варианте осуществления обнаружение образа может выполняться вручную пользователем устройства. Например, пользователь может маскировать участок лица или участок кожи объекта 12 на экране, представляющем начальный кадр для определения секции начального кадра.

Средство 36 смещения может быть сконфигурировано для дополнительного уточнения оценки позиционного сдвига. Примерные функции смещения, которые могут быть реализованы в средстве 36 смещения, дополнительно представлены и поясняются ниже.

Например, средство 28 стабилизирующей обработки (точнее: компаратор 32) может быть выполнено с возможностью применения нескольких функций соответствия к полученным составляющим производной формы сигнала. Как указано выше, производная форма сигнала может быть получена посредством интегральных проекций вдоль первого и второго направления кадров (изображения). В этом отношении обращаются также к Фиг. 5a и 5b. Составляющие производной формы сигнала, полученные при этом, можно также называть профилями проекций. Сравнение данных профилей проекций можно выполнять при разных рассогласованиях с использованием различных функций соответствия. Например, можно применить такие статистические критерии, как корреляционную функцию. В предпочтительном варианте осуществления можно использовать сумму или среднее значение абсолютных разностей. Например, смещение вдоль первого и второго направления (например, горизонтального и вертикального направлений, или x-направления и y-направления) можно оценить по интегральным проекциям следующим образом:

(1) и

(2),

где член Pref(x) означает элемент опорной составляющей производной формы сигнала (или: опорной проекции). Член Ptn(x) означает элемент (текущей) составляющей производной формы сигнала (или: текущей обрабатываемой проекции). Индексы ver и hor обозначают первое направление и второе направление. Член S(d) означает опорную часть, т.е. перекрытие между составляющей производного сигнала (или: профилем проекции) и соответствующей опорной составляющей (сигнала) (или: опорным профилем проекции). Опорное значение ||S(d)||, по существу, зависит от фактического рассогласования d, которое обозначает оценку сдвига в соответствующем направлении.

Приведенный подход можно дополнительно доработать в том, что по меньшей мере одна функция смещения (или: функция регуляризации) применяется к алгоритму оценивания так, чтобы дополнительно повысить качество сигнала. Например, можно добавить член Fsup, вносящий снижение качества при достаточно больших рассогласованиях. Данные рассогласования часто имеют второстепенное значение для оценки, так как они являются менее надежными. Например, Fsup можно вычислить следующим образом:

(3),

где Csup является постоянной, определяющей значение снижения качества для обнаруженного максимального сдвига dmax.

В качестве альтернативы или дополнительно можно добавить член Ftemp, вносящий снижение качества при нестабильных во времени (или: неустойчивых) оценках сдвига. Например, Ftemp можно вычислить следующим образом:

(4),

где Ctemp является постоянной для временных влияний, при этом t означает время (или: фактический номер кадра), и причем σ_temp является стандартным отклонением ожидаемой оценки сдвига.

Уравнения (1) и (2) можно уточнить соответственно:

(5) и

(6)

Следовательно, можно повысить ошибкоустойчивость и стабильность оценки смещения, и поэтому можно дополнительно повысить качество компенсации нежелательного движения объекта. Следует понимать, что примерные уравнения (1)-(6) и основной алгоритмический подход можно применять с необходимыми изменениями к нескольким вариантам осуществления, описанным в настоящей заявке.

После средства 28 стабилизирующей обработки по движению потока данных в устройстве 10 может содержаться экстрактор 40. Поток 38 обработанных скомпенсированных данных может передаваться в экстрактор 40. Экстрактор 40 может быть сконфигурирован для извлечения (обработанного) характеристического сигнала из последовательности кадров (или: последовательности найденных секций кадров), все еще содержащихся в потоке 38 обработанных скомпенсированных данных. Например, характеристический сигнал, подлежащий извлечению, может быть составлен из фактических цветовых (RGB) значений, полученных посредством интегрирования значений пикселей кожи, содержащихся в области интереса. Небольшие флуктуации характеристического сигнала могут содержать физиологическую информацию, из которой, в результате, можно извлечь искомый сигнал 20.

В соответствии с другим альтернативным вариантом осуществления, устройство 10 может дополнительно содержать фильтр 44, указанный пунктирной рамкой, в который может передаваться извлеченный поток 42 данных. Фильтр 44 может быть сконфигурирован для увеличения частотного участка, который, как ожидается, содержит искомый сигнал 20.

В качестве альтернативы или дополнительно, к характеристическим сигналам, включенным в поток 38 обработанных скомпенсированных данных или извлеченный поток 42 данных, можно применить временную фильтрацию. В предположении, что обычно большие изменения (или: флуктуации) характеристических сигналов (например, изменения цвета) не свойственны представляющим интерес сигналам жизнедеятельности, упомянутые изменения могут считаться нежелательными искажениями и поэтому подавляться. Например, к сигналам можно применить рекурсивную временную фильтрацию, чтобы дополнительно повысить качество сигнала:

(7)

при

(8),

где x и y обозначают фактическое положение единственного элемента ν_x,y секции кадра, отслеживаемой и наблюдаемой в течение времени t. Снова, t может означать время или фактический номер кадра. Элемент может содержать одиночные пиксели или подмножества интегрированных пикселей. Составляющая K вводится посредством применения весового коэффициента к каждому элементу ν_x,y, при этом весовой коэффициент зависит от величины изменения, которое претерпевает элемент ν_x,y. В результате, элементы ν_x,y, подверженные небольшим изменениям, можно обрабатывать (например, обновлять фактическое положение), тогда как элементы ν_x,y, подверженные большим изменениям, можно не учитывать, так что сохраняется предыдущее положение. Разумеется, примерные уравнения (7) и (8) и основной алгоритмический подход можно применять с необходимыми изменениями к нескольким вариантам осуществления, описанным в настоящей заявке.

После необязательного фильтра 44 по движению потока данных поток 46 фильтрованных данных может передаваться в анализатор 48, который сконфигурирован для обнаружения по меньшей мере одного по меньшей мере частично периодического, представляющего интерес сигнала 20 жизнедеятельности. Например, анализатор 48 может быть приспособлен для обнаружения доминирующих максимумов сигнала, например, максимумы частоты, показывающие частоту сердечных сокращений. В конечном счете, можно получить выходной сигнал 50.

Пунктирные стрелки 52a, 52b, 52c показывают, что предварительно обработанные данные можно выводить на нескольких стадиях из устройства 10 для дополнительной обработки снаружи устройства 10. Данные, которые могут быть переданы по стрелкам 52a, 52b, 52c, могут сохраняться или буферизироваться для последующей обработки. Кроме того, выходные данные можно использовать для представления потока данных (изображения).

Средство 28 стабилизирующей обработки, экстрактор 40, (необязательный) фильтр 44 и анализатор 48 могут быть совместно осуществлены посредством общего блока 54 обработки, например, центрального процессора, содержащего единственный процессор или несколько процессоров. К центральному процессору может быть также подсоединен интерфейс 26 в общем блоке 54 обработки, вмещающем соответствующие компоненты. Например, блок 54 обработки может быть реализован в мобильном вычислительном устройстве (или: управляться) посредством соответствующих логических команд и программного кода. Средство 28 стабилизирующей обработки, экстрактор 40, (необязательный) фильтр 44 и анализатор 48 могут быть осуществлены «виртуальным» методом посредством блока 54 обработки. В случае, если к интерфейсу 26 совокупно подсоединено также воспринимающее средство 22, то общий корпус может вмещать соответствующие компоненты. Данное мобильное устройство 10 может быть мобильным телефоном, в общем, мобильным компьютером, планшетным компьютером и мобильным сканером дистанционной PPG (смотри Фиг. 3).

Следует понимать, что устройство 10 может быть дополнительно выполнено с возможностью выполнения дополнительной предварительной обработки или постобработки принятых данных, например, чтобы дополнительно повысить качество сигнала.

Следует отметить, что по меньшей мере часть обработки сигналов может выполняться в удаленной среде. На Фиг. 1 стрелка 60 указывает, что по меньшей мере часть средства 28 стабилизирующей обработки, экстрактора 40, (необязательного) фильтра 44 и анализатора 48 может быть (виртуально) осуществлена устройством 60 облачных вычислений. Например, облако 60 содержит примерное альтернативное средство 28' стабилизирующей обработки, которое может принимать на себя часть вычислительных задач для отслеживания искомых секций кадров. Другими словами, облако 60 может служить как удаленный виртуальный блок обработки, как указано примерным процессором 64 в облаке 60. Передача данных из и в облако 60 может содержать беспроводную передачу данных, как указано пунктирной стрелкой 62. В качестве альтернативы, передача данных может также содержать кабельную передачу по проводным кабельным сетям.

В общем, концепции «виртуальных» и «облачных вычислений» включают в себя использование набора совместно используемых вычислительных ресурсов (например, серверов), которые обычно объединены в одном или более местоположениях центров обработки. Например, системы облачных вычислений могут быть реализованы в виде веб-сервисов, позволяющих пользователю запускать и организовывать вычислительные ресурсы (например, экземпляры виртуальных серверов) в центрах обработки сторонних организаций. В облачной среде компьютерные ресурсы могут быть доступны в разных размерах и конфигурациях, так что разные типы ресурсов можно задавать для удовлетворения конкретных требований нескольких пользователей. Облачные вычисления могут предлагать гибкие ресурсы без обязательной покупки и эксплуатации дополнительных аппаратных ресурсов в (оконечной) пользовательской части. Считается, что облачный вычислительный ресурс существует или выполняется где-то в «облаке», доступ в которое можно получать по внутренней корпоративной сети или проводной сети общего пользования. С точки зрения разработчика приложений или администратора по информационным технологиям, облачные вычисления допускают разработку и применение приложений, которые проявляют расширяемость (например, повышенное или уменьшенное использование ресурсов по требованию), производительность (например, выполняются эффективно и быстро) и надежность (например, никогда или по меньшей мере редко сталкиваются с потерями времени вследствие неисправности), во всех случаях безотносительно к характеру или местоположению основной инфраструктуры.

Как упоминалось выше, дистанционные PPG измерения, основанные на дистанционном обнаружении пульсаций объема крови в объекте интереса, очень уязвимы к движениям объекта. Например, движение объекта может оказывать неблагоприятное воздействие на обнаружение искомого сигнала тем, что подлежащий наблюдению объект 12 просто исчезает из поля зрения. Это относится, в частности, к ручным устройствам. Однако при условии, что объект 12 остается в поле зрения, движение объекта может модулировать падающее излучение, отраженное от кожи объекта. Кроме того, общие подходы к обнаружению сигналов жизнедеятельности, в сущности, полагаются на обнаружение образа или выбора некоторой области интереса на объекте 12, подлежащем наблюдению. Поэтому желательно выбирать секцию кадра, представляющую область интереса, которая содержит исключительно или почти исключительно пиксели кожи. Следовательно, часто просто небольшие секции данного кадра могут быть выбраны для обработки. Чем меньше данная секция, тем больше (отрицательные) влияния движения.

В этой связи Фиг. 2a и Фиг. 2b изображают для примера одиночные кадры 66, 70, взятые из последовательности кадров. Кадр 66 можно считать кадром, зафиксированным на начальной стадии процедуры обнаружения сигналов жизнедеятельности. Кадр 66 содержит секцию 68 кадра, представляющую область 56 интереса, относимую к объекту 12, подлежащему наблюдению. Например, область 56 интереса может содержать лицо человека или по меньшей мере часть лица. В общем, область интереса содержит участок кожи объекта 12. Кадр 70, изображенный на Фиг. 2b, представляет последующий кадр. Следует понимать, что последующий кадр 70 не обязательно является кадром, непосредственно следующим за начальным кадром 66. Кадр 70 содержит секцию 72 кадра, по-прежнему представляющую область 56 интереса (при этом смещенную) объекта 12'. Начальное положение объекта 12 представлено пунктирными линиями. Стрелка 74 изображает сдвиг или смещение объекта 12 или соответствующих секций 68, 72 кадров.

В контексте настоящей заявки кадр может охватывать все поле зрения, которое может быть зафиксировано воспринимающим средством (например, камерой). Однако, в соответствии с некоторыми вариантами осуществления, кадр может содержать просто подмножество всего кадра, которое воспринимающее средство может зафиксировать.

Традиционные алгоритмы компенсации движения, в основном, требуют обнаружения области 56 интереса в каждом единичном кадре 66, 70, чтобы определить сдвиг 74. На основании упомянутого дорогостоящего вычисления могут быть выбраны секции 68, 72 кадров для дополнительной обработки, чтобы извлечь представляющий интерес сигнал 20 жизнедеятельности. Ниже поясняется альтернативный подход к компенсации движения объекта в устройствах дистанционной PPG.

Примерное устройство 10 дистанционной PPG изображено на Фиг. 3. Например, устройство 10 может быть реализовано посредством мобильного телефона, мобильного планшетного устройства или мобильного устройства медицинского контроля. Устройство 10 можно считать ручным устройством. В предпочтительном варианте устройство сконфигурировано для демонстрации представления объекта, подлежащего наблюдению, для пользователя. Кроме того, предпочтительно, чтобы устройство 10 было сконфигурировано для ручного и/или автоматического выбора секции 68 начального кадра в начальном кадре 66 на начальной стадии процедуры обработки сигнала.

Фиг. 4 показывает схематическое альтернативное представление примерного кадра 66, в котором выбрана секция 68 кадра. Например, кадр 66 согласован с опорной системой 76 координат. Напротив, выбранная секция 68 кадра может быть согласована с наклонной системой 76' координат. Разумеется, системы 76, 76' координат могут быть преобразованы одна в другую посредством подходящих способов преобразования. Следует упомянуть, что ни кадр 66, ни выбранная секция 68 кадра не обязательно должны иметь форму прямоугольных рамок. В частности, выбранная секция 68 кадра может иметь другую форму, которая соответственно адаптирована к данной области интереса.

Традиционные подходы к компенсации движения, включающие в себя обнаружение образов (обнаружение лица), применяемые к каждому в отдельности одиночному кадру, часто дают сбой при определении относительных сдвигов между двумя последовательными кадрами. Это может происходить в случае, когда область интереса оказывается закрытой или даже вне поля зрения в по меньшей мере одном из обработанных кадров. Поскольку традиционные подходы к компенсации движения используют оценку скользящего сдвига, поэтапно применяемую к последовательным кадрам (по отношению к соответствующим кадрам, имеющим установленный, т.е. постоянный интервал относительно соответствующих кадров), при этом как соответствующие опорные кадры, так и соответствующие «текущие» кадры, подлежащие обработке, скользят по полю. Другими словами, опорный кадр может быть непосредственным или непрямым предшественником текущего кадра, подлежащего обработке. Традиционные подходы показывают неудовлетворительную эффективность, когда области интереса по меньшей мере частично и временно закрываются. По существу, алгоритмы компенсации скользящего сдвига могут давать сбой, когда одиночный кадр содержит каким-то образом искаженную область интереса, тогда как все дополнительные кадры показывают области интереса правильной формы. Восстановление традиционных алгоритмов компенсации движения после упомянутых сбоев достигается с трудом и требует значительных объемов вычислений.

С учетом недостатка, характерного для традиционных подходов компенсации движения, было бы желательно обеспечить надежный алгоритм компенсации движения для дистанционной фотоплетизмографии, менее чувствительный к кадрам, содержащим искаженные секции кадров, и требующий меньших вычислительных затрат.

Данный подход можно описать в общих чертах ниже. Ссылка дается на Фиг. 5a и 5b, поясняющие кадры 66, 70, подобные кадрам 66, 70, показанным на Фиг. 2a и 2b. Фиг. 5a показывает начальный кадр 66, и Фиг. 5b показывает последующий кадр 70. Вновь, объект 12, подлежащий наблюдению, перемещен на Фиг. 5b (обозначен позицией 12') относительно его начального положения. Соответственно, секцию 68 кадра на Фиг. 5a, представляющую зону, которую следует выбрать для извлечения сигнала жизнедеятельности, следует перемещать также для того, чтобы отслеживать область интереса (например, лицо) объекта 12, смотри (сдвинутую) секцию 72 кадра на Фиг. 5b. Сдвиг или смещение представлен(о) стрелкой 74. Стрелку 74 можно считать вектором смещения. Предпочтительно было бы определить или по меньшей мере оценить вектор 74 сдвига без применения обнаружения образа к объекту 12 для каждого последующего кадра 70.

С данной целью создается уменьшенное в размерах представление начального кадра 66. Как показано на Фиг. 5a, первое направление 80 кадра (например, строки или горизонтальные строки) и второе направление 82 кадра (например, столбцы или вертикальные строки) указаны соответствующими стрелками. Например, первое направление 80 и второе направление 82 могут совпадать с соответствующей осью системы 76 координат (смотри Фиг. 4). Объекты изображения можно собирать в одно целое (например, интегрировать) вдоль строк в первом направлении 80 и вдоль столбцов во втором направлении 82. Следовательно, интегрирование вдоль первого направления 80 может приводить к первой составляющей 78a производной формы 78 сигнала. Интегрирование вдоль второго направления 82 может создавать вторую составляющую 78b производной формы сигнала. Например, первая составляющая 78a производной формы сигнала может быть осуществлена первым одномерным индексным элементом 84, имеющим некоторое распределение плотности или веса. Соответственно, вторая составляющая 78b производной формы сигнала может быть осуществлена вторым одномерным индексным элементом 86, имеющим некоторое распределение плотности или веса. Как упоминалось выше, интегрирование пиксельных элементов либо в первом направлении 80, либо во втором направлении 82 может содержать сложение соответствующих RGB (канальных) значений или подобных значений цветовых характеристик вдоль каждой строки или каждого столбца. В предпочтительном варианте осуществления требуется интегрировать значения только одного канала для обнаружения искомых сигналов. Например, в режиме RGB особенно показательным можно считать канал G. В режиме YUV особенно показательным можно считать канал Y.

Таким образом, можно определить плотность или вес каждого элемента на первом одномерном индексном элементе 84 и втором одномерном индексном элементе 86. Число элементов на первом индексном элементе 84 может соответствовать числу строк 80 кадра 66. Число элементов на втором индексном элементе 86 может соответствовать числу столбцов 82 кадра 66.

В предположении, что объект 12 интереса имеет достаточно ровные края и/или высококонтрастные зоны в сравнении с фоном и окружающими объектами, производная форма 78 сигнала, состоящая из первой составляющей 78a производной формы сигнала и второй составляющей 78b производной формы сигнала, может содержать отчетливую позиционную информацию. Например, первая составляющая 78a производной формы сигнала может обнаруживать заменяющую вертикальную позиционную информацию. Следовательно, вторая составляющая 78b производной формы сигнала может содержать заменяющую горизонтальную позиционную информацию. Производную форму 78 сигнала первоначально обработанного кадра 66 можно использовать как опорную производную форму 78 сигнала, содержащую первую составляющую 78a производной формы сигнала и вторую составляющую 78b производной формы сигнала.

В каждом из последовательности последовательных кадров 70 опорную производную форму 78 сигнала можно использовать как опорный образец для оценки позиционного сдвига. С данной целью также на Фиг. 5b кадр 70 обрабатывается так, что можно получить текущую производную форму 88 сигнала, содержащую первую составляющую 88a производной формы сигнала и вторую составляющую 88b производной формы сигнала. Поскольку объект 12' в кадре 70 смещен, то составляющие 88a, 88b производной формы сигнала также смещены соответственно.

Фиг. 5b дополнительно содержит схематические представления первой и второй опорных составляющих 78a, 78b производной формы сигнала, указанных пунктирными линиями. Составляющие 78a, 78b производной формы сигнала остаются в таком положении (смотри представление пунктирной линией объекта 12 на Фиг. 5b), что можно оценить отчетливый сдвиг первой и второй текущих составляющих 88a, 88b производной формы сигнала относительно первой и второй опорных составляющих 78a, 78b производной формы сигнала. Примерный подход приведен выше в связи с уравнениями (1) и (2).

Оценка сдвига или смещения представлена вектором 74 сдвига. Сдвиг 74 может состоять из первой составляющей 74a сдвига (например, вертикального сдвига) и второй составляющей 74b сдвига (например, горизонтального сдвига). Первая составляющая 74a сдвига описывает относительный сдвиг между первой опорной составляющей 78a производной формы сигнала и первой текущей составляющей 88a производной формы сигнала. Вторая составляющая 74b сдвига описывает относительный сдвиг между второй опорной составляющей 78b производной формы сигнала и второй текущей составляющей 88b производной формы сигнала.

После оценки вектора 74 сдвига можно определить текущую секцию 72 кадра, предположительно содержащую искомую область интереса объекта 12'. Еще раз имеет смысл упомянуть, что текущую секцию 72 кадра можно определить без возникновения потребности фактически обнаруживать или перестраивать представление переместившегося объекта 12' в кадре 70. Следовательно, компенсация движения может выполняться независимо от фактического содержимого кадра. Предложенный алгоритм является надежным и может обеспечивать функцию стабилизации. Поэтому ручные устройства 10 (смотри Фиг. 3) также можно использовать для обнаружения и извлечения искомых сигналов.

Фиг. 6 представляет примерную последовательность 90 кадров 66, 92, 94, 96 изображений. Например, дистанционное PPG измерение может содержать длительность приблизительно 10-40 секунд, предпочтительно, приблизительно 30 секунд. Последовательность кадров, подлежащих обработке, может фиксироваться со скоростью (или частотой) обновления приблизительно 20-40 кадров в секунду, предпочтительно, приблизительно 30 кадров в секунду.

Как описано выше в связи с Фиг. 5a и 5b, каждый из последующих кадров 92, 94, 96 можно проследить обратно до опорного кадра 66 для мер по компенсации движения. Например, начальный кадр 66 (n = 1) можно считать опорным кадром, из которого можно вывести опорную производную форму 78a, 78b сигнала, смотри Фиг. 5a. Каждый из последующих кадров 92, 94, 96 (n = 2, 3, …) может быть обработан так, чтобы вывести соответствующие производные формы 98, 100, 102 сигналов, каждая из которых может содержать первую составляющую 98a, 100a, 102a и вторую составляющую 98b, 100b, 102b. Пунктирные линии 104a, 104b, 104c указывают, что каждую из производных форм 98, 100, 102 сигналов можно проследить обратно до опорной производной формы 78 сигнала для оценки каждого соответствующего сдвига относительно опорного кадра 66. Таким образом, каждый из (заменителей) последующих кадров 92, 94, 96 можно сравнивать с надлежащим опорным образцом. Отсутствует риск оценки сдвига на основе искаженного опорного образца. Кроме того, с учетом, что некоторые из последующих кадров 92, 94, 96 могут быть искажены, все же можно обрабатывать каждый последующий «рабочий» кадр, который не искажен. Следовательно, алгоритм компенсации движения может легко восстанавливаться после сбоев.

Фиг. 7 показывает кадр 66 (изображения), содержащий представление объекта 12. Как упоминалось выше, несколько участков объекта 12, подлежащего наблюдению, могут служить в качестве области интереса 56, отчетливо показывающей искомые сигналы жизнедеятельности. Например, в области 56 интереса может быть представлен участок лица в целом. Однако дистанционное обнаружение фотоплетизмографического сигнала жизнедеятельности можно также применить к меньшим областям интереса. Например, область 56a интереса может содержать участок лба лица. Альтернативная область 56b интереса может содержать участок щеки лица. Кроме того, область 56c интереса может содержать участок шеи. Дополнительная альтернативная область 56d интереса, в основном, содержит участок предплечья объекта 12, подлежащего наблюдению. В качестве области интереса можно также наблюдать участок кисти руки объекта 12. Представленный подход необязательно требует применения к участку лица объекта 12. Поскольку компенсация движения, в основном, выполняется независимо от того, что фактически является областью 56 интереса, то можно исключить дорогостоящие вычислительные процедуры для обнаружения лица (на каждом кадре). В соответствии с вариантом осуществления, сам пользователь может задавать начальную (опорную) секцию кадра. В общем, секцию 56 кадра можно считать зоной кадра 66, которую требуется отслеживать во время измерения.

Фиг. 8 изображает дополнительную последовательность 106 кадров 108, 110, 112, 122, 124, подлежащую обработке для компенсации движения в режиме дистанционной PPG.

В соответствии с примерным вариантом осуществления, устройство 10 несомненно может содержать обнаружитель 35 образов (смотри Фиг. 1), который сконфигурирован для обнаружения образов, предпочтительно, для обнаружения лица. Кадры 108, 110, 112, 122, 124 могут быть прямо или непосредственно последовательными кадрами. Кадр 108 служит опорным кадром. Применяя алгоритм обнаружения образа, можно выбрать и маскировать обнаруженный образ 114, представляющий часть объекта 12, подлежащую наблюдению. Соответственно, можно определить секцию 116 кадра, служащую в качестве опорной секции кадра, подлежащей отслеживанию в последующих кадрах 110, 112. Вновь, уменьшенные в размерах производные формы сигналов могут быть выведены из опорного кадра 108 и последующих кадров 110, 112, смотри Фиг. 5a и Фиг. 5b. Как упоминалось выше, каждый из последующих кадров 110, 112 можно проследить обратно до опорного кадра 108 для сравнения соответствующих производных форм сигналов таким образом, что можно обнаружить сдвиг объекта, как указано пунктирными линиями 118a, 118b. В кадре 112 объект 12 находится почти вне поля зрения. Поэтому оценка движения может привести к сбою. Данный сбой можно использовать в качестве пускового события, как указано позицией 120. Пусковое событие 120 может повторно инициировать начальную стадию процедуры компенсации движения. По существу, кадр 122 может служить как (новый) опорный кадр. Алгоритм обнаружения образа можно применять к опорному кадру 122. Тем самым можно обнаружить некоторый образ, описывающий область объекта 12, которая, как полагают, показывает сигналы жизнедеятельности, подлежащие извлечению, смотри позицию 114'. Следовательно, можно определить (новую) опорную секцию 126 кадра, которая подлежит отслеживанию в последующих кадрах 124. Для дальнейшей оценки сдвига и компенсации движения каждый из последующих кадров 124 можно сравнивать с (новым) опорным кадром 122. Таким образом, процедура компенсации движения может быть еще более надежной, поскольку алгоритм может «обновляться» после некоторых пусковых событий 120. Следует понимать, что существует несколько пусковых событий. Как показано выше, объект 12, расположенный вне поля зрения, может вызывать пусковое событие 120. Кроме того, закрытый объект 12 может вызывать пусковое событие 120.

Фиг. 9 изображает примерное пространство 130 сигналов, содержащее характеристический сигнал 136. Пространство 130 сигналов может быть составлено из дополнительных каналов 134a, 134b, 134c. Например, пространство 130 сигналов может представлять пространство RGB-сигналов. Поэтому дополнительные каналы 134a, 134b, 134c могут означать соответствующие R-, G- и B-каналы. Характеристический сигнал 136 может быть представлен или осуществлен некоторой точкой (или вектором) в пространстве 130 сигналов. Характеристический сигнал 136 может состоять из соответствующих главных составляющих 138a, 138b, 138c, каждая из которых представляет некоторое значение в соответствующих дополнительных каналах 134a, 134b, 134c.

Характеристический сигнал 136 может быть представлением субэлементов кадра (изображения) в некоторый момент. Например, характеристический сигнал 136 может представлять средние значения пикселей области интереса. Другими словами, например, когда область интереса содержит, главным образом, пиксели кожи, характеристический сигнал 136 представляет, в основном, средний цвет кожи, который имеет объект 12, подлежащий наблюдению. Небольшие флуктуации цвета кожи могут вызывать небольшие флуктуации характеристического сигнала 136. Упомянутые небольшие флуктуации можно интерпретировать как физиологическую информацию. Искомые, представляющие интерес сигналы жизнедеятельности можно извлекать из физиологической информации.

На Фиг. 10a, 10b, 10c и 10d можно выделить примерную зависимость между движением объекта и качеством сигнала для дистанционного PPG измерения. Фиг. 10a, 10b, 10c и 10d представляют несколько графиков. Графики 142a, 142b, 148a, 148b получены посредством процедуры примерного дистанционного PPG измерения, при этом происходило движение объекта относительно воспринимающего средства (например, камеры). Фиг. 10a и 10b показывает движение объекта с течением времени в первом направлении (dx) кадра и втором направлении (dy) кадра. Фиг. 10c показывает сильное влияние движения объекта на характеристический сигнал в среде, к которой не применяют никакой компенсации движения. Напротив, Фиг. 10d основана на таком же измерении, но содержит характеристический сигнал, который получен из потока данных, к которому применены примерные меры по компенсации движения. Все графики охватывают одинаковый период времени. На каждом графике ось времени обозначена стрелкой 144. На каждом из графиков время «считается» в числах обработанных кадров.

График 142a направленного сдвига показывает для примера горизонтальную составляющую 74b сдвига. График 142b направленного сдвига показывает для примера вертикальную составляющую 74a сдвига. При совместном рассмотрении общий сдвиг 74 может состоять из составляющих 74a, 74b сдвига, смотри также Фиг. 5b. Обе ординаты 146a, 146b на графиках 142a, 142b направленного сдвига могут содержать безразмерную опорную позиционную информацию по отношению к начальному положению (dx = 0; dy = 0) в начальный момент времени (число кадров = 0).

Фиг. 10c изображает график 148a, представляющий характеристический сигнал 136a, полученный от секций кадров для кадров, к которым не применялось никаких мер по компенсации движения. При сравнении Фиг. 10c с Фиг. 10a и 10b становится очевидным, что большие амплитуды направленного сдвига могут отражаться мощными амплитудами характеристического сигнала 136a на графике 148a. Например, очень большой сдвиг на приблизительно 270 кадрах приводит к очень большой амплитуде характеристического сигнала 136a в тот же момент времени. Ордината 152 обоих графиков 148a, 148b, показанная на Фиг. 10c и 10d, может быть направлена для безразмерного фактического представления выраженной характеристики (например, отношения R/G и тому подобное) характеристических сигналов 136a, 136b. Характеристический сигнал 136b на графике 148b скомпенсирован с учетом движения в соответствии с вышеописанным примерным подходом. Характеристический сигнал 136a на графике 148a на Фиг. 10c испытывает очевидное влияние движения объекта, показанного на графиках 142a, 142b. После принятия мер по компенсации движения вызываемое движением искажение больше не доминирует в характеристическом сигнале 136b на графике 148b. Фигурные скобки 150a, 150b показывают диапазон, который охвачен в направлении ординаты на соответствующих графиках 148a, 148b на Фиг. 10c и 10d. Следует отметить, что диапазон 150a, охваченный графиком 148a на Фиг. 10c, намного больше, чем диапазон 150b, охваченный графиком 148b, скомпенсированным с учетом движения, на Фиг. 10d. Следовательно, остающиеся характеристики сигнала (например, экстремальные значения, точки возврата и тому подобное) характеристического сигнала 136b, обнаруживающиеся на графике 148b, считаются отчетливо показывающими искомый сигнал жизнедеятельности, включенный в график.

Напротив, характеристический сигнал 136a некомпенсированного графика на Фиг. 10c не допускает таких выводов, поскольку искомый сигнал жизнедеятельности «скрыт» за искажениями, обусловленными движением объекта.

После демонстрации нескольких альтернативных примерных подходов, охватываемых изобретением, на Фиг. 11 схематически изображен способ извлечения информации из характеристических сигналов.

Сначала, на этапе 160 принимается входной поток данных или последовательность 162, содержащая несколько кадров 164, 166, 168. Ось времени указана стрелкой t. Поток данных может подаваться из воспринимающего средства 22 или буфера или запоминающего средства данных. Поток данных может быть реализован, например, последовательностью кадров изображений, изменяющихся с течением времени. Кадры изображений могут содержать RGB-данные пикселей. Поток данных содержит представление объекта интереса.

На следующем этапе 170 из опорного кадра 164 может быть получена опорная производная форма 172 сигнала, содержащая первую и вторую составляющие 172a, 172b опорной производной формы сигнала. Кроме того, в опорном кадре 164 может быть определена опорная секция 174 кадра. Опорная секция 174 кадра подлежит отслеживанию в течение последующих мер по компенсации движения. Опорная секция 174 кадра может быть определена вручную или посредством применения алгоритма обнаружения образа (например, обнаружения лица).

На другом следующем этапе 182 последующий кадр 166 может быть обработан для получения текущей производной формы 176 сигнала, содержащей первую и вторую составляющие 176a, 176b производной формы сигнала. Посредством сравнения текущей производной формы 176 сигнала с опорной производной формой 172 сигнала можно оценить позиционный сдвиг 178. Вследствие этого, в кадре 166 можно определить секцию 180 кадра, чтобы отслеживать область интереса, подлежащую наблюдению. Опорное положение опорной секции 174 кадра указано позицией 174'.

Следует понимать, что этап 182 может повторяться для каждого последующего кадра последовательности кадров 162, смотри пунктирную замкнутую линию со стрелкой 187. Таким образом, секцию кадра, содержащую область интереса, может отслеживать с течением времени, смотри секцию 174 кадра в кадре 164, секцию 180 кадра в кадре 166 и секцию 186 кадра в кадре 168. Этап 184 может содержать соответствующее определение последовательности секций кадров. Следует дополнительно подчеркнуть, что каждый из последующих кадров 166, 168 можно прослеживать обратно до опорного кадра 164 для обнаружения и компенсации движения. Как указано пунктирной линией 188, в ходе процедуры может начаться обработка (нового) опорного кадра на основании появления пусковых событий.

После определения последовательности секций 174, 180, 186 кадров секции кадров могут быть дополнительно обработаны на последующем этапе 190, на котором характеристический сигнал 192 извлекается из последовательности секций 174, 180, 186 кадров. Например, характеристический сигнал 192 может представлять средние значения пикселей секций 174, 180, 186 кадров.

Затем может последовать другой этап 194 обработки сигналов, на котором экземпляры характеристического сигнала 192 могут быть дополнительно обработаны. Например, характеристический сигнал 192 может содержать цветовые характеристики, принадлежащие пространству 196 сигналов (или цветовому пространству). Следовательно, характеристический сигнал 192 может быть разделен на соответствующие главные составляющие 198, связанные с каналами пространства сигналов. Затем возможна дополнительная обработка сигнала, чтобы можно было получить физиологическую информацию 200. Например, физиологическая информация 200 может содержать информацию, получаемую из слабых флуктуаций характеристического сигнала 192, которые, как полагают, отчетливо показывают искомые сигналы жизнедеятельности, подлежащие получению. Затем возможен дополнительный этап 202 обработки сигнала, который может содержать, например, меры по фильтрации сигнала или взвешиванию сигнала. На этапе 202 возможно выделение заданного диапазона 204 частот, тогда как соседние диапазоны частот могут ослабляться. Кроме того, к обработанным данным можно применить частотный анализ.

В конечном счете, на дополнительном этапе 206 обработанный сигнал 200 физиологической информации может дополнительно анализироваться для извлечения искомого сигнала 208 жизнедеятельности. Следует понимать, что можно быть заинтересованным в представлении интересующего сигнала 208 в зависимости от времени и/или его представление в зависимости от частоты.

Например, настоящее изобретение можно применить в области медицинского ухода, например, ненавязчивого контроля за пациентом, общих наблюдений, контроля за безопасностью и в, так называемых, оздоровительных окружающих условиях, например, на оборудовании для спортивно-оздоровительных занятий и т.п. Применения могут включать в себя контроль насыщения кислородом (пульсовую оксиметрию), частоты сердечных сокращений, артериального давления, минутного сердечного выброса, изменений перфузии крови, оценку автономных функций и обнаружение заболеваний периферических кровеносных сосудов. Разумеется, в варианте осуществления способа в соответствии с изобретением, несколько этапов, описанных в настоящей заявке, могут выполняться в измененном порядке или даже одновременно. Кроме того, некоторые из этапов можно также не выполнять без выхода за пределы объема изобретения. Это относится, в частности, к нескольким альтернативным сигналам обработки сигналов.

Хотя настоящее изобретение подробно представлено на чертежах и охарактеризовано в вышеприведенном описании, упомянутые чертежи и описание следует считать иллюстративными или примерными, а не ограничивающими; изобретение не ограничено раскрытыми вариантами осуществления. Специалистами в данной области техники, в процессе практического применения заявленного изобретения, на основании изучения чертежей, описания и прилагаемой формулы изобретения могут быть разработаны и реализованы другие варианты раскрытых вариантов осуществления.

В формуле изобретения формулировка «содержащий» не исключает других элементов или этапов, и признак единственного числа (в виде неопределенного артикля в оригинале) не исключает множественного числа. Единственный элемент или другой блок может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Очевидное обстоятельство, что некоторые признаки упомянуты во взаимно различающихся зависимых пунктах формулы изобретения, не означает невозможность применения комбинации упомянутых признаков в подходящем случае.

Компьютерная программа может храниться/распространяться на подходящем долговременном носителе, например, оптическом носителе данных или полупроводниковом носителе, поставляемом совместно с другим аппаратным обеспечением или в его составе, но может также распространяться в других формах, например, по сети Интернет или в других проводных или беспроводных телекоммуникационных системах.

Никакие позиции в формуле изобретения нельзя считать ограничивающими объем изобретения.

Изобретение относится к области извлечения информации из дистанционно обнаруживаемых характеристических сигналов. Техническим результатом является обеспечение получения характеристических сигналов с повышенной точностью, с уменьшенным объемом вычислений. Устройство содержит: интерфейс (26) для приема потока (24) данных, получаемого из электромагнитного излучения (14), испускаемого или отраженного объектом (12), средство (28) стабилизирующей обработки, содержащее: преобразователь (30), компаратор (32), компенсатор (34), экстрактор (40). 2 н. и 9 з.п. ф-лы, 16 ил.

1. Устройство для извлечения информации из дистанционно обнаруживаемых характеристических сигналов, содержащее:

- интерфейс (26) для приема потока (24) данных, получаемого из электромагнитного излучения (14), испускаемого или отраженного объектом (12), при этом поток (24) данных содержит последовательность кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168), причем по меньшей мере некоторые из кадров содержат секцию (68, 72; 174, 180, 186) кадра, представляющую область (56) интереса, относимую к объекту (12), причем область (56) интереса издает непрерывный или дискретный характеристический сигнал (136; 192), включающий в себя физиологическую информацию (200), причем физиологическая информация (200) показывает по меньшей мере один по меньшей мере частично периодический сигнал (20; 208) жизнедеятельности, последовательность кадров дополнительно содержит участок возмущающего сигнала, по меньшей мере частично показывающий нежелательное движение объекта, причем участок возмущающего сигнала отрицательно влияет на характеристический сигнал (136; 192),

- средство (28) стабилизирующей обработки, содержащее:

- преобразователь (30) для получения производной формы (78, 88, 98, 100, 102; 172, 176) сигнала из по меньшей мере некоторых кадров упомянутой последовательности кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168) посредством уменьшения в размерах, причем производная форма сигнала содержит по меньшей мере первую составляющую (78а, 88а, 98а, 100а, 102а; 172а, 176а) сигнала и вторую составляющую (78b, 88b, 98b, 100b, 102b; 172b, 176b) сигнала, показывающие позиционную информацию,

- компаратор (32) для оценки позиционного сдвига (74, 178) текущей производной формы (88, 98, 100, 102; 176) сигнала относительно предыдущей производной формы (78, 172) сигнала, причем позиционный сдвиг (74, 178) представляет нежелательное движение объекта,

- компенсатор (34) для определения текущей секции (72; 180, 186) кадра с учетом оцененного позиционного сдвига (74, 178), причем текущая секция (72; 180, 186) кадра по меньшей мере частично представляет область (56) интереса, так что область (56) интереса можно отслеживать для по меньшей мере частичной компенсации нежелательного движения объекта,

- экстрактор (40) для извлечения характеристического сигнала (136; 192) из последовательности кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168) с учетом последовательности определенных секций (68, 72; 174, 180, 186) кадров,

причем характеристический сигнал (136; 192) связывается с пространством (130; 196) сигналов, представляющим характеристики электромагнитного излучения (14),

причем преобразователь (30) дополнительно сконфигурирован для получения опорной производной формы (78; 172) сигнала из кадра упомянутой последовательности кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168) в течение начальной стадии, причем опорная производная форма (78; 172) сигнала содержит по меньшей мере первую опорную составляющую (78а; 172а) и вторую опорную составляющую (78b; 172b), показывающие опорную позиционную информацию,

причем компаратор (32) дополнительно сконфигурирован для оценки позиционного сдвига (74, 178) каждой из множества последующих производных форм (88, 98, 100, 102; 176) сигнала в течение последующей стадии относительно опорной производной формы (78; 172) сигнала, и

причем средство (28) стабилизирующей обработки дополнительно сконфигурировано для запуска преобразовательного средства (30) таким образом, что по меньшей мере дополнительную опорную производную форму (78; 172) сигнала можно получить из кадра в течение последующей стадии.

2. Устройство по п. 1, дополнительно содержащее анализатор (48) для определения временных вариаций характеристического сигнала (136; 192) и для обнаружения по меньшей мере одного по меньшей мере частично периодического сигнала (20) жизнедеятельности, представленного физиологической информацией (200), заключенной в характеристическом сигнале (136; 192).

3. Устройство по п. 1, в котором преобразователь (30) сконфигурирован для интегрирования элементов кадра вдоль первого направления (80) и вдоль второго направления (82) по меньшей мере некоторых кадров упомянутой последовательности кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168), чтобы получить производную форму (78, 88, 98, 100, 102; 172, 176) сигнала, при этом первая составляющая (78а, 88а, 98а, 100а, 102а; 172а, 176а) сигнала предпочтительно содержит уменьшенное в размерах отображение строк (80) кадра, и причем вторая составляющая (78b, 88b, 98b, 100b, 102b; 172b, 176b) сигнала предпочтительно содержит уменьшенное в размерах отображение столбцов (82) кадра.

4. Устройство по п. 1, в котором по меньшей мере один по меньшей мере частично периодический сигнал (20; 208) жизнедеятельности выбирается из группы, состоящей из частоты сердечных сокращений, цикла сердечных сокращений, частоты дыхания, изменчивости частоты сердечных сокращений, волн Траубе-Геринга-Майера и насыщения кислородом.

5. Устройство по п. 1, в котором пространство (130; 196) сигналов является пространством цветовых сигналов, содержащим по меньшей мере два дополнительных канала (134а, 134b, 134с), при этом по меньшей мере два дополнительных канала (134а, 134b, 134с) относятся к заданным спектральным участкам, и причем характеристический сигнал (136; 192) содержит по меньшей мере две главных составляющих (138а, 138b, 138с; 198), каждая из которых относится к соответствующему дополнительному каналу (134а, 134b, 134с).

6. Устройство по п. 5, в котором по меньшей мере частично периодический сигнал (20) жизнедеятельности заключен в небольших временных флуктуациях по меньшей мере одной из по меньшей мере двух главных составляющих (138а, 138b, 138с; 198) характеристического сигнала (136; 192).

7. Устройство по п. 1, в котором средство (28) стабилизирующей обработки дополнительно содержит обнаружитель (35) образов для определения секции (68; 116, 126) кадра, по меньшей мере частично представляющей область (56) интереса в по меньшей мере одном кадре упомянутой последовательности кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168) в течение начальной стадии таким образом, что секцию (68; 116, 126) начального кадра можно определить как опорную секцию кадра.

8. Устройство по п. 1, в котором средство (28) стабилизирующей обработки дополнительно содержит средство (36) смещения для коррекции оцененных значений (74, 178) позиционного сдвига с учетом текущих оценок абсолютного сдвига и/или временного постоянства текущих оценок сдвига.

9. Устройство по п. 1, дополнительно содержащее интегрированное воспринимающее средство (22), выполненное с возможностью собирать поток (24) данных, содержащий последовательность кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168).

10. Устройство по п. 1, дополнительно содержащее фильтр (44) для селективного ослабления или усиления составляющих характеристического сигнала (136; 192).

11. Способ извлечения информации из дистанционно обнаруживаемых характеристических сигналов, содержащий этапы, на которых:

- принимают поток (24) данных, получаемый из электромагнитного излучения (14), испускаемого или отраженного объектом (12), при этом поток (24) данных содержит последовательность кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168), причем по меньшей мере некоторые из кадров содержат секцию (68, 72; 174, 180, 186) кадра, представляющую область (56) интереса, относимую к объекту (12), причем область (56) интереса издает непрерывный или дискретный характеристический сигнал (136; 192), включающий в себя физиологическую информацию (200), причем физиологическая информация (200) показывает по меньшей мере один по меньшей мере частично периодический сигнал (20; 208) жизнедеятельности, последовательность кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168) дополнительно содержит участок возмущающего сигнала, по меньшей мере частично показывающий нежелательное движение объекта, причем участок возмущающего сигнала отрицательно влияет на характеристический сигнал (136; 192),

- стабилизируют характеристический сигнал (136; 192), причем стабилизация содержит этапы, на которых:

- получают производную форму (78, 88, 98, 100, 102; 172, 176) сигнала из по меньшей мере некоторых кадров упомянутой последовательности кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168) посредством уменьшения в размерах, причем производная форма (78, 88, 98, 100, 102; 172, 176) сигнала содержит по меньшей мере первую составляющую (78а, 88а, 98а, 100а, 102а; 172а, 176а) сигнала и вторую составляющую (78b, 88b, 98b, 100b, 102b; 172b, 176b) сигнала, показывающие позиционную информацию,

- оценивают позиционный сдвиг (74, 178) текущей производной формы (88, 98, 100, 102; 176) сигнала относительно предыдущей производной формы (78, 172) сигнала, причем позиционный сдвиг (74, 178) представляет нежелательное движение объекта,

- определяют текущую секцию (72; 180, 186) кадра с учетом оцененного позиционного сдвига (74, 178), причем текущая секция (72; 180, 186) кадра по меньшей мере частично представляет область (56) интереса, так что область (56) интереса можно отслеживать для по меньшей мере частичной компенсации нежелательного движения объекта,

- получают опорную производную форму (78; 172) сигнала из кадра упомянутой последовательности кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168) в течение начальной стадии, причем опорная производная форма (78; 172) сигнала содержит по меньшей мере первую опорную составляющую (78а; 172а) и вторую опорную составляющую (78b; 172b), показывающие опорную позиционную информацию,

- оценивают позиционный сдвиг (74, 178) каждой из множества последующих производных форм (88, 98, 100, 102; 176) сигнала в течение последующей стадии относительно опорной производной формы (78; 172) сигнала, и

- запускают получение опорной производной формы сигнала таким образом, что по меньшей мере дополнительная опорная производная форма (78; 172) сигнала может быть получена из кадра в течение последующей стадии, и

- извлекают характеристический сигнал (136; 192) из последовательности кадров (66, 70, 92, 94; 108, 110, 112, 122, 124; 164, 166, 168) с учетом последовательности определенных секций (68, 72; 174, 180, 186) кадров, причем характеристический сигнал (136; 192) связывается с пространством (130; 196) сигналов, представляющим характеристики электромагнитного излучения (14).