УСТРОЙСТВА ВИДЕОКОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ И СПОСОБЫ СОХРАНЕНИЯ ЗНАЧИМОЙ ДЛЯ PPG ИНФОРМАЦИИ Российский патент 2016 года по МПК H04N19/167 H04N19/186 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству видеокодирования и соответствующему способу видеокодирования для кодирования видеоданных, с помощью которого сохраняется значимая для PPG (фотоплетизмографического изображения) информация.

Дополнительно, настоящее изобретение относится к устройству видеодекодирования и соответствующему способу видеодекодирования для декодирования закодированных видеоданных.

Еще, дополнительно, настоящее изобретение относится к системе видеокодирования для кодирования и декодирования видеоданных и к компьютерной программе для реализации упомянутых способов.

УРОВЕНЬ ТЕХНИКИ

Существует возрастающая потребность обеспечить технологические решения для помехоустойчивого непрерывного отслеживания биометрических сигналов людей. Эта потребность является результатом растущей осознанности важности здорового и активного образа жизни среди более молодых поколений. Помимо этого, постоянно стареющее население, как результат возросшей средней продолжительности жизни, оказывает дополнительное давление по поводу необходимости систем слежения за здоровьем с минимальным вмешательством в ежедневную жизнедеятельность человека. Ненавязчивое отслеживание биометрических сигналов могло бы использоваться для обеспечения фактически немедленной ответной реакции на состояние тела и психики в любое время и для оценки изменений в состоянии здоровья людей в кратчайшие сроки.

Традиционные устройства и способы измерения биометрических сигналов (например, частоты сердечных сокращений, частоты дыхания, кровяного давления, насыщенности кожи кислородом и т.д.) требуют от пользователя носить раздражающие датчики на теле, которые могут восприниматься как вторгающиеся в нормальную жизнедеятельность человека. Вследствие этого, в последние годы осуществляются попытки разработать бесконтактные технические средства для удаленного отслеживания жизненноважных сигналов тела. Новейшие разработки показывают реализацию ненавязчивого удаленного отслеживания при помощи датчиков изображения, предназначенных для пользовательского (вебкамер) или широковещательного видео.

Способ для измерения изменений цвета кожи, называющийся фотоплетизмографическим изображением (PPG), описывается в источнике «Remote plethysmographic imaging using ambient light», авторов Wim Verkruysse, Lars O. Svaasand и J. Stuart Nelson, Optics Express, Том 16, № 26, декабрь 2008 года. Он основывается на принципе того, что временные изменения в объеме крови в коже приводят к изменениям в поглощении света кожей. Такие изменения могут регистрироваться видеокамерой, которая снимает изображения участка кожи, например лица, в то время как процесс обработки рассчитывает среднее по пикселям по выбранной вручную области (как правило, части щеки в этой системе). Путем просмотра периодических изменений этого среднего сигнала могут выделяться частота сердцебиения и частота дыхания.

Известные системы для удаленного измерения сигналов частоты сердцебиения или дыхания основываются на анализе несжатых, необработанных видеопоследовательностей непосредственно после считывания изображения. В большинстве «реальных жизненных» приложений видеопоследовательности хранятся или передаются в сжатом виде. Сжатие видеосигналов предполагает удаление некоторой излишней (с точки зрения визуального восприятия) информации. К сожалению, информация, которая не является важной для визуального восприятия, может являться ключевой для определения биометрических сигналов. Например, стандарт сжатия MPEG использует межкадровые предсказания, которые незначительно изменяют временную информацию видеосигнала. Такие изменения затрудняют обнаружение временных биометрических сигналов или даже делают это невозможным. Однако для многих приложений выделение сигнала сердцебиения из видео должно осуществляться после того, как произошла видеозапись. В этих случаях сжатое видео будет обработано.

Значимая для PPG информация может сохраняться в закодированном битовом потоке, если видео сжимается на высокой скорости битового потока. Однако сжатие видео с низким коэффициентом сжатия будет увеличивать размер файла хранения или увеличивать ширину полосы частот передачи. Вследствие этого, имеется необходимость сохранения информации, требующейся для автономного выделения биометрических сигналов в течение записи и сжатия видео, в частности, в соответствии с одним из традиционных стандартов видеокодирования.

Стандартные технологии видеокодирования (подобные MPEG2, MPEG4, H.264) добиваются значительного сжатия видеоинформации при помощи применения временного предсказания. Большинство кадров в видеопоследовательности (типы B и P: B, означающий «двунаправлено предсказанный кадр», P, означающий «предсказанный вперед кадр») кодируются как квантованные разности между исходным кадром и интеркодированным с компенсацией движения кадром (типа B или P). Некоторая визуальная информация теряется из-за квантования и предсказания движения. Хотя эта информация является несущественной с точки зрения визуального восприятия, она содержит данные, являющиеся ключевыми для выделения биометрических сигналов, таких как сердцебиение.

Информация PPG может сохраняться в видеопоследовательности, если видео сжимается на высокой скорости битового потока, без применения временного предсказания и/или деблочного фильтра (для H.264). Например, MJPEG или MJPEG2K, основанные только на внутрикадровом кодировании, могут применяться для сжатия видео и сохранения сигнала PPG. Однако интракодирование целых кадров не может обеспечить коэффициент сжатия, требуемый большинством мультимедийных приложений. В связи с этим существует, в частности, потребность в способе и устройстве, обеспечивающих возможность сжатия видео с использованием стандартных технических средств сжатия видео с потерями и сохранения информации с изображением, требующейся для выделения сигнала PPG после декодирования видео.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Целью настоящего изобретения является создание устройства видеокодирования и соответствующего способа кодирования видеоданных, с помощью которых значимая для PPG информация сохраняется без требования большого количества дополнительных данных. Дополнительной целью настоящего изобретения является создание соответствующего устройства видеодекодирования и способа, системы видеокодирования и компьютерной программы для реализации упомянутых способов.

В первом аспекте настоящего изобретения создается устройство видеокодирования для кодирования входных видеоданных, причем устройство видеокодирования содержит:

- модуль выбора для осуществления выбора во входных видеоданных одной или более областей исследования, которые могут использоваться для обеспечения сильного сигнала PPG;

- первый модуль кодирования для кодирования упомянутых одной или более областей исследования упомянутых входных видеоданных (102) в соответствии с предварительно определенной схемой кодирования с первой настройкой кодирования для сохранения существенной для PPG информации в закодированных одной или более областях исследования;

- второй модуль кодирования для кодирования оставшихся частей упомянутых входных видеоданных в соответствии с упомянутой предварительно определенной схемой кодирования со второй настройкой кодирования; и

- блок объединения кодировщика для объединения закодированных одной или более областей исследования и закодированных оставшихся частей упомянутых входных видеоданных в выходной видеопоток кодировщика.

В дополнительном аспекте настоящего изобретения создается устройство видеодекодирования для декодирования закодированного видеопотока, причем упомянутый закодированный видеопоток содержит закодированные видеоданные, в которых одна или более областей исследования входных видеоданных были закодированы в соответствии с предварительно определенной схемой кодирования с первой настройкой кодирования для сохранения существенной для PPG информации в закодированных одной или более областях исследования, и оставшиеся части упомянутых входных видеоданных были закодированы в соответствии с упомянутой предварительно определенной схемой кодирования со второй настройкой кодирования, причем устройство видеодекодирования содержит:

- первый блок декодирования для декодирования одной или более закодированных областей исследования в соответствии со схемой декодирования, дополняющей схему кодирования, которая использовалась для кодирования упомянутых одной или более областей исследования,

- модуль выделения PPG для выделения сигнала PPG из упомянутых одной или более декодированных областей исследования.

В дополнительных аспектах настоящего изобретения создаются соответствующий способ видеокодирования и соответствующий способ видеодекодирования, система видеокодирования и компьютерная программа, содержащая средства программного кода для того, чтобы заставить компьютер выполнить этапы предложенного способа, когда упомянутая компьютерная программа выполняется на компьютере.

Преимущественные варианты осуществления изобретения определяются в зависимых пунктах формулы изобретения. Следует понимать, что заявленные устройство видеодекодирования, система видеокодирования, способы и компьютерная программа имеют сходные и/или аналогичные преимущественные варианты осуществления, как и заявленное устройство видеокодирования, и как определяется в зависимых пунктах формулы изобретения.

Настоящее изобретение основывается, для сохранения существенной для PPG информации в закодированном видеосигнале, на идее кодирования одной или более областей исследования, содержащих в себе один или более участков с существенной для PPG информацией, которые позволяют извлечь сильный сигнал PPG, в частности, самый сильный сигнал PPG, другим образом (т.е. практически без потерь по отношению к существенной для PPG информации), нежели чем другие участки видеоданных, из которых сигнал PPG не будет (и даже не может быть) выделяться. В частности, локальные параметры кодирования (как правило, конкретная настройка кодировщика) устанавливаются для кодирования одной или более областей исследования, и бюджет по битам может выделяться одному или более пространственным участкам изображения (т.е. одной или более областям исследования), пригодным для выделения сигнала PPG, в то же время обеспечивая оптимальный баланс плюсов и минусов между кодированием (например, коэффициентом сжатия) и качеством сигнала PPG, выделенного из декодированного (по меньшей мере, частично) сигнала.

Биометрические сигналы могут обнаруживаться с использованием принципов фотоплетизмографиии (PPG) из видеопоследовательностей, которые, например, или выходят потоком из видеокамеры, или записываются несжатыми. Как упоминалось выше, в практических приложениях такое наблюдение поддерживается не всегда. Настоящее изобретение добивается сохранения визуальной информации PPG для выделения сигналов PPG/биометрических сигналов в течение сжатия видео, например, при помощи стандартного видеокодера, в то же время обеспечивая возможность сжатия на низкой скорости битового потока. Преимущественно, изобретение обеспечивает возможность генерации стандартного, закодированного соответствующим образом битового потока, например, для хранения на носителе данных или для передачи по линии передачи, например Интернет, или через мобильную систему передачи данных.

В этом контексте выражение «значимая для PPG информация» должно пониматься как информация, которая является значимой для получения сигнала PPG. Такая значимая для PPG информация может включать в себя информацию, содержащуюся в исходных видеоданных, которая не является различимой для человеческого глаза, например, незначительные изменения цвета кожи человека. Выражение «сигнал PPG» в этом контексте, как правило, подразумевает любой сигнал, который может быть получен через фотоплетизмографический анализ, такой как временные биометрические сигналы, например сердцебиение, сердечный цикл, SpO2, частота дыхания, глубина анестезии или гипо- и гиперволемии.

В преимущественном варианте осуществления устройство кодирования дополнительно содержит модуль выбора участка для выбора участка, в частности участка кожи, во входных видеоданных в качестве области исследования, в котором упомянутые видеоданные содержат последовательность видеокадров, причем упомянутые кадры являются разделенными на пространственные блоки, и модуль выбора блока для определения пространственных блоков для упомянутого выбранного участка, определенные пространственные блоки которого представляют область исследования. Как правило, видеоданные являются доступными в виде последовательности видеокадров, и каждый кадр является разделенным на пространственные блоки (например, размера, содержащего 4×4 или 16×16 пикселей). Следовательно, для последующего кодирования в соответствии с этим вариантом осуществления находятся оптимальные пространственные блоки, которые будут кодироваться первым модулем кодирования.

В соответствии с дополнительным вариантом осуществления упомянутый модуль выбора участка содержит модуль обнаружения для обнаружения набора потенциально пригодных участков, в частности участков кожи, во входных видеоданных, которые могут использоваться в качестве области исследования, и модуль анализа для осуществления анализа упомянутого набора обнаруженных потенциально пригодных участков и выбора участка в качестве области исследования на основе одного или более предварительно определенных критериев выбора. Такой модуль анализа может, например, содержать детектор лица и/или кожи для обнаружения областей лица и/или кожи в видеоданных, в частности, в одном или более видеокадрах. Таким образом, преимущественно участки лица или кожи являются потенциально пригодными. Преимущественно, самая стабильная (временно) зона лица и/или кожи выбирается в качестве области исследования. Но также может использоваться другой критерий выбора, такой как пространственный размер, стабильность яркости и/или цветовая стабильность. Подобный детектор, например, описывается в «Robust Real-time Object Detection» Paul Viola, Michael Jones, 2-й Международный семинар по статистическим и расчетным теориям изображения, Ванкувер, Канада, 2001 г.

В другом варианте осуществления упомянутый модуль анализа содержит модуль выделения PPG для выделения сигнала PPG из упомянутых обнаруженных потенциально пригодных участков и для выбора одного или более участков в качестве областей исследования на основе качества и/или содержимого выделенных сигналов PPG. Таким образом, модуль анализа может лучшим образом предугадывать, который из потенциально пригодных участков обеспечит сильный сигнал PPG и, таким образом, осуществит выбор одной или более областей исследования соответствующим образом.

Преимущественно, упомянутый модуль выделения PPG выполнен с возможностью определения одного или более параметров первых настроек для кодирования для использования первым модулем кодирования для кодирования упомянутых одной или более областей исследования на основе выделенных сигналов PPG, и упомянутый первый модуль кодирования выполнен с возможностью использования упомянутых одного или более параметров первой настройки для кодирования упомянутых одной или более областей исследования. Таким образом, результат выделения PPG будет использоваться для управления процессом кодирования выбранных одной или более областей исследования для того, чтобы использовать оптимальную настройку кодировщика для достижения того, чтобы самый лучший возможный сигнал PPG мог выделяться из закодированных одной или более областей исследования в декодере. Те параметры первых настроек для блока кодирования могут включать в себя одну или более скоростей сжатия, режим интра- или интеркодирования блока/поля/кадра, число использующихся коэффициентов AC, масштаб квантователя, интрапредсказание DC, специализированную матрицу квантователя и т.д.

В варианте осуществления упомянутый первый модуль кодирования выполнен с возможностью кодирования, по меньшей мере, составляющих цветности, в частности только составляющих цветности, упомянутых одной или более областей исследования, и второй модуль кодирования выполнен с возможностью кодирования составляющих яркости упомянутых одной или более областей исследования и для кодирования составляющих цветности и составляющих яркости оставшихся частей упомянутых входных видеоданных. Это способствует уменьшению объема данных для закодированных видеоданных одной или более областей исследования. Преимущественно, но не в большинстве случаев, выбираются и кодируются только составляющие цветности.

В соответствии с другим вариантом осуществления упомянутый первый модуль кодирования выполнен с возможностью кодирования упомянутых одной или более областей исследования при помощи внутриблочного кодирования, и упомянутый второй модуль кодирования выполнен с возможностью кодирования оставшихся частей упомянутых входных видеоданных при помощи меж- и/или внутриблочного кодирования. Это обеспечивает то, что одна или более областей исследования кодируются практически без потерь. Внутриблочное кодирование и межблочное кодирование являются, как правило, известными техническими приемами и часто, например, в кодировщиках MPEG, используются для кодирования. Следовательно, здесь не будут объясняться никакие дополнительные подробности, поскольку эти подробности известны квалифицированному специалисту.

Еще, дополнительно, в варианте осуществления упомянутый первый модуль кодирования выполнен с возможностью кодирования только составляющих DC интер- и интраблоков, по меньшей мере, составляющих цветности, в частности, только составляющих цветности, упомянутых одной или более областей исследования. Это дополнительно способствует снижению объема данных для закодированных одной или более областей исследования, в частности, если только составляющие DC интер- и интраблоков составляющих цветности являются закодированными. Значимая для PPG информация, как правило, содержится во всех пикселях, но, как правило, не имеется большой заинтересованности в пространственной информации. Вместо этого, только как много пикселей требуется для усреднения для того, чтобы улучшить соотношение сигнал/шум необходимого сигнала PPG, например сердцебиения, в отдельных пикселях. Значимая для PPG информация/сигнал PPG обычно меньше, даже чем шаги квантования несжатого 8-битового видеосигнала. Эта средняя величина может основываться на составляющей DC, и нет никакой абсолютной необходимости знать величины отдельных пикселей, хотя это может помочь в блоках, которые содержат части кожи и некоторых других изображений (например, на границе лица).

Еще дополнительно в варианте осуществления модуль выбора является выполненным с возможностью выбора двух или более областей исследования во входных видеоданных, обеспечивающих сильные сигналы PPG, в частности, самые сильные сигналы PPG, и первый модуль кодирования является выполненным с возможностью кодирования выбранных областей исследования. Таким образом, не только единичная область исследования, но несколько областей исследования доступны для оценки и извлечения сигналов PPG в течение кодирования, что увеличивает достоверность. Например, в варианте осуществления сигналы PPG могут извлекаться из каждой из упомянутых областей исследования, и, следовательно, может производиться оценка того, какой из сигналов PPG имеет самую высокую достоверность, или усреднение всех сигналов PPG.

В варианте осуществления может генерироваться информация ROI, в частности, модулем выбора, информация ROI которого содержит информацию о расположении области(ей) исследования, и которая может включаться в выходные видеоданные кодировщика. Устройство декодирования тогда может использовать эту информацию ROI для того, чтобы легко найти область(и) исследования для декодирования и выделения сигнала PPG из них.

В течение декодирования устройство видеодекодирования, по меньшей мере, имеет возможность декодировать закодированную область исследования из входных видеоданных декодера и выделить сигнал PPG из декодированной области исследования. Выделение PPG использует для этой цели широко известные способы, такие как, например, описанные в вышеупомянутом документе о PPG или как описанные в других ссылках, описывающих основные характеристики PPG. В дополнительном варианте осуществления, однако, устройство декодирования может также являться выполненным с возможностью декодирования полных видеоданных, в частности, в соответствии со схемой декодирования, дополняющей схему кодирования, использующуюся в течение кодирования. Кодирование, выполненное в устройстве видеокодирования, следовательно, должно быть выполнено с возможностью гарантировать это.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения станут очевидными и будут разъяснены со ссылкой на вариант(ы) осуществления, описанный(ые) в дальнейшем в данном документе, где:

На фиг.1 показана схематичная блок-схема первого варианта осуществления устройства видеокодирования в соответствии с настоящим изобретением.

На фиг.2 показана схематичная блок-схема первого варианта осуществления устройства видеодекодирования в соответствии с настоящим изобретением.

На фиг.3 показана схематичная блок-схема второго варианта осуществления устройства видеокодирования в соответствии с настоящим изобретением.

На фиг.4 показана схематичная блок-схема третьего варианта осуществления устройства видеокодирования в соответствии с настоящим изобретением.

На фиг.5 показана схематичная блок-схема второго варианта осуществления устройства видеодекодирования в соответствии с настоящим изобретением.

На фиг.6 показана схематичная блок-схема третьего варианта осуществления устройства видеодекодирования в соответствии с настоящим изобретением.

На фиг.7 показана схематичная блок-схема четвертого варианта осуществления устройства видеокодирования в соответствии с настоящим изобретением.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

На фиг.1 показана схематичная блок-схема первого общего варианта осуществления устройства 10 видеокодирования в соответствии с настоящим изобретением. В соответствии с этим вариантом осуществления исходный видеопоток 100, также называющийся входными видеоданными, предоставляется модулю 20 выбора, который выбирает область исследования 101 во входных видеоданных 100, обеспечивающую сильный сигнал PPG. Выбранная область исследования 101 предоставляется первому модулю 30 кодирования для кодирования упомянутой выбранной области исследования 101 в соответствии с предварительно определенной схемой кодирования с первой настройкой кодирования для сохранения значимой для PPG информации в закодированной области исследования 102. Параллельно, оставшиеся части 103 упомянутых входных видеоданных 100 кодируются вторым модулем 40 кодирования в соответствии с упомянутой предварительно определенной схемой кодирования со второй настройкой кодирования. В модуле 50 объединения кодировщика закодированная область исследования 102 и закодированные оставшиеся части 104 упомянутых входных видеоданных 100 кодируются в выходной видеопоток 105 кодировщика.

При помощи использования упомянутой первой настройки для кодирования выбранной области исследования 101 по существу гарантируется то, что выбранная область исследования 101 является закодированной практически без потерь, по меньшей мере, касательно значимой для PPG информации, включенной в выбранную область исследования 101, так что сильный сигнал PPG может выделяться из выбранной области исследования 101 в устройстве декодирования. Оставшиеся части 103 входных видеоданных 100 кодируются отдельно со второй настройкой кодирования, например, на низкой скорости битового потока (или, по меньшей мере, на скорости битового потока, которая может являться оптимальной для восприятия, но не достаточной для выделения PPG).

На фиг.2 показана схематичная блок-схема первого общего варианта осуществления устройства 60 видеодекодирования в соответствии с настоящим изобретением. В соответствии с этим вариантом осуществления принятый закодированный видеопоток 160 декодируется. Упомянутый закодированный видеопоток 160, который - за исключением помех, привносимых во время хранения и/или передачи, - должен соответствовать выходному видеопотоку 105 кодировщика и содержит закодированные видеоданные, включающие в себя закодированную область исследования 161 и закодированные оставшиеся части 162 входных видеоданных 100.

Устройство 60 видеодекодирования содержит первый модуль 70 декодирования для декодирования закодированной области исследования 161 в соответствии со схемой декодирования, дополняющей схему кодирования, которая использовалась для кодирования упомянутой области исследования 101 в устройстве 10 видеокодирования и модуле 80 выделения PPG для выделения сигнала 164 PPG из упомянутой области исследования 163. Для того чтобы определить такую область исследования, координаты области исследования преимущественно получаются из соответствующей информации ROI, например, при помощи считывания информации ROI, включенной во входной поток 160 видеодекодера, или при помощи анализа изображения (например, проверкой уровня квантования, при помощи которого закодированную область исследования можно отделить от закодированных оставшихся областей).

Необязательно, модуль 90 разделения может предусматриваться для разделения закодированной области исследования 161 и закодированных оставшихся частей 162 или, по меньшей мере, для извлечения закодированной области исследования 161 из входных видеоданных 160 декодера. Дополнительно необязательно может предусматриваться второй модуль 75 декодирования для декодирования закодированных оставшихся частей 162 упомянутых входных видеоданных в соответствии с упомянутой схемой декодирования, и тогда может предусматриваться модуль 95 объединения декодера для объединения декодированной области исследования 163 и декодированных оставшихся частей 165 в выходной видеопоток 166 декодера.

На фиг.6 показана схематичная блок-схема второго, более простого варианта осуществления устройства 60” видеодекодирования в соответствии с настоящим изобретением. В соответствии с этим вариантом осуществления входной видеопоток 160 не разделяется, как в варианте осуществления, показанном на фиг.2. Сначала входной видеопоток 160 декодируется в общем модуле 71 декодирования. Затем в декодированном видеопотоке 167 в модуле 72 выбора выбирается область исследования 168, из которой выделяется сигнал 164 PPG при помощи модуля 80 выделения PPG.

На фиг.3 показана схематичная блок-схема второго более подробного варианта осуществления устройства 10' видеокодирования в соответствии с настоящим изобретением, которое содержит преимущественный вариант осуществления модуля 20' выбора. В частности, модуль 20' выбора содержит модуль 21 выбора участка для выбора участка 123, в частности участка кожи, во входных видеоданных 100 в качестве области исследования, причем упомянутые видеоданные содержат последовательность видеокадров, причем упомянутые кадры являются разделенными на пространственные блоки. Дополнительно, модуль 20' выбора содержит модуль 24 выбора блока для определения пространственных блоков 101 для упомянутого выбранного участка 123, определенные пространственные блоки 101 которого представляют область исследования.

В дополнительном усовершенствованном варианте, как показано на фиг.3, модуль 21 выбора участка содержит модуль 22 обнаружения для обнаружения набора 122 потенциально пригодных участков, в частности участков кожи, во входных видеоданных 100, которые могут использоваться в качестве области исследования, и модуль 23 анализа для осуществления анализа упомянутого набора 122 обнаруженных потенциально пригодных участков и выбора участка 123 в качестве области исследования на основе одного или более предварительно определенных критериев выбора. Из упомянутой выбранной области исследования в модуле 24 выбора блоков затем определяются соответствующие пространственные блоки 101, которые впоследствии кодируются первым модулем 30' кодирования, как описывалось выше.

Обнаружение потенциально пригодных участков преимущественно приспособлено для обнаружения участков лица или кожи, в частности, при помощи доступного способа для обнаружения кожи. В зависимости от конкретного видеоконтента, обнаруженные участки кожи могут занимать или небольшие части видеокадра, или целый видеокадр. Во втором случае кодирование целого обнаруженного участка кожи, например, с использованием внутриблочного кодирования вызовет значительное снижение в эффективности сжатия.

Кроме этого, как правило, не целый участок кожи может являться пригодным для выделения сигнала PPG. Например, только небольшая часть участка кожи является стабильной во времени в течение определенного периода времени. Вследствие этого, только эта часть участка кожи должна использоваться для выделения сигнала PPG. Следовательно, модуль 23 анализа анализирует все участки кожи, обнаруженные в видеокадрах модулем 22 обнаружения, и выбирает только часть(и), которая(ые) является(ются) оптимальной на основе одного или более из нескольких критериев, включая в себя пространственный размер, стабильность во времени, стабильность яркости и/или цветовую стабильность.

Таким образом, модуль 23 анализа преимущественно ищет наиболее стабильную область лица и/или кожи, поскольку предполагается, что такие стабильные области, в основном, обеспечивают самые сильные сигналы PPG. Модуль 23 может выбрать наименьшую область исследования, которая будет иметь возможность обеспечить сигнал PPG. Предполагаемая сила сигнала PPG может анализироваться или при помощи осуществления анализа однотипности пространственных пикселей внутри области исследования, или при помощи обнаружения предпочтительных участков лица (например, лба, щек). Выходными данными модуля 23 анализа является информация о расположении области исследования, например, в виде информации ROI, которая предоставляется модулю 24 выбора блоков для выбора пространственных блоков во входных видеоданных 100, принадлежащих выбранной области исследования.

Это особенно требуется, если видеокадры входных видеоданных 100 являются разделенными на пространственные блоки (имеющие размер, например, от 4×4 до 16×16 пикселей в зависимости от соответствующей схемы сжатия). Координаты 123 оптимального участка кожи затем предоставляются модулем 23 анализа модулю 124 выбора блоков, который выбирает блоки 101 с оптимальными участками кожи, т.е. блоки, представляющие выбранную(ые) область(и) исследования. В том случае, если используется несколько областей исследования, это обеспечивает дополнительную возможность в течение выделения сигнала PPG улучшить возможность выбора наилучшего сигнала PPG или для усреднения сигналов PPG, полученных из разных зон.

Сжатие выбранных участков кожи осуществляется таким путем, который будет гарантировать сохранение значимой для PPG информации после кодирования и (позднее) после декодирования/декомпрессии. Сигнал 165 PPG (см. фиг.2) выделяется, в основном, из каналов цветности видеопотока. Вследствие этого, для того чтобы сохранить значимую для PPG информацию, эти блоки 101 будут кодироваться первым модулем 30' кодирования как интраблоки в варианте осуществления. Другие блоки 103 кадров, т.е. блоки оставшихся частей, кодируются во втором модуле 40' кодирования, например, при помощи стандартного кодера, или как интерблоки, или как интраблоки, в зависимости от настроек и типа второго модуля 40' кодирования. Стандарты видеокодирования дают возможность выбора режима интра- или интеркодирования на основе блоков. Вследствие этого, предложенный алгоритм предоставит возможность создания соответствующего стандарту закодированного битового потока 105 с сохраненной значимой для PPG информацией.

Модуль 23 анализа и модуль 24 выбора блоков найдут оптимальный компромисс между размером участка кожи, требующегося для надежного выделения сигнала PPG, и потерей коэффициента сжатия из-за распределения большого бюджета битов для интракодирования участков кожи. В другом варианте осуществления модуль 23 анализа может (не в обязательном порядке) содержать выделение 25 сигнала PPG и, возможно, метрику сигналов PPG для сопровождения выбора участков кожи.

Как правило, требуется выделять временную информацию цветности сигнала PPG без ошибок, что может достигаться при помощи кодирования блоков цветности с более высокой скоростью передачи битов, что обеспечивается в еще другом варианте осуществления. В частности, еще в другом варианте осуществления устройства 10'' видеокодирования, как показано на фиг.4, первый модуль 30'' кодирования является выполненным с возможностью кодирования, по меньшей мере (преимущественно только), составляющих 101a цветности упомянутой выбранной области исследования 101, в то время как второй модуль 40'' кодирования является выполненным с возможностью кодирования составляющих 101b яркости выбранной области исследования 101 и кодирования составляющих цветности и составляющих яркости оставшихся частей 103 упомянутых входных видеоданных 100.

В принципе, межблочное кодирование может использоваться для кодирования цветности выбранных блоков до тех пор, пока составляющие DC сжимаются без потери информации (свободно от потерь), и квантование составляющих AC вносит артефакты. Блоки яркости могут кодироваться с потерей информации, потому что их вклад в процесс выделения PPG является менее значительным, чем вклад составляющих цветности.

В соответствии с еще одним другим вариантом осуществления или только составляющие цветности выбранной области исследования кодируются как интраблоки, или обе составляющие цветности и яркости, связанные с выбранной областью исследования, кодируются как интраблоки. В этом варианте осуществления, в случае, если выбранный участок кожи (т.е. область исследования) не движется, дополнительные биты будут нецелесообразно расходоваться на кодирование блоков как интраблоков. Однако если выбранный участок кожи движется, артефакты не будут вноситься, так что этот вариант осуществления будет более эффективным.

Предложенный процесс декодирования позволяет не только восстановление видеопотока, например, в соответствии с стандартом видеокодирования, но также выделение сигнала PPG из частично декодированного видеопотока, в частности, из декодированной области исследования.

На фиг.5 показан второй более подробный вариант осуществления устройства 60' видеодекодирования в соответствии с настоящим изобретением, которое по существу соответствует дополнительному устройству 10' видеокодирования, показанному на фиг.3. В этом варианте осуществления входные видеоданные 160 декодера предоставляются обоим первому модулю 70 декодирования и второму модулю 75' декодирования. В то время как первый модуль 70 декодирования является практически аналогичным первому модулю 70 декодирования, разъясненному выше, и выдает на выходе декодированную область исследования 163, второй модуль 75' декодирования не только декодирует оставшиеся участки, но декодирует полные входные видеоданные 160 декодера и выдает на выходе полные выходные видеоданные 166 декодера, т.е. все видеоданные являются декодированными (например, обычным способом) в ходе этого процесса.

Таким образом, сначала применяется стандартная процедура для декодирования входного битового потока вплоть до уровня выделения закодированных блоков. После этого или целый битовый поток и/или интракодированные блоки дополнительно декодируются. Эти интракодированные блоки соответствуют оптимальным участкам кожи, выбранным со стороны кодировщика.

Для того чтобы получать сигнал 164 PPG, модуль 80' выделения сигнала PPG содержит модуль 81 выделения блоков для выделения из декодированной области исследования 163 блоков области исследования, которые были закодированы первым модулем 30' кодирования устройства 10' видеокодирования.

В последующем, при помощи использования информации 181 блока, предоставленной модулем выделения блоков, модуль 82 восстановления восстанавливает область исследования, например, один или более участков кожи, из декодированных интраблоков области исследования. Например, если в первом модуле 70 декодирования декодируются, по меньшей мере (преимущественно только), составляющие цветности области исследования, составляющие цветности области исследования восстанавливаются в модуле 82 восстановления.

В последующем, в модуле 83 выделения сигнала PPG применяется алгоритм выделения сигнала PPG к восстановленной области исследования 182, например, только к составляющим цветности, если только составляющие цветности являются закодированными без потери значимой для PPG информации, для того чтобы, в конечном итоге, получить необходимый сигнал 164 PPG.

В другом варианте осуществления устройства видеодекодирования сигнал 164 PPG может выделяться или из каналов цветности, яркости или из обоих каналов, если обе составляющие цветности и яркости были закодированы, например как интраблоки, устройством видеокодирования. Таким образом, выбор оптимального варианта осуществления устройства видеокодирования и устройства видеодекодирования может осуществляться на основе подхода, использующегося для восстановления сигнала PPG.

Как отмечалось, модуль 83 выделения сигнала PPG обнаруживает и выделяет сигнал 164 PPG из восстановленной области исследования, например, восстановленного участка кожи. В основном, только восстановленная область исследования используется для выделения сигнала PPG. Вследствие этого, не является обязательным декодировать видеопоследовательность с полным исходным разрешением, но, как правило, декодирование только области исследования (например, интраблоков) является достаточным для получения сигнала PPG. Таким образом, может экономиться вычислительная мощность, в противном случае требуемая компенсацией движения и восстановлением всех интраблоков, если требуется только выделение сигнала PPG, а не полностью декодированные видеоданные.

Конкретный способ и параметры, использующиеся для выделения сигнала PPG, могут определяться и модифицироваться в течение декодирования и выделения сигнала PPG. Другими словами, предложенное устройство видеокодирования не ограничивает ни выбор способа выделения сигнала PPG, ни выбор отслеживаемого предмета. Будучи однажды закодированной, видеопоследовательность может обрабатываться различными способами выделения PPG в течение или после декодирования, и могут выделяться различные показатели жизнедеятельности (например, частота сердцебиения, вариабельность сердечного ритма, SpO2, дыхание, изображение PPG и т.д.). Предложенное устройство видеокодирования, дружественное к PPG, может усовершенствоваться при помощи новых алгоритмов выделения PPG, которые сделают возможным более хорошее выделение сигналов PPG из уже закодированных видеопоследовательностей.

Та же самая закодированная видеопоследовательность может декодироваться также при помощи стандартного устройства видеодекодирования, без встроенных алгоритмов для выделения сигналов PPG, тем самым сохраняя обратную совместимость существующими устройствами видеокодирования.

В случае если стандартный кодек, использующийся в предложенной схеме, содержит внутриконтурный деблочный фильтр для уменьшения артефактов кодирования, такой деблочный фильтр должен отключаться, по меньшей мере, для составляющих цветности блоков, связанных с выбранной областью исследования. В противном случае внутриконтурный деблочный фильтр может подавить визуальную информацию, которая является существенной для выделения сигналов PPG.

Алгоритм выделения PPG может или работать в реальном масштабе времени, или не работать в реальном масштабе времени с настройкой параметров вручную. Кроме этого, настоящее изобретение, как правило, предоставляет возможность выбора любого конкретного способа выделения биометрического сигнала после того, как записаны видеоданные, в зависимости от конкретного приложения. Таким образом, то же самое видео может использоваться для выделения различных биометрических сигналов (например, частоты сердцебиения, вариабельности сердечного ритма, SpO2, дыхания, изображения PPG).

Другой вариант осуществления устройства 10''' видеокодирования в соответствии с настоящим изобретением схематично представлен на фиг.7. Этот вариант осуществления является очень похожим на вариант осуществления устройства 10 видеокодирования, показанный на фиг.1, но модуль 35 декодирования и модуль 36 выделения сигнала PPG дополнительно предоставляются в контуре обратной связи, сформированном с первым модулем 30''' декодирования. Этот контур обратной связи управляет количеством битов, выделенных выбранной области исследования 101, т.е. управляет настройкой кодирования, используемого для кодирования упомянутой области исследования 101, для обеспечения того, чтобы значимая для PPG информация сохранялась в закодированной области исследования 102.

Таким образом, модуль 35 декодирования декодирует закодированную область исследования 102 (с применением схемы декодирования, которая является дополняющей к первой схеме кодирования, примененной первым модулем 30''' кодирования), и модуль 36 выделения сигналов PPG выделяет сигнал 107 PPG из декодированной области исследования 106. Первый модуль 30''' затем может решить, если сигнал PPG имеет надлежащее качество, или если требуется изменить настройку, используемую для кодирования (например, если требуется назначить больше битов для закодированной области исследования, и/или если требуется понизить скорость сжатия), повысить качество выделенного сигнала PPG. Таким образом, может обеспечиваться то, что в устройстве декодирования сигнал PPG может выделяться с достаточным качеством.

Таким образом, настоящее изобретение модифицирует известную концепцию масштабируемости SNR или качества в течение сжатия видео для того, чтобы иметь возможность выделения показателей жизнедеятельности. Настоящее изобретение может использоваться для потокового видео так же, как и для хранения сжатого видеоматериала. Обычно, только битовый поток, содержащий закодированные видеоданные, будет передан или подвергнут декомпрессии для того, чтобы получить видеоданные основного качества, в котором все видеоданные закодированы одинаковым образом, т.е. с единой схемой кодирования и одинаковыми настройками параметров кодирования. В соответствии с настоящим изобретением дополнительные данные являются включенными в закодированный битовый поток, хранящий существенную для PPG информацию, который будет передаваться или подвергаться декомпрессии, только если должны выделяться биометрические сигналы. Таким способом может достигаться оптимальный компромисс между эффективностью сжатия и сохранением биометрической информации в сжатом видео.

Подводя итог вышесказанному, предложенное изобретение обеспечивает возможность выделения сигнала PPG после сжатия (декомпрессии) видео. Сложность и точность алгоритмов выделения PPG могут выбираться на основе конкретного приложения. Например, некоторые приложения могут требовать выделения только информации по частоте сердцебиения, в то время как другие могут требовать четкого сигнала сердцебиения от биения к биению, или/и дыхания, или/и SpO2 (кислородное насыщение). Кроме этого, настоящее изобретение обеспечивает возможность автономного (не в реальном режиме времени) выделения сигналов PPG из сжатого видео с возможностью выбирать и настраивать оптимальные параметры вручную.

Как правило, изобретение не ограничивается конкретными схемами кодирования/декодирования. Как правило, первое кодирование, использованное для кодирования одной или более областей исследования, обладает меньшими потерями, чем второе кодирование, использованное для кодирования оставшихся данных. В конкретных вариантах осуществления значимая для PPG визуальная информация кодируется с использованием внутриблочного и/или межблочного кодирования, в то время как другая визуальная информация, которая не является существенной для выделения биометрических сигналов, кодируется с использованием межкадрового кодирования. Таким образом, быстрое и малозатратное выделение информации PPG в течение видеодекодирования из закодированных межкадровым способом блоков достигается без необходимости декодировать целые видеокадры.

Наряду с тем, что изобретение было проиллюстрировано и подробно описано в чертежах и в последующем описании, такая иллюстрация и описание должны считаться иллюстративными или примерными, но не ограничительными; изобретение не ограничивается раскрытыми вариантами осуществления. Другие изменения в раскрытых вариантах осуществления становятся понятными и могут осуществляться специалистами в данной области техники при реализации на практике заявленного изобретения после изучения чертежей, раскрытия и прилагаемой формулы изобретения.

В формуле изобретения слово «содержит» не исключает других элементов или этапов, и неопределенный артикль «a» или «an» не исключает множественности. Единичный элемент или другой модуль может выполнять функции нескольких объектов, перечисленных в пунктах формулы изобретения. Тот простой факт, что определенные показатели перечисляются в разных зависимых пунктах, не обозначает, что комбинация этих показателей не может использоваться для получения выгоды.

Компьютерная программа может храниться/распространяться на подходящем невременном носителе, таком как оптический запоминающий носитель или твердотельный носитель, предоставленный совместно с другим аппаратным оборудованием или как его часть, но также может распространяться другими способами, такими, как через Интернет или другие проводные или беспроводные телекоммуникационные системы.

Любые ссылочные позиции в пунктах формулы изобретения не должны интерпретироваться как ограничивающие объем изобретения.

Изобретение относится к области видеокодирования видеоданных, с возможностью сохранения значимой для PPG (фотоплетизмографического изображения) информации. Техническим результатом является сжатие видеоданных с использованием стандартных средств сжатия с потерями и сохранения информации для выделения сигнала PPG после декодирования видеоданных без требования большого объема дополнительных данных. Предложено устройство (10, 10', 10'') видеокодирования, содержащее: модуль выбора (20, 20') для выбора во входных видеоданных (100) одной или более областей исследования (101), обеспечивающих сильный сигнал PPG, первый блок (30, 30') кодирования для кодирования одной или более областей исследования (101) входных видеоданных (100) в соответствии с определенной схемой кодирования с первой настройкой кодирования для сохранения существенной для PPG информации в закодированных одной или более областях исследования, второй блок (40, 40') кодирования для кодирования оставшихся частей (103) входных видеоданных (100) в соответствии с определенной схемой кодирования со второй настройкой кодирования и блок (50) объединения кодировщика для объединения закодированных одной или более областей исследования (102) и закодированных оставшихся частей (104) входных видеоданных в выходной видеопоток (105) кодировщика. 7 н. и 9 з.п. ф-лы, 7 ил.

1. Устройство (10, 10′, 10″, 10″′) видеокодирования для кодирования входных видеоданных, причем устройство видеокодирования содержит:
- модуль (20, 20′) выбора на основании фотоплетизмографического (PPG) сигнала для осуществления выбора во входных видеоданных одной или более областей исследования (101), которые могут использоваться для обеспечения сильного PPG сигнала,
- первый модуль (30, 30′, 30″, 30″′) кодирования для кодирования упомянутых одной или более областей исследования (101) упомянутых входных видеоданных (100) в соответствии с предварительно определенной схемой кодирования с первой настройкой кодирования для сохранения PPG-релевантной информации в закодированных одной или более областях исследования,
- второй модуль (40, 40′, 40″) кодирования для кодирования оставшихся частей (103) упомянутых входных видеоданных (100) в соответствии с упомянутой предварительно определенной схемой кодирования со второй настройкой кодирования, и
- модуль (50) объединения кодировщика для объединения закодированных одной или более областей исследования (102) и закодированных оставшихся частей (104) упомянутых входных видеоданных в выходной видеопоток (105) кодировщика.

2. Устройство (10′) видеокодирования по п. 1,
в котором упомянутый модуль (20′) выбора содержит
- модуль (21) выбора участка для выбора одного или более участков, в частности участков кожи, во входных видеоданных (100) в качестве одной или более областей исследования, в котором упомянутые видеоданные содержат последовательность видеокадров, причем упомянутые видеокадры являются разделенными на пространственные блоки, и
- модуль (24) выбора блоков для определения пространственных блоков (123) для упомянутых выбранных одного или более участков, определенные пространственные блоки которого представляют одну или более областей исследования.

3. Устройство (10′) видеокодирования по п. 2, в котором упомянутый модуль (21) выбора участка содержит
- модуль (22) обнаружения для обнаружения набора потенциально пригодных участков (122), в частности участков кожи, во входных видеоданных, которые могут использоваться в качестве области исследования, и
- модуль (23) анализа для осуществления анализа упомянутого набора обнаруженных потенциально пригодных участков (122) и выбора одного или более участков (123) в качестве одной или более областей исследования на основе одного или более предварительно определенных критериев выбора.

4. Устройство (10′) видеокодирования по п. 3,
в котором упомянутый модуль (23) анализа выполнен с возможностью использования в качестве критериев выбора пространственного размера, временной стабильности, яркостной стабильности и/или цветовой стабильности.

5. Устройство (10′) видеокодирования по п. 3,
в котором упомянутый модуль (23) анализа содержит модуль (25) выделения PPG для выделения PPG сигнала (180) из упомянутых обнаруженных потенциально пригодных участков и для выбора одного или более участков (123) в качестве одной или более областей исследования на основе качества и/или содержимого выделенных PPG сигналов.

6. Устройство (10′) видеокодирования по п. 5,
в котором упомянутый модуль (25) выделения PPG выполнен с возможностью определения одного или более параметров первых настроек для кодирования для использования первым модулем (30, 30′) кодирования для кодирования упомянутых одной или более областей исследования на основе выделенных PPG сигналов, и
в котором упомянутый первый модуль (30, 30′) кодирования выполнен с возможностью использования одного или более параметров первой настройки для кодирования упомянутых одной или более областей исследования.

7. Устройство (10″) видеокодирования по п. 1,
в котором упомянутый первый модуль (30) кодирования выполнен с возможностью кодирования, по меньшей мере, составляющих (101а) цветности, в частности только составляющих (101а) цветности, упомянутых одной или более областей исследования (101), и
в котором упомянутый второй модуль (40) кодирования выполнен с возможностью кодирования составляющих (101b) яркости упомянутых одной или более областей исследования (101) и кодирования составляющих цветности и составляющих яркости оставшихся частей (103) упомянутых входных видеоданных (100).

8. Устройство (10, 10′, 10″) видеокодирования по п. 1,
в котором упомянутый первый модуль (30, 30′) кодирования выполнен с возможностью кодирования упомянутых одной или более областей исследования (101) при помощи интра-блочного кодирования, и
в котором упомянутый второй модуль (40, 40′) кодирования выполнен с возможностью кодирования оставшихся частей (103) упомянутых входных видеоданных (100) при помощи интер-блочного кодирования и/или интра-блочного кодирования.

9. Устройство (10″) видеокодирования по п. 1,
в котором упомянутый первый модуль (30) кодирования выполнен с возможностью кодирования только составляющих DC интер- или интра- блоков, по меньшей мере, составляющих (101а) цветности, в частности только составляющих (101а) цветности, упомянутых одной или более областей исследования (101).

10. Способ видеокодирования для кодирования входных видеоданных, причем способ видеокодирования содержит этапы:
- выбора во входных видеоданных (100) одной или более областей исследования (101), которые могут использоваться для обеспечения сильного PPG сигнала,
- кодирования упомянутых одной или более областей исследования (101) упомянутых входных видеоданных (100) в соответствии с предварительно определенной схемой кодирования с первой настройкой кодирования для сохранения PPG-релевантной информации в закодированной одной или более областях исследования,
- кодирования оставшихся частей (103) упомянутых входных видеоданных (100) в соответствии с упомянутой предварительно определенной схемой кодирования со второй настройкой кодирования, и
- объединения закодированных одной или более областей исследования (102) и закодированных оставшихся частей (104) упомянутых входных видеоданных в выходной видеопоток (105) кодировщика.

11. Устройство (60, 60′, 60″) видеодекодирования для декодирования закодированного видеопотока, причем закодированный видеопоток (160) содержит закодированные видеоданные, при этом одна или более областей исследования (101) входных видеоданных (100) были закодированы в соответствии с предварительно определенной схемой кодирования с первой настройкой кодирования для сохранения PPG-релевантной информации в закодированных одной или более областях исследования (102), и оставшиеся части (103) упомянутых входных видеоданных (100) были закодированы в соответствии с упомянутой предварительно определенной схемой кодирования при помощи второй настройки кодирования, причем упомянутое устройство видеодекодирования содержит:
- первый модуль (70) декодирования для декодирования закодированных одной или более областей исследования (161) в соответствии со схемой декодирования, дополняющей схему кодирования, которая использовалась для кодирования упомянутых одной или более областей исследования, и
- модуль (80, 80′) выделения PPG для выделения PPG сигнала (164) из упомянутых одной или более декодированных областей исследования (163).

12. Устройство (60') видеодекодирования по п. 11, дополнительно содержащее:
- второй модуль (75) декодирования для декодирования закодированных оставшихся частей (162) упомянутых входных видеоданных в соответствии с упомянутой схемой декодирования и
- модуль (95) объединения декодера для объединения декодированных одной или более областей исследования (163) и декодированных оставшихся частей (165) в выходной видеопоток (166) декодера.

13. Способ видеодекодирования для декодирования закодированного видеопотока, причем упомянутый закодированный видеопоток (160) содержит закодированные видеоданные, при этом одна или более областей исследования (101) входных видеоданных (100) были закодированы в соответствии с предварительно определенной схемой кодирования с первой настройкой кодирования для сохранения PPG-релевантной информации в закодированных одной или более областях исследования (102), и оставшиеся части (103) упомянутых входных видеоданных (100) были закодированы в соответствии с упомянутой предварительно определенной схемой кодирования со второй настройкой кодирования, причем упомянутый способ видеодекодирования содержит этапы:
- декодирования одной или более закодированных областей исследования (161) в соответствии со схемой декодирования, дополняющей схему кодирования, которая использовалась для кодирования упомянутых одной или более областей исследования, и
- выделения PPG сигнала (164) из упомянутых одной или более декодированных областей исследования (163).

14. Система видеокодирования для кодирования и декодирования видеоданных, содержащая:
- устройство (10, 10′, 10″) видеокодирования по п. 1 для кодирования входных видеоданных, и
- устройство (60, 60′) видеодекодирования по п. 11 для декодирования закодированных видеоданных, закодированных упомянутым устройством видеокодирования.

15. Носитель данных, хранящий компьютерную программу, содержащую средства программного кода, чтобы заставить компьютер выполнить способ по п. 10.

16. Носитель данных, хранящий компьютерную программу, содержащую средства программного кода, чтобы заставить компьютер выполнить способ по п. 13.