СИСТЕМА, СПОСОБ И УСТРОЙСТВО ДЛЯ КОНТРОЛЯ ВЛИЯНИЯ СВЕТА И ЗВУКА НА ЧЕЛОВЕКА Российский патент 2018 года по МПК A61B5/11 A61G11/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к системе, способу и устройству для контроля влияния света и звука на человека, в частности, пациента, например, недоношенного младенца.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Избыточные световой и акустический шумы идентифицировались как основные причины, которые препятствуют оптимальному развитию недоношенных детей. Цикл сна младенца нуждается в защите, которая часто находится в противоречии с графиком лица, осуществляющего уход, и посетителя, которые создают шум во время разговора и работы. Любое оборудование для жизнеобеспечения и контроля пациентов создает шум посредством звуковых сигналов тревоги и других звуков.

Документ WO 2012/082297 A2 раскрывает систему для контроля физиологических состояний ребенка, включая микросреду ребенка. Датчик движения расположен в микросреде. Процессор коммуникативно соединен с датчиком движения. Процессор принимает сигналы движения из датчиков движения и обрабатывает сигналы движения для вывода показания уровня стресса ребенка. Способ контроля физиологического состояния ребенка включает в себя обнаружение движения ребенка датчиками движения. Базовое движение ребенка получают из движения, обнаруженного процессором. Наступление или изменение, по меньшей мере, одного вспомогательного параметра контролируется вспомогательным датчиком. Движение ребенка контролируется датчиком движения после наступления или изменения, по меньшей мере, одного вспомогательного параметра. Уровень стресса ребенка выводят с помощью процессора из контролируемого движения ребенка.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Целью настоящего изобретения является создание усовершенствованных системы, способа и устройства для контроля влияния света и звука на человека.

В первом аспекте настоящего изобретения предлагается система для контроля влияния света и звука на человека, которая содержит

- блок улавливания света для улавливания окружающего света около человека с течением времени,

- блок улавливания звука для улавливания окружающего звука около человека с течением времени,

- процессор уровня стресса для определения уровня стресса человека,

- блок памяти для сохранения, в ответ на принятый пусковой сигнал, фрагментов окружающего света и окружающего звука, уловленных примерно в момент времени приема пускового сигнала, и фрагментов информации об уровне стресса примерно в момент времени приема пускового сигнала,

- блок просмотра для просмотра сохраненных фрагментов окружающего света, окружающего звука и информации об уровне стресса, позволяющих идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте, и выводить руководящую информацию, указывающую, как избежать упомянутых света и/или звука, вызванных идентифицированной основной причиной.

В дополнительном аспекте настоящего изобретения предлагается соответствующее устройство, например, в форме процессора или компьютера, которое можно использовать как часть раскрытой системы для контроля влияния света и звука на человека, которое содержит

- блок установления порога для генерации и выдачи пускового сигнала, если яркость окружающего света, уловленного для человека с течением времени, превышает уровень яркости, и/или если уровень звука окружающего звука, уловленного для человека с течением времени, превышает звуковой порог,

- процессор уровня стресса для определения уровня стресса человека,

- блок памяти для сохранения, в ответ на принятый пусковой сигнал, фрагментов окружающего света и окружающего звука, уловленных примерно в момент времени приема пускового сигнала, и фрагментов информации об уровне стресса примерно в момент времени приема пускового сигнала,

- блок просмотра для просмотра сохраненных фрагментов окружающего света, окружающего звука и информации об уровне стресса, позволяющих идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте, и выводить руководящую информацию, указывающую, как избежать упомянутых света и/или звука, вызванных идентифицированной основной причиной.

В еще одних дополнительных аспектах настоящего изобретения предлагаются соответствующие способы контроля влияния света и звука на человека.

В еще одних дополнительных аспектах настоящего изобретения предлагаются компьютерная программа, которая содержит средство программного кода для предписывания компьютеру выполнять этапы способов, раскрытые в настоящей заявке, когда упомянутая компьютерная программа выполняется на компьютере, а также энергонезависимый машиночитаемый носитель записи, на котором хранится компьютерный программный продукт, который, при выполнении компьютером, предписывает выполнение способов, раскрытых в настоящей заявке.

Предпочтительные варианты осуществления изобретения определяются в зависимых пунктах формулы изобретения. Следует понимать, что заявленные устройство, способы, компьютерная программа и носитель имеют предпочтительные варианты осуществления, аналогичные и/или идентичные заявленной системе и определенные в зависимых пунктах формулы изобретения.

Настоящее изобретение основано на идее контролировать и отслеживать уровни освещения и звука с помощью соответствующих средства улавливания света и средства улавливания звука, соответственно, например, с помощью стандартной web-камеры с микрофоном, чтобы обеспечивать необходимую поддержку для идентификации и минимизации причин упомянутых воздействий, вредных для контролируемого человека. Получаемые измерения записываются с использованием уловленных фрагментов (исходных) звуковых и световых данных, чтобы идентифицировать основные причины громких и сверкающих событий, которые следует исключать или избегать, чтобы устранять или, по меньшей мере, ослаблять влияние света и звука на контролируемого человека.

Контролируемые лица, которых предпочтительно следует защищать от упомянутых вредных воздействий, могут быть, например, детьми, новорожденными или недоношенными младенцами, и настоящее изобретение может предоставлять лицам, осуществляющим уход, необходимую поддержку. Современные отделения интенсивной терапии новорожденных (NICU) учитывают упомянутые эффекты посредством применения модели, так называемого выхаживания новорожденных, которая дополнительно поддерживается настоящим изобретением. Другие контролируемые лица являются пациентами больницы, в частности, в отделении интенсивной терапии (ICU), пожилыми людьми или, в общем, всеми людьми, которые очень чувствительны к шуму и/или свету, и которые нуждаются в специальном внимании и защите от упомянутых шумовых событий и/или событий освещения.

В варианте осуществления упомянутый блок улавливания света содержит камеру, например, видеокамеру или web-камеру, для улавливания изображений, в частности, видеоданных из зоны записи, содержащей, по меньшей мере, глаза человека, когда человек находится в предварительно определенном стандартном положении. В частности область глаз человека представляет интерес потому, что она отражает влияние света, который следует проверять, превышает ли он предварительно определенный порог (уровень яркости). Однако можно также улавливать изображения всего лица, головы или даже всего тела человека или зоны, в которой обычно располагается человек (например, койки пациента или инкубатора недоношенного младенца). Область интереса для оценки (предпочтительно включающая в себя глаза человека) может быть выбрана, например, после сегментации изображений. Изображения обычно записываются непрерывно, но могут также записываться с интервалами.

В предпочтительном варианте осуществления система дополнительно содержит камеру общего вида для улавливания изображений общего вида, в частности видеоданных, окружающей среды человека, при этом блок памяти сконфигурирован с возможностью сохранения, в ответ на принятый пусковой сигнал, фрагмента изображений общего вида, уловленных примерно в момент времени приема пускового сигнала, и причем блок просмотра сконфигурирован с возможностью допуска просмотра сохраненных фрагментов изображений общего вида дополнительно к сохраненным фрагментам окружающего света и окружающего звука, чтобы идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте. Это совершенствует идентификацию превышающих звуковых событий и световых событий, поскольку события могут быть визуально распознаваемыми на записанных изображениях общего вида и могут даже помогать идентифицировать основные причины, которые в ином случае не были бы распознаваемыми.

Предпочтительно блок просмотра сконфигурирован с возможностью автоматического просмотра сохраненных фрагментов изображений общего вида дополнительно к сохраненным фрагментам окружающего света и окружающего звука, чтобы идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте.

Например, в варианте осуществления сохраненные фрагменты окружающего света и/или окружающего звука могут сравниваться с базой данных, хранящей ранее записанные фрагменты, для которых основные причины уже известны, например, из более раннего обнаружения. Таким образом, система может быть самообучающейся системой, в которой идентифицированные основные причины и ассоциированные фрагменты звука и/или света записываются в базе данных для последующей идентификации.

Блок просмотра предпочтительно сконфигурирован с возможностью просмотра сохраненных фрагментов окружающего света и окружающего звука, чтобы идентифицировать основную причину окружающего света и окружающего звука, сохраненную во фрагменте и вывода руководящей информации, указывающей, как избежать упомянутых света и/или звука, вызванных идентифицированной основной причиной. С данной целью можно применять статистические меры, средство распознавания (звука и/или света), средство распознавания изображений, средство распознавания траекторий перемещения и т.п.

Данная руководящая информация может включать в себя инструкции для лица, осуществляющего уход, о том, что следует делать, и что избегать вблизи контролируемого человека, какие устройства следует применять или не применять и т.п. Упомянутые инструкции можно использовать как обучающий материал для подготовки нового персонала или для регулярного усовершенствования правил поведения персонала, например, для поддержки модели выхаживания новорожденных.

В другом варианте осуществления система дополнительно содержит процессор обработки звука для обработки уловленного окружающего звука до проверки, превышает ли уровень звука уловленного окружающего звука звуковой порог, посредством блока установления порога путем применения взвешивания, представляющего спектральную человеческую чувствительность слуха, в частности, спектральную чувствительность слуха человека, сравнимого с контролируемым человеком. Это дополнительно повышает точность контроля и исключает ложные распознавания шумовых событий, которые, фактически, не оказывают отрицательного влияния на человека, или, напротив, гарантирует, что действительно отрицательные шумовые события надежно распознаются.

Аналогичное усовершенствование в отношении надежного распознавания световых событий достигается дополнительным обеспечением процессора обработки света, который сконфигурирован с возможностью обработки уловленных изображений до проверки, превышает ли уровень освещенности уловленных изображений световой порог, посредством блока установления порога путем применения взвешивания, представляющего чувствительность человеческого зрения, в частности, чувствительность зрения человека, сравнимого с контролируемым человеком.

В другом варианте осуществления система дополнительно содержит процессор изображений для обработки уловленных изображений до проверки, превышает ли уровень освещенности уловленных изображений световой порог, посредством блока установления порога путем выбора области, представляющей интерес, в изображении, которая включает в себя или прилегает к глазам человека, и путем вывода критерия яркости области интереса посредством усреднения интенсивности всех пикселей в области интереса или выбора интенсивности самого яркого пикселя, при этом упомянутый критерий яркости используется как уровень освещенности для проверки, превышает ли уровень освещенности запечатленных изображений световой порог, посредством блока установления порога. И снова, данный вариант осуществления дополнительно совершенствует точность и надежность распознавания отрицательно влияющих световых событий.

В другом варианте осуществления предусмотрен блок аварийной сигнализации для формирования аварийного сигнала, если яркость запечатленного окружающего света превышает уровень яркости, и/или если уровень звука запечатленного окружающего звука превышает звуковой порог. Таким образом, возможна немедленная сигнализация о немедленном распознавании отрицательного события, чтобы предоставлять возможность немедленной реакции.

Предлагаемая система дополнительно содержит процессор уровня стресса для определения уровня стресса человека, при этом блок памяти сконфигурирован с возможностью сохранения, в ответ на принятый пусковой сигнал, фрагмента информации об уровне стресса человека примерно в момент времени приема пускового сигнала, и причем блок просмотра сконфигурирован с возможностью допуска просмотра сохраненных фрагментов информации об уровне стресса в дополнение к сохраненным фрагментам окружающего света и окружающего звука, чтобы идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте. Датчики различных видов можно использовать для получения сигналов датчиков, которые можно использовать для определения уровня стресса человека. Упомянутые датчики могут включать в себя, но без ограничения, какой-то один или более из датчика частоты сердечных сокращений, датчика частоты дыхания, датчика ЭКГ, датчика SpO2, датчика проводимости кожи, датчика влажности кожи, датчика движения и т.п. Затем сигналы датчиков подаются в процессор датчиков стресса для определения уровня стресса человека. Способы определения уровня стресса (называемого также физиологическим состоянием) по сигналам данного вида широко известны в данной области техники, например, из вышеупомянутой заявки WO 2012/082297 A2, заявок WO2009/138923 Al или WO2012/140537 Al. Знание уровня стресса человека дополнительно улучшает идентификацию шумовых событий или световых событий, которые действительно отрицательно влияют на человека, как подтверждается уровнем стресса, указывающим повышенный стресс человека, что, следовательно, также совершенствует генерацию руководящей информации о том, как избежать или ослабить упомянутые шумовые события или световые события.

Более того, в усовершенствованном варианте осуществления упомянутый блок улавливания света содержит камеру для улавливания изображений, в частности, видеоданных, зоны записи, включающей в себя, по меньшей мере, глаза человека, когда человек находится в предварительно определенном стандартном положении, при этом система дополнительно содержит дистанционный фотоплетизмографический (дистанционный PPG) процессор для вывода основных показателей состояния организма человека из уловленных изображений для использования процессором уровня стресса с целью определения уровня стресса человека с помощью общеизвестного и вышеупомянутого способа. Таким образом, камера предпочтительно применяется не только для улавливания изображений человека, но изображения человека также оцениваются для получения основных показателей состояния организма (в частности, частоты дыхания, частоты сердечных сокращений, уровня SpO2) в соответствии с известными принципами дистанционной PPG. Данные принципы и вывод основных показателей состояния организма описаны, например, авторами Verkruysse et al, «Remote plethysmographic imaging using ambient light», Optics Express, 16(26), 22 December 2008, pp. 21434-21445, которые показывают, что фотоплетизмографические сигналы можно измерять дистанционно с использованием окружающего света и обычной потребительской видеокамеры, или авторами Wieringa, et al., «Contactless Multiple Wavelength Photoplethysmographic Imaging: A First Step Toward «SpO2 Camera» Technology», Ann. Biomed. Eng. 33, 1034-1041 (2005), которые раскрывают систему дистанционной PPG для бесконтактной визуализации насыщения кислородом артериальной крови в ткани на основании измерений плетизмографических сигналов на разных длинах волн. Основные показатели состояния организма, полученные данным способом можно после этого снова использовать, потенциально, в сочетании с сигналами других датчиков, для определения уровня стресса человека.

В дополнительном варианте осуществления система дополнительно содержит опору для пациента для поддержки человека, в частности, койку, детскую кроватку, систему обогрева новорожденного или инкубатор, при этом человек является пациентом, ребенком или новорожденным. Например, человек (например, недоношенный младенец) находится в микросреде, например, инкубаторе, в которой (или, по меньшей мере, вблизи которой) расположены блок улавливания света и блок улавливания звука.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Приведенные и другие аспекты изобретения будут очевидны из последующего пояснения со ссылкой на нижеописанный(ые) вариант(ы) осуществления. На следующих чертежах

Фиг. 1 представляет принципиальную схему варианта осуществления системы для контроля влияния света и звука на человека в соответствии с настоящим изобретением, и

Фиг. 2 представляет блок-схему последовательности операций варианта осуществления способа для контроля влияния света и звука на человека в соответствии с настоящим изобретением.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Фиг. 1 представляет принципиальную схему варианта осуществления системы 100 для контроля влияния света и звука на человека в соответствии с настоящим изобретением. Человек, в настоящем случае, младенец 1, находится в настоящем варианте осуществления в открытом окружающем пространстве, например, койке, детской кроватке или блоке обогрева новорожденного, или в закрытом инкубаторе 13 (иногда также называемом микросредой младенца). Видеокамера 2 и микрофон 3 (включенный в предпочтительном варианте в видеокамеру 2) расположены вблизи младенца 1 для улавливания окружающего звука и окружающего света, которые имеют отношение к ощущениям младенца.

В случае инкубатора 13 это означает, что микрофон 3 предпочтительно расположен внутри или, по меньшей мере, акустически соединен с внутренней частью инкубатора 13, чтобы измерять соответствующие звуки. С одной стороны, возможно создание дополнительного шума системой вентилятора и нагревания инкубатора 13 и шума открывания и закрывания дверец инкубатора, что имеет значение для младенца, но с другой стороны, стенки инкубатора экранируют от окружающего шума помещения, т.е. решение вопроса, где следует размещать микрофон 3, внутри или снаружи инкубатора 13, может зависеть от упомянутых других источников шумов.

Камера 2 расположена предпочтительно снаружи инкубатора 13, пока видит младенца 1. Изображения, уловленные камерой 2, предпочтительно включают в себя, по меньшей мере, глаза или голову младенца 1, так как они имеют значение для влияния света. В случае фиксированной установки камеры 2, ее обычно направляют на зону 20 записи, включающую в себя, по меньшей мере, глаза или голову человека, когда человек расположен в предварительно определенном стандартном положении (показанном на фиг. 1). Поскольку младенец 1 может двигаться, то в предпочтительном варианте осуществления камера 2 предпочтительно также может перемещаться, например, посредством механического перемещения или качания камеры или посредством изменения угла наблюдения и, следовательно, зоны 20 записи, в зависимости от положения головы или глаз младенца. С данной целью уловленные изображения можно использовать для распознавания положения младенца 1 и, следовательно, для соответственного управления камерой 2. В другом варианте осуществления угол наблюдения камеры можно увеличивать, если глаза или лицо младенца 1 больше не видны на изображениях.

В открытой системе положение камеры 2 и микрофона 3 не имеет такого большого значения, но близость к младенцу 1 полезна для сбора уровней звука и света, репрезентативных для сигналов, достигающих глаз и ушей младенца.

В аудиоканале обеспечен блок 4 усиления и АЦ преобразования для усиления и АЦ (аналого-цифрового) преобразования уловленных аудиосигналов. Его выходной сигнал подается в (дополнительный) процессор 5 обработки звука и аудиовидео (АВ) регистратор 7.

Процессор 5 обработки звука предпочтительно обрабатывает исходные данные звукового излучения, охватывающие типичный диапазон частот слуха (20 Гц - 20000 Гц). Упомянутый процессор может выводить типичные параметры, известные в области контроля шумов, например, непрерывный эквивалентный уровень звукового давления L_eq, предельные уровни типа L₁₀ (10% времени, в течение которого шум превышает L₁₀), медианный уровень L₅₀ и аналогичные интересующие параметры. Процессор 5 обработки звука может также допускать применение взвешивающей кривой (или весовой функции), подобной A-кривой, которая используется в стандартах контроля шумов для представления чувствительности человеческого слуха по диапазону частот. Следует понимать, что можно применить другую весовую функцию, которая лучше представляет шумовое напряжение соответствующего человека 1, который контролируется (в настоящем примере, недоношенного младенца). Хотя A-кривая является общепринятой для влияния излучения шумов на взрослого, A-кривая может быть кривой, далекой от оптимальной для младенца, для которого предпочтительно применение более подходящей функции.

Система 100 дополнительно содержит блок 6 установления звукового порога (называемый также детектором звукового порога), например, реализованный в звуковом постпроцессоре, который создает звуковой пусковой сигнал T1, если уровень звука превышает предварительно заданный (например, заданный пользователем) звуковой порог. Упомянутый звуковой пусковой сигнал T1 побуждает АВ-регистратор записать фрагмент S1 звуковых данных (в общем: окружающего звука) и фрагмент S2 видеоданных (в общем: окружающего света) примерно в данное пусковое событие, т.е. фрагментов звуковых данных и видеоданных, уловленных камерой 2 и микрофоном 3, соответственно, примерно в момент времени приема звукового пускового сигнала T1. Упомянутые фрагменты S1, S2 предпочтительно сохраняются вместе с пусковым событием (т.е. звуковым пусковым сигналом T1) в базе данных 10 направлений (в общем, блоке памяти) для последующего просмотра и использования, как поясняется ниже.

Процессор 5 обработки звука предпочтительно выводит непрерывный звуковой количественный показатель L, например, в форме одного или более из вышеупомянутых типичных параметров, известных в области контроля шума, например L_eq, L₁₀, L₅₀ или аналогичных параметров, представляющих интерес. Звуковой количественный показатель L прямо или через блок 6 установки звукового порога (показанный на фиг. 1) сохраняется в базе данных 10 для анализа направлений и последующего просмотра. Однако, непрерывная запись звука не обязательна; как минимум, фрагменты звуковых записей и ассоциированных звуковых количественных показателей L используются для классификации интенсивности события. В еще одном другом варианте осуществления контролируется и записывается только свет, но не звук.

В видеоканале обеспечен (необязательный) процессор 8 изображений для обработки уловленных данных изображений. В варианте осуществления процессор 8 изображений сконфигурирован с возможностью сбора области, представляющей интерес (ROI) из полного видеокадра, который включает в себя глаза младенца 1 или приближается как можно ближе к ним, чтобы согласовать световое напряжение с младенцем 1. В дополнительном варианте осуществления он усредняет интенсивность всех пикселей в ROI для вывода количественного показателя яркости. Например, яркое пятно в ROI можно использовать как показатель яркости.

Камера 2 может быть стандартной RGB-камерой, дающей трехцветные кадры одновременно, монохромной камерой всего с одним детектором или специальной камерой с множественными детекторами на длинах волн, задаваемых специальными фильтрами. В случае различных цветовых компонентов типа RGB, их можно взвешивать и суммировать для создания единственного выходного яркостного изображения и общего значения. Аналогично вышеописанному процессору 5 обработки звука, весовая функция (функция светимости) предпочтительно выбирается для представления чувствительности человеческого глаза, приводящей к воспринимаемым уровням освещенности, измеренным в люксах. Следует понимать, что можно применить любую другую схему взвешивания, которая лучше связана с оптическим напряжением контролируемых лиц, например, недоношенного младенца 1 в настоящем примере.

Чтобы нормировать («калибровать») отражения окружающего света от ROI, (белого или серого), в предпочтительном варианте осуществления в ROI можно поместить опорную метку (оптический стандарт). Это может быть желательно для устранения влияния цвета кожи или других объектов в ROI, при оценке интенсивности падающего света и выполнении более точного измерения для согласования результатов измерителя света.

Система 100 дополнительно содержит блок 9 установления светового порога (называемый также детектором светового порога), например, реализованный в постпроцессоре изображений, который создает световой пусковой сигнал T2, если уровень света превышает предварительно определенный (например, определяемый пользователем) световой порог.

Аналогично звуковому пусковому сигналу T1, упомянутый световой пусковой сигнал T2 дает АВ-регистратору задание записать фрагмент S1 звуковых данных (в общем: окружающего звука) и фрагмент S2 видеоданных (в общем: окружающего света) примерно в данное пусковое событие, т.е. фрагменты звуковых данных и видеоданных, уловленных микрофоном 3 и камерой 2, соответственно, примерно в момент времени приема звукового пускового сигнала T2. Упомянутые фрагменты S1, S2 предпочтительно сохраняются вместе с пусковым событием (т.е. световым пусковым сигналом T1) в базе данных 10 направлений (обычно, блоке памяти) для последующего просмотра и использования, как поясняется ниже.

Выходные данные процессора 8 обработки света являются, предпочтительно, непрерывным количественным показателем B яркости, как например, излучательность (M_v) или освещенность (E_v), или нестандартное определение. Поток B интенсивности непосредственно или через блок 9 установления светового порога (как показано на фиг. 1), сохраняется в базе данных 10 для анализа направлений и последующего просмотра. Однако, непрерывная запись света не обязательна; как минимум, фрагменты записей света и соответствующих количественных показателей B яркости используются для классификации интенсивности света. В еще одном варианте осуществления контролируется только звук, а не свет.

В предпочтительном варианте осуществления системы 100, показанном на фиг. 1 присутствуют как блок 6 установления звукового порога, так и блок 9 установления светового порога, и оба блока могут формировать соответствующий пусковой сигнал, предписывающий АВ-регистратору 7 записывать фрагменты уловленных света и звука примерно в пусковое событие в базе данных 10. Однако, в других вариантах осуществления только блок 6 установления звукового порога или блок 9 установления светового порога присутствует и может формировать соответствующий пусковой сигнал.

Система 100 предпочтительно содержит блок 12 аварийной сигнализации (например, мигающий свет, красная лампа, громкоговоритель и т.п.), который сконфигурирован или может быть запрограммирован с возможностью создания визуальных и/или звуковых аварийных сигналов, если превышается световой порог или порог интенсивности звука. Блок 12 аварийной сигнализации предпочтительно запускается одним из пусковых сигналов T1, T2.

Система 100 дополнительно содержит блок 11 просмотра для ретроспективной проверки контролируемых уровней окружающих света и звука, воздействующих на младенца 1, т.е. для просмотра сохраненных фрагментов окружающего света и окружающего звука, чтобы допускать идентификацию основной причины окружающего света и окружающего звука, сохраненную в просматриваемом фрагменте. Вместе с фрагментами, сохраненными в базе данных 10, в предпочтительном варианте осуществления пользователь может просматривать события, которые превышают предварительно установленные пороги и, вероятнее всего, являются преобладающими факторами напряжения, действующими на младенца 1.

Предпочтительно сохраняются также в доступности оригинальные видео и звуковая последовательности, что может дополнительно способствовать идентификации основной причины.

Блок 11 просмотра дополнительно сконфигурирован с возможностью допуска вывода руководящей информации, указывающей, как избежать таких света и/или звука, вызванных идентифицированной основной причиной. Другими словами, знание характерных шумовых событий и световых событий может помочь обучению персонала и посетителей отделения NICU более эффективному выхаживанию новорожденных. Таким образом, можно обеспечить тихую, тускло освещенную, индивидуальную среду, которая способствует безопасности и сну. Кроме того, можно гарантировать, что непрерывный фоновый звук и переходный звук в отделении интенсивной терапии новорожденных не превышают непрерывного часового уровня звукового давления (L_eq) 45 децибел (дБ) и часового L₁₀ (уровень шумов превышает 10% времени) 50 дБ. Кроме того, можно гарантировать, чтобы переходные звуки или L_max (одиночный максимальный уровень звука) не превышали 65 дБ. Кроме того, уровни окружающего света в диапазоне 10-600 люкс и 1-60 фут-кандел можно сделать регулируемыми и измерять в пространстве у кровати каждого ребенка.

В более совершенном варианте осуществления блок 11 просмотра сконфигурирован с возможностью автоматического просмотра сохраненных фрагментов изображений общего вида в дополнение к сохраненным фрагментам окружающего света и окружающего звука, чтобы идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте. Таким образом, идентификация причин событий избыточного шума и/или света автоматизирована. Предпочтительно формирование руководящей информации на основе идентификации также автоматизировано.

Например, в варианте осуществления блок 11 просмотра сконфигурирован так, что шумовые события и световые события можно идентифицировать в реальном времени. После этого в обращение может быть (немедленно) выдан сигнал обратной связи, например, открытым текстом (например, «громким звуком»), или даже может быть выдана (немедленная) команда («руководящая информация») (например, «пониженным голосом»). Для световых событий сигнал обратной связи или команда может быть в виде «затемнить комнату», «закрыть занавески» и т.п. Такие же сигнал обратной связи и команды могут быть сформированы позднее (т.е. не в реальном времени) для использования при общем руководстве или последующем сигнале обратной связи для персонала.

Для формирования руководящей информации, как звуковую запись, так и световые записи (и другую потенциальную информацию, например, видеоданные помещения) предпочтительно оценивают для идентификации основной причины (например, по видеоданным помещения, на которых некоторое действие или что-то делающий человек) могут быть распознаны. Затем фрагмент видеоданных можно включить в руководящую информацию, чтобы сообщить персоналу, какие действия следует запрещать во избежание некоторого звукового и/или светового события. При желании, система 100 дополнительно содержит камеру 14 общего вида для улавливания изображений общего вида, в частности, видеоданных окружающей среды младенца 1, например, всего помещения, включающего в себя инкубатор 13 в целом и зону вокруг него, возможно даже включающую в себя двери и окна помещения. В ответ на принятый пусковой сигнал T1 или T2, фрагмент S3 изображений общего вида, уловленных примерно в момент времени приема пускового сигнала, также сохраняется, чтобы сохраненные фрагменты S3 изображений общего вида могли использоваться блоком 11 просмотра в дополнение к сохраненным фрагментам окружающего света и окружающего звука, чтобы допускать идентификацию или автоматически идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте. Таким образом, можно уточнить идентификацию основной причины, поскольку, например, на упомянутых изображениях общего вида могут быть видны первопричина (например, некоторое устройство) или создатель (например, лицо, осуществляющее уход с использованием создающего шум устройства) избыточного шума или избыточного света. Это также улучшит формирование руководящей информации. В дополнительно усовершенствованной системе не только одна камера общего вида, а множество камер общего вида обеспечено в среде, окружающей контролируемого человека, чтобы доставлять изображения разных зон окружающей среды. Кроме того, в варианте осуществления записываются не только фрагменты S3 изображений общего вида, но также непрерывно записываются изображения общего вида.

В качестве дополнительного варианта система 100 может дополнительно содержать процессор 15 уровня стресса для определения уровня стресса младенца 1. В ответ на принятый пусковой сигнал T1 или T2, фрагмент S4 информации, относящейся к уровню стресса младенца 1, уловленному примерно в момент времени приема пускового сигнала, затем записывается в базу данных 10. Затем упомянутые сохраненные фрагменты S4 информации, относящейся к уровню стресса, могут быть использованы блоком 11 просмотра в дополнение к сохраненным фрагментам окружающего света и окружающего звука, чтобы допускать идентификацию или автоматически идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просматриваемом фрагменте. Это может повысить точность и надежность идентификации и формирования руководящей информации, поскольку с помощью определенного уровня стресса можно легко верифицировать, действительно ли избыточный уровень света или звука обеспечил или не обеспечил отрицательное влияние на контролируемого человека.

Для определения уровня стресса, предпочтительно оцениваются один или более физиологических сигналов человека, такие физиологические сигналы включают в себя одно или более из частоты сердечных сокращений, частоты дыхания, ЭКГ, насыщения кислородом крови, проводимости кожи, влажности кожи, движения тела и т.п. Для получения таких физиологических сигналов, в одном варианте осуществления можно применить специализированные датчики (схематически показанные датчиком 16), подсоединенные к контролируемому человеку.

В качестве альтернативы или дополнительно, по меньшей мере, для получения некоторых из приведенных физиологических сигналов, данные изображения камеры 2 могут оцениваться с помощью общих принципов дистанционной фотоплетизмографии (дистанционной PPG). С данной целью, в варианте осуществления, при желании, обеспечивают дистанционный фотоплетизмографический процессор 17, который выводит основные показатели состояния организма человека из уловленных изображений (предпочтительно уже обеспеченной камеры 2 или из дополнительной камеры (не показанной)). Упомянутые основные показатели состояния организма (например, частота дыхания, частота сердечных сокращений и/или SpO2 человека) затем подаются в процессор 15 уровня стресса для определения уровня стресса человека (с помощью или (предпочтительно) без помощи других физиологических сигналов, которые могут обеспечиваться одним или более другими датчиками 16).

Короче говоря, фотоплетизмография (PPG) представляет собой оптический измерительный метод, который оценивает переменное во времени изменение светового отражения или пропускания зоны или объема, представляющих интерес. PPG основана на принципе, суть которого в том, что кровь поглощает свет сильнее, чем окружающая ткань, так что изменения объема крови с каждым сокращением сердца соответственно влияет на пропускание или отражение. Кроме информации о частоте сердечных сокращений, форма PPG-колебаний может содержать информацию, могущую быть отнесенной на счет дополнительных физиологических феноменов, например, дыхания. Посредством оценки пропускающей способности и/или отражательной способности на разных длинах волн (обычно, красной и инфракрасной), можно определить насыщение кислородом крови.

Обычные пульсовые оксиметры для измерения частоты сердечных сокращений и насыщения кислородом (артериальной) крови субъекта прикрепляют к коже субъекта, например, к кончику пальца, мочке уха или лбу. Поэтому, они называются «контактными» PPG-устройствами. Типичный пульсовый оксиметр содержит красный СД (светодиод) и инфракрасный СД в качестве источников света и один фотодиод для обнаружения света, который пропускался сквозь ткань пациента. Коммерческие пульсовые оксиметры быстро переключаются между измерениями на красной длине волны и инфракрасной длине волны и, тем самым, измеряют удельный коэффициент пропускающей способности той же самой зоны или объема ткани на двух разных длинах волн. Данный способ называется мультиплексированием с разделением времени. Пропускающая способность со временем на каждой длине волны дает формы PPG-колебаний для красной и инфракрасной длин волн. Хотя контактная PPG считается, в принципе, неинвазивным способом, контактное PPG-измерение часто воспринимается как неприятное, поскольку пульсовый оксиметр непосредственно прикрепляется к субъекту и любые кабели ограничивают свободу перемещения.

В последнее время предложены неконтактные дистанционные PPG-устройства для бесконтактных измерений. Дистанционная PPG использует источники света или, в общем, источники излучения, расположенные на удалении от субъекта, представляющего интерес. Аналогично также детектор, например, камера или фотодиод, может располагаться на удалении от субъекта, представляющего интерес. Поэтому, дистанционные фотоплетизмографические системы и устройства считаются бесконтактными и пригодными для медицинских, а также немедицинских ежедневных применений. Однако, дистанционные PPG-устройства обычно обеспечивают низкое отношение сигнал- шум.

В дополнение к оценке изменяющейся во времени пропускающей способности и/или отражательной способности, PPG на основе камеры позволяет оценивать перемещения тела субъекта. Оценивать можно пульсирующие, а также дыхательные движения.

Между тем, упомянутая известная технология описана в ряде публикаций и в патентных заявках, например, в вышеупомянутых публикациях авторов Verkruysse et al. и Wieringa et al., и в патентных заявках WO2012/093358 Al или WO 2013/030745 Al (взятых для примера), содержание которых, в частности, объяснения принципов дистанционной PPG, включено в настоящую заявку путем отсылки.

Определение уровня стресса человека из физиологических сигналов или основных показателей состояния организма, соответственно, независимо от того, как они получены, также, в общем, известно в данной области техники. Например, в заявке WO 2012/082297 A2 описаны устройство и способ для измерения уровня ментального стресса пользователя. Устройство содержит первый измерительный блок для измерения сигнала вариабельности частоты сердечных сокращений (HRV) пользователя, второй измерительный блок для получения сигнала дыхания пользователя и блок обработки данных для формирования индикаторного сигнала, представляющего уровень ментального стресса пользователя в зависимости от полученного дыхательного сигнала и измеренного сигнала HRV. В WO2012/140537 A1 описаны, в частности, стрессо-измерительные устройство и способ для определения уровня стресса пользователя, в частности, долговременного стресса. Стрессо-измерительное устройство содержит интерфейс ввода для приема сигнала электропроводности кожи, указывающего электропроводность кожи пользователя, при этом сигнал электропроводности кожи с течением времени формирует данные измерения электропроводности кожи. Стрессо-измерительное устройство дополнительно содержит блок обработки данных для обработки данных измерения электропроводности кожи, при этом блок обработки данных выполнен с возможностью определения по, по меньшей мере, участку данных измерения электропроводности кожи, значений времени нарастания между, по меньшей мере, двумя разными точками данных измерений электропроводности кожи, чтобы определять плотность распределения значений времени нарастания, и чтобы определять уровень стресса пользователя на основании установленной плотности распределения. Приведенные и другие способы можно использовать в соответствии с вариантом осуществления системы в соответствии с настоящим изобретением, содержащей процессор 15 уровня стресса.

Таким образом, настоящее изобретение обучает, как камеру с микрофоном (например, web-камеру) можно применить в окружающей среде NICU (отделении интенсивной терапии новорожденных) для контроля уровней света и звука, чтобы поддержать модель выхаживания новорожденных. Избыточные световой и акустический шумы идентифицированы как основные причины, которые мешают оптимальному развитию недоношенных младенцев. Цикл сна младенца нуждается в защите, которая часто находится в противоречии с графиками лица, осуществляющего уход, и посетителя, которые создают шум за разговором и работой. Контроль и отслеживание уровней освещения и звука с помощью стандартного оборудования web-камеры может предоставлять лицам, осуществляющим уход, необходимую поддержку для идентификации и минимизации причин упомянутых вредных стимулов для недоношенных младенцев.

Для измерения и отслеживания акустического шума может использоваться специализированный микрофон и дисплейный модуль в варианте осуществления, но это может быть также достигнуто с помощью стандартной web-камеры. Встроенный микрофон можно калибровать и частотно корректировать для выполнения функции недорогого измерителя интенсивности звука. Калибровка или оценка уровней звука может включать в себя использование функции чувствительности человеческого уха (A-взвешивающего фильтра). Для младенца профиль звуковой частоты, который плод будет испытывать в материнской утробе, должен служить эталоном. В предположении, что плод лучше развивается в утробных условиях, это означает, что более высокие тональные звуки являются более раздражающими, чем более низкие тональные звуки. Специалистам понятно, что систему контроля звука можно нормировать к любой требуемой функции частотной чувствительности.

Другое преимущество по сравнению со стандартными указателями уровня состоит в том, что web-камера может отслеживать характерные события и сохранять фрагменты видео и аудио вместе с тем, что позволяет ретроспективно просматривать упомянутые события и идентифицировать источник. Данный подход дает возможность находить и исключать основные причины вредных шумовых и световых событий и улучшать ситуацию развития недоношенного младенца.

Таким образом, практическое осуществление предлагаемой системы контроля звука и света содержит

web-камеру с микрофоном,

блок обработки данных для вывода звукового давления и уровней света (средних) и событий (пиковых, пороговых отклонений), которые являются релевантными для младенца;

средство для записи сохраняемых фрагментов аудио и видео для характерных событий;

возможности просмотра архива данных и событий;

средство для автоматической идентификации и классификации световых и звуковых событий; и

возможности отображения и тревожной сигнализации, которые могут быть локальными на младенце (для моментальной обратной связи) или в дистанционном центральном пункте.

Автоматическая идентификация событий может облегчить просмотр архива шумов и света. Стандартные звуковые образы типа разговора, плача младенцев, хлопанья двери, тревожной сигнализации оборудования и т.п. могут обнаруживаться эффективной системой распознавания звуков. Кроме того, совместное применение видеокамеры с микрофоном для других применений типа контроля основных показателей состояния организма исключает дополнительное оборудование в пространственно ограниченном отделении NICU.

Наконец, на фиг. 2 показана блок-схема последовательности операций варианта осуществления предложенного способа для контроля влияния света и звука на человека. На этапе S1 на человеке улавливается со временем окружающий свет. Параллельно, на этапе S2, улавливается со временем окружающий звук на человеке. На этапе S4 формируется и выдается пусковой сигнал, если яркость уловленного окружающего света превышает уровень яркости, и/или если уровень звука уловленного окружающего звука превышает звуковой порог, что проверяется на этапе S3. На этапе S5, по принятому пусковому сигналу, фрагменты окружающего света и окружающего звука, уловленные примерно в момент времени приема пускового сигнала записываются. И, наконец, на этапе S6 записанные фрагменты окружающего света и окружающего звука просматриваются, позволяя идентифицировать основную причину окружающего света и окружающего звука, записанную в просматриваемом фрагменте, и выводить руководящую информацию, указывающую, как избегать упомянутых света и/или звука, вызванных идентифицированной основной причиной.

Хотя изобретение подробно показано и описано на чертежах и в вышеприведенном описании, упомянутые чертежи и описание следует считать наглядными или примерными, а не ограничивающими; изобретение не ограничено раскрытыми вариантами осуществления. Другие разновидности раскрытых вариантов осуществления могут быть представлены и внедрены специалистами в данной области техники на стадии практического внедрения заявленного изобретения, на основании изучения чертежей, раскрытия и прилагаемой формулы изобретения.

В формуле изобретения, выражение «содержащий» не исключает других элементов или этапов, и признак единственного числа в форме неопределенного артикля не исключает множественного числа. Единственный элемент или другой блок может выполнять функции нескольких объектов, перечисленных в формуле изобретения. Очевидное обстоятельство, что некоторые признаки перечислены во взаимно различающихся зависимых пунктах формулы изобретения не указывает, что комбинацию упомянутых признаков нельзя применить в подходящем случае.

Компьютерная программа может храниться/распространяться на подходящем энергонезависимом носителе, например, оптическом носителе записи или твердотельном носителе, поставляемом вместе или в виде части другого аппаратного обеспечения, но может также распространяться в других формах, например, по сети Интернет или в других проводных или беспроводных телекоммуникационных сетях.

Никакие позиции в формуле изобретения не подлежат истолкованию в смысле ограничения объема изобретения.

Группа изобретений относится к медицинской технике, а именно к средствам для контроля влияния света и звука на пациента. Система содержит блок улавливания окружающего света около человека с течением времени, содержащий камеру для улавливания изображений, в частности видеоданных зоны записи, включающей в себя, по меньшей мере, глаза человека, когда человек расположен в предварительно определенном стандартном положении, блок улавливания окружающего звука около человека с течением времени, блок установления порога для формирования и выдачи пускового сигнала, если яркость уловленного окружающего света превышает уровень яркости, и/или если уровень звука уловленного окружающего звука превышает звуковой порог, процессор для определения уровня стресса человека, процессор обработки уловленных изображений до проверки, превышает ли уровень освещенности уловленных изображений световой порог, посредством блока установления порога путем выбора области, представляющей интерес, в изображении, которая включает в себя или прилегает к глазам человека, и путем вывода критерия яркости области, представляющей интерес, посредством усреднения интенсивности всех пикселей в области, представляющей интерес, или выбора интенсивности самого яркого пикселя, при этом критерий яркости используется как уровень освещенности для проверки, превышает ли уровень освещенности уловленных изображений световой порог, посредством блока установления порога, блок памяти для сохранения, в ответ на принятый пусковой сигнал, фрагментов окружающего света и окружающего звука, уловленных примерно в момент времени приема пускового сигнала, и фрагментов информации об уровне стресса примерно в момент времени приема пускового сигнала, блок просмотра сохраненных фрагментов окружающего света, окружающего звука и информации об уровне стресса, позволяющих идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте, и выводить руководящую информацию, указывающую, как избежать таких света и звука, вызванных идентифицированной основной причиной. Способ контроля осуществляется посредством системы и машиночитаемого носителя, на котором хранится компьютерный программный код. Использование изобретений позволяет расширить арсенал средств для контроля влияния света и звука на человека. 3 н. и 7 з.п. ф-лы, 2 ил.

1. Система для контроля влияния света и звука на человека, содержащая:

- блок (2) улавливания света для улавливания окружающего света около человека с течением времени,

причем блок (2) улавливания света содержит камеру для улавливания изображений, в частности видеоданных зоны записи, включающей в себя, по меньшей мере, глаза человека, когда человек расположен в предварительно определенном стандартном положении;

- блок (3) улавливания звука для улавливания окружающего звука около человека с течением времени,

- блок (6, 9) установления порога для формирования и выдачи пускового сигнала, если яркость уловленного окружающего света превышает уровень яркости, и/или если уровень звука уловленного окружающего звука превышает звуковой порог,

- процессор (15) уровня стресса для определения уровня стресса человека,

- процессор (5) обработки

изображений для обработки уловленных изображений до проверки, превышает ли уровень освещенности уловленных изображений световой порог, посредством блока установления порога путем выбора области, представляющей интерес, в изображении, которая включает в себя или прилегает к глазам человека, и путем вывода критерия яркости области, представляющей интерес, посредством усреднения интенсивности всех пикселей в области, представляющей интерес, или выбора интенсивности самого яркого пикселя, при этом упомянутый критерий яркости используется как уровень освещенности для проверки, превышает ли уровень освещенности уловленных изображений световой порог, посредством блока установления порога;

- блок (10) памяти для сохранения, в ответ на принятый пусковой сигнал, фрагментов окружающего света и окружающего звука, уловленных примерно в момент времени приема пускового сигнала, и фрагментов информации об уровне стресса примерно в момент времени приема пускового сигнала,

- блок (11) просмотра для просмотра сохраненных фрагментов окружающего света, окружающего звука и информации об уровне стресса, позволяющих идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте, и выводить руководящую информацию, указывающую, как избежать таких света и звука, вызванных идентифицированной основной причиной.

2. Система по п. 1,

дополнительно содержащая камеру (14) общего вида для улавливания изображений общего вида, в частности видеоданных, окружающей среды человека, при этом блок (10) памяти сконфигурирован с возможностью сохранения в ответ на принятый пусковой сигнал, фрагмента изображений общего вида, уловленных примерно в момент времени приема пускового сигнала, и

причем блок (11) просмотра сконфигурирован с возможностью допуска просмотра сохраненных фрагментов изображений общего вида в дополнение к сохраненным фрагментам окружающего света и окружающего звука, чтобы идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте.

3. Система по п. 2,

в которой блок (11) просмотра сконфигурирован с возможностью автоматического просмотра сохраненных фрагментов изображений общего вида в дополнение к сохраненным фрагментам окружающего света и окружающего звука, чтобы идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте.

4. Система по п. 1,

в которой блок (11) просмотра сконфигурирован с возможностью автоматического просмотра сохраненных фрагментов окружающего света и окружающего звука, чтобы идентифицировать основную причину окружающего света и окружающего звука, сохраненную во фрагменте, и вывести руководящую информацию, указывающую, как избегать упомянутого света и/или звука, вызываемых идентифицированной основной причиной.

5. Система по п. 1,

дополнительно содержащая процессор (5) обработки звуков для обработки уловленного окружающего звука до проверки, превышает ли уровень звука уловленного окружающего звука звуковой порог, посредством блока установления порога путем применения взвешивания, представляющего спектральную чувствительность человеческого слуха, в частности спектральной чувствительности слуха человека, сравнимого с контролируемым человеком.

6. Система по п. 1,

дополнительно содержащая процессор (5) обработки света для обработки уловленных изображений до проверки, является ли уровень света уловленных изображений выше светового порога, при применении блока установления порога с использованием взвешивания, представляющего чувствительность человеческого зрения, в частности чувствительность глаза человека, сравнимого с контролируемым человеком.

7. Система по п. 1,

дополнительно содержащая блок (12) аварийной сигнализации для формирования аварийного сигнала, если яркость уловленного окружающего света превышает уровень яркости, и/или если уровень звука уловленного окружающего звука превышает звуковой порог.

8. Система по п. 1,

в которой упомянутый блок (2) улавливания света содержит камеру для улавливания изображений, в частности видеоданных зоны записи, включающей в себя, по меньшей мере, глаза человека, когда человек расположен в предварительно определенном стандартном положении,

при этом система дополнительно содержит дистанционный фотоплетизмографический процессор для вывода основных показателей состояния организма человека из уловленных изображений для использования процессором уровня стресса с целью определения уровня стресса человека.

9. Способ контроля влияния света и звука на человека, содержащий следующие этапы:

- улавливают окружающий свет около человека с течением времени, включая улавливание изображений, в частности видеоданных зоны записи, включающей в себя, по меньшей мере, глаза человека, когда человек расположен в предварительно определенном стандартном положении,

- улавливают окружающий звук около человека с течением времени,

- формируют и выдают пусковой сигнал, если яркость уловленного окружающего света превышает уровень яркости, и/или если уровень звука уловленного окружающего звука превышает звуковой порог,

- обрабатывают уловленные изображения до проверки, превышает ли уровень освещенности уловленных изображений световой порог, посредством блока установления порога путем выбора области, представляющей интерес, в изображении, которая включает в себя или прилегает к глазам человека, и путем вывода критерия яркости области, представляющей интерес, посредством усреднения интенсивности всех пикселей в области, представляющей интерес, или выбора интенсивности самого яркого пикселя, при этом упомянутый критерий яркости используется как уровень освещенности для проверки, превышает ли уровень освещенности уловленных изображений световой порог, посредством блока установления порога,

- определяют уровень стресса человека,

- сохраняют, в ответ на принятый пусковой сигнал, фрагменты окружающего света и окружающего звука, уловленные примерно в момент времени приема пускового сигнала, и фрагменты информации об уровне стресса человека примерно в момент времени приема пускового сигнала,

- просматривают сохраненные фрагменты окружающего света, окружающего звука и информации об уровне стресса, позволяющие идентифицировать основную причину окружающего света и окружающего звука, сохраненную в просмотренном фрагменте, и выводить руководящую информацию, указывающую, как избежать таких света и/или звука, вызванных идентифицированной основной причиной.

10. Машиночитаемый носитель устройства для контроля влияния света и звука на человека, на котором хранится компьютерный программный код, сконфигурированный для выполнения компьютером этапов способа по п. 9, когда упомянутый компьютерный программный код выполняется на компьютере.