Область техники, к которой относится изобретение
Настоящее изобретение, в целом, относится к устройствам, системам и способам для мониторинга движений глаза человека, т.е. для мониторинга утомления, целенаправленной связи и/или устройств управления, основанных на движении глаза, века и/или других компонентов глаза или глаз человека.
Уровень техники
Предложено использовать движение человеческого глаза для мониторинга неконтролируемых состояний, таких как бодрствование или сонливость человека. Например, в патенте США № 3863243 раскрыто устройство, которое издает сигнал тревоги для предупреждения человека, использующего устройство, о том, что он начинает засыпать. Устройство имеет оправу, как и у ряда очков, на которую установлено оптическое волокно и фотоэлемент, которые при ношении оправы направлены в направлении глаза пользователя. Фотоэлемент определяет интенсивность света, отраженного от глаза пользователя, то есть или от века, когда глаз закрыт, или от поверхности глаза, когда глаз открыт. Таймер различает регулярные моргания и длительный промежуток времени, в течение которого глаз остается закрытым, то есть промежуток времени, который может означать, что человек засыпает. При истечении порогового времени раздается сигнал тревоги для оповещения и/или пробуждения пользователя.
Другим устройством является Alertness Monitor MTI Research Inc, которое может быть установлено на защитные очки и генерирует непрерывный пучок инфракрасного излучения по оси века в стратегически выгодной позиции, когда луч не может преломляться ресницами, кроме как в момент моргания, позволяя измерить частоту моргания. Другие устройства, например, раскрытые в патентах США № 5469143 и № 4359724, непосредственно контактируют с веком или бровью пользователя для обнаружения движения глаза и активирования тревоги в случае выявления состояния сонливости. Подобные устройства могут включать механические устройства, например, механический рычаг или пьезоэлектрическую пленку, расположенную напротив века.
Предложено устанавливать камеры или другие устройства на приборной панели, крыше или в другом месте транспортного средства для наблюдения за сознанием водителя. Однако подобные устройства требуют поддержания постоянного зрительного контакта водителя с камерой. Кроме того, они не следят за движением век, если пользователь поворачивает свою голову в сторону или вниз, поворачивает назад, выходит из транспортного средства, если пользователь быстро перемещается, или если камера двигается относительно человека. Кроме того, подобные камеры могут нарушать неприкосновенность частной жизни и/или могут иметь проблемы с наблюдением через очки, солнцезащитные очки, или даже контактные линзы и могут неэффективно работать при солнечном свете.
Сущность изобретения
Настоящее изобретение направлено на устройства, системы и способы для мониторинга движений одного или двух глаз, век и/или зрачков субъекта. В целом, люди моргают, по меньшей мере, приблизительно 5-30 раз в минуту, или приблизительно 7000-43000 раз в день.
Каждое непроизвольно-рефлекторное моргание длится приблизительно 200-300 миллисекунд, в целом составляя в среднем приблизительно 250 миллисекунд, что в среднем соответствует нахождению глаз в закрытом состоянии вследствие непроизвольного моргания приблизительно 1750-10800 секунд в день. При развитии усталости или сонливости моргание глаз может стать более продолжительным и более медленным, и/или частота моргания может варьировать, и/или при моргании веки могут начать опускаться с небольшой амплитудой, например, пока глаза не начинают закрываться до краткосрочных "микроснов", то есть состояний сна, которые длятся в течение приблизительно 3-5 секунд или дольше, или до продолжительного сна. Кроме того, зрачки могут сужаться более медленно, проявлять непостоянные колебания размера, прогрессивно сужаясь в диаметре, и/или демонстрировать отсроченную реакцию на вспышки света (то есть замедленное время реакции зрачка) при прогрессировании усталости и сонливости. Кроме того, могут встречаться другие глазные проявления сонливости, такие как замедленная реакция саккадированного слежения глазами, например, на стимул (то есть замедленное время саккадированной реакции), или реакция с усиленным или с недостаточным слежением за мишенью, и/или потеря направленного взора с бинокулярной вергенцией или дивергенцией или без них, отклонение глаз, или эзофория.
В одном варианте осуществления предоставлено устройство для мониторинга движений века, зрачка и/или глаза, которое включает устройство, сконфигурированное для ношения на голове человека, источник излучения для направления излучения на глаза человека во время ношения устройства и первый и второй оптоволоконные жгуты, соединенные с устройством, первый жгут позиционирован для наблюдения за первым глазом человека, носящего устройство, второй жгут позиционирован для наблюдения за вторым глазом человека, носящего устройство. Устройство может также включать камеру, соединенную с первым и вторым жгутами для получения изображения первого и второго глаза.
При желании устройство может также включать третий оптоволоконный жгут, ориентированный в сторону от пользователя, например, для рассмотрения области, в которую повернута голова пользователя. Кроме того, или в альтернативном варианте осуществления, устройство может иметь один или более пространственных датчиков. Камера может быть соединена с первым и вторым жгутами для получения изображения первого и второго глаза, а также с третьим жгутом для получения изображения области, в которую повернута голова и/или глаза пользователя. Пространственные датчики могут позволить одновременно измерять или отслеживать движения головы пользователя, например, относительно движений глаза пользователя. Кроме того, совокупность источников излучения и/или датчиков, соединенных с камерой, может позволить измерять различные окулометрические параметры одного или обоих глаз, такие как скорость, ускорение и замедление движений века, частота моргания глаз, "PERCLOS" (время нахождения века в открытом состоянии в процентах), вертикальная высота глазной щели (то есть область между веками глаза, не закрывающими зрачок), например, в виде расстояния или процента по отношению к полностью открытому глазу, и т.п.
В другом варианте осуществления предоставлено автономное устройство для обнаружения движений века человека, которое включает устройство, приспособленное для ношения на голове человека, источник излучения на устройстве для направления излучения в сторону глаза человека во время ношения устройства и камеру для обнаружения излучения от источника излучения. Датчик вырабатывает выходной сигнал, показывающий, когда глаз открыт или закрыт, а с датчиком соединен передатчик на оправе для беспроводной передачи выходного сигнала на удаленное расстояние.
Оправа может также иметь процессор для сравнения выходного сигнала с предварительно заданным пороговым значением для обнаружения движения века, вызванного сонливостью. Подобно предыдущим вариантам осуществления изобретения источник излучения и датчик могут быть полупроводниковыми биосенсорными устройствами для излучения и обнаружения инфракрасного излучения или, в альтернативном варианте осуществления, совокупностью, например, одномерной или двухмерной решеткой, источников излучения и/или датчиков предварительно заданной конфигурации на оправе, например, вертикальной, горизонтальной, диагональной или другой линейной или другой геометрической решеткой из более чем одного источника излучения и/или датчика, ориентированной в направлении одного или обоих глаз. В частности, решетка источников излучения и/или датчиков может позволить измерять окулометрические параметры, такие как определенные здесь в другом месте.
Источник излучения и/или датчики могут быть закреплены на любом числе точек на оправе, например, вокруг линзы и/или на переносице, или, в альтернативном варианте осуществления, где-либо на оправе, включая носовую часть оправы или рядом с ней, крепление височной части оправы, и/или на поверхности, смонтированной на линзе окуляра. В альтернативном варианте осуществления источник излучения и/или датчик могут быть встроены в линзу окуляра или установлены иначе таким образом, что они функционируют через линзу. Следовательно, источник(и) излучения и/или датчик(и) могут быть закреплены на оправе очков таким образом, что они двигаются с движениями головы человека, носящего очки, и непрерывно фокусируются на глазах пользователя при любом положении тела, находится ли пользователь в транспортном средстве, на открытом воздухе или в любой другой обстановке.
В еще одном варианте осуществления изобретения предоставлена система для мониторинга движений глаза человека. Система включает устройство, сконфигурированное для ношения на голове человека, один или большее число источников излучения на устройстве для направления излучения на глаз человека при ношении устройства и камеру, например, устройство типа CCD или CMOS. Источник(и) излучения может быть приспособлен для проецирования на глаз системы координат. Камера может быть ориентирована на глаз для мониторинга движения глаза относительно системы координат. Камера может быть установлена на устройстве или может быть установлена на расстоянии от устройства, но относительно близко к пользователю.
Во время проецирования на глаз системы координат, для подачи излучения на глаза (глаз) пользователя, носящего устройство, может поступать излучение от источника(ов) излучения.
Источник(и) излучения может проецировать излучение незаметно для пользователя, то есть вне скотопического (ночное зрение) или фотопического (дневное зрение) диапазона обычного зрительного восприятия, например, в инфракрасном диапазоне таким образом, что излучение и/или система координат существенно не препятствуют зрительному восприятию пользователя. Камера может получать изображение излучения, произведенного источниками излучения, например, в инфракрасном диапазоне, таким образом, осуществляя обнаружение спроецированного излучения в виде пятна, спектра излучения или другого "отблеска". Движение глаза относительно системы координат может отслеживаться с помощью камеры. Может производиться мониторинг графического вывода движений, отслеживаемых с помощью камеры, например, относительно системы координат, спроецированной на глаз. Например, инфракрасное излучение от источников излучения может быть полностью отражено от сетчатки и определяться в виде "красного рефлекса" в белом свете, в виде белого, или темного, или "черного зрачка" в инфракрасном свете, включая изображение темного зрачка, используя способы субтракции, известные в области техники.
К примеру, применяя один или большее число этих способов, процессор может осуществлять обнаружение движения зрачка глаза, например, измеряя движение относительно системы координат. Это движение может быть отображено графически, показывая движение зрачка глаза относительно системы координат. При желании, выходной сигнал от одного или большего количества датчиков может быть коррелирован с видеосигналами, произведенными камерой, отслеживающей движение глаза.
В еще одном варианте осуществления изобретения предоставлен способ управления вычислительным устройством или другим электронным или электромеханическим устройством (например, радиоприемником, телевизором, инвалидным креслом, телефоном, системой сигнализации, акустической, оптической или тактильной системой оповещения и т.д.), применяя устройство, носимое на голове пользователя. Устройство может включать один или большее число компонентов подобно другим описанным здесь вариантам осуществления, включая камеру, имеющую по меньшей мере один объектив, направленный в сторону по меньшей мере одного глаза пользователя. Компьютерное устройство может иметь дисплей, включая указатель, показываемый на дисплее. Дисплей может включать heads-up или heads-down дисплей, закрепленный на устройстве, носимом на голове пользователя, или иначе закрепленный или расположенный на голове пользователя, монитор настольного компьютера, который может быть расположен перед пользователем, изображение, спроецированное на экране (например, как в имитаторе езды или летном имитаторе), и т.п. С помощью камеры может осуществляться мониторинг движений глаза(глаз) пользователя, а движение глаза(глаз) может быть сопоставлено с указателем на дисплее, чтобы указатель следовал за движением глаза(глаз), например, подобно компьютерной мыши. При желании, камера может осуществлять мониторинг глаза(глаз) пользователя по заданным показателям, например, по морганиям в заданные промежутки времени, которые могут соответствовать инструкциям по выполнению одной или большего числа команд, отождествляемых с указателем на дисплее, например, подобно двойному щелчку компьютерной мыши.
Другие аспекты и отличительные признаки настоящего изобретения станут очевидными при рассмотрении следующего описания, приведенного в сочетании с прилагаемыми чертежами.
Краткое описание чертежей
На Фиг.1 представлен вид в перспективе пациента в больнице, носящего устройство по варианту осуществления для мониторинга пациента, основанного на движении глаза и/или века пациента.
На Фиг.2 представлено увеличенное перспективное изображение варианта осуществления с фиг.1, включая устройство обнаружения и блок обработки.
На Фиг.3 представлено схематическое изображение примера варианта осуществления схемы для передачи выходного сигнала, соответствующего последовательности движений века.
На Фиг.4 представлено схематическое изображение примерного варианта осуществления схемы для управления оборудованием в ответ на выходной сигнал, соответствующий последовательности движений века.
На Фиг.5 представлено схематическое изображение примерного варианта осуществления схемы для обнаружения движения века.
На Фиг.6A-6C в боковой и фронтальной проекции приведены альтернативные варианты осуществления устройства для испускания излучения в направлении глаза и восприятия излучения, отраженного от поверхности открытого глаза.
На фиг.7A-7C приведены устройства с Фиг.6A-6C, в боковой и фронтальной проекции соответственно, для испускания излучения в направлении глаза и осуществляющие восприятие излучения, отраженного от закрытого века.
На Фиг.8 представлены перспективное изображение и блок-схема другого варианта осуществления системы для мониторинга пользователя, основанной на движении глаза и/или века пользователя.
На Фиг.9 представлена блок-схема компонентов еще одного варианта осуществления системы для мониторинга пользователя, основанной на движении глаза и/или века пользователя.
На Фиг.10А представлен перспективный вид еще одного варианта осуществления системы для мониторинга пользователя, основанной на движении глаза и/или века пользователя.
На Фиг.10B представлено схематическое изображение части системы с Фиг.10A в деталях.
На Фиг.10C в деталях представлен пример решетки источников излучения и датчиков, которая может быть установлена на переносице оправы очков, как на Фиг.10A.
На Фиг.10D представлено схематическое изображение решетки источников излучения и датчиков с Фиг.10C, испускающих излучение и осуществляющих восприятие излучения, отраженного от глаза.
На Фиг.11A представлен схематический вид системы для селективного управления рядом устройств из удаленного местонахождения, основанного на движении века.
На Фиг.11B представлено схематическое изображение дополнительных устройств, которые могут управляться с помощью системы с Фиг.11B.
На Фиг.12A представлена таблица, показывающая зависимость между активацией решетки датчиков, такой как показана на Фиг.10А-10D, и глазом, мониторинг которого осуществляется с помощью решетки, при изменении состояния глаза от открытого до закрытого.
На Фиг.12B представлен график, показывающий поток данных, полученный с помощью решетки датчиков, такой как показана на Фиг.10А-10D, показывающий закрытие глаза в процентах как функцию времени ("PERCLOS").
На Фиг.12C представлено графическое отображение ряда физиологических параметров человека, включая PERCLOS, контролируемых с помощью системы, включающей устройство, подобное показанному на Фиг.10A-10D.
На Фиг.12D представлена таблица, показывающая зависимость между активацией двухмерных решеток датчиков и глазом, мониторирование которого проводится, при изменении состояния глаза от открытого к закрытому.
На Фиг.13 представлено перспективное изображение другой системы для мониторинга пользователя, основанного на движении глаза и/или века пользователя.
На Фиг.14 представлено детальное изображение камеры на оправе с Фиг.13.
На Фиг.15A-15I графически отображено несколько параметров, мониторинг которых может быть осуществлен, применяя систему с Фиг.13.
На Фиг.16 представлено детальное изображение выходного видеосигнала от камеры на оправе с Фиг.13.
На Фиг.17 схематически изображен пример варианта осуществления электрической схемы для обработки сигналов от пятиэлементной решетки датчиков.
На Фиг.18A и 18B представлен другой вариант осуществления устройства для мониторинга движения глаза, включенного в шлем летчика.
На Фиг.19 схематически представлена камера, которая может быть включена в устройство с Фиг.18A и 18B.
На Фиг.20A и 20B представлены графические изображения, показывающие одновременные выходные сигналы от ряда камер, показывающие соответственно открытое и закрытое состояния глаза пользователя.
На Фиг.21A-21C представлены графические изображения, показывающие эллиптический график, формируемый для определения периметра зрачка, чтобы облегчить мониторинг движения глаза.
На Фиг.22 представлена блок-схема, показывающая способ тестирования внимания пользователя, носящего устройство для мониторинга движения глаз.
На Фиг.23 представлена блок-схема, показывающая способ управления вычислительным устройством, основанный на движении глаза.
На Фиг.24A и 24B во фронтальной и боковой проекциях соответственно представлено устройство для чрескожной передачи излучения к глазу и восприятия излучения, поступающего от зрачка глаза.
Подробное описание предпочтительных вариантов осуществления изобретения
Обращаясь к чертежам, на Фиг.1 показан пациент 10 в кровати 12 с надетым устройством 30 обнаружения для обнаружения движения глаза и/или века пациента 10. Устройство 30 обнаружения может включать любое из описанных здесь биосенсорных устройств, которое может применяться для мониторинга произвольных движений глаза, например, для целенаправленной связи, для мониторинга непроизвольных движений глаза, например, при сонливости или других состояниях, и/или для управления одного или большего числа электронных устройств (не показаны). Устройство 30 обнаружения может быть присоединено к блоку 130 обработки, который преобразовывает выявленное движение глаза и/или века в поток данных, понятное сообщение, и/или в другой вид информации, которая может быть передана, например, применяя видеодисплей 50, поставщику медицинских услуг 40.
Обратимся к Фиг.2, 6A и 7A, на которых показан примерный вариант осуществления устройства или системы 14, который включает способное к прицеливанию и фокусируемое устройство 30 обнаружения, которое может быть закреплено на обычных очках 20. Очки 20 включают пару линз 21, закрепленных в оправе 22, которая включает мостовидный переход 24, находящийся между линзами 21, и боковые детали или височные части 25, переходящие в ушные части 26, все они обычного типа. В альтернативном варианте осуществления, поскольку наличие линз 21 может не быть необходимым, оправа 22 может быть также предоставлена без линз 21.
Устройство 30 обнаружения включает фиксатор 27 или другой механизм для присоединения на одной из боковых деталей 25 и регулируемый рычаг 31, на который установлен один или большее число источников 32 излучения и датчиков 33 (один показан). Источники 32 излучения и датчик 33 установлены в предварительно заданном взаиморасположении таким образом, что источник 32 излучения может излучать сигнал в направлении глаза 300 человека, носящего очки 20, а датчик 33 может осуществлять обнаружение сигнала, отраженного от поверхности глаза 300 и века 302. В примере варианта осуществления, показанном на Фиг.6A и 7A, источник 32 излучения и датчик 33 могут быть установлены рядом друг с другом.
В альтернативном варианте осуществления, как показано на Фиг.6B и 7B, источник 32' излучения и датчик 33' могут быть смонтированы на оправе раздельно на расстоянии от друг друга, например, таким образом, что источник 32' излучения и датчик 33' располагаются по существу латерально по отношению друг к другу. В дальнейшем альтернативном варианте осуществления изобретения, показанном на Фиг.6C и 7C, источник 32" излучения и датчик 33" могут быть установлены поперек глаза 300 на одной оси друг с другом. При закрывании века 302 оно может рассеивать пучок 340, обнаружение которого осуществляется датчиком 33".
В одном варианте осуществления источник 32 излучения и датчик 33 соответственно излучают и осуществляют детекцию непрерывного или импульсного излучения, например, в пределах инфракрасного диапазона, чтобы минимизировать дистракцию или интерференцию с обычным зрением человека, использующего прибор. Источник 32 излучения может испускать излучение в виде импульсов с предварительно заданной частотой, а датчик 33 сконфигурирован с возможностью обнаружения импульсов излучения с предварительно заданной частотой. Этот импульсный режим может уменьшить потребление энергии источником 32 излучения и/или может минимизировать интерференцию с другими источниками излучения. В альтернативном варианте осуществления могут применяться другие заданные диапазоны частот излучения вне или в пределах видимого спектра, например, ультрафиолетовое излучение, или другие формы энергии, такие как радиоволны, звуковые волны и т.п.
Блок обработки 130 соединен с устройством 30 обнаружения с помощью кабеля 34, включая в месте соединения один или большее число проводов (не показаны). Как показано на Фиг.9, блок 130 обработки может включать центральный процессор (CPU) 140 и/или другую схему, такую как примерная схема, показанная на Фиг.3-5, для приема и/или обработки выходного сигнала 142, такого как сигнал интенсивности излучения от датчика 33. Блок 130 обработки может также включать схему 141 управления для управления источником 32 излучения и/или датчиком 33, или центральный процессор 140 может включать внутреннюю схему управления.
Например, в одном варианте осуществления схема 141 управления может управлять источником 32 излучения для формирования мерцающего инфракрасного сигнала, пульсирующего с предварительно заданной частотой, от такой высокой частоты, как тысячи импульсов в секунду, до такой низкой, как приблизительно 4-5 импульсов в секунду, например, по меньшей мере, приблизительно 5-20 импульсов в секунду, таким образом, облегчая обнаружение непреднамеренных или преднамеренных морганий глаза, таких коротких, как приблизительно 200 миллисекунд за одно моргание. Датчик 33 может быть отрегулирован таким образом, чтобы осуществлять обнаружение импульсов излучения только предварительно заданной частоты, характерной для заданной частоты мерцания источника 32 излучения. Таким образом, синхронизируя источник 32 излучения и датчик 33 на предварительно заданной частоте, система 10 может применяться в различных условиях окружающей среды без существенного влияния на выходной сигнал 142 посредством, например, яркого солнечного света, полной темноты, фонового инфракрасного излучения окружающей среды или других источников излучения, действующих с различными частотами мерцания. Частота мерцания может быть отрегулирована таким образом, чтобы максимально повысить эффективность определения числа морганий глаза в единицу времени (например, от приблизительно десяти до приблизительно двадцати морганий глаза в минуту), продолжительности каждого моргания глаза (например, от приблизительно 200 миллисекунд до приблизительно 300 миллисекунд), и/или PERCLOS (то есть времени нахождения века в полностью или частично закрытом состоянии в процентах), или для максимального повышения эффективности системы, сохраняя минимальное потребление энергии.
Специалистам в этой области техники ясно, что схема управления 141 и/или блок 130 обработки может включать ручное и/или программное управление (не показано) для регулировки частоты, фокусировки или интенсивности излучения, формируемого источником 32 излучения, для включения и выключения источника 32 излучения, для регулировки пороговой чувствительности датчика 33, и/или для возможности самостоятельной фокусировки с максимальным отражением инфракрасного излучения от закрытого века.
Кроме того, блок 130 обработки также может включать источник 160 энергии для подачи энергии на источник 32 излучения, датчик 33, центральный процессор 140 и/или другие компоненты блока 130 обработки. Питание блока 130 обработки может осуществляться от обычной батареи постоянного тока, например, батареи на девять вольт или перезаряжающейся батареи, образованной из лития, кадмия или водорода, и/или от солнечных элементов, присоединенных к системе 14 или вмонтированных в нее. В альтернативном варианте осуществления с блоком 130 обработки может быть соединен адаптер (не показан), такой как обычный адаптер переменного тока или автомобильный более легкий адаптер на двенадцать вольт.
Центральный процессор 140 может включать схему 146 таймера для сравнения длины отдельных элементов выходного сигнала 142 с предварительно заданным пороговым значением, для различения обычных морганий от других движений века. Специалистам ясно, что схема таймера 146 может быть представлена в виде отдельных дискретных компонентов или может быть обеспечена внутри центрального процессора 140. Центральный процессор 140 может преобразовать выходной сигнал 142 в поток данных 144, который может применяться для связи с другими людьми или оборудованием. Например, поток 144 данных, произведенный центральным процессором 140, может быть бинарным сигналом, таким как код Морзе или код ASCI. В альтернативном варианте осуществления центральный процессор 140 может генерировать другие выходные сигналы, например, сигналы синтезированной речи, сигналы управления для оборудования или графические представления.
Для облегчения связи блок 130 обработки может включать различные устройства вывода для использования потока 144 данных. Например, может быть предоставлен внутренний динамик 150, который может производить звуковой сигнал тревоги или синтезированный речевой сигнал. Может быть предоставлен выходной порт 148, с которым может быть непосредственно связано с помощью проводных соединений различное оборудование, такое как видеодисплей 50, показанный на Фиг.1.
Дополнительно или в альтернативном варианте осуществления блок 130 обработки может включать передатчик 152, связанный с центральным процессором 140 для беспроводной передачи потока данных 144 на удаленное расстояние. Например, как показано на Фиг.9, система 14 может включать блок 154 приема и обработки, такой как компьютер или другая система управления или отображения. Передатчик 152 может быть радиочастотным передатчиком ("RF"), способным генерировать сигнал малой дальности, например, передающийся на расстояние приблизительно до ста футов или больше или, в альтернативном варианте осуществления, приблизительно от сорока пяти футов до пятидесяти футов, даже через стены или препятствия. В альтернативном варианте осуществления могут быть предоставлены другие передатчики, например, инфракрасный передатчик.
Передатчик 152 может также быть соединен с усилителем (не показан) для возможности передачи потока данных на сотни или тысячи футов или больше, например, применяя Bluetooth или другие RF протоколы. Например, усилитель и передатчик 152 могут связываться через телефонные линии связи, спутники и т.п. для передачи потока данных на расстояние в мили от системы, где данные могут быть проверены, проанализированы в режиме реального времени, или сохранены (например, как в самописце "черный ящик" грузового автомобиля или самолета) для будущего или ретроспективного анализа. Система может включать или может быть связана с системой глобального позиционирования (GPS) для осуществления мониторинга местоположения, движения и/или состояния когнитивной настороженности, бодрствования, сонливости или эмоциональных/поведенческих характеристик и/или безопасности человека, носящего устройство 30 обнаружения.
Блок 154 приема и обработки может включать приемник 156, например, радиочастотный приемник, для приема сигналов 153, включая поток данных, передаваемых с помощью передатчика 152. Процессор 158 связан с приемником 156 для трансляции, хранения и/или использования информации потока данных, процессор 158 связан со схемами 160 памяти, устройством 162 связи и/или системой 164 управления. Например, блок 154 приема и обработки может включать в себя схему 160 памяти, в которой процессор 158 может однократно сохранять поток данных для последующего поиска и анализа.
Процессор 158 может интерпретировать поток данных, например, преобразовывая двоичный код в потоке данных в понятное сообщение, то есть последовательность символов, слов и/или команд, и/или для облегчения связи может использовать устройства или программное обеспечение для усиленной связи (такое как KE:NX или Words Plus). Результирующее сообщение может быть отображено на устройстве связи 162, которое может включать видеодисплей для отображения текста, изображений и/или символов, модуль синтезирования речи для обеспечения электронной речи и т.п.
В альтернативном варианте осуществления поток данных может быть отображен графически на видеоэкране компьютера или на другом электронном устройстве отображения в виде сигнала сообщения в реальном времени или в цифровой форме (например, отображая частоту моргания, продолжительность моргания, PERCLOS и т.д.) или отображен графически подобно электрокардиограмме или электроэнцефалограмме. Кроме того, как показано на Фиг.12C, поток данных может отображаться одновременно с другими физиологическими данными, такими как проводимость кожи, температура тела, данными о сердечно-сосудистой системе (например, частота сердечных сокращений, артериальное давление), данными о дыхательной системе (например, частота дыхательных движений, уровни кислорода и углекислого газа крови), данными электромиографии (ЭМГ) и/или актиграфии (то есть движения положения тела) и/или другими полисомнографическими (PSG) или электроэнцефалографическими (ЭЭГ) переменными, измеряемыми во время сна. В альтернативном варианте осуществления поток данных может интегрироваться с контроллерами, которые осуществляют мониторинг функций автомобиля или механических функций (например, скорость транспортного средства, функции ускорения, торможения, крутящий момент, колебание или угол наклона, скорость или частота вращения двигателя и т.д.), для получения интеллектуальных решений относительно замедления или ускорения транспортного средства в зависимости от дороги и/или условий транспортного средства, а также функций, касающихся состояния сознания, бодрствования, внимательности, и/или характеристики реакции настороженности водителя или управляющего механизмом в реальном времени.
Кроме того, сообщение может интерпретироваться с помощью процессора 158 для ориентирования системы 164 управления на управление одной или большим количеством частей механизмов или оборудования. Например, поток данных может содержать команду по ориентированию системы 164 управления на управление релейными переключателями или другими устройствами для включения или выключения электрического устройства, такого как радиоэлектронное устройство, электрическое инвалидное кресло, двигатель, осветительный прибор, устройство сигнализации, телефон, телевизор, компьютер, тактильное вибрирующее сиденье и т.п., или для управления активируемой глазом компьютерной мышью или другим контроллером.
В альтернативном варианте осуществления процессор 158 может использовать поток данных для управления персональным компьютером, IBM, Macintosh и другими компьютерами, и/или совместимым программным обеспечением, и/или аппаратным обеспечением, например, для взаимодействия с компьютером подобно мыши, клавише возврата каретки и/или джойстику. Например, поток данных может включать команды активации группы меню, из которых могут быть выбраны подменю или отдельные пункты, как осуществляется в коммерчески доступном программном обеспечении общего назначения и компьютерных играх, а также в программном обеспечении для специальной связи, таком как WORDS-PLUS или Ke:NX. Затем процессор 158 может управлять, перелистывать или выбирать пункты в программном обеспечении, управлять принтером или другим периферийным устройством (например, выбирая шрифт, параграф, табуляцию или другой символьный оператор, выбирая команды, такие как "редактирование", "поиск", "форматирование", "вставка", "помощь", или контролируя операции CD-ROM или дисковода, и/или другие функции Windows и не Windows).
В альтернативном варианте осуществления приемник 156 может быть непосредственно связан с различными устройствами (не показаны), такими как элементы управления радио- или телевизионного оборудования, лампы, вентиляторы, нагреватели, двигатели, вибротактильные сиденья, транспортные средства с дистанционным управлением, устройства для мониторинга или управления транспортными средствами, компьютеры, принтеры, телефоны, спасательные установки, электронные игрушки или системы усиления связи, для обеспечения прямого взаимодействия между пользователем и устройствами.
Во время применения устройство 30 обнаружения может быть размещено на голове пользователя, то есть с помощью надевания очков 20, как показано на Фиг.1. Регулируемый рычаг 31 и/или фиксатор 27 может быть отрегулирован таким образом, чтобы оптимально ориентировать источник 32 излучения и датчик 33 напротив глаза 300 пользователя (показано на Фиг.6A-6C и 7A-7C). Источник 32 излучения может быть активирован, и пучок 340 излучения направляется от источника 32 излучения в сторону глаза 300. Затем может быть отрегулирована (например, вручную или автоматически, применяя автономно регулирующие детали) интенсивность и/или частота источника 32 излучения и/или пороговая чувствительность датчика 33 или другой фокус.
Вследствие различий характеристик отражения непосредственно от поверхности глаза 300 и от века 302 интенсивность излучения, отраженного от глаза 300, зависит от того, открыт глаз 300 или закрыт. Например, на Фиг.6A и 6B показано открытое состояние глаза, при котором луч 340 излучения, произведенный источником 32 излучения, сталкивается непосредственно с поверхностью глаза 300 и, следовательно, рассеивается, что показано с помощью лучей 350. Таким образом, интенсивность результирующего излучения, обнаружение которого осуществляется датчиком 33, является относительно низкой, то есть датчик 33 может не принимать никакого существенного обратного сигнала.
На Фиг.7A и 7B показан глаз 300 с закрытым веком 302, что может встречаться во время обычных морганий, моментов сонливости, преднамеренных морганий или при других движениях века. В результате столкновения излучения 340 с веком 302 оно по существу отражается назад к датчику 33, как показано с помощью луча 360, приводя к относительно высокой интенсивности излучения, обнаружение которого осуществляется датчиком 33. В альтернативном варианте осуществления, как показано на Фиг.7C, когда глаз 300 находится в закрытом состоянии, пучок 340 излучения может быть разрушен или прерван веком 302.
Таким образом, датчик 33 формирует сигнал интенсивности излучения, который указывает на открытое или закрытое состояние глаза 300, то есть соответствуя времени, в течение которого обнаружение отраженного излучения соответственно осуществляется или не осуществляется датчиком 33. В целом, пигментация кожи существенно не влияет на интенсивность инфракрасного излучения, отраженного от поверхности века. При необходимости регулирования интенсивности излучения, отраженного от века, для увеличения коэффициента отражения может быть применена фольга, блеск, увлажняющие крема с отражательной способностью и т.п., или для уменьшения коэффициента отражения может быть применен темный карандаш для подводки век, абсорбирующие или преломляющие крема и т.п.
Возвращаясь к Фиг.9, интенсивность излучения, определение которого осуществляется с помощью датчика 33, приводит к выходному сигналу 142, включающему последовательность зависимых от времени сигналов интенсивности излучения (как показано, например, на Фиг.12B). Выходной сигнал 142 принимается центральным процессором 140, связанным с датчиком 33, который сравнивает продолжительность по времени каждого сигнала интенсивности излучения 142, например, соответствующего закрытому состоянию глаза, с предварительно заданным пороговым значением. Схема 146 таймера может обеспечивать центральный процессор 140 значением порогового времени для различения обычных морганий от преднамеренного и/или другого непреднамеренного движения века, которые затем центральный процессор 140 может отфильтровать из выходного сигнала 142. Затем центральный процессор 140 генерирует поток данных 144, который может применяться для преднамеренной и/или вынужденной связи.
В одном полезном применении для обнаружения приближающейся сонливости или "микроснов" (то есть нарушающих бодрствование моментов сна, длящихся несколько секунд) пользователя может применяться устройство 30 обнаружения с блоком 130 обработки, запускающее сигнал для предупреждения пользователя, других мужчину или женщину, имеющих данное устройство, или мониторинга устройства на начало развития сонливости. Порог чувствительности схемы 146 таймера может быть отрегулирован таким образом, что центральный процессор 140 будет осуществлять обнаружение относительно продолжительных периодов закрытого состояния глаза, что может происходить во время засыпания человека.
Например, вследствие того, что обычные моргания являются относительно кратковременными, пороговая чувствительность может быть установлена на время в пределах от значения, близкого к нулю секунд, до нескольких секунд, например, между приблизительно двумястами и тремястами миллисекундами (200-300 мс), или, в другом варианте осуществления, приблизительно двести пятьдесят миллисекунд (250 мс), например, для различения обычных морганий от движений века, вызванных состоянием сонливости. Когда центральный процессор 140 определяет состояние сонливости, то есть обнаруживает сигнал высокой интенсивности излучения, превышающий предварительно заданное пороговое значение времени, он может активизировать устройство аварийной сигнализации. Устройство аварийной сигнализации, такое как динамик 150, может быть включено в блок 130 обработки или, в альтернативном варианте осуществления, может находиться на оправе, например, с помощью установки на оправе лампы аварийной сигнализации (не показана) или сигнального динамика (не показан на Фиг.9, см. Фиг.10C). В другом варианте осуществления устройство аварийной сигнализации может быть тактильным устройством, например, вибрирующим сиденьем, и т.п., как описано здесь в другом месте.
В альтернативном варианте осуществления устройство 30 обнаружения может применяться для ненавязчивой записи или мониторинга движения века, вызванного сонливостью, с генерацией центральным процессором 140 потока данных 144, который передатчик 152 может передавать на блок 154 приема и обработки (Фиг.9). Например, устройство 30 может применяться вместе с системой защиты транспортного средства для мониторинга уровня сознания или внимательности водителя. Поток 144 данных может передаваться на блок 154 приема и обработки, установленный в транспортном средстве, который может сохранять данные о сонливости водителя и/или может использовать данные для принятия решения с помощью заданных алгоритмических реакций для управления транспортным средством, например, регулировки скорости транспортного средства или даже выключения двигателя транспортного средства. Таким образом, устройство 30 обнаружения может применяться для мониторинга водителей грузовых автомобилей, водителей такси, капитанов морского транспорта или пилотов гражданской авиации, проводников или инженеров поездов, операторов радаров или контрольно-диспетчерского пункта аэропорта, операторов тяжелого оборудования или заводских механизмов, аквалангистов, студентов, астронавтов, участников или наблюдателей зрелищных мероприятий и т.п.
Устройство 30 обнаружения и система 14 могут также применяться в медицинской диагностике, лечении, исследованиях или для профессиональной установки для мониторинга бодрствования, структуры сна и/или симпатических и парасимпатических эффектов стрессовых состояний или препаратов, вызывающих тревогу (например, кофеина, никотина, декстроамфетамина, метилфенидата, модафанила), седативных препаратов (например, бензодиазепинов, Ambien), или циркадного ритма, изменяющего эффекты света и темноты или мелатонина, которые способны влиять на частоту моргания, скорость моргания, продолжительность моргания, или PERCLOS водителя транспортного средства или пациента. Сигналы могут быть сохранены и проанализированы в режиме реального времени на динамику изменений измерений с течением времени для прогнозирования воздействия сонливости на людей, применяющих устройство.
Подобный только что описанному способу центральный процессор 140 может генерировать поток 144 данных, который передатчик может передавать на находящийся на расстоянии блок 154 приема и обработки. Блок 154 приема и обработки может сохранять поток 144 данных в схеме 160 памяти для более позднего извлечения и анализа исследователями, медицинскими специалистами или персоналом безопасности (например, подобно тому, как данные бортового самописца могут быть сохранены в самописце "черный ящик" самолета). Блок 154 приема и обработки может также отображать поток 144 данных, например, на посту медсестры, в виде дополнительного параметра к непрерывно мониторируемому физическому, умственному или эмоциональному состоянию пациента. Блок 154 способен сохранять и/или генерировать сигнал, например, с помощью серии алгоритмов, на который должен быть получен ответ в течение предварительно заданного интервала времени (например, степень эффективности мониторинга внимания) для предотвращения ложноположительных и ложноотрицательных результатов.
С помощью устройства 30 обнаружения и системы 14 может быть осуществлен мониторинг целого ряда состояний, требующих медицинского вмешательства, например, малых эпилептических припадков, при которых дрожание глаз происходит с частотой приблизительно три цикла в секунду, больших эпилептических припадков или психометрических пароксизмов, при которых глаза могут последовательно судорожно открываться или закрываться, миоклонических приступов, при которых веки могут судорожно открываться и закрываться, или тиков, или других движений глаз, таких как наблюдаются у людей с синдромом Туретта. Система может применяться для мониторинга g-LOC (потери сознания) у пилотов, вызванного позитивными или негативными эффектами динамических перегрузок, гипоксемии пассажиров или экипажа самолета вследствие потери давления в салоне, азотного опьянения или "кессонной болезни" у водолазов, или воздействия газов, химических веществ, наркотических веществ и/или биологических агентов на военнослужащих или других людей.
Система может также применяться для мониторинга психологических ситуаций, например, выявления стресса или обнаружения лжи человека (например, с помощью обнаружения закрывания или других движений глаз, когда человек лжет), во время гипноза, для мониторинга внимания, для измерения одного или большего числа параметров из: "отрицательных" побочных эффектов и/или "положительных" терапевтических эффектов наркотических или фармацевтических препаратов на состояния, где подвергаются опасности функции глаз (например, L-допа в повышении частоты моргания при болезни Паркинсона; препаратов, применяемых для лечения глазных тиков или нервно-мышечных расстройств, таких как амиотрофический боковой склероз или миастения gravis); мониторинга уровня лекарственного средства или алкоголя, основанного на коррелятивных измерениях глаз (например, нистагма или отсроченной реакции зрачка на вспышки света); терапевтических и побочных эффектов противосудорожных средств, наркотических средств, алкоголя, токсинов или эффектов гипоксии или вентиляции и т.п. Может также осуществляться мониторинг у больных всех возрастов неврологических состояний, при которых могут страдать иннервация или механическая функция глаза или века, например, болезни Паркинсона, заболеваний мышц, например, миотонии, миотонической мышечной дистрофии, блефароспазма, фотофобии или светочувствительности, энцефалопатии, пароксизмов, паралича Белла, или состояний, при которых может происходить потеря зрения (например, дегенерация пятна), свисание века или птоз, например, паралич или парез третьего черепного нерва, повреждение или нарушение кровоснабжения ствола мозга, опухоли, инфекции, болезни обмена веществ, травмы, дегенеративные состояния, например, рассеянный склероз, амиотрофический боковой склероз, полинейропатия, миастения gravis, ботулизм, столбняк, тетания, поздняя дискинезия, энцефалит ствола мозга и другие первичные патологические состояния века, такие как экзофтальм, тиреотоксикоз или другие патологические состояния щитовидной железы. Подобным образом устройство 30 обнаружения может применяться в амбулаторных условиях для изучения прогрессирования и/или регрессии любого из вышеупомянутых нейроофтальмологических и офтальмологических расстройств.
Также устройство 30 обнаружения может применяться в методах биологической обратной связи, например, при биологической обратной связи, гипнозе или психологической терапии некоторых состояний (например, расстройств, сопровождающихся тиком). Устройство 30 обнаружения может производить стимул, например, активируя источник света или динамик, и осуществлять мониторинг движений века пользователя в ожидании получения ответной реакции, например, специфичной последовательности морганий, подтверждая реакцию на стимул в пределах предварительно заданного времени. Если пользователь не среагировал, процессор может сохранить реакцию, например, включая время реакции, и/или может автоматически передать сигнал, например, сигнал тревоги.
Кроме того, устройство 30 обнаружения может применяться для мониторинга людей в немедицинских условиях, например, во время обычной активности пользователя дома или в другом месте. Может производиться мониторинг, например, индивидуумов с непроизвольными медицинскими состояниями, такими как эпилепсия или нарколепсия, или других индивидуумов, например, грудных детей и малолетних, тюремных заключенных, пациентов, страдающих деменцией (например, при болезни Альцгеймера), персонала правоохранительных органов, военного персонала, банковских служащих, кассиров, работников казино, студентов, работников сменных и ночных бригад и т.п. Подобные методы могут применяться в лаборатории сна во время полисомнографических процедур (например, PSG, MSLT или MWT) для мониторинга пациентов во время сна, для измерения параметров, таких как начало сна, латентный период сна, время закрытия или открытия века, время ночного пробуждения и т.д., или для исследований на животных, когда моргание глаз, изменения диаметра зрачка и/или медленное или быстрое движение глаза могут быть объектом изучения, или для исследования нейро-эволюционных функций глаз грудных детей.
Устройство 30 обнаружения может применяться для изучения или мониторинга сонливости, пробуждения или предупредительных эффектов предписанных фармацевтических препаратов (например, стимуляторов), алкоголя или других запрещенных наркотических средств, токсинов, ядов, а также других расслабляющих, седативных или предупредительных способов или устройств. Подобным образом могут быть протестированы и проанализированы характеристики и показатели внимания пользователя, в виде прямой функции, или относительно к PERCLOS.
При обнаружении центральным процессором 140 специфического движения века, такого как продолжительный период закрытого состояния глаза, которое может наблюдаться, например, во время эпилептического приступа, синкопального эпизода, нарколептического приступа или при засыпании во время вождения автомобиля или работы, центральный процессор 140 может генерировать выходной сигнал, который активизирует тревогу. В альтернативном варианте осуществления передатчик 152 может послать выходной сигнал для отключения применяемого оборудования, предупреждения медицинского персонала, например, с помощью автоматической активации телефона для набора телефонного номера аварийных служб, для подачи сигнала дистанционным пунктам, таким как отделение полиции, скорой помощи, центры управления транспортными средствами, охрана и т.п.
Система 14 может также найти полезное применение в произвольной связи. Пользователь, носящий устройство 30 обнаружения, может преднамеренно мигнуть заданным образом, например, в коде Морзе или другом коде моргания, для передачи понятного сообщения людям или оборудованию (например, чтобы оповестить о чрезвычайной ситуации). Центральный процессор 140 может преобразовать сигнал 142 интенсивности излучения, полученный от датчика 33 и соответствующий коду моргания, в поток 144 данных или, возможно, непосредственно в понятное сообщение, включая буквы, слова и/или команды.
Затем поток 144 данных может быть отображен на видеодисплее 50 (см. Фиг.1), соединенном с выходным портом 148, или может быть озвучен по внутреннему динамику 150 в виде синтезируемой речи. Поток 144 данных может быть передан передатчиком 152 посредством сигнала 153 на блок 154 приема и обработки для отображения сообщений или для управления оборудованием, например, бытовыми электрическими приборами, связанным с системой 164 управления. В дополнение к жилой обстановке система 14 может применяться госпитализированными или нуждающимися в сестринском уходе людьми, например, интубированными, находящимися на искусственной вентиляции легких, ограниченными в движении, парализованными или ослабленными пациентами для связи с обслуживающим медицинским персоналом и/или для сознательной подачи сигнала на сестринский пост. Эта группа включает всех пациентов, которые не имеют физической возможности вербального общения, но у которых сохраняется возможность общения с помощью моргания одним или обоими глазами (например, пациенты с амиотрофическим боковым склерозом, поперечным миелитом, синдромом окружения, цереброваскулярными инсультами, терминальной мышечной дистрофией и интубированные пациенты, находящиеся на искусственной вентиляции легких).
Устройство может применяться в любой среде или сфере деятельности, например, в воде или других, главным образом, прозрачных текучих средах. Кроме того, устройство 30 обнаружения может также применяться в качестве средства оповещения об аварийной ситуации и/или индивидуального средства обеспечения безопасности. Человек, способный к нормальной речи, может носить устройство 30 обнаружения в случае обстоятельств, при которых обычное общение, то есть посредством речи, невозможно осуществить практически. Например, служащий банка или розничный торговец, который подвергается ограблению или, в противном случае, присутствует во время совершения преступления, могут иметь возможность сформулировать с помощью прерывистого моргания предварительно запрограммированное предупреждение для оповещения службы безопасности или для вызова сотрудников органов правопорядка.
В альтернативном варианте осуществления устройство может носить человек с некоторыми состояниями, требующими медицинского вмешательства, в случае его физической недееспособности, то есть неспособности совершить звонок для вызова скорой медицинской помощи, но все еще в состоянии совершать произвольные движения глазами. В таких случаях предварительно записанное сообщение или идентифицирующие данные (например, имя пользователя, его местоположение, характер чрезвычайной ситуации и т.д.) могут быть переданы на расстояние с помощью специфического набора кодов моргания или предварительно запрограммированного сообщения. Подобным образом устройство 30 обнаружения может применяться для мониторинга пациентов в палате интенсивной терапии, пациентов, находящихся на искусственной вентиляции легких, заключенных, пожилых или нетрудоспособных людей, операторов тяжелого оборудования, водителей грузовых автомобилей, автомобилистов, капитанов морского транспорта или пилотов самолетов, инженеров поездов, операторов радаров или контрольно-диспетчерского пункта аэропорта или в качестве невербального или подпорогового средства для связи военной гвардии, кассиров, таксистов и т.п. Устройство 30 обнаружения может также применяться в качестве устройства для развлечения, например, в качестве детской игрушки, подобной портативной радиостанции, или для управления игрушечным транспортным средством с дистанционным управлением.
Кроме того, может быть желательно иметь центральный процессор 140, выполняющий дополнительное сравнение с пороговым значением для гарантии продолжительного применения устройства 30 обнаружения. Например, к центральному процессору 140 может быть присоединена дополнительная схема таймера таким образом, что центральный процессор 140 может сравнивать сигналы интенсивности излучения, полученные от датчика 33, со вторым предварительно заданным пороговым значением, предоставляемым схемой таймера. Второе предварительно заданное пороговое значение может соответствовать периоду времени, в течение которого обычно бы мигал человек. Если центральный процессор 140 не способен осуществить обнаружение обычного моргания в пределах этого периода времени или если пользователь не в состоянии ответить на заданный стимул (например, мигающий свет или звук), центральный процессор 140 может формировать сигнал, активирующий динамик 150 или передающий предупреждение, используя передатчик 152.
Это может быть полезным, если, например, устройство 30 обнаружения отобрано преступником во время совершения преступления, упало вследствие начала приступа заболевания, а также для предотвращения "ложных сигналов тревоги" или измерения "состояния внимания" пользователя. В альтернативном варианте осуществления для определения, является ли переданный сигнал преднамеренным сигналом или "ложным сигналом тревоги", а также для измерения уровня внимания или сонливости с целью биологической обратной связи, а также для определения комплаентности пользователя, носящего устройство, пользователю могут потребоваться нормы характеристик внимания.
В альтернативном варианте осуществления полярность выходного сигнала 142 может быть преобразована таким образом, что поток данных генерируется только при открытом состоянии глаза, например, во время мониторинга пациентов в лаборатории сна для определения начала сна, латентного периода сна, времени закрытого состояния века и т.д. или для мониторинга сна тюремных заключенных. Специалистам ясно, что для подобных применений центральный процессор 140 может активировать сигнал тревоги только при обнаружении открытого состояния глаза.
Обратимся к Фиг.8, на которой показан другой вариант осуществления устройства 30 обнаружения. В этом варианте осуществления источник излучения и датчик представлены единым полупроводниковым устройством 132 генерации излучения и биосенсором для обнаружения, который установлен непосредственно на очки 20. Биосенсорное устройство 132, которое может генерировать и осуществлять обнаружение инфракрасного излучения, может быть такого небольшого размера, как два миллиметра на четыре миллиметра (2 мм x 4 мм) и весить всего несколько граммов, таким образом, повышая удобство, комфорт и/или управление устройством 30 обнаружения. Благодаря небольшому размеру биосенсорное устройство 132 может быть закреплено непосредственно на линзе 21, как показано на Фиг.8, на внутренней или внешней поверхности линзы 21, мостовидном переходе 24 или в другом положении на оправе 22, которое может облегчать обнаружение движения глаза. Биосенсорное устройство 132 может осуществлять измерение с поверхности площадью менее приблизительно пять миллиметров на пять миллиметров и может иметь вес приблизительно в одну унцию, таким образом, обеспечивая комбинацию источника излучения/датчика, которая может быть ненавязчивой для зрения, портативной, и может подходить для включения в оправу очков небольшого веса. Поскольку вся система может быть помещена на оправе, она двигается с пользователем независимо от того, в каком направлении он или она смотрит и может действовать в различных средах или обстановках, днем или ночью, под водой и т.д.
Hamamatsu изготавливает ряд устройств для формирования и обнаружения инфракрасного излучения, которые могут применяться в биосенсорном устройстве 132, такие как Модели № L1909, L1915-01, L2791-02, L2792-02, L2959 и 5482-11, или, в альтернативном варианте осуществления, может применяться источник инфракрасного излучения Radio Shack, Модель № 274-142. Решетки с множеством элементов, например, решетки датчиков линейного оптического сканирования, подходящие для применения, могут быть доступны от Texas Advanced Optoelectronic Solutions, Inc (TAOS) Plano, TX, такие как Модели № TSL 201 (64 пикселя x 1 пиксель), TSL 202 (128 x 1), TSL 208 (512 x 1), TSL 2301 (102 x 1). Для облегчения фокусировки обнаруженного излучения эти датчики могут применяться в комбинации с решетками линз, такими как решетка линз Selfoc, применяемая для линейного сканирования, изготовленная NSG America, Inc., Irvine, CA.
Кроме того, на очках 20 могут быть предоставлены множественные биосенсорные устройства 132, например, может быть предоставлена пара биосенсорных устройств 132, как показано на Фиг.8, для обнаружения движения века каждого глаза пользователя (не показана). От каждого биосенсорного устройства 132 к блоку 130 обработки может проходить кабель 134 подобно вышеописанному блоку 130 обработки. Центральный процессор 140 блока 130 обработки (не показан на Фиг.8) может принимать и сравнивать выходной сигнал от каждого биосенсорного устройства 132 для дальнейшего усиления различения обычных морганий от других движений века.
Специалистам ясно, что пара биосенсорных устройств 132 может позволить пользователю применять более сложные коды, например, моргая каждым глазом по отдельности или вместе, для более эффективного или более удобного общения. В одной форме для облегчения применения кода Морзе моргание одного глаза могло бы соответствовать "точке", а другого глаза "тире". Затем выходные сигналы от каждого глаза могли бы интерпретироваться центральным процессором 140 и преобразовываться в понятное сообщение.
В другой форме моргание (или ряд морганий) правого глаза может вызывать движение электрического инвалидного кресла вправо, моргание (или ряд морганий) левого глаза может вызывать движение налево, два одновременных моргания правым и левым глазом могут вызывать движение инвалидного кресла вперед, и/или четыре одновременных моргания правым и левым глазом могут вызывать движение инвалидного кресла назад. Подобные комбинации или последовательности морганий глаз могут применяться для управления функциями включения/выключения или контроля громкости или переключения каналов телевизора, AM/FM радио, кассетного видеомагнитофона, магнитофона или другого электронного или электромеханического устройства, управления любым устройством для усиления связи или управления или любым устройством, запускаемым простым переключением режима включение/выключение (например, пульты беспроводного дистанционного управления телевизором с одним переключателем, универсальные устройства дистанционного управления, устройства для широкого применения с одним выключателем с модулем вилки переменного тока/настенной розетки или настенного переключателя, адаптеры с входом для компьютера, сигнальный будильник с подсветкой или вибрирующие сигнальные блоки, модули переключения всех типов, модули переключения контроллера видеоигр и электронные игрушки, управляемые с помощью переключателя).
В дополнительных альтернативных вариантах осуществления может быть предоставлена одна или большее число линз или фильтров для управления излучением, испускаемым и/или обнаруживаемым биосенсорным устройством, отдельным источником излучения и/или детектором. Например, угол подаваемого излучения может быть изменен с помощью призмы или другой линзы, или излучение может быть преобразовано в столбцы или сфокусировано через прорезь для создания светового пучка заданной формы, направленного на глаз, или для приема отраженного излучения с помощью датчика. Может быть предоставлена решетка линз, которые можно регулировать для управления формой, например, шириной и т.д. подаваемого пучка излучения или для регулировки чувствительности датчика. Специалистам ясно, что линзы вместе с источником излучения могут быть заключены в пластиковый или другой кожух или могут быть предоставлены в виде раздельных элементов.
Обратимся к Фиг.10A, на которой показан другой вариант осуществления системы 414, который включает оправу 422, включающую биосенсорное устройство 432, связанное со схемой 430 процессора и передатчика, установленной непосредственно на оправе 422, например, для повышения удобства и управляемости системы 414. Оправа 422 может включать часть 424 переносицы, на которой может быть устойчиво, подвижно и/или регулируемо установлено биосенсорное устройство 432, и пару ушных креплений 423, 425.
Одно из креплений 423 может иметь больший размер по сравнению с другим креплением 425, например, чтобы вмещать встроенную или иначе установленную схему 430 процессора и передатчика. На оправе 422 может быть установлен процессор 440, подобный вышеописанному центральному процессору 140 блока 130 обработки, а в крепление 423 может помещаться или присоединяться источник энергии, такой как литиевая батарея 460. На креплении 423 установлен радиочастотный или другой передатчик 452 (например, использующий Bluetooth или другие протоколы), включающий антенну 453, которая может быть вмонтирована или иначе закреплена на ушном креплении 423, в височной части или в другом месте оправы 422.
Система 414 может также иметь на ушном креплении 423 или в другом месте на оправе 422 элементы ручного управления (не показаны), например, для включения и выключения подачи энергии или регулировки интенсивности и/или порога чувствительности биосенсорного устройства 432. Таким образом, система 414 может, главным образом, находиться на оправе 422, которая может включать или не включать линзы (не показаны) подобно очкам. Могут быть удалены внешние кабели или провода, таким образом, обеспечивая более удобную и комфортную систему для связи и/или мониторинга пользователя.
В другом варианте, показанном на Фиг.10B, 10C и 10D, может быть предоставлена линейная матрица 530 из источников 532 излучения и датчиков 533, например, установленная в вертикальном положении на переносице 524 оправы очков 522. Подобно вышеописанным вариантам осуществления на оправе 522, например, в височной части 525, могут также быть установлены центральный процессор 540, батарея 460, антенна передатчика 543 и предупреждающий индикатор 550. Для возможности обычных реакций биологической обратной связи от пользователя на оправе 522 также может быть установлен в предварительно заданном положении светодиод 542 или подобное стимулирующее устройство. Кроме того, для приема потока данных, генерируемых центральным процессором 540 и передаваемых передатчиком 543, может быть установлен приемник 544.
Как показано, в частности, на Фиг.10C, каждый датчик 533 и источник 532 излучения может быть связан с центральным процессором 540 или другой электрической схемой управления для управления источником 532 излучения и/или для обработки сигналов интенсивности излучения, генерируемых с помощью источников излучения 532. Таким образом, центральный процессор 540 может работать циклически с датчиками 533 в матрице 530 и последовательно обрабатывать сигналы от каждого из датчиков 533 подобно процессорам, описанным здесь в другом месте. Как показано на Фиг.10D, источник 532 излучения включает линзу 534 для фокусировки пучка излучения (обозначенного отдельными лучами 360a, 360b) на глаз 300, например, в сторону зрачка 301.
Датчики 533 встроены в переносицу 524, и для каждого имеется прорезь 535, прорези 535 имеют предварительно заданный размер для управления отраженным излучением, восприятие которого осуществляется каждым датчиком 533. Таким образом, каждый датчик 533 может осуществлять обнаружение движения века 302 по отдельной части глаза 300, например, для определения PERCLOS, как показано на Фиг.12A. Датчики или источники излучения могут иметь линзы или устройства преобразования в столбцы для фокусировки испускаемого или отраженного излучения.
Линейная матрица 530 может облегчить измерение дополнительных параметров, относящихся к движению века, в дополнение к простому закрытию глаза, например, определение скорости открытия или закрытия века, то есть показатель закрытия глаза, центральный процессор 540 может сравнивать время задержки между активацией каждого последующего датчика 533. Кроме того, выходные сигналы от датчиков 553 могут быть обработаны для определения процента закрытия зрачка веком 302, например, вследствие частичного закрытия глаза, как функцию времени, например, для мониторинга состояния частичного, но не полного закрытия глаза и/или мониторинга времени нахождения глаза в закрытом состоянии в процентах (PERCLOS), как показано на Фиг.12A-12C, например, по сравнению с исходным уровнем, при котором глаз пользователя находится в максимально открытом состоянии.
Обратимся к Фиг.12D, к другому варианту осуществления, в котором может быть предоставлена двухмерная матрица датчиков. Несмотря на то, что матрица 633 размером 5 x 5 и матрица 733 размером 9 x 11 показаны в качестве примеров вариантов осуществления, могут быть предоставлены другие матрицы, включающие любое число элементов в матрице. Например, как описано ниже в дальнейшем, датчики могут быть представлены в форме CMOS или CCD устройства, имеющего в сетке или другой структуре сотни или тысячи пикселей. Затем датчики 633, 733 могут применяться для определения коэффициента отражения площади поверхности излучения от источника 632 излучения, то есть процессор (не показан) может обрабатывать сигналы от каждого датчика в матрицах 633, 733 для создания потока данных, показывающего процент от площади поверхности глаза 300, закрытого веком 302, и/или относительное положение зрачка.
Датчики в матрицах 633, 733 могут быть достаточно чувствительными или иметь разрешение, достаточное для возможности обнаружения "красного рефлекса" или эквивалентного инфракрасного отражения в виде "яркого зрачка", вследствие отражения от сетчатки излучения, проходящего через зрачок 301. Таким образом, датчики могут генерировать сигнал интенсивности излучения, который включает по существу нулевое значение, указывающее на отсутствие красного рефлекса или яркого зрачка, низкое значение выходного сигнала, указывающее на красный рефлекс или яркий зрачок, и высокое значение выходного сигнала, указывающее на отражение от закрытого века 302. Красный рефлекс может выявляться в виде зрачка с ярким белым излучением (в результате отражения от сетчатки инфракрасного излучения от источника(ов) излучения при открытом состоянии века) или в виде темного или "черного зрачка", если процессор использует алгоритмы субтракции. Процессор может обрабатывать сигналы интенсивности излучения для обнаружения закрытия веком 302 зрачка 301, то есть точки, в которой пользователь не способен видеть, даже при том, что его глаз 300 может быть не полностью закрыт веком 302, в целом, при значении PERCLOS, составляющем приблизительно 50-75 процентов от изначального направленного взгляда. В альтернативном варианте осуществления при закрывании века, глаза и зрачка датчик(и) может обнаружить красный рефлекс или яркий зрачок даже при высоком значении PERCLOS, составляющем 75-80 процентов или больше, например, когда глаз все еще может видеть через узкую, подобную прорези, глазную щель, остающуюся при направленном вниз взгляде.
В другом варианте осуществления процессор и/или схема передатчика (такого как центральный процессор 140 в блоке 130 обработки с Фиг.2 или центральные процессоры 440, 540 с Фиг.10A и 10B) могут включать идентифицирующую схему (не показана) либо в виде отдельного чипа памяти, либо в виде другого элемента цепи, или непосредственно в центральном процессоре. Идентифицирующая схема может быть предварительно запрограммирована с фиксированным идентифицирующим кодом или может быть программируемой, например, для включения выбранной идентифицирующей информации, такой как личные данные пользователя, местоположение пользователя, биометрические параметры, характерные для пользователя (например, уникальный рисунок радужки или сетчатки, отпечатки пальцев, голосовую идентификацию), идентифицирующий код для индивидуального устройства обнаружения и т.п.
Центральный процессор может выборочно добавлять идентифицирующую информацию к переданному потоку 553 данных, или идентифицирующая информация может автоматически или периодически, непрерывно или с перерывами, включаться в поток 553 данных, таким образом, позволяя потоку данных 553 соответствовать определенному устройству детекции, отдельному пользователю и/или определенному местоположению. Идентифицирующая информация может использоваться процессором, например, на расстоянии для различения потоков данных, полученных от ряда устройств обнаружения, которые затем могут быть сохранены, отображены и т.д., как описано ранее. Таким образом, во время применения системы устройство обнаружения может не требовать сознательного сообщения пользователями некоторой идентифицирующей или другой стандартной информации.
Как показано на Фиг.11A, приемник 544 может позволить пользователю управлять одним или большим числом устройств, связанных с приемником 544 через блок 550 управления широкого применения с одним переключателем. Блок 550 управления включает свой собственный передатчик, приспособленный для передачи сигнала на включение/выключение или других сигналов управления, которые могут быть приняты индивидуальными модулями 552a-552f управления. Применяя блок 550 управления и модули 552a-552f управления, пользователь 10 может моргать для создания передаваемого потока 553 данных, который включает команды выключения и включения или другие команды управления выбранных приборов, таких как радиоприемник 554, телевизор 556, источник 558a света, источник 562 света, управляемый с помощью настенного выключателя 560, вентилятор 566, подключаемый в настенный разъем 564, и т.п.
В альтернативном варианте осуществления изобретения, показанном на Фиг.11B, приемник 554 может быть связан с другими системами, такими как компьютер 570 и принтер 572, система 574 интегрирования транспортного средства, система 576 жизнеобеспечения, GPS или другой спутниковый передатчик 578 и т.п. Переданный поток данных 553 может быть обработан отдельно или совместно с дополнительными данными, например, с другой информацией от датчиков 573 транспортного средства, и/или человеческими факторами (показателями, связанными с человеком, например, ЭКГ, ЭЭГ, электроокулограмма, пульс, артериальное давление, частота дыхания, оксиметрия, актиграфия, положение головы, анализ голоса, температура тела, электропроводность кожи, показатели самооценки и характеристики реакций на внимание, определяемые с помощью других систем, например, с помощью фиксированной непереносной приборной панели или установленной на смотровое стекло системы камер и т.д.) для дополнительного усиления мониторинга пользователя, например, водителя-дальнобойщика.
Обратимся к Фиг.13, на которой показан еще один вариант осуществления системы 810 для мониторинга движения глаза. В общем, система 810 включает оправу 812, которая может включать часть 814 переносицы и пару ушных креплений 816, один или большее число источников 820 излучения, один или большее число датчиков 822 и/или один или большее число камер 830, 840. Оправа 812 может включать пару линз (не показаны), например, рецептурных, затененных или защитных линз, хотя они могут и отсутствовать. В альтернативном варианте осуществления система может быть установлена на других устройствах, которые пригодны для ношения на голове пользователя, таких как кислородная маска пилота, защитное оборудование для глаз, дыхательный аппарат пациента, акваланг или маска для ныряния, шлем, шляпа, ободок для головы, защитный козырек для ношения на голове, оборудование для защиты головы, или закрытые костюмы, защищающие голову и/или лицо и т.п. (не показаны).
Компоненты системы могут находиться на устройстве в различных местоположениях, что, в целом, минимизирует интерференцию со зрением пользователя и/или нормальным применением устройства. Как показано, на оправе 812 установлена матрица источников излучения 820, например, вертикальная матрица 820a и горизонтальная матрица 820b. Кроме того, или в альтернативном варианте осуществления, могут быть предоставлены источники 820 излучения другой конфигурации, например, в виде круговой матрицы (не показана), и могут быть включены или не включены светофильтры и/или диффузоры (также не показаны). В примере варианта осуществления матрица источников 820 излучения представляет собой источники инфракрасного излучения, настроенные на испускание импульсов с предварительно заданной частотой, подобно другим вариантам осуществления, описанным в настоящем описании. Матрица источников 820 излучения может быть размещена на оправе таким образом, что источники излучения проецируют ось координат 850 на область лица пользователя, включая один глаз пользователя. Как показано, система координат включает пару пересекающихся полос 850a, 850b, разделяющих область на четыре квадранта. В примере варианта осуществления точка пересечения полос может быть установлена в положении, в основном соответствующем зрачку глаза во время исходного направленного взгляда, то есть когда пользователь смотрит, в общем, прямо перед собой. В альтернативном варианте осуществления могут быть предоставлены другие системы координат, например, включающие вертикальный и горизонтальный компоненты, угловой и радиальный компоненты, или другие ортогональные компоненты. При желании, даже одна или две контрольных точки, в основном остающиеся стационарными, могут обеспечить систему координат, достаточную для определения относительного движения глаза, что будет объяснено ниже в дальнейшем.
На оправе 812 может также быть установлена матрица датчиков 822 источников излучения для обнаружения излучения от матрицы источников 820 излучения, отраженного от века пользователя. Матрица датчиков 822 может формировать выходные сигналы с определением интенсивности, в зависимости от того, закрыто веко или открыто, подобно другим вариантам осуществления, описанным здесь в другом месте. Матрица датчиков 822 может располагаться рядом с соответствующей матрицей источников 820 излучения для обнаружения излучения, отраженного от соответствующих частей века. В альтернативном варианте осуществления датчики 822 могут быть предоставлены только в виде вертикальной матрицы, например, на части 814 переносицы, для мониторинга числа закрытий века подобно вариантам осуществления, описанным в настоящем описании. В дальнейшем варианте осуществления матрица источников 820 излучения и матрица датчиков 822 могут быть представлены полупроводниковыми биодатчиками (не показаны), которые обеспечивают как функцию излучения, так и считывания в едином устройстве. При желании, матрица источников 820 излучения и/или матрица датчиков 822 могут отсутствовать, например, если камеры 830, 840 обеспечивают достаточное поступление информации, как объяснено ниже в дальнейшем.
Для определения PERCLOS или других параметров может быть предоставлена схема и/или программное обеспечение, использующие сигналы, генерируемые с помощью матрицы датчиков. Например, на Фиг.17 показан пример схемы, которая может применяться для обработки сигналов от пятиэлементной матрицы, например, для получения результатов определения PERCLOS или других параметров внимания.
Возвратимся к Фиг.13, на которой представлена система 810, также включающая одну или большее число камер 830, в целом, ориентированных напротив одного или обоих глаз пользователя. Каждая камера 830 может включать оптоволоконный жгут 832, имеющий первый конец, закрепленный на переносице 814 или рядом с ней (или в другом месте на оправе 812, например, в положении, при котором интерференция со зрением пользователя минимальна), и второй конец 837, связанный с детектором 838, например, с датчиком типа CCD или CMOS, который может преобразовывать изображения в цифровые видеосигналы. На первом конце оптоволоконного жгута 832 может быть установлена линза 834 объектива, как показано на Фиг.14, например, для фокусировки изображения на оптоволоконный жгут 832. При желании, для обеспечения передачи излучения от источников 836 излучения оптоволоконный жгут 832 может включать одно или большее число волокон для передачи излучения, которые могут заканчиваться рядом с линзой 834, это же показано на Фиг.14. Волокно(волокна) для передачи излучения может быть присоединено к источнику излучения (не показан), например, подобно варианту осуществления, показанному на Фиг.22 и описанному ниже в дальнейшем. Несмотря на то что на Фиг.13 показана только одна камера 830 (например, для мониторинга левого глаза пользователя), следует понимать, что для мониторинга другого глаза пользователя (правого глаза) может быть симметрично установлена другая камера (не показана), включающая подобные компоненты, например, оптоволоконный жгут, линзу, источник(и) излучения и/или детектор (хотя, при желании, камеры могут использовать совместно общий детектор, как объяснено ниже в дальнейшем). Необязательна, но может быть желательна установка целого ряда камер (не показаны), направленных к каждому глазу, например, из разных углов напротив глаза(глаз). При желании, эта камера(ы) может иметь оптоволоконные удлинители, призматические линзы и/или отражательные зеркала (например, отражающие инфракрасное излучение), непроницаемые или блокирующие отражательные поверхности линз на стороне, обращенной к глазам, и т.п. Подобные компоненты могут быть обеспечены для сгибания, поворота, отражения или инвертирования желательным образом изображений глаз, передаваемых на камеру(ы).
Камера(ы) 830 может быть настроена для обнаружения частоты излучения, подаваемого источниками 820 и/или 836 излучения, например, инфракрасного излучения или другого излучения вне видимого диапазона. При желании, если оптоволоконный жгут(ы) 832 включает одно или большее число волокон для передачи излучения от источников 836 излучения, источники 820 излучения на оправе 812 могут отсутствовать. В этом варианте осуществления может также оказаться возможным отказаться от датчиков 822 и применять для мониторинга движения глаза(глаз) пользователя камеру(ы) 830, например, как объяснено ниже в дальнейшем. Произвольно, система 810 может включать вторую камеру 840, расположенную на расстоянии от головы пользователя, например, осуществляющую мониторинг обстановки, окружающей пользователя, например, области, находящейся непосредственно перед лицом пользователя. Камера 840 может включать компоненты, подобные камере 830, например, оптоволоконный жгут 841, линзу (не показана) и/или источник(и) излучения (также не показан). При желании, камера 830 может иметь достаточную чувствительность для формирования изображения в обстановке естественного освещения, и источники излучения могут отсутствовать. Камера 840 может быть присоединена к отдельному детектору 839, как показано на Фиг.13, или может совместно использовать детектор 838 с камерой(ами) 830, как объяснено ниже в дальнейшем.
Каждый из оптоволоконных жгутов 832, 841 может включать, например, от приблизительно пяти тысяч до ста тысяч (5000-100000) пикселизированных оптических волокон или от приблизительно десяти тысяч до пятидесяти тысяч (10000-50000) волокон. Число волокон может зависеть от специфических потребностей данного применения, например, от обеспечения желательного оптического разрешения изображений, полученных от глаза(глаз) пользователя (то есть для волокон "эндокамеры(эндокамер)"), а также окружающей среды (то есть для волокон "эхо камеры"). При желании, в волокна для жгутов может быть включено одно или большее число волокон для передачи излучения. В примерах вариантов осуществления могут применяться жгуты, имеющие пять тысяч (5000) волокон (обеспечивающие разрешение 75 x 75 пикселей), десять тысяч (10000) волокон (обеспечивающие разрешение 100 x 100 пикселей), пятьдесят тысяч (50000) волокон (обеспечивающие разрешение 224 x 224 пикселей) и сто тысяч (100000) волокон (обеспечивающие разрешение 316 x 316 пикселей). Полученный в результате оптоволоконный жгут(ы) 832, 841 может иметь диаметр, например, приблизительно от трех до пяти миллиметров (3-5 мм), с оболочкой или без нее. Оптоволоконный жгут(ы) 832, 841 может быть закреплен вдоль оправы 812 или может находиться внутри оправы 812. Например, оправа 812 может быть сформирована с одним или большим числом каналов, например, проходящих от переносицы 814 к ушным креплениям 816, для вмещения оптоволоконного жгута(ов) 832, 841. В альтернативном варианте осуществления оптоволоконный жгут(ы) 832, 841 может быть впрессован, вплавлен, или иначе встроен в оправу 812, например, при изготовлении оправы 812. При желании, оптоволоконный жгут(ы) 832, 841 может проходить от оправы 812 к детектору и/или процессору (не показан), находящемуся отдельно от оправы 812, подобно вариантам осуществления, описанным ниже со ссылкой на Фиг.18A и 18B.
Один или оба ушных крепления 816 могут включать панель 818 для установки одного или большего числа компонентов, например, контроллера или процессора, такого как, например, процессор 842, передатчика 844, антенны 845, детектора(ов) 838, 839 и/или батареи 846. Процессор 842 может быть связан с источниками 820 излучения, датчиками 822 и/или камерами 830, 840 (например, с детектором(ми) 838, 839) для управления их функционированием. С процессором 842 и/или детектором(ми) 838, 839 для приема выходных сигналов от датчиков 822 и/или камер 830, 840 может быть связан передатчик 844, например, для передачи сигналов на расстояние, как описано ниже. В альтернативном варианте осуществления передатчик 844 может быть присоединен непосредственно к выходам от датчиков 822 и/или камер 830, 840. Оправа 812 может также включать устройства, управляемые вручную (не показаны), например, на ушном креплении 816, например, для включения или выключения подачи энергии или для регулировки интенсивности и/или пороговых характеристик источников 820 излучения, датчиков 822 и/или камер 830, 840.
При желании, система 810 может также включать на оправе 812 один или большее число дополнительных датчиков, например, физиологических датчиков, например, с целью интегрирования и взаимной корреляции дополнительных био- или нейрофизиологических данных, касающихся познавательного, эмоционального и/или поведенческого состояния пользователя. Чтобы сигналы от датчиков могли быть проверены, зарегистрированы и/или переданы на расстояние, датчики могут быть связаны с процессором 842 и/или с передатчиком 844. Например, может быть установлен один или большее число датчиков 852a, 852b положения, например, для определения пространственной ориентации оправы 812 и, следовательно, головы пользователя. Например, могут быть предоставлены актиграфические датчики для определения наклона или движения головы, например, для мониторинга опускания головы пользователя вперед или наклона в сторону. Могут быть предоставлены акустические датчики, например, микрофон 854, для детекции окружающего шума или звуков, производимых пользователем.
Кроме того, или в альтернативном варианте осуществления, оправа 812 может включать один или большее число датчиков для измерения одной или большего числа физических характеристик пользователя, например, с целью интеграции и/или взаимной корреляции физиологических систем. Например, могут быть установлены электроды 856 ЭЭГ на ушном креплении 816, выше или ниже назиона, на сосцевидном отростке, в затылочной области и/или в другой области, в которой они могут контактировать с кожей пользователя (например, с помощью контактных электродов со смоченной поверхностью) или не контактировать с кожей пользователя (например, сухие беспроводные электроды) для измерения и передачи активности мозга (например, во время бодрствования, сна или другой связанной со сном активности мозга), например, различных частот от приблизительно одного до пятисот герц (1-500 Гц) для визуального или кратковременного или продолжительного пространственного анализа и/или анализа динамики во времени (например, анализ быстрого преобразования Фурье или спектральный анализ). Может быть предоставлен ЭКГ-электрод (не показан), который способен измерять активность сердца посредством контакта с участком кожи. Для измерения сердечно-сосудистой пульсации может применяться датчик импульсов (не показан), или для определения уровня насыщения кислородом может применяться оксиметрический датчик 858. Термистор или другой датчик может измерять поток воздуха, вдыхаемого, например, через нос пользователя. Для определения температуры кожных покровов пользователя может быть предоставлен термистор, термопара или другой температурный датчик (не показан). Для определения влажности кожных покровов пользователя может быть предоставлен детектор выделения пота (не показан), и/или для детекции звучания голоса или дыхания пользователя к оправе 812 может быть присоединен микрофон или другой акустический датчик (также не показан). Может быть предоставлен один или большее число электроокулографических (EOG) электродов, которые контактируют с желаемыми областями кожных покровов пользователя и определяют колебания электрических потенциалов во время движения глаз.
Кроме того, система 810 может включать на оправе 812 одно или большее число устройств обратной связи. Эти устройства могут обеспечить обратную связь с пользователем, например, поднимать по тревоге и/или будить пользователя, при определении предварительно заданного состояния, например, состояния сонливости или отсутствия сознания. Устройства обратной связи могут быть связаны с процессором 842, который может контролировать их активацию. Например, в положении, из которого возможен контакт с пользователем, например, на ушном креплении 816, может быть установлено устройство 860 механической вибрации, которое может обеспечить тактильные вибрационные стимулы через контакт с кожей. Может быть установлен электрод (не показан), который может генерировать электрические стимулы относительно малой мощности. В желательных положениях, например, над переносицей 814, может быть установлен источник видимого белого или цветного света, такой как один или большее число светоизлучающих диодов. В альтернативном варианте осуществления, подобно другим вариантам осуществления, описанным здесь в другом месте, могут быть предоставлены звуковые устройства 862, например, зуммер или другое устройство сигнализации. В дальнейшем альтернативном варианте осуществления на оправе 810, например, на переносице 814 или рядом с ней, могут быть установлены источники запаха.
Кроме того, или в альтернативном варианте осуществления изобретения одно или большее число устройств обратной связи могут быть предоставлены отдельно от оправы 812, но расположены таким образом, чтобы они могли обеспечить ответную реакцию пользователя. Например, вблизи пользователя могут быть установлены звуковые, визуальные, тактильные (например, вибрирующее сиденье) или обонятельные источники, такие как любое из устройств, описанных здесь в другом месте. В следующем варианте могут быть предоставлены устройства для формирования тепла или холода, способные генерировать температурные стимулы для пользователя, например, вентилятор с дистанционным управлением или установка для кондиционирования воздуха.
Система 810 может также включать компоненты, удаленные на расстояние от оправы 812, подобно другим вариантам осуществления, описанным в настоящем описании. Например, система 810 может включать приемник, процессор и/или дисплей (не показан), находящиеся на расстоянии от оправы 812, например, в той же комнате, в находящейся поблизости станции мониторинга, или на более дальнем расстоянии. Приемник может получать сигналы, передаваемые передатчиком 844, включая выходные сигналы от датчиков 822, камер 830, 840 или любого другого датчика, установленного на оправе 812.
Процессор может быть связан с приемником для анализа сигналов от компонентов на оправе 812, например, для обработки сигналов для демонстрации на графическом дисплее. Например, процессор может обрабатывать сигналы от датчиков 822 и/или камер 830, 840 для демонстрации на мониторе, таким образом, позволяя осуществлять мониторинг пользователя другими людьми.
В то же время как на одном, так и на отдельных дисплее(ях) могут отображаться другие параметры. Например, на Фиг.15A-15I показаны сигналы, отражающие выходные данные от различных датчиков, которые могут быть установлены на оправе 812, которые могут быть отображены по общей оси времени или коррелированы иначе, например, относительно движения глаза пользователя и/или уровня сонливости. Процессор может накладывать друг на друга или иным образом одновременно отображать видеосигналы вместе с другими определяемыми параметрами, чтобы позволить врачу или другому человеку осуществлять мониторинг и лично сопоставлять эти параметры с поведением пользователя.
В следующем варианте осуществления процессор может автоматически обрабатывать сигналы для мониторинга и/или изучения поведения пользователя. Например, процессор может использовать выходные сигналы для мониторинга различных параметров глаза, связанных с движением глаза, таких как продолжительность моргания глаза (EBD), частота моргания глаза, скорость моргания глаза, ускорение моргания глаза, продолжительность периода между морганиями (IBD), PERCLOS, PEROP (степень открытия века в процентах), колебания размера зрачка, направленность взгляда и движения глазного яблока и т.п., например, описанные в патенте США № 6542081, приведенном здесь в качестве ссылки.
Могут быть обработаны видеосигналы от камеры 830 для мониторинга различных параметров глаза, таких как размер, положение зрачка, например, в пределах четырех квадрантов, образуемых пересечением полос 850, отслеживание движения глаза, дистанция направленного взгляда и т.п. К примеру, вследствие того, что камера(ы) 830 может быть способна осуществлять восприятие излучения, подаваемого источниками 822 излучения, камера(ы) 830 может осуществлять обнаружение системы координат, спроецированной источниками излучения на область глаза пользователя. На Фиг.16 показан пример выходного видеосигнала от камеры, включенной в систему, имеющую двадцать источников излучения, расположенных в вертикальной конфигурации. Камера может осуществлять восприятие двадцати раздельных областей излучения, расположенных вдоль вертикальной полосы. Камера может также осуществлять обнаружение точки "отблеска", G, и/или двигающегося яркого зрачка, P. Таким образом, может осуществляться мониторинг движений зрачка относительно точки отблеска, G, и/или относительно вертикальной полосы 1-20.
Поскольку источники 822 излучения прикреплены к оправе 812, система координат 850 может оставаться по существу неподвижной по отношению к пользователю. Таким образом, процессор может определять положение зрачка в единицах ортогональной системы координат (например, x-y или угловой радиус) по отношению к эталонной системе координат 850. В альтернативном варианте осуществления при отсутствии эталонной системы координат положение зрачка может определяться относительно любой неподвижной точки "отблеска" на глазу пользователя или другой предварительно заданной точки отсчета. Например, камера 830 может самостоятельно проецировать точку света на глаз, которая может быть отражена и обнаружена камерой. Вследствие того, что камера 830 фиксирована к оправе 812, эта точка "отблеска" может оставаться в основном неподвижной, таким образом, предоставляя желательную контрольную точку, по отношению к которой может определяться последующее движение глаза.
Кроме того, видеосигналы от камеры, находящейся на расстоянии, отдельно от оправы 812, могут отображать лицо пользователя на расстоянии (например, на приборной панели автомобиля, симулятора вождения, полета или другого симулятора, или на гидроакустической, радарной или другой станции мониторинга), например, для мониторинга различных параметров лица, таких как выражение лица, частота зевания и т.п., кроме того, или в альтернативном варианте осуществления эталонной системы координат, спроецированной от источников излучения. Кроме того, или в альтернативном варианте осуществления могут быть обработаны и сопоставлены параметры от других датчиков, такие как положение, наклон головы, движение тела, физиологические параметры и т.п. В одном варианте осуществления процессор может сопоставлять два или большее число этих различных параметров для генерирования суммарного индекса усталости ("COFI"). Например, когда моргания глаза или закрытие зрачка веком превышают пороговое значение, процессор может осуществить мониторинг датчиков положения для выявления наклона головы пользователя и/или физиологических датчиков для определения мозговой активности, предположительно для выявления засыпания пользователя или развития иной причины неспособности вести автомобиль или управлять оборудованием. Процессор может присвоить этим параметрам числовые значения, используя эмпирический алгоритм, сохраняемый в памяти, и добавить или иначе сопоставить параметры для присвоения числового значения COFI текущего состояния пользователя.
В случае превышения предварительно заданного порогового значения COFI система 810 может активировать тревогу или иначе уведомить пользователя и/или другого субъекта, находящегося на расстоянии. Таким образом, система 810 может обеспечить более эффективный способ мониторинга усталости, сонливости, внимательности, психического состояния пользователя и т.п. В следующем варианте осуществления система 810 может применяться для генерирования предварительно заданных выходных сигналов, например, активирования или дезактивирования оборудования, такого как транспортное средство, управляемое пользователем, в случае определения системой 810 предварительно заданного условия, например, значения COFI.
В альтернативном варианте осуществления на оправе 812 может быть предусмотрен процессор, например, в виде части процессора 842, для мониторинга параметров для развития предварительно заданного события, такого как превышение предварительно заданного порогового значения COFI. В следующем альтернативном варианте осуществления с помощью камеры, находящейся на расстоянии, например, зафиксированной перед пользователем, например, на приборной панели транспортного средства и т.п., может осуществляться мониторинг параметров отслеживания глаза, описанных выше. Находящаяся на расстоянии камера может быть связана с процессором или непосредственно, или через свой собственный передатчик, который также может быть включен в определение COFI и/или может подвергаться мониторингу третьими лицами наряду с алгоритмически определенными ответными показателями. Дополнительная информация о различных устройствах, системах и способах их применения описана в патентах США № 6163281, выданном 19 декабря 2000 г., № 6246344, выданном 12 июня 2001 г., и № 6542081, выданном 1 апреля 2003 г., которые приведены здесь в качестве ссылки в полном объеме.
Возвращаясь к Фиг.13, в альтернативном варианте осуществления камеры 830, 840 могут быть связаны с отдельным детектором (не показан), подобно конфигурации, показанной на Фиг.22. Оптоволоконные жгуты 832, 841 могут быть соединены с одной или большим числом линз для передачи и/или фокусирования изображения от камер 830, 840 на соответствующие области детектора. Детектор может быть представлен устройством типа CCD или чипом CMOS, имеющим активную область отображения, например, приблизительно от пяти до десяти миллиметров (5 - 10 мм) в поперечном сечении. В примерных вариантах осуществления активная область отображения детектора может быть квадратной, прямоугольной, круглой или эллиптической при условии, что область является достаточной для получения изображений одновременно от обеих камер 830 и 840. Примеры выходных сигналов, отображающих одновременные видеоизображения от камер 830, 840, показаны на Фиг.20A и 20B и описаны ниже в дальнейшем. В этом варианте осуществления, при достаточном разрешении и обработке, можно отказаться от применения источников 820 излучения и/или датчиков 822 системы 810.
Обратимся к Фиг.18A и 18B, на которых показан другой вариант осуществления устройства 910 для мониторинга движений века человека, носящего устройство 910. Как описано здесь в другом месте, устройство 910 может применяться в качестве биодатчика, коммуникатора и/или контроллера и/или может быть включено в систему, например, для мониторинга произвольно-целенаправленных и/или непроизвольно-нецеленаправленных движений одного или обоих глаз пользователя.
Как показано, устройство 910 включает шлем 912, который может надеваться на голову пользователя, и биосенсорную конструкцию 920. Шлем 912 может быть стандартным летным шлемом, таким, который применяется пилотами вертолетов или реактивных самолетов, например, включая установленные на него пару трубок ночного видения или другие летные очки 914. При желании, шлем 912 может включать один или большее число head-up дисплеев, например, небольшие плоские жидкокристаллические панели (LCD), установленные перед или рядом с одним или обоими глазами. В альтернативном варианте шлем 912 может быть заменен оправой (не показана, см., например, Фиг.13), включающей часть переносицы, ободок, распространяющийся поверх или вокруг каждого глаза, и/или пару ушных креплений, подобно другим вариантам осуществления, описанным здесь. Оправа может включать пару линз (также не показаны), например, прописанных, затененных и/или защитных линз, хотя они не являются необходимыми для функционирования устройства. В альтернативном варианте одна или обе линзы могут быть заменены дисплеями, например, относительно небольшими плоскими LCD панелями, которые могут применяться в качестве имитатора и/или устройства для развлечения, что объяснено ниже в дельнейшем. В дальнейших альтернативных вариантах осуществления устройство 910 может включать другие устройства, которые могут носиться на голове пользователя, такие как шляпа, кепка, ободок для головы, козырек для ношения на голове, оборудование для защиты головы, маска для лица, кислородная маска, маска дыхательного аппарата, акваланг или маска для ныряния и т.п. (не показаны).
Компоненты устройства 910 могут быть установлены на шлеме 912 (или другом устройстве, надеваемом на голову) в различных положениях, например, в целом, для сведения к минимуму интерференции со зрением и/или обычной активностью пользователя, носящего устройство 910. Как показано, биосенсорная конструкция 920 включает камеру 922, установленную на верхней части шлема 912, например, используя липучку типа "Velcro", полоски и/или другие временные или сменные фиксаторы (не показаны). Это может позволить снимать камеру 922, когда она не применяется. В альтернативном варианте камера 922 может в основном быть постоянно связанной со шлемом 912, встроенной непосредственно в шлем 912 (или в другой каркас), связанной с установленным на голове телевизионным, LCD монитором или другим цифровым дисплеем и т.п., подобно описанным здесь другим вариантам осуществления.
Для получения изображения глаза(глаз) пользователя от одной или большего числа "эндокамер" биосенсорная конструкция 920 также включает один или большее число оптоволоконных жгутов 924, которые проходят от камеры 922 к передней стороне шлема 912. Как показано, пара оптоволоконных жгутов 924 проходит от камеры 922 к соответствующим трубкам очков 914. В примере варианта осуществления оптоволоконные жгуты 924 могут иметь достаточную длину для того, чтобы проходить от камеры 922 до очков 914, например, могут иметь длину от приблизительно двенадцати до восемнадцати дюймов, хотя, в альтернативном варианте осуществления, оптоволоконные жгуты 924 могут быть более длинными, например, иметь длину от приблизительно двух до четырех футов, или короче, в зависимости от расположения камеры 922 на шлеме 912 (или если камера 922 установлена отдельно от шлема 912).
Концы 926 оптоволоконных жгутов 924 могут быть присоединены постоянно или присоединяться съемно к очкам 914, например, к кронштейнам 916, присоединенным к очкам 914, или иным образом отходящим от них. В альтернативном варианте осуществления оптоволоконные жгуты 924 могут удерживаться временно или, в основном, постоянно на очках 914 с помощью клемм, крепежных деталей, адгезивов и т.п. (не показаны). Как показано, концы 926 оптоволоконных жгутов 924 установлены ниже очков 914 и загнуты вверх, к глазам пользователя. Угол изгиба концов 926 может регулироваться, например, приблизительно на пятнадцать градусов вверх или вниз от начального угла приблизительно в сорок пять градусов. В альтернативном варианте осуществления концы 926 оптоволоконных жгутов 924 могут быть установлены в других местах на шлеме 912 и/или очках 914, но направлены в сторону глаз пользователя.
Дополнительно относительно Фиг.19, каждый оптоволоконный жгут 924 может включать оптоволоконный световод 928 для передачи изображения, то есть жгут оптических волокон для передачи изображения, и оптоволоконный жгут 930 для передачи излучения, например, заключенный в опрессованную трубку (не показана), проходящий между камерой 922 и концами 926 оптоволоконного жгута 924. Каждый оптоволоконный жгут 930 для передачи излучения может включать одно или большее число оптических волокон, соединенных с источником излучения, например, находящимся внутри камеры 922. К примеру, камера 922 может иметь кожух для светодиода (LED) 932, включающий один или большее число светодиодов 934 (для простоты показан один), а к кожуху для светодиода 932 может быть присоединен оптоволоконный жгут(ы) 930 для передачи излучения для передачи излучения до конца(ов) 926.
Излучение, подаваемое источником 934 излучения, может быть вне диапазона обычного зрения человека, например, в инфракрасном диапазоне, например, с номинальной длиной волны выходного излучения от приблизительно восьмисот сорока до восьмисот восьмидесяти миллимикрон (840-880 нм), таким образом, что подаваемое излучение в основном не интерферирует с обычным зрением пользователя. Источник излучения может генерировать в основном непрерывное излучение или световые импульсы с желаемой частотой подобно вариантам осуществления, описанным в настоящем описании. В альтернативном варианте осуществления для подачи излучения на лицо и/или на один или оба глаза пользователя вместо оптоволоконного жгута 930 для передачи освещения могут быть предоставлены другие источники излучения. Например, подобно вариантам осуществления, описанным здесь в другом месте, может быть предоставлен один или большее число источников излучения (не показаны), например, матрица источников излучения, расположенная в одной или большем числе областей шлема 912 и/или очков 914.
Конец 926 каждого оптоволоконного жгута 924 может включать одну или большее число линз, например, линзу 936 объектива (показана на Фиг.18A), которая может фокусировать световод 928 для передачи изображений желательным образом, например, на глаз пользователя. Каждый световод 928 для передачи изображений может иметь прямое направление обзора (поле зрения в ноль градусов (0°)), а линза 936 объектива может обеспечить более широкое поле обзора, например, приблизительно в сорок пять градусов (45°). При желании, направление обзора может регулироваться, например, от приблизительно тридцати до шестидесяти градусов (30-60°) с помощью регулировки линзы 936 объектива. Кроме того, линза 936 объектива может оптимизировать дистанцию обзора, например, до приблизительно двух дюймов, таким образом, улучшая фокусирование в глазе(ах) пользователя. Таким образом, световод(ы) 928 для передачи изображений может передавать изображения глаза(глаз) пользователя по оптоволоконному жгуту(ам) 924 на камеру 922.
Как показано на Фиг.19, камера 922 может включать одну или большее число линз, например, блок 938 увеличения, для подачи и/или фокусировки изображения от световода(ов) 928 для передачи изображений (и/или камеры 944) на активную область 942 устройства 940 отображения. Устройство 940 отображения может быть представлено целым рядом известных устройств, которые обеспечивают двумерную активную область для получения изображений, например, детектор типа CMOS или CCD. В примере варианта осуществления устройство 940 отображения может быть представлено устройством типа CMOS, таким как выпускаемое Sensovation, Model cmos SamBa HR-130, или Fast Camera 13, выпускаемая Micron Imaging, Model MI-MV13. Блок 938 увеличения может быть механически состыкован с камерой 922 посредством C-крепления или другой связи (не показано).
В примере варианта осуществления каждый световод 928 для передачи изображений может быть способен обеспечить от десяти до пятидесяти тысяч (от 10000 до 50000) пикселей данных изображения, например, подобно оптоволоконным жгутам, описанным здесь в другом месте, которые могут быть спроецированы на активную область 942 устройства 940 отображения. В устройстве 910, показанном на Фиг.18A и 18B, изображения от обоих оптоволоконных жгутов 924 проецируются на отдельное устройство 940 отображения, как показано на Фиг.19, то есть таким образом, что изображение от каждого глаза пользователя занимает менее половины активной области 942.
По желанию, устройство 910 может включать внешнюю камеру 944, расположенную на расстоянии от головы пользователя, например, для мониторинга обстановки, окружающей пользователя, подобно вариантам осуществления, описанным здесь в другом месте. Например, как показано на Фиг.18A, может быть предоставлен другой оптоволоконный жгут 945, отходящий от камеры 922. Как показано, оптоволоконный жгут 945 ориентирован вперед, то есть в направлении, в общем совпадающем с направлением взгляда пользователя, когда он смотрит прямо перед собой, и оканчивается микролинзой 946. Этот оптоволоконный жгут 945 может быть относительно коротким и/или по существу жестким, таким образом, область его обзора в основном фиксирована относительно шлема 912. В альтернативном варианте осуществления внешняя камера 944 может быть установлена в других положениях на шлеме 912 и/или очках 914, например, включая гибкий оптоволоконный жгут, подобный жгуту внешней камеры 840, описанной выше. Таким образом, внешняя камера 944 может получать изображения из области, находящейся на расстоянии от пользователя, например, прямо перед лицом пользователя.
Внешняя камера 944 может включать одно или большее число волокон для передачи излучения или может не включать их, но может включать световод для передачи изображений, который может быть соединен с устройством 940 отображения, например, посредством блока увеличения 938 или отдельно. Таким образом, изображения от внешней камеры 944 могут поступать на ту же активную область 942, что и изображения от каждого глаза пользователя, полученные от световодов 928 для передачи изображений, подобно другим вариантам осуществления, описанным здесь. Эта конфигурация может позволить или облегчить временную и/или пространственную синхронизацию, позволяя перекрывать или наслаивать изображение(я) с эндокамеры на изображения с внешней камеры, или посредством "триангуляционных измерений" или других алгоритмов для отслеживания глаза идентифицировать "куда", "на что" и/или "как долго" (продолжительность направленного взгляда) глаза пользователя смотрят по отношению к направлению положения головы пользователя.
Таким образом, камера 922 может одновременно осуществлять захват изображений от одной или большего числа "эндокамер", то есть от оптоволоконных жгутов 924 и от внешней камеры 944. Это может гарантировать, что изображения, захваченные каждым устройством, синхронизируются друг с другом, то есть связываются вместе по времени таким образом, что изображение одного глаза, взятое в определенное время, соответствует изображению другого глаза, взятому, главным образом, в то же время. Кроме того, эти изображения могут быть в основном синхронизированы с данными от других датчиков, например, от одного или большего числа физиологических датчиков, которые могут повысить возможность мониторинга, и/или диагностики пользователя, и/или прогнозирования поведения пользователя. В результате этой синхронизации захват данных изображений может происходить с относительно высокой частотой, например, от приблизительно пятисот до семисот пятидесяти кадров в секунду или Герц (500-750 Гц). В альтернативном варианте осуществления могут быть предоставлены отдельные детекторы, которые осуществляют захват данных изображений, которые могут быть синхронизированы, например, процессором, получающим данные. В этом альтернативном варианте могут применяться более низкие частоты фиксации, например, от приблизительно тридцати до шестидесяти Герц (30-60 Гц), для облегчения синхронизации с помощью процессора или другого устройства, способного осуществлять захват изображения. При желании, камера 922 и/или связанный процессор могут быть способны осуществлять захват относительно медленных окулометрических параметров, например, с частотой от приблизительно пятнадцати до шестидесяти (15-60) кадров в секунду.
На фиг.20A и 20B показаны примеры выходных изображений от камеры, одновременно принимающей сигналы изображения от двух эндокамер 2010 и внешней камеры 2020 (или от устройства, компилирующего изображения от отдельных камер и/или детекторов). Как показано, эндокамеры направлены на оба глаза пользователя, а внешняя камера направлена на обстановку, окружающую пользователя (то есть, в общем, на область, находящуюся прямо перед лицом пользователя). На Фиг.20A оба глаза пользователя 2010L, 2010R открыты, а на изображении с внешней камеры 2020 виден горизонтальный вид комнаты перед пользователем. Напротив, на Фиг.20B полностью закрыт один глаз пользователя 2010L, а другой глаз 2010R частично закрыт таким образом, что веко закрывает большую часть зрачка. На изображении с внешней камеры 2020 видно, что голова пользователя начала наклоняться влево и опускаться вперед. При желании, наряду с этими изображениями может отображаться и/или сохраняться дополнительная информация, например, данные от других датчиков на устройстве 910 в реальном времени, подобно тому, как показано на Фиг.12A-12C или Фиг.15A-15I.
Возвратимся к Фиг.18A, 18B и 19, изображения от камеры 922 (и/или камеры 944) могут быть переданы от устройства 910 по кабелю 948 (лучше виден на Фиг.18A). Например, устройство 940 отображения может преобразовывать оптические изображения из активной области 942 в электрические сигналы, которые могут быть переданы по кабелю 948 на один или большее число процессоров и/или контроллеров (не показаны), подобно другим вариантам осуществления, описанным здесь в другом месте. В альтернативном варианте осуществления изображения от оптоволоконных жгутов 924 и/или внешней камеры 944 могут быть переданы от устройства 910 на одно или большее число находящихся на расстоянии устройств, например, на камеру, детектор и/или процессор (не показан), подобно другим вариантам осуществления, описанным здесь. В этом альтернативном варианте осуществления жгуты 924 могут иметь длину от приблизительно двух до шести футов, например, иметь длину, достаточную для того, чтобы позволить пользователю нормально двигаться, оставаясь связанным с находящимся на расстоянии устройством(ами).
В альтернативном варианте осуществления, или кроме того, устройство 910 может включать беспроводной передатчик (не показан), такой как передатчик, работающий на радиоволнах (RF) короткого или длинного диапазона, например, использующий Bluetooth или другие протоколы, который может быть связан с камерой 922. Передатчик может быть расположен в камере 922 или в другом месте на шлеме 912. Передатчик может передавать сигналы изображений, представляя данные изображения на приемник, находящийся на расстоянии, подобно другим вариантам осуществления, описанным здесь в другом месте. В еще одном альтернативном варианте осуществления устройство 910 может включать память (также не показана) для хранения данных изображений либо вместо передатчика и/или кабеля 948, либо в дополнение к ним. Например, данные могут храниться в записывающем устройстве, например, подобном самописцу черного ящика, применяемому в самолете, так что записывающее устройство может быть восстановлено позднее, например, для анализа после автомобильной катастрофы, медицинского инцидента и т.п.
При желании, устройство 910 может включать один или большее число контроллеров (не показаны), например, внутри камеры 922 и/или на шлеме или в шлеме 912 для контроля различных компонентов устройства 910. Например, контроллер может быть связан с одним или большим числом светодиодов 934, так что светодиоды 934 формируют импульсы с предварительно заданной частотой, например, снижая расход энергии устройства 910. Кроме того, устройство 910 может включать один или большее число источников энергии, например, батареи и/или кабели, для обеспечения подачи электроэнергии к одному или большему числу компонентов устройства 910. Например, в камере 922 может быть установлена одна или большее число батарей (не показаны) для обеспечения подачи энергии на устройство 940 отображения и/или светодиод(ы) 934.
При желании, устройство 910 может также включать один или большее число дополнительных датчиков (не показаны), например, на шлеме 912. Датчики могут быть связаны с биосенсорной конструкцией 920, кабелем 948 и/или беспроводным передатчиком (не показан), если они имеются, так, что может осуществляться мониторинг, запись и/или передача сигналов от датчиков на удаленном расстоянии. Например, может быть предоставлен один или большее число датчиков положения (позиционирования), например, для определения пространственной ориентации шлема 912 и, следовательно, головы пользователя, как описано здесь в другом месте. Кроме того, или в альтернативном варианте осуществления устройство 910 может включать один или большее число физиологических датчиков (не показаны), например, для определения одной или большего числа физических характеристик пользователя, таких как один или большее число электродов ЭЭГ, электродов ЭКГ, электродов ЭОГ, датчиков импульсов, оксиметрических датчиков, термисторов, термопар или других температурных датчиков, например, для определения температуры кожных покровов пользователя, детекторов пота для определения влажности кожных покровов пользователя и/или датчиков для определения потока воздуха, вдыхаемого, например, через нос пользователя.
Кроме того, устройство 910 может включать одно или большее число устройств обратной связи (также не показаны), например, чтобы поднимать по тревоге и/или будить пользователя, таких как устройство механической вибрации, которое может обеспечить тактильные вибрационные стимулы через контакт с кожей, один или большее число электродов, которые могут генерировать электрические стимулы относительно малой мощности, один или большее число источников света, таких как светодиоды, звуковых устройств, источников запаха и т.п. В альтернативном варианте осуществления устройства обратной связи могут быть установлены отдельно от устройства 910, но расположены таким образом, что способны обеспечить ответную реакцию пользователя. Например, звуковой, визуальный, тактильный (например, вибрирующее сиденье) источники или источник запаха могут быть установлены рядом с пользователем, также как и любое из устройств, описанных выше. В дальнейшем альтернативном варианте осуществления могут быть предоставлены устройства для генерирования тепла или холода, способные создавать температурные стимулы для пользователя, например, вентилятор с дистанционным управлением, или установка для кондиционирования воздуха.
Система, включающая устройство 910, может включать компоненты, находящиеся на расстоянии от устройства 910, подобно другим вариантам осуществления, описанным здесь в другом месте. Например, система может включать один или большее число приемников, процессоров и/или дисплеев (не показаны), находящихся на расстоянии от устройства 910, например, в той же комнате, в находящейся поблизости станции мониторинга, или на более дальнем расстоянии. Приемник может получать сигналы, передаваемые передатчиком на устройство 910, включая сигналы изображения от камеры 922 и/или сигналы от других датчиков, установленных на устройстве 910.
Процессор может быть связан с приемником для анализа сигналов от устройства 910, например, для подготовки сигналов к графическому отображению. Например, процессор может подготавливать видеосигналы от камеры 922 для отображения на мониторе подобно изображениям, показанным на Фиг.20A и 20B, таким образом, позволяя осуществлять мониторинг пользователя третьими лицами, например, медицинскими профессионалами, диспетчерами или другими сотрудниками и т.п. Одновременно могут отображаться другие параметры либо на едином мониторе, либо на отдельных дисплеях подобно другим вариантам осуществления, описанным здесь в другом месте. Процессор может наслаивать или иначе одновременно отображать видеосигналы с изображением глаз пользователя и/или изображения от внешней камеры, отдельно или вместе с другими считываемыми параметрами, чтобы позволить врачу или другому человеку осуществлять мониторинг и лично сопоставлять эти параметры с поведением пользователя.
В дальнейшем альтернативном варианте процессор может автоматически обрабатывать сигналы для мониторинга или изучения поведения пользователя. Например, процессор может использовать выходные сигналы для мониторинга различных параметров, связанных с движением глаз, таких как продолжительность моргания глаза (EBD), частота моргания глаза, скорость моргания глаза, ускорение моргания глаза, продолжительность периода между морганиями (IBD), PERCLOS, PEROP (степень открытия века в процентах) и т.п. Видеосигналы от камеры 922 могут обрабатываться для непрерывного или прерывистого и/или последовательного мониторинга отдельных или целого ряда параметров глаз, в любой комбинации или структуре захвата, таких как размер, относительное положение зрачка, отслеживание движения глаза, дистанция направленного взгляда и т.п., как описано здесь в другом месте. Таким образом, устройство 910 и/или система может осуществлять мониторинг одного или большего числа окулометрических или других параметров, таких как раскрыты в патенте США №6542081, приведенном здесь в качестве ссылки.
Для облегчения мониторинга размера зрачка (например, расширения, сужения и/или эксцентричности) и/или движения глаза система может включать процессор, сообщающийся с камерой 922, для обработки видеосигналов и распознавания зрачка глаза в видеосигналах. Например, с камерами более высокого разрешения, такими как детекторы типа CMOS и CCD, процессор может быть способен распознавать края и, следовательно, окружность, диаметр, и/или площадь поперечного сечения зрачка. С процессором может быть связан дисплей для отображения видеоизображений глаза из видеосигналов, обработанных процессором.
Кроме того, обращаясь к Фиг.21А-21С, процессор может наслаивать графический символ, представляющий искусственное изображение, на дисплей, например, на видеоизображения, для облегчения распознавания и/или мониторинга зрачка 301 глаза 300. Как показано, в результате контраста между краем зрачка 301 и окружающей радужной оболочкой 304 процессор может аппроксимировать эту границу и создать графический ореол, эллипс, или другой графический символ 306, который может быть добавлен в данные изображения одного или обоих глаз (для простоты, на Фиг.21A-21C показан только один глаз 300). Наблюдатель может использовать этот графический символ 306 для облегчения мониторинга пользователя устройства 910.
Кроме того, или в альтернативном варианте осуществления процессор может автоматически анализировать информацию о размере и/или форме зрачка 301 (или графического символа 306), таким образом, сопоставляя видеосигналы для определения уровня сонливости или другого физического и/или психического состояния человека. Этот анализ может включать мониторинг относительного положения зрачка, размера зрачка и/или эксцентричности зрачка, например, на протяжении длительного времени. Например, процессор может на протяжении длительного времени осуществлять мониторинг диаметра зрачка глаза 300, который может отображаться в виде графика, например, как показано на Фиг.15E, сохраняемого в памяти как функция времени и/или добавляемого на изображениях глаза, например, в режиме реального времени.
Например, на Фиг.21A может быть показан зрачок 301 в спокойном состоянии в условиях окружающей среды, например, соответствующий графическому символу 306, имеющему диаметр "d1". Как показано на Фиг.21B, если пользователь моргает или закрывает глаз 300, зрачок 301 может расширяться так, что при повторном открывании глаза 300 зрачок 301 первоначально остается расширенным, что представлено графическим символом 306, имеющим диаметр "d2". Процессор может сравнивать изменения диаметра графического символа 306 или непосредственно зрачка 301 для определения времени задержки зрачка 301, для возвращения к диаметру "d1" после моргания или другого закрытия глаза. Эта задержка или потеря реактивности к вспышкам видимого или невидимого излучения может, по меньшей мере, частично показывать уровень сонливости, уровень ухудшения самочувствия, например, интоксикацию и/или начало состояния, требующего медицинского вмешательства, включая летальные или терминальные состояния, такие как повреждение головного мозга или смерть мозга в результате гипоксемии, гипогликемии, инсульта, инфаркта миокарда, действия токсинов, ядов и т.п.
Кроме того, или в альтернативном варианте осуществления процессор может определять приблизительную эксцентричность зрачка, например, когда он частично закрыт веком 302. Например, как показано на Фиг.21C, когда веко 302 частично закрыто, ореол 306, наслаиваемый на изображения, может принимать эллиптическую форму, соответствующую ширине "w" и высоте "h" открытой части зрачка 301. В качестве индикатора степени закрытия зрачка 301 веком 302 высота "h" может быть сопоставлена с диаметром "d1", то есть отношение высоты "h" к диаметру "d1" может быть равно единице или может быть меньше единицы (h/d1 ≥ 1). Например, этот коэффициент может уменьшаться от единицы до нуля, когда зрачок 301 полностью закрывается веком 302.
Подобным образом ширина "w" может также быть сопоставлена с диаметром "d1" (w // d1≥ 1), в качестве индикатора степени закрытия зрачка 301 веком 302, например, когда веко 302 начинает закрывать более половины зрачка 301. Кроме того, или в альтернативном варианте осуществления отношение высоты к ширине (h/w ≥ 1) может нести информацию относительно эксцентричности зрачка 301, например, на основании закрытия веком 302. Подобные параметры могут анализироваться по отдельности, одновременно и/или вместе с другими окулометрическими и/или физиологическими параметрами для мониторинга, анализа и/или прогнозирования поведения пользователя в будущем. Данные могут сравниваться с эмпирическими или другими данными, сохраняемыми или доступными для процессора, для предоставления информации о состоянии пользователя, например, со значением COFI, как описано здесь в другом месте.
Если, например, в результате анализа зрачка пользователя обнаруживается падение уровня внимания пользователя ниже предварительно заданного уровня, пользователю и/или одному или большему числу третьих лиц может быть подан сигнал предупреждения подобно другим вариантам осуществления, описанным здесь. Подобные способы могут также быть полезны для определения, находится ли пользователь под воздействием наркотических веществ, алкоголя и/или состояний, требующих медицинского вмешательства, как объяснено здесь в другом месте.
Кроме того, в качестве порога и/или для проверки внимания пользователя устройство или система, подобная любой из описанных здесь, может осуществлять тестирование реакции зрачка пользователя. Такой тест может подтвердить, что пациент активен, то есть не находится во время ношения устройства в состоянии сна или даже в состоянии смерти. Например, если источник света излучает вспышки предварительно заданной продолжительности и/или частоты на глаз пользователя, зрачок пользователя может кратковременно расширяться от его спокойного состояния (при окружающем освещении) и затем обратно сужаться в спокойное состояние в пределах предварительно заданного промежутка времени.
Обратимся к Фиг.22A, на которой показан пример способа тестирования внимания пользователя любого устройства и систем, описанных здесь. К примеру, пользователь может носить устройство 810, показанное на Фиг.18, осуществляющее мониторинг одного или обоих глаз пользователя, как описано в дальнейшем. На этапе 2210 основные параметры или параметры глаза(глаз) пользователя могут быть определены в сопутствующих условиях. Например, может быть измерен или проверен другим способом диаметр зрачка в спокойном состоянии в условиях окружающей среды.
На этапе 2220 на глаз(а) может подаваться один или большее число импульсов излучения, которые могут вызвать переход зрачка(ов) из спокойного состояния в расширенное и/или суженное, например, в основном с той же частотой, что и частота импульсов вспышек света. Например, один или большее число источников излучения на устройстве 810 могут быть активированы в предварительно заданной последовательности, чтобы вызвать расширение зрачка глаза(глаз). После этого на этапе 2230 может быть осуществлен мониторинг глаз(а) пользователя, например, подсознательно или несознательно, камерой 830 или датчиками 822 для определения времени реакции глаза, требуемого для возвращения в спокойное состояние. Время реакции может быть сравнено со значением из эмпирической базы данных или другими данными для подтверждения того, что пользователь находится в сознании, активен и/или живой. При желании, этапы 2220 и 2230 могут повторяться один или большее число раз для подтверждения времени реакции и/или установления среднего времени реакции, при желании, например, для избежания ложно-отрицательных определений.
Если источник излучения формирует излучение вне видимого диапазона спектра, например, в инфракрасном диапазоне, то зрачок может все равно реагировать на вспышки излучения подобным образом. Одно преимущество применения инфракрасного излучения состоит в том, что оно может не отвлекать или не беспокоить пользователя, так как пользователь не будет сознательно наблюдать излучение. Тем не менее, зрачок может все равно проявлять достаточную реакцию на подобные вспышки, так что система, осуществляющая мониторинг глаз, может обнаруживать расширение и сужение зрачка в ответ на подобные вспышки.
Может оказаться достаточным, например, во время определения порога ощущения, генерировать единичную вспышку излучения и осуществлять мониторинг реакции зрачка. В альтернативном варианте осуществления для мониторинга реакции зрачка в течение длительного времени может применяться ряд вспышек, например, для изучения динамики или устранения ложных данных, которые могут возникать при единичных вспышках. Для ряда вспышек частота возникновения импульсов должна быть более низкой, чем время, необходимое зрачку для самопроизвольного возвращения к спокойному состоянию после расширения в ответ на вспышку излучения, например, по меньшей мере, от приблизительно пятидесяти до ста миллисекунд (50-100 мс).
В альтернативном варианте осуществления на глаз(а) пользователя могут направляться импульсы излучения, например, близкого к инфракрасному диапазону (имеющего длину волны от приблизительно 640 до 700 нанометров). Система может осуществлять детекцию ритмичных колебаний в реакции зрачка. Подобные реакции могут возникать в результате примитивной окулометрической реакции, возможно связанной с ночным зрением, например, видения в темноте или чувствительности в темноте к источникам инфракрасного излучения.
Подобное тестирование реакции зрачка может также применяться для распознавания ложно-положительных результатов, например, в случае смерти пользователя, несмотря на то, что система обнаруживает какое-либо закрытие и/или движение глаза. Подобным образом тестирование реакции зрачка может также позволить определить, находится ли пользователь в состоянии сна или в бессознательном состоянии. Кроме того, тестирование реакции зрачка может применяться для определения, находится ли пользователь под воздействием алкоголя, наркотических веществ и т.п., которые могут влиять на скорость, с которой зрачок сужается обратно в спокойное состояние после расширения в ответ на вспышки излучения. Кроме того, или в альтернативном варианте осуществления тестирование реакции зрачка может также применяться для определения концентрации или количества в крови наркотического средства или алкоголя в организме пользователя в зависимости от корреляции окулометрических измерений и соответствующих концентраций в крови, определенных научно.
Обратимся к Фиг.22B, на которой показан другой способ тестирования порогового уровня внимания. В целом этот способ включает подачу стимулов, инструктирующих пользователя о сознательном движении его глаз(а) желательным образом, на этапе 2240, и осуществление мониторинга глаз, на этапе 2250, например, для совершения сознательного движения, подтверждающего, что пользователь следовал командам и осуществлял движения своего глаза(глаз) желательным образом. Любое устройство, описанное здесь, может включать одно или большее число стимулирующих устройств, например, динамики, источники света, вибрационные или другие тактильные устройства. В альтернативном варианте осуществления подобные устройства могут быть установлены на расстоянии от пользователя, например, на приборной панели транспортного средства, видеодисплея и т.п.
Например, в случае активации на устройстве источника видимого излучения пользователь может быть проинструктирован закрыть свой глаз(глаза) на предварительно заданный интервал времени. Во время активации излучения система может осуществить мониторинг глаза(глаз) для подтверждения того, что пользователь отвечает в пределах предварительно заданного интервала времени и/или предварительно заданным образом (например, одно или большее число морганий в предварительно заданной последовательности). В альтернативном варианте осуществления вместо вспышек излучения может обеспечиваться подача других стимулов, таких как команды, видимые на дисплее (на устройстве или отдельно от него), звуковые сигналы (например, устные команды от динамика на устройстве или отдельно от него), тактильные сигналы и т.п. В этих вариантах осуществления пользователь может быть проинструктирован о выполнении ряда действий, например, посмотреть вверх или вниз, влево или вправо, поморгать в желательной последовательности, закрыть свои глаза до тех пор, пока не поступит команда следить за указателем на дисплее и т.п. Подобное тестирование может быть полезным для подтверждения, например, находится ли испытуемый субъект в состоянии пробуждения, в сознании и/или в состоянии готовности в течение выполнения ряда тестов или осуществления различных видов активности.
В другом варианте осуществления устройства и системы, такие как описанные здесь в другом месте, могут применяться для управления компьютерной системой, например, подобно компьютерной мыши, джойстику и т.п. Например, при рассмотрении устройства 810, показанного и описанного со ссылкой на Фиг.13, камера(ы) 830 может использоваться для мониторинга положения зрачка(ков) пользователя для управления и/или активирования указателя мыши на экране компьютера или другом дисплее. Процессор, получающий данные изображения от камеры 922, может проанализировать данные изображения для определения относительного положения зрачка(ков) в пределах активной области 942 детектора 940. При желании, один или большее число дисплеев могут быть прикреплены к оправе 812, располагаясь перед или в пределах поля зрения одного или обоих глаз пользователя.
К примеру, на оправе 812 вместо линз может быть установлена плоская жидкокристаллическая панель (LCD) или другой дисплей (не показан). Подобное устройство может применяться для моделирования, например, в медицинской или другой экспериментальной установке, для применения в качестве развлечения, например, в качестве консоли для видеоигр и т.п.
Обратимся к Фиг.23, на которой представлен пример способа управления ЭВМ, основанного на обнаружении движения глаза, применяя любое из устройств или систем, описанных здесь. Например, может применяться устройство 910, показанное на Фиг.18A, которое включает оптоволоконный жгут 924 для передачи изображения одного или обоих глаз пользователя. При желании, как объяснено ниже в дальнейшем, устройство может также иметь одну или большее число внешних камер, например, расположенных рядом с одним или обоими глазами пользователя, которые могут быть ориентированы наружу вдоль взгляда пользователя вперед. Первоначально, на этапе 2310, может быть желательно инициализировать систему, включая подобное устройство, то есть установить систему координат (отсчета), такую как основного или относительного положения, систему координат с ортогональными компонентами и т.п. К примеру, пользователь может быть проинструктирован о том, чтобы смотреть на указатель или другое предварительно заданное местоположение на дисплее, таким образом, удерживая глаз(а) пользователя и, следовательно, зрачок(ки) пользователя по существу неподвижно.
Пока глаз(а) пользователя остается по существу неподвижным, процессор может анализировать данные изображений от камеры 830, т.е. определять положение зрачка на изображениях, которое соответствует контрольной точке или "исходному положению". Например, указатель или исходное положение могут находиться в основном прямо перед зрачком пользователя. При желании, пользователь может быть проинструктирован о том, чтобы последовательно смотреть на два или большее число идентифицированных мест на дисплее, таким образом, обеспечивая формирование шкалы для относительного движения глаза пользователя. В этом альтернативном варианте осуществления может быть желательно, чтобы пользователь смотрел на противоположные углы дисплея, например, для установления пределов соответствующего движения глаза относительно дисплея.
После завершения инициализации пользователь может свободно осуществлять движения своим глазом(ами), например, влево и вправо, вверх и вниз, например, относительно указателя и/или остальной части дисплея. На этапе 2320 система может осуществлять мониторинг подобных движений глаза, то есть процессор может анализировать данные изображений для определения относительного положения зрачка(ков) пользователя от исходного положения(й). Например, если пользователь (она или он) осуществляет движения глаза(глаз) вверх и вправо от исходного положения, то есть вверх и вправо по отношению к указателю на экране компьютера, процессор может определять это движение. В ответной реакции, на этапе 2330, процессор может перемещать указатель вверх и вправо, то есть таким образом отследить направленный взгляд пользователя. Когда пользователь (она или он) прекращает движение своего глаза(глаз), процессор может остановить указатель, как только он достигнет положения на дисплее, на которое в данный момент смотрит пользователь.
При желании, на этапе 2340, пользователь может осуществить выполнение команды, как только указатель переместится в желаемое положение на дисплее, например, подобно активации кнопки мыши. Например, для формирования сигнала процессор может осуществить мониторинг данных изображения из сигнала от пользователя, например, одного или большего числа произвольных морганий в заданной последовательности. Это может быть настолько простым, как отдельное моргание предварительно заданной продолжительности, например, в течение нескольких секунд, и более сложным в виде последовательности морганий, например, с участием одного или обоих глаз пользователя. В альтернативном варианте осуществления сигнал может быть представлен предварительно заданным периодом без морганий, например, продолжительностью в три, пять или более секунд. Когда процессор идентифицирует сигнал, процессор может активировать выполнение команды. Например, пользователь может прекратить движение своим глазом(глазами), когда взгляд достигнет значка, словесной команды и т.п. на дисплее, и процессор может переместить указатель, пока он не ляжет сверху или не разместится иначе на значке или команде. Затем пользователь может моргнуть или осуществить действие, как объяснено выше, подобное "двойному щелчку" кнопки на компьютерной мыши, таким образом, информируя процессор о выполнении выбранной команды или передаче выбранной команды в требуемое место назначения. Например, выбранная команда может привести к выполнению компьютерной программы, или активированию, дезактивированию части оборудования или другого устройства, или другому управлению ими желательным образом. Таким образом, система может быть применена для выполнения различных задач, от управления компьютерным устройством, связанным с процессором и/или дисплеем, для включения или выключения выключателя света или транспортного средства. Таким образом, подобные устройства и/или системы могут предоставить способы управления компьютером без участия рук, то есть используя только движение глаза(глаз) пользователя.
К примеру, в одном применении система может применяться для управления транспортным средством, таким как вертолет, реактивный или другой самолет, например, активирования или другого типа управления вооружением, навигационными или другими бортовыми системами. В другом применении система может применяться в видеоигре или при другом моделировании, например, для усиления погружения в виртуальную реальность. Например, система может позволить пользователю быстро перемещаться по многочисленным пунктам меню, сценам или другим действиям, тогда как руки пользователя остаются свободными и могут выполнять другие функции, например, выполнять другие действия в дополнение к осуществлению функций под контролем глаза либо одновременно с ними, что может позволить одновременно решать большее число задач и/или более сложные задачи.
Кроме того, может применяться одна или большее число внешних камер для повышения и/или другого облегчения отслеживания движения глаза относительно указателя на дисплее. Например, внешняя камера может быть установлена рядом по меньшей мере с одним глазом, например, на предварительно заданном расстоянии, или другим образом по отношению к глазу, который ориентирован к дисплею. Таким образом, внешняя камера может обеспечивать изображение дисплея, например, показывая движения указателя в режиме реального времени, которые могут синхронизироваться с движениями глаза, мониторинг которых осуществляется эндокамерой. Процессор может сопоставлять эти данные, применяя метод триангуляции или другие алгоритмы, для повышения точности отслеживания указателя с движениями глаза. Это может гарантировать точность действительного выбора требуемой команды, когда пользователь, при наведении указателя на команду, намеревается привести в исполнение команду с помощью моргания, например, когда на дисплее показан целый ряд доступных команд.
Кроме того, подобные системы и способы могут применяться в медицинских или других диагностических процедурах, таких как тестирование внимания. Например, процессор может анализировать данные от эндокамер и внешних камер для сопоставления движения глаза(глаз) относительно изображений на дисплее, для изучения различных окулометрических параметров, таких как медленное вращение глаз, слабая фиксация и/или слежение глазом, нефиксированный направленный взгляд, учащенное моргание глаз, гипнотический пристальный взгляд, длительные периоды опускания века или моргания, медленное открытие и закрытие века, скорость открытия пораженного века, длительные стенозирующие изменения зрачка, непостоянство диаметра зрачка, скрытые визуально-опосредованные реакции зрачка и/или другие параметры, раскрытые здесь в другом месте. Эти процедуры могут применяться для обследования ответных реакций людей, сталкивающихся с различными условиями окружающей среды, в состоянии алкогольного или наркотического опьянения и/или в других состояниях.
Обращаясь к Фиг.24, в другом варианте осуществления устройство 2410 может быть предоставлено для чрескожного освещения глаза 300 пользователя, носящего устройство 2410. Устройство 2410 может быть, в целом, подобно любому из вариантов осуществления, описанных здесь, например, оправе 812, показанной на Фиг.13. Как показано, устройство 2410 может включать один или большее число источников излучения или другой источник(и) 2422 излучения, которые контактируют с головой 308 пользователя, например, в области виска(ков) пользователя рядом с одним или обоими глазами 300 (для упрощения показан один). Кроме того, устройство 2410 может включать один или большее число датчиков, таких как оптоволоконный жгут 2430, например, оканчивающийся линзой 2434, для получения изображений глаза 300 пользователя.
В одном примере варианта осуществления инфракрасный источник 2422 излучения может быть неподвижно или с возможностью регулирования установлен на одной или обеих ушных частях оправы 2412 так, что инфракрасный источник 2422 излучения контактирует и подает излучение на кожные покровы пользователя. Например, инфракрасный источник 2422 излучения может включать множество светодиодов, которые могут формировать коллимированное, некогерентное (не лазерное) инфракрасное излучение. Источник 2422 излучения может быть ориентирован в сторону глаза 300 таким образом, что излучение от источника 2422 излучения может проходить поперек или вдоль головы 308 пользователя в глаз 300, как представлено пунктирными стрелками 2450. Например, выяснено, что кожа и другая ткань могут быть, по меньшей мере, светопрозрачными для излучений некоторых частот, например, для инфракрасного излучения. Таким образом, по меньшей мере часть излучения от источника(ов) 2422 излучения может передаваться чрескожно вдоль или сквозь кожу пользователя и/или сквозь другую ткань, так что по меньшей мере часть излучения поступает в глаз 300.
Излучение может отражаться от сетчатки (не показано) внутри глаза 300 так, что по меньшей мере часть излучения выходит из зрачка 301, как показано стрелками 2452. Линза 2434 и оптоволоконный жгут 2430 могут передавать изображения глаза на детектор (не показан) подобно другим вариантам осуществления, описанным здесь, который может распознавать зрачок 301 как яркое пятно на изображениях вследствие излучения 2452. Процессор или другое устройство, связанное с детектором, может осуществлять мониторинг зрачка 301, например, его относительное положение на изображениях, размер и/или форму, подобно другим вариантам осуществления, описанным здесь, например, применяя методы "белый зрачок" или "темный зрачок", описанные здесь в другом месте. Кроме того, или в альтернативном варианте осуществления чрескожное излучение может освещать весь глаз 300, особенно сетчатку, которая может быть видна из положения перед лицом пользователя, например, в виде затененного образования сферической или другой формы со зрачком 301, который виден как яркое пятно, окруженное затененным образованием.
Этот вариант осуществления может иметь преимущество в том, что отсутствует необходимость в установке перед глазом пользователя одного или большего числа источников излучения, которые могут частично заграждать или расстраивать поле зрения пользователя. Кроме того, вследствие применения в этой системе камер и/или детекторов, чувствительных к инфракрасному излучению, которые функционируют независимо от угла падающего инфракрасного излучения, этот вариант осуществления может устранять технические трудности, возникающие вследствие потери правильной ориентации источников излучения по отношению к детекторам. Кроме того, в результате отсутствия перед глазом источника(ов) излучения могут быть устранены отблески или другие отражения от глаза, что может облегчить анализ данных изображения.
Следует понимать, что различные компоненты и признаки, описанные со специфическими вариантами осуществления, могут быть добавлены, удалены и/или заменены другими вариантами осуществления в зависимости от предполагаемого применения вариантов осуществления. Например, Приложения A и B к предварительной заявке № 60/559135, приведенной здесь в качестве ссылки, предоставляют дополнительную информацию относительно возможных структурных признаков и/или способов применения описанного здесь устройства и систем. Все описания Приложений A и B специально приведены здесь в качестве ссылки.
Наряду с тем, что изобретение допускает различные модификации и альтернативные формы, их специфические примеры показаны в чертежах и подробно здесь описаны. Необходимо понимать, что изобретение не должно быть ограничено раскрытыми отдельными формами или способами, а напротив, изобретение должно охватывать все модификации, эквиваленты и альтернативы, входящие в объем приложенной формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| ЭЛЕКТРОННЫЕ ОФТАЛЬМОЛОГИЧЕСКИЕ ЛИНЗЫ С ЗАДНИМ ДАТЧИКОМ ДИАМЕТРА ЗРАЧКА | 2013 |
|
RU2570287C2 |
| Электронная офтальмологическая линза с отслеживанием сна | 2016 |
|
RU2663492C2 |
| ЭЛЕКТРОННАЯ ОФТАЛЬМОЛОГИЧЕСКАЯ ЛИНЗА С ДАТЧИКОМ ВЗГЛЯДА ГЛАЗ | 2013 |
|
RU2571179C2 |
| ЭЛЕКТРОННАЯ ОФТАЛЬМОЛОГИЧЕСКАЯ ЛИНЗА С БУДИЛЬНИКОМ | 2016 |
|
RU2650716C1 |
| СИСТЕМА И СПОСОБ ДЛЯ ОФТАЛЬМОЛОГИЧЕСКОЙ ЛИНЗЫ С ПРОЦЕССОРНЫМ УПРАВЛЕНИЕМ | 2014 |
|
RU2633307C2 |
| ЭЛЕКТРОННАЯ ОФТАЛЬМОЛОГИЧЕСКАЯ ЛИНЗА С ДАТЧИКОМ КОНВЕРГЕНЦИИ ЗРАЧКОВ | 2013 |
|
RU2586238C2 |
| ЭЛЕКТРОННЫЕ ОФТАЛЬМОЛОГИЧЕСКИЕ ЛИНЗЫ С МНОГОКАНАЛЬНОЙ СХЕМОЙ ГОЛОСОВАНИЯ | 2013 |
|
RU2567178C2 |
| СИСТЕМА ОФТАЛЬМОЛОГИЧЕСКОЙ ЛИНЗЫ, ВЫПОЛНЕННАЯ С ВОЗМОЖНОСТЬЮ ВЗАИМОДЕЙСТВИЯ С ВНЕШНИМ УСТРОЙСТВОМ | 2014 |
|
RU2585422C2 |
| СИСТЕМА ОБНАРУЖЕНИЯ МОРГАНИЙ ДЛЯ ЭЛЕКТРОННОЙ ОФТАЛЬМОЛОГИЧЕСКОЙ ЛИНЗЫ | 2013 |
|
RU2601688C2 |
| ЭЛЕКТРОННЫЕ ОФТАЛЬМОЛОГИЧЕСКИЕ ЛИНЗЫ С ПАРОЙ ИЗЛУЧАТЕЛЬ-ДЕТЕКТОР | 2013 |
|
RU2567401C2 |
Группа изобретений относится к области медицины. Варианты устройств включают устройство, приспособленное для ношения на голове человека; источник излучения для направления излучения на глаза человека во время ношения устройства; первый и второй световоды для передачи изображений, содержащие первые концы, закрепленные на устройстве, первый световод для передачи изображений, расположенный для рассмотрения первого глаза человека, носящего устройство, второй световод для передачи изображений, расположенный для рассмотрения второго глаза человека, носящего устройство; и камеру, связанную с указанными первым и вторым световодами для получения изображений первого и второго глаза, камера включает детектор типа ПЗС или КМОП, и в котором изображения от первого и второго световодов для передачи изображений одновременно принимаются на активную область детектора. При этом способ мониторинга движения глаз заключается в подаче излучения от источника излучения на глаз; мониторинге движения глаза с помощью камеры для формирования видеоизображений глаза и формировании графических выходных данных движения, мониторинг которого осуществлялся с помощью камеры. Графические выходные данные включают искусственное изображение, наложенное на видеоизображения глаза, для идентифицирования зрачка глаза. Применение данной группы изобретений позволит проводить мониторинг движения глаз. 5 н. и 26 з.п. ф-лы, 24 ил.
1. Устройство для мониторинга движения глаз человека, включающее:
устройство, приспособленное для ношения на голове человека; источник излучения для направления излучения на глаза человека во время ношения устройства; первый и второй световоды для передачи изображений, содержащие первые концы, закрепленные на устройстве, первый световод для передачи изображений, расположенный для рассмотрения первого глаза человека, носящего устройство, второй световод для передачи изображений, расположенный для рассмотрения второго глаза человека, носящего устройство; и камеру, связанную с указанными первым и вторым световодами для получения изображений первого и второго глаз, камера включает детектор типа ПЗС или КМОП, и в котором изображения от первого и второго световодов для передачи изображений одновременно принимаются на активную область детектора.
2. Устройство по п.1, в котором источник излучения включает один или большее число инфракрасных источников излучения, сконфигурированных для генерирования инфракрасного излучения.
3. Устройство по п.1, в котором источник излучения включает первое и второе волокна для передачи излучения, которые содержатся соответственно в первом и втором световодах для передачи изображений.
4. Устройство по п.1, дополнительно включающее кабель, соединенный с камерой для передачи выходных сигналов, представляющих изображения первого и второго глаз, в стороне от устройства.
5. Устройство по п.1, дополнительно содержащее передатчик на устройстве для беспроводной передачи выходных сигналов от камеры на удаленное расстояние.
6. Устройство по п.1, дополнительно содержащее первую и вторую линзы на первых концах соответственно первого и второго световодов для передачи изображений для фокусирования соответственно на первом и втором глазах.
7. Устройство по п.1, в котором устройство включает по меньшей мере один компонент из оправы очков, шляпы, шлема, защитного козырька и маски.
8. Устройство по п.1, в котором устройство включает шлем, содержащий пару очков, камеру, закрепленную на шлеме, и присоединенные к очкам первые концы первого и второго световодов для передачи изображений.
9. Устройство по п.1, дополнительно содержащее третий световод для передачи изображений, содержащий первый конец, расположенный на устройстве, находящемся в стороне от человека, третий световод для передачи изображений, соединенный с камерой для получения изображения обстановки, окружающей человека.
10. Устройство по п.1, дополнительно содержащее один или большее число датчиков на устройстве для измерения одной или большего числа физиологических характеристик пользователя.
11. Устройство по п.10, дополнительно содержащее дисплей, соединенный с камерой, и один или большее число датчиков для одновременного отображения изображений первого и второго глаз и одного или большего числа физиологических характеристик пользователя.
12. Устройство по п.1, дополнительно содержащее передатчик, соединенный с камерой для передачи сигналов, включающих изображения первого и второго глаз, на удаленное расстояние.
13. Устройство для мониторинга движения глаз человека, включающее устройство, приспособленное для ношения на голове человека; источник излучения для направления излучения на глаза человека во время ношения устройства; первую и вторую линзы на устройстве, первую линзу, направленную к первому глазу человека, носящего устройство, вторую линзу, направленную ко второму глазу человека, носящего устройство; третью линзу на устройстве, ориентированную в сторону от человека, носящего устройство, для получения изображений обстановки, окружающей человека; и камеру, соединенную с первой, второй и третьей линзами для одновременного получения изображений первого и второго глаз от первой и второй линз и изображений от третьей линзы, при этом камера включает детектор типа ПЗС или КМОП, и в котором осуществляется одновременный прием изображений от первой, и второй, и третьей линз на активной области детектора.
14. Устройство по п.13, в котором источник излучения включает один или большее число инфракрасных источников излучения, выполненных с возможностью формирования инфракрасного излучения.
15. Устройство по п.13, в котором первая и вторая линзы связаны с камерой соответственно с помощью первого и второго световодов для передачи изображений.
16. Устройство по п.15, в котором источник излучения включает первое и второе волокна для передачи излучения, которые содержатся соответственно в первом и втором световодах для передачи изображений.
17. Устройство для мониторинга движения глаз человека, включающее устройство, приспособленное для ношения на голове человека; первый и второй оптоволоконные жгуты, содержащие первые концы, закрепленные на устройстве, первый оптоволоконный жгут, расположенный для рассмотрения первого глаза человека, носящего устройство, второй оптоволоконный жгут, расположенный для рассмотрения второго глаза человека, носящего устройство; и камеру, соединенную с первым и вторым оптоволоконным жгутами для одновременного получения изображений первого и второго глаз от первого и второго оптоволоконных жгутов, при этом камера включает детектор типа ПЗС или КМОП, и в котором осуществляется одновременный прием изображений от первого и второго оптоволоконных жгутов на активной области детектора.
18. Устройство по п.17, дополнительно содержащее на устройстве внешнюю камеру, ориентированную в сторону от человека, носящего устройство, для получения изображений обстановки, окружающей человека, при этом внешняя камера является соединенной с камерой для одновременного получения изображений от внешней камеры и изображений от первого и второго оптоволоконных жгутов.
19. Устройство по п.18, в котором камера формирует поток выходных сигналов, включающих изображения первого и второго глаз и изображения обстановки, окружающей человека.
20. Устройство по п.19, которое дополнительно содержит кабель, соединенный с камерой для передачи потока выходных сигналов на расстояние от устройства.
21. Система для мониторинга движения глаза человека, включающая устройство, приспособленное для ношения на голове человека; источник излучения для направления излучения на глаз человека во время ношения устройства; камеру, установленную на устройстве, для мониторинга движения глаза, камеру, приспособленную для формирования видеосигналов, представляющих собой видеоизображения глаза, полученные с помощью камеры; процессор, сообщающийся с камерой для обработки видеосигналов и идентифицирования зрачка глаза в видеосигналах; и дисплей, связанный с процессором для отображения видеоизображений глаза от видеосигналов, обработанных процессором, при этом дисплей осуществляет наслаивание графического символа на видеоизображения для идентифицирования зрачка.
22. Система по п.21, в которой процессор сконфигурирован для сопоставления видеосигналов для определения физического или психического состояния человека, основываясь, по меньшей мере, частично на анализе зрачка, идентифицированного процессором.
23. Система по п.22, в которой процессор сконфигурирован для анализирования видеосигналов, для мониторинга по меньшей мере одного из параметров, включающих относительное положение зрачка, размер зрачка и эксцентричность зрачка.
24. Система по п.21, в которой камера включает детектор типа ПЗС или КМОП и по меньшей мере один оптоволоконный жгут, включающий первый конец, закрепленный на устройстве таким образом, что во время ношения устройства первый конец ориентирован в направлении глаза человека.
25. Система по п.24, в которой источник излучения включает по меньшей мере одно волокно для передачи излучения, содержащееся в оптоволоконном жгуте.
26. Система по п.21, далее содержащая на устройстве передатчик для беспроводной передачи выходных сигналов от камеры на удаленное расстояние.
27. Система по п.26, в которой процессор расположен на удаленном расстоянии от устройства, процессор связан с приемником для приема выходных сигналов, передаваемых передатчиком.
28. Система по п.21, в которой процессор установлен на устройстве.
29. Система по п.21, далее содержащая на устройстве один или большее число датчиков для измерения одной или большего числа физиологических характеристик человека, процессор связан с одним или большим числом датчиков для коррелирования одной или большего числа физиологических характеристик с видеосигналами для определения физического или психического состояния человека.
30. Система по п.21, дополнительно содержащая на устройстве один или большее число датчиков для измерения одной или большего числа физиологических характеристик пользователя, процессор связан с одним или большим числом датчиков для отображения на дисплее вместе с видеоизображениями одной или большего числа физиологических характеристик.
31. Способ мониторинга движения глаза человека с помощью использования системы для мониторинга движения глаза человека по одному из пп.21-30, способ включает подачу излучения от источника излучения на глаз; мониторинг движения глаза с помощью камеры для формирования видеоизображений глаза и формирование графических выходных данных движения, мониторинг которого осуществлялся с помощью камеры, графические выходные данные включают искусственное изображение, наложенное на видеоизображения глаза, для идентифицирования зрачка глаза.
| Перекатываемый затвор для водоемов | 1922 |
|
SU2001A1 |
| СПОСОБ ИССЛЕДОВАНИЯ ДВИЖЕНИЯ ГЛАЗНОГО ЯБЛОКА | 2001 |
|
RU2193337C2 |
| СПОСОБ РЕГИСТРАЦИИ ЗРАЧКОВЫХ РЕАКЦИЙ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ | 1996 |
|
RU2123797C1 |
| US 2003086061 A1, 08.05.2003 | |||
| US 5410376 A, 25.04.1995 | |||
| ШАМШИНОВА A.M | |||
| и др | |||
| Функциональные методы исследования в офтальмологии | |||
| - М.: Медицина, 2004, с.374-401. | |||
