Область техники, к которой относится изобретение
Настоящая технология относится к устройству обнаружения и способу, и более конкретно, к устройству обнаружения и способу, которые позволяют улучшить работоспособность при простой конфигурации.
Уровень техники
Например, в интерфейсе пользователя для перемещения курсора или указателя на экране, требуется операционное средство. В качестве способа обнаружения операции пользователя для перемещения курсора и т.п., существует способ обнаружения движения места операции, такого как рука, ноги или палец пользователя, которое захватывается камерой, на основе положения места операции в изображении, и способ обнаружения движения на основе сигнала гиродатчика, прикрепленного к руке, ноге или пальцу пользователя.
В случае, когда операция интерфейса пользователя для курсора или указателя выполняется, используя конечность, палец пользователя и т.п., как описано выше, требуется внешний детектор, такой как камера и гиродатчик.
Кроме того, в случае, когда операция для перемещения курсора или указателя выполняется, используя линию взгляда пользователя, необходимо обнаружить движение глазного яблока пользователя.
Примеры способа измерения положения или движения глазного яблока включают в себя способ измерительной катушки, в котором используется тот факт, что генерируется потенциал в катушке, помещенной в магнитное поле, этот потенциал пропорционален углу, формируемому магнитным полем и катушкой. В способе измерительной катушки катушку обнаружения встраивают в контактную линзу. Ее накладывают на глазное яблоко. Катушка с магнитным полем, которая прикладывает горизонтальное и вертикальное магнитные поля, помещается снаружи. Индуцируемая электродвижущая сила генерируется в катушке обнаружения, встроенной в контактную линзу, в результате воздействия полей, прикладываемых снаружи. Такую индуцируемую электродвижущую силу обнаруживают. Таким образом, обнаруживают движение глазного яблока.
В качестве другого способа измерения положения или движения глазного яблока, также известен способ EOG (электроокулографии). В способе EOG используется тот факт, что роговица имеет положительный потенциал, составляющий от 10 до 30 мкВ по сравнению с сетчаткой. Электроды закрепляют вокруг глаза. При этом обнаруживают разность потенциалов.
В качестве других способов измерения положения или движения глазного яблока известны способ отслеживания лимба, способ отражения от роговицы и способ отражения от роговицы в области зрачка.
В способе отслеживания лимба используется тот факт, что степень отражения инфракрасного света, излучаемого в глаз, отличается между склерой и радужной оболочкой, и зрачком. Свет, отраженный глазным яблоком, захватывают с помощью размещенной снаружи камеры. Таким образом, обнаруживают движение глазного яблока.
Кроме того, в способе отражения света от роговицы используется тот факт, что виртуальное изображение на участке роговицы, которое формируется из инфракрасного света LED, излучаемого в глаз инфракрасным LED (светодиодом), движется параллельно вместе с движением глазного яблока из-за разницы центра вращения между участком роговицы и глазного яблока. Виртуальное изображение света инфракрасного LED, отражаемого глазным яблоком, захватывается размещенной снаружи камерой. Таким образом, обнаруживается движение глазного яблока.
Способ отражения от роговицы в области зрачка имеет, в основном, те же принципы, что и способ отражения света от роговицы. Однако способ отражения от роговицы в области зрачка отличается от способа отражения от роговицы тем, что центр зрачка используется, как опорная точка. Таким образом, способ отражения от роговицы в области зрачка представляет собой способ, в котором центр зрачка обнаруживается с помощью помещенной снаружи камеры, и движения глазного яблока обнаруживают на основе разности между положением виртуального изображения света инфракрасного LED.
Кстати, в качестве компактного устройства отображения устройства отображения изображения было предложено устройство отображения типа контактной линзы (например, см. Патентный документ 1). Такое устройство отображения используется при его надевании на глазное яблоко пользователя. Поэтому, независимо от того, где находится пользователь, изображения могут быть представлены пользователю.
Патентный документ 1: Японский патент №4752309
Раскрытие изобретения
Задача, решаемая изобретением
Однако когда курсор или указатель помещен на упомянутом выше устройстве отображения типа контактной линзы, и выполняется операция пользователя, в интерфейсе пользователя для перемещения курсора или указателя, в соответствии с упомянутым выше способом, требуется устройство внешнего обнаружения для обнаружения операционного средства.
Будучи надетым на глазное яблоко пользователя, устройство отображения типа контактной линзы используется беспроводно. Использование внешнего устройства обнаружения для управления курсором или указателем представляет нагрузку, поскольку пользователь, который использует его, должен носить дополнительное устройство.
Например, в соответствии со способом обнаружения движения, захватываемого камерой, пользователь должен быть расположен под углом обзора камеры. Таким образом, диапазон действий пользователя ограничен. Поэтому, трудно поместить устройство отображения в стороне. Кроме того, поскольку расстояние операции становится большим, область операции на экране камеры становится меньшей. Поэтому, количество пикселей для обнаружения движения пользователя относительно уменьшается. Таким образом, точность обнаружения снижается.
Кроме того, гиродатчик обнаруживает относительное положение. Поэтому, в способе обнаружения движения пользователя с использованием гиродатчика необходимо устанавливать исходное положение для каждой операции.
В способе измерительной катушки катушка магнитного поля, которая прикладывает горизонтальное и вертикальное магнитные поля, должна быть помещена снаружи. Кроме того, в способе измерительной катушки используется электродвижущая сила, генерируемая катушкой обнаружения, перемещаемой относительно магнитного поля, генерируемого катушкой магнитного поля. Поэтому, положение головы пользователя должно быть зафиксировано относительно катушки магнитного поля.
Способ EOG имеет широкий диапазон обнаружения и позволяет обнаруживать движения глазного яблока, даже когда пользователь закрывает глаза. Однако он обладает слабой защитой от внешних электромагнитных шумов, и его точность обнаружения низкая. Обнаружение с точностью до меньше чем 1 градус невозможно.
Что касается способа отслеживания лимба, способа отражения света от роговицы и способа отражения от роговицы в области зрачка, все они оказывают меньшую нагрузку на тело человека. Однако в,этих способах требуется размещенная снаружи камера. Кроме того, они чувствительны к окружающему свету. Поэтому, для повышения точности обнаружения, необходимо подготовить среду с меньшим уровнем окружающего света.
Кроме того, в способе обнаружения движения глазного яблока с помощью камеры, захватывающей изображение пользователя снаружи, глазное яблоко невозможно обнаружить, когда пользователь закрывает глаза. Поэтому, когда пользователь закрывает глаза, интерфейс пользователя не может работать.
Как описано выше, в упомянутых выше технологиях не было возможно улучшить работоспособность в устройствах отображения типа контактной линзы, используя простую конфигурацию, без использования внешнего устройства обнаружения.
Настоящая технология была выполнена с учетом упомянутой выше ситуации, и цель ее состоит в том, чтобы улучшить работоспособность, используя простую конфигурацию.
Средство для решения задачи
Устройство обнаружения, в соответствии с аспектом настоящей технологии, представляет собой устройство обнаружения, которое может быть надето на глазное яблоко и включает в себя элемент, принимающий свет, который принимает свет, поступающий из глазного яблока.
В устройстве обнаружения может быть дополнительно предусмотрен излучающий свет элемент, который выводит свет. Принимающий свет элемент может быть предусмотрен рядом с излучающим свет элементом.
Излучающий свет элемент может быть сформирован из множества излучающих свет секций, и принимающий свет элемент может быть предусмотрен рядом с излучающей свет секцией.
Принимающий свет элемент может принимать свет, который выводится из излучающей свет секции и отражается глазным яблоком. Дополнительно может быть предусмотрен модуль обработки сигналов, для обнаружения количества принимаемого света от множества принимающих свет элементов, расположенных в областях устройства обнаружения.
Излучающая свет секция может представлять собой пиксель отображения, который отображает информацию.
Устройство обнаружения может быть выполнено с возможностью охвата всего участка роговицы, когда устройство обнаружения надето на глазное яблоко.
В состоянии, в котором устройство обнаружения надето на глазное яблоко, по меньшей мере, одна из излучающей свет секции и принимающего свет элемента может быть предусмотрена в области устройства обнаружения, которое противоположно области в диапазоне, в котором может двигаться зрачок глазного яблока.
Поперечная ширина может быть установлена большей, чем вертикальная ширина, на которой устройство обнаружения охватывает глазное яблоко.
Элемент, отличающийся от излучающего свет элемента и принимающего свет элемента, может быть предусмотрен рядом с поперечным концом устройства обнаружения.
Устройство обнаружения может иметь структуру для фиксации устройства обнаружения относительно головы, в которой находится глазное яблоко.
Модуль обработки сигналов может определять направление глазного яблока на основе количества принимаемого света от множества принимающих свет элементов.
Модуль обработки сигналов может рассчитывать степень схождения левого и правого глаз на основе направления глазного яблока, и направление глазного яблока, которое составляет пару с глазным яблоком, и рассчитывать расстояние до целевого объекта, на который смотрит пользователь, на основе степени схождения.
Модуль обработки сигналов может определять диаметр зрачка глазного яблока на основе количества принимаемого света множеством принимающих свет элементов.
Модуль обработки сигналов может обнаруживать состояние живого организма на основе количества принимаемого света от множества принимающих свет элементов.
Секция излучения света может излучать свет, имеющий заданную длину волны, в глазное яблоко, или излучать свет, имеющий разные длины волн, в глазное яблоко по порядку, и модуль обработки сигналов может обнаруживать состояние живого организма на основе количества принимаемого света для света, имеющего заданную длину волны, или света, имеющего разные длины волн, которые излучаются в глазное яблоко, в принимающих свет элементах.
Излучающая свет секция может представлять собой пиксель отображения, который отображает информацию. Излучающая свет секция может излучать в глазное яблоко, через определенный период, в течение которого отображается информация, свет, имеющий заданную длину волны, или свет, имеющий разные длины волн.
Способ обнаружения, в соответствии с аспектом настоящей технологии, представляет собой способ обнаружения для устройства обнаружения, включающего в себя элемент, принимающий свет, который принимает свет, поступающий из глазного яблока, и модуль обработки сигналов, который обнаруживает количество принимаемого света элементом, принимающим свет, и который может быть надет на глазное яблоко, способ, включающий в себя: этап приема света, состоящий в приеме принимающим свет элементом света, отраженного глазным яблоком; и этап обнаружения, на котором обнаруживают, модулем обработки сигналов, количество принимаемого света множеством принимающих свет элементов, расположенных в областях устройства обнаружения.
Способ обнаружения может дополнительно включать в себя этап излучения света, состоящий в выводе света излучающим свет элементом, предусмотренным в устройстве обнаружения. Принимающий свет элемент может принимать, на этапе приема света, свет, выводимый из излучающего свет элемента, и отражаемый глазным яблоком.
Способ обнаружения может дополнительно включать в себя этап расчета, состоящий в определении, модулем обработки сигналов, направления глазного яблока на основе количества принимаемого света от множества принимающих свет элементов.
В способе обнаружения модуль обработки сигналов может рассчитывать, на этапе расчетов, величину схождения левого и правого глаз на основе направления глазного яблока и направления глазного яблока, которое составляет пару с глазным яблоком, и рассчитывать расстояние до целевого объекта, на которое смотрит пользователь, на основе степени схождения.
В аспекте настоящей технологии, в устройстве обнаружения, которое включает в себя принимающий свет элемент, который принимает свет, поступающий от глазного яблока, и которое может быть надето на глазное яблоко, свет, отраженный глазным яблоком, принимают с помощью принимающего свет элемента.
Эффекты изобретения
В соответствии с аспектом настоящей технологии возможно улучшить работоспособность, используя простую конфигурацию.
Краткое описание чертежей
Фиг. 1 - Схема, представляющая пример конфигурации внешнего вида устройства отображения.
Фиг. 2 - Схема, представляющая пример конфигурации устройства отображения.
Фиг. 3 - Схема, представляющая пример конфигурации области отображения.
Фиг. 4 - Схема для описания обнаружения линии взгляда.
Фиг. 5 - Схема для описания обнаружения линии взгляда.
Фиг. 6 - Схема для описания обнаружения положения наблюдения.
Фиг. 7 - Схема для описания обработки, выполняемой устройством управления.
Фиг. 8 - Схема, представляющая пульсации сердца.
Фиг. 9 - Схема, представляющая глазное яблоко.
Фиг. 10 - Схема для описания диапазона движения зрачка.
Фиг. 11 - Блок-схема последовательности операций для описания обработки калибровки.
Фиг. 12 - Блок-схема последовательности операций для описания обработки обнаружения линии взгляда.
Фиг. 13 - Блок-схема последовательности операций для описания обработки обнаружения состояния живого организма.
Фиг. 14 - Схема, представляющая другой пример конфигурации устройства отображения.
Фиг. 15 - Схема, представляющая состояние с надетым устройством отображения.
Фиг. 16 - Схема для описания выпуклых участков устройства отображения.
Фиг. 17 - Схема для описания участков с большим трением устройства отображения.
Фиг. 18 - Схема для описания областей выпуклых участков или участков с большим трением устройства отображения.
Фиг. 19 - Схема, представляющая другой пример конфигурации области отображения.
Фиг. 20 - Схема, представляющая другой пример конфигурации области отображения.
Фиг. 21 - Схема, представляющая другой пример конфигурации области отображения.
Фиг. 22 - Схема, представляющая другой пример конфигурации устройства отображения.
Фиг. 23 - Схема, представляющая пример конфигурации устройства обнаружения линии взгляда.
Фиг. 24 - Схема, представляющая пример конфигурации области обнаружения.
Фиг. 25 - Блок-схема последовательности операций для описания обработки калибровки.
Фиг. 26 - Блок-схема последовательности операций для описания обработки обнаружения линии взгляда.
Осуществление изобретения
Далее, со ссылкой на чертежи, будут описаны варианты осуществления, в которых применяется настоящая технология.
Первый вариант осуществления
Пример конфигурации устройства отображения типа контактной линзы
Настоящая технология относится к устройству отображения типа контактной линзы. Устройство отображения типа контактной линзы используется беспроводно, будучи надетым на глазное яблоко пользователя. Поэтому, когда оно используется для выполнения функции устройства отображения, пользователь может, например, свободно прогуливаться с надетым устройством отображения. Однако при выполнении посредством внешнего устройства, такого, как камера и устройства обнаружения, операции выбора/перемещения курсора, указателя и т.п. относительно информации на отображаемом экране, возникает нагрузка или ограничение для пользователя.
Ввиду этого, в настоящей технологии, принимающие свет элементы предусмотрены рядом с элементом отображения, который отображает изображение. Таким образом, может быть реализован интерфейс пользователя для управления курсором, указателем и т.п., без необходимости использования внешних устройств, кроме устройства отображения.
В устройстве отображения типа контактной линзы свет, отраженный на поверхность глазного яблока, излучаемый элементом отображения, обнаруживается принимающими свет элементами. В этом случае отраженный свет обнаруживается на склере или радужной оболочке поверхности глазного яблока. В отличие от этого, на участке зрачка свет проходит через глазное яблоко, и количество отраженного света становится меньше. Таким образом, участок с меньшим количеством отраженного света обнаруживается, как зрачок. На основе детектируемого движения зрачка обнаруживается линия взгляда.
Учитывая это, становится возможным определять направление, в котором ориентировано глазное яблоко. Таким образом, интерфейс пользователя для управления курсором, указателем и т.п. может быть предусмотрен, без использования внешнего устройства. Таким образом, становится возможным улучшить работоспособность устройства отображения, используя простую конфигурацию.
Далее будет описан конкретный вариант осуществления устройства отображения типа контактной линзы, в котором применяется настоящая технология.
Устройство отображения типа контактной линзы надето на глазное яблоко пользователя, как показано на фиг. 1.
На фиг. 1 устройство 11 отображения типа контактной линзы надето на поверхность глазного яблока EY11 пользователя. Устройство 11 отображения имеет такую форму, что его можно носить или снимать на/с глазного яблока EY11 пользователя так же, как, так называемую, контактную линзу.
Такое устройство 11 отображения выполнено, например, так, как показано на фиг. 2.
В частности, устройство 11 отображения состоит из области 21 отображения, антенны 22 питания, сигнальной антенны 23, модуля 24 генерирования электроэнергии, датчика 25, модуля 26 обработки сигналов и модуля 27 управления элементом отображения.
Следует отметить, что на фиг. 2 показана схема устройства 11 отображения, если рассматривать его в направлении слева направо на фиг. 1. Таким образом, здесь представлена схема в том виде, когда пользователя, на которого надето устройство 11 отображения, рассматривают спереди. На фиг. 2 устройство 11 отображения имеет круглую форму.
Область 21 отображения включает в себя элемент отображения и принимающие свет элементы. Элемент отображения сформирован из множества пикселей отображения, которые отображают информацию, такую как изображение и знак, представленный для пользователя. Принимающие свет элементы расположены рядом с пикселями отображения и принимают свет, отраженный поверхностью глазного яблока пользователя.
Антенна 22 питания предусмотрена так, что она окружает область 21 отображения и принимает индуцируемую электродвижущую силу, благодаря магнитному полю или электрическому полю, прикладываемому снаружи. Сигнальная антенна 23 передает наружу информацию, поступающую из модуля 26 обработки сигналов, такую, как результат операции интерфейса пользователя на основе линии взгляда пользователя. Сигнальная антенна 23 принимает информацию, передаваемую снаружи, такую как информация, отображаемая пикселями отображения, и подает ее в модуль 26 обработки сигналов.
Модуль 24 генерирования электроэнергии выпрямляет индуцированный ток, генерируемый в антенне 22 питания, под действием электромагнитной индукции магнитного поля и т.п., приложенного снаружи, с тем, чтобы, таким образом, получить и сохранить электроэнергию, и подает электроэнергию в соответствующие блоки устройства 11 отображения. Следует отметить, что, в случае, когда модуль 24 генерирования электроэнергии самостоятельно генерирует энергию, в соответствии с заданным способом, или включает в себя перезаряжаемую аккумуляторную батарею, в устройстве 11 отображения не требуется предусматривать антенну 22 питания.
Датчик 25 сформирован из гиродатчика, датчика силы тяжести и т.п. Датчик 25 обнаруживает положение или движение пользователя, на которого надето устройство 11 отображения, и подает результат своего обнаружения в модуль 26 обработки сигналов. Например, движение головы пользователя обнаруживается датчиком 25.
Модуль 26 обработки сигналов управляет всем устройством 11, отображения. Например, на основе сигналов, подаваемых из принимающих свет элементов области 21 отображения, модуль 26 обработки сигналов обнаруживает разницу между количеством принимаемого света принимающими свет элементами, расположенными в областях устройства 11 отображения, чтобы, таким образом, обнаруживать линию взгляда пользователя. Кроме того, на основе результата обнаружения, подаваемого из датчика 25, результата обнаружения линии взгляда, информации, принимаемой сигнальной антенной 23 и т.п., модуль 26 обработки сигналов управляет модулем 27 управления элементом отображения для отображения изображения и т.п. в области 21 отображения.
В частности, например, когда устройство 11 отображения поворачивается относительно глазного яблока пользователя, датчик 25 выполнен с возможностью обнаруживать направление поворота и величину его поворота. С учетом этого, модуль 26 обработки сигналов управляет модулем 27 управления элементом отображения, для правильного поворота изображения, в настоящий момент отображаемого в области 21 отображения, в направлении, противоположном направлению поворота устройства 11 отображения относительно глазного яблока, которое подают из датчика 25, на величину, соответствующую величине поворота устройства 11 отображения. Таким образом, даже если устройство 11 отображения повернется на глазном яблоке пользователя, может быть скорректирован полученный в результате поворот изображения, и легко видимое изображение будет представлено пользователю.
Модуль 27 управления элементом отображения управляет элементом отображения в области 21 отображения под управлением модуля 26 обработки сигналов для отображения изображения или для подачи сигналов, которые поступают из элементов приема света области 21 отображения, в модуль 26 обработки сигналов. Далее, сигналы в соответствии с количеством принимаемого света принимающих свет элементов, которые выводят из принимающих свет элементов в области 21 отображения, будут называться сигналами принимаемого света.
Область 21 отображения устройства 11 отображения выполнена, например, так, как показано на фиг. 3. Следует отметить, что на фиг. 3 показана часть поперечного сечения устройства 11 отображения, как устройство 11 отображения, просматриваемое в направлении глубины на фиг. 1.
На фиг. 3 область 21 отображения устройства 11 отображения включает в себя пиксели от 51-1 до 51-7 отображения, которые отображают информацию, такую как изображение, и принимающие свет элементы от 52-1 до 52-7 отображения, которые принимают отраженный свет, поступающий от поверхности глазного яблока пользователя. Одно устройство отображения, сформированное из пикселей от 51-1 до 51-7 отображения, представляют собой элемент 53 отображения.
Ниже, в случае, когда пиксели от 51-1 до 51-7 отображения не требуется, в частности, отличать друг от друга, они будут также просто называться пикселями 51 отображения. Кроме того, в случае, когда принимающие свет элементы от 52-1 до 52-7 не требуется, в частности, различать друг от друга, они будут также просто назваться принимающими свет элементами 52.
Элемент 53 отображения состоит, например, из элемента жидкокристаллического отображения или элемента отображения на основе органической электролюминесценции (OLED (органический светодиод)). В примере на фиг. 3 пиксели 51 отображения и принимающие свет элементы 52 поочередно размешены в вертикальном направлении с правой стороны устройства 11 отображения, то есть, на стороне глазного яблока пользователя на чертеже. Таким образом, например, на фиг. 2, пиксели 51 отображения и принимающие свет элементы 52 поочередно размещены в вертикальном и в поперечном направлениях на фиг. 2 в области 21 отображения.
Слой 54 смазки предусмотрен с левой стороны от пикселей 51 отображения и от принимающих свет элементов 52 в устройстве 11 отображения, на чертеже, то есть, на стороне внешнего мира устройства 11 отображения. Слой 54 смазки, например, сформирован из прозрачной синтетической полимерной смолы. Благодаря слою 54 смазки, веко пользователя может плавно двигаться, когда на глаз пользователя надето устройство 11 отображения.
Со ссылкой на фиг. 3, был описан пример, в котором пиксели 51 отображения и принимающие свет элементы 52 находятся в тесном контакте. Однако пиксели 51 отображения и принимающие свет элементы 52 не обязательно должны находиться в тесном контакте, и может быть предусмотрен зазор между пикселями 51 отображения и принимающими свет элементами 52. Кроме того, на фиг. 3, один принимающий свет элемент 52 предусмотрен для одного пикселя 51 отображения. Однако один принимающий свет элемент 52 может быть предусмотрен для множества пикселей 51 отображения.
Обнаружение линии взгляда
Далее будет описано обнаружение линии взгляда пользователя устройством 11 отображения.
Например, как показано на фиг. 4, предполагается, что в устройстве 11 отображения, надетом на глазное яблоко EY11 пользователя, предусмотрены пиксели от 51-1 до 51-11 отображения и принимающие свет элементы от 52-1 до 52-12. Кроме того, область в области 21 отображения в устройстве 11 отображения, которая противоположна участку на месте глазного яблока EY11 пользователя, которое отличается от зрачка ВЕ11, например, склеры или радужной оболочки, будет называться областью А. Область в области 21 отображения, которая противоположна зрачку ВЕ11, будет называться областью В.
Когда пиксели 51 отображения, расположенные в областях А и В, излучают свет, свет, излучаемый от пикселей 51 отображения, поступает в глазное яблоко EY11 и попадает в глазное яблоко EY11, как обозначено метками в виде стрелки из сплошной линии на чертеже.
Например, некоторая часть света, выводимого из пикселей 51 отображения, которая попала на непрозрачное место, такое как склера и радужная оболочка глазного яблока EY11, поглощается и отражается поверхностью глазного яблока EY11. Поэтому, в области А, некоторая часть света, выводимая из пикселей 51 отображения, отражается, как обозначено метками в виде стрелок из пунктирных линий, поверхностью глазного яблока EY11 и принимается (обнаруживается) принимающими свет элементами 52.
В отличие от этого, зрачок ВЕ11 является прозрачным, и, следовательно, некоторая часть света, излучаемого из пикселей 51 отображения, которая попала в зрачок ВЕ11, в малой степени отражается зрачком ВЕ11, но поступает на сетчатку глазного яблока EY11 и поглощается сетчаткой. Таким образом, как обозначено метками в виде стрелки из сплошных линий на чертеже, в области В, свет, поступающий из пикселей 51 отображения, в малой степени отражается поверхностью глазного яблока EY11, но поглощается сетчаткой. Поэтому, в области В, свет, выходящий из пикселей 51 отображения, в малой степени обнаруживается принимающими свет элементами 52.
Таким образом, путем обнаружения разности между количеством света от пикселей 51 отображения, которые принимают принимающие свет элементы 52, можно определить направление глазного яблока EY11, обозначающее направление, в котором сориентировано глазное яблоко EY11 (зрачок ВЕ11), то есть, направление линии взгляда пользователя. В частности, если только можно определять направление линии взгляда пользователя в каждый момент времени, становится возможным обнаруживать движение глазного яблока, то есть, движение линии взгляда и также можно выполнять оценку психического состояния или ощущений пользователя на основе движения линии взгляда.
Строго говоря, малая степень отражения происходит на всех поверхностях глазного яблока EY11. Однако количество отраженного света в области В очень мало по сравнению с количеством отраженного света в области А. Поэтому, становится возможным в достаточной степени отличать область А от области В.
Кроме того, в состоянии, в котором у пользователя закрыты глаза, только свет, который был выведен из пикселей 51 отображения и отражается глазным яблоком EY11, поступает к принимающим свет элементам 52. С другой стороны, если пользователь открывает глаза, когда обеспечивается пропуск некоторого количества света через область 21 отображения, окружающий свет, который поступил в глазное яблоко EY11 снаружи через область 21 отображения и был отражен глазным яблоком EY11, попадает в принимающие свет элементы 52 вместе со светом, выводимым из пикселей 51 отображения.
Также, в таком случае, окружающий свет, попадающий на непрозрачное место глазного яблока EY11, такое как склера и радужная оболочка, отражается глазным яблоком EY11 и поступает в принимающие свет элементы 52, в то время как большая часть окружающего света, поступающего в зрачок ВЕ11 глазного яблока EY11, проходит через зрачок ВЕ11 и попадает на сетчатку. Таким образом, окружающий свет, попадающий в зрачок ВЕ11, отражается в малой степени, и количество принимаемого света от окружающего света в принимающих свет элементах 52, будет малым. Поэтому, независимо от того, открыты ли глаза пользователя или нет, возможно в достаточной степени отличать область А от области В.
В частности, например, в случае, когда пользователь обращен вперед, как обозначено меткой Q11 в виде стрелки на фиг. 5, карту сигнала принимаемого света, обозначенную меткой Q12 в виде стрелки, получают в модуле 26 обработки сигналов.
Например, карта сигнала принимаемого света, обозначенная меткой Q12 в виде стрелки, представляет собой данные изображения, обозначающие количество света, принятого каждым принимающим свет элементом 52. Кроме того, светлые и темные кружки на карте сигнала принимаемого света обозначают значения сигналов принимаемого света, выводимые из принимающих свет элементов 52 в области 21 отображения, которая имеет такую же взаимосвязь положений, как и у кругов на карте сигнала принимаемого света.
Например, светлый кружок на карте сигнала принимаемого света обозначает, что количество принимаемого света принимающим свет элементом 52, соответствующим кружку, является большим, то есть, значение сигнала принимаемого света больше. Кроме того, в этом примере, принимающие свет элементы 52 расположены в виде массива в области 21 отображения, и, следовательно, также на карте сигнала принимаемого света, кружки, соответствующие принимающим свет элементам 52 также размещены в вертикальном и поперечном направлениях.
В состоянии, обозначенном меткой Q11 в виде стрелки, зрачок ВЕ11 обращен влево на чертеже, и, следовательно, направления линии взгляда пользователя приблизительно представляет собой направление вперед. Поэтому, на карте сигнала принимаемого света, обозначенной меткой Q12 в виде стрелки, область приблизительно в центре карты сигнала принимаемого света, которая соответствует зрачку ВЕ11, представлена более темной, чем окружающая ее область. Более темная область имеет такую же круглую форму, как и у зрачка ВЕ11. То есть, это связано с тем, что отражение в малой степени возникает в зрачке ВЕ11, как описано выше.
Кроме того, на карте сигнала принимаемого света область, окружающая центральную область, соответствующую зрачку ВЕ11, обозначает положения участков, получающих большое количество отраженного света, таких как склера и радужная оболочка в глазном яблоке EY11.
В устройстве 11 отображения, интервалы между принимающими свет элементами 52, расположенными в виде массива, фиксируют на стадии разработки. Поэтому, на основе карты сигнала принимаемого света, может быть легко рассчитано центральное положение зрачка ВЕ11, то есть, направление линии взгляда.
Например, результат обнаружения направления линии взгляда пользователя представляет собой положение в области устройства 11 отображения, которое находится в контакте с глазным яблоком EY11, на которое ориентирован центр зрачка ВЕ11, то есть, положение (ниже называется положением линии взгляда), которое находится в контакте с центром зрачка ВЕ11. Поэтому, например, в примере, обозначенном меткой Q11 в виде стрелки, положение приблизительно в центре устройства 11 отображения представляет собой положение линии взгляда.
В устройстве 11 отображения также возможно рассчитать диаметр зрачка ВЕ11 на основе карты сигнала принимаемого света. Например, область, в которой значение сигнала принимаемого света равно или меньше, чем заданное значение, представляет собой область зрачка ВЕ11, и диаметр этой области представляет собой диаметр зрачка ВЕ11.
Кроме того, как обозначено меткой Q13 в виде стрелки, в случае, когда пользователь смотрит несколько вверх, в модуле 26 обработки сигналов получают карту сигнала принимаемого света, обозначенную меткой Q14 в виде стрелки.
В состоянии, обозначенном меткой Q13 в виде стрелки, зрачок ВЕ11 ориентирован несколько в направлении вверх на чертеже, и, следовательно, направление линии взгляда пользователя представляет собой направление, направленное несколько вверх. Поэтому, на карте сигнала принимаемого света, обозначенной меткой Q14 в виде стрелки, область карты сигнала принимаемого света, которая соответствует зрачку ВЕ11, расположена несколько выше, чем на карте сигнала принимаемого света, обозначенного меткой Q12 в виде стрелки.
Как описано выше, в модуле 26 обработки сигналов, положение линии взгляда, то есть, направление глазного яблока EY11 может быть определено путем обнаружения положения зрачка ВЕ11 на основе карты сигнала принимаемого света, получаемой на основе сигналов принимаемого света, выводимых из элементов 52 принимаемого света. Кроме того, в модуле 26 обработки сигналов, положение в направлении сверху, снизу, слева и справа от целевого объекта в изображении, отображаемом в настоящее время в области 21 отображения или в реальном пространстве, на которое смотрит пользователь, можно рассчитать на основе направления глазного яблока EY11.
К вопросу о расстоянии до положения обзора
В устройстве 11 отображения также возможно определять, на основе карты сигнала принимаемого света, расстояние до целевого объекта, на которое смотрит пользователь.
Теперь, как показано на фиг. 6, будет описан принцип обнаружения расстояния до положения обзора, на основе направлений левого и правого глазных яблок пользователя.
Например, как показано на фиг. 6, предполагается, что на пользователя надето устройство DP11L отображения на левом глазном яблоке EY21L (левый глаз) и устройство DP11R отображения на правом глазном яблоке EY21R (правый глаз), и он смотрит на заданный целевой объект OB11 или ОВ12.
Здесь устройства DP11L и DP11R отображения представляют собой устройства, каждое из которых является эквивалентным устройству 11 отображения.
На фиг. 6 целевой объект ОВ11 расположен в положении АТ11 наблюдения и целевой объект ОВ12 расположен в положении AT12 наблюдения. Расстояние от пользователя до положения AT11 больше, чем расстояние от пользователя до положения AT12 наблюдения. Таким образом, положение АТ11 наблюдения расположено дальше от пользователя, чем положение AT12 наблюдения.
В общем, когда человек рассматривает некоторый объект, левый и правый глаза имеют схождение, зависящее от расстояния до объекта. Таким образом, левое и правое глазные яблоки поворачиваются внутрь, и углы их поворота изменяются, в зависимости от расстояния до рассматриваемого объекта.
Например, в примере, показанном с левой стороны на фигуре, пользователь рассматривает целевой объект ОВ11 в положении АТ11 наблюдения приблизительно перед пользователем. В этом примере угол, формируемый прямой линией, соединяющей центр зрачка BE21L левого глазного яблока EY21L пользователя и целевой объект ОВ11, и прямая линия, соединяющая центр правого глазного яблока EY21R зрачка BE21R и целевой объект ОВ11, представляют собой угол схождения пользователя, рассматривающего целевой объект ОВ11. Угол схождения обозначает степень схождения левого и правого глаз пользователя.
Когда пользователь рассматривает целевой объект ОВ11 так, как описано выше, карту RM11L сигнала принимаемого света для левого глаза получают в устройстве DP11L отображения, надетом на левое глазное яблоко EY21L, и карту RM11R сигнала принимаемого света для правого глаза получают в устройстве DP11R отображения, надетом на правое глазное яблоко EY21R.
Как можно видеть на карте RM11L сигнала принимаемого света и на карте RM11R сигнала принимаемого света, левый и правый зрачки BE21L и BE21R пользователя ориентированы несколько внутрь, если смотреть со стороны пользователя.
Кроме того, например, в примере, показанном с правой стороны на чертеже, пользователь рассматривает целевой объект ОВ12 в положении AT12 наблюдения приблизительно перед пользователем. В этом примере угол, формируемый прямой линией, соединяющей центр зрачка BE21L левого глазного яблока EY21L пользователя и целевой объект ОВ12, и прямая линия, соединяющая центр зрачка BE21R правого глазного яблока EY21R и целевой объект ОВ12, представляют собой угол схождения пользователя, рассматривающего целевой объект ОВ12.
Когда пользователь рассматривает целевой объект ОВ12, как описано выше, карту RM12L сигнала принимаемого света для левого глаза получают в устройстве DP11L отображения, надетом на левом глазном яблоке EY21L, и карту RM12R сигнала принимаемого света ля правого глаза получают в устройстве DP11R отображения, надетом на правое глазное яблоко EY21R.
Как можно видеть в примере, показанном на фиг. 6, по мере того, как расстояние от пользователя до наблюдаемого целевого объекта становится ближе, угол схождения пользователя, рассматривающего целевой объект, становится больше. Например, в примере на фиг. 6, угол схождения при наблюдении за целевым объектом ОВ12 больше, чем угол схождения при наблюдении за целевым объектом OB11.
Кроме того, при таком изменении угла схождения, положение зрачка пользователя (положение линии взгляда) в карте сигнала принимаемого света также изменяется. В примере на фиг. 6 можно видеть, что в карте сигнала принимаемого света положение зрачка при просмотре целевого объекта ОВ12 располагается на внутренней стороне пользователя (центральная сторона пользователя) по сравнению с положением зрачка при наблюдении за целевым объектом OB11.
В устройстве 11 отображения, угол схождения левого и правого глаз пользователя можно рассчитать на основе направлений левого и правого глазных яблок в паре, которые получают на основе результата обнаружения света принимающими свет элементами 52, то есть, по положениям зрачков карты сигнала принимаемого света. На основе полученного угла схождения можно определять расстояние до наблюдаемого объекта и верхнее, нижнее, левое и правое положения наблюдаемого объекта.
Если расстояние до наблюдаемого объекта может быть определено таким образом, можно различать не только положение в левом и правом направлениях, но также и положение в направлении глубины. Поэтому, например, когда изображения, кнопки и т.п., имеющие параллакс, отображаются для левого и правого глаз, может быть реализована операция с ощущением глубины.
В устройстве DP11L отображения и в устройстве DP11R отображения угол схождения может быть рассчитан, используя только карту сигнала принимаемого света, полученную на основе сигналов принимаемого света самими принимающими свет элементами 52. В качестве альтернативы, угол схождения может быть рассчитан, используя карту сигнала принимаемого света для левого и правого глаз.
В случае, когда угол схождения рассчитывают на основе карты сигнала принимаемого света для левого и правого глаз, например, устройство DP11L отображения связывается с устройством DP11R отображения и принимает карту сигнала принимаемого света, полученную устройством DP11R отображения. Затем устройство DP11L отображения рассчитывает угол схождения на основе карты сигнала принимаемого света, полученного устройством DP11L отображения, и карты сигнала принимаемого света, принятого из устройства DP11R отображения, и передает полученный угол схождения в устройство DP11R отображения. При расчете угла схождения рассчитывают направление глазного яблока, обозначающее положение зрачка на карте сигнала принимаемого света для левого глаза, и направление глазного яблока, обозначающее положение зрачка в карте сигнала принимаемого свет для правого глаза.
Таким образом, в устройстве DP11L отображения и в устройстве DP11R отображения может быть получен общий угол схождения. В таком случае, угол схождения рассчитывают в модуле 26 обработки сигналов, и угол схождения передают/принимают с помощью сигнальной антенны 23. Кроме того, модуль 26 обработки сигналов определяет расстояние до наблюдаемого объекта и положения сверху, снизу, слева и справа от наблюдаемого объекта, используя угол схождения, в зависимости от потребностей. Расстояние до наблюдаемого объекта и т.п. может быть передано из устройства DP11L отображения в устройство DP11R отображения.
Кроме того, в случае, когда каждое из левого и правого устройств DP11L и DP11R отображения рассчитывает угол схождения на основе одной карты сигнала принимаемого света, угол схождения рассчитывают на основе положения зрачка на карте сигнала принимаемого света для левого или правого глаза. Поэтому, в случае, когда целевой объект не находится перед пользователем, разные углы схождения получают в устройствах DP11L и DP11R отображения. Таким образом, получают левый и правый асимметричные углы схождения. Однако на основе левого и правого углов схождения становится возможным определить расстояние до целевого объекта или положение в направлениях слева, справа, сверху и снизу от целевого объекта.
Следует отметить, что другое устройство может рассчитывать угол схождения на основе карты сигнала принимаемого света, получаемой устройством DP11L отображения и карты сигнала принимаемого света, получаемой в устройстве DP11R отображения.
В таком случае, например, как показано на фиг. 7, устройство 81 управления связывается с устройствами DP11L и DP11R отображения и принимает карты сигнала принимаемого света.
Затем устройство 81 управления рассчитывает угол схождения на основе карты сигнала принимаемого света, получаемой из устройства DP11L отображения, и карты сигнала принимаемого света, принимаемой из устройства DP11R отображения, и передает полученный угол схождения в устройства DP11L и DP11R отображения.
Следует отметить, что устройство 81 управления может быть выполнено с возможностью расчета расстояния до целевого объекта или положения и т.п. целевого объекта на основе угла схождения, и передавать его в устройства DP11L и DP11R отображения.
Как описано выше, в соответствии с устройством 11 отображения, становится возможным непосредственно принимать отраженный свет от глазного яблока и обнаруживать движение глазного яблока, то есть, направление глазного яблока (положение линии взгляда) в каждый момент времени. В частности, благодаря предоставлению множества принимающих свет элементов 52 в области 21 отображения, становится возможным точно обнаруживать малые движения глазного яблока.
Обнаружение микросаккад
Известно, что движения глазного яблока включают в себя малые движения, называемые саккадами. В частности, наибольшие движения среди непреднамеренных движений глазного яблока, которые возникают во время визуальной фиксации, называются микросаккадами.
Вместо случайных движений такие малые окулярные сдвиги могут быть направлены туда, где секретно фокусируется сознание человека, даже если его/ее пристальный взгляд направлен в другое место, открывая скрытые мысли и желания.
Поэтому, если устройство 11 отображения обнаруживает микросаккады, становится возможным определять не только целевой объект, на который пристально смотрит пользователь, но также и целевой объект, которым пользователь потенциально заинтересован.
В частности, например, модуль 26 обработки сигналов обнаруживает на основе карты сигнала принимаемого света в каждый момент времени направление глазного яблока, то есть, положение линии взгляда в каждый момент времени. Затем, если то же положение линии взгляда обнаруживается в большинстве моментов времени в заданный период времени, такое положение линии взгляда представляет собой положение, на которое пристально смотрит пользователь, то есть, положение целевого объекта, на котором сфокусирован пользователь.
Кроме того, модуль 26 обработки сигналов обнаруживает одно из положений линии взгляда, отличное от положения, на которое пристально смотрит пользователь, которое получают в точке времени, в которое движение направления глазного яблока является наибольшим за упомянутый выше заданный период, как положение целевого объекта, в котором пользователь потенциально заинтересован. Таким образом, наибольшее движение глазного яблока обнаруживают, как микросаккаду.
Обнаружение состояния живого организма
Устройство 11 отображения также позволяет обнаруживать состояние живого организма.
Например, устройство 11 отображения выполнено с возможностью обнаружения пульсаций сердца пользователя в состоянии живого организма. Далее будет описан принцип обнаружения пульсаций.
В устройстве 11 отображения свет, выводимый пикселям 51 отображения, имеющий заданную длину волны, и свет, отраженный поверхностью глазного яблока, принимают принимающими свет элементами 52. Затем модуль 26 обработки сигналов обнаруживает пульсации сердца пользователя, на которого надето устройство 11 отображения, на основе значений сигналов принимаемого света, подаваемых из принимающих свет элементов 52, через модуль 27 управления элементом отображения.
Например, пульсации сердца периодически генерируются, как показано на фиг. 8. Время пульсации является коротким в отношении цикла, и поток крови генерируется в моменты времени пульсации. Следует отметить, что на фиг. 8 горизонтальная ось обозначает время, и вертикальная ось обозначает значение сигнала принимаемого света, то есть, скорость потока крови.
Как можно видеть на фиг. 8, участки, на которых скорость потока крови резко изменяется, представляют собой участки пульсации, и пульсации генерируются периодически.
В моменты времени, в которые скорость потока крови увеличивается в результате пульсации, количество крови, протекающей через капиллярные сосуды, увеличивается. Таким образом, становится возможным обнаруживать пульсацию на основе присутствия/отсутствия потока крови. Капиллярные сосуды продолжаются через глазное яблоко, и по ним протекают потоки крови, в зависимости от пульсаций сердца.
Оксигемоглобин и деоксигемоглобин, которые представляют собой компоненты крови, имеют разные спектральные характеристики поглощения света. Деоксигемоглобин имеет высокий коэффициент поглощения с длиной волны короче, чем 805 нм. Оксигемоглобин имеет высокий коэффициент поглощения на длине волны, большей, чем 805 нм.
Учитывая это, модуль 26 обработки сигналов управляет модулем 27 управления элементом отображения для вывода, из пикселей 51 отображения, света, имеющего заданную длину волны, которая короче, чем длина волны 805 нм, и света, имеющего заданную длину волны, длиннее, чем длина волны 805 нм по порядку (поочередно). Кроме того, модуль 26 обработки сигналов обеспечивает прием света, выводимого из пикселей 51 отображения и отраженного поверхностью глазного яблока, в принимающих свет элементах 52. Здесь свет, имеющий длину волны короче, чем 805 нм, может представлять собой видимый свет.
Затем модуль 26 обработки сигналов определяет разницу между значением сигнала принимаемого света, полученного, когда выводят свет с короткой длиной волны, и значением сигнала принимаемого света, полученного, когда выводят свет с длинной длиной волны, чтобы, таким образом, определить, какой компонент оксигемоглобина и деоксигемоглобина в большей степени содержится в крови. Кроме того, модуль 26 обработки сигналов обнаруживает поток крови (изменение скорости потока крови) на основе результата определения, полученного на основе разности между сигналами принимаемого света и изменениями значений сигналов принимаемого света в соответствующие моменты времени, в течение заданного периода, то есть, вариации с течением времени интенсивности отраженного света, принимаемого принимающими свет элементами 52. Затем модуль 26 обработки сигналов определяет пульсацию на основе результата обнаружения потока крови.
Гемоглобин в крови имеет спектр с сильным поглощением для света в определенном диапазоне длин волн. Отраженный свет в крови (в кровеносном сосуде), когда свет в центральной полосе длин волн излучают на него, изменяется в зависимости от количества гемоглобина, которое изменяется в зависимости от вариаций емкости кровеносного сосуда. Поэтому, скорость потока крови можно обнаруживать на основе интенсивности отраженного света, излучаемого на поверхность глазного яблока (капиллярные сосуды).
Следует отметить, что скорость самого потока крови можно обнаруживать, как состояние живого организма в модуле 26 обработки сигналов.
Кроме того, устройство 11 отображения также выполнено с возможностью обнаруживать степень прилива крови в глазном яблоке.
Прилив крови в глазном яблоке представляет собой явление, при котором кровеносные сосуды на поверхности склеры расширяются и выделяются из-за некоторого влияния, и глаза выглядят красными и налитыми кровью. Скорость потока крови в случае прилива крови выше, чем нормальная.
Например, если поверхность глаза имеет конъюнктивит из-за бактериальной или вирусной инфекции, происходит прилив крови в глазу. В противном случае, кровеносные сосуды расширяются для подачи больше крови в кровеносные сосуды, для доставки кислорода и питательных веществ, если глаза устали при использовании персонального компьютера, во время игры в телевизионную игру или при чтении книги в течение длительного времени, если присутствует воздействие контактных линз, или если глаза не достаточно отдохнули. Это также приводит к приливу крови к глазам.
Модуль 26 обработки сигналов устройства 11 отображения выполняют такую же обработку, как и в случае, описанном выше при детектировании пульсаций сердца, для обнаружения скорости потока крови в глазном яблоке пользователя и сравнения нормальной скорости потока крови с детектируемой скоростью потока крови. Таким образом, определяют степень прилива крови к глазу. Например, в результате определения разности между скоростями потока крови, можно обнаруживать увеличение скорости потока крови по сравнению с нормальной скоростью потока крови. Следует отметить, что нормальная скорость потока крови может представлять собой заранее установленное значение или может представлять собой значение, определенное в прошлом на основе скоростей потока крови.
В результате обнаружения устройством 11 отображения степени прилива крови в глазу пользователя, становится возможным определить, присутствует или нет ненормальное состояние в глазном яблоке, из-за усталости или болезни.
Как описано выше, устройство 11 отображения обнаруживает состояние живого организма (состояние тела человека), такое как частота биений сердца и степень прилива крови к глазу, и, следовательно, результат его обнаружения можно использовать для различных программных приложений и т.п.
Например, увеличение частоты биений сердца, когда пользователь удивлен или возбужден, можно обнаруживать с помощью устройства 11 отображения. Кроме того, устройство 11 отображения позволяет определять объект, который вызывает удивление или волнение на основе линии взгляда (движения глазного яблока) пользователя и результата обнаружения микроссакад.
Области отображения
В частности, устройство 11 отображения имеет такую структуру, что оно охватывает область, большую, чем участок роговицы глазного яблока, показанного на фиг. 9. На фиг. 9 затушеванный участок глазного яблока EY31 представляет участок CO11 роговицы.
Устройство 11 отображения имеет такие размер и форму, что оно охватывает весь участок СО11 роговицы, когда устройство 11 отображения надето на глазное яблоко EY31.
Например, как показано с верхней стороны на фиг. 10, в состоянии, в котором пользователь обращен вперед, зрачок ВЕ11 глазного яблока EY11 также ориентирован вперед. Следует отметить, что, на фиг. 10, участки, соответствующие представленным на фиг. 4, будут обозначены такими же номерами ссылочных позиций, и описание их, соответственно, исключено.
В примере, показанном с верхней стороны на фиг. 10, зрачок ВЕ11 ориентирован вперед, и свет, поступающий из пикселей 51 отображения устройства 11 отображения попадает на глазное яблоко EY11.
Следует отметить, что метки в виде стрелок из сплошных линий на фигуре обозначают некоторый выходящий свет из пикселей 51 отображения, который поступает через зрачок ВЕ11 и попадает на сетчатку. Метки в виде стрелок из пунктирных линий на фигуре обозначают лучи света, когда некоторая часть из выходного света из пикселей 51 отображения, которые не проходят через зрачок ВЕ11, но поглощаются или отражаются глазным яблоком EY11, попадает на сетчатку, например, без поглощения и отражения поверхностью глазного яблока EY11.
Как можно видеть в примере с верхней стороны на фигуре, свет, выводимый из пикселей 51 отображения в области устройства 11 отображения, которая противоположна зрачку ВЕ11, поступает на сетчатку, и свет, выводимый из пикселей 51 отображения в области, противоположной участку, отличному от зрачка ВЕ11, не поступает на сетчатку.
Кроме того, с нижней стороны на фигуре показано состояние глазного яблока EY11, когда пользователь смотрит вверх. В этом примере, по сравнению с примером с верхней стороны на чертеже, зрачок ВЕ11 движется в направлении конца (внешней окружности) устройства 11 отображения, и свет, выводимый из пикселей 51 отображения рядом с верхним концом устройства 11 отображения проходит через зрачок ВЕ11 и поступает на сетчатку. Кроме того, свет, выводимый из пикселей 51 отображения рядом с центром устройства 11 отображения не проходит через зрачок ВЕ11 и отражается или поглощается на/в поверхности глазного яблока EY11.
В устройстве 11 отображения пиксели 51 отображения и принимающие свет элементы 52 предусмотрены во всей области, во всей области устройства 11 отображения, которая противоположна области в диапазоне, в котором перемещается зрачок ВЕ11 вдоль движения глазного яблока EY11, как показано на фиг. 10, более конкретно, в диапазоне, в котором зрачок ВЕ11 движется в повседневной жизни. Другими словами, независимо от того, в каком направлении ориентировано глазное яблоко EY11, пиксели 51 отображения и принимающие свет элементы 52 расположены рядом с областью устройства 11 отображения, которая противоположна зрачку ВЕ11.
Таким образом, даже если глазное яблоко EY11 движется при выполнении операции с интерфейсом пользователя, становится возможным предотвратить уменьшение информации, из-за недостатка информации, отображаемой пикселями 51 отображения. Таким образом, независимо от того, в каком направлении ориентирована линия взгляда пользователя, возможно представить информацию пользователю с помощью пикселей 51 отображения и обнаруживать положение линии взгляда пользователя с помощью принимающих свет элементов 52. В таком случае, свет для отображения изображения излучается из всего поля пользователя, и изображение отображается во всем визуальном поле пользователя.
Следует отметить, что, в области с более широким диапазоном (диапазон движения зрачка) по сравнению с центром устройства 11 отображения, необходимо предусмотреть только, по меньшей мере, пиксели 51 отображения или принимающие свет элементы 52. При этом нет необходимости предоставлять пиксели 51 отображения и принимающие свет элементы 52 во всем диапазоне, в котором движется глазное яблоко.
Описание обработки калибровки
Далее будут описаны операции устройства 11 отображения.
Например, для операции интерфейса пользователя с использованием движения глазного яблока в результате перемещения линии взгляда пользователя, устройство 11 отображения может выполнять обработку калибровки, чтобы, таким образом, точно корректировать взаимосвязь положений между положением линии взгляда пользователя и положением информации, отображаемой в области 21 отображения.
Далее, со ссылкой на блок-схему последовательности операций на фиг. 11, будет описана обработка калибровки с использованием устройства 11 отображения. Обработка калибровки начинается, например, когда на глазное яблоко пользователя надето устройство 11 отображения типа контактной линзы.
На этапе S11 модуль 26 обработки сигналов управляет модулем 27 управления элементом отображения для обеспечения излучения света пикселями 51 отображения. Пиксели 51 отображения излучают свет под управлением модуля 27 управления элементом отображения и выводят свет для отображения заданного изображения.
На этапе S12 принимающие свет элементы 52 начинают обнаруживать свет, поступающий из глазного яблока. Таким образом, принимающие свет элементы 52 принимают свет, который попал в глазное яблоко снаружи от устройства 11 отображения или пикселей 51 отображения, и был отражен поверхностью глазного яблока. Затем принимающие свет элементы 52 выполняют фотоэлектрическое преобразование и подают сигналы принимаемого света, в соответствии с уровнем принимаемого света, в модуль 26 обработки сигналов через модуль 27 управления элементом отображения.
На этапе S13 модуль 26 обработки сигналов управляет модулем 27 управления элементом отображения для обеспечения отображения с помощью пикселей 51 отображения изображения для обработки калибровки. Пиксели 51 отображения излучают свет под управлением модуля 27 управления элементом отображения, чтобы, таким образом, отобразить калибровочное изображение для установки положения.
Например, изображение и т.п.метки для калибровки используется, как изображение установки положения калибровки. Изображения для положения калибровки отображаются в пяти положениях, таких как центр и верхнее, нижнее, левое и правое положения в области 21 отображения по порядку.
На этапе S13, модуль 26 обработки сигналов выбирает положение, в котором калибровочное изображение для установки положения еще не отображается среди центрального и верхнего, нижнего, левого и правого положений, и отображает изображение установления положения калибровки в выбранном положении.
Кроме того, вместе с изображениями установления положения калибровки в области 21 отображения может отображаться сообщение для подсказки пользователю просмотреть изображения калибровки для установки положения и выполнить операцию для определения положения, в зависимости от необходимости.
Когда изображения установки положения калибровки отображаются, свет для отображения изображения установки положения калибровки выводят из пикселей 51 отображения, и некоторая часть света отражается поверхностью глазного яблока и принимается принимающими свет элементами 52. Затем принимающие свет элементы 52 подают сигналы принимаемого света в соответствии с количеством света, принятого модулем 26 обработки сигналов, через модуль 27 управления элементом отображения.
Кроме того, пользователь смотрит на изображение установки положения калибровки и выполняет операцию определения положения, например, наблюдая изображение установки положения калибровки в течение заданного периода времени или больше, или мигая.
На этапе S14 модуль 26 обработки сигналов определяет положение линии взгляда пользователя на основе сигналов принимаемого света, подаваемых из принимающих свет элементов 52.
Например, если при движении точки наблюдения будет установлено одно и то же положение в течение заданного времени или дольше, как операция определения положения, выполняемая пользователем, модуль 26 обработки сигналов генерирует карту сигнала принимаемого света на основе сигналов принимаемого света и определяет положение линии взгляда пользователя в каждый момент времени на основе полученной карты сигнала принимаемого света.
Затем модуль 26 обработки сигналов устанавливает некоторое одно из определенных положений линии взгляда в моменты времени, которые последовательно обнаруживаются в течение заданного времени или дольше, в качестве положения линии взгляда относительно изображения установки положения калибровки. Таким образом, установленное положение линии взгляда рассматривается, как положение линии взгляда, когда пользователь рассматривает изображение установки положения калибровки.
Кроме того, например, если движение мигания будет установлено, как операция определения положения, выполняемая пользователем, модуль 26 обработки сигналов генерирует карту сигнала принимаемого света на основе сигналов принимаемого света, обнаруживают мигание пользователя на основе карты принимаемого света в каждый момент времени и определяет положение линии взгляда пользователя в каждый момент времени.
Затем модуль 26 обработки сигналов устанавливает положение линии взгляда пользователя в момент времени, когда обнаруживается мигание, в качестве положения линии взгляда в отношении изображения установки положения калибровки.
Обнаружение мигания выполняют на основе, например, интенсивности света, детектируемой элементами 52 принимаемого света, то есть, значения (значения сигнала принимаемого света) в каждом положении карты сигнала принимаемого света.
Когда пользователь открывает глазное веко, свет, принимаемый принимающими свет элементами 52, включает в себя окружающий свет, в дополнение к свету от пикселей 51 отображения. Поэтому, между состоянием, в котором пользователь открывает глазное веко, и состоянием, в котором глазное веко пользователя закрыто, интенсивность света, принимаемого принимающими свет элементами 52, отличается. Поэтому, мигание пользователя может быть детектировано на основе изменения уровня количества света, детектируемого принимающими свет элементами 52, то есть, значение сигнала принимаемого света. Следует отметить, что путем учета временного изменения в дополнение к изменению уровня интенсивности света, становится возможным дополнительно улучшить точность обнаружения мигания.
На этапе S15 модуль 26 обработки сигналов определяет, была или нет выполнена обработка в отношении всех положений. Например, если изображения установки положения калибровки отображаются в центре и в верхнем, нижнем, левом и правом положениях устройства 11 отображения и положения линии взгляда обнаруживают для каждого из положений, определяют, что обработка была выполнена в отношении всех положений.
На этапе S15, если обработка еще не была выполнена в отношении всех положений, обработка, возвращается на этап S13, и описанная выше обработка повторяется. Таким образом, изображение установки положения калибровки отображается в следующем положении, и определяется положение линии взгляда.
В отличие от этого, если на этапе S15 определяют, что обработка была выполнена в отношении всех положений, модуль 26 обработки сигналов на этапе S16 выполняет калибровку, и обработка калибровки заканчивается.
Например, модуль 26 обработки сигналов определяет, в отношении каждого положения, величину отклонения между положением отображения изображения установки положения калибровки и положением линии взгляда, когда отображается изображение установки положения калибровки в этом положении, и выполняет калибровку. Таким образом, определяют величину коррекции, по которой обеспечивается совпадение положения отображения изображения в области 21 отображения с положением линии взгляда, когда пользователь фактически пристально наблюдает это изображение.
Таким образом, как представлено выше, устройство 11 отображения отображает изображение установки положения калибровки и выполняет калибровку на основе положения отображения и положения линии взгляда пользователя. В результате выполнения калибровки таким образом, становится возможным точно скорректировать отклонение между положением отображения и положением линии взгляда, и улучшить удобство использования устройства 11 отображения.
Описание обработки обнаружения линии взгляда
Когда выполняется обработка калибровки, пользователь может активировать произвольную программу приложения и может выполнять требуемую обработку.
Например, во время выполнения программы приложения, пользователь может перемещать линию взгляда и может выполнять различные операции. В таком случае устройство 11 отображения выполняет обработку обнаружения линии взгляда для обнаружения положения линии взгляда пользователя и может выполнять обработку в зависимости от результата обнаружения.
Далее, со ссылкой на блок-схему последовательности операций на фиг. 12, будет описана обработка обнаружения линии взгляда, выполняемая устройством 11 отображения.
На этапе S41 модуль 26 обработки сигналов управляет модулем 27 управления элементом отображения и обеспечивает излучение свата пикселями 51 отображения. Пиксели 51 отображения излучают свет в соответствии с управлением модуля 27 управления элементами отображения и выводит свет для отображения заданного изображения. Таким образом, например, кнопка или указатель для выбора информации отображается в области 21 отображения, в зависимости от потребностей.
На этапе S42, принимающие свет элементы 52 начинают обнаружение света, поступающего из глазного яблока. Таким образом, принимающие свет элементы 52 принимают свет, который поступил в глазное яблоко снаружи устройства 11 отображения от пикселей 51 отображения и был отражен поверхностью глазного яблока, выполняет фотоэлектрическое преобразование и подает сигналы принимаемого света, в соответствии с количеством принимаемого света, в модуль 26 обработки сигналов через модуль 27 управления элементом отображения.
На этапе S43 модуль 26 обработки сигналов определяет положение линии взгляда пользователя на основе сигналов принимаемого света, подаваемых из элементов 52 принимаемого света. Таким образом, модуль 26 обработки сигналов генерирует карту сигнала принимаемого света на основе сигналов принимаемого света и обнаруживает центр зрачка (направление глазного яблока) пользователя на основе полученной карты сигнала принимаемого света.
На этапе S44 модуль 26 обработки сигналов выполняет обработку выбора на основе положения линии взгляда.
Например, если указатель или курсор отображаются в области 21 отображения, в соответствии с движением положения линии взгляда, модуль 26 обработки сигналов управляет модулем 27 управления элементом отображения для управления пикселями 51 отображения, для перемещения указателя или курсора, отображаемого в области 21 отображения (пиксели 51 отображения). Например, выполняется такое управление, что указатель и т.п. отображается в положении линии взгляда.
Кроме того, если указатель или курсор, то есть положение линии взгляда пользователя расположено в области цели выбора, такой как кнопка или пиктограмма, отображаемая в области 21 отображения, модуль 26 обработки сигналов определяет, что цель выбора его была выбрана. Следует отметить, что, если положение линии взгляда пользователя представляет собой положение цели выбора в течение заданного периода времени или дольше, может быть определено, что была выбрана цель выбора.
Кроме того, например, даже если средство обозначения, такое как указатель, не отображается в области 21 отображения, когда положение линии взгляда расположено в области цели выбора, такой как кнопка, может быть определено, что была выбрана цель выбора.
В дополнение к этому, если пользователь мигает заданное количество раз, например, один раз или множество раз в состоянии, в котором положение линии взгляда пользователя расположено на цели выбора, такой как кнопка, или если пользователь закрывает глазное веко в течение заданного периода времени или дольше в состоянии, в котором положение линии взгляда расположено на цели выбора, такой как кнопка, цель выбора может быть выбрана. В этом случае, модуль 26 обработки сигналов обнаруживает, на основе карты сигнала принимаемого света, мигание и положение линии взгляда или время, в течение которого у пользователя закрыты глаза, таким образом, что обработка выбора выполняется для цели выбора.
Кроме того, если изображения, имеющие параллакс, будут представлены в виде пары левого и правого глаз пользователя, обработка выбора выполняется, используя расстояние от пользователя до положения наблюдения. В этом случае, сигнальная антенна 23 принимает направление глазного яблока или карту сигнала принимаемого света из устройства 11 отображения, надетого на другое глазное яблоко, которое составляет пару с одним глазным яблоком и подает его в модуль обработки сигналов 26. Затем модуль 26 обработки сигналов рассчитывает угол схождения на основе направления глазного яблока (положение линии взгляда), полученного на этапе S43, и принятого направления глазного яблока или карты сигнала принимаемого света, и рассчитывает расстояние до положения наблюдения на основе полученного угла схождения.
Кроме того, модуль 26 обработки сигналов может управлять пикселями 51 отображения через модуль 27 управления элементом отображения и может отображать выбранную цель выбора, такую как кнопка, в цвете и форме, отличной от цвета и формы других целей выбора, которые не были выбраны, то есть, с другим подходом к отображению. Таким образом, пользователь может легко определять, какая цель выбора была выбрана.
Следует отметить, что цель выбора не ограничена кнопкой и т.п., и любая цель, например, изображение и информация в виде знаков может использоваться, если только она может представлять собой цель выбора.
На этапе S45 модуль 26 обработки сигналов выполняет обработку в соответствии с выбором при обработке выбора на этапе S44, и обработка обнаружения линии взгляда заканчивается.
Например, модуль 26 обработки сигналов выполняет программное обеспечение или делает расчеты, связанные с выбранной целью выбора, или управляет пикселями 51 отображения для отображения изображения и знаковой информации, установленной как цель выбора, в увеличенном виде. Кроме того, в соответствии с выбором обработки выбора, диаметр и т.п. зрачка может определяться на основе карты сигнала принимаемого света, например, в качестве информации, используемой в программе приложения.
Следует отметить, что на этапе S45 может выполняться обработка в соответствии с результатом обнаружения описанного выше состояния живого организма или результатом обнаружения микросаккад, и может быть выполнен выбор в результате обработки выбора.
В соответствии с представленным выше подходом устройство 11 отображения принимает свет от пикселей 51 отображения и т.п., используя принимающие свет элементы 52, обнаруживает положение линии взгляда на основе полученных сигналов принимаемого света, выполняет обработку выбора на основе положения линии взгляда и выполняет обработку в соответствии с его результатом выбора.
Таким образом, путем обнаружения положения линии взгляда на основе сигналов принимаемого света, получаемых принимающими свет элементами 52, становится возможным легко определять операцию пользователя, без необходимости использования другого внешнего устройства, кроме устройства 11 отображения. Другими словами, возможно улучшить работоспособность устройства 11 отображения, используя простую конфигурацию.
Кроме того, в устройстве И отображения, даже в состоянии, в котором у пользователя закрыты глаза, возможно с высокой точностью обнаруживать направление глазного яблока, то есть, положение линии взгляда. Здесь точность обнаружения положения линии взгляда может быть повышена, по мере того, как расстояние (шаг) между принимающими свет элементами 52, расположенными рядом друг с другом в области 21 отображения, становится короче.
Описание обработки обнаружения состояния живого организма
Кроме того, в устройстве 11 отображения можно обнаруживать состояние живого организма.
Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг. 13, будет описана обработка обнаружения состояния живого организма, выполняемая устройством 11 отображения.
Следует отметить, что обработка обнаружения состояния живого организма выполняется поочередно, например, с обработкой обнаружения линии взгляда, описанной со ссылкой на фиг. 12. Таким образом, обработку обнаружения линии взгляда выполняют в течение периода, когда информация об изображении и т.п. отображается в области 21 отображения. После этого периода выполняется обработка обнаружения состояния живого организма, и обнаруживается состояние живого организма. Также, после этого, изображение и т.п. отображают снова в области 21 отображения и выполняют обработку обнаружения линии взгляда. После этого, обработка обнаружения линии взгляда и обработка обнаружения состояния живого организма выполняются поочередно.
На этапе S71 модуль 26 обработки сигналов управляет модулем 27 управления элементом отображения, обеспечивая излучение света пикселями 51 отображения. Пиксели 51 отображения излучают свет под управлением модуля 27 управления элементом отображениями выводят свет, имеющий заданную полосу длины волн, установленную заранее.
На этапе S72, принимающие свет элементы 52 обнаруживают свет, поступающий из глазного яблока. Таким образом, принимающие свет элементы 52 принимают свет, который попадает в глазное яблоко снаружи устройства 11 отображения или от пикселей 51 отображения и который был отражен поверхностью глазного яблока, выполняют фотоэлектрическое преобразование и подают сигналы принятого света, в соответствии с количеством принятого света, в модуль 26 обработки сигналов через модуль 27 управления элементом отображения.
Следует отметить, что обработка, выполняемая на этапах S71 и S72, выполняется поочередно заданное количество раз для каждой длины волны света, выводимого из пикселей 51 отображения.
Например, если обнаруживаются пульсации сердца, скорость потока крови, степень прилива крови в глаз и т.п., в качестве состояния живого организма, поочередно выполняют прием и вывод света, имеющего заданную длину волны, которая короче, чем 805 нм, как описано выше, и прием и вывод света, имеющего заданную длину волны, которая короче, чем 805 нм.
В случае обнаружения состояния живого организма, в состоянии, в котором не выполняется обработка обнаружения линии взгляда, обнаруживают свет от пикселей 51 отображения в принимающих свет элементах 52. Поэтому, во время обнаружения состояния живого организма, на принимающие свет элементы 52 не влияет свет для отображения изображения, которое выводят из пикселей 51 отображения, когда выполняется обработка обнаружения линии взгляда, и, следовательно, состояние живого организма может обнаруживаться более точно.
Был описан пример, в котором свет, имеющий два конкретных значения длины волн, выводят из пикселей 51 отображения. В качестве альтернативы, при изменении длины волны света, выводимого из пикселей 51 отображения с течением времени, лучи света, каждый из которых имеет три или больше длин волн в определенной полосе длин волн, могут излучаться в глазное яблоко по порядку.
На этапе S73 модуль 26 обработки сигналов определяет разность между сигналами принимаемого света в эти моменты времени. Например, на основе разности между сигналом принимаемого света, полученным при выводе света с короткой длиной волны, и сигналом принимаемого света, полученным при выводе света с длинной длиной волны, возможно определять, какой компонент из оксигемоглобина и деоксигемоглобина содержится в крови.
На этапе S74 модуль 26 обработки сигналов определяет состояние живого организма на основе сигнала принимаемого света в каждый момент времени, полученного на этапе S72.
Например, если пульсации сердца обнаруживаются, как состояние живого организма, модуль 26 обработки сигналов обнаруживает поток крови (изменение скорости потока крови) на основе разности, полученной на этапе S73, и вариаций сигналов принимаемого света в моменты времени в течение заданного периода, полученных на этапе S72, и определяет пульсацию на основе результата обнаружения потока крови.
Кроме того, например, если степень прилива крови к глазному яблоку обнаруживается, как состояние живого организма, модуль 26 обработки сигналов может обнаруживать скорость потока крови в глазном яблоке пользователя на основе вариаций сигналов принимаемого света в моменты времени, в течение заданного периода, и сравнивает нормальную заранее сохраненную скорость потока крови с детектируемой скоростью потока крови, чтобы, таким образом, определить степень прилива крови к глазу. Следует отметить, что сама скорость потока крови может обнаруживаться, как состояние живого организма.
При определении состояния живого организма, такого как пульсации сердца и степень прилива крови к глазу, модуль 26 обработки сигналов выводит информацию, обозначающую полученное состояние живого организма, в программу приложения, используя состояние живого организма, и заканчивает обработку обнаружения состояния живого организма.
Например, информацию, обозначающую состояние живого организма, записывают в модуль 26 обработки сигналов или передают из модуля 26 обработки сигналов наружу через сигнальную антенну 23 для использования в программе приложения. Кроме того, информация, обозначающая состояние живого организма, может использоваться для обработки выбора и т.п. цели выбора в модуле 26 обработки сигналов.
В представленном выше подходе устройство 11 отображения выводит свет, имеющий определенную длину волны, из пикселей 51 отображения. Свет принимают принимающими свет элементами 52. Состояние живого организма обнаруживают на основе полученных в результате сигналов принимаемого света.
С помощью принимающих свет элементов 52, которые принимают свет из пикселей 51 отображения, как описано выше, состояние живого организма можно легко обнаруживать, и больше информации может быть получено на основе результата обнаружения состояния живого организма. Например, если пульсации сердца пользователя обнаруживают, как состояние живого организма, можно оценивать ощущение или психическое состояние пользователя, например, его нервозное состояние.
Что касается описанной выше обработки калибровки, обработки обнаружения линии взгляда и обработки обнаружения состояния живого организма, все эти обработки выполняются устройством 11 отображения. Однако некоторая обработка может выполняться устройством 81 управления, показанным на фиг. 7.
Второй вариант осуществления
Пример конфигурации внешнего вида устройства отображения типа контактной линзы
Кроме того, хотя выше был описан пример, в котором форма, когда устройство 11 отображения рассматривают спереди, как показано на фиг. 2, является круглой, например, как показано на фиг. 14, форма может быть овальной. Следует отметить, что на фиг. 14 участки, соответствующие показанным на фиг. 2, будут обозначены теми же номерами ссылочных позиций, и их описание будет, соответственно, исключено.
Устройство 101 отображения, показанное на фиг. 14, состоит из области 21 отображения, антенны 22 питания, сигнальной антенны 23, модуля 24 генерирования электроэнергии, датчика 25, модуля 26 обработки сигналов и модуля 27 управления элементом отображения.
От области 21 отображения до модуля 27 управления элементами отображения в устройстве 101 отображения имеет такую же конфигурацию и выполняет те же операции, что и модуль от области 21 отображения до модуля 27 управления элементом отображения устройства 11 отображения. Только форма внешнего вида всего устройства и форма области 21 отображения отличаются от устройства 101 отображения и устройства 11 отображения.
На фиг. 14 показана схема, когда устройство 101 отображения рассматривают в том же направлении, в котором рассматривают пользователя, на которого надето устройство 101 отображения типа контактной линзы, в виде спереди. На фиг. 14, устройство 101 отображения имеет овальную форму, удлиненную в поперечном направлении. Поэтому, в состоянии, в котором на пользователя надето устройство 101 отображения на глазное яблоко, по сравнению с круглым устройством 11 отображения, затрудняется поворот устройства 101 отображения относительно глазного яблока. Таким образом, может быть предотвращено отклонение в результате поворота устройства 101 отображения относительно глазного яблока.
Кроме того, в примере на фиг. 14, область 21 отображения устройства 101 отображения имеет овальную форму, удлиненную в поперечном направлении.
Кроме того, устройство 101 отображения имеет форму, удлиненную, скорее, в поперечном направлении, чем в вертикальном направлении на фигуре, и, следовательно, область участков, проксимальных к левому и правому направлениям области 21 отображения, имеет большую площадь, чем область участков, проксимальных в верхнему и нижнему направлениям области 21 отображения. Эти области в устройстве 101 отображения, которые не являются областями 21 отображения, представляют собой области, находящиеся за пределами диапазона движения зрачка пользователя.
С учетом этого, в устройстве 101 отображения, от модуля 24 генерирования электроэнергии до модуля 27 управления элементом отображения расположены в области рядом с левым и правым концами (поперечное направление) устройства 101 отображения, которые проксимальны левому и правому направлениям области 21 отображения на чертеже. В результате размещения элементов для управления устройством 101 отображения, таких как от модуля 24 генерирования электроэнергии до модуля 27 управления элементом отображения, в левой и правой областях, проксимальных левому и правому направлениям области 21 отображения, таким образом, становится возможным предотвратить прерывание этими элементами отображаемого изображения.
На фиг. 15 показана структура ношения, как состояние, в котором на пользователя надето устройство 101 отображения типа контактной линзы, если его рассматривать спереди пользователя.
Устройство 101 отображения на чертеже скорее имеет большую ширину в поперечном направлении, чем в вертикальном направлении. Поэтому, в состоянии, в котором устройство 101 отображения надето на глазное яблоко пользователя, поперечная ширина больше, чем вертикальная ширина, в которой устройство 101 отображения закрывает глазное яблоко. Кроме того, положение конца устройства 101 отображения в верхнем и нижнем направлениях установлено так, что он продолжается вперед от места соединения между глазным веком и глазным яблоком пользователя. Ширина в левом и правом направлениях установлена так, что она представляла собой ширину в диапазоне, в котором глазное яблоко движется влево и вправо. Ширина в направлениях влево и вправо больше.
Кроме того, устройство 101 отображения имеет структуру, в которой оно зафиксировано на голове таким образом, что, устройство 101 отображения не движется относительно головы пользователя.
Например, то, что касается движения глазного яблока, в результате вариации линии взгляда пользователя, когда устройство 101 отображения типа контактной линзы движется вместе с глазным яблоком, абсолютное положение информации (изображения), в настоящее время отображаемой в области 21 отображения относительно головы пользователя, также перемещается. Движение абсолютного положения информации (изображения) относительно головы пользователя распознается, как движение положения отображения. Поэтому, желательно постоянно фиксировать положение устройства 101 отображения типа контактной линзы относительно головы пользователя.
С учетом этого, например, как показано на фиг. 16, выпуклые участки предусмотрены рядом с внешней окружностью устройства 101 отображения. В примере, показанном на фиг. 16, устройство 101 отображения надето так, что оно закрывает весь участок CO21 роговой оболочки глазного яблока пользователя.
Кроме того, в этом примере, верхний и нижний концы устройства 101 отображения расположены перед соединениями, в которых глазное веко и глазное яблоко соединены друг с другом на верхнем и нижнем концах, то есть, рядом с лимбом. На поверхности, на стороне внешнего мира, предусмотрены верхний и нижний оконечные участки устройства 101 отображения, выпуклый участок 141 и выпуклый участок 142, выступающие на сторону внешнего мира. Выпуклый участок 141 и выпуклый участок 142 удерживаются в контакте с глазным веком (palpebral conjunctiva (соединительная оболочка века)). Таким образом, также, когда глазное яблоко движется, или пользователь мигает, устройство 101 отображения фиксируется и не движется относительно головы пользователя.
Пример, в котором в устройстве 101 отображения предусмотрен выпуклый участок 141 и выпуклый участок 142, был описан выше. Однако, например, как показано на фиг. 17, путем предоставления участка 151 с большим трением и участка 152 с большим трением рядом с верхней и нижней внешней частью окружности устройства 101 отображения, устройство 101 отображения может быть зафиксировано относительно головы пользователя.
Участок 151 с большим трением и участок 152 с большим трением обрабатывают так, чтобы они имели более высокий коэффициент трения относительно глазного века по сравнению с центральным участком устройства 101 отображения. Поэтому, в состоянии, в котором устройство 101 отображения надето на глазное яблоко пользователя, в результате трения участка 152 с большим трением и участка 152 с большим трением, и глазного века (palpebral conjunctiva) пользователя, устройство 101 отображения фиксируется и не движется относительно головы пользователя.
Таким образом, если в устройстве 101 отображения предусмотрен выпуклый участок 141 и выпуклый участок 142 или участок 151 с большим трением и участок 152 с большим трением, выпуклые участки и участки с большим трением предусмотрены в области SRI 1 и в области SR12, показанных на фиг. 18.
Следует отметить, что на фиг. 18 показана схема устройства 101 отображения, когда устройство 101 отображения рассматривают с того же направления, как и в случае, когда пользователь, на которого надето устройство 101 отображения, рассматривают с передней стороны. Поэтому, верхняя сторона на фигуре устройства 101 отображения соответствует верхней стороне глаза пользователя, и нижняя сторона на фигуре устройства 101 отображения соответствует нижней стороне глаза пользователя.
В этом случае выпуклый участок 141, показанный на фиг. 16 или участок 151 с большим трением, показанный на фиг. 17, предусмотрены в области SR11, сформированной вдоль верхнего конца устройства 101 отображения. Кроме того, выпуклый участок 142, показанный на фиг. 16, или участок 152 с большим трением, показанный на фиг. 17, предусмотрены в области SR12, сформированной вдоль нижнего конца устройства 101 отображения.
Здесь выпуклый участок 141 и выпуклый участок 142 или участок 151 с большим трением и участок 152 с большим трением предусмотрены на передней стороне, на фигуре устройства 101 отображения, то есть, на стороне внешнего мира.
Пример, в котором в устройстве 101 отображения предусмотрены выпуклые участки и участки с большим трением, был описан выше. Однако выпуклые участки и участки с большим трением могут быть предусмотрены вдоль верхнего и нижнего концов устройства 11 отображения, показанного на фиг. 2.
Модифицированный пример 1
Пример конфигурации области отображения
Пример, в котором пиксели 51 отображения и принимающие свет элементы 52 предусмотрены в состоянии тесного контакта в области 21 отображения, как показано на фиг. 3, был описан выше. Однако может быть предусмотрена область пропускания, которая обеспечивает пропуск окружающего света снаружи через область 21 отображения.
В таком случае область 21 отображения, например, выполнена, как показано на фиг. 19. Следует отметить, что вертикальное направление и поперечное направление на фиг. 19 соответствуют, например, вертикальному направлению и поперечному направлению на фиг. 14. Кроме того, на фиг. 19, одиночная квадратная область представляет пиксель 51 отображения, принимающий свет элемент 52, или область пропускания.
В частности, черный квадрат представляет область одиночного пикселя 51 отображения. Квадрат с двойной штриховкой представляет область одиночного принимающего свет элемента 52. Белый квадрат представляет область пропускания. Здесь область пропускания представляет собой область, имеющую более высокую степень пропускания (степень прозрачности) для света по сравнению с пикселем 51 отображения и принимающим свет элементом 52.
Например, квадрат, обозначенный меткой Q31 в виде стрелки, представляет область одиночного пикселя 51 отображения. Верхний, нижний, левый и правый участки на фигуре пикселей 51 отображения установлены, как области пропускания. Кроме того, в непрозрачных верхних и нижних участках пикселя 51 отображения, обозначенных меткой Q31 в виде стрелки, расположен принимающий свет элемент 52. Поэтому, каждый из пикселей 51 отображения окружен четырьмя принимающими свет элементами 52 и четырьмя пропускающими областями.
Благодаря предоставлению пропускающих областей для обеспечения возможности пропуска света из внешнего мира (окружающего света) через устройство 11 отображения или устройство 101 отображения вокруг каждого пикселя 51 отображения, как описано выше, пользователь получает возможность также оглядываться вокруг, когда на него надето устройство 11 отображения или устройство 101 отображения. Кроме того, в этом примере, принимающий свет элемент а 52 расположен рядом с каждым пикселем 51 отображения, и, следовательно, свет, выводимый из пикселя 51 отображения и отражаемый глазным яблоком, может быть принят принимающим свет элементом 52.
Модифицированный пример 2
Пример конфигурации области отображения
Кроме того, область 21 отображения может быть выполнена так, как показано на фиг. 20. Следует отметить, что на фиг. 20 одиночная квадратная область представляет пиксель 51 отображения, принимающий свет элемент 52 или пропускающую область.
В частности, черный квадрат представляет область одного пикселя 51 отображения. Квадрат с двойной штриховкой представляет область одного принимающего свет элемента 52. Белый квадрат представляет пропускающую область.
Например, квадрат, обозначенный меткой Q41 в виде стрелки, представляет область одиночного пикселя отображения 51, и пиксель отображения 51 окружен пропускающими областями.
Кроме того, квадрат, обозначенный меткой Q42 в виде стрелки, представляет область одного пикселя 51 отображения. В верхнем правом участке на фигуре пикселя 51 отображения расположен один принимающий свет элемент 52. Другие области, расположенные проксимально к пикселю 51 отображения, обозначенные меткой Q42 в виде стрелки, представляют собой пропускающие области.
В примере, показанном на фиг. 20, количество принимающих свет элементов 52 предусмотренных в области 21 отображения, меньше, чем количество пикселей 51 отображения, предусмотренных в области 21 отображения. Соответственно, предусмотрено большее количество пропускающих областей. Благодаря предоставлению меньшего количества принимающих свет элементов 52, чем пикселей 51 отображения, как описано выше, возможно увеличить пропуск света (окружающего света) через область 21 отображения снаружи устройства отображения. Кроме того, пользователь может рассматривать свое окружение с большей яркостью по сравнению с примером, показанным на фиг. 19.
Модифицированный пример 3
Пример конфигурации области отображения
Кроме того, в случае, когда пиксели 51 отображения, предусмотренные в области 21 отображения, обладают проницаемостью, пользователь может рассматривать окружение через пиксели 51 отображения без использования пропускающих областей в области 21 отображения. В таком случае область 21 отображения выполнена, например, как показано на фиг. 21.
Следует отметить, что на фиг. 21 черная область представляет область пикселей 51 отображения. Квадрат с двойной штриховкой представляет область одного принимающего свет элемента 52.
В этом примере принимающие свет элементы 52 расположены рядом с пикселями 51 отображения. Кроме того, степень пропускания света в пикселе 51 отображения выше, чем степень пропускания света в принимающем свет элементе 52. Пользователь может рассматривать окружение через пиксели 51 отображения.
Третий вариант осуществления
Пример конфигурации устройства отображения типа контактной линзы
Кроме того, в устройстве 101 отображения может быть предусмотрен датчик давления, что позволяет обнаруживать открытое/закрытое состояние глазного века пользователя, на которого надето устройство 101 отображения, при этом можно обнаруживать давление, когда пользователь сильно закрывает глазное веко. В таком случае устройство 101 отображения выполнено, например, как показано на фиг. 22. Следует отметить, что на фиг. 22 участки, соответствующие показанным на фиг. 14, будут обозначены теми же номерами ссылочных позиций, и их описание будет соответственно исключено.
Устройство 101 отображения, показанное на фиг. 22, отличается от устройства 101 отображения на фиг. 14 тем, что в устройстве 101 отображения, показанном на фиг. 14, дополнительно предусмотрен датчик 181 давления, но в остальном оно имеет такую же конфигурацию, как и устройство 101 отображения на фиг. 14.
Таким образом, устройство 101 отображения на фиг. 22 состоит из области 21 отображения, антенны 22 питания, сигнальной антенны 23, модуля 24 генерирования энергии, датчика 25, модуля 26 обработки сигналов, модуля 27 управления элементом отображения и датчиком 181 давления.
Датчик 181 давления расположен рядом с правым концом на фигуре и работает при подаче в него электроэнергии от модуля 24 генерирования энергии. Кроме того, датчик 181 давления обнаруживает давление, приложенное в направлении глубины на фигуре устройства 101 отображения, и подает результат своего обнаружения в модуль 26 обработки сигналов через модуль 27 управления элементом отображения.
Модуль 26 обработки сигналов обнаруживает закрытое/открытое состояние и т.п. глазного века пользователя на основе результата обнаружения давления, подаваемого из датчика 181 давления. Например, модуль 26 обработки сигналов определяет выбор цели выбора, когда пользователь закрывает глазное веко или определяет выбор цели выбора, когда пользователь закрывает глазное веко, то есть обнаруживается более высокое давление, чем заданное значение.
С помощью датчика 181 давления, детектирующего операцию пользователя на основе результата обнаружения давления таким образом, возможно дополнительно улучшить работоспособность устройства 101 отображения.
Четвертый вариант осуществления
Пример конфигурации устройства обнаружения линии взгляда типа контактной линзы
Следует отметить, что пример, в котором настоящая технология обнаружения направления линии взгляда пользователя применяется в устройстве отображения, был описан выше. Настоящая технология не ограничена устройством отображения. Настоящая технология применима во всех устройствах, которые обнаруживают направление линии взгляда пользователя (направление глазного яблока). Далее будет описан вариант осуществления, в котором настоящая технология применяется в устройстве обнаружения линии взгляда, которое обнаруживает направление линии взгляда пользователя.
На фиг. 23 показана схема, представляющая пример конфигурации устройства обнаружения линии взгляда, в котором применяется настоящая технология. Следует отметить, что на фиг. 23 участки, соответствующие показанным на фиг. 2, будут обозначены теми же номерами ссылочных позиций, и их описание будут соответственно исключено.
Устройство 211 обнаружения линии взгляда типа контактной линзы имеет такую форму, что его можно надевать на глазное яблоко пользователя. В состоянии, в котором устройство 211 обнаружения линии взгляда пользователя надето на глазное яблоко, устройство 211 обнаружения линии взгляда закрывает весь участок роговой оболочки глазного яблока пользователя.
Устройство 211 обнаружения линии взгляда состоит из области 221 обнаружения, антенны 22 питания, антенны 23 сигнала, модуля 24 генерирования энергии, датчика 25, модуля 26 обработки сигналов и модуля 222 управления излучающим свет элементом.
Следует отметить, что на фиг. 23 показана схема устройства 211 обнаружения линии взгляда, в качестве устройства 211 обнаружения линии взгляда в том виде, как его рассматривают из того же направления, когда пользователя, на которого надето устройство 211 обнаружения линии взгляда, рассматривают спереди. На фиг. 23 устройство 211 обнаружения линии взгляда имеет овальную форму.
Область 221 обнаружения включает в себя излучающий свет элемент, сформированный из множества излучающих свет секций, которые излучают свет для обнаружения линии взгляда на поверхность глазного яблока пользователя и принимающий свет элемент, который расположен рядом с излучающими свет секциями, и принимает свет, отраженный поверхностью глазного яблока пользователя. Кроме того, как и в упомянутой выше области 21 отображения, в области 221 обнаружения, по меньшей мере, одна из излучающих свет секций и принимающих свет элементов предусмотрены в области 221 обнаружения, которая противоположна области в диапазоне, в котором может двигаться зрачок глазного яблока пользователя.
Модуль 222 управления излучающим свет элементом управляет излучающим свет элементом области 221 обнаружения под управлением модуля 26 обработки сигналов, излучает свет из каждой излучающей свет секции и подает сигналы принимаемого света, подаваемые из принимающих свет элементов области 221 обнаружения, в модуль 26 обработки сигналов.
В устройстве 211 обнаружения линии взгляда, положения антенны 22 питания относительно модуля 26 обработки сигналов представляют собой те же положения, что и случае устройства 101 отображения на фиг. 14.
Кроме того, область 221 обнаружения устройства 211 обнаружения линии взгляда выполнена, например, как показано на фиг. 24. Следует отметить, что на фиг. 24 показана часть поперечного сечения устройства 211 обнаружения линии взгляда, как и в случае, когда устройство 211 обнаружения линии взгляда рассматривают из поперечного направления на фиг. 23. Следует отметить, что на фиг. 24 участки, соответствующие показанным на фиг. 3, будут обозначены теми же номерами ссылочных позиций, и их описание будет соответственно исключено.
На фиг. 24, в области 221 обнаружения устройства 211 обнаружения линии взгляда, предусмотрены излучающие свет секции 251-1 - 251-7, которые излучают свет для обнаружения направления линии взгляда и принимающие свет элементы от 52-1 до 52-7, которые принимают отраженный свет, поступающий от поверхности глазного яблока пользователя. Затем одиночное излучающее свет устройство, сформированное из излучающих свет секций от 251-1 до 251-7, установлено как излучающий свет элемент 252.
Ниже, в случае, когда излучающие свет секции от 251-1 до 251-7 не требуется конкретно различать друг от друга, они также будут просто называться излучающими свет секциями 251.
Излучающая свет секция 251 имеет функцию излучения света для обнаружения линии взгляда путем излучения света. Однако излучающая свет секция 251 имеет функцию информации отображения, как и у пикселей 51 отображения, показанных на фиг. 3.
В примере на фиг. 24 излучающая свет секция 251 и принимающие свет элементы 52 расположены поочередно с правой стороны на фигуре устройства 211 обнаружения линии взгляда, то есть, на стороне глазного яблока пользователя в вертикальном направлении. Поэтому, например, на фиг. 23, излучающие свет секции 251 и принимающие свет элементы 52 расположены поочередно в вертикальном направлении и в поперечном направлении на фиг. 23 в области 22 обнаружения.
Следует отметить, что на фиг. 24 был описан пример, в котором излучающие свет секции 251 и принимающие свет элементы 52 находятся в тесном контакте. Излучающие свет секции 251 и принимающие свет элементы 52 не обязательно должны находиться в тесном контакте. Может быть предусмотрен зазор между излучающими свет секциями 251 и принимающими свет элементами 52. Кроме того, на фиг. 24, один принимающий свет элемент 52 предусмотрен для одной излучающей свет секции 251. Однако один принимающий свет элемент 52 может быть предусмотрен для множества излучающих свет секций 251.
Кроме того, был описан пример, в котором излучающий свет элемент 252, сформированный из множества излучающих свет секций 251 предусмотрен в области 221 обнаружения. Однако излучающий свет элемент 252, сформированный из одной излучающей свет секции, который излучает свет во всей области 221 обнаружения, может быть предусмотрен в области 221 обнаружения. В этом случае, в каждой области излучающего свет элемента 252, требуется, чтобы были предусмотрены только принимающие свет элементы 52 для обнаружения количества принимаемого света в этих областях.
Кроме того, в случае, когда только свет, поступающий в глазное яблоко из внешнего мира используется для обнаружения направления линии взгляда пользователя, нет необходимости предусматривать излучающий свет элемент 252 в устройстве 211 обнаружения линии взгляда.
Описание обработки калибровки
Далее будут описаны операции устройства 211 обнаружения линии взгляда.
Например, когда устройство 211 обнаружения линии взгляда надето на пользователя, запускается обработка калибровки. Ниже обработка калибровки устройства 211 обнаружения линии взгляда будет описана со ссылкой на блок-схему последовательности операций на фиг. 25.
На этапе S101 модуль 26 обработки сигналов управляет модулем 222 управления излучающим свет элементом для обеспечения излучения света излучающими свет секциями 251. Излучающие свет секции 251 излучают свет под управлением модуля 222 управления излучающим свет элементом и выводят свет для обнаружения направления линии взгляда пользователя.
На этапе S102, принимающие свет элементы 52 начинают обнаруживать свет, поступающий из глазного яблока. Таким образом, принимающие свет элементы 52 принимают свет, который попал в глазное яблоко снаружи от устройства 211 обнаружения линии взгляда или из излучающей свет секции 251 и был отражен поверхностью глазного яблока, выполняют фотоэлектрическое преобразование и подают сигналы принимаемого света, в соответствии с количеством принимаемого света, в модуль 26 обработки сигналов через модуль 222 управления излучающим свет элементом.
Кроме того, когда начинается обработка калибровки, пользователь смотрит в направлении, установленном заранее. Например, в соответствии со звуковым уведомлением и т.п., беспроводно выводимым из устройства управления, соединенным с устройством 211 обнаружения линии взгляда, пользователь перемещает линию взгляда в верхнее, нижнее, левое или правое направление настолько это возможно.
В то время как пользователь перемещает линию взгляда в верхнее, нижнее, левое или правое направление, как описано выше, свет для обнаружения направления линии взгляда выводят из излучающей свет секции 251. Принимающие свет элементы 52 принимают свет, поступающий из поверхности глазного яблока, например, свет, который был выведен из излучающей свет секции 251 и отраженный глазным яблоком. Затем принимающие свет элементы 52 подают сигналы принимаемого света в соответствии с количеством принимаемого света в модуль 26 обработки сигналов через модуль 222 управления излучающим свет элементом.
На этапе S103 модуль 26 обработки сигналов определяет положение линии взгляда пользователя на основе сигналов принимаемого света, подаваемых из принимающих свет элементов 52.
Например, когда пользователь в значительной степени перемещает линию взгляда в верхнее, нижнее, левое или в правое направление, модуль 26 обработки сигналов определяет положение каждого из верхнего, нижнего, левого и правого концов линии взгляда, перемещаемой пользователем, как положение линии взгляда. Используя это, пользователь может определять диапазон, в котором можно перемешать линию взгляда на основе положения линии взгляда. Следует отметить, что, во время расчетов положения линии взгляда, например, выполняется та же обработка, как и на этапе S14, представленном на фиг. 11.
На этапе S104 модуль 26 обработки сигналов выполняет калибровку на основе определенного положения линии взгляда, и обработка калибровки заканчивается.
Например, предполагается, что после калибровки результат обнаружения линии взгляда устройством 211 обнаружения линии взгляда используется для обработки перемещения курсора по внешнему отображению, отличном от устройства 211 обнаружения линии взгляда, в результате перемещения пользователем линии взгляда.
В таком случае модуль 26 обработки сигналов определяет диапазон, в котором может перемещаться линия взгляда пользователя на основе положения линии взгляда относительно каждого из верхнего, нижнего, левого и правого положений, которое определяется при обработке на этапе S103. Затем модуль 26 обработки сигналов выполняет калибровку, благодаря тому, что он делает каждое положение области, которое получают путем вычитания зазора из диапазона, в котором может перемещаться линия взгляда пользователя, соответствующим каждому положению отображения.
В представленном выше подходе устройство 211 обнаружения линии взгляда выполняет калибровку на основе некоторых положений линии взгляда. В результате выполнения калибровки таким образом, возможно получить соответствие и т.п. частичной области внешнего отображения и области, как места назначения перемещения линии и т.п. взгляда пользователя, и, следовательно, улучшить работоспособность операции интерфейса, выполняемой пользователем.
Описание обработки обнаружения линии взгляда
Например, в случае, когда устройство 211 обнаружения линии взгляда и внешнее устройство управления беспроводно соединены друг с другом, когда выполняется обработка калибровки, пользователь может активировать произвольную программу приложения и выполнить требуемую обработку.
Например, во время выполнения программы приложения, пользователь может перемещать линию взгляда и выполнять различные операции. В таком случае устройство 211 обнаружения линии взгляда выполняет обработку обнаружения линии взгляда, для обнаружения положения линии взгляда пользователя и выводит результат своего обнаружения во внешнее устройство управления.
Ниже, со ссылкой на блок-схему последовательности операций, показанную на фиг. 26, будет описана обработка обнаружения линии взгляда с помощью устройства 211 обнаружения линии взгляда.
На этапе S131 модуль 26 обработки сигналов управляет модулем 222 управления излучающим свет элементом для обеспечения излучения света излучающими свет секциями 251. Излучающие свет секции 251 излучают свет под управлением модуля 222 управления излучающим свет элементом и выводит свет для обнаружения направления линии взгляда пользователя.
На этапе S132 принимающие свет элементы 52 начинают обнаружение света, поступающего от глазного яблока. Таким образом, принимающие свет элементы 52 принимают свет, который поступил снаружи из устройства 211 обнаружения линии взгляда или из излучающей свет секции 251 и был отражен поверхностью глазного яблока, выполняют фотоэлектрическое преобразование и подают сигналы принимаемого света, в соответствии с количеством принимаемого света, в модуль 26 обработки сигналов через модуль 222 управления излучающим свет элементом.
На этапе S133, модуль 26 обработки сигналов определяет положение линии взгляда пользователя на основе сигналов принимаемого света, подаваемых из принимающих свет элементов 52. Таким образом, модуль 26 обработки сигналов работает с картой сигналов принимаемого света на основе сигналов принимаемого света и определяет положение линии взгляда пользователя путем обнаружения центра зрачка (направление глазного яблока) пользователя на основе полученной карты сигнала принимаемого света.
На этапе S134 модуль 26 обработки сигналов выводит определенное положение линии взгляда и заканчивает обработку обнаружения линии взгляда.
Например, модуль 26 обработки сигналов подает определенное положение линии взгляда в сигнальную антенну 23 и обеспечивает передачу его устройством управления. Устройство управления выполняет обработку в соответствии с положением линии взгляда, например, перемещая курсор и т.п., в соответствии с положением линии взгляда, принятым, например, из устройства 211 обнаружения линии взгляда.
В представленном выше подходе в устройстве 211 обнаружения линии взгляда свет из излучающих свет секций 251 и т.п. принимается принимающими свет элементами 52. Положение линии взгляда обнаруживают на основе полученных сигналов принимаемого света. Результат обнаружения выводят.
В результате обнаружения положения линии взгляда на основе сигналов принимаемого света, полученных принимающими свет элементами 52, таким образом, становится возможным легко определять операцию пользователя, без необходимости использования другого внешнего устройства, кроме устройства 211 обнаружения линии взгляда. Другими словами, возможно улучшить работоспособность, используя простую конфигурацию.
Здесь была описана обработка, при которой устройство 211 обнаружения линии взгляда обнаруживает положение линии взгляда пользователя. Однако устройство 211 обнаружения линии взгляда может обеспечить вывод секциями 251 излучения света такого света, который имеет определенную длину волны, из излучающих свет секций 251 для обнаружения состояния живого организма, расчета степени схождения левого и правого глаз или расстояния до целевого объекта, или определения диаметра зрачка.
Кроме того, выше был описан пример, в котором используется тот факт, что значение сигнала принимаемого света в области зрачка на карте сигнала принимаемого света меньше, чем значение сигнала принимаемого света в области склеры или на участке радужной оболочки, область зрачка, то есть, положение линии взгляда обнаруживают на основе карты сигнала принимаемого света.
Другими словами, используя разницу между спектральной отражающей способностью сетчатки, на которую попадает свет, пропущенный через зрачок, и спектральной отражающей способностью участков склеры или радужной оболочки, область зрачка пользователя обнаруживается на основе карты сигнала принимаемого света.
Поэтому, в зависимости от длины волны света, излучаемого из пикселей 51 отображения, излучающих свет секций 251 и т.п., отражающая способность сетчатки в некоторых случаях выше, чем отражающая способность участков склеры или радужной оболочки. В этих случаях на карте сигнала принимаемого света значение сигнала принимаемого света в области зрачка выше, чем значение сигнала принимаемого света в области склеры или на участке радужной оболочки.
Также в случае, когда пиксели 51 отображения или излучающие свет секции 251, описанные выше отражают свет, отражающая способность которого от сетчатки выше, чем отражающая способность от склеры или участка радужной оболочки, возможно обнаруживать область зрачка на основе карты сигнала принимаемого света в модуле 26 обработки сигналов. В таком случае, модуль 26 обработки сигналов обнаруживает область карты сигнала принимаемого света, в которой значение сигнала принимаемого света является высоким, как в области зрачка.
В любом случае, модуль 26 обработки сигналов выполнен с возможностью обнаруживать область зрачка (положение линии взгляда) на основе значения сигнала принимаемого света в каждой области карты сигнала принимаемого света. В это время необходимо определить только, следует ли установить область, в которой значение сигнала принимаемого света является высоким, или область, в которой значение сигнала принимаемого света является низким, в качестве области зрачка, определяемой в зависимости от длины волны света, выводимого из пикселей 51 отображения или излучающих свет секций 251, свойств спектральной отражающей способности склеры, радужной оболочки и сетчатки глаза, и т.п.
Следует отметить, что варианты осуществления настоящей технологии не ограничены описанными выше вариантами осуществления, и различные модификации могут быть выполнены без выхода за пределы сущности настоящей технологии.
Например, настоящая технология может принимать конфигурацию "облачных" вычислений, в которой одна функция распределена среди множества устройств по сети и обрабатывается совместно.
Кроме того, этапы, описанные со ссылкой на блок-схему последовательности операций, представленную выше, могут выполняться одним устройством и в других случаях могут быть распределены и выполняться множеством устройств.
Кроме того, в случае, когда один этап включает в себя множество обработок, множество обработок, включенных в один этап, может выполняться одним устройством и в других случаях может распределяться и может выполняться множеством устройств.
Кроме того, настоящая технология также может принимать следующие конфигурации.
[1] Устройство обнаружения, носимое на глазном яблоке, включающее в себя
принимающий свет элемент для приема света, поступающего из глазного яблока.
[2] Устройство обнаружения по [1], дополнительно включающее в себя
излучающий свет элемент, выполненный с возможностью вывода света, при этом принимающий свет элемент размещен рядом с излучающим свет элементом.
[3] Устройство обнаружения по [2], в котором
излучающий свет элемент сформирован из множества излучающих свет секций, а принимающий свет элемент расположен рядом с излучающей свет секцией.
[4] Устройство обнаружения по [3], в котором
принимающий свет элемент выполнен с возможностью приема света, выводимого излучающей свет секцией и отражаемого глазным яблоком, дополнительно включающее в себя
модуль обработки сигналов, выполненный с возможностью обнаружения количества принимаемого света от множества принимающих свет элементов, расположенных в областях устройства обнаружения.
[5] Устройство обнаружения по [3] или [4], в котором
излучающая свет секция представляет собой пиксель отображения, выполненный с возможностью отображения информации.
[6] Устройство обнаружения по любому из [2]-[5], характеризующееся тем, что выполнено с возможностью охвата всего участка роговой оболочки, когда устройство обнаружения надето на глазное яблоко.
[7] Устройство обнаружения по любому из [3]-[6], в котором
в состоянии, когда устройство обнаружения надето на глазное яблоко по меньшей мере одна из излучающих свет секций и принимающего свет элемента расположены в области устройства обнаружения, противоположной области в диапазоне, в котором может перемещаться зрачок глазного яблока.
[8] Устройство обнаружения по любому из [2]-[7], в котором
поперечная ширина установлена большей, чем вертикальная ширина, по которым устройство обнаружения охватывает глазное яблоко
[9] Устройство обнаружения по [8], в котором
элемент, отличающийся от излучающего свет элемента и принимающего свет элемента, расположен рядом с поперечным концом устройства обнаружения.
[10] Устройство обнаружения по [2]-[9], в котором
устройство обнаружения имеет структуру для фиксации устройства обнаружения относительно головы, содержащей глазное яблоко.
[11] Устройство обнаружения по [4], в котором
модуль обработки сигналов выполнен с возможностью определения направления глазного яблока на основе количества принимаемого света множеством принимающих свет элементов.
[12] Устройство обнаружения по [11], в котором
модуль обработки сигналов выполнен с возможностью вычисления степени схождения левого и правого глаз на основе направления глазного яблока и направления глазного яблока, которое составляет пару с глазным яблоком, и вычисления расстояния до рассматриваемого целевого объекта на основе степени схождения.
[13] Устройство обнаружения по [4], в котором
модуль обработки сигналов выполнен с возможностью определения диаметра зрачка глазного яблока на основе количества принимаемого света множеством принимающих свет элементов.
[14] Устройство обнаружения по [4], в котором
модуль обработки сигналов выполнен с возможностью обнаружения состояния живого организма на основе количества принимаемого света множеством принимающих свет элементов.
[15] Устройство обнаружения по [14], в котором
излучающая свет секция выполнена с возможностью излучения света, имеющего заданную длину волны, в глазное яблоко, или излучения света, имеющего разные длины волн, в глазное яблоко по порядку, а
модуль обработки сигналов выполнен с возможностью обнаружения в принимающих свет элементах, состояния живого организма на основе количества принимаемого света для света, имеющего заданную длину волны, или света, имеющего разные длины волн, который излучается в глазное яблоко.
[16] Устройство обнаружения по [15], в котором
излучающая свет секция представляет собой пиксель отображения, выполненный с возможностью отображения информации и излучения в глазное яблоко через период, в течение которого отображается информация, свет, имеющий заданную длину волны, или свет, имеющий разные длины волн.
[17] Способ обнаружения для устройства обнаружения, включающего в себя
принимающий свет элемент для приема света, поступающего из глазного яблока, и
модуль обработки сигналов для обнаружения количества принимаемого, принимающим свет элементом, света и выполненный с возможностью его надевания на глазное яблоко, при этом способ включает в себя:
этап приема света, на котором принимают, с помощью принимающего свет элемента, света, отраженный глазным яблоком; и
этап обнаружения, на котором обнаруживают, с помощью модуля обработки сигналов, количество принимаемого света от множества принимающих свет элементов, расположенных в областях устройства обнаружения.
[18] Способ обнаружения по [17], дополнительно включающий в себя
этап излучения света, на котором выводят свет, с помощью излучающего свет элемента, обеспечиваемым в устройстве обнаружения, в котором
принимающий свет элемент выполнен с возможностью приема на этапе приема света, света, выводимого излучающим свет элементом и отраженного глазным яблоком.
[19] Способ обнаружения по [18], дополнительно включающий в себя
этап вычисления, на котором определяют, с помощью модуля обработки сигналов, направление глазного яблока на основе количества принимаемого света множеством принимающих свет элементов.
[20] Способ обнаружения по [19], в котором
модуль обработки сигналов выполнен с возможностью вычисления, на этапе вычисления, величины схождения левого и правого глаз на основе направления глазного яблока и направления глазного яблока, которое составляет пару с указанным глазным яблоком, и вычисления расстояния до наблюдаемого целевого объекта, на основе степени схождения.
Описание номеров ссылочных позиций
11 устройство отображения
21 область отображения
23 сигнальная антенна
25 датчик
26 модуль обработки сигналов
27 модуль управления элементом отображения
От 51-1 до 51-7, 51 пиксель отображения
От 52-1 до 52-7, 52 принимающий свет элемент
53 элемент отображения
81 устройство управления
101 устройство отображения
141 выпуклый участок
142 выпуклый участок
151 участок большого трения
152 участок большого трения
181 датчик давления
211 устройство обнаружения линии взгляда
От 251-1 до 251-7,251 излучающая свет секция
252 излучающий свет элемент
название | год | авторы | номер документа |
---|---|---|---|
УСТРОЙСТВО СЪЕМКИ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ДЛЯ ФОРМИРОВАНИЯ ВСПОМОГАТЕЛЬНОЙ ИНФОРМАЦИИ ДЛЯ СНЯТОГО ИЗОБРАЖЕНИЯ | 2012 |
|
RU2523083C2 |
ОТСЛЕЖИВАНИЕ ВЗГЛЯДА ЧЕРЕЗ ОЧКОВУЮ ОПТИКУ | 2015 |
|
RU2705432C2 |
УСТРОЙСТВО ЗАХВАТА ИЗОБРАЖЕНИЙ, СПОСОБ УПРАВЛЕНИЯ ЭТИМ УСТРОЙСТВОМ И ПРОГРАММА | 2012 |
|
RU2565855C1 |
СИСТЕМА И СПОСОБ ДЛЯ ОТСЛЕЖИВАНИЯ ТОЧКИ ВЗГЛЯДА НАБЛЮДАТЕЛЯ | 2011 |
|
RU2565482C2 |
Способ определения направления взгляда | 2019 |
|
RU2815470C1 |
ДИСПЛЕЙ С УМЕНЬШЕНИЕМ ДИСКОМФОРТА ЗРЕНИЯ | 2015 |
|
RU2709389C2 |
ЗАКРЕПЛЯЕМОЕ НА ГОЛОВЕ УСТРОЙСТВО ОТОБРАЖЕНИЯ И СПОСОБ УПРАВЛЕНИЯ ЗАКРЕПЛЯЕМЫМ НА ГОЛОВЕ УСТРОЙСТВОМ ОТОБРАЖЕНИЯ | 2014 |
|
RU2632257C2 |
ОБРАЩЕНИЕ С БЛИКАМИ В СРЕДЕ ОТСЛЕЖИВАНИЯ ДВИЖЕНИЯ ГЛАЗ | 2015 |
|
RU2678478C2 |
УСТРОЙСТВО И СПОСОБ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ И ПРОГРАММА | 2009 |
|
RU2443068C2 |
СИСТЕМЫ, СПОСОБЫ И АППАРАТЫ ДЛЯ СОЗДАНИЯ И ИСПОЛЬЗОВАНИЯ ОЧКОВ С АДАПТИВНОЙ ЛИНЗОЙ НА ОСНОВЕ ОПРЕДЕЛЕНИЯ РАССТОЯНИЯ НАБЛЮДЕНИЯ И ОТСЛЕЖИВАНИЯ ВЗГЛЯДА В УСЛОВИЯХ НИЗКОГО ЭНЕРГОПОТРЕБЛЕНИЯ | 2011 |
|
RU2576344C2 |
Группа изобретений относится к медицине. Устройство обнаружения отраженного света в виде контактной линзы содержит один или более принимающих свет элементов для приема света, причем свет является отраженным от склеры и радужной оболочки глазного яблока; и модуль обработки сигналов для обнаружения количества принимаемого света указанными одним или более принимающими свет элементами. Способ обнаружения отраженного света включает в себя: этап приема света, на котором принимают, с помощью одного или более принимающих свет элементов, свет, отраженный от склеры и радужной оболочки глазного яблока; и этап обнаружения, на котором обнаруживают с помощью модуля обработки сигналов количество принимаемого света от указанных одного или более принимающих свет элементов, расположенных в областях устройства обнаружения. Применение данной группы изобретений позволит улучшить работоспособность. 2 н. и 18 з.п. ф-лы, 26 ил., 3 пр.
1. Устройство обнаружения отраженного света в виде контактной линзы, содержащее
один или более принимающих свет элементов для приема света, причем свет является отраженным от склеры и радужной оболочки глазного яблока; и
модуль обработки сигналов для обнаружения количества принимаемого света указанными одним или более принимающими свет элементами.
2. Устройство обнаружения по п. 1, дополнительно содержащее
излучающий свет элемент, выполненный с возможностью вывода света, при этом
один или более принимающих свет элементов расположены рядом с излучающим свет элементом.
3. Устройство обнаружения по п. 2, в котором
излучающий свет элемент сформирован из более чем одной излучающих свет секций, а
один или более принимающих свет элементов расположены рядом с излучающей свет секцией.
4. Устройство обнаружения по п. 3, содержащее
более одного принимающих свет элементов, выполненных с возможностью приема света, выводимого излучающей свет секцией и отраженного от склеры и радужной оболочки глазного яблока, при этом
модуль обработки сигналов выполнен с возможностью обнаружения количества принимаемого света от более чем одного принимающих свет элементов, расположенных в областях устройства обнаружения.
5. Устройство обнаружения по п. 3, в котором
излучающая свет секция представляет собой пиксель отображения, выполненный с возможностью отображения информации.
6. Устройство обнаружения по п. 2, характеризующееся тем, что оно охватывает весь участок роговой оболочки, когда устройство обнаружения надето на глазное яблоко.
7. Устройство обнаружения по п. 3, в котором
в состоянии, когда устройство обнаружения надето на глазное яблоко, по меньшей мере одна из излучающих свет секций и один или более принимающих свет элементов расположены в области устройства обнаружения, противоположной области диапазона, в котором может перемещаться зрачок глазного яблока.
8. Устройство обнаружения по п. 2, характеризующееся тем, что его поперечная ширина установлена большей, чем вертикальная ширина, по которой устройство обнаружения охватывает глазное яблоко.
9. Устройство обнаружения по п. 8, в котором
элемент управления, отличающийся от излучающего свет элемента и принимающего свет элемента, расположен рядом с поперечным концом устройства обнаружения.
10. Устройство обнаружения по п. 2, характеризующееся тем, что содержит
структуру для фиксации устройства обнаружения относительно головы, содержащей глазное яблоко.
11. Устройство обнаружения по п. 4, в котором
модуль обработки сигналов выполнен с возможностью определения направления глазного яблока на основе количества принимаемого света от более чем одного принимающих свет элементов.
12. Устройство обнаружения по п. 11, в котором
модуль обработки сигналов выполнен с возможностью вычисления степени схождения левого и правого глаз на основе направления глазного яблока и направления глазного яблока, составляющего пару с указанным глазным яблоком, и вычисления расстояния до рассматриваемого целевого объекта на основе степени схождения.
13. Устройство обнаружения по п. 4, в котором
модуль обработки сигналов выполнен с возможностью определения диаметра зрачка глазного яблока на основе количества принимаемого света от более чем одного принимающих свет элементов.
14. Устройство обнаружения по п. 4, в котором
модуль обработки сигналов выполнен с возможностью обнаружения состояния живого организма на основе количества принимаемого света от более чем одного принимающих свет элементов.
15. Устройство обнаружения по п. 14, в котором
излучающая свет секция выполнена с возможностью излучения света, имеющего заданную длину волны, в глазное яблоко, или излучения света, имеющего разные длины волн, в глазное яблоко по порядку, а
модуль обработки сигналов выполнен с возможностью обнаружения, в принимающих свет элементах, состояния живого организма на основе количества принимаемого света для света, имеющего заданную длину волны, или света, имеющего разные длины волн, излучаемого в глазное яблоко.
16. Устройство обнаружения по п. 15, в котором
излучающая свет секция представляет собой пиксель отображения, отображающий информацию и излучающий в глазное яблоко, через период, в течение которого отображается информация, свет, имеющий заданную длину волны, или свет, имеющий разные длины волн.
17. Способ обнаружения отраженного света для устройства обнаружения в виде контактной линзы, включающего в себя
один или более принимающих свет элементов для приема света, и
модуль обработки сигналов для обнаружения количества принимаемого света принимающими свет элементами, выполненный с возможностью надевания его на глазное яблоко, при этом способ включает в себя:
этап приема света, на котором принимают, с помощью одного или более принимающих свет элементов, свет, отраженный от склеры и радужной оболочки глазного яблока; и
этап обнаружения, на котором обнаруживают с помощью модуля обработки сигналов количество принимаемого света от указанных одного или более принимающих свет элементов, расположенных в областях устройства обнаружения.
18. Способ обнаружения по п. 17, дополнительно содержащий
этап излучения света, на котором выводят свет с помощью излучающего свет элемента, расположенного в устройстве обнаружения, при этом
один или более принимающих свет элементов выполнены с возможностью приема, на этапе приема света, света, выводимого излучающим свет элементом и отраженного от склеры и радужной оболочки глазного яблока.
19. Способ обнаружения по п. 18, дополнительно содержащий
этап вычисления, на котором определяют, с помощью модуля обработки сигналов, направление глазного яблока на основе количества принимаемого света от более чем одного принимающих свет элементов.
20. Способ обнаружения по п. 19, в котором модуль обработки сигналов выполнен с возможностью вычисления, на этапе вычисления, величины схождения левого и правого глаз на основе направления глазного яблока и направления глазного яблока, составляющего пару с глазным яблоком, и вычисления расстояния до наблюдаемого целевого объекта, на основе степени схождения.
US 20030021601 A1, 30.01.2003 | |||
US 20130021373 A1, 24.01.2013 | |||
US 20020024631 A1, 28.02.2002 | |||
US 6312393 B1, 06.11.2001 | |||
US 20060119794 A1, 08.06.2006 | |||
БИОСЕНСОРЫ, КОММУНИКАТОРЫ И КОНТРОЛЛЕРЫ ДЛЯ МОНИТОРИНГА ДВИЖЕНИЯ ГЛАЗ И СПОСОБЫ ИХ ПРИМЕНЕНИЯ | 2005 |
|
RU2395228C2 |
Авторы
Даты
2019-03-21—Публикация
2014-07-08—Подача