УКРЕПЛЯЕМЫЙ НА ГОЛОВЕ ДИСПЛЕЙ И СПОСОБ УПРАВЛЕНИЯ ДЛЯ УКРЕПЛЯЕМОГО НА ГОЛОВЕ ДИСПЛЕЯ Российский патент 2017 года по МПК G02B27/01 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к укрепляемому на голове дисплею.

Уровень техники

[0002] Известен укрепляемый на голове дисплей (УГД), который представляет собой дисплей, укрепляемый на голове. Укрепляемый на голове дисплей генерирует несущий изображение свет, представляющий изображение, при использовании, например, жидкокристаллического дисплея и источника света и направляет образуемый несущий изображение свет к глазам пользователя при использовании проекционной оптической системы или световодной пластинки, и тем самым позволяет пользователю визуально распознавать виртуальное изображение.

[0003] В патентной литературе 1 раскрыты хирургическая система формирования изображений и хирургический робот с использованием такого укрепляемого на голове дисплея. В способе, раскрытом в патентной литературе 1, пользователь (хирург) укрепляемого на голове дисплея приводит в действие хирургический манипулятор и при этом осуществляет визуальное распознавание (в качестве виртуального изображения) изображения с эндоскопа, который вводит в полость тела пациента, благодаря чему выполняет операцию. В патентной литературе 2 раскрыто прилегающее к лицу устройство отображения изображения, предназначенное для медицинского применения (укрепляемый на голове дисплей). Когда в способе, раскрытом в патентной литературе 2, пользователь прилегающего к лицу устройства отображения изображения визуально распознает эндоскопическое изображение, пользователь направляет свою зрительную линию в горизонтальном направлении и обозревает жидкокристаллический дисплей, расположенный перед основной частью. Кроме того, когда пользователь визуально распознает внешнее окружение, пользователь направляет свою зрительную линию в вертикальном направлении и смотрит в наблюдательное окно, расположенное ниже основной части.

Перечень ссылок

[0004] Патентная литература

Патентная литература 1: JP-A-2012-233363.

Патентная литература 2: патент Японии №3599854.

Сущность изобретения

Техническая проблема

[0005] В способах, раскрытых в патентной литературе 1 и патентной литературе 2, пользователь укрепляемого на голове дисплея может визуально распознавать эндоскопическое изображение во время операции. Однако в способе, раскрытом в патентной литературе 1, имеется проблема, заключающаяся в том, что пользователь укрепляемого на голове дисплея не может непосредственно видеть операционное поле (тело пациента). Кроме того, в способе, раскрытом в патентной литературе 2, имеется проблема, заключающаяся в том, что пользователю укрепляемого на голове дисплея необходимо перемещать свою зрительную линию в вертикальном направлении, чтобы непосредственно видеть операционное поле.

[0006] Кроме того, эти проблемы не ограничены эндоскопическим изображением, и имеются проблемы, общие для всех случаев, когда информация, которая не проявляется во внешнем виде объекта, предоставляется пользователю укрепляемого на голове дисплея, такая как, например, компьютерное томографическое (КТ) изображение, изображение магнитно-резонансной томографии (МРТ) и рентгеновское изображение. Кроме того, эти проблемы не ограничены медицинским укрепляемым на голове дисплеем, и имеются проблемы, общие для укрепляемого на голове дисплея, при использовании в других областях применения (например, укрепляемого на голове дисплея, который используется на строительной площадке и обеспечивает пользователю информацию, которая не проявляется во внешнем виде здания).

[0007] Поэтому является желательным укрепляемый на голове дисплей, который обеспечивает получение реального изображения объекта в направлении поля зрения и информации, которая не проявляется во внешнем виде объекта, подлежащей визуальному распознаванию пользователем одновременно с перемещением/без перемещения пользователем своей зрительной линии.

Решение проблемы

[0008] Преимущество некоторых аспектов изобретения заключается в решении по меньшей мере части проблем, описанных выше, а изобретение может быть реализовано в соответствии нижеследующими аспектами.

[0009] (1) В соответствии с аспектом изобретения предложен укрепляемый на голове дисплей, который позволяет пользователю визуально распознавать виртуальное изображение и внешнее окружение. Укрепляемый на голове дисплей включает в себя блок отображения изображений, формирующий виртуальное изображение, которое визуально распознается пользователем, и блок суперпозиционной обработки, который побуждает блок отображения изображений к формированию виртуального изображения, основанного на суперпозиционной информации, для суперпозиции невидимой информации, которая не проявляется во внешнем виде объекта, на объект, включенный во внешнее окружение. Согласно укрепляемому на голове дисплею блок отображения изображений позволяет пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации, которое представляет собой информацию, для суперпозиции невидимой информации об объекте на объект, включенный во внешнее окружение. Укрепляемый на голове дисплей представляет собой укрепляемый на голове дисплей, который позволяет пользователю визуально распознавать виртуальное изображение и внешнее окружение. Поэтому пользователь укрепляемого на голове дисплея может визуально распознавать объект в направлении поля зрения, то есть, реальное изображение объекта, включенного во внешнее окружение, и информацию (суперпозиционную информацию), которая не проявляется во внешнем виде объекта, одновременно с перемещением/без перемещения зрительной линии пользователя.

[0010] (2) В укрепляемом на голове дисплее блок суперпозиционной обработки может побуждать блок отображения изображений повторно формировать виртуальное изображение, основанное на суперпозиционной информации, соответствующей объекту, включенному во внешнее окружение, в каждый заданный момент времени. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки побуждает блок отображения изображений повторно формировать виртуальное изображение, основанное на суперпозиционной информации, соответствующей объекту, включенному во внешнее окружение, в каждый заданный момент времени. Таким образом, пользователь может визуально распознавать виртуальное изображение, основанное на суперпозиционной информации, в которой отслеживается перемещение головы пользователя во времени.

[0011] (3) Укрепляемый на голове дисплей может также включать в себя блок памяти, в котором сохраняется невидимая информация, и блок регистрации изображения, который регистрирует изображение внешнего окружения в направлении поля зрения пользователя, когда пользователь носит укрепляемый на голове дисплей. Блок суперпозиционной обработки может извлекать признак объекта, включенного во внешнее окружение, путем распознавания образов на изображении в направлении поля зрения, регистрируемом блоком регистрации изображения, и может корректировать невидимую информацию об объекте, сохраняемую в блоке памяти, на основе извлеченного признака, чтобы образовывать суперпозиционную информацию. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки может образовывать суперпозиционную информацию при использовании невидимой информации об объекте, сохраняемой в блоке памяти. Кроме того, изображение, регистрируемое блоком регистрации изображения, представляет собой изображение, получаемое захватом реального изображения объекта (иначе говоря, объекта, включенного во внешнее окружение) в направлении поля зрения пользователя. Блок суперпозиционной обработки извлекает признак объекта, включенного во внешнее окружение, из изображения внешнего окружения, регистрируемого блоком регистрации изображения, и образует суперпозиционную информацию на основе извлеченного признака. Поэтому блок суперпозиционной обработки может образовывать суперпозиционную информацию, которая согласуется с признаком объекта (объекта, включенного во внешнее окружение) в направлении поля зрения пользователя.

[0012] (4) В укрепляемом на голове дисплее невидимая информация может быть изображением, показывающим структуру объекта. Согласно укрепляемому на голове дисплею невидимая информация представляет собой изображение, показывающее структуру объекта. Поэтому пользователь укрепляемого на голове дисплея может визуально распознавать реальное изображение объекта в направлении поля зрения и изображение, показывающее структуру объекта, одновременно с перемещением/без перемещения зрительной линии пользователя.

[0013] (5) В укрепляемом на голове дисплее признак может быть контуром объекта. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки может извлекать очертание объекта, включенного во внешнее окружение, путем обнаружения контура объекта при распознавании изображения. В результате блок суперпозиционной обработки может образовывать суперпозиционное изображение благодаря коррекции невидимой информации об объекте на основе извлеченного очертания объекта.

[0014] (6) В укрепляемом на голове дисплее признак может быть маркером, прикрепленным к объекту. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки может извлекать положение объекта, включенного во внешнее окружение, путем обнаружения маркеров, прикрепленных к объекту, при распознавании изображения. В результате блок суперпозиционной обработки может образовывать суперпозиционную информацию благодаря коррекции невидимой информации об объекте на основе извлеченного положения объекта.

[0015] (7) В укрепляемом на голове дисплее коррекция может выполняться путем выполнения по меньшей мере одного из увеличения, уменьшения, поворота, инверсии, обрезания, искажения и удаления шума применительно к изображению, показывающему невидимую информацию. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки выполняет коррекцию путем выполнения по меньшей мере одного из увеличения, уменьшения, поворота, инверсии, обрезания, искажения и удаления шума применительно к изображению, показывающему невидимую информацию об объекте, сохраняемую в блоке памяти, чтобы образовывать суперпозиционную информацию.

[0016] (8) В укрепляемом на голове дисплее коррекция выполняется разделением изображения, показывающего невидимую информацию, на множество областей и выполнением по меньшей мере одного из увеличения, уменьшения, обрезания, искажения и удаления шума применительно к каждой из множества областей. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки выполняет коррекцию путем разделения изображения, показывающего невидимую информацию об объекте, сохраняемую в блоке памяти, на множество областей и выполнением по меньшей мере одного из увеличения, уменьшения, обрезания, искажения и удаления шума применительно к каждой из множества областей. Как указано выше, блок суперпозиционной обработки разделяет изображение, показывающее невидимую информацию, на множество областей и затем корректирует каждую область. Следовательно, может быть повышена точность коррекции невидимой информации.

[0017] (9) В укрепляемом на голове дисплее блок суперпозиционной обработки может измерять расстояние между пользователем и каждой частью объекта с использованием триангуляции и может выполнять разделение на основе результата измерения. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки может измерять расстояние между пользователем и каждой частью объекта с использованием триангуляции и может эффективно и с учетом реальной ситуации разделять область невидимой информации на основе результата измерения.

[0018] (10) В укрепляемом на голове дисплее блок суперпозиционной обработки может изменять точность коррекции на основе характеристики восприятия информации, показывающей степень возможности зрительной системы в пределах поля зрения пользователя. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки изменяет точность коррекции невидимой информации на основе характеристики восприятия информации в пределах поля зрения пользователя. В результате блок суперпозиционной обработки может эффективно корректировать невидимую информацию.

[0019] (11) Кроме того, укрепляемый на голове дисплей может включать в себя блок обнаружения зрительной линии, который обнаруживает зрительную линию пользователя. В данном случае блок отображения изображений формирует виртуальное изображение, соответствующее правому глазу пользователя, и виртуальное изображение, соответствующее левому глазу пользователя. Кроме того, блок суперпозиционной обработки может также получать расстояние до точки постоянного пристального взгляда, которое представляет собой расстояние между пользователем и точкой постоянного пристального взгляда, в которую пользователь постоянно пристально глядит, на основании зрительной линии, обнаруживаемой блоком обнаружения зрительной линии, и может образовывать суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза, для которых выдает параллакс, соответствующий полученному расстоянию до точки постоянного пристального взгляда. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки образует суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза, для которых выдает параллакс, соответствующий расстоянию (расстоянию до точки постоянного пристального взгляда) между пользователем и точкой постоянного пристального взгляда, в которую пользователь постоянно пристально глядит, а блок отображения изображений позволяет пользователю визуально распознавать виртуальное изображение, основанное на этой суперпозиционной информации. В результате пользователь может визуально распознавать суперпозиционную информацию на месте, находящемся на таком же расстоянии, что и точка постоянного пристального взгляда.

[0020] (12) Кроме того, укрепляемый на голове дисплей может включать в себя информацию о параллаксах, в которой множество расстояний между пользователем и виртуальным изображением, визуально распознаваемым пользователем, коррелированы с параллаксами, которые соответственно согласованы со множеством расстояний. В данном случае блок суперпозиционной обработки может выдавать параллакс, соответствующий расстоянию до точки постоянного пристального взгляда, при использовании информации о параллаксах. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки может без труда образовывать суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза при использовании информации о параллаксах, которую подготавливает заранее.

[0021] (13) В укрепляемом на голове дисплее информация о параллаксах может быть представлена в виде множества порций и в таком случае блок суперпозиционной обработки может выбирать в согласии с пользователем одну порцию информации о параллаксах из множества порций информации о параллаксах. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки выбирает в согласии с пользователем одну порцию информации о параллаксах из множества порций информации о параллаксах. Поэтому блок суперпозиционной обработки может выбирать информацию о параллаксах, согласованную с характеристиками (например, с характеристикой доминирующего глаза или с межзрачковым расстоянием) пользователя, в результате чего будет снижаться зрительный дискомфорт, ощущаемый пользователем.

[0022] (14) Кроме того, укрепляемый на голове дисплей может включать в себя блок обнаружения положения, который обнаруживает положение пользователя относительно объекта, и в этом случае в блоке памяти может сохраняться множество порций невидимой информации, касающихся одного объекта. Кроме того, блок суперпозиционной обработки может выбирать одну порцию невидимой информации, соответствующую положению, обнаруженному блоком обнаружения положения, из множество порций невидимой информации, сохраняемых в блоке памяти, и может корректировать выбранную невидимую информацию. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки может выбирать одну порцию невидимой информации, соответствующую положению пользователя относительно объекта, из множества порций невидимой информации, сохраняемых в блоке памяти, и может корректировать выбранную невидимую информацию. Поэтому блок суперпозиционной обработки может образовывать суперпозиционную информацию при использовании надлежащей невидимой информации на основе относительного положения пользователя и объекта.

[0023] (15) В укрепляемом на голове дисплее блок суперпозиционной обработки может также образовывать увеличенную информацию, в которой по меньшей мере часть объекта, включенного во внешнее окружение, является извлеченной и увеличенной, на основании изображения в направлении поля зрения, зарегистрированного блоком регистрации изображения. Кроме того, блок отображений изображений может позволять пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации и увеличенной информации. Согласно укрепляемому на голове дисплею пользователь укрепляемого на голове дисплея может одновременно визуально распознавать увеличенную информацию о по меньшей мере части объекта в направлении поля зрения в дополнение к реальному изображению объекта (иначе говоря, объекта, включенного во внешнее окружение) в направлении поля зрения и информацию (суперпозиционную информацию), которая не проявляется во внешнем виде объекта.

[0024] (16) В укрепляемом на голове дисплее блок суперпозиционной обработки может не выводить на отображение виртуальное изображение в ответ на запрос от пользователя. Согласно укрепляемому на голове дисплею пользователь укрепляемого на голове дисплея может по своему желанию исключать отображение виртуального изображения. Поэтому может быть повышено удобство для пользователя укрепляемого на голове дисплея.

[0025] (17) Кроме того, укрепляемый на голове дисплей включает в себя блок управления процедурами, который образует процедурную информацию, представляющую собой информацию, касающуюся содержания действия, которое должно выполняться пользователем во время текущей процедуры, и в этом случае блок отображения изображений может позволять пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации и процедурной информации. Согласно укрепляемому на голове дисплею блок отображения изображений позволяет пользователю визуально распознавать виртуальное изображение, основанное на процедурной информации, которая показывает содержание действия, подлежащего выполнению пользователем во время текущей процедуры. Поэтому может поддерживаться работа, выполняемая пользователем.

[0026] (18) В укрепляемом на голове дисплее процедурная информация может включать в себя по меньшей мере одно из изображения обстановки, в которой третье лицо для примера выполняет процедуру, и изображения, показывающего содержание действия, подлежащего выполнению пользователем при выполнении отдельной конкретной процедуры. Согласно укрепляемому на голове дисплею можно зрительно показывать содержание действия, подлежащего выполнению пользователем, и таким образом, можно более осознанно поддерживать работу, выполняемую пользователем. Кроме того, показом изображения, отображающего содержание действия, подлежащего выполнению пользователем при выполнении отдельной конкретной процедуры, можно поддерживать работу, выполняемую пользователем, более индивидуально и конкретно и таким образом, можно повышать точность и эффективность работы.

[0027] (19) В укрепляемом на голове дисплее блок суперпозиционной обработки может также образовывать вспомогательную информацию, которая представляет собой дополнительную информацию, для содействия работе пользователя. Кроме того, блок отображений изображений может позволять пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации и вспомогательной информации. Согласно укрепляемому на голове дисплею пользователь визуально распознает виртуальное изображение, основанное на информации, предназначенное для содействия работе пользователя. Поэтому может быть повышена эффективность работы при использовании укрепляемого на голове дисплея.

[0028] (20) В укрепляемом на голове дисплее блок суперпозиционной обработки может также выполнять процесс преобразования цветов для улучшения видимости образованной суперпозиционной информации на основе изображения в направлении поля зрения, регистрируемого блоком регистрации изображения. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки выполняет процесс преобразования цветов, основанный на изображении, в направлении поля зрения пользователя, применительно к суперпозиционной информации. Поэтому может быть дополнительно улучшена видимость виртуального изображения для пользователя укрепляемого на голове дисплея.

[0029] (21) В укрепляемом на голове дисплее блок суперпозиционной обработки может извлекать суперпозиционную информацию, которую в ответ на запрос от пользователя выводит на отображение в качестве виртуального изображения на место, на котором оно не мешает полю зрения пользователя. Согласно укрепляемому на голове дисплея пользователь укрепляемого на голове дисплея может извлекать суперпозиционную информацию, которую по своему желанию отображает в качестве виртуального изображения. Поэтому может быть повышено удобство для пользователя укрепляемого на голове дисплея.

[0030] (22) В укрепляемом на голове дисплее блок суперпозиционной обработки может образовывать суперпозиционную информацию, соответствующую области перекрытия, в которой область отображения виртуального изображения перекрывается с областью регистрации блока регистрации изображения на изображении, зарегистрированном блоком регистрации изображения. Согласно укрепляемому на голове дисплею блок суперпозиционной обработки образует суперпозиционную информацию, соответствующую области перекрытия, в которой область отображения виртуального изображения перекрывается с областью регистрации блока регистрации изображения. Поэтому можно ослабить явление «рассогласования между изображением, которое непосредственно наблюдается пользователем в поле зрения, и виртуальным изображением, визуальное распознавание которого обеспечивается с помощью блока отображения изображения», которое является проблемой, встречающейся в укрепляемом на голове дисплее пропускающего типа. В результате, когда пользователь визуально распознает виртуальное изображение, основанное на суперпозиционной информации, может быть уменьшен дискомфорт, ощущаемый пользователем.

[0031] (23) В укрепляемом на голове дисплее блок управления процедурами может образовывать процедурную информацию, соответствующую области перекрытия, в которой область отображения виртуального изображения перекрывается с областью регистрации блока регистрации изображения на изображении, зарегистрированном блоком регистрации изображения. Согласно укрепляемому на голове дисплею блок управления процедурами образует процедурную информацию, соответствующую области перекрытия, в которой область отображения виртуального изображения перекрывается с областью регистрации блока регистрации изображения. Поэтому можно ослабить явление «рассогласования между изображением, которое непосредственно наблюдается пользователем в поле зрения, и виртуальным изображением, визуальное распознавание которого обеспечивается с помощью блока отображения изображения», которое является проблемой, встречающейся в укрепляемом на голове дисплее пропускающего типа. В результате, когда пользователь визуально распознает виртуальное изображение, основанное на суперпозиционной информации, может быть уменьшен дискомфорт, ощущаемый пользователем.

[0032] Не все составляющие элементы из множества в соответствующих аспектах изобретения являются существенными и некоторые составляющие элементы из множества могут быть изменены, исключены, заменены другими новыми составляющими элементами и частично исключены из ограниченного содержимого сообразно обстоятельствам для решения некоторых или всех описанных выше проблем или для получения некоторых или всех эффектов, рассмотренных в настоящем описании. Кроме того, для решения некоторых или всех рассмотренных выше проблем или для получения некоторых или всех эффектов, рассмотренных в настоящем описании, некоторые или все технические признаки, включенные в один аспект изобретения, описанный выше, могут быть объединены с некоторыми или со всеми техническими признаками, включенными в другой аспект изобретения, описанный выше, и результат можно рассматривать как независимый аспект изобретения.

[0033] Например, один аспект изобретения можно реализовать как устройство, которое включает в себя один или два из двух составляющих элементов, блок суперпозиционной обработки и блок отображения изображений. Иначе говоря, это устройство может включать в себя или может не включать в себя блок суперпозиционной обработки. Кроме того, устройство может включать в себя или может не включать в себя блок отображения изображений. Это устройство можно реализовать, например, как укрепляемый на голове дисплей, но можно реализовать как иное устройство, а не укрепляемый на голове дисплей. Некоторые или все описанные технические признаки каждого аспекта укрепляемого на голове дисплея применимы к этому устройству.

[0034] Кроме того, изобретение можно реализовать в различных аспектах. Например, изобретение можно реализовать в таких аспектах, как укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея, медицинское поддерживающее работу устройство и способ управления для медицинского поддерживающего работу устройства, медицинская поддерживающая работу система, компьютерная программа для реализации действий способов, устройств или систем и регистрирующая среда с записанной компьютерной программой.

Краткое описание чертежей

[0035] На чертежах:

фиг. 1 - вид, иллюстрирующий схематическую конфигурацию укрепляемого на голове дисплея согласно варианту осуществления изобретения;

фиг. 2 - функциональная схема, иллюстрирующая конфигурацию укрепляемого на голове дисплея;

фиг. 3 - схематическое представление, иллюстрирующее состояние, в котором несущий изображение свет излучается узлом генерации несущего изображение света;

фиг. 4 - схематическое представление виртуального изображения, распознанного пользователем;

фиг. 5 - блок-схема последовательности действий, иллюстрирующая процедуры процесса отображения суперпозиционной информации согласно первому варианту осуществления;

фиг. 6 - схематическое представление, иллюстрирующее пример невидимой информации;

фиг. 7 - схематическое представление, иллюстрирующее пример информации о внешнем виде;

фиг. 8 - блок-схема последовательности действий, иллюстрирующая процедуры процесса образования суперпозиционной информации;

фиг. 9 - схематическое представление, иллюстрирующее признак (контур) целевого объекта, извлеченный из изображения внешнего окружения с использованием способа i;

фиг. 10 - схематическое представление, иллюстрирующее признак (контур) целевого объекта, извлеченный из невидимой информации с использованием способа i;

фиг. 11 - схематическое представление, иллюстрирующее пример скорректированной невидимой информации;

фиг. 12А - схематическое представление, иллюстрирующее другой пример виртуального изображения, распознанного пользователем;

фиг. 12В - схематическое представление, иллюстрирующее еще один пример виртуального изображения, распознанного пользователем;

фиг. 13 - функциональная схема, иллюстрирующая конфигурацию укрепляемого на голове дисплея согласно второму варианту осуществления;

фиг. 14 - иллюстрация примера таблицы процедур;

фиг. 15 - блок-схема последовательности действий, иллюстрирующая процедуры процесса отображения суперпозиционной информации согласно второму варианту осуществления;

фиг. 16 - схематическое представление, иллюстрирующее пример процедурной информации;

фиг. 17 - схематическое представление, иллюстрирующее пример суперпозиционной информации, к которой добавлена процедурная информация;

фиг. 18 - схематическое представление, иллюстрирующее пример виртуального изображения, визуально распознанного пользователем вследствие выполнения процедур с е1 по е9;

фиг. 19 - вид, иллюстрирующий схематическую конфигурацию укрепляемого на голове дисплея согласно третьему варианту осуществления;

фиг. 20 - функциональная схема, иллюстрирующая конфигурацию укрепляемого на голове дисплея согласно третьему варианту осуществления;

фиг. 21 - диаграмма для пояснения информации о параллаксах;

фиг. 22 - блок-схема последовательности действий, иллюстрирующая процедуры процесса отображения суперпозиционной информации согласно третьему варианту осуществления;

фиг. 23 - схематическое представление, иллюстрирующее пример невидимой информации;

фиг. 24 - блок-схема последовательности действий, иллюстрирующая процедуры первого процесса образования суперпозиционной информации;

фиг. 25 - схематическое представление для пояснения этапа S404 первого процесса образования суперпозиционной информации;

фиг. 26 - блок-схема последовательности действий, иллюстрирующая процедуры второго процесса образования суперпозиционной информации;

фиг. 27 - диаграмма для пояснения этапа S504 второго процесса образования суперпозиционной информации;

фиг. 28А - вид, иллюстрирующий внешнюю конфигурацию укрепляемого на голове дисплея из примера модификации; и

фиг. 28В - вид, иллюстрирующий внешнюю конфигурацию укрепляемого на голове дисплея из примера модификации.

Описание вариантов осуществления

[0036] А. Первый вариант осуществления

А-1. Конфигурация укрепляемого на голове дисплея

На фиг. 1 представлен вид, иллюстрирующий схематическую конфигурацию укрепляемого на голове дисплея (УГД) согласно варианту осуществления изобретения. Укрепляемый на голове дисплей 100 представляет собой дисплей, укрепляемый на голове. Укрепляемый на голове дисплей 100 согласно настоящему варианту осуществления представляет собой укрепляемый на голове дисплей оптического пропускающего типа, который позволяет пользователю визуально распознавать виртуальное изображение и также непосредственно визуально распознавать внешнее окружение. Кроме того, в настоящем варианте осуществления приводится пример укрепляемого на голове дисплея 100, который позволяет пользователю визуально распознавать изображение как виртуальное изображение.

[0037] Укрепляемый на голове дисплей 100 включает в себя секцию 20 отображения изображений, которая в состоянии закрепления на голове пользователя позволяет пользователю визуально распознавать виртуальное изображение, и секцию 10 управления (контроллер), которая управляет секцией 20 отображения изображений.

[0038] Секция 20 отображения изображений является установочной частью, которая закрепляется на голове пользователя и в настоящем варианте осуществления имеет форму очков. Секция 20 отображения изображений включает в себя правый крепежный узел 21, правый дисплейный управляющий блок 22, левый крепежный узел 23, левый дисплейный управляющий блок 24, правый оптический блок 26 отображения изображения, левый оптический блок 28 отображения изображения и камеру 61. Правый оптический блок 26 отображения изображения и левый оптический блок 28 отображения изображения расположены соответственно перед правым и левым глазами пользователя, когда пользователь носит секцию 20 отображения изображений. Один конец правого оптического блока 26 отображения изображения и один конец левого оптического блока 28 отображения изображения соединены друг с другом на месте, соответствующем надпереносью пользователя, когда пользователь носит секцию 20 отображения изображений.

[0039] Правый крепежный узел 21 представляет собой элемент, который расположен так, что, когда пользователь носит секцию 20 отображения изображений, продолжается на протяжении места, соответствующего височной области пользователя, от концевой части ER, которая является другим концом правого оптического блока 26 отображения изображения. Аналогичным образом левый крепежный узел 23 представляет собой элемент, который расположен так, что, когда пользователь носит секцию 20 отображения изображений, продолжается на протяжении места, соответствующего височной области пользователя, от концевой части EL, которая является другим концом левого оптического блока 28 отображения изображения. Правый крепежный узел 21 и левый крепежный узел 23 удерживают секцию 20 отображения изображений на голове пользователя таким же образом, как дужка очков.

[0040] Правый дисплейный управляющий блок 22 расположен внутри правого крепежного элемента 21, то есть, напротив головы пользователя, когда пользователь носит секцию 20 отображения изображений. Кроме того, левый дисплейный управляющий блок 24 расположен внутри левого крепежного элемента 23. Кроме того, в дальнейшем правый крепежный элемент 21 и левый крепежный элемент 23 в совокупности также называются «крепежными узлами», правый дисплейный управляющий блок 22 и левый дисплейный управляющий блок 24 в совокупности также называются «дисплейными управляющими блоками», а правый оптический блок 26 отображения изображения и левый оптический блок 28 отображения изображения в совокупности также называются «оптическими блоками отображения изображения».

[0041] Дисплейные управляющие блоки 22 и 24 включают в себя жидкокристаллические дисплеи (в дальнейшем также называемые ЖКД) 241 и 242, проекционные оптические системы 251 и 252 и т.п. (см. фиг. 2). Элементы конфигурации дисплейных управляющих блоков будут описаны. Оптические блоки отображения изображения как оптические элементы включают в себя световодные пластинки 261 и 262 (см. фиг. 2) и светозащитные пластинки. Световодные пластинки 262 и 262 выполнены из пропускающего свет смоляного материала или аналогичного, а свет световодного изображения выводится из дисплейных управляющих блоков 22 и 24 к глазам пользователя. Светозащитные пластинки представляют собой тонкие пластинчатые оптические элементы и расположены так, что покрывают внешнюю сторону секции 20 отображения изображений (сторону напротив глаз пользователя). Светозащитные пластинки защищают световодные пластинки 261 и 262, чтобы предотвращать повреждение, загрязнение или что-либо подобное световодных пластинок 261 и 262. Кроме того, пропускание света светозащитными пластинками регулируется для регулирования количества внешнего света, проникающего в глаза пользователя, и тем самым управления степенью визуального распознавания виртуального изображения. Кроме того, можно обойтись без светозащитных пластинок.

[0042] Камера 61 расположена на месте, соответствующем надпереносью пользователя, когда пользователь носит секцию 20 отображения изображений. Камера 61 захватывает изображение внешнего окружения в направлении внешней стороны секции 20 отображения изображений, то есть, в направлении поля зрения пользователя, когда пользователь носит укрепляемый на голове дисплей 100, вследствие чего получается изображение внешнего окружения. Камера 61 представляет собой так называемую камеру видимого света, а изображение внешнего окружения, регистрируемое камерой 61, представляет собой изображение, в котором форма объекта отображается благодаря видимому свету, излучаемому от объекта. В настоящем варианте осуществлении камера 61 представляет собой монокулярную камеру, но может быть стереоскопической камерой. В прилагаемой формуле изобретения камера 61 соответствует «блоку регистрации изображения», а изображение внешнего окружения, регистрируемое камерой 61, в прилагаемой формуле изобретения соответствует «изображению в направлении поля зрения пользователя».

[0043] Кроме того, секция 20 отображения изображений включает в себя соединительный узел 40, который соединяет секцию 20 отображения изображений с секцией 10 управления. Соединительный узел 40 включает в себя шнур 48 основной части, соединенный с секцией 10 управления, правый шнур 42, левый шнур 44 и соединительный элемент 46. Правый шнур 42 и левый шнур 44 являются двумя шнурами, на которые разветвляется шнур 48 основной части, а соединительный элемент 46 расположен в точке разветвления. Правый шнур 42 вводится в корпус правого крепежного узла 21 от вершины АР, продолжается в направлении правого крепежного узла 21 и соединяется с правым дисплейным управляющим блоком 22. Аналогичным образом левый шнур 44 вводится в корпус левого крепежного узла 23 от вершины АР, продолжается в направлении левого крепежного узла 23 и соединяется с левым дисплейным управляющим блоком 24. Соединительный элемент 46 имеет гнездо 30 для подключения головных телефонов. Правый головной телефон (ГТ) 32 и левый головной телефон (ГТ) 34 подключены через удлинитель к вилке 30 головных телефонов.

[0044] Из секции 20 отображения изображений и секции 10 управления различные сигналы передаются через соединительный узел 40. Концевая часть шнура 48 основной части на стороне, противоположной соединительному элементу 46, и секция 10 управления соответственно снабжены соединителями (непоказанными), вставляемыми друг в друга. Соединитель шнура 48 основной части и соединитель секции 10 управления вставляют друг в друга или разобщают и соответственно секция 10 управления соединяется с секцией 20 отображения изображений или отсоединяется от нее. Например, металлический кабель или оптическое волокно можно использовать в качестве правого шнура 42, левого шнура 44 и шнура 48 основной части.

[0045] Секция 10 управления представляет собой устройство, используемое для управления укрепляемым на голове дисплеем 100. Секция 10 управления включает в себя светящийся элемент 12, сенсорную панель 14, крестовый ключ 16 и выключатель 18 электропитания. Состояние излучения света светящимся элементом 12 показывает рабочее состояние (например, включение или выключение электропитания или что-либо подобное) укрепляемого на голове дисплея 100. Например, светоизлучающий диод (СИД) можно использовать в качестве светящегося элемента 12. Сенсорная панель 14 обнаруживает контактное воздействие на рабочую поверхность сенсорной панели 14 с тем, чтобы выводить сигнал, основанный на обнаруженном контенте. В качестве сенсорной панели 14 можно использовать различные сенсорные панели емкостного типа, типа обнаружителей давления и оптического типа. Крестовый ключ 16 обнаруживает нажатие на ключи, соответствующие вертикальным и горизонтальным направлениям, с тем, чтобы выводить сигнал, основанный на обнаруженном контенте. Выключатель 18 электропитания обнаруживает скользящее воздействие на выключатель с тем, чтобы изменять состояние электропитания укрепляемого на голове дисплея 100.

[0046] На фиг. 2 представлена функциональная схема, иллюстрирующая конфигурацию укрепляемого на голове дисплея 100. Секция 10 управления включает в себя блок 110 регистрации входной информации, блок 120 памяти, источник 130 питания, блок 132 беспроводной связи, центральный процессор (ЦП) 140, интерфейс 180, блоки 51 и 52 передачи (Tx), и при этом перечисленные выше составляющие элементы соединены друг с другом шиной (непоказанной).

[0047] В блоке 110 регистрации входной информации регистрируется сигнал, основанный на вводе операции, который выполняют, например, с использованием сенсорной панели 14, крестового ключа 16, выключателя 18 электропитания или чего-либо подобного. Кроме того, в блоке 110 регистрации входной информации может регистрироваться ввод операции пользователем с использованием различных средств. Например, не только ввод операции с использованием сенсорной панели 14 или крестового ключа 16, показанных на фиг. 1, но и ввод операции с использованием педального переключателя (переключателя, срабатывающего под действием ноги пользователя) также может регистрироваться. Кроме того, например, элемент обнаружения зрительной линии, такой как инфракрасный датчик, может быть предусмотрен в секции 20 отображения изображений, и в таком случае обнаруживается зрительная линия пользователя и может регистрироваться ввод операции, основанный на команде, коррелированной с перемещением зрительной линии. Кроме того, например, при использовании камеры 61 можно обнаруживать жест пользователя и можно регистрировать ввод операции, основанный на команде, коррелированной с жестом. При обнаружении жеста кончик пальца руки пользователя, кольцо, прикрепленное к руке пользователя, или медицинский инструмент, удерживаемый пользователем, можно использовать в качестве знака при обнаружении перемещения. Если ввод операции может быть зарегистрирован при использовании ножного переключателя или на основе зрительной линии пользователя, блок 110 регистрации входной информации может регистрировать ввод операции пользователем даже при работе (например, при хирургическом вмешательстве), когда пользователю трудно иметь свободную руку.

[0048] Блок 120 памяти образован постоянным запоминающим устройством, оперативным запоминающим устройством, динамическим оперативным запоминающим устройством, жестким диском или чем-либо подобным. Блок 120 памяти включает в себя область 122 хранения невидимой информации и область 124 хранения информации о внешнем виде. Область 122 хранения невидимой информации представляет собой область памяти, в которой заблаговременно сохраняется невидимая информация об объекте, который является целью процесса отображения суперпозиционной информации. «Невидимая информация» означает информацию, которая не проявляется во внешнем виде объекта. В настоящем варианте осуществления невидимая информация представляет собой изображение, отражающее структуру объекта. В случае, когда объект является живым организмом, невидимая информация представляет собой, например, компьютерное томографическое (КТ) изображение, изображение магнитно-резонансной томографии (МРТ), рентгеновское изображение, флуороскопическое изображение, ультразвуковое диагностическое изображение, эндоскопическое изображение, термографическое изображение или аналогичное. Кроме того, в случае, когда объект является артефактом, невидимая информация представляет собой, например, конструкторский чертеж, структурную схему, рентгеновское изображение, флуороскопическое изображение, инфракрасное изображение, термографическое изображение или что-либо подобное.

[0049] Область 124 хранения информации о внешнем виде представляет собой область памяти, в котором заблаговременно сохраняется информация о внешнем виде объекта, который является целью процесса отображения суперпозиционной информации. В настоящем варианте осуществления «информация о внешнем виде» представляет собой изображение, которое отражает состояние (внешний вид) объекта, наблюдаемого из внешнего мира, и является картиной или чем-либо подобным, получаемым камерой, чувствительной к видимому свету.

[0050] Источник 130 питания снабжает электроэнергией соответствующие блоки укрепляемого на голове дисплея 100. Например, аккумулятор может использоваться в качестве источника 130 питания. Блок 132 беспроводной связи осуществляет беспроводную связь с другой аппаратурой в соответствии с определенным стандартом беспроводной связи, таким как стандарт беспроводной локальной сети (ЛС) или стандарт технологии Bluetooth.

[0051] Центральный процессор (ЦП) 140 считывает и выполняет компьютерные программы, сохраняемые в блоке 120 памяти, для обеспечения функционирования операционной системы (ОС) 150, блока 160 обработки изображений, блока 170 обработки звука, блока 190 управления дисплеями, блока 142 суперпозиционной обработки. Блок 142 суперпозиционной обработки является прикладной программой, которая выполняет процесс вывода на отображение суперпозиционной информации. Процесс отображения суперпозиционной информации представляет собой процесс суперпозиции информации, которая не проявляется во внешнем виде объекта, на реальное изображение объекта в направлении поля зрения пользователя дисплея.

[0052] Блок 160 обработки изображений образует сигналы на основе (видео) контента, который вводится через интерфейс 180 или блок 132 беспроводной связи. Кроме того, с блока 160 обработки изображений образованные сигналы подаются к секции 20 отображения изображений через соединительный узел 40. Сигналы, подаваемые к секции 20 отображения изображений, являются различными для случаев аналогового формата и цифрового формата. В случае аналогового формата блок 160 обработки изображений формирует и передает тактовый сигнал PCLK, сигнал VSync кадровой синхронизации, сигнал HSync строчной синхронизации и данные изображения (Данные). В частности, в блоке 160 обработки изображений регистрируется сигнал изображения, включенный в контент. Регистрируемый сигнал изображения представляет собой аналоговый сигнал, который обычно формируется в соответствии с тридцатью кадрами изображения в секунду, например, в случае подвижного изображения. Блок 160 обработки изображений отделяет сигналы синхронизации, такие как сигнал VSync кадровой синхронизации и сигнал HSync строчной синхронизации, от зарегистрированного сигнала изображения и образует тактовый сигнал PCLK при использовании схемы фазовой автоматической подстройки частоты (ФАПЧ) или аналогичной (непоказанной) на основе цикла выделенного сигнала VSync кадровой синхронизации или сигнала HSync строчной синхронизации. Блок 160 обработки изображений преобразует аналоговый сигнал изображения, от которого отделены сигналы синхронизации, в цифровой сигнал изображения с использованием схемы аналого-цифрового преобразования или чего-либо подобного. Далее блок 160 обработки изображений сохраняет преобразованный цифровой сигнал изображения в динамическом оперативном запоминающем устройстве блока 120 памяти для каждого кадра как данные изображения в виде данных основных цветов, красного, зеленого, синего. С другой стороны, в случае цифрового формата блок 160 обработки изображений образует и передает тактовый сигнал PCLK и данные изображения (Данные). В частности, в случае, когда контент имеет цифровой формат, образование сигнала VSync кадровой синхронизации, сигнала HSync строчной синхронизации и аналого-цифровое преобразование аналогового сигнала изображения не является необходимым, поскольку тактовый сигнал PCLK выводится в синхронизации с сигналом изображения. Кроме того, блок 160 обработки изображений может выполнять относительно данных изображения, сохраняемых в блоке 120 памяти, процессы обработки изображения, включая процесс преобразования разрешения, различные процессы коррекции цветового тона, такие как регулировка яркости и цветовой насыщенности, процесс коррекции трапецеидального искажения и аналогичные.

[0053] Блок 160 обработки изображений передает каждый из образованного тактового сигнала PLCK, сигнала VSync кадровой синхронизации, сигнала HSync строчной синхронизации и данные изображения (Данные), сохраняемые в динамическом оперативном запоминающем устройстве блока 120 памяти, через блоки передачи 51 и 52. В данном случае данные изображения (Данные), которые передаются через блок 51 передачи, называются «данными изображения для правого глаза», а данные изображения, которые передаются через блок 52 передачи, называются «данными изображения для левого глаза». Блоки 51, 52 передачи функционируют как приемопередатчики для последовательного обмена данными между секцией 10 управления секцией 20 отображения изображений.

[0054] Блок 190 управления дисплеями образует сигналы управления для управления правым дисплейным управляющим блоком 22 и левым дисплейным управляющим блоком 24. В частности, при использовании сигналов управления блок 190 управления дисплеями раздельно управляет блоком 211 управления правым жидкокристаллическим дисплеем для включения и выключения возбуждения правого жидкокристаллического дисплея 241, блоком 201 управления правой задней подсветкой для включения и выключения правой задней подсветки (ЗП) 221, блоком 212 управления левым жидкокристаллическим дисплеем для включения и выключения левого жидкокристаллического дисплея 242 и блоком 202 управления левой задней подсветкой для включения и выключения левой задней подсветки (ЗП) 222. Соответственно, блок 190 управления дисплеями управляет правым дисплейным управляющим блоком 22 и левым дисплейным управляющим блоком 24 для генерации и излучения несущего изображения света (НИС). Например, блок 190 управления дисплеями побуждает правый дисплейный управляющий блок 22 и левый дисплейный управляющий блок 24 генерировать несущий изображение свет, побуждает одного из двух генерировать несущий изображение свет, или не побуждает их генерировать несущий изображение свет (НИС). Кроме того, блок 190 управления дисплеями передает сигналы управления для блока 211 управления правым жидкокристаллическим дисплеем и блока 212 управления левым жидкокристаллическим дисплеем через блоки 51 и 52 передачи, соответственно. Кроме того, блок 190 управления дисплеями передает сигналы управления для блока 201 управления правой задней подсветкой и блока 202 управления левой задней подсветкой, соответственно.

[0055] В блоке 170 обработки звука регистрируется звуковой сигнал, включенный в контент, усиливается регистрируемый звуковой сигнал и подается усиленный звуковой сигнал на динамическую головку (непоказанную) правого головного телефона (ГТ) 32, подключенного к соединительному элементу 46 и динамическую головку (непоказанную) левого головного телефона (ГТ) 34, подключенную к нему. Кроме того, например, в случае, когда используется система Долби (зарегистрированный товарный знак), звуковой сигнал обрабатывается и поэтому, например, различные звуковые сигналы, частоты которых изменяются, соответственно выводятся на правый головной телефон 32 и левый головной телефон 34.

[0056] Интерфейс 180 представляет собой интерфейс, соединяющий различные внешние устройства ОА, которые являются источниками контента для секции 10 управления. Внешние устройства ОА включают в себя, например, персональный компьютер РС, терминал мобильного телефона (ТМТ), игровой терминал (ИТ) и т.п. В качестве интерфейса 180 можно использовать, например, интерфейс универсальной последовательной шины, микроинтерфейс универсальной последовательной шины, интерфейс карты памяти и т.п.

[0057] Секция 20 отображения изображений включает в себя правый дисплейный управляющий блок 22, левый дисплейный управляющий блок 24, правую световодную пластинку (СП) 261 в качестве левого оптического блока 28 отображения изображения и камеру 61.

[0058] Правый дисплейный управляющий блок 22 включает в себя приемный блок (Rx) 53, блок 201 управления правой задней подсветкой и правую заднюю подсветку (ЗП) 221, которая функционирует как источник света, блок 211 управления правым жидкокристаллическим дисплее и правый жидкокристаллический дисплей (ЖКД) 241, который функционирует как элемент отображения, и правую проекционную оптическую систему (ПОС) 251. Кроме того, блок 201 управления правой задней подсветкой, блок 211 управления правым жидкокристаллическим дисплеем, правая задняя подсветка 221 и правый жидкокристаллический дисплей 241 в совокупности называются «узлом генерации несущего изображение света».

[0059] Приемный блок 53 функционирует как приемник при последовательной передаче между секцией 10 управления и секцией 20 отображения изображений. Блок 201 управления правой задней подсветкой включает правую заднюю подсветку 221 на основе входного сигнала управления. Правая задняя подсветка 221 представляет собой светоизлучающий элемент, такой как, например, светоизлучающий диод или электролюминесцентный (ЭЛ) элемент. Блок 211 управления правым жидкокристаллическим дисплеем приводит в действие правый жидкокристаллический дисплей 214 на основе тактового сигнала PCLK, сигнала VSync кадровой синхронизации, сигнала HSync строчной синхронизации и данных об изображении для правого глаза (данных 1, которые вводятся через приемный блок 53. Правый жидкокристаллический дисплей 214 представляет собой пропускающую жидкокристаллическую панель, в которой множество пикселей расположены в матрице.

[0060] Правая проекционная оптическая система (ПОС) 251 образована коллиматорной линзой, которая преобразует несущий изображение свет, излучаемый из правого жидкокристаллического дисплея 241, в параллельные пучки светового потока. Правая световодная пластинка 261 в качестве правого оптического блока 26 отображения изображения отражает несущий изображение свет, выходящий из правой проекционной оптической системы 251, по заданному световому пути, чтобы направить несущий изображение свет к правому глазу RE пользователя. Можно использовать оптический блок отображения изображения любого вида при условии, что виртуальное изображение формируется перед глазами пользователя с использованием несущего изображение света, и, например, можно использовать дифракционную решетку.

[0061] Левый дисплейный управляющий блок 24 имеет такую же конфигурацию, как правый дисплейный управляющий блок 22. Иначе говоря, левый дисплейный управляющий блок 24 включает в себя приемный блок (Rx) 54, блок 202 управления левой задней подсветкой и левую заднюю подсветку (ЗП) 222, которая функционирует как источник света, блок 212 управления левым жидкокристаллическим дисплеем и левый жидкокристаллический дисплей (ЖКД) 242, который функционирует как элемент отображения, и левую проекционную оптическую систему (ПОС) 252. Подробное описание его опускается.

[0062] На фиг. 3 дано схематическое представление, иллюстрирующее состояние, в котором несущий изображение свет излучается узлом генерации несущего изображения света. В правом жидкокристаллическом дисплее 241 возбуждается жидкий кристалл на соответствующих местах пикселей, расположенных в матрице, для изменения пропускания света, проходящего через правый жидкокристаллический дисплей 241, в результате чего освещающий свет IL, поступающий из правой задней подсветки 221, модулируется с образованием эффективного несущего изображение света PL, представляющего изображение. То же самое происходит на левой стороне. Кроме того, хотя в настоящем варианте осуществления используется задняя подсветка, как на фиг. 3, но может быть конфигурация, в которой несущий изображение свет излучается при использовании переднего света или отраженного света.

[0063] На фиг. 4 дано схематическое представление примера виртуального изображения, распознанного пользователем. На фиг. 4 приведен пример поля VR зрения пользователя. Как описывалось выше, несущий изображение свет, который направляется к обоим глазам пользователя укрепляемого на голове дисплея 100, формирует изображение на сетчатках глаз пользователя, и поэтому пользователь визуально распознает виртуальное изображение VI. В примере, показанном на фиг. 4, виртуальное изображение VI представляет собой рентгеновское изображение руки пациента. Кроме того, пользователь визуально распознает внешнее окружение SC, которое передается через правый оптический блок 26 отображения изображения и левый оптический блок 28 отображения изображения. В примере, показанном на фиг. 4, внешнее окружение SC является состоянием, в котором лезвие скальпеля удерживается хирургом в контакте со вторым суставом мизинца правой руки пациента. Как и выше, на укрепляемом голове дисплее 100 пользователь может распознать внешнее окружение SC на задней стороне виртуального изображения VI не только на части, которая не перекрывается с виртуальным изображением VI, но также на части, которая перекрывается с виртуальным изображением VI.

[0064] Кроме того, укрепляемый на голове дисплей согласно настоящему варианту осуществления может позволить пользователю визуально распознавать трехмерное виртуальное изображение при использовании расположенных на одной линии изображений. В режиме (в дальнейшем также называемом «режимом трехмерного отображения»), в котором пользователь имеет возможность визуально распознавать трехмерное виртуальное изображение, жидкокристаллический дисплей поровну делится на левую и правую половины, при этом правая половина используется для отображения для правого глаза и левая половина используется для отображения для левого глаза. Кроме того, вместо последовательного расположения для реализации режима трехмерного отображения можно использовать другие способы, такие как, например, упаковка кадров и верхнее и нижнее расположение.

[0065] А-2. Процесс отображения суперпозиционной информации

На фиг. 5 представлена блок-схема последовательности действий, иллюстрирующая процедуры процесса отображения суперпозиционной информации согласно первому варианту осуществления. Этапами S102 и S104 на фиг. 5 показаны процедуры предварительной обработки из процесса отображения суперпозиционной информации. Процедуры от этапа S106 на фиг. 5 выражают процедуры процесса отображения суперпозиционной информации. Процесс отображения суперпозиционной информации представляет собой процесс суперпозиции информации, которая не проявляется во внешнем виде объекта, на реальное изображение объекта в направлении поля зрения пользователя дисплея.

[0066] Процесс отображения суперпозиционной информации включает в себя способ извлечения признака объекта (в дальнейшем называемого «целевым объектом»), который является целью процесса отображения суперпозиционной информации, с помощью обнаружения контуров, и способ извлечения признака целевого объекта путем обнаружения маркеров (подробности его будут описаны ниже). В случае использования способа извлечения признака целевого объекта с помощью обнаружения маркеров на этапах S102, S104 и S108 маркеры предварительно прикрепляют к целевому объекту. Кроме того, при прикреплении маркеров к целевому объекту можно использовать маркеры различных видов. Например, можно использовать ленту, знак, магический маркер, лазерный маркер, магическую ленту (зарегистрированный товарный знак) и т.п. Кроме того, можно задавать любое количество маркеров, прикрепляемых к целевому объекту.

[0067] На этапе S102 из фиг.5 пользователь сохраняет невидимую информацию об объекте, который является целью процесса отображения суперпозиционной информации, в области 122 хранения невидимой информации. В частности, пользователь выполняет захват изображения объекта, который является целью процесса отображения суперпозиционной информации, используя приборы захвата изображения (компьютерный томографический прибор, прибор магнитно-резонансной томографии, рентгеновскую установку, эндоскоп, термографический прибор и т.п.), чтобы зарегистрировать изображение (невидимую информацию), показывающее структуру целевого объекта. Кроме того, пользователь сохраняет зарегистрированное изображение в области 122 хранения невидимой информации. Кроме того, невидимая информация, зарегистрированная на этапе S102, отображается с перекрытием с реальным изображением внешнего окружения SC и наблюдается с помощью правого оптического блока 26 отображения изображения и левого оптического блока 28 отображения изображения в процессе отображения суперпозиционной информации на этапе S106 и после него. По этой причине на этапе S102 процесса отображения суперпозиционной информации предпочтительно регистрировать и сохранять в области 122 хранения невидимой информации изображение, согласованное с направлением целевого объекта, ожидаемым при выполнении процесса отображения суперпозиционной информации на этапе S106 и после него. Кроме того, на этапе S102 невидимую информацию, принимаемую с внешнего устройства, можно сохранять в области 122 хранения невидимой информации вместо захвата изображения целевого объекта.

[0068] На фиг. 6 дано схематическое представление примера невидимой информации. Невидимая информация SI, приведенная для примера на фиг. 6, представляет собой рентгеновское изображение правой руки человека. В этом случае целевым объектом является «правая рука человека». Из невидимой информации SI на фиг. 6 можно видеть, что второй сустав мизинца правой руки человека деформирован вследствие ревматоидного артрита.

[0069] На этапе S104 из фиг. 5 пользователь сохраняет информацию о внешнем виде объекта, который является целью процесса отображения суперпозиционной информации, в области 124 хранения информации о внешнем виде. В частности, пользователь выполняет захват изображения целевого объекта, используя камеру 61 или цифровую камеру, тем самым регистрируя изображение внешнего вида целевого объекта. Кроме того, пользователь сохраняет зарегистрированное изображение в области 124 хранения информации о внешнем виде.

[0070] На фиг. 7 дано схематическое представление примера информации о внешнем виде. Приведенный на фиг. 7 пример информации FI о внешнем виде является изображением правой руки человека. Целевой объект является тем же, как на фиг. 6.

[0071] На этапе S106 из фиг. 5 блок 142 суперпозиционной обработки определяет, имеется или нет команда на запуск процесса отображения суперпозиционной информации. В частности, в случае, когда команда на запуск процесса отображения суперпозиционной информации принимается с блока 110 регистрации входной информации, блок 142 суперпозиционной обработки определяет, что команда на запуск имеется («Да» на этапе S106), а в случае, когда команда не принимается, блок суперпозиционной обработки определяет, что команда на запуск отсутствует («Нет» на этапе S106). Если нет команды на запуск («Нет» на этапе S106), блок 142 суперпозиционной обработки вызывает переход процесса к этапу S106 для ожидания приема команды на запуск. С другой стороны, если имеется команда на запуск («Да» на этапе S106), блок 142 суперпозиционной обработки образует суперпозиционную информацию, и этот процесс образования суперпозиционной информации описывается ниже (этап S108).

[0072] А-2-1. Процесс образования суперпозиционной информации

На фиг. 8 представлена блок-схема последовательности действий процедур процесса образования суперпозиционной информации. Блок 142 суперпозиционной обработки регистрирует (этап S202) изображение внешнего окружения. В частности, блок 142 суперпозиционной обработки активирует камеру 61, чтобы выдать камере 61 команду на захват изображения, и регистрирует изображение внешнего окружения, захватываемое камерой 61.

[0073] После регистрации изображения внешнего окружения блок 142 суперпозиционной обработки выполняет распознавание образов на изображении внешнего окружения, чтобы извлечь признак (этап S204) признак целевого объекта. В частности, блок 142 суперпозиционной обработки извлекает признак целевого объекта, включенного в изображение внешнего окружения, при использовании способов распознавания образов, таких как нижеследующие способы i и ii. Кроме того, способы i и ii можно объединять друг с другом.

[0074] Способ i). Блок 142 суперпозиционной обработки обнаруживает контур целевого объекта. В этом случае обнаруженный контур соответствует «признаку целевого объекта».

Способ ii). Блок 142 суперпозиционной обработки обнаруживает маркеры, прикрепленные к целевому объекту. В этом случае обнаруженные маркеры соответствуют «признаку целевого объекта».

[0075] На фиг. 9 показан признак (контур) целевого объекта, извлеченный из изображения внешнего окружения с использованием способа i.

[0076] На этапе S206 из фиг. 8 блок 142 суперпозиционной обработки выполняет распознавание изображения в невидимой информации SI, чтобы извлечь признак целевого объекта. В частности, блок 142 суперпозиционной обработки считывает невидимую информацию SI, соответствующую целевому объекту, из области 122 хранения невидимой информации. Блок 142 суперпозиционной обработки извлекает признак целевого объекта, включенный в считываемую невидимую информацию SI, при использовании способов распознавания образов, таких, как описанных выше способов i и ii. Кроме того, для повышения точности коррекции на этапе S208 способы распознавания образов, используемые на этапах S204 и S206, предпочтительно объединить в один.

[0077] На фиг. 10 показан признак (контур) целевого объекта, извлеченный из невидимой информации SI при использовании способа i.

[0078] На этапе S208 из фиг. 8 блок 142 суперпозиционной обработки корректирует невидимую информацию SI, чтобы признак из изображения внешнего окружения, извлеченный на этапе S204, и признак из невидимой информации SI, извлеченный на этапе S206, согласовать друг с другом. В частности, когда на этапах S204 и S206 используется способ i, блок 142 суперпозиционной обработки выполняет по меньшей мере одну обработку из увеличения, уменьшения, поворота, инверсии, обрезания, искажения и удаления шума применительно к изображению, показывающему невидимую информацию SI, чтобы признак (то есть, контур, обнаруженный на этапе S204) из изображения внешнего окружения и признак (то есть, контур, обнаруженный на этапе S206) из невидимой информации SI, были согласованы друг с другом по очертаниям или характерным местам. В случае, когда целевой объект представляет собой живой организм, характерными местами являются суставы, концы конечностей, кровеносные сосуды, выступы костей и т.п. В случае, когда целевой объект представляет собой артефакт, характерными местами являются выступы, углы и т.п. С другой стороны, в случае использования способа ii на этапах S204 и S206 блок 142 суперпозиционной обработки выполняет по меньшей мере одну обработку из увеличения, уменьшения, поворота, инверсии, обрезания, искажения и удаления шума применительно к изображению, показывающему невидимую информацию SI, чтобы положения признака (то есть, маркера, обнаруженного на этапе S204) из изображения внешнего окружения и признака (то есть, маркера, обнаруженного на этапе S206) из невидимой информации SI были согласованы друг с другом.

[0079] Для примеров из фигур 9 и 10 блок 142 суперпозиционной обработки выполнял коррекцию невидимой информации SI, чтобы очертания и характерные места (суставы, кончики пальцев, кровеносные сосуды и выступы костей) руки были согласованы друг с другом по контуру (фиг. 9), обнаруженному на этапе S204, и контуру (фиг. 10), обнаруженному на этапе S206.

[0080] На фиг. 11 дано схематическое представление примера скорректированной невидимой информации SI. В скорректированной суперпозиционной информации СР1 невидимая информация SI (фиг. 6) обрезана для согласования с областью целевого объекта (то есть, правой рукой пациента), включенного в изображение внешнего окружения. Аналогичным образом в скорректированной суперпозиционной информации СР1 невидимая информация SI (фиг. 6) уменьшена для согласования с размером целевого объекта, включенного в изображение внешнего окружения, и невидимая информация SI (фиг. 6) повернута и перемещена для согласования с положением целевого объекта, включенного в изображение внешнего окружения. Кроме того, невидимая информация SI, скорректированная на этапе S208, соответствует «суперпозиционной информации» в прилагаемой формуле изобретения.

[0081] Как и выше, в процессе образования суперпозиционной информации блок 142 суперпозиционной обработки может образовывать суперпозиционную информацию при использовании невидимой информации SI об объекте, сохраняемой в области 122 хранения невидимой информации. Изображение внешнего окружения, регистрируемое камерой 61 (блоком регистрации изображения) на этапе S202, представляет собой изображение, получаемое захватом реального изображения целевого объекта (иначе говоря, объекта, включенного во внешнее окружение), в направлении поля зрения пользователя. Блок 142 суперпозиционной обработки извлекает контур или маркеры (признак целевого объекта) целевого объекта, включенного во внешнее окружение, из изображения внешнего окружения, регистрируемого камерой 61, и образует суперпозиционную информацию на основе извлеченного признака. Поэтому блок 142 суперпозиционной обработки может образовывать суперпозиционную информацию, которая согласована с признаком целевого объекта (объекта, включенного во внешнее окружение), в направлении поля зрения пользователя.

[0082] Кроме того, в соответствии со способом i блок 142 суперпозиционной обработки может извлекать очертание целевого объекта, включенного во внешнее окружение, путем обнаружения контура целевого объекта при распознавании образов. В результате блок 142 суперпозиционной обработки может образовывать суперпозиционную информацию СР1 путем коррекции невидимой информации SI о целевом объекте на основе извлеченного очертания целевого объекта.

[0083] Кроме того, в соответствии со способом ii блок 142 суперпозиционной обработки может извлекать положение целевого объекта, включенного во внешнее окружение, путем обнаружения маркеров, прикрепленных к целевому объекту, при распознавании образов. В результате блок 142 суперпозиционной обработки может образовывать суперпозиционную информацию СР1 путем коррекции невидимой информации SI о целевом объекте на основе извлеченного положения целевого объекта.

[0084] По окончании процесса образования суперпозиционной информации блок 142 суперпозиционной обработки на этапе S110 из фиг. 5 выводит на отображение суперпозиционную информацию СР1. В частности, блок 142 суперпозиционной обработки передает суперпозиционную информацию СР1, образованную вследствие выполнения процесса образования суперпозиционной информации, к блоку 160 обработки изображений. Блок 160 обработки изображений, имеющий принятую суперпозиционную информацию СР1, выполняет процесс отображения, показанный на фиг. 2, относительно суперпозиционной информации СР1. В результате, как показано на фиг. 4, суперпозиционная информация СР1 отображается в виде виртуального изображения VI в поле VR зрения пользователя укрепляемого на голове дисплея 100. Укрепляемый на голове дисплей 100 согласно настоящему варианту осуществления представляет собой укрепляемый на голове дисплей, работающий в режиме оптического пропускания, который позволяет пользователю визуально распознавать виртуальное изображение и также визуально распознавать внешнее окружение. Поэтому пользователь укрепляемого на голове дисплея 100 может визуально распознавать реальное изображение (состояние, в котором лезвие скальпеля, удерживаемого хирургом, находится в контакте со вторым суставом мизинца правой руки пациента) во внешнем окружении SC, которое является видимым вследствие использования правого оптического блока 26 отображения изображения и левого оптического блока 28 отображения изображения, и суперпозиционную информацию СР1, которая является видимой как виртуальное изображение VI в суперпозиционном состоянии.

[0085] На этапе S112 из фиг. 5 блок 142 суперпозиционной обработки определяет наличие или отсутствие команды на изменение отображения и определяет содержание команды на изменение. В случае отсутствия команды на изменение отображения блок 142 суперпозиционной обработки вызывает переход процесса к этапу S108 после ожидания в течение заданного времени (непоказанного). Соответственно, поскольку захват изображения внешнего окружения, образование и отображение суперпозиционной информации СР1 выполняются повторно в течение каждого заданного периода времени, можно отображать суперпозиционную информацию СР1, которая отслеживает перемещение головы пользователя во времени, как виртуальное изображение VI. Кроме того, заданный период времени можно задавать произвольно.

[0086] Когда команда на «изменение изображения» для изменения отображения суперпозиционной информации СР1, которая на данный момент отображается, принимается с блока 110 регистрации входной информации (изменение изображения на этапе S112), блок 142 суперпозиционной обработки вызывает переход процесса к этапу S114. Блок 142 суперпозиционной обработки образует (этап S114) другую порцию суперпозиционной информации. В частности блок 142 суперпозиционной обработки еще раз выполняет процесс образования суперпозиционной информации, показанный на фиг. 8, чтобы образовать другую порцию суперпозиционной информации. В это время в блоке 142 суперпозиционной обработки используется «информация FI о внешнем виде, сохраняемая в области 124 хранения информации о внешней среде», в качестве цели обработки вместо «невидимой информации SI, сохраняемой в области 122 хранения невидимой информации», из рассмотрения на фиг. 8. Поэтому другая порция суперпозиционной информации представляет собой информацию, показывающую внешний вид целевого объекта. После образования другой порции суперпозиционной информации блок 142 суперпозиционной обработки выводит на отображение (этап S116) другую порцию суперпозиционной информации. В частности, блок 142 суперпозиционной обработки передает другую порцию суперпозиционной информации к блоку 160 обработки изображений. Блок 160 обработки изображений, имеющий принятую другую порцию суперпозиционной информации, выполняет процесс отображения, показанный на фиг. 2, относительно другой порции суперпозиционной информации. В результате вместо суперпозиционной информации СР1 другая порция суперпозиционной информации отображается в качестве виртуального изображения VI в поле VR зрения пользователя укрепляемого на голове дисплея 100. Затем блок 142 суперпозиционной обработки вызывает переход процесса к этапу S112.

[0087] Как описывалось выше, в соответствии с этапами S114 и S116 пользователь укрепляемого на голове дисплея 100 может изменять отображение суперпозиционной информации, образуемой на основе невидимой информации SI, показывающей структуру целевого объекта, и отображение другой порции суперпозиционной информации, образуемой на основе информации FI о внешнем виде, показывающей внешний вид целевого объекта. Поэтому может быть повышено удобство для пользователя укрепляемого на голове дисплея 100.

[0088] В соответствии с фиг. 5, когда с блока 110 регистрации входной информации принимается команда «не отображать» для прекращения отображения виртуального изображения (этап S112: не отображать), которое отображается в данный момент, блок 142 суперпозиционной обработки вызывает переход процесса к этапу S118. Блок 142 суперпозиционной обработки вызывает прекращение (этап S118) отображения виртуального изображения VI (суперпозиционной информации СР1 или другой порции суперпозиционной информации), которое в данный момент отображается. В частности, блок 142 суперпозиционной обработки прекращает передачу суперпозиционной информации СР1 или другой порции суперпозиционной информации к блоку 160 обработки изображений. Соответственно, данные об изображении, подлежащем отображению, удаляются и поэтому виртуальное изображение не отображается. Кроме того, вместо прекращения передачи суперпозиционной информации СР1 или другой порции суперпозиционной информации блок 142 суперпозиционной обработки может передавать требуемое, но не отображаемое изображение к блоку 190 управления дисплеями. В этом случае блок 190 управления дисплеями может передать сигнал управления, чтобы побудить блоки управления жидкокристаллическими дисплеями выключить возбуждение жидкокристаллических дисплеев, или сигнал управления, чтобы побудить блоки управления задними подсветками выключить возбуждение задних подсветок, в результате чего виртуальное изображение VI не будет отображаться.

[0089] Как и выше, в соответствии с этапом S118 пользователь укрепляемого на голове дисплея 100 может сделать так, что виртуальное изображение VI, которое отображается в данный момент, по желанию пользователя не будет отображаться. Кроме того, в случае, когда пользователь хочет удерживать глаз на реальном изображении, которое наблюдает с помощью оптических блоков отображения изображения, пользователь может намеренно исключать виртуальное изображение. Поэтому может быть повышено удобство для пользователя укрепляемого на голове дисплее 100.

[0090] В соответствии с фиг. 5, когда команда «на увеличение» для увеличения и отображения реального изображения в направлении поля зрения принимается (этап S112: увеличение) с блока 110 регистрации входной информации, блок 142 суперпозиционной обработки вызывает переход процесса к этапу S120. Блок 142 суперпозиционной обработки регистрирует (этап S120) изображение внешнего окружения. В частности, блок 142 суперпозиционной обработки активирует камеру 61, чтобы дать команду камере 61 на захват изображения, и регистрирует изображение внешнего окружения, захватываемое камерой 61. После регистрации изображения внешнего окружения блок 142 суперпозиционной обработки выполняет распознавание образов на изображении внешнего окружения, зарегистрированного на этапе S120, и обрезает область в заданных пределах, центрируя относительно точки, которая задается в добавление к команде на увеличение, чтобы затем увеличить (этап S122) обрезанное изображение. После этого блок 142 суперпозиционной обработки образует увеличенную информацию, в которой увеличенное изображение располагается в концевой части, а закрытые формальные данные располагаются в других частях. После образования увеличенной информации блок 142 суперпозиционной обработки выводит на отображение суперпозиционную информацию СР1 и увеличенную информацию. В частности, блок 142 суперпозиционной обработки передает суперпозиционную информацию СР1 и увеличенную информацию к блоку 160 обработки изображений. Блок 160 обработки изображений, имеющий принятую суперпозиционную информацию СР1 и увеличенную информацию, образует составное изображение, которое содержит суперпозиционную информацию СР1 и увеличенную информацию в виде соответствующих слоев, и выполняет процесс вывода на отображение, показанный на фиг. 2, применительно к составному изображению.

[0091] На фигурах 12А и 12В даны схематические представления, иллюстрирующие другие примеры виртуального изображения, распознанного пользователем. На фиг. 12А показано виртуальное изображение, распознанное пользователем благодаря выполнению этапа S122 из фиг. 5. Как и выше, в результате выполнения этапов S120 и S122 суперпозиционная информация СР1 и увеличенная информация СР2 отображены как виртуальное изображение VI в поле VR зрения пользователя укрепляемого на голове дисплее 100. Как описывалось выше, в соответствии с этапами S120 и S122 пользователь укрепляемого на голове дисплея 100 по желанию может одновременно визуально распознавать увеличенную информацию СР2 реального изображения, центрированного относительно заданной точки, то есть увеличенную информацию СР2 по меньшей мере части объекта в направлении поля зрения, в дополнение реальному изображению целевого объекта (иначе говоря, объекта, включенного во внешнее окружение) в направлении поля зрения, и информацию (суперпозиционную информацию СР1), которая не проявляется во внешнем виде целевого объекта. В результате может быть повышено удобство для пользователя укрепляемого на голове дисплея 100.

[0092] Как описывалось выше, в процессе отображения суперпозиционной информации согласно первому варианту осуществления секция 20 отображения изображений позволяет пользователю визуально распознавать виртуальную (видео) информацию VI, которая основана на суперпозиционной информации СР1, для суперпозиции невидимой информации SI (в описанном выше примере рентгеновского изображения правой руки человека) целевого объекта на целевой объект (в описанном выше примере на правую руку человека), включенный во внешнее окружение SC. Укрепляемый на голове дисплей 100 согласно настоящему варианту осуществления представляет собой укрепляемый на голове дисплей, который позволяет виртуально распознавать виртуальное (видео) изображение VI и вместе с тем внешнее окружение SC. Поэтому пользователь укрепляемого на голове дисплея 100 может визуально распознавать реальное изображение целевого объекта (иначе говоря, целевого объекта, включенного во внешнее окружение) в направлении поля зрения и информацию (суперпозиционную информацию СР1), которая не проявляется во внешнем виде целевого объекта, без перемещения зрительной линии пользователя.

[0093] Кроме того, в первом варианте осуществления невидимая информация SI, сохраняемая в области 122 хранения невидимой информации, представляет собой изображение, показывающее структуру целевого объекта. Поэтому пользователь укрепляемого на голове дисплея 100 может визуально распознавать реальное изображение целевого объекта в направлении поля зрения и вместе с тем изображение, показывающее структуру целевого объекта, без перемещения своей зрительной линии. Поэтому укрепляемый на голове дисплей 100 согласно настоящему варианту осуществления является очень полезным при малоинвазивной операции. Кроме того, малоинвазивная операция относится к хирургическому способу, обеспечивающему поддержание минимального участка разреза скальпелем для минимизации боли пациента или послеоперационного рубца, вызванного операцией.

[0094] А-3. Дополнительные процессы к процессу отображения суперпозиционной информации

Кроме того, нижеследующие дополнительные процессы могут также выполняться в процессе отображения суперпозиционной информации (фиг. 5). Дополнительные процессы можно добавлять по отдельности или добавлять в сочетании.

[0095] А-3-1. Дополнительный процесс 1

При выполнении дополнительного процесса 1 блок 142 суперпозиционной обработки также выводит на отображение вспомогательную информацию СР3 в качестве виртуального изображения VI в добавление к суперпозиционной информации СР1. Вспомогательная информация СР3 может быть любой информацией при условии, что информация является дополнительной информацией для содействия работе пользователя укрепляемого на голове дисплея 100. Например, вспомогательной информацией СР может быть нижеследующая информация на медицинском укрепляемом на голове дисплее 100.

[0096] - Информация, которая показывает измеренный показатель медицинского устройства (электрокардиографа, измерителя частоты сердечных сокращений, сфигмоманометра, пульсового оксиметра, измерителя содержания глюкозы в крови или чего-либо подобного), прикрепленного к пациенту.

- Информация, которая отражает предостережение или предвещающий симптом на основании измеренного показателя медицинского прибора, прикрепленного к пациенту.

[0097] На фиг. 12В показан пример, в котором вспомогательная информация СР3, показывающая частоту сердечных сокращений (HR), кровяное давление, систолическое и диастолическое (SYS и DIA), и степень Spo2 насыщения артериальной крови кислородом, отображается как виртуальное изображение VI. В примере из фиг. 12В вспомогательная информация СР3 представлена цифрами. Однако в дополнение к цифрам в качестве вспомогательной информации СР3 могут использоваться рисунок, образ, фигура и сочетание их. Кроме того, предпочтительно, чтобы вспомогательная информация СР3 была расположена, например, в концевой части без перекрытия с суперпозиционной информацией СР1. Способ совместного отображения суперпозиционной информации СР1 и вспомогательной информации СР3 является таким же, как на этапе S122.

[0098] Кроме того, на фиг. 12В показан пример вспомогательной информации СР3 на медицинском укрепляемом на голове дисплее 100. Однако вспомогательную информацию СР3 можно отображать в качестве виртуального изображения VI даже на укрепляемом на голове дисплее 100, используемом для других применений. Например, вспомогательная информация СР3 на укрепляемом на голове дисплее 100, используемом на строительном объекте, может быть информацией, которая отображает информацию о здании (возраст здания, информацию, относящуюся к грунту, на котором в настоящее время строится здание, информацию, относящуюся к способу строительства, информацию, относящуюся к материалам, используемым при строительстве, и т.п.). Кроме того, различные порции вспомогательной информации могут использоваться с учетом функционального назначения укрепляемого на голове дисплея 100.

[0099] Как и выше, в соответствии с дополнительным процессом 1 пользователь укрепляемого на голове дисплея 100 может визуально распознавать вспомогательную информацию СР3, которая в качестве виртуального (видео) изображения VI представляет собой информацию для содействия работе пользователя. Поэтому при использовании укрепляемого на голове дисплея 100 может быть повышена эффективность работы.

[0100] А-3-2. Дополнительный процесс 2

В соответствии с дополнительным процессом 2 процесс преобразования цветов выполняется относительно по меньшей мере одной из суперпозиционной информации СР1, образуемой на этапе S108, другой порции суперпозиционной информации, образуемой на этапе S114, и увеличенной информации СР2, образуемой на этапе S122. Предпочтительно, чтобы процесс преобразования цветов был процессом преобразования цветов, улучшающим видимость каждой порции информации (суперпозиционной информации СР1, другой порции суперпозиционной информации и увеличенной информации СР2), образуемой блоком 142 суперпозиционной обработки на основе яркости, контраста, насыщения цветов и цвета изображения внешнего окружения, захватываемого на этапе S202. Например, процесс преобразования цветов можно выполнять так, чтобы цвет каждой порции информации, образуемой блоком 142 суперпозиционной обработки, преобразовывался в цвет, дополнительный к цвету изображения внешнего окружения, захватываемого на этапе S202. Кроме того, процесс преобразования цветов может выполняться блоком 142 суперпозиционной обработки до передачи каждой порции информации к блоку 160 обработки изображений и может выполняться блоком 160 обработки изображений при наличии принятой каждой порции информации.

[0101] Как описывалось выше, в соответствии с дополнительным процессом 2 также может быть улучшена видимость виртуального (видео) изображения VI для пользователя укрепляемого на голове дисплея 100.

[0102] А-3-3. Дополнительный процесс 3

В соответствии с дополнительным процессом 3 блок 142 суперпозиционной обработки извлекает информацию (суперпозиционную информацию СР1, другую порцию суперпозиционной информации, увеличенную информацию СР2 и вспомогательную информацию СР3), которую выводит на отображение в качестве виртуального изображения VI, на место, которое не мешает полю зрения пользователя. В качестве примера будет описан случай, когда виртуальное изображение VI, отображаемое в данное время, представляет собой суперпозиционную информацию СР1. Блок 142 суперпозиционной обработки уменьшает суперпозиционную информацию СР1. В таком случае блок 142 суперпозиционной обработки образует уменьшенную информацию, в которой уменьшенное изображение располагается в концевой части, а закрытые формальные данные располагаются в других частях. После образования уменьшенной информации блок 142 суперпозиционной обработки выводит на отображение уменьшенную информацию. В частности, блок 142 суперпозиционной обработки передает уменьшенную информацию к блоку 160 обработки изображений. Блок 160 обработки изображений, имеющий принятую уменьшенную информацию, выполняет процесс вывода на отображение, описанный на фиг. 2, относительно уменьшенной информации. В результате уменьшенная информация, в которой суперпозиционная информация СР1 уменьшена и расположена в концевой части, отображается в качестве виртуальной информации VI вместо суперпозиционной информации СР1 в поле VR зрения пользователя укрепляемого на голове дисплея 100. Кроме того, дополнительный процесс 3 может выполняться вместо этапа S118 процесса отображения суперпозиционной информации (фиг. 5).

[0103] Как описывалось выше, в соответствии с дополнительным процессом 3 пользователь укрепляемого на голове дисплея 100 может извлекать информацию (суперпозиционную информацию СР1, другую порцию суперпозиционной информации, увеличенную информацию СР2 и вспомогательную информацию СР3), которая по желанию пользователя отображается как виртуальное (видео) изображение VI, на месте, которое не мешает полю зрения. Например, в случае, когда пользователь желает удерживать глаз на реальном изображении, которое наблюдает с помощью оптических блоков отображения изображения, пользователь может извлекать информацию, которая намеренно отображается в качестве виртуального (видео) изображения VI. Поэтому может быть повышено удобство для пользователя укрепляемого на голове дисплея 100.

[0104] Кроме того, поскольку различная уменьшенная информация (суперпозиционная информация СР1, другая порция суперпозиционной информации, увеличенная информация СР2 и вспомогательная информация СР3) расположена в концевой части, в соответствии с дополнительным процессом 3 можно позволить пользователю укрепляемого на голове дисплея 100 обратить внимание на наличие различной информации. Иначе говоря, различную уменьшенную информацию можно использовать таким же образом, как пиктограмму. Например, когда пользователь выбирает уменьшенную суперпозиционную информацию СР1, он может возвращать суперпозиционную информацию СР1 на первоначальное место и в исходном размере. Таким способом также может быть повышено удобство для пользователя укрепляемого на голове дисплея 100.

[0105] А-3-4. Дополнительный процесс 4

В соответствии с дополнительным процессом 4 блок 142 суперпозиционной обработки реализует так называемую стабилизирующую функцию подавления дрожания виртуального изображения VI вследствие легкого сдвига головы пользователя. В случае, когда на этапе S112 (фиг. 5) нет команды на изменение отображения при выполнении процесса отображения суперпозиционной информации, блок 142 суперпозиционной обработки вызывает переход процесса к этапу S108 после ожидания в течение заданного периода времени. Соответственно, поскольку захват изображения внешнего окружения, образование и отображение суперпозиционной информации СР1 выполняются повторно в течение каждого заданного периода времени, можно отображать суперпозиционную информацию СР1, в которой прослеживается перемещение головы пользователя во времени, в качестве виртуального изображения VI. Однако, с другой стороны, если суперпозиционная информация СР1 часто изменяется при слежении за небольшим перемещением головы или дыханием пользователя, возникает беспокойство относительно чрезмерного напряжения зрения пользователя или ухудшения сосредоточенности пользователя. Поэтому блок 142 суперпозиционной обработки может выполнять процессы, обозначаемые как процедуры а1 и а2 между этапами S202 и S204 процесса образования суперпозиционной информации (фиг. 8).

[0106] Процедура а1). Находится величина изменения гистограммы красного, зеленого и синего цветов между изображением внешнего окружения, захваченного на этапе S202, и изображением внешнего окружения, захваченного на этапе S202 ранее выполненного процесса образования суперпозиционной информации.

Процедура а2). В случае, когда величина изменения, полученная при выполнении процедуры а1, больше, чем заданное пороговое значение, последовательно выполняются процессы на этапе S204 и после него. В случае, когда величина изменения, полученная при выполнении процедуры а1, равна заданному пороговому значению или меньше его, суперпозиционная информация СР1, образованная в результате ранее выполненного процесса образования суперпозиционной информации, определяется как результат обработки выполняемым в данный момент процессом образования суперпозиционной информации.

[0107] Как описывалось выше, в случае, когда величина изменения между изображением внешнего окружения (внешнего окружения в направлении поля зрения пользователя) в ранее выполненном процессе образования суперпозиционной информации и изображением внешнего окружения в выполняемом в данный момент процессе образования суперпозиционной информации является небольшой, то есть, перемещение головы пользователя является небольшим, в соответствии с дополнительным процессом 4 блок 142 суперпозиционной обработки не образует новой суперпозиционной информации СР1 и полагает суперпозиционную информацию СР1, образованную в результате ранее выполненного процесса образования суперпозиционной информации, результатом обработки выполняемым в настоящий момент процессом образования суперпозиционной информации. В результате можно предотвращать частое изменение суперпозиционной информации СР1 при отслеживании небольшого перемещения головы или дыхания пользователя укрепляемого на голове дисплея 100. Следовательно, можно предотвращать чрезмерное напряжение зрения и снижение сосредоточенности пользователя. Кроме того, может быть конфигурация, в которой пользователь может включать и выключать стабилизирующую функцию.

[0108] А-3-5. Дополнительный процесс 5

В соответствии с дополнительным процессом 5 блок 142 суперпозиционной обработки изменяет размер, при котором увеличенная информация СР2 и вспомогательная информация СР3 отображаются как виртуальное изображение VI, в соответствии с расстоянием между оптическими блоками 26 и 28 отображения изображения секции 20 отображения изображений и объектом, присутствующим в направлении поля зрения пользователя. В частности, блок 142 суперпозиционной обработки может выполнять процессы, указанные в процедурах с b1 по b3 в процессе отображения суперпозиционной информации (фиг. 5). Кроме того, в дополнение к этому датчик расстояния располагают в укрепляемом на голове дисплее 100 в случае выполнения дополнительного процесса 5. Датчик расстояния представляет собой датчик, который регистрирует расстояние между объектом, присутствующим в направлении поля зрения пользователя, и секцией 20 отображения изображений при использовании отраженного света, и он может быть расположен возле камеры 61 из фиг. 1.

[0109] Процедура b1). Блок 142 суперпозиционной обработки периодически регистрирует измеренное значение, получаемое датчиком расстояния.

Процедура b2). Блок 142 суперпозиционной обработки изменяет коэффициент увеличения в соответствии с зарегистрированным измеренным значением с датчика расстояния, во время процесса увеличения на этапе S122 процесса отображения суперпозиционной информации (фиг. 5).

Процедура b3). Блок 142 суперпозиционной обработки изменяет размер вспомогательной информации СР3 из дополнительного процесса 1 в соответствии с измеренным значением с датчика расстояния.

[0110] Как описывалось выше, в соответствии с дополнительным процессом 5 блок 142 суперпозиционной обработки изменяет размер, при котором увеличенная информация СР2 и вспомогательная информация СР3 отображаются как виртуальное (видео) изображение VI, в соответствии с расстоянием между объектом, присутствующим в направлении поля зрения пользователя, и секцией 20 отображения изображений. Поэтому может быть повышено удобство для пользователя укрепляемого на голове дисплея 100.

[0111] А-3-6. Дополнительный процесс 6

В соответствии с процессом 6 блок 132 беспроводной передачи передает изображения внешнего окружения, которые регистрируются в середине описанного выше процесса, к внешнему устройству. В частности, изображения внешнего окружения включают в себя изображение внешнего окружения из этапа S202 процесса образования суперпозиционной информации (фиг. 8) и изображение внешнего окружения, зарегистрированное на этапе S120 процесса отображения суперпозиционной информации (фиг. 5). Внешнее устройство представляет собой, например, другой укрепляемый на голове дисплей 100, сервер, монитор или что-либо подобное. Блок 132 беспроводной связи передает эти изображения внешнего окружения к внешнему устройству по беспроводному соединению. Внешнее устройство, имеющее принятые изображения внешнего окружения, может использовать принятые изображения внешнего окружения в различных аспектах. Например, изображения внешнего окружения могут быть отображены на другом укрепляемом на голове дисплее 100 или мониторе. Кроме того, изображения внешнего окружения могут сохраняться на сервере в качестве журнала (работы) хирурга.

[0112] Согласно аспекту, в соответствии с которым изображения внешнего окружения отображаются на другом укрепляемом на голове дисплее 100 или мониторе, внешнее устройство может регистрировать рекомендацию хирурга (персонала), который видит отображаемые изображения. В этом случае внешнее устройство передает регистрируемую рекомендацию на укрепляемый на голове дисплей 100. Блок 132 беспроводной связи укрепляемого на голове дисплея 100, имеющий принятую рекомендацию, передает принятую рекомендацию. В частности, в случае, когда принятой рекомендацией является звуковая информация, блок 132 беспроводной связи передает звуковую информацию к блоку 170 обработки звука. В случае, когда принятой рекомендацией является текстовая информация или изобразительная информация, блок 132 беспроводной связи передает текстовую информацию или изобразительную информацию к блоку 142 суперпозиционной обработки. Блок 170 обработки звука, имеющий принятую звуковую информацию, усиливает звуковой сигнал, включенный в звуковую информацию, и подает усиленный звуковой сигнал на динамические головки, встроенные в правый головной телефон 32 и левый головной телефон 34. Соответственно, пользователь укрепляемого на голове дисплея 100 может слышать рекомендацию. С другой стороны, блок 142 суперпозиционной обработки, имеющий принятую текстовую информацию или изобразительную информацию, дополнительно отображает принятую текстовую информацию или изобразительную информацию в качестве виртуальной информации VI в дополнение к суперпозиционной информации СР1. Способ отображения текстовой информации или изобразительной информации является таким же, как способ отображения вспомогательной информации СР3, описанный в дополнительном процессе 1. Соответственно, пользователь укрепляемого на голове дисплея 100 может визуально распознавать рекомендацию, выраженную текстом или изображением, как виртуальное изображение VI.

[0113] Как описывалось выше, в соответствии с дополнительным процессом 6 изображение внешнего окружения, регистрируемое в середине процесса, также можно наблюдать и поэтому его можно сохранять во внешнем устройстве. Кроме того, в соответствии с дополнительным процессом 6 пользователь укрепляемого на голове дисплея 100 может получать рекомендацию от человека, который наблюдает изображение внешнего окружения, регистрируемое в середине процесса. Поэтому при использовании укрепляемого на голове дисплея 100 могут быть повышены эффективность и точность работы.

[0114] А-3-7. Дополнительный процесс 7

В соответствии с дополнительным процессом 7 блок 142 суперпозиционной обработки выполняет вычисление области отображения виртуального изображения VI и области захвата изображения камерой 61. Блок 142 суперпозиционной обработки выполняет процессы, отраженные в нижеследующих процедурах с1-с7, до процесса вывода на отображение суперпозиционной информации (фиг. 5).

[0115] Процедура с1). Данные об изображении, относящиеся к направляющему изображению, (называемые в дальнейшем «данными о направляющем изображении»), предназначенные для калибровки, заблаговременно сохраняются в блоке 120 памяти. Направляющее изображение представляет собой изображение, предназначенное для показа концевой части области отображения виртуального изображения пользователю укрепляемого на голове дисплея 100. Например, направляющее изображение может быть прямоугольным изображением, которое имеет такое же отношение размеров, как правый жидкокристаллический дисплей 241 и левый жидкокристаллический дисплей 242, имеет совершенно белый фон и имеет круговые направляющие метки в четырех углах, а часть его расположена на пересечении диагональных линий.

Процедура с2). Блок 142 суперпозиционной обработки считывает данные о направляющем изображении, сохраняемые в блоке 120 памяти, и передает данные о направляющем изображении к блоку 160 обработки изображений. Процесс, отображенный на фиг. 2, выполняется в блоке 160 обработки изображений, имеющем принятые данные о направляющем изображении. В результате направляющее изображение отображается как виртуальное изображение VI в поле VR зрения пользователя укрепляемого на голове дисплея 100.

[0116] Процедура с3). Блок 142 суперпозиционной обработки направляет пользователя так, что точки на направляющих метках направляющего изображения последовательно отображаются как виртуальное изображение VI. В качестве средства направления пользователя можно использовать сообщение с блоком диалога, и направление можно осуществлять с использованием звуков. Направление с использованием звуков является предпочтительным, поскольку направление может осуществляться без блокирования отображаемого направляющего изображения.

Процедура с4). Блок 142 суперпозиционной обработки побуждает камеру 61 захватывать изображение внешнего окружения.

Процедура с5). Блок 142 суперпозиционной обработки выполняет распознавание образов на изображении внешнего окружения, захваченного камерой 61, чтобы точно определить положение кончика пальца человека. Блок 142 суперпозиционной обработки регистрирует координаты места нахождения кончика пальца относительно каждой направляющей метки с сохранением координат в блоке 120 памяти. Например, координаты места нахождения кончика пальца могут быть определены как величина сдвига в направлении X и направлении Y, когда самая верхняя левая часть изображения внешнего окружения помещена в (0, 0).

[0117] Процедура с6). Блок 142 суперпозиционной обработки повторно выполняет серию процессов относительно всех направляющих меток, в том числе регистрацию изображения внешнего окружения, регистрацию координат места нахождения кончика пальца и сохранение координат. Затем блок 142 суперпозиционной обработки прекращает отображение направляющего изображения. Таким образом, блок 142 суперпозиционной обработки заранее регистрирует область, в которой область захвата изображения камерой 61 перекрывается с областью отображения виртуального изображения VI. Кроме того, область, в которой область захвата изображения (область регистрации) камерой 61 перекрывается с областью отображения виртуального изображения VI, также называется «областью перекрытия».

Процедура с7). Блок 142 суперпозиционной обработки извлекает признак объекта, включенный в изображение области перекрытия, из изображения внешнего окружения, захваченного камерой 61 на этапе S204 процесса образования суперпозиционной информации (фиг. 8). Кроме того, на этапе S208 образует суперпозиционную информацию СР1, соответствующую области перекрытия.

[0118] Как описывалось выше, в соответствии с дополнительным процессом 7 блок 142 суперпозиционной обработки может образовывать суперпозиционную информацию СР1, имеющую отношение к области перекрытия, в которой область отображения виртуального (видео) изображения VI перекрывается с областью регистрации камерой 61 (блоком регистрации изображения). Поэтому можно уменьшить проявление «рассогласования между изображением, которое непосредственно наблюдается пользователем в его поле зрения, и виртуальным (видео) изображением VI, которое визуально распознается с помощью секции 20 отображения изображений», которое является проблемой, возникающей в пропускающем укрепляемом на голове дисплее 100. В результате, когда пользователь визуально распознает виртуальное изображение, основанное на суперпозиционной информации СР1, может быть уменьшен дискомфорт, который ощущает пользователь.

[0119] В. Второй вариант осуществления

Применительно ко второму варианту осуществления изобретения будет выполнено описание конфигурации, в которой укрепляемый на голове дисплей может также поддерживать работу, выполняемую пользователем. Ниже будут описаны только узлы, конфигурация и работа которых отличается от рассмотренных в первом варианте осуществления. Кроме того, на чертежах таким же составляющим элементам, как в первом варианте осуществления, даются те же позиции, как в первом варианте осуществления, а детальное описание их опускается.

[0120] В-1. Конфигурация укрепляемого на голове дисплея

На фиг. 13 представлена функциональная схема, иллюстрирующая конфигурацию укрепляемого на голове дисплея 100а согласно второму варианту осуществления. Отличие от первого варианта осуществления, показанного на фиг. 2, заключается в том, что секция 10а управления предусмотрена вместо секции 10 управления. Секция 10а управления включает в себя блок 120а памяти вместо блока 120 памяти и центральный процессор (ЦП) 140а вместо центрального процессора 140.

[0121] Блок 120а памяти включает в себя таблицу 126 процедур в дополнение к соответствующим областям памяти, показанным на фиг. 2. Центральный процессор 140а включает в себя блок 142а суперпозиционной обработки вместо блока 142 суперпозиционной обработки, показанного на фиг. 2, и также включает в себя блок 144 управления процедурами в дополнение к соответствующим блокам обработки, показанным на фиг. 2. Блок 142а суперпозиционной обработки и блок 144 управления процедурами во втором варианте осуществления совместно выполняют процесс вывода на отображение суперпозиционной информации.

[0122] На фиг. 14 представлена схема примера таблицы 126 процедур. Таблица 126 процедур представляет собой таблицу, используемую в процессе отображения суперпозиционной информации согласно второму варианту осуществления. Таблица 126 процедур заранее сохраняется в блоке 120а памяти. Таблица 126 процедур включает в себя поля номера работы, номера процедуры, наименования процедуры, содержания инструкции и изображения.

[0123] Идентификатор для однозначной идентификации работы сохраняется в номере работы. Например, в медицинском укрепляемом на голове дисплее 100 идентификатор, показывающий методику операции, сохраняется в номере работы. Идентификатор образован текстовой строкой и может быть образован, например, сочетанием буквенно-цифровых текстов.

[0124] Различные порции информации, относящиеся ко множеству процедур, включенных в работу, точно определенную номером работы, сохраняются в соответствующих полях номера процедуры. Идентификатор для однозначной идентификации процедуры сохраняется в номере процедуры. Идентификатор образован текстовой строкой и может быть образован, например, сочетанием буквенно-цифровых текстов. В примере из фиг. 14 предполагается, что множество процедур в процессе работы выполняются в возрастающем порядке номеров процедур. Название соответствующей процедуры сохраняется в наименовании процедуры. Текстовая строка, показывающая содержание действия, подлежащего выполнению пользователем в течение соответствующей процедуры, сохраняется в содержании инструкции. Кроме того, в примере из фиг. 14 содержание инструкции представлено в текстовой строке в направляющей предписывающей форме для пользователя. Изображение, показывающее содержание действия, подлежащего выполнению пользователем, сохраняется в поле изображения. Изображение представляет собой картину или что-либо подобное сцены, в которой, например, третье лицо выполняет в качестве примера соответствующую процедуру. Кроме того, в дополнение к картине изображение может быть чертежом (пояснительной диаграммой, сборочной схемой, установочным чертежом, схемой соединений и т.п.) и может быть сочетанием перечисленных.

[0125] На примере из фиг. 14 можно видеть, что таблица 126 процедур представляет собой таблицу, в которой сохраняются процедуры работы (то есть, хирургического вмешательства), выполняемой хирургом с помощью медицинского укрепляемого на голове дисплея 100. Кроме того, можно видеть, что работа, идентифицированная номером 1 работы, представляет собой операцию замены сустава пальца искусственным. Кроме того, можно видеть, что содержанием действия, подлежащего выполнению пользователем в течение процедуры, идентифицированной номером 1 процедуры, является «подготовка предметов, необходимых при операции», и «какие предметы необходимы». Кроме того, изображение, показывающее содержание действия, подлежащего выполнению пользователем, не коррелируется с процедурой, идентифицированной номером 1 процедуры.

[0126] В-2. Процесс отображения суперпозиционной информации

На фиг. 15 представлена блок-схема последовательности действий, иллюстрирующая процедуры процесса отображения суперпозиционной информации согласно второму варианту осуществления. Отличие от первого варианта осуществления, показанного на фиг. 5, заключается в том, что добавлены этапы S202, S304 и S306.

[0127] После получения команды на начало процесса отображения суперпозиционной информации блок 144 управления процедурами оценивает текущую процедуру на этапе S302. В частности, блок 144 управления процедурами активирует камеру 61, чтобы выдать камере 61 команду на захват изображения, и регистрирует изображение внешнего окружения, захватываемого камерой 61. Блок 144 управления процедурами выполняет распознавание образов на зарегистрированном изображении внешнего окружения, чтобы оценить текущую процедуру из множества процедур, сохраняемых в таблице 126 процедур. Таким способом блок 144 управления процедурами может автоматически оценивать текущую процедуру на основе изображения (изображения внешнего окружения) в направлении поля зрения пользователя, регистрируемого камерой 61 (блоком регистрации изображения).

[0128] После оценивания текущей процедуры блок 142а суперпозиционной обработки на этапе S108 выполняет процесс образования суперпозиционной информации. Детали процесса являются такими же, как в первом варианте осуществления, показанном на фиг. 8.

[0129] После выполнения процесса образования суперпозиционной информации блок 144 управления процедурами образует процедурную информацию на этапе S304. В частности, блок 144 управления процедурами выполняет процессы, отраженные в нижеследующих процедурах с d1 по d4.

[0130] Процедура d1). Блок 144 управления процедурами исследует таблицу 126 процедур и извлекает табличные данные, коррелированные с текущей процедурой, оцененной на этапе S302.

Процедура d2). Блок управления 144 процедурами определяет, сохраняется или нет изображение (изображение, показывающее содержание действия, подлежащего выполнению пользователем) в поле изображения среди извлеченных табличных данных. Блок 144 управления процедурами выполняет процедуру d3, если изображение сохраняется, и выполняет процедуру d4, если изображение не сохраняется.

Процедура d3). Блок 144 управления процедурами образует процедурную информацию, в которой изображение, сохраняемое в поле изображения, располагается в верхней концевой части, текстовая строка, сохраняемая в поле содержания инструкции, расположена в нижней концевой части, а закрытые формальные данные располагаются в других частях. Кроме того, предпочтительно, чтобы с учетом изображения внешнего окружения текстовая строка имела цвет с хорошей видимостью.

Процедура d4). Блок 144 управления процедурами образует процедурную информацию, в которой текстовая строка, сохраняемая в поле содержания инструкции, располагается в нижней концевой части, а закрытые формальные данные располагаются в других частях.

[0131] Кроме того, компоновку изображения и текстовую строку можно произвольно изменять при выполнении процедур d3 и d4. Однако контент для информирования пользователя следует показывать без наложения, сокращающего поле зрения пользователя, при этом изображение и текстовую строку предпочтительно располагать возле концевой части (иначе говоря, возле четырех сторон) процедурной информации СР4.

[0132] На фиг.16 дано схематическое представление примера процедурной информации. В процедурной информации СР4 текстовая строка MG4 «Введение искусственного сустава пальца», показывающая содержание действия, выполняемого пользователем, расположена в нижней концевой части. Кроме того, изображение IM4, показывающее модель, в которой искусственный сустав пальца введен, расположено в верхней правой концевой части.

[0133] После образования процедурной информации СР4 блок 142а суперпозиционной обработки и блок 144 управления процедурами на этапе S306 выводят на отображение суперпозиционную информацию СР1 и процедурную информацию. В частности, блок 142а суперпозиционной обработки передает суперпозиционную информацию СР1 к блоку 160 обработки изображений, а блок 144 управления процедурами передает процедурную информацию СР4 к блоку 160 обработки изображений. Блок 160 обработки изображений, который имеет принятую суперпозиционную информацию СР1 и процедурную информацию СР4, образует составное изображение, которое имеет суперпозиционную информацию СР1 и процедурную информацию СР4 в соответствующих слоях, и выполняет процесс вывода на отображение, показанный на фиг. 2, образованного составного изображения. В результате суперпозиционная информация СР1 и процедурная информация СР4 отображаются как виртуальное изображение VI в поле VR зрения пользователя укрепляемого на голове дисплея 100а.

[0134] Как описывалось выше, в процессе отображения суперпозиционной информации согласно второму варианту осуществления секция 20 отображений изображений дает возможность пользователю визуально распознавать в виде виртуального (видео) изображения VI процедурную информацию СР4, показывающую содержание действия, подлежащего выполнению пользователем укрепляемого на голове дисплея 100а во время текущей процедуры. Поэтому в дополнение к эффектам первого варианта осуществления, используя изображение, можно визуально показывать содержание действия, подлежащего выполнению пользователем укрепляемого на голове дисплея 100а. Следовательно, может быть более осознанно поддерживаться работа, выполняемая пользователем.

[0135] Кроме того, во втором варианте осуществления в качестве примера описан случай, когда картина (или что-либо подобное) сцены, в которой третье лицо для примера выполняет соответствующую процедуру, сохраняется в поле изображения таблицы 126 процедур. Однако, при выполнении реальной отдельной конкретной процедуры изображение, отражающее содержание действия, подлежащего выполнению пользователем, может сохраняться в поле изображения таблицы 126 процедур. В частности, например, изображение, показывающее место разреза кожи пациента, которого фактически оперируют, или изображение, показывающее место, на котором медицинский инструмент (например, медицинский винт, пейсмекер, катетер, искусственный сустав или что-либо подобное) вводят в тело пациента, которого фактически оперируют, может сохраняться в поле изображения таблицы 126 процедур. В этом случае блок 144 управления процедурами выполняет процессы, отраженные в нижеследующих процедурах с е1 по е9, вместо этапов S108, S304 и S306 процесса отображения суперпозиционной информации (фиг. 15).

[0136] Процедура е1). Блок 144 управления процедурами исследует таблицу 126 процедур и извлекает табличные данные, коррелированные с текущей процедурой, оцененной на этапе S302.

Процедура е2). Блок 144 управления процедурами определяет, сохраняется или нет изображение в поле изображения среди извлеченных табличных данных. Блок 144 управления процедурами выполняет процедуры с е3 по е7 и е9, если изображение сохраняется, и выполняет процедуры е8 и е9, если изображение не сохраняется.

[0137] Процедура е3). Блок 142а суперпозиционной обработки регистрирует изображение внешнего окружения. Детали этого такие же, как на этапе S202 процесса образования суперпозиционной информации (фиг. 8).

Процедура е4). Блок 142а суперпозиционной обработки выполняет распознавание образов на изображении внешнего окружения, чтобы извлечь признак целевого объекта. Детали этого такие же, как на этапе S204 процесса образования суперпозиционной информации.

Процедура е5). Блок 142а суперпозиционной обработки выполняет распознавание образов на изображении, сохраняемом в поле изображения, чтобы извлечь признак целевого объекта. Детали этого такие же, как на этапе S206 процесса образования суперпозиционной информации. Однако в отличие от «невидимой информации» на этапе S206 «изображение, сохраняемое в поле изображения», является читаемым.

Процедура е6). Для образования суперпозиционной информации СР5 блок 142а суперпозиционной обработки корректирует изображение, сохраняемое в поле изображения, чтобы признак изображения внешнего окружения, извлеченный при выполнении процедуры е4, был согласован с признаком изображения, сохраняемого в поле изображения, извлеченным при выполнении процедуры е5. Детали этого такие же, как на этапе S208 процесса образования суперпозиционной информации. Однако в отличие от «невидимой информации» на этапе S208 «изображение, сохраняемое в поле изображения», является читаемым.

Процедура е7). Блок 144 управления процедурами добавляет слой, показывающий процедурную информацию, к суперпозиционной информации СР5, образованной в течение процедуры е6. В частности, блок 144 управления процедурами располагает текстовую строку, сохраняемую в поле содержания инструкции табличных данных, извлеченных при выполнении процедуры е1, в нижней концевой части суперпозиционной информации СР5.

[0138] На фиг.17 дано схематическое представление, иллюстрирующее пример суперпозиционной информации, к которой добавлена процедурная информация. В суперпозиционной информации СР5 расположено под углом изображение IM5, на котором показано место разреза кожи пациента, которого фактически оперируют, при этом положение и размер согласованы с признаком целевого объекта (объекта, включенного во внешнее окружение) в направлении поля зрения пользователя. Кроме того, в суперпозиционной информации СР5 текстовая строка MG5 «Разрезание кожи на участке хирургического вмешательства с использованием скальпеля с круговым лезвием для обнажения сустава пальца», показывающая содержание действия, подлежащего выполнению пользователем, расположена в левой концевой части.

[0139] Процедура е8). Блок 144 управления процедурами образует процедурную информацию СР4, в которой текстовая строка, сохраняемая в поле содержания инструкции табличных данных, извлеченных в течение процедуры е1, располагается в нижней концевой части, а скрытые формальные данные располагаются в других частях.

Процедура е9). Блок 144 управления процедурами выводит на отображение суперпозиционную информацию СР5, образованную в течение процедуры е7, или процедурную информацию СР4, образованную в течение процедуры е8. В частности, блок 144 управления процедурами передает образованную суперпозиционную информацию СР5 или процедурную информацию СР4 к блоку 160 обработки изображений. Блок 160 обработки изображений, имеющий принятую суперпозиционную информацию СР5 или процедурную информацию СР4, выполняет процесс вывода на отображение, показанный на фиг. 2. В результате суперпозиционная информация СР5 или процедурная информация СР4 отображается как виртуальная информация VI в поле VR зрения пользователя укрепляемого на голове дисплея 100а.

[0140] На фиг. 18 дано схематическое представление, иллюстрирующее пример виртуального изображения, которое визуально распознано пользователем вследствие выполнения процедур с е1 по е9. Как показано на фиг. 18, суперпозиционная информация СР5 отображается в качестве виртуального изображения VI в поле VR зрения пользователя укрепляемого на голове дисплея 100а. Как и выше, пользователь укрепляемого на голове дисплея 100а согласно настоящему варианту осуществления может визуально распознавать реальное изображение (состояние, в котором лезвие скальпеля, удерживаемого хирургом, находится в контакте со вторым суставом мизинца правой руки пациента) во внешнем окружении SC, которое наблюдается с помощью блока 26 отображения правого оптического изображения и блока 28 отображения левого оптического изображения, и суперпозиционную информацию СР5 (то есть, изображение, показывающее место разреза кожи пациента, которому фактически делают операцию, и текстовую строку, показывающую содержание действия, подлежащего выполнению пользователем), которая наблюдается как виртуальное изображение VI, в суперпозиционном состоянии. Таким образом, можно более индивидуально и конкретно поддерживать работу, выполняемую пользователем укрепляемого на голове дисплея 100а, и тем самым могут быть повышены точность и эффективность работы.

[0141] В-3. Дополнительные процессы процесса отображения суперпозиционной информации

Кроме того, в процессе отображения суперпозиционной информации (фиг. 15) согласно второму варианту осуществления могут также выполняться дополнительные процессы с 1 по 7, описанные в «А-3. Дополнительные процессы отображения суперпозиционной информации». Дополнительные процессы можно добавлять по отдельности или добавлять в сочетании. Кроме того, дополнительный процесс 7 в основном выполняется блоком 144 управления процедурами, и может выполняться на основе процедурной информации, образуемой блоком 144 управления процедурами.

[0142] С. Третий вариант осуществления

Описание третьего варианта осуществления будет сделано применительно к конфигурации, способной дополнительно повысить точность суперпозиции «информации (суперпозиционной информации), которая не проявляется во внешнем виде объекта» на «реальном изображении объекта, который является целью процесса отображения суперпозиционной информации», по сравнению с процессом отображения суперпозиционной информации согласно первому варианту осуществления. Ниже будут описываться только узлы, имеющие конфигурации и принципы действия, отличающиеся от изложенных в первом варианте осуществления. Кроме того, на чертежах таким же составляющим элементам, как в первом варианте осуществления, даются те же позиции, как в первом варианте осуществления, а подробное описание элементов опускается.

[0143] С-1. Конфигурация укрепляемого на голове дисплея

На фиг. 19 представлен вид, иллюстрирующий схематическую конфигурацию укрепляемого на голове дисплея 100b согласно третьему варианту осуществления. На фиг. 20 представлена функциональная схема, иллюстрирующая конфигурацию укрепляемого на голове дисплея 100b согласно третьему варианту осуществления. Отличия от первого варианта осуществления, показанного на фигурах 1 и 2, заключаются в том, что секция 10b управления предусмотрена вместо секции 10 управления и секция 20b отображения изображений предусмотрена вместо секции 20 отображения изображений.

[0144] Как показано на фиг. 20, секция 10b управления включает в себя блок 120b памяти вместо блока 120 памяти и центральный процессор (ЦП) 140b вместо центрального процессора 140. Блок 120b памяти также включает в себя информацию 128 о параллаксах в дополнение к области 122 хранения невидимой информации и области 124 хранения информации о внешнем виде, описанных в первом варианте осуществления.

[0145] На фиг. 21 представлена диаграмма для пояснения информации 128 о параллаксах. Информация 128 о параллаксах в настоящем варианте осуществления представляет собой таблицу, в которой множество расстояний Lx между пользователем и виртуальными изображениями, визуально распознаваемыми пользователем, являются коррелированными с параллаксами Px, которые соответственно согласованы со множеством расстояний Lx. Кроме того, параллакс показывает несоответствие (различие) между изображениями, формируемыми на сетчатках обоих глаз. В примере из фиг. 21 расстояние L1 между пользователем и виртуальным изображением VI1, визуально распознаваемым пользователем, согласуется с параллаксом 2 мм. Кроме того, расстояние L2 между пользователем и виртуальным изображением VI2, визуально распознаваемым пользователем, согласуется с параллаксом 6 мм и расстояние L3 между пользователем и виртуальным изображением VI3, визуально распознаваемым пользователем, согласуется с параллаксом 10 мм. Кроме того, интервал глубин человека резко уменьшается по мере того, как расстояние между пользователем и виртуальным изображением, визуально распознаваемым пользователем, становится больше. Поэтому более значительный объем данных может быть подготовлен для информации 128 о параллаксах, когда расстояние Lx становится меньше.

[0146] Это согласование заранее создается измерением расстояний между местами нахождения виртуальных изображений (то есть, местами формирования изображений, на которых виртуальное изображение визуально распознается правым глазом и виртуальное изображение визуально распознается левым глазом), виртуально распознаваемых обоими глазами пользователя, и обоими глазами пользователя, обусловленного отклонением места отображения виртуального изображения для правого глаза и места отображения виртуального изображения для левого глаза. Кроме того, в случае, когда виртуальное изображение для правого глаза и виртуальное изображение для левого глаза предполагаются одинаковыми виртуальными изображениями, место нахождения виртуального изображения, визуально распознаваемого обоими глазами пользователя, определяется как «опорная плоскость». В этом случае место формирования изображения при образовании информации 128 о параллаксах может быть расположено на передней стороне опорной плоскости при наблюдении от пользователя и может быть расположено на задней стороне опорной плоскости при наблюдении от пользователя. Место формирования изображения может быть расположено на передней стороне и на задней стороне опорной плоскости. Кроме того, в первом случае виртуальное изображение выдается к пользователю, а в последнем случае виртуальное изображение отодвинуто от пользователя.

[0147] Описанные выше параллаксы 2 мм, 6 мм и 10 мм являются параллаксами центральной части виртуального изображения, соответствующего различительному полю зрения и эффективному полю зрения. Поэтому для большей точности параллаксы (1,9 мм, 5 мм и 9 мм) частей, соответствующих стабильному полю постоянного пристального взгляда пользователя, параллаксы (1,8 мм, 4 мм и 8 мм) частей, соответствующих наведенному полю зрения пользователя, и параллаксы (1,7 мм, 3 мм и 7 мм) частей, соответствующих вспомогательному полю зрения пользователя, и аналогичные можно дифференцировать друг от друга и сохранять в информации 128 параллаксов. Кроме того, конкретные численные величины из фиг. 21 являются только примерами.

[0148] Кроме того, различительное поле зрения является областью, в которой среди полей зрения человека функция зрения, такая как зрительное восприятие или различение цветов, является хорошей, и поэтому может восприниматься высокоточная информация. Различительное поле зрения обычно находится в пределах нескольких градусов от середины. Эффективное поле зрения является областью, в которой среди полей зрения человека информация непрерывно наблюдается только при перемещении глаза, и конкретная информация может мгновенно восприниматься. Эффективное поле зрения обычно находится в пределах около 15° в правую и левую стороны, в пределах около 8° кверху и пределах около 12° книзу. Стабильное поле постоянного пристального взгляда является областью, в которой среди полей зрения человека постоянный пристальный взгляд комфортно возможен в состоянии, в котором перемещение головы содействует перемещению глаз. Стабильное поле пристального взгляда обычно находится в пределах от 30° до 45° в правую и левую сторону, в пределах от 20° до 30° кверху и в пределах от 25° до 40° книзу. Наведенное поле зрения является областью, в которой среди полей зрения человека имеется только различительная способность, которая представляет собой степень способности к определению наличия представленной информации, но на нее влияют пространственные координаты человека. Наведенное поле зрения обычно находится в пределах от 30° до 100° по горизонтали и в пределах от 20° до 85° по вертикали. Вспомогательное поле зрения является областью среди полей зрения человека, в которой восприятие информации значительно снижено и используется вспомогательная функция, которая является степенью стимулирования постоянного пристального взгляда, обусловленного сильным раздражителем или чем-либо подобным. Вспомогательное поле зрения обычно находится в пределах от 100° до 200° по горизонтали и в пределах от 85° до 135° по вертикали.

[0149] Центральный процессор 140b из фиг. 20 включает в себя блок 142b суперпозиционной обработки вместо блока 142 суперпозиционной обработки. Блок 142b суперпозиционной обработки отличается от соответствующего блока из первого варианта осуществления содержанием выполняемого процесса отображения суперпозиционной информации. Подробности будут описаны ниже.

[0150] Как показано на фиг. 20, секция 20b отображения изображений также включает в себя камеры 62 и 63 захвата изображения зрачка, блоки 64 и 65 излучения и приема инфракрасных лучей (ИК лучей) ближнего диапазона (БД), девятиосный датчик 66 и датчик 67 глубины в дополнение к соответствующим блокам, описанным в первом варианте осуществления.

[0151] Камера 62 захвата изображения зрачка расположена вблизи концевой части ER (фиг. 1) секции 20 отображений изображений. Камера 62 изображения зрачка захватывает изображение зрачка правого глаза RE пользователя, когда пользователь носит укрепляемый на голове дисплей 100b, в направлении задней стороны секции 20 отображения изображений. Аналогичным образом камера 63 захвата изображения зрачка расположена вблизи EL (фиг. 1) секции 20 отображения изображений. Камера 63 захвата изображения зрачка захватывает изображение зрачка левого глаза LE пользователя, когда пользователь носит укрепляемый на голове дисплей 100b.

[0152] Блок 64 излучения и приема инфракрасных лучей ближнего диапазона расположен вблизи концевой части ER (фиг. 1) секции 20 отображения изображений. Блок 64 излучения и приема инфракрасных лучей ближнего диапазона подает инфракрасные лучи к правому глазу RE пользователя и регистрирует свет, отраженный в направлении задней стороны секции 20 отображения изображений. Аналогичным образом блок 65 излучения и приема инфракрасных лучей ближнего диапазона расположен вблизи концевой части EL (фиг. 1) секции 20 отображений изображений. Блок 65 излучения и приема инфракрасных лучей ближнего диапазона подает инфракрасные лучи к левому глазу LE пользователя и регистрирует свет, отраженный в направлении задней стороны секции 20 отображения изображений.

[0153] Камеры 62 и 63 захвата изображения зрачка и блоки 64 и 65 излучения и приема инфракрасных лучей ближнего диапазона функционируют как «блок обнаружения зрительной линии», который обнаруживает зрительную линию пользователя совместно с каждым другим блоком. Кроме того, некоторые из камер 62 и 63 захвата изображения зрачка и блоков 64 и 65 излучения и приема инфракрасных лучей ближнего диапазона могут быть опущены. Например, блоки 64 и 65 излучения и приема инфракрасных лучей ближнего диапазона могут быть опущены и камера 63 захвата изображения зрачка и блок 65 излучения и приема инфракрасных лучей ближнего диапазона могут быть опущены.

[0154] Девятиосный датчик 66 расположен на месте, соответствующем надпереносью пользователя, когда пользователь носит секцию 20 отображения изображений. Девятиосный датчик 66 представляет собой датчик перемещения, который обнаруживает ускорение (по трем осям), угловую скорость (по трем осям) и геомагнетизм (по трем осям). Девятиосный датчик 66 расположен в секции 20 отображения изображений и при этом функционирует как «блок обнаружения перемещения», который обнаруживает перемещение головы пользователя, когда секция 20 отображения изображений укреплена на голове пользователя. В данном случае перемещение головы включает в себя скорость, ускорение, угловую скорость, направление и изменение направления головы.

[0155] Датчик 67 глубины расположен на месте, соответствующем надпереносью пользователя, когда пользователь носит секцию 20 отображения изображений. Датчик 67 глубины включает в себя узел излучения инфракрасных лучей и датчик инфракрасных лучей и измеряет глубину каждой точки, расположенной перед датчиком 67 глубины. Датчик 67 глубины функционирует как «блок обнаружения положения», который обнаруживает положение пользователя относительно объекта (целевого объекта), который является целью процесса отображения суперпозиционной информации.

[0156] С-2. Процесс отображения суперпозиционной информации

На фиг. 22 представлена блок-схема последовательности действий, иллюстрирующая процедуры процесса отображения суперпозиционной информации согласно третьему варианту осуществления. Отличие от первого варианта осуществления, показанного на фиг. 5, заключается в следующем: этап S602 предусмотрен вместо этапа S102; этап S604 предусмотрен вместо этапа S108; этап S606 предусмотрен вместо этапа S110 и кроме того, этап S608 предусмотрен после этапа S110. Кроме того, процесс отображения суперпозиционной информации согласно третьему варианту осуществления выполняется в соответствии с режимом трехмерного отображения.

[0157] На этапе S602 пользователь сохраняет множество порций невидимой информации, относящейся к определенному объекту, который является целью процесса отображения суперпозиционной информации, в области 122 хранения невидимой информации. В данном случае невидимая информация представляет собой изображение, показывающее структуру целевого объекта, зарегистрированного с использованием устройств захвата изображения, таких как компьютерное томографическое устройство, устройство магнитно-резонансной томографии, рентгеновская установка, эндоскоп и термографическое устройство, таким же образом, как на этапе S102 из фиг. 5. В процессе отображения суперпозиционной информации согласно третьему варианту осуществления одна порция невидимой информации выбирается из множества порций невидимой информации в соответствии с относительным положением целевого объекта и пользователя. Поэтому на этапе S602 предпочтительно, чтобы невидимая информация, относящаяся к целевому объекту, регистрировалась под различными углами и сохранялась в области 122 хранения невидимой информации.

[0158] На фиг. 23 дано схематическое представление примера невидимой информации. Как показано на фиг. 23, в области 122 хранения невидимой информации согласно третьему варианту осуществления сохраняется множество компьютерных томографических изображений SI1 коронарной плоскости, которые представляют собой некоторые плоские изображения, которые разделяют тело пациента PA на переднюю сторону и заднюю сторону; множество компьютерных томографических изображений SI2 в поперечном сечении, которые представляют собой некоторые плоские изображения, которые разделяют тело пациента PA на плоскости, перпендикулярные к продольному направлению; и рентгеновское изображение SI3 операционного поля пациента PA. Кроме того, невидимая информация, показанная на фиг. 23, является только примером и может быть включено, например, компьютерное томографическое изображение сагиттальной плоскости, а вместо компьютерного томографического изображения может быть включено изображение магнитно-резонансной томографии или эндоскопическое изображение.

[0159] На этапе S604 из фиг. 22 блок 142b суперпозиционной обработки образует суперпозиционную информацию и при этом выполняет «С-2-1. Первый процесс образования суперпозиционной информации» или «С-2-2. Второй процесс образования суперпозиционной информации», описываемые ниже. Различие между первым процессом образования суперпозиционной информации и вторым процессом образования суперпозиционной информации заключается в точности, с которой блок 142b суперпозиционной обработки корректирует невидимую информацию. В частности, во втором процессе образования суперпозиционной информации коррекция выполняется с более высокой точностью, чем в первом процессе образования суперпозиционной информации.

[0160] Пользователь может заранее определить и может указать, какой процесс выполнять из первого процесса образования суперпозиционной информации и второго процесса образования суперпозиционной информации. Кроме того, например, какой один из двух процессов следует выполнять, может определяться автоматически в зависимости от степени перемещения головы пользователя, обнаруживаемой девятиосным датчиком и может определяться автоматически в зависимости от вида или способа выполнения операции с использованием укрепляемого на голове дисплея 100b.

[0161] С-2-1. Первый процесс образования суперпозиционной информации

На фиг. 24 представлена блок-схема последовательности действий, иллюстрирующая процедуры первого процесса образования суперпозиционной информации. На этапе S402 блок 142b суперпозиционной обработки регистрирует изображение внешнего окружения. В частности, блок 142b суперпозиционной обработки активирует камеру 61 с выдачей на камеру 61 команды на захват изображения и регистрирует изображение внешнего окружения, захватываемое камерой 61.

[0162] На фиг. 25 дано схематическое представление для пояснения этапа S404 первого процесса образования суперпозиционной информации. Блок 142b суперпозиционной обработки на этапе S404 из фиг. 24 регистрирует зрительную линию и положение пользователя. В частности, блок 142b суперпозиционной обработки регистрирует зрительную линию пользователя на основании показателей обнаружения камер 62 и 63 захвата изображения зрачка и блоков 64 и 64 излучения и приема инфракрасных лучей ближнего диапазона. Затем блок 142b суперпозиционной обработки получает расстояние до точки постоянного пристального взгляда, которое является расстоянием между пользователем и точкой РР (точкой РР постоянного пристального взгляда на фиг. 25), на которую пользователь постоянно пристально смотрит, на основании зрительной линии пользователя. Кроме того, точка постоянного пристального взгляда является точкой, в которой центральные ямки (места, на которых зрение является наиболее острым на сетчатках) обоих глаз пользователя пересекаются на выносных линиях. Кроме того, блок 142b суперпозиционной обработки регистрирует положения с РО1 по РО3 (фиг. 25) пользователя относительно целевого объекта на основании показателя обнаружения датчика 67 глубины. В этом случае блок 142b суперпозиционной обработки может использовать, например, глубину DP (фиг. 25) для признаков с М1 по М4 (контуров или маркеров на фиг. 25) целевого объекта в качестве опорного уровня для регистрации положения.

[0163] На этапе S406 блок 142b суперпозиционной обработки выбирает одну порцию невидимой информации, соответствующую положению пользователя относительно целевого объекта из множества порций невидимой информации, сохраняемых в области 122 хранения невидимой информации. В частности, блок 142b суперпозиционной обработки выбирает несколько порций невидимой информации, которые считает оптимальными, на основе относительного положения пользователя и целевого объекта, зарегистрированного на этапе S404. Например, в случае, когда пользователь расположен на месте, с которого пользователь смотрит на пациента РА (целевой объект), показанный на фиг. 23, блок 142b суперпозиционной обработки выбирает множество компьютерных томографических изображений SI1 коронарной плоскости. Затем блок 142b суперпозиционной обработки выбирает одну порцию невидимой информации, соответствующую глубине, зарегистрированной на этапе S404, из выбранных нескольких порций невидимой информации. Кроме того, на этапе S406 блок 142b суперпозиционной обработки может представить пользователю в качестве кандидатов несколько выбранных порций невидимой информации и может принять от пользователя выборку невидимой информации.

[0164] На этапе S408 блок 142b суперпозиционной обработки выполняет распознавание образов на изображении внешнего окружения, чтобы извлечь признак целевого объекта. Подробности являются такими же, как на этапе S204 из фиг. 8, описанном в первом варианте осуществления.

[0165] На этапе S410 блок 142b суперпозиционной обработки выполняет распознавание изображения в невидимой информации, выбранной на этапе S408, чтобы извлечь признак целевого объекта. Подробности являются такими же, как на этапе S206 из фиг. 8, описанном в первом варианте осуществления.

[0166] На этапе S412 блок 142b суперпозиционной обработки корректирует невидимую информацию, выбранную на этапе S408, чтобы согласовать признак изображения внешнего окружения, извлеченный на этапе S408, и признак невидимой информации, извлеченный на этапе S410 и тем самым образовать суперпозиционную информацию. Подробности являются такими же, как на этапе S208 из фиг. 8, описанном в первом варианте осуществления.

[0167] На этапе S414 блок 142b суперпозиционной обработки выдает параллакс применительно к суперпозиционной информации. В частности, блок 142b суперпозиционной обработки исследует информацию 128 о параллаксах с использованием расстояния до точки постоянного пристального взгляда, полученного на этапе S404, в качестве ключевого слова и регистрирует параллакс, оговоренный в информации 128 о параллаксах. Блок 142b суперпозиционной обработки выдает параллакс, соответствующий расстоянию до точки постоянного пристального взгляда, на основании информации 128 о параллаксах применительно к суперпозиционной информации, образованной на этапе S412, чтобы образовать суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза. Как описывалось выше, в соответствии с этапом S414 блок 142b суперпозиционной обработки может без труда образовывать суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза при использовании информации 128 о параллаксах, которую подготавливает заранее.

[0168] После завершения первого процесса образования суперпозиционной информации блок 142b суперпозиционной обработки на этапе S606 из фиг. 22 выводит на отображение суперпозиционную информацию. В частности, блок 142b суперпозиционной обработки передает суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза, образованную в результате выполнения процесса образования суперпозиционной информации, к блоку 160 обработки изображений. Блок 160 обработки изображений, который имеет принятую суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза, выполняет процесс вывода на отображение, показанный на фиг. 2, соответствующих порций принятой суперпозиционной информации. В результате виртуальное изображение, основанное на суперпозиционной информации, отображается в поле зрения пользователя укрепляемого на голове дисплея 100b. В данном случае параллакс, соответствующий расстоянию до точки постоянного пристального взгляда, выдается применительно к суперпозиционной информации для правого глаза и суперпозиционной информации для левого глаза. Поэтому виртуальное изображение, визуально распознаваемое пользователем укрепляемого на голове дисплея 100b, формируется вокруг точки постоянного пристального взгляда пользователя и отображается трехмерным способом.

[0169] На этапе S608 из фиг. 22 блок 142b суперпозиционной обработки определяет, изменились или нет зрительная линия и положение пользователя. Зрительную линию и положение пользователя можно регистрировать таким же способом, как на этапе S404 первого процесса образования суперпозиционной информации (фиг. 25). В случае, когда положение и зрительная линия пользователя изменились с превышением заданного порогового значения (этап S608: Да), блок 142b суперпозиционной обработки вызывает переход процесса к этапу S604 и повторно выполняет первый или второй процесс образования суперпозиционной информации. В случае, когда положение и зрительная линия пользователя изменились без превышения заданного порогового значения (этап S608: Нет), блок 142b суперпозиционной обработки вызывает переход процесса к этапу S112. Кроме того, заданное пороговое значение можно устанавливать произвольно. Кроме того, пороговое значение, связанное со степенью изменения положения, и пороговое значение, связанное со степенью изменения зрительной линии, могут отличаться друг от друга.

[0170] Как описывалось выше, в соответствии с первым процессом образования суперпозиционной информации блок 142b суперпозиционной обработки образует суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза, для которых выдает параллакс, соответствующий расстоянию (расстоянию до точки постоянного пристального взгляда) между пользователем и точкой постоянного пристального взгляда, на которую постоянно обращен пристальный взгляд пользователя, а блок 160 обработки изображений секции 20 отображения изображений дает возможность пользователю визуально распознавать виртуальное изображение на основании этой суперпозиционной информации. В результате пользователь может визуально распознавать суперпозиционную информацию на месте, находящемся на таком же расстоянии, как точка постоянного пристального взгляда.

[0171] Кроме того, в соответствии с первым процессом образования суперпозиционной информации блок 142b суперпозиционной обработки может выбирать одну порцию невидимой информации, соответствующую положению пользователя относительно целевого объекта, из множества порций невидимой информации, сохраняемой в области 122 хранения невидимой информации блока 120b памяти, чтобы корректировать выбранную невидимую информацию. Поэтому блок 142b суперпозиционной обработки может образовывать суперпозиционную информацию при надлежащем использовании невидимой информации на основе относительного положения пользователя и целевого объекта.

[0172] С-2-2. Второй процесс образования суперпозиционной информации

На фиг. 26 представлена блок-схема последовательности действий, иллюстрирующая процедуры второго процесса образования суперпозиционной информации. Отличие от первого процесса образования суперпозиционной информации, показанного на фиг. 24, заключается в том, что этап S502 предусмотрен вместо этапа S404 и этап S504 предусмотрен вместо этапа S412.

[0173] На этапе S502 блок 142b суперпозиционной обработки регистрирует зрительную линию, положение, угол головы пользователя. Зрительная линия и положение пользователя являются такими же, как на этапе S404 первого процесса образования суперпозиционной информации (фиг. 25). Кроме того, блок 142b суперпозиционной обработки регистрирует угол головы пользователя на основании показателя обнаружения девятиосного датчика 66.

[0174] На фиг. 27 представлена диаграмма для пояснения этапа S504 второго процесса образования суперпозиционной информации. На этапе S504 из фиг. 26 блок 142b суперпозиционной обработки корректирует невидимую информацию. В частности, блок 142b суперпозиционной обработки корректирует невидимую информацию, выбранную на этапе S408, при использовании способа, описанного в нижеследующих процедурах с f1 по f3.

[0175] Процедура f1). Блок 142b суперпозиционной обработки разделяет изображение, показывающее невидимую информацию SI, на множество областей с А1 по An (фиг. 27). После разделения блок 142b суперпозиционной обработки может измерять расстояния между пользователем и соответствующими частями целевого объекта при использовании триангуляции и может разделять изображение, показывающее невидимую информацию SI, на области на основе результата измерения. В частности, например, блок 142b суперпозиционной обработки может группировать соответствующие части целевого объекта для каждого измеряемого расстояния от пользователя и может собирать порции невидимой информации SI, соответствующие сгруппированным соответствующим частям, в виде одной области. Кроме того, после этого группирования определенный допустимый диапазон (пороговое значение) может быть задан для расстояния. Таким образом, блок 142b суперпозиционной обработки может эффективно и с учетом реальной ситуации разделять область изображения, показывающего невидимую информацию SI, на множество областей.

[0176] Процедура f2). Блок 142b суперпозиционной обработки выполняет по меньшей мере одну обработку из увеличения, уменьшения, обрезания, искажения и удаления шума применительно к каждой из множества областей, разделенных при выполнении процедуры f1, чтобы образовать суперпозиционную информацию. Во время этой обработки блок 142b суперпозиционной обработки выполняет такую обработку, в результате которой признак изображения внешнего окружения и признак невидимой информации SI, обнаруженные на этапах S408 и S410, согласуются друг с другом.

[0177] Процедура f3). При выполнении обработки в течение процедуры f2 блок 142b суперпозиционной обработки может изменять точность обработки (коррекции) на основе характеристики восприятия информации в поле зрения пользователя. В данном случае характеристика восприятия информации отражает степень возможности зрительной системы. В порядке от лучшей характеристики восприятия информации в пределах поля зрения (фиг. 21) можно разделить поля зрения человека на (1) различительное поле зрения, (2) эффективное поле зрения, (3) стабильное поле постоянного пристального взгляда, (4) наведенное поле зрения и (5) вспомогательное поле зрения. Поэтому в случае, когда из числа множества областей, разделенных в течение процедуры f1, обрабатываемая целевая область принадлежит к полю зрения с хорошей характеристикой восприятия информации (например, к упомянутым выше (1) и (2)), блок 142b суперпозиционной обработки может повышать точность обработки, а в случае, когда обрабатываемая целевая область принадлежит к полю зрения (например, к упомянутым выше (4) и (5)) с плохой характеристикой восприятия информации, блок 142b суперпозиционной обработки может понижать точность обработки. Это обусловлено тем, что, если точность суперпозиции невидимой информации SI и целевого объекта повышать в поле зрения с плохой характеристикой восприятия информации, возникнет проблема бесполезности вследствие ограничения возможности восприятия пользователем.

[0178] После завершения второго процесса образования суперпозиционной информации блок 142b суперпозиционной обработки на этапе S606 из фиг. 22 выводит на отображение суперпозиционную информацию. В результате таким же способом, как и в первом процессе образования суперпозиционной информации, виртуальное изображение, основанное на суперпозиционной информации, отображается в поле зрения пользователя укрепляемого на голове дисплея 100b. Кроме того, виртуальное изображение, визуально распознаваемое пользователем, формируется вокруг точки постоянного пристального взгляда пользователя и отображается трехмерным способом.

[0179] Как описывалось выше, в соответствии со вторым способом образования суперпозиционной информации блок 142b суперпозиционной обработки разделяет изображение, показывающее невидимую информацию SI об объекте, сохраняемую в области 122 хранения невидимой информации блока 120b памяти, на множество областей с А1 по An. Затем блок 142b суперпозиционной обработки выполняет по меньшей мере одну обработку из увеличения, уменьшения, обрезания, искажения и удаления шума применительно к каждой из множества областей, чтобы корректировать области. Как и выше, блок 142b суперпозиционной обработки разделяет изображение, показывающее невидимую информацию SI, на множество областей с А1 по An и затем корректирует каждую область. Следовательно, может быть повышена точность коррекции изображения, показывающего невидимую информацию SI.

[0180] Кроме того, в соответствии со вторым процессом образования суперпозиционной информации блок 142b суперпозиционной обработки изменяет точность обработки (коррекции) невидимой информации SI на основе характеристики восприятия информации в пределах поля зрения пользователя. В результате блок 142b суперпозиционной обработки может эффективно корректировать невидимую информацию SI.

[0181] С-3. Дополнительные процессы к процессу отображения суперпозиционной информации

Кроме того, при выполнении процесса отображения суперпозиционной информации (фиг. 22) также могут быть выполнены дополнительные процессы с 1 по 7, описанные в «А-3. Дополнительные процессы к процессу отображения суперпозиционной информации». Дополнительные процессы можно добавлять по отдельности или добавлять в сочетании.

[0182] D. Пример модификации

В описанных выше вариантах осуществления некоторые составляющие элементы, выполненные в виде аппаратного обеспечения, могут быть выполнены в виде программного обеспечения и наоборот, некоторые конфигурации, выполненные в виде программного обеспечения, могут быть выполнены в виде аппаратного обеспечения. Кроме того, также могут быть нижеследующие модификации.

[0183] Пример 1 модификации

В описанных выше вариантах осуществления конфигурация укрепляемого на голове дисплея представлена в качестве примера. Однако любая конфигурация укрепляемого на голове дисплея может быть определена в пределах объема изобретения без отступления от сущности изобретения и, например, каждый узел конфигурации может быть добавлен, исключен, изменен и т.п.

[0184] В описанных выше вариантах осуществления распределение составляющих элементов по секции управления и секции отображения изображений является только примером, и можно использовать различные конфигурации. Например, можно использовать нижеследующие конфигурации: (i) конфигурацию, в которой функциональный блок обработки, такой как центральный процессор и память, установлен в секции управления и только функциональный блок отображения установлен в секции отображения изображений; (ii) конфигурацию, в которой функциональный блок обработки, такой как центральный процессор и память, установлен как в секции управления, так и в секции отображения изображений; (iii) конфигурацию, в которой секция управления и секция отображения изображений выполнены как одно целое (например, конфигурацию, в которой секция отображения изображений включает в себя секцию управления и функциональный блок, такой как носимый компьютер очкового типа); (iv) конфигурацию, в которой смартфон или портативная игровая машина используется вместо секции управления; и (v) конфигурацию, в которой для исключения соединительного устройства (шнуров) секция управления и секция отображения изображений выполнены с возможностью беспроводной связи друг с другом и снабжаются электроэнергией беспроводным способом.

[0185] В описанных выше вариантах осуществления из соображений удобства описания секция управления снабжена блоком передачи, а секция отображения изображений снабжена приемным блоком. Однако блок передачи и приемный блок из описанных выше вариантов осуществления обладают функцией двунаправленной связи и поэтому могут как блоком передачи, так и приемным блоком. Кроме того, например, секция управления, показанная на фиг. 2, соединена с секцией отображения изображений проводной линией передачи сигналов. Однако секция управления и секция отображения изображений могут быть соединены друг с другом беспроводной линией передачи сигналов, такой как беспроводная локальная сеть, линия инфракрасной связи или беспроводная линия Bluetooth (зарегистрированный товарный знак).

[0186] Например, конфигурации секции управления и секции отображения изображений, показанных на фиг. 2, можно произвольно изменять. В частности, например, сенсорная панель может быть исключена из секции управления, а действие может выполняться при использовании только крестового ключа. Кроме того, другие операционные интерфейсы, такие как операционный стик, могут предусматриваться в секции управления. Кроме того, может быть конфигурация, в которой секция управления выполняется подключаемой к устройству, такому как клавиатура или мышь, для приема входных данных с клавиатуры или мыши.

[0187] Например, в описанных выше вариантах осуществления укрепляемый на голове дисплей представляет собой бинокулярный укрепляемый на голове дисплей пропускающего типа, но может быть монокулярным укрепляемым на голове дисплеем. Кроме того, укрепляемый на голове дисплей может быть непропускающим укрепляемым на голове дисплеем, прохождение изображения внешнего окружения через который блокируется в состоянии, когда пользователь носит укрепляемый на голове дисплей.

[0188] На фигурах 28А и 28В представлены виды, иллюстрирующие внешние конфигурации укрепляемых на голове дисплеев согласно примеру модификации. В случае примера из фиг. 28А отличие от укрепляемого на голове дисплея 100, показанного на фиг. 1, заключается в том, что секция 20с отображения изображений включает в себя правый оптический блок 26с отображения изображения вместо правого оптического блока 26 отображения изображения и левый оптический блок 28с отображения изображения вместо левого оптического блока 28 отображения изображения. Правый оптический блок 26с отображения изображения образован меньшего размера, чем оптический элемент из первого варианта осуществления, и расположен наклонно перед верхним краем правого глаза пользователя, когда укрепляемый на голове дисплей закреплен. Аналогичным образом левый оптический блок 28с отображения изображения образован меньшим, чем оптический элемент из описанных выше вариантов осуществления, и расположен наклонно перед верхним краем левого глаза пользователя, когда укрепляемый на голове дисплей закреплен. В случае примера из фиг. 28В отличие от укрепляемого на голове дисплея 100, показанного на фиг. 1, заключается в том, что секция 20d отображения изображений включает в себя правый оптический блок 26d отображения изображения вместо правого оптического блока 26 отображения изображения и левый оптический блок 28d отображения изображения вместо левого оптического блока 28 отображения изображения. Правый оптический блок 26d отображения изображения образован меньшим, чем оптический элемент из первого варианта осуществления, и расположен наклонно перед нижним краем правого глаза пользователя, когда укрепляемый на голове дисплей закреплен. Аналогичным образом левый оптический блок 28d отображения изображения образован меньшим, чем оптический элемент из первого варианта осуществления, и расположен наклонно перед нижним краем левого глаза пользователя, когда укрепляемый на голове дисплей закреплен. Как и выше, оптические блоки отображения изображения должны располагаться только вблизи глаз пользователя. Можно использовать оптические блоки отображения изображения, образующие оптический элемент, любого размера, а укрепляемый на голове дисплей может быть реализован в конфигурации, при которой оптические блоки отображения изображения покрывают только часть глаз пользователя; иначе говоря, оптические блоки отображения изображения не полностью покрывают глаза пользователя.

[0189] Например, в соответствии с описанием функциональные блоки, такие как блок обработки изображений, блок управления дисплеями, блок суперпозиционной обработки, блок управления процедурами и блок обработки звука реализованы центральным процессором, переводящим компьютерную программы, сохраняемую в постоянном запоминающем устройстве или на жестком диске, в оперативное запоминающее устройство и выполняющим программу. Однако эти функциональные блоки могут быть образованы при использовании интегральной схемы прикладной ориентации (ИСПО), которая рассчитана на реализацию каждой из соответствующих функций.

[0190] Например, в описанных выше вариантах осуществления секцию отображений изображений укрепляемого на голове дисплея носят как очки, но секция отображения изображений может быть типичным плоским дисплейным устройством (жидкокристаллическим дисплейным устройством, плазменным дисплейным устройством, дисплейным устройством на основе органической электролюминесценции или аналогичным). Кроме того, в этом случае секция управления и секция отображения изображений могут быть соединены друг с другом беспроводной линией передачи сигналов. Таким образом, секцию управления можно использовать в качестве блока дистанционного управления типичным плоским дисплейным устройством.

[0191] Кроме того, что касается секции отображения изображений, то вместо секции отображения изображений, которую носят как очки, можно использовать секции отображения изображений других видов, такие как секция отображения изображений, которую носят, например, как кепку. Кроме того, можно использовать укрепляемый на ухе головной телефон или стяжку головных телефонов или головной телефон можно исключать. Кроме того, например, проекционный бортовой дисплей (ПБД) можно выполнять с возможностью установки в транспортное средство, такое как автомобиль или самолет. Более того, например, укрепляемый на голове дисплей можно выполнять с возможностью встраивания в средство индивидуальной защиты, такое как шлем.

[0192] Например, в описанных выше вариантах осуществления аккумулятор используется как источник питания, но источник питания не ограничен аккумулятором и можно использовать различные элементы питания. Например, можно использовать гальванический элемент, топливный элемент, солнечный элемент, тепловой элемент и т.п.

[0193] Например, в описанных выше вариантах осуществления блок генерации несущего изображения света выполнен с использованием задней подсветки, блока управления задней подсветкой, жидкокристаллического дисплея и блока управления жидкокристаллическим дисплеем. Однако упомянутая выше конфигурация является только примером. Блок генерации несущего изображение света может включать в себя часть конфигурации для других реализаций вместе с этой частью конфигурации или вместо этой части конфигурации. Например, блок генерации несущего изображение света может включать в себя дисплей на основе органической электролюминесценции (ЭЛ) и контроллер дисплея на основе органической электролюминесценции. Кроме того, например, вместо жидкокристаллического дисплея можно использовать цифровое микрозеркальное устройство в блоке генерации несущего изображение света. Кроме того, например, изобретение применимо к лазерному укрепляемому на голове дисплею с проекцией на сетчатку.

[0194] Например, укрепляемый на голове дисплей может включать в себя датчик расстояния или датчик перемещения вместо камеры. В этом случае блок суперпозиционной обработки может извлекать признак целевого объекта при использовании датчика расстояния или датчика перемещения для выполнения такого же процесса, как в описанных выше вариантах осуществления.

[0195] Например, укрепляемый на голове дисплей может быть снабжен оптическим фильтром, который подавляет прохождение света такого же цвета, как цвет, который обычно используется в невидимой информации. Кроме того, укрепляемый на голове дисплей может быть снабжен оптическим фильтром цвета, дополнительного к цвету, который обычно используется в невидимой информации. Таким образом, может быть повышена зрительная доступность невидимой информации.

[0196] Например, можно исключить любой один предмет из камеры, камер захвата изображения зрачка, блоков излучения и приема инфракрасных лучей ближнего диапазона, девятиосного датчика и датчика глубины. Например, камеры захвата изображения зрачка и блоки излучения и приема инфракрасных лучей ближнего диапазона могут быть исключены и могут быть заменены камерой, расположенной на потолке операционной, для обнаружения зрительной линии пользователя. Кроме того, в случае, когда описанные выше составляющие элементы не исключаются, камера, расположенная на потолке операционной, может использоваться вместе с ними, в результате чего будет повышаться точность обработки невидимой информации.

[0197] Пример 2 модификации

В описанном выше варианте осуществления был описан пример процесса отображения суперпозиционной информации (фигуры 5 и 22). Однако процедуры процесса, показанного на фигурах 5 и 22, являются только примерами и могут иметь различные модификации. Например, некоторые этапы могут быть опущены, а другие этапы могут быть добавлены. Кроме того, другие этапы, подлежащие выполнению, могут быть изменены.

[0198] Например, на этапе S102 пользователь сохраняет невидимую информацию об объекте, который является целью процесса отображения суперпозиционной информации, в области хранения невидимой информации. Невидимая информация из описанных выше вариантов осуществления предполагается изображением, которое захватывается устройством захвата изображения (компьютерным томографическим устройством, устройством магнитно-резонансной томографии, рентгеновской установкой, эндоскопом, термографическим устройством или аналогичным) и представляется двумерным способом. Однако невидимую информацию, которая представлена трехмерным способом, можно сохранять на этапе S102. Невидимая информация, которая представлена трехмерным способом, является трехмерной моделью, которая образована множеством изображений, захваченных устройством захвата изображения. В случае использования невидимой информации, которая представлена трехмерным способом, блок суперпозиционной обработки выполняет рендеринг трехмерной модели на основании изображения внешнего окружения, зарегистрированного на этапе S202, между этапами S202 и S204 процесса образования суперпозиционной информации (фиг. 8). Кроме того, последующие процессы непрерывно выполняются с использованием рендерированных изображений в качестве «невидимой информации». Таким образом, можно визуально распознавать информацию, которая не проявляется во внешнем виде целевого объекта с различных направлений. Кроме того, невидимая информация, сохраняемая на этапе S102, не ограничена неподвижным изображением и может быть движущимся изображением.

[0199] Например, на этапах S114 и S116 другую порцию суперпозиционной информации образуют на основе информации о внешнем виде. Однако различные порции информации можно использовать в качестве источника другой порции суперпозиционной информации. Например, можно использовать другую порцию невидимой информации, которую захватывают, используя устройство захвата изображения, и она отличается от невидимой информации, используемой при образовании суперпозиционной информации СР1.

[0200] Например, процессы на этапе S112 и после него могут быть исключены.

[0201] Пример 3 модификации

Во втором варианте осуществления был описан процесс отображения суперпозиционной информации (фиг. 15). Однако процедуры процесса, показанного на фиг. 15, являются только примерами и могут иметь различные модификации. Например, некоторые этапы можно исключить, а другие этапы можно добавить. Кроме того, порядок выполняемых этапов можно изменить.

[0202] Например, блок управления процедурами может добавлять информацию для привлечения внимания пользователя к процедурной информации в соответствии с нижеследующими примерами.

- В течение процедуры объекты, на которые пользователь должен обращать особое внимание, отображаются всплывающими.

- Изображение или текстовая строка в процедурной информации отображается в режиме мерцания.

- Сообщение или пиктограмма, показывающая степень важности, степень трудности, частоту нарушений и т.п. соответствующей процедуры, отображается в процедурной информации.

[0203] Пример 4 модификации

В описанных выше вариантах осуществления описан пример таблицы процедур. Однако детали таблицы процедур являются только примерами и могут иметь различные модификации. Например, поле можно добавлять, удалять или изменять. Кроме того, для упорядочения таблицу процедур можно разделять на множество таблиц.

[0204] Пример 5 модификации

Во втором варианте осуществления была описана конфигурация, в которой укрепляемый на голове дисплей снабжен таблицей процедур и блоком управления процедурами и мог поддерживать работу, выполняемую пользователем, без необходимости в других устройствах. Однако тот же самый процесс можно выполнять в системе поддержания работы, включающей укрепляемый на голове дисплей и внешний сервер.

[0205] Например, укрепляемый на голове дисплей выполняют с блоком управления процедурами, а сервер снабжают таблицей процедур. В этом случае блок управления процедурами укрепляемого на голове дисплея имеет доступ к таблице процедур, сохраняемой в сервере, для обращения к данным таблицы процедур. Таким образом, информация из таблицы процедур, сохраняемой в одном сервере, может совместно использоваться многочисленными укрепляемыми на голове дисплеями. В результате уменьшается необходимость в трудоемком обновлении таблицы процедур по сравнению с конфигурацией, в которой таблица процедур предусматривается в каждом укрепляемом на голове дисплее.

[0206] Пример 6 модификации

В третьем варианте осуществления были описаны первый и второй процессы образования суперпозиционной информации (фигуры 24 и 26). Однако процедуры процесса, показанного на фигурах 24 и 26, являются только примерами и могут иметь различные модификации. Например, некоторые этапы можно исключать, а другие этапы можно добавлять. Кроме того, порядок выполняемых этапов можно изменять.

[0207] Например, множество порций информации о параллаксах можно сохранять в блоке памяти. Множество порций информации о параллаксах могут быть, например, информацией о параллаксах в случае, когда доминирующим глазом является правый глаз, и информацией о параллаксах в случае, когда доминирующим глазом является левый глаз, и может быть информацией о параллаксах, основанной на межзрачковом расстоянии. В этом случае на этапе S414 первого и второго процессов образования суперпозиционной информации одну порцию информации о параллаксах, используемую в процессе на этапе S414, можно выбирать из множества порций информации о параллаксах, сохраняемых в блоке памяти, на основе характеристик (например, межзрачкового расстояния или доминирующего глаза) пользователя укрепляемого на голове дисплея. Таким образом, блок суперпозиционной обработки может выбирать информацию о параллаксах, согласованную с характеристиками (например, с доминирующим глазом или межзрачковым расстоянием) пользователя, в результате чего будет снижаться зрительный дискомфорт, ощущаемый пользователем.

[0208] Например, в первом и втором процессах образования суперпозиционной информации процесс выделения контура или процесс бинаризации могут использоваться совместно, в результате чего будет дополнительно повышаться точность коррекции невидимой информации.

[0209] Пример 7 модификации

Изобретение не ограничено описанными выше вариантами осуществления или примерами модификаций и может быть реализовано при использовании различных конфигураций, находящихся в объеме изобретения, без отступления от сущности изобретения. Например, варианты осуществления, примеры и примеры модификаций, соответствующие техническим признакам соответствующих аспектов, описанных в разделе, относящемся к сущности изобретения, и технические признаки в примерах модификаций можно изменять или объединять в необходимом порядке для решения некоторых или всех описанных выше проблем или для достижения некоторых или всех описанных выше эффектов. Кроме того, если в настоящем описании технический признак не рассматривается как существенный признак, сообразно обстоятельствам технический признак можно исключать.

[0210] Перечень ссылочных позиций

10: Секция управления

12: Светящийся элемент

14: Сенсорная панель

16: Крестовый ключ

18: Выключатель электропитания

20: Секция отображения изображений

21: Правый крепежный узел

22: Правый дисплейный управляющий блок

23: Левый крепежный узел

24: Левый дисплейный управляющий блок

26: Правый оптический блок отображения изображения

28: Левый оптический блок отображения изображения

30: Вилка головных телефонов

32: Правый головной телефон

34: Левый головной телефон

40: Соединительный узел

42: Правый шнур

44: Левый шнур

46: Соединительный элемент

48: Шнур основной части

51: Блок передачи

52: Блок передачи

53: Приемный блок

54: Приемный блок

61: Камера (блок регистрации изображения)

62: Камера захвата изображения зрачка (блок обнаружения зрительной линии)

63: Камера захвата изображения зрачка (блок обнаружения зрительной линии)

64: Блок излучения и приема инфракрасных лучей ближнего диапазона (блок обнаружения зрительной линии)

65: Блок излучения и приема инфракрасных лучей ближнего диапазона (блок обнаружения зрительной линии)

66: Девятиосный датчик (блок обнаружения перемещения)

67: Датчик глубины (блок обнаружения положения)

110: Блок регистрации входной информации

100: Укрепляемый на голове дисплей

120: Блок памяти

122: Область хранения невидимой информации

124: Область хранения информации о внешнем виде

126: Таблица процедур

128: Информация о параллаксах

130: Источник питания

140: Центральный процессор

142: Блок суперпозиционной обработки

144: Блок управления процедурами

160: Блок обработки изображений

170: Блок обработки звука

180: Интерфейс

190: Блок управления дисплеями

201: Блок управления правой задней подсветкой

202: Блок управления левой задней подсветкой

211: Блок управления правым жидкокристаллическим дисплеем

212: Блок управления левым жидкокристаллическим дисплеем

221: Правая задняя подсветка

222: Левая задняя подсветка

241: Правый жидкокристаллический дисплей

242: Левый жидкокристаллический дисплей

251: Правая проекционная оптическая система

252: Левая проекционная оптическая система

261: Правая световодная пластинка

262: Левая световодная пластинка

Сигнал PCLK: Тактовый сигнал

VSync: Сигнал кадровой синхронизации

HSync: Сигнал строчной синхронизации

Данные: Данные изображения

Данные 1: Данные изображения для правого глаза

Данные 2: Данные изображения для левого глаза

ОА: Внешнее устройство

РС: Персональный компьютер

SC: Внешнее окружение

RE: Правый глаз

VI: Виртуальное изображение

EL: Концевая часть

IL: Освещающий свет

PL: Несущий изображение свет

АР: Вершина

ER: Концевая часть

VR: Поле зрения

СР1: Суперпозиционная информация

СР2: Увеличенная информация

СР3: Вспомогательная информация

СР4: Процедурная информация

СР5: Суперпозиционная информация

DP: Глубина

Lx: Расстояние Lx

PP: Точка постоянного пристального взгляда

Px: Параллакс

SI: Невидимая информация

SI1: Компьютерное томографическое изображение коронарной плоскости

SI2: Компьютерное томографическое изображение в поперечном сечении

SI3: Рентгеновское изображение

Укрепляемый на голове дисплей, который позволяет пользователю наблюдать скрытые за тканями человека части тела во время операции. Указанный дисплей включает в себя блок отображения изображений, формирующий виртуальное изображение, которое визуально распознается пользователем, и блок суперпозиционной обработки – наложения, который побуждает блок отображения изображений к формированию виртуального изображения, основанного на суперпозиционной информации, для суперпозиции невидимой информации, которая не проявляется во внешнем виде объекта, на объект, включенный во внешнее окружение. Технический результат заключается в получении реального изображения объекта в направлении поля зрения и информации, которая не проявляется во внешнем виде объекта, подлежащей визуальному распознаванию пользователем одновременно с перемещением/без перемещения пользователем своей зрительной линии. 4 н. и 40 з.п. ф-лы, 30 ил.

1. Укрепляемый на голове дисплей, который позволяет пользователю визуально распознавать виртуальное изображение и внешнее окружение, содержащий:

блок отображения изображений, формирующий виртуальное изображение, которое визуально распознается пользователем; и

блок суперпозиционной обработки, который побуждает блок отображения изображений к формированию виртуального изображения, основанного на суперпозиционной информации, для суперпозиции невидимой информации, которая не проявляется во внешнем виде объекта, на объект, включенный во внешнее окружение;

блок памяти, в котором сохраняется невидимая информация; и

блок регистрации изображения, который регистрирует изображение внешнего окружения в направлении поля зрения пользователя, когда пользователь носит укрепляемый на голове дисплей,

при этом блок суперпозиционной обработки извлекает признак объекта, включенного во внешнее окружение, путем распознавания образов на изображении в направлении поля зрения, зарегистрированном блоком регистрации изображения, и корректирует невидимую информацию об объекте, сохраняемую в блоке памяти, на основе извлеченного признака таким образом, чтобы образовать суперпозиционную информацию;

блок суперпозиционной обработки также выполняет процесс преобразования цветов для улучшения видимости образованной суперпозиционной информации на основе изображения в направлении поля зрения, регистрируемого блоком регистрации изображения.

2. Укрепляемый на голове дисплей по п. 1, в котором блок суперпозиционной обработки побуждает блок отображения изображений повторно формировать виртуальное изображение, основанное на суперпозиционной информации, соответствующей объекту, включенному во внешнее окружение, в каждый заданный момент времени.

3. Укрепляемый на голове дисплей по п. 1, в котором невидимая информация представляет собой изображение, показывающее структуру объекта.

4. Укрепляемый на голове дисплей по п. 1, в котором признак представляет собой контур объекта.

5. Укрепляемый на голове дисплей по п. 1, в котором признак представляет собой маркер, прикрепленный к объекту.

6. Укрепляемый на голове дисплей по п. 1, в котором коррекция выполняется путем выполнения по меньшей мере одного из увеличения, уменьшения, поворота, инверсии, обрезания, искажения и удаления шума применительно к изображению, показывающему невидимую информацию.

7. Укрепляемый на голове дисплей по п. 1, в котором коррекция выполняется разделением изображения, показывающего невидимую информацию, на множество областей и выполнением по меньшей мере одного из увеличения, уменьшения, обрезания, искажения и удаления шума применительно к каждой из множества областей.

8. Укрепляемый на голове дисплей по п. 7, в котором блок суперпозиционной обработки измеряет расстояние между пользователем и каждой частью объекта с использованием триангуляции и выполняет разделение на основе результата измерения.

9. Укрепляемый на голове дисплей по п. 1, в котором блок суперпозиционной обработки изменяет точность коррекции на основе характеристики восприятия информации, показывающей степень возможности зрительной системы в пределах поля зрения пользователя.

10. Укрепляемый на голове дисплей по п. 1, также содержащий:

блок обнаружения зрительной линии, который обнаруживает зрительную линию пользователя, при этом блок отображения изображений формирует виртуальное изображение, соответствующее правому глазу пользователя, и виртуальное изображение, соответствующее левому глазу пользователя,

при этом блок суперпозиционной обработки также получает расстояние до точки постоянного пристального взгляда, которое представляет собой расстояние между пользователем и точкой постоянного пристального взгляда, в которую пользователь постоянно пристально глядит, на основании зрительной линии, обнаруженной блоком обнаружения зрительной линии, и образует суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза, для которых выдает параллакс, соответствующий полученному расстоянию до точки постоянного пристального взгляда.

11. Укрепляемый на голове дисплей по п. 10, также содержащий:

информацию о параллаксах, в которой множество расстояний между пользователем и виртуальным изображением, визуально распознаваемым пользователем, коррелированы с параллаксами, которые соответственно согласованы со множеством расстояний, при этом блок суперпозиционной обработки выдает параллакс, соответствующий расстоянию до точки постоянного пристального взгляда, при использовании информации о параллаксах.

12. Укрепляемый на голове дисплей по п. 11,

в котором информация о параллаксах образована в виде множества порций и

в котором блок суперпозиционной обработки выбирает в соответствии с пользователем одну порцию информации о параллаксах из множества порций информации о параллаксах.

13. Укрепляемый на голове дисплей по п. 1, также содержащий:

блок обнаружения положения, который обнаруживает положение пользователя относительно объекта,

при этом в блоке памяти сохраняется множество порций невидимой информации, касающихся одного объекта,

при этом блок суперпозиционной обработки выбирает одну порцию невидимой информации, соответствующую положению, обнаруженному блоком обнаружения положения, из множества порций невидимой информации, сохраняемых в блоке памяти, и корректирует выбранную невидимую информацию.

14. Укрепляемый на голове дисплей по п. 1,

в котором блок суперпозиционной обработки также образует увеличенную информацию, в которой по меньшей мере часть объекта, включенного во внешнее окружение, является извлеченной и увеличенной, на основании изображения в направлении поля зрения, зарегистрированного блоком регистрации изображения, и

в котором блок отображения изображений позволяет пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации и увеличенной информации.

15. Укрепляемый на голове дисплей по п. 1, в котором блок суперпозиционной обработки не выводит на отображение виртуальное изображение в ответ на запрос от пользователя.

16. Укрепляемый на голове дисплей по п. 1, также содержащий:

блок управления процедурами, который образует процедурную информацию, представляющую собой информацию, касающуюся содержания действия, которое должно выполняться пользователем во время текущей процедуры,

при этом блок отображения изображений позволяет пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации и процедурной информации.

17. Укрепляемый на голове дисплей по п. 16, в котором процедурная информация включает по меньшей мере одно из изображения обстановки, в которой третье лицо для примера выполняет процедуру, и изображения, показывающего содержание действия, подлежащего выполнению пользователем при выполнении отдельной конкретной процедуры.

18. Укрепляемый на голове дисплей по п. 1,

в котором блок суперпозиционной обработки также образует вспомогательную информацию, которая представляет собой дополнительную информацию, для содействия работе пользователя, и

в котором блок отображения изображений позволяет пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации и вспомогательной информации.

19. Укрепляемый на голове дисплей по п. 1, в котором блок суперпозиционной обработки извлекает суперпозиционную информацию, которую в ответ на запрос от пользователя выводит на отображение в качестве виртуального изображения на место, на котором оно не мешает полю зрения пользователя.

20. Укрепляемый на голове дисплей по п. 1, в котором блок суперпозиционной обработки образует суперпозиционную информацию, соответствующую области перекрытия, в которой область отображения виртуального изображения перекрывается с областью регистрации блока регистрации изображения на изображении, зарегистрированном блоком регистрации изображения.

21. Укрепляемый на голове дисплей по п. 15, в котором блок управления процедурами образует процедурную информацию, соответствующую области перекрытия, в которой область отображения виртуального изображения перекрывается с областью регистрации блока регистрации изображения на изображении, зарегистрированном блоком регистрации изображения.

22. Укрепляемый на голове дисплей, который позволяет пользователю визуально распознавать виртуальное изображение и внешнее окружение, содержащий:

блок отображения изображений, формирующий виртуальное изображение, которое визуально распознается пользователем; и

блок суперпозиционной обработки, который побуждает блок отображения изображений к формированию виртуального изображения, основанного на суперпозиционной информации, для суперпозиции невидимой информации, которая не проявляется во внешнем виде объекта, на объект, включенный во внешнее окружение;

блок памяти, в котором сохраняется невидимая информация; и

блок регистрации изображения, который регистрирует изображение внешнего окружения в направлении поля зрения пользователя, когда пользователь носит укрепляемый на голове дисплей,

при этом блок суперпозиционной обработки извлекает признак объекта, включенного во внешнее окружение, путем распознавания образов на изображении в направлении поля зрения, зарегистрированном блоком регистрации изображения, и корректирует невидимую информацию об объекте, сохраняемую в блоке памяти, на основе извлеченного признака таким образом, чтобы образовать суперпозиционную информацию, причем коррекция выполняется разделением изображения, показывающего невидимую информацию, на множество областей и выполнением по меньшей мере одного из увеличения, уменьшения, обрезания, искажения и удаления шума применительно к каждой из множества областей.

23. Укрепляемый на голове дисплей по п. 22, в котором блок суперпозиционной обработки побуждает блок отображения изображений повторно формировать виртуальное изображение, основанное на суперпозиционной информации, соответствующей объекту, включенному во внешнее окружение, в каждый заданный момент времени.

24. Укрепляемый на голове дисплей по п. 22, в котором невидимая информация представляет собой изображение, показывающее структуру объекта.

25. Укрепляемый на голове дисплей по п. 22, в котором признак представляет собой контур объекта.

26. Укрепляемый на голове дисплей по п. 22, в котором признак представляет собой маркер, прикрепленный к объекту.

27. Укрепляемый на голове дисплей по п. 22, в котором коррекция дополнительно выполняется путем выполнения по меньшей мере одного из поворота и инверсии применительно к изображению, показывающему невидимую информацию.

28. Укрепляемый на голове дисплей по п. 22, в котором блок суперпозиционной обработки измеряет расстояние между пользователем и каждой частью объекта с использованием триангуляции и выполняет разделение на основе результата измерения.

29. Укрепляемый на голове дисплей по п. 22, в котором блок суперпозиционной обработки изменяет точность коррекции на основе характеристики восприятия информации, показывающей степень возможности зрительной системы в пределах поля зрения пользователя.

30. Укрепляемый на голове дисплей по п. 22, также содержащий:

блок обнаружения зрительной линии, который обнаруживает зрительную линию пользователя, при этом блок отображения изображений формирует виртуальное изображение, соответствующее правому глазу пользователя, и виртуальное изображение, соответствующее левому глазу пользователя,

при этом блок суперпозиционной обработки также получает расстояние до точки постоянного пристального взгляда, которое представляет собой расстояние между пользователем и точкой постоянного пристального взгляда, в которую пользователь постоянно пристально глядит, на основании зрительной линии, обнаруженной блоком обнаружения зрительной линии, и образует суперпозиционную информацию для правого глаза и суперпозиционную информацию для левого глаза, для которых выдает параллакс, соответствующий полученному расстоянию до точки постоянного пристального взгляда.

31. Укрепляемый на голове дисплей по п. 30, также содержащий:

информацию о параллаксах, в которой множество расстояний между пользователем и виртуальным изображением, визуально распознаваемым пользователем, коррелированы с параллаксами, которые соответственно согласованы со множеством расстояний, при этом блок суперпозиционной обработки выдает параллакс, соответствующий расстоянию до точки постоянного пристального взгляда, при использовании информации о параллаксах.

32. Укрепляемый на голове дисплей по п. 31,

в котором информация о параллаксах образована в виде множества порций и

в котором блок суперпозиционной обработки выбирает в соответствии с пользователем одну порцию информации о параллаксах из множества порций информации о параллаксах.

33. Укрепляемый на голове дисплей по п. 22, также содержащий:

блок обнаружения положения, который обнаруживает положение пользователя относительно объекта,

при этом в блоке памяти сохраняется множество порций невидимой информации, касающихся одного объекта,

при этом блок суперпозиционной обработки выбирает одну порцию невидимой информации, соответствующую положению, обнаруженному блоком обнаружения положения, из множества порций невидимой информации, сохраняемых в блоке памяти, и корректирует выбранную невидимую информацию.

34. Укрепляемый на голове дисплей по п. 22,

в котором блок суперпозиционной обработки также образует увеличенную информацию, в которой по меньшей мере часть объекта, включенного во внешнее окружение, является извлеченной и увеличенной, на основании изображения в направлении поля зрения, зарегистрированного блоком регистрации изображения, и

в котором блок отображения изображений позволяет пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации и увеличенной информации.

35. Укрепляемый на голове дисплей по п. 22, в котором блок суперпозиционной обработки не выводит на отображение виртуальное изображение в ответ на запрос от пользователя.

36. Укрепляемый на голове дисплей по п. 22, также содержащий:

блок управления процедурами, который образует процедурную информацию, представляющую собой информацию, касающуюся содержания действия, которое должно выполняться пользователем во время текущей процедуры,

при этом блок отображения изображений позволяет пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации и процедурной информации.

37. Укрепляемый на голове дисплей по п. 36, в котором процедурная информация включает по меньшей мере одно из изображения обстановки, в которой третье лицо для примера выполняет процедуру, и изображения, показывающего содержание действия, подлежащего выполнению пользователем при выполнении отдельной конкретной процедуры.

38. Укрепляемый на голове дисплей по п. 22,

в котором блок суперпозиционной обработки также образует вспомогательную информацию, которая представляет собой дополнительную информацию, для содействия работе пользователя, и

в котором блок отображения изображений позволяет пользователю визуально распознавать виртуальное изображение, основанное на суперпозиционной информации и вспомогательной информации.

39. Укрепляемый на голове дисплей по п. 22, в котором блок суперпозиционной обработки также выполняет процесс преобразования цветов для улучшения видимости образованной суперпозиционной информации на основе изображения в направлении поля зрения, регистрируемого блоком регистрации изображения.

40. Укрепляемый на голове дисплей по п. 22, в котором блок суперпозиционной обработки извлекает суперпозиционную информацию, которую в ответ на запрос от пользователя выводит на отображение в качестве виртуального изображения на место, на котором оно не мешает полю зрения пользователя.

41. Укрепляемый на голове дисплей по п. 22, в котором блок суперпозиционной обработки образует суперпозиционную информацию, соответствующую области перекрытия, в которой область отображения виртуального изображения перекрывается с областью регистрации блока регистрации изображения на изображении, зарегистрированном блоком регистрации изображения.

42. Укрепляемый на голове дисплей по п. 35, в котором блок управления процедурами образует процедурную информацию, соответствующую области перекрытия, в которой область отображения виртуального изображения перекрывается с областью регистрации блока регистрации изображения на изображении, зарегистрированном блоком регистрации изображения.

43. Способ управления для укрепляемого на голове дисплея по одному из пп. 1-21, который позволяет пользователю визуально распознавать виртуальное изображение и внешнее окружение, при этом способ содержит этапы, на которых:

(a) формируют виртуальное изображение, которое визуально распознается пользователем, и

(b) формируют виртуальное изображение на основе суперпозиционной информации для суперпозиции невидимой информации, которая не проявляется на внешнем виде объекта, на объект, включенный во внешнее окружения.

44. Способ управления для укрепляемого на голове дисплея по одному из пп. 22-42, который позволяет пользователю визуально распознавать виртуальное изображение и внешнее окружение, при этом способ содержит этапы, на которых:

(a) формируют виртуальное изображение, которое визуально распознается пользователем, и

(b) формируют виртуальное изображение на основе суперпозиционной информации для суперпозиции невидимой информации, которая не проявляется на внешнем виде объекта, на объект, включенный во внешнее окружения.