УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ И СИСТЕМА ОБРАБОТКИ ИНФОРМАЦИИ Российский патент 2018 года по МПК G06F19/00 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству обработки информации.

Уровень техники

[0002] Известно укрепляемое на голове устройство отображения (головной дисплей (HMD)), которое представляет собой устройство отображения, устанавливаемое на голове. Например, укрепляемое на голове устройство отображения с использованием жидкокристаллического дисплея и источника света формирует свет изображения, представляющий изображение, и проводит сформированный свет изображения к глазам пользователя с использованием проекционной оптической системы, пластины световода и т.п., тем самым давая возможность пользователю распознавать виртуальное изображение.

[0003] Литература PTL 1 описывает систему для улучшения отображения информации в области медицины, использующую такое укрепляемое на голове устройство отображения. В методике, описанной в PTL 1, информация извлекается из множества источников информации на основе запроса. Извлеченная информация подвергается процессу фильтрации на основе правил и проецируется на окуляры средства просмотра в виде головной гарнитуры с очками. В методике, описанной в PTL 1, право управления и право приоритета для отображения информации относительно отображения на фиксированном большом дисплее определяются на основе зрительной оси пользователя укрепляемого на голове устройства отображения. Литература PTL 2 описывает укрепляемый на лице видеодисплей для медицинского использования (укрепляемое на голове устройство отображения). В методике, описанной в литературе PTL 2, операционная информация состояния периферийных устройств эндоскопа, которые используются с эндоскопом для эндоскопического исследования или эндоскопической хирургии, отображается на укрепляемом на голове устройстве отображения. Литература PTL 3 и 4 описывает способ для выполнения отображения информации в стоматологической хирургии посредством применения методики дополненной реальности в укрепляемом на голове устройстве отображения. В методике, описанной в литературе PTL 3 и PTL 4, предоперационное изображение, моделированное изображение и т.п. отображаются для наложения на фактическое изображение оперируемого участка.

Библиография

Патентная литература

[0004] [PTL 1] JP-A-2006-102495

[PTL 2] JP-A-2001-104331

[PTL 3] JP-A-2010-259497

[PTL 4] JP-A-2013-34764

Раскрытие изобретения

Техническая проблема

[0005] В соответствии с развитием медицины и развитием электронных устройств, сегодняшние медицинские помещения испытывают бурное развитие. В медицинских помещениях используется множество устройств для медицинского использования (в дальнейшем называемых в настоящем описании "медицинскими устройствами"), таких как электрокардиограф, измеритель частоты сердечных сокращений, измеритель кровяного давления, пульсоксиметр, измеритель содержания глюкозы в крови, рентгеновский аппарат и эндоскоп. Большой нагрузкой для сотрудников в медицинских помещениях является восприятие информации различных медицинских устройств и выполнение работы. Таким образом, возникла потребность в системе, которая может объединить информацию относительно множества медицинских устройств. В методике, описанной в литературе PTL 1, несмотря на возможность извлечения информации из множества источников информации (медицинских устройств), имеется проблема сложности установки запроса и фильтрации. В методиках, описанных в литературе PTL 2 - PTL 4, существует проблема в том, что информация относительно множества медицинских устройств не может быть объединена, поскольку медицинские устройства, применяемые с этими методиками, ограничены.

[0006] Такие проблемы не ограничены укрепляемым на голове устройством отображения и являются общими для всех устройств обработки информации, формирующих информацию, которая будет отображена на устройстве отображения изображения, таком, как укрепляемое на голове устройство отображения. Таким образом, имеется потребность в устройстве обработки информации, способном объединять информацию относительно множества медицинских устройств и способном легко фильтровать информацию из объединенной информации и формировать информацию, которая будет отображена на устройстве отображения изображения. Кроме того, относительно устройства обработки информации существуют различные требования, такие как увеличение универсальности, увеличение удобства, сокращение производственных затрат и увеличение надежности.

Решение проблемы

[0007] Преимущество некоторых аспектов изобретения заключается в решении, по меньшей мере, части описанных выше проблем, и изобретение может быть реализовано в следующих формах.

[0008] (1) Аспект изобретения обеспечивает устройство обработки информации. Устройство обработки информации включает в себя: блок сбора данных, который получает множество видов информации медицинских устройств, которые представляют собой информацию, полученную из множества медицинских устройств; блок формирования, который формирует информацию для представления, включающую в себя, по меньшей мере, часть из множества видов информации медицинских устройств, полученных блоком сбора данных; и блок представления, который выводит сформированную информацию для представления устройству отображения изображения, которое отображает изображение. Блок формирования формирует информацию для представления, включающую в себя, по меньшей мере, информацию медицинского устройства, полученную медицинским устройством, визуальное распознавание блока отображения которого для пользователя устройства отображения изображения затруднено. С помощью устройства обработки информации в соответствии с этим аспектом, поскольку блок формирования формирует информацию для представления, включающую в себя по меньшей мере один из множества видов информации медицинских устройств, полученных блоком сбора данных, возможно объединить информацию относительно множества медицинских устройств (информацию медицинских устройств), соединенных с устройством обработки информации. Поскольку блок формирования формирует информацию для представления, включающую в себя, по меньшей мере, информацию медицинского устройства, полученную медицинским устройством, визуальное распознавание блока отображения которого для пользователя устройства отображения изображения затруднено, то возможно получить информацию из объединенной информации медицинских устройств при условии, что информация является информацией медицинского устройства, полученная медицинским устройством, визуальное распознавание блока отображения которого для пользователя устройства отображения изображения затруднено, и включить полученную информацию в информацию для представления. В результате, возможно реализовать устройство обработки информации, способное объединять информацию относительно множества медицинских устройств и способное легко фильтровать информацию из объединенной информации и формировать информацию, которая будет отображена на устройстве отображения изображения.

[0009] (2) Устройство обработки информации в соответствии с описанным выше аспектом может быть выполнено таким образом, что блок представления дополнительно получает изображение в направлении поля зрения пользователя устройства отображения изображения, и устройство обработки информации дополнительно включает в себя блок определения, который выполняет распознавание полученного изображения в направлении поля зрения, определяет медицинское устройство, блок отображения которого не включен в изображение в направлении поля зрения, и определяет указанное медицинское устройство как медицинское устройство, визуальное распознавание которого затруднено. С помощью устройства обработки информации в соответствии с этим аспектом блок определения может на основе изображения в направлении поля зрения пользователя устройства отображения изображения определить медицинское устройство, визуальное распознавание блока отображения которого для пользователя затруднено. Блок определения может получать информацию, необходимую при определении медицинского устройства, через блок представления. Это удобно, поскольку пользователю не обязательно заранее подготавливать данные и т.п. при использовании устройства обработки информации.

[0010] (3) Устройство обработки информации в соответствии с описанным выше аспектом может быть выполнено таким образом, что блок сбора данных дополнительно получает соответствующим образом информацию о позиции множества медицинских устройств, соединенных с устройством обработки информации, блок представления дополнительно получает информацию о текущей позиции, представляющую текущую позицию устройства отображения изображения, соединенного с устройством обработки информации, и информацию направления, представляющую направление головы пользователя, и устройство обработки информации дополнительно включает в себя блок определения, который определяет медицинское устройство, визуальное распознавание которого затруднено, с использованием информации о позиции множества медицинских устройств, полученной блоком сбора данных, и информации о текущей позиции и информации о направлении устройства отображения изображения, полученной блоком представления. С помощью устройства обработки информации в соответствии с этим аспектом блок определения может автоматически определить медицинское устройство, визуальное распознавание блока отображения которого для пользователя устройства отображения изображения затруднено, с использованием информации о позиции множества медицинских устройств, полученной блоком сбора данных, и информации о текущей позиции и информации о направлении устройства отображения изображения, полученной блоком представления. Блок определения может получать информацию, необходимую при определении медицинского устройства, через блок сбора данных и блок представления. Это удобно, поскольку пользователю не требуется заранее подготавливать данные и т.п. при использовании устройства обработки информации.

[0011] (4) Устройство обработки информации в соответствии с описанным выше аспектом может быть выполнено таким образом, что устройство обработки информации дополнительно включает в себя: блок хранения размещения, который хранит информацию для определения медицинского устройства, визуальное распознавание которого затруднено; и блок определения, который определяет медицинское устройство, визуальное распознавание которого затруднено, с использованием блока хранения размещения. С помощью устройства обработки информации в соответствии с этим аспектом блок определения может автоматически определить медицинское устройство, визуальное распознавание блока отображения которого для пользователя устройства отображения изображения затруднено, с использованием блока хранения размещения, который хранит информацию для определения медицинского устройства, визуальное распознавание блока отображения которого для пользователя устройства отображения изображения затруднено. Блок определения может получать информацию, необходимую при определении медицинского устройства, из блока хранения размещения, подготовленного заранее. Таким образом, даже когда медицинское устройство и устройство отображения изображения, соединенное с устройством обработки информации, не включают в себя средства обнаружения для информации позиции и средства получения изображения внешней обстановки, блок определения может автоматически определить медицинское устройство, визуальное распознавание блока отображения которого для пользователя устройства отображения изображения затруднено.

[0012] (5) Устройство обработки информации в соответствии с описанным выше аспектом может быть выполнено таким образом, что устройство обработки информации дополнительно включает в себя блок хранения невидимой информации, который хранит невидимую информацию, которая представляет собой информацию, не появляющуюся во внешнем виде объекта, и блок формирования включает невидимую информацию в информацию для представления, которая будет сформирована. С помощью устройства обработки информации в соответствии с этим аспектом, поскольку устройство обработки информации включает в себя блок хранения невидимой информации, возможно объединить невидимую информацию, хранящуюся в блоке хранения невидимой информации, в дополнение к информации медицинского устройства из множества медицинских устройств, соединенных с устройством обработки информации. Блок формирования получает из объединенной информации невидимую информацию, которая представляет собой информацию, не появляющуюся во внешнем виде объекта, такую как изображение CT, изображение MRI, рентгеновское изображение, флуороскопическое изображение, ультразвуковое диагностическое изображение, эндоскопическое изображение или термографическое изображение, и формирует информацию для представления, которая будет отображена на устройстве отображения изображения. В результате пользователь устройства отображения изображения, соединенного с устройством обработки информации, может визуально распознавать невидимую информацию. Это приводит к увеличению удобства устройства отображения изображения.

[0013] (6) Устройство обработки информации в соответствии с описанным выше аспектом может быть выполнено таким образом, что по меньшей мере одно медицинское устройство для получения невидимой информации, которая представляет собой информацию, не появляющуюся во внешнем виде объекта, соединено с устройством обработки информации, и блок формирования включает в информацию для представления, которая будет сформирована, информацию медицинского устройства, полученную медицинским устройством для получения невидимой информации. С помощью устройства обработки информации в соответствии с этим аспектом блок формирования получает информацию медицинского устройства, полученную медицинским устройством для получения невидимой информации, которая представляет собой информацию, не появляющуюся во внешнем виде объекта, такую, как изображение CT, изображение MRI, рентгеновское изображение, флуороскопическое изображение, ультразвуковое диагностическое изображение, эндоскопическое изображение или термографическое изображение, и формирует информацию для представления, которая будет отображена на устройстве отображения изображения. В результате пользователь устройства отображения изображения, соединенного с устройством обработки информации, может визуально распознавать невидимую информацию. Это приводит к увеличению удобства устройства отображения изображения.

[0014] (7) Устройство обработки информации в соответствии с описанным выше аспектом может быть выполнено таким образом, что по меньшей мере одно медицинское устройство для получения изображения процедуры терапии пациента соединено с устройством обработки информации, и блок формирования включает в информацию для представления, которая будет сформирована, информацию медицинского устройства, полученную медицинским устройством для получения изображения процедуры терапии. С помощью устройства обработки информации в соответствии с этим аспектом блок формирования получает информацию медицинского устройства, полученную медицинским устройством для получения изображения процедуры терапии пациента, и формирует информацию для представления, которая будет отображена на устройстве отображения изображения. В результате пользователь устройства отображения изображения, соединенного с устройством обработки информации, может визуально распознать изображение процедуры терапии пациента. Это приводит к увеличению удобства устройства отображения изображения.

[0015] (8) Устройство обработки информации в соответствии с описанным выше аспектом может быть выполнено таким образом, что блок формирования при формировании информации для представления увеличивает или уменьшает изображение, включенное в информацию медицинского устройства, сохраняя при этом соотношение сторон изображения. С помощью устройства обработки информации в соответствии с этим аспектом блок формирования увеличивает или уменьшает изображение, включенное в информацию медицинского устройства, сохраняя при этом соотношение сторон изображения. Таким образом, при формировании информация для представления возможно избежать появления нежелательных искажений в информации медицинского устройства, полученной медицинским устройством.

[0016] (9) Устройство обработки информации в соответствии с описанным выше аспектом может быть выполнено таким образом, что укрепляемое на голове устройство отображения, с помощью которого пользователь может одновременно визуально распознавать виртуальное изображение и внешнюю обстановку, соединено с устройством обработки информации в качестве устройства отображения изображения. С помощью устройства обработки информации в соответствии с этим аспектом возможно реализовать устройство обработки информации, способное объединять информацию относительно множества медицинских устройств и способное легко фильтровать информацию из объединенной информации и формировать информацию, которая будет отображена на укрепляемом на голове устройстве отображения так называемого пропускающего типа.

[0017] (10) Устройство обработки информации в соответствии с описанным выше аспектом может быть выполнено таким образом, что блок представления дополнительно получает из укрепляемого на голове устройства отображения изображение в направлении поля зрения пользователя в состоянии, в котором носят укрепляемое на голове устройство отображения, выполняет распознавание полученного изображения в направлении поля зрения, чтобы извлечь характеристику объекта, включенного во внешнюю обстановку, корректирует на основе извлеченной характеристики информацию для представления, сформированную блоком формирования, и выводит информацию для представления после коррекции. С помощью устройства обработки информации в соответствии с этим аспектом блок представления выполняет распознавание изображения в направлении поля зрения пользователя укрепляемого на голове устройства отображения, чтобы извлечь характеристику объекта, включенного во внешнюю обстановку, и корректирует сформированную информацию для представления на основе извлеченной характеристики. Таким образом, когда невидимая информация, такая как изображение CT, изображение MRI или рентгеновское изображение, включена в информацию для представления, возможно сопоставить невидимую информацию с объектом (например, с телом пациента), включенным во внешнюю обстановку. В результате возможно улучшить удобство пользователя укрепляемого на голове устройства отображения. Кроме того, укрепляемое на голове устройство отображения может принять информацию для представления после коррекции. Таким образом, укрепляемое на голове устройство отображения должно только непосредственно отобразить принятую информацию для представления. В результате, возможно упростить конфигурацию укрепляемого на голове устройства отображения.

[0018] (11) Другой аспект изобретения обеспечивает систему обработки информации. Система обработки информации включает в себя: множество медицинских устройств; устройство обработки информации; и укрепляемое на голове устройство отображения, с помощью которого пользователь может одновременно визуально распознавать виртуальное изображение и внешнюю обстановку. Устройство обработки информации включает в себя: блок сбора данных, который получает множество видов информации медицинских устройств, которые представляют собой информацию, полученную из множества медицинских устройств; блок формирования, который формирует информацию для представления, включающую в себя, по меньшей мере, часть из множества видов информации медицинских устройств, полученных блоком сбора данных; и блок представления, который выводит сформированную информацию для представления укрепляемому на голове устройству отображения. Укрепляемое на голове устройство отображения включает в себя: блок получения информации для представления, который получает информацию для представления из устройства обработки информации; и блок отображения изображения, который дает возможность пользователю укрепляемого на голове устройства отображения визуально распознавать полученную информацию для представления в качестве виртуального изображения. Блок формирования устройства обработки информации формирует информацию для представления, включающую в себя, по меньшей мере, информацию медицинского устройства, полученную медицинским устройством, визуальное распознавание блока отображения которого для пользователя укрепляемого на голове устройства отображения затруднено. Касательно системы обработки информации в соответствии с этим аспектом возможно реализовать систему обработки информации, способную объединять информацию относительно множества медицинских устройств (информацию медицинских устройств) и способную легко фильтровать информацию из объединенной информации, формировать информацию для представления и давать возможность пользователю укрепляемого на голове устройства отображения так называемого пропускающего типа визуально распознавать сформированную информацию для представления в качестве виртуального изображения.

[0019] (12) Еще один аспект изобретения обеспечивает укрепляемое на голове устройство отображения, которое соединено с устройством обработки информации согласно описанному выше аспекту, и с помощью которого пользователь может одновременно визуально распознавать виртуальное изображение и внешнюю обстановку. Укрепляемое на голове устройство отображения включает в себя: блок получения изображения, который получает изображение в направлении поля зрения пользователя в состоянии, в котором носят укрепляемое на голове устройство отображения; блок определения, который выполняет распознавание полученного изображения в направлении поля зрения, определяет медицинское устройство, блок отображения которого не включен в изображение в направлении поля зрения, и определяет указанное медицинское устройство как медицинское устройство, визуальное распознавание которого затруднено; блок уведомления, который сообщает устройству обработки информации об указанном медицинском устройстве; блок получения информации для представления, который получает информацию для представления из устройства обработки информации; и блок отображения изображения, который дает возможность пользователю визуально распознавать полученную информацию для представления в качестве виртуального изображения. Касательно укрепляемого на голове устройства отображения в соответствии с этим аспектом блок определения может быть обеспечен в укрепляемом на голове устройстве отображения. В результате возможно уменьшить нагрузку по обработке в устройстве обработки информации.

[0020] Не все компоненты, включенные в описанные выше аспекты изобретения, являются существенными. Чтобы решить часть проблем или все проблемы, или достигнуть части или всех эффектов, описанных в этом описании, возможно при необходимости выполнить изменение, удаление, замену новыми компонентами и частичное удаление ограниченного содержания относительно части из множества компонентов. Чтобы решить часть проблем или все проблемы, или достигнуть части или всех эффектов, описанных в этом описании, также возможно объединить часть технических признаков или все технические признаки, включенные в аспект изобретения, с частью из всех технических признаков, включенных в другие аспекты изобретения, для получения независимого аспекта изобретения.

[0021] Например, аспект изобретения может быть реализован как устройство, включающее в себя часть или все из трех компонентов, т.е. блок сбора данных, блок формирования и блок представления. Таким образом, это устройство может включать в себя или может не включать в себя блок сбора данных. Это устройство может включать в себя или может не включать в себя блок формирования. Это устройство может включать в себя или может не включать в себя блок представления. Такое устройство может быть реализовано, например, как устройство обработки информации. Однако устройство также может быть реализовано в виде устройств, отличающихся от устройства обработки информации. Часть технических признаков или все технические признаки аспектов устройства обработки информации могут быть применены к этому устройству.

[0022] Следует отметить, что изобретение может быть реализовано в различных формах. Например, изобретение может быть реализовано в формах устройства обработки информации, способа обработки информации, системы обработки информации, укрепляемого на голове устройства отображения, способа управления для укрепляемого на голове устройства отображения, системы головного дисплея, компьютерной программы для реализации функций способов, устройств или систем, носителя записи, имеющего запись компьютерной программы на нем, и т.п.

Краткое описание чертежей

[0023] Фиг. 1 - пояснительная схема, показывающая схематическую конфигурацию системы обработки информации в варианте осуществления изобретения.

Фиг. 2 - блок-схема, показывающая функциональную конфигурацию устройства обработки информации.

Фиг. 3 - пояснительная схема, показывающая пример общей видеоспецификации.

Фиг. 4 - пояснительная схема, показывающая пример таблицы управления.

Фиг. 5 - блок-схема, показывающая функциональную конфигурацию головного дисплея.

Фиг. 6 - блок-схема последовательности операций для описания процедуры процесса формирования информации для представления.

Фиг. 7 - пояснительная схема, показывающая пример размещения медицинских устройств и головного дисплея.

Фиг. 8 - пояснительная схема для описания способа определения медицинского устройства, визуальное распознавание блока отображения которого для пользователя головного дисплея затруднено.

Фиг. 9А - пояснительная схема для описания способа формирования информации для представления.

Фиг. 9B - пояснительная схема для описания способа формирования информации для представления.

Фиг. 10 - пояснительная схема для описания способа формирования информации для представления.

Фиг. 11 - пояснительная схема, показывающая состояние, в котором информация для представления отображается как виртуальное изображение на головном дисплее.

Фиг. 12 - пояснительная схема, показывающая состояние, в котором информация для представления отображается как виртуальные изображения на множестве головных дисплеев, находящихся в различных местах.

Фиг. 13А - пояснительная схема, показывающая первый пример информации для представления.

Фиг. 13B - пояснительная схема, показывающая первый пример информации для представления.

Фиг. 14А - пояснительная схема, показывающая второй пример информации для представления.

Фиг. 14B – пояснительная схема, показывающая второй пример информации для представления.

Фиг. 15 - пояснительная схема, показывающая третий пример информации для представления.

Фиг. 16 - блок-схема, показывающая функциональную конфигурацию устройства обработки информации во втором варианте осуществления.

Фиг. 17 - пояснительная схема, показывающая пример таблицы позиций.

Фиг. 18 - блок-схема последовательности операций для описания процедуры процесса формирования информации для представления во втором варианте осуществления.

Фиг. 19А - пояснительная схема, показывающая конфигурацию внешнего вида головного дисплея в модификации.

Фиг. 19B - пояснительная схема, показывающая конфигурацию внешнего вида головного дисплея в модификации.

Осуществление изобретения

[0024] A. Первый вариант осуществления

A-1. Конфигурация системы обработки информации

Фиг. 1 является пояснительной схемой, показывающей схематическую конфигурацию системы 1000 обработки информации в варианте осуществления изобретения. Система 1000 обработки информации включает в себя множество медицинских устройств 501-50n, устройство 300 обработки информации и устройство 100 отображения изображений. Система 1000 обработки информации является системой, используемой в медицинском помещении. Устройство 300 обработки информации получает информацию из множества медицинских устройств 501-50n, объединяет информацию и формирует информацию для представления, которая будет отображена на устройстве 100 отображения изображений. Медицинские устройства 501-50n и устройство 100 отображения изображений соединены с устройством 300 обработки информации с помощью проводов или с помощью радиосвязи. Следует отметить, что в последующем описании в качестве символа, указывающего "множество с произвольным количеством", используется n. n является целым числом, большим или равным 1.

[0025] В этом варианте осуществления операционный участок в операционной комнате проиллюстрирован как медицинский участок. Однако система 1000 обработки информации может использоваться в диагностическом кабинете, операционной комнате, процедурном кабинете, родильной палате и т.п. В этом варианте осуществления укрепляемое на голове устройство отображения проиллюстрировано как устройство 100 обработки изображений. Однако устройство 100 отображения изображений может представлять собой стационарный дисплей, переносной дисплей, смартфон и т.п. В последующем описании укрепляемое на голове устройство 100 отображения также упоминается как "головной дисплей (HMD)". На фиг. 1 показан головной дисплей 100. Однако, как показано на упоминаемой ниже фиг. 2, множество головных дисплеев 100a-100n может быть соединено с устройством 300 обработки информации.

[0026] Следует отметить, что в последующем описании, когда головные дисплеи 100a-100n описываются без конкретного различия, головные дисплеи 100a-100n упоминаются просто как "головной дисплей 100". Аналогичным образом, когда медицинские устройства 501-50n описываются без конкретного различия, медицинские устройства 501-50n упоминаются просто как "медицинское устройство (устройства) 500".

[0027] Медицинские устройства 501-50n представляют собой различные устройства, используемые в медицинских целях. В качестве примеров медицинских устройств 501 к 50n, например, могут использоваться камера видимого света для фотографирования неподвижных изображений и подвижных изображений внутри помещения и вне помещения, камера видимого света для фотографирования неподвижных и подвижных изображений оперируемого участка, устройство электрокардиографического исследования, хирургический таймер, биологический монитор, измеритель частоты сердечных сокращений, пульсотахометр, измеритель кровяного давления, устройство ультразвукового исследования, пульсоксиметр, измеритель содержания глюкозы в крови, устройство получения фотографических изображений с помощью компьютерной томографии (CT), устройство получения фотографических изображений с помощью магнитно-резонансной томографии (MRI), устройство получения фотографических изображений с помощью рентгеновского излучения, флуороскопическое устройство получения фотографических изображений, эндоскопическое устройство получения фотографических изображений, термографическое устройство получения фотографических изображений.

[0028] A-2. Конфигурация устройства обработки информации

Фиг. 2 является блок-схемой, показывающей функциональную конфигурацию устройства 300 обработки информации. Устройство 300 обработки информации включает в себя первый блок 310 ввода/вывода, постоянное запоминающее устройство (ПЗУ) 320, оперативное запоминающее устройство (ОЗУ) 330, интерфейс 340 связи, центральный процессор (ЦП) 350 и внешнее устройство 380 хранения. Блоки соединены друг с другом шиной.

[0029] Первый блок 310 ввода/вывода, функционирующий как блок сбора данных, включает в себя множество первых блоков 311-31n ввода/вывода. Первые блоки 311-31n ввода/вывода являются интерфейсами ввода/вывода, соответствующими стандарту связи, такому как USB (универсальная последовательная шина), HDMI (мультимедийный интерфейс высокого разрешения(зарегистрированная торговая марка)), DVI (цифровой видеоинтерфейс), VGA (видеографический массив), композитный, RS-232C (рекомендованный стандарт 232), инфракрасный луч, ближняя беспроводная связь (например, Bluetooth (зарегистрированная торговая марка)), беспроводная локальная сеть (LAN) (например, IEEE802.11), проводная локальная сеть (например, IEEE802.3). Первые блоки 311-31n ввода/вывода соответственно получает информацию, вводимую от соединенных с ним медицинских устройств 501-50n. Информация, вводимая от медицинских устройств, представляет собой, например, информацию, измеренную или полученную медицинскими устройствами. В последующем описании информация также упоминается как "информация медицинского устройства".

[0030] В этом варианте осуществления первый блок 311 ввода/вывода представляет собой интерфейс ввода/вывода, соответствующий DVI. Первый блок 312 ввода/вывода представляет собой интерфейс ввода/вывода, соответствующий HDMI. Первый блок 313 ввода/вывода представляет собой интерфейс ввода/вывода, соответствующий HDMI. Первый блок 31n ввода/вывода представляет собой интерфейс ввода/вывода, соответствующий беспроводной локальной сети. На Фиг. 2 медицинское устройство 501 и стационарный дисплей 700 соединены с первым блоком 311 ввода/вывода. Аналогичным образом, медицинское устройство 502 соединено с первым блоком 312 ввода/вывода. Медицинское устройство 503 соединено с первым блоком 313 ввода/вывода. Медицинское устройство 50n соединено с первым блоком 31n ввода/вывода. Таким образом, первый блок 310 ввода/вывода сформирован посредством первых блоков 311-31n ввода/вывода, соответствующих различным видам стандартов связи. Таким образом, возможно соединить медицинские устройства, соответствующие различным стандартам связи, с первым блоком 310 ввода/вывода. Существует возможность увеличить универсальность устройства 300 обработки информации. Следует отметить, что первый блок 310 ввода/вывода также может непосредственно выводить входной сигнал на устройство отображения, такое как дисплей 700.

[0031] Интерфейс 340 связи (I/F) представляет собой интерфейс проводной локальной сети. Интерфейс 340 связи с возможностью взаимодействия соединяет доктора PR во внешнем окружении и устройство 300 обработки информации через линию связи, такую как интернет INT, и с возможностью взаимодействия соединяет базу OD данных, соединенную с больничной локальной сетью, и устройство 300 обработки информации через интранет. Предполагается, что доктор PR является, например, доктором, который курирует пользователя головного дисплея 100, соединенного с устройством 300 обработки информации, сторонним экспертом и т.п. В базе OD данных хранится процедурная информация, представляющая процедуры терапии, такие как операция, электронная система медицинской документации, электронные академические книги и т.п.

[0032] Центральный процессор 350 разворачивает компьютерную программу, сохраненную в постоянном запоминающем устройстве 320, на оперативном запоминающем устройстве 330 и исполняет компьютерную программу, чтобы тем самым управлять устройством 300 обработки информации. Центральный процессор 350 реализует функции блока 360 формирования и второго блока 370 ввода/вывода. Блок 360 формирования исполняет процесс формирования информации для представления, описанный ниже, чтобы сформировать информацию для представления, которая будет отображена на головном дисплее 100. Блок 360 формирования в этом варианте осуществления формирует информацию для представления, включающую в себя информацию медицинского устройства 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100 затруднено. Блок 360 формирования включает в себя блок 361 определения. Блок 361 определения определяет медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100 затруднено. "Медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя затруднено", представляет собой, например, описанный ниже собирательный термин медицинского устройства 500.

[0033] Поскольку медицинское устройство 500 находится в слепой зоне пользователя, пользователь не может или с трудом может визуально распознать блок отображения (дисплей и т.д.) медицинского устройства 500.

Поскольку медицинское устройство 500 находится в удаленном от пользователя месте, пользователь не может или с трудом может визуально распознать блок отображения медицинского устройства 500.

Хотя медицинское устройство 500 не находится в слепой зоне пользователя и находится рядом с пользователем, поскольку зрительная ось пользователя и блок отображения не обращены друг к другу, пользователь не может или с трудом может визуально распознать блок отображения медицинского устройства 500.

[0034] Второй блок 370 ввода/вывода, функционирующий как блок представления, включает в себя множество вторых блоков 371-37n ввода/вывода. Как и первый блок 310 ввода/вывода, вторые блоки 371-37n ввода/вывода представляют собой интерфейсы ввода/вывода, соответствующие различным стандартам связи. Поскольку подробности совпадают с подробностями первого блока 310 ввода/вывода, разъяснение подробностей опущено.

[0035] В этом варианте осуществления второй блок 371 ввода/вывода и второй блок 372 ввода/вывода представляют собой интерфейсы ввода/вывода, соответствующие беспроводной локальной сети. Второй блок 373 ввода/вывода представляет собой интерфейс ввода/вывода, соответствующий USB. Второй блок 37n ввода/вывода представляет собой интерфейс ввода/вывода, соответствующий DVI. На фиг. 2 головной дисплей 100a, функционирующий в качестве устройства отображения изображения, соединен со вторым блоком 371 ввода/вывода. Аналогичным образом, головной дисплей 100b соединен со вторым блоком 372 ввода/вывода. Головной дисплей 100c соединен со вторым блоком 373 ввода/вывода. Головной дисплей 100n соединен со вторым блоком 37n ввода/вывода. Таким образом, второй блок 370 ввода/вывода выполнен таким образом, что вторые блоки 371-37n ввода/вывода соответствуют разным типам стандартов связи. Таким образом, возможно соединить головные дисплеи, соответствующие разным стандартам связи, со вторым блоком 370 ввода/вывода. Существует возможность увеличить универсальность устройства 300 обработки информации.

[0036] Внешнее устройство 380 хранения сформировано посредством постоянного запоминающего устройства, оперативного запоминающего устройства, динамического оперативного запоминающего устройства, жесткого диска, флэш-памяти и т.п., не показанного на фигуре. Внешнее устройство 380 хранения включает в себя общую видеоспецификацию 381, таблицу 382 управления, невидимую информацию 383, функционирующую как блок хранения невидимой информации, и запись операции 384.

[0037] Фиг. 3 является пояснительной схемой, показывающей пример общей видеоспецификации 381. Общая видеоспецификация 381 является таблицей для определения стандартных технических требований относительно видеосигнала информации для представления. Общая видеоспецификация 381 используется, когда блок 360 формирования формирует информацию для представления в процессе формирования информации для представления.

[0038] В общей видеоспецификации 381 в этом варианте осуществления количество пикселей, соотношение сторон, разрешение, способ сжатия и способ кодирования изображения, включенного в видеосигнал, включены как технические характеристики видеосигнала. Общая видеоспецификация 381 определена заранее и сохранена во внешнем устройстве 380 хранения. При определении общей видеоспецификации 381 предпочтительно принять во внимание технические требования видеосигнала, которые применяются головными дисплеями 100a-100n, соединенными со вторым блоком 370 ввода/вывода.

[0039] Фиг. 4 является пояснительной схемой, показывающей пример таблицы 382 управления. Таблица 382 управления является таблицей для управляющей информации относительно головного дисплея 100, соединенного со вторым блоком 370 ввода/вывода, и, в частности, для управляющей информации относительно головных дисплеев 100a-100n, соответственно соединенных со вторыми блоками 371-37n ввода/вывода. Таблица 382 управления используется, когда блок 360 формирования формирует информацию для представления в процессе формирования информации для представления, а также используется, когда вторые блоки 371-37n ввода/вывода передают информацию для представления на головные дисплеи 100a-100n.

[0040] В таблице 382 управления в этом варианте осуществления идентификатор, роль и видеоспецификация сохранены совместно друг с другом. В поле "идентификатор" хранятся уникальные идентификаторы для идентификации головных дисплеев 100, соединенных со вторым блоком 370 ввода/вывода. В поле "роль" хранятся символьные строки, представляющие виды ролей, которые пользователи головных дисплеев 100, идентифицированных идентификаторами, исполняют в медицинском помещении. В поле "видеоспецификация" хранятся символьные строки, представляющие шаблоны технических требований видеосигнала (количество пикселей, соотношение сторон, разрешение, способ сжатия, способ кодирования и т.п. изображения, включенного в видеосигнал) в головных дисплеях 100, идентифицированных идентификаторами.

[0041] В примере, показанном на фиг. 4, видно, что пользователем головного дисплея 100, идентифицированного идентификатором "1", является "операционный хирург", а видеоспецификацией головного дисплея 100 является "спецификация A" (запись E01). Аналогичным образом, видно, что пользователем головного дисплея 100, идентифицированного идентификатором "n", является "медсестра", а видеоспецификацией головного дисплея 100 является "спецификация E" (запись E0n).

[0042] Таблица 382 управления может быть определена заранее и сохранена во внешнем устройстве 380 хранения или может быть автоматически сформирована при начальной обработке, когда головной дисплей 100 соединяется с устройством 300 обработки информации. В частности, например, когда блок 360 формирования обнаруживает соединение головного дисплея 100 со вторым блоком 370 ввода/вывода, блок 360 формирования выдает уникальный идентификатор головному дисплею 100 и извлекает роль пользователя и видеоспецификацию из головного дисплея 100. Блок 360 формирования сохраняет выданный идентификатор, извлеченную роль и извлеченную видеоспецификацию в таблице 382 управления. Посредством выполнения начальной обработки каждый раз, когда головные дисплеи 100a-100n соединяются со вторым блоком 370 ввода/вывода, блок 360 формирования может автоматически формировать таблицу 382 управления.

[0043] Невидимая информация, которая представляет собой информацию, не появляющуюся во внешнем виде объекта, хранится в невидимой информации 383 (в блоке хранения невидимой информации), показанной на фиг. 2. Невидимой информацией является изображение или символьная информация, представляющая структуру объекта. Когда объект является организмом, невидимой информацией является, например, изображение CT, изображение MRI, рентгеновское изображение, флуороскопическое изображение, ультразвуковое диагностическое изображение, эндоскопическое изображение, термографическое изображение и символьная информация, относящаяся к изображениям. Невидимая информация фотографируется заранее и хранится в невидимой информации 383.

[0044] Запись 384 операции, показанная на фиг. 2, представляет собой блок записи для записи информации медицинских устройств, полученной устройством 300 обработки информации, информации для представления, сформированной устройством 300 обработки информации, и даты и время получения или формирования совместно друг с другом. Информация медицинских устройств, полученная устройством 300 обработки информации, означает информацию медицинских устройств, полученную устройством 300 обработки информации из множества медицинских устройств 501-50n, соответственно соединенных с первыми блоками 311-31n ввода/вывода. Информация для представления, сформированная устройством 300 обработки информации, означает все виды информации для представления, сформированной блоком 360 формирования в процессе формирования информации для представления. Запись информации, полученной и сформированной устройством 300 обработки информации, может быть расценена в значительной степени как журнал операции (диагноз, терапия и лечение). Следовательно, после окончания операции и т.п. возможно использовать журнал операции для анализа содержания операции, обучения, образования и т.п.

[0045] A-3. Конфигурация укрепляемого устройства отображения

Фиг. 5 является блок-схемой, показывающей функциональную конфигурацию головного дисплея 100a. В последующем описании головной дисплей 100a проиллюстрирован и описан в качестве примера конфигурации головного дисплея 100. Головной дисплей 100a представляет собой укрепляемое на голове устройство отображения, выполненное с возможностью оптического пропускания, с помощью которого пользователь может визуально распознавать виртуальное изображение и в то же время непосредственно визуально распознавать внешнюю обстановку. Головной дисплей 100a отображает в качестве виртуального изображения информацию для представления, принятую от устройства 300 обработки информации. Головной дисплей 100a включает в себя блок 20 отображения изображения, который дает возможность пользователю визуально распознавать виртуальное изображение в состоянии, в котором головной дисплей 100a укреплен на голове пользователя, и блок 10 управления, который управляет блоком 20 отображения изображения. Блок 20 отображения изображения и блок 10 управления выполняют передачу различных сигналов через кабель 40.

[0046] A-3-1. Конфигурация блока управления

Блок 10 управления включает в себя блок 110 получения входной информации, который получает операционный ввод через устройство ввода, такое как сенсорная панель, перекрестный ключ, педальный переключатель, устройство жестового ввода или микрофон, блок 120 хранения, сформированный посредством постоянного запоминающего устройства, жесткого диска и т.п., источник 130 питания, который подает электроэнергию на блоки головного дисплея 100a, блок 132 радиосвязи, который осуществляет радиосвязь с другими устройствами в соответствии с предопределенным стандартом радиосвязи, таким как беспроводная локальная сеть, Bluetooth и т.п., блок 134 получения текущей позиции, центральный процессор 140, интерфейс 180 для соединения устройства 300 обработки информации и различных внешних устройств OA и передающие блоки (Tx) 51 и 52. Блоки соединены друг с другом посредством не показанной шины. Блок 134 получения текущей позиции принимает сигнал от спутника GPS, чтобы тем самым обнаружить текущую позицию пользователя головного дисплея 100a, и формирует информацию о текущей позиции, представляющую текущую позицию пользователя. Следует отметить, что блок 134 получения текущей позиции может принимать радиоволны множества базовых станций и определять интенсивность принятых радиоволн, чтобы тем самым сформировать информацию текущей позиции. Информация текущей позиции может быть реализована, например, посредством координаты, представляющей широту и долготу. Как и первый блок 310 ввода/вывода устройства 300 обработки информации, интерфейс 180 может соответствовать различным стандартам связи.

[0047] Центральный процессор 140 считывает и исполняет компьютерную программу, сохраненную в блоке 120 хранения, чтобы тем самым функционировать как операционная система (OS) 150, блок 160 обработки изображений, блок 170 обработки звука, который подает звуковые сигналы на динамик правого наушника 32 и динамик левого наушника 34, и блок 190 управления отображением. Блок 160 обработки изображений формирует сигнал на основе видеосигнала информации для представления, введенной через интерфейс 180, функционирующий как блок получения информации для представления, или блок 132 радиосвязи. Блок 160 обработки изображений подает сформированный сигнал в блок 20 отображения изображения через передающие блоки 51 и 52 и кабель 40, чтобы тем самым управлять отображением на блоке 20 отображения изображения. В качестве сигнала, подаваемого на блок 20 отображения изображения, может использоваться общеизвестный аналоговый формат или цифровой формат. Блок 190 управления отображением формирует управляющий сигнал для управления блоком 22 приведения в действие правого дисплея и блоком 24 приведения в действие левого дисплея блока 20 отображения изображения и передает управляющий сигнал через передающие блоки 51 и 52. Управляющий сигнал представляет собой сигнал для индивидуального включения/выключения правого LCD 241 посредством блока 211 управления правым LCD, включения/выключения правой подсветки 221 посредством блока 201 управления правой подсветкой, включения/выключения левого LCD 242 посредством блока 212 управления левым LCD и включения/выключения левой подсветки 222 посредством блока 202 управления левой подсветкой.

[0048] A-3-2. Конфигурация блока отображения изображения

Блок 20 отображения изображения представляет собой носимый элемент, который носят на голове пользователя. В этом варианте осуществления блок 20 отображения изображения имеет форму очков. Блок 20 отображения изображения включает в себя блок 22 приведения в действие правого дисплея и блок 24 приведения в действие левого дисплея, которые формируют и излучают свет изображения, представляющий изображение, правый блок 26 отображения оптического изображения и левый блок 28 отображения оптического изображения (фиг. 2), которые проводят свет изображения к обоим глазам пользователя, камеру 61, функционирующую как блок получения изображения, и девятиосный датчик 66.

[0049] Блок 22 приведения в действие правого дисплея включает в себя принимающий блок (Rx) 53, блок 201 управления правой подсветкой (BL) и правую подсветку (BL) 221, функционирующую как источник света, блок 211 управления правым LCD (жидкокристаллическим дисплеем) и правый LCD 241, функционирующий как отображающий элемент, и правую проекционную оптическую систему 251. Блок 201 управления правой подсветкой приводит в действие правую подсветку 221 на основе ввода управляющего сигнала через принимающий блок 53. Правая подсветка 221 является, например, излучающим свет элементом, таким как светодиод или электролюминесцентный (EL) элемент. Блок 211 управления правым LCD приводит в действие правый LCD 241 на основе входного видеосигнала. Правый LCD 241 представляет собой пропускающую жидкокристаллическую панель, в которой множество пикселей размещены в матричной форме. Правый LCD 241 управляет жидким кристаллом в позициях пикселей, размещенных в матричной форме, чтобы изменить коэффициент пропускания света, проходящего через правый LCD 241, и модулирует свет освещения, испускаемый от правой подсветки 221, преобразовывая его в свет эффективного изображения, представляющий изображение. Правая проекционная оптическая система 251 сформирована посредством коллимирующей линзы, которая изменяет свет изображения, излучаемый от правого LCD 241, в параллельные световые пучки. Блок 24 приведения в действие левого дисплея включает в себя такую же конфигурацию, как блок 22 приведения в действие правого дисплея, и функционирует таким же образом, как блок 22 приведения в действие правого дисплея.

[0050] Правый блок 26 отображения оптического изображения и левый блок 28 отображения оптического изображения размещены таким образом, чтобы располагаться перед левым и правым глазами пользователя, когда пользователь носит блок 20 отображения изображения (фиг. 2). Правый блок 26 отображения оптического изображения включает в себя правую пластину 261 световода, сформированную из пропускающего свет полимерного материала и т.п. Правая пластина 261 световода проводит свет изображения, исходящий из блока 22 приведения в действие правого дисплея, к правому глазу RE пользователя, отражая свет изображения вдоль предопределенного оптического пути. В правой пластине 261 световода может использоваться дифракционная решетка, или может использоваться полупропускающая отражательная пленка. Левый блок 28 отображения оптического изображения включает в себя такую же конфигурацию, как правый блок 26 отображения оптического изображения, и функционирует таким же образом, как правый блок 26 отображения оптического изображения. Таким образом, свет изображения, проведенный к обоим глазам пользователя головного дисплея 100a, фокусируется на сетчатках пользователя, в результате чего пользователь может визуально распознать виртуальное изображение. Пользователь головного дисплея 100a в этом варианте осуществления может одновременно рассматривать виртуальное изображение и внешнюю обстановку позади виртуального изображения в участке, где виртуальное изображение отображается в поле зрения. В участке, где виртуальное изображение не отображается в поле зрения, пользователь может непосредственно просматривать внешнюю обстановку через левый и правый блоки 26 и 28 отображения оптического изображения.

[0051] Девятиосный датчик 66 представляет собой датчик движения, который обнаруживает ускорение (3 оси), угловую скорость (3 оси) и геомагнетизм (3 оси). Когда блок 20 отображения изображения носят на голове пользователя, девятиосный датчик 66 функционирует как блок обнаружения перемещения, который обнаруживает перемещение головы пользователя головного дисплея 100a. Перемещение головы включает в себя скорость, ускорение, угловую скорость, направление и изменение в направлении головы. Следует отметить, что направление головы также упоминается как "информация о направлении". Камера 61, функционирующая как блок получения изображения поля зрения, размещена в позиции, соответствующей середине лба пользователя, когда пользователь носит блок 20 отображения изображения. Камера 61 снимает внешнюю обстановку (внешнее изображение) в направлении передней стороны блока 20 отображения изображения, другими словами, в направлении поля зрения пользователя в состоянии, в котором головной дисплей 100a укреплен, и получает изображение внешней обстановки. Камера 61 представляет собой так называемую камеру видимого света. Камера 61 в этом варианте осуществления является монокулярной камерой. Однако может быть применена и стереокамера.

[0052] A-4. Процесс формирования информации для представления

Фиг. 6 является блок-схемой последовательности операций для описания процедуры процесса формирования информации для представления. Процесс формирования информации для представления представляет собой обработку для формирования информации для представления, которая будет отображена на головном дисплее 100. Блок 360 формирования устройства 300 обработки информации (фиг. 2) исполняет процесс формирования информации для представления. Процесс формирования информации для представления может быть в общих чертах разделен на начальную обработку, включающую в себя этапы S100-S118, и индивидуальную обработку, включающую в себя этапы S120-S126.

[0053] A-4-1. Начальная обработка

При начальной обработке блок 360 формирования автоматически определяет медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100 затруднено, и формирует информацию для представления, включающую в себя информацию медицинского устройства, полученную из указанного медицинского устройства 500.

[0054] Фиг. 7 является пояснительной схемой, показывающей пример размещения медицинского устройства 500 и головного дисплея 100. На этапе S100 процесса формирования информации для представления (фиг. 6) блок 361 определения блока 360 формирования получает информацию о позиции всех медицинских устройств 500, соединенных с устройством 300 обработки информации, и информацию о текущей позиции всех головных дисплеев 100, и дает команду постоянному запоминающему устройству 320 (или внешнему устройству 380 хранения) сохранить информацию о позиции и информацию о текущей позиции. В частности, блок 361 определения запрашивает у медицинских устройств 501-50n передачу информации о позиции. Блок 361 определения дает команду постоянному запоминающему устройству 320 сохранить информацию о позиции, представляющую позиции MP1-MPn (фиг. 7) медицинских устройств 501-50n, принятую вместе с ответами. Аналогичным образом, блок 361 определения запрашивает у головных дисплеев 100a-100n передачу информации о текущей позиции. Блок 361 определения дает команду постоянному запоминающему устройству 320 сохранить информацию о текущей позиции, представляющую текущие позиции UP1-UPn (фиг. 7) головных дисплеев 100a-100n, принятую вместе с ответами.

[0055] На этапе S102 процесса формирования информации для представления (фиг. 6) блок 360 формирования устанавливает переменную i равной "1" в процессе формирования информации для представления. После этого блок 361 определения блока 360 формирования обращается к i-ой записи таблицы 382 управления (этап S104). Блок 361 определения блока 360 формирования получает "идентификатор" головного дисплея 100, сохраненный в i-ой записи таблицы 382 управления (этап S106).

[0056] Следует отметить, что в последующем описании головной дисплей 100, имеющий идентификатор, полученный на этапе S106, также упоминается как "головной дисплей 100i". Головной дисплей 100i обозначает головной дисплей 100, который в настоящее время выполняет обработку в начальной обработке. Например, когда переменная i равна 1, головной дисплей 100i обозначает головной дисплей 100a операционного хирурга, идентификатор которого равен 1, сохраненный в первой записи E01 таблицы 382 управления.

[0057] На этапе S108 процесса формирования информации для представления (фиг. 6) блок 361 определения блока 360 формирования запрашивает у головного дисплея 100i передачу информации о текущей позиции и информацию о направлении и получает информацию о текущей позиции и информацию о направлении головного дисплея 100i, принятую вместе с ответом. После этого блок 361 определения блока 360 формирования определяет с использованием информации о позиции всех медицинских устройств 500 и информации о текущей позиции всех головных дисплеев 100, полученной на этапе S100, медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100i затруднено (этап S110).

[0058] Фиг. 8 является пояснительной схемой для описания способа определения медицинского устройства 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100i затруднено. Фиг. 8 представляет общее поле зрения обычного человека. Известно, что в отношении одного глаза поле зрения обычного человека составляет приблизительно 60 градусов в сторону лба, приблизительно 70 градусов в сторону ног, приблизительно 90 градусов в сторону уха и приблизительно 120 градусов в сторону носа. Поле зрения 60 градусов в горизонтальном направлении с обеих сторон носа может одновременно просматриваться правым и левым глазами. В последующем описании поле зрения, которое может одновременно просматриваться обоими глазами, также упоминается как "поле зрения обоих глаз". Аналогичным образом, поле зрения, которое может просматриваться только левым глазом, также упоминается как "поле зрения левого глаза", а поле зрения, которое может просматриваться только правым глазом, также упоминается как "поле зрения правого глаза". Следует отметить, что на фиг. 8 поле зрения определено только углами. Однако, в дополнение к углам могут быть приняты во внимание расстояния.

[0059] На этапе S110 процесса формирования информации для представления (фиг. 6) блок 360 формирования выполняет обработку следующих процедур a1-a3 и определяет медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100i затруднено.

(a1) Блок 361 определения определяет текущую позицию и направление головного дисплея 100i из информации о текущей позиции и информации о направлении головного дисплея 100i, полученной на этапе S108.

(a2) Блок 361 определения определяет в качестве "медицинского устройства 500, визуальное распознавание блока отображения которого для пользователя затруднено", медицинское устройство 500, находящееся в позиции, не включенной в диапазоны всех полей зрения обоих глаз, поля зрения левого глаза и поля зрения правого глаза, показанных на фиг. 8, на основе текущей позиции и направления, определенных в процедуре a1.

(a3) Когда текущая позиция другого укрепляемого на голове устройства отображения 100 находится около участка прямой линии между текущей позицией головного дисплея 100i и позицией медицинского устройства 500, блок 361 определения определяет медицинское устройство 500 как "медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя затруднено". Следует отметить, что процедура a3 исполняется только над медицинским устройством 500, не охваченным процедурой a2.

[0060] Конкретный пример этапа S110 описан со ссылкой на фиг. 7. В последующем описании головным дисплеем 100i является головной дисплей 100a. Блок 361 определения определяет текущую позицию UP1 и направление UD1 на основе информации о текущей позиции и информации о направлении головного дисплея 100a (процедура a1). Блок 361 определения определяет в качестве медицинского устройства 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100a затруднено, медицинские устройства 503 и 50n, находящиеся в позициях MP3 и MPn, не включенных ни в поле зрения обоих глаз, ни в поле зрения левого глаза, ни в поле зрения правого глаза пользователя головного дисплея 100a, на основе текущей позиции UP1 и направления UD1 (процедура a2). Поскольку текущая позиция другого головного дисплея 100 отсутствует около участка прямой линии между текущей позицией UP1 головного дисплея 100a и позицией MP1 медицинского устройства 501, блок 361 определения определяет, что медицинское устройство 501 не является медицинским устройством 500, визуальное распознавание которого затруднено. Аналогичным образом, поскольку текущая позиция другого головного дисплея 100 отсутствует вблизи участка прямой линии между текущей позицией UP1 и позицией MP2 медицинского устройства 502, между текущей позицией UP1 и позицией MP4 медицинского устройства 504 и между текущей позицией UP1 и позицией MP5 медицинского устройства 505, блок 361 определения определяет, что медицинские устройства 502, 504 и 505 не являются медицинским устройством 500, визуальное распознавание которого затруднено (процедура a3). В результате процедур, когда головным дисплеем 100i является головной дисплей 100a, блок 361 определения определяет медицинские устройства 503 и 50n как медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100a затруднено.

[0061] В последующем описании головным дисплеем 100i является головной дисплей 100n. Блок 361 определения определяет текущую позицию UPn и направление UDn на основе информации о текущей позиции и информации о направлении головного дисплея 100n (процедура a1). Блок 361 определения определяет в качестве медицинского устройства 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100n затруднено, медицинское устройство 50n, находящееся в позиции MPn, не включенной ни в поле зрения обоих глаз, ни в поле зрения левого глаза, ни в поле зрения правого глаза пользователя головного дисплея 100n, на основе текущей позиции UPn и направления UDn (процедура a2). Поскольку текущая позиция UP2 другого головного дисплея 100b присутствует около участка прямой линии между текущей позицией UPn головного дисплея 100n и позицией MP1 медицинского устройства 501, блок 361 определения определяет, что визуальное распознавание блока отображения медицинского устройства 501 затруднено. Аналогичным образом, поскольку текущая позиция UP1 другого головного дисплея 100a присутствует около участка прямой линии между текущей позицией UPn и позициями MP2 и MP4 медицинских устройств 502 и 504, блок 361 определения определяет, что визуальное распознавание блоков отображения медицинских устройств 502 и 504 затруднено. Аналогичным образом, поскольку текущая позиция другого головного дисплея 100 отсутствует около участка прямой линии между текущей позицией UPn и позициями MP3 и MP5 медицинских устройств 503 и 505, блок 361 определения определяет, что визуальное распознавание блоков отображения медицинских устройств 503 и 505 не затруднено (процедура a3). В результате процедур, когда головным дисплеем 100i является головной дисплей 100n, блок 361 определения определяет медицинские устройства 501, 502, 504 и 50n как медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100n затруднено.

[0062] Как описано выше, в соответствии с процедурой a2 блок 361 определения блока 360 формирования может определить, приняв во внимание общее поле зрения человека, медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100i затруднено. Кроме того, в соответствии с процедурой a3 блок 361 определения блока 360 формирования также может определить медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя затруднено вследствие присутствия пользователя другого головного дисплея 100, хотя медицинское устройство 500 присутствует в пределах диапазона поля зрения.

[0063] Как объяснено выше, в соответствии с этапами S100-S110 блок 361 определения может определить медицинское устройство 500, визуальное распознавание блока отображения которого затруднено, на основе информации о текущей позиции и информации о направлении головного дисплея 100 и медицинского устройства 500. В частности, блок 361 определения может определить медицинское устройство 500, блок отображения которого не может или с трудом может быть визуально распознан пользователем, поскольку медицинское устройство 500 присутствует в слепой зоне пользователя. Блок 361 определения также может определить, приняв во внимание, помимо углов, расстояния, медицинское устройство 500, блок отображения которого не может или с трудом может быть визуально распознан пользователем, поскольку медицинское устройство 500 находится далеко от пользователя. Блок 361 определения может получать информацию, необходимую при определении медицинского устройства 500, через первый блок 310 ввода/вывода (блок сбора данных) и второй блок 370 ввода/вывода (блок представления). Это удобно, поскольку от пользователя не требуется заранее подготавливать данные и т.п. при использовании устройства 300 обработки информации.

[0064] Блок 361 определения блока 360 формирования может определить медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100 затруднено, путем исполнения описанных ниже процедур z1-z6 вместо обработки, описанной на этапах S100 и S110 на фиг. 6. В этом случае в постоянном запоминающем устройстве 320 (или во внешнем устройстве 380 хранения) устройства 300 обработки информации заранее сохранены изображения блоков отображения всех медицинских устройств 500 (медицинских устройств 501-50n), соединенных с устройством 300 обработки информации.

[0065] (z1) Блок 360 формирования устанавливает равной "1" переменную i, используемую в процессе формирования информации для представления.

(z2) Блок 361 определения обращается к i-ой записи таблицы 382 управления.

(z3) Блок 361 определения получает "идентификатор" головного дисплея 100, сохраненный в i-ой записи таблицы 382 управления.

(z4) Блок 361 определения дает команду головному дисплею 100i получить изображение внешней обстановки с использованием камеры 61 и получить полученное изображение внешней обстановки.

(z5) Блок 361 определения выполняет распознавание изображения внешней обстановки, чтобы тем самым определить, включены ли изображения блоков отображения медицинских устройств 500 (медицинских устройств 501-50n), сохраненные в постоянном запоминающем устройстве 320, в изображение внешней обстановки.

(z6) Блок 361 определения определяет медицинское устройство 500, "изображение блока отображения которого определено как не включенное в изображение внешней обстановки", как медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100i затруднено.

[0066] Как объяснено выше, в соответствии с процедурами z1-z6 блок 361 определения может определить медицинское устройство 500, визуальное распознавание блока отображения которого затруднено, на основе изображения (изображение внешней обстановки) в направлении поля зрения пользователя, фактически полученного камерой 61 головного дисплея 100i. В частности, поскольку медицинское устройство 500 находится в слепой зоне пользователя, блок 361 определения может определить медицинское устройство 500, которое не может или с трудом может быть визуально распознано пользователем. Блок 361 определения может определить, регулируя точность распознавания изображения в процедуре z5, даже медицинское устройство 500, которое не может или с трудом может быть визуально распознано пользователем, поскольку медицинское устройство 500 находится далеко от пользователя. Кроме того, блок 361 определения может определить медицинское устройство 500, визуальное распознавание блока отображения которого затруднено, на основе фактического поля зрения пользователя головного дисплея 100i. В частности, блок 361 определения может определить медицинское устройство 500, которое не может или с трудом может быть визуально распознано пользователем, поскольку блок отображения не обращен к зрительной оси пользователя (например, когда пользователь смотрит вниз или когда блок отображения медицинского устройства 500 направлен в таком же направлении, как и зрительная ось пользователя), хотя медицинское устройство 500 не находится в слепой зоне пользователя и находится рядом с пользователем. Блок 361 определения может получать информацию, необходимую при определении медицинского устройства 500, через второй блок 370 ввода/вывода (блок обеспечения). Это удобно, поскольку от пользователя не требуется заранее подготавливать данные и т.п. при использовании устройства 300 обработки информации.

[0067] На этапе S112 процесса формирования информации для представления (фиг. 6) блок 360 формирования формирует информацию PNi для представления, которая будет передана на головной дисплей 100i, с использованием информации медицинского устройства, полученной из медицинского устройства 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100i затруднено, определенного на этапе S110, среди информации медицинских устройств 501-50n, полученной первыми блоками 311-31n ввода/вывода.

[0068] Фиг. 9А и 9B являются пояснительными схемами для описания способа формирования информации для представления. Когда имеется только одно медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100i затруднено, блок 360 формирования формирует информацию PN для представления посредством преобразования изображения, включенного в информацию CP1 медицинского устройства 500 в соответствии с техническими требованиями видеосигнала, определенными в общей видеоспецификации 381 (фиг. 9А). При этом преобразовании, в частности, когда соотношение сторон изображения, включенного в информацию CP1 медицинского устройства, и соотношение сторон изображения, определенное в общей видеоспецификации 381, отличаются, блок 360 формирования увеличивает или уменьшает изображение, включенное в информацию CP1 медицинского устройства, сохраняя при этом соотношение сторон изображения. Затем граничные участки без изображения (представленные штриховкой на фигуре) формируются в продольном направлении или боковом направлении информации PN для представления.

[0069] Блок 360 формирования исполняет любую из процедур b1 и b2 относительно граничных участков. Затем граничные участки отображаются как виртуальные изображения на головном дисплее 100. Существует возможность избежать блокировки поля зрения пользователя граничными участками.

(b1) Блок 360 формирования вставляет данные черных фиктивных точек в граничные участки информации PN для представления.

(b2) Блок 360 формирования устанавливает для граничных участков информации PN для представления сигнал (сигнал активации) для переключения активности/неактивности формирования света изображения в блоке 22 приведения в действие правого дисплея и блоке 24 приведения в действие левого дисплея головного дисплея 100 в значение Lo (неактивное значение).

[0070] Таким образом, соотношение сторон изображения, включенного в информацию PN для представления, не изменяется. Что касается изображения (например, неподвижного изображения и подвижного изображения, изображения CT, изображения MRI или рентгеновского изображения) в медицинском помещении, где используется устройство 300 обработки информации, является предпочтительным строго сохранять соотношение сторон изображения, сфотографированного в медицинском устройстве 500, с тем чтобы не нарушать ощущение фактического размера изображения, визуально распознаваемого пользователем. В этом отношении, если соотношение сторон изображения, включенного в информацию CP1 медицинского устройства, сохраняется, возможно избежать появления нежелательного искажения в информации медицинского устройства, например, измеренной или полученной медицинским устройством 500. Следует отметить, что фиг. 9B показывает информацию для представления PNx, в которой искажение происходит в результате не сохранения соотношения сторон изображения, включенного в медицинское устройство для информации CP1, и увеличения изображения в соответствии с соотношением сторон изображения, определенном в общей видеоспецификации 381.

[0071] Фиг. 10 является пояснительной схемой для описания способа формирования информации для представления. Когда имеется множество медицинских устройств 500, визуальное распознавание блоков отображения которых для пользователя головного дисплея 100i затруднено, блок 360 формирования формирует первое изображение, в котором размещены изображения, включенные в информацию медицинских устройств (в примере, показанном на фиг. 10, в информацию CP2 и CP3 медицинских устройств) всех указанных медицинских устройств 500, визуальное распознавание которых затруднено. В этом случае, как и в случае, описанном выше, блок 360 формирования сохраняет соотношение сторон изображений, включенных в информацию медицинского устройства. Предпочтительно, чтобы изображения, включенные в информацию медицинского устройства, были размещены в конце первого изображения. Блок 360 формирования формирует информацию PN для представления посредством преобразования сформированного первого изображения в соответствии со спецификацией видеосигнала, определенной в общей видеоспецификации 381 (фиг. 10). Следует отметить, что блок 360 формирования исполняет любую из процедур b1 и b2 относительно граничного участка (представленного штриховкой), где изображения, включенные в информацию медицинского устройства, не размещены в первом изображении. Таким образом, граничный участок отображается как виртуальное изображение на головном дисплее 100. Существует возможность избежать блокировку поля зрения пользователя граничным участком.

[0072] На этапе S112 процесса формирования информации для представления (фиг. 6) блок 360 формирования дает команду записи 384 операции сохранить сформированную информацию PNi для представления.

[0073] На этапе S114 блок 360 формирования передает сформированную информацию PNi для представления второму блоку 370i ввода/вывода, с которым соединен головной дисплей 100i. Второй блок 370i ввода/вывода преобразовывает изображение, включенное в принятую информацию PNi для представления, в соответствии со спецификацией видеосигнала головного дисплея 100i. Следует отметить, что в этом случае второй блок 370i ввода/вывода может обратиться к "видеоспецификации" таблицы 382 управления. После преобразования видеоспецификации второй блок 370i ввода/вывода передает информацию PNi для представления на головной дисплей 100i.

[0074] Фиг. 11 является пояснительной схемой, показывающей состояние, в котором информация PNi для представления отображается как виртуальное изображение на головном дисплее 100i. В головном дисплее 100i, который принимает информацию PNi для представления от интерфейса 180 или блока 132 радиосвязи, выполняется описанная выше обработка отображения посредством блока 160 обработки изображений. В результате свет изображения, проведенный к обоим глазам пользователя головного дисплея 100i, фокусируется на сетчатках пользователя, в результате чего пользователь может визуально распознать виртуальное изображение VI информации PNi для представления в поле VR зрения. Пользователь может непосредственно визуально распознать через правый блок 26 отображения оптического изображения и левый блок 28 отображения оптического изображения состояние пациента, лежащего на операционном столе (внешнюю обстановку SC). В примере, показанном на фиг. 11, в виртуальном изображении VI(i), визуально распознаваемом пользователем головного дисплея 100i, отображается информация CP2 медицинского устройства, полученная из медицинского устройства 503, визуальное распознавание которого для пользователя головного дисплея 100i затруднено, и информация CP3 медицинского устройства, полученная из медицинского устройства 50n.

[0075] Фиг. 12 является пояснительной схемой, показывающей состояние, в котором информация для представления отображена как виртуальные изображения на множестве головных дисплеев 100, находящихся в разных местах. Второй блок 370 ввода/вывода устройства 300 обработки информации может выполнить обработку подгонки для сопоставления направления и размера изображения, включенного в информацию для представления, с направлением и размером целевого объекта, включенного во внешнюю обстановку SC, как показано на фиг. 12. В медицинском помещении целевой объект является, например, телом пациента или частью тела. Чтобы реализовать обработку подгонки на этапе S114 процесса формирования информации для представления (фиг. 6), второй блок 370 ввода/вывода выполняет обработку, обозначенную описанными ниже процедурами c1-c5, после преобразования изображения, включенного в информацию PNi для представления, в соответствии со спецификацией видеосигнала головного дисплея 100i.

[0076] (c1) Второй блок 370i ввода/вывода дает команду головному дисплею 100i захватить изображение внешней обстановки с использованием камеры 61 и получить полученное изображение внешней обстановки.

(c2) Второй блок 370i ввода/вывода извлекает особенности целевого объекта, включенного в изображение внешней обстановки, с использованием способов для распознавания изображения, описанных ниже в пунктах 1 и 2. Следует отметить, что способы 1 и 2 могут быть объединены.

1. Обнаружение края (особенности) целевого объекта.

2. Обнаружение маркера (особенности), заранее присоединенного к целевому объекту. Следует отметить, что в качестве маркера, присоединенного к объекту, могут использоваться различные виды маркеров. Например, могут использоваться лента, этикетка, автоматический маркер, лазерный маркер и "magic tape" (зарегистрированная торговая марка). Количество маркеров, присоединенных к целевому объекту, является произвольным.

(c3) Второй блок 370i ввода/вывода извлекает особенность целевого объекта посредством выполнения распознавания изображения, включенного в принятую информацию для представления. В этом случае второй блок 370i ввода/вывода может использовать такие же способы для распознавания изображения, как и описанные выше в пунктах 1 и 2 способы для распознавания изображения.

[0077] (c4) Второй блок 370i ввода/вывода корректирует изображение CP, включенное в информацию для представления, таким образом, чтобы позиции особенности изображения внешней обстановки, извлеченной в процедуре c2, и особенности информации для представления, извлеченной в процедуре c3, совпадали друг с другом. В частности, когда в процедурах c2 и c3 используется способ 1, второй блок 370i ввода/вывода применяет по меньшей мере одну обработку из увеличения, уменьшения, поворота, инвертирования, обрезания, искажения и удаления шума к изображению CP, включенному в информацию для представления, таким образом, чтобы позиции контуров и характерных частей совпадали друг с другом на краю изображения внешней обстановки и на краю информации для представления. Когда целевой объект является организмом, характерные части представляют собой контуры рассеченной кожи, контуры внутреннего органа, суставов, дистальных концов рук и ног, кровеносных сосудов, костей и т.п. С другой стороны, когда в процедурах c2 и c3 используется способ 2, второй блок 370i ввода/вывода применяет по меньшей мере одну обработку из увеличения, уменьшения, поворота, инвертирования, обрезания, искажения и удаления шума к изображению CP, включенному в информацию для представления, таким образом, чтобы позиции маркера изображения внешней обстановки и маркера информации для представления совпадали друг с другом.

[0078] Таким образом, второй блок 370 ввода/вывода выполняет распознавание изображения в направлении поля зрения пользователя головного дисплея 100 (укрепляемого на голове устройства отображения), чтобы извлечь особенность объекта, включенного во внешнюю обстановку, и корректирует на основе извлеченной особенности информацию для представления, сформированную блоком 360 формирования. Таким образом, когда невидимая информация, такая как изображение CT, изображение MRI или рентгеновское изображение, включена в информацию для представления, возможно сопоставить невидимую информации с объектом (например, с телом пациента), включенным во внешнюю обстановку. В результате возможно увеличить удобство для пользователя головного дисплея 100i. Обработка подгонки исполняется во втором блоке 370i ввода/вывода, соединенном с заданным головным дисплеем 100i. Таким образом, нагрузка по обработке не накладывается на вторые блоки 370 ввода/вывода, соединенные с другими головными дисплеями 100. Кром этого, головной дисплей 100i может принять информацию для представления после того, как применена обработка установки. Таким образом, блок 160 обработки изображений головного дисплея 100i должен только непосредственно отобразить принятую информацию для представления. В результате, возможно упростить конфигурацию головного дисплея 100.

[0079] На этапе S116 обработки информации для представления (фиг. 6) блок 360 формирования инкрементирует переменную i. После этого блок 360 формирования определяет, не является ли переменная i большей или равной n (этап S118). Когда переменная i меньше n (этап S118: НЕТ), это означает, что среди головных дисплеев 100, соединенных со вторым блоком 370 ввода/вывода, имеется головной дисплей 100, для которого не закончена начальная обработка. Таким образом, блок 360 формирования переводит обработку на этап S100 и продолжает начальную обработку. С другой стороны, когда переменная i больше или равна n (этап S118: ДА), это означает, что начальная обработка закончилась относительно всех головных дисплеев 100. Таким образом, блок 360 формирования переводит обработку на индивидуальную обработку на этапе S120.

[0080] A-4-2. Индивидуальная обработка

При индивидуальной обработке блок 360 формирования формирует на основе запроса от головного дисплея 100 информацию для представления, включающую в себя информацию медицинского устройства, полученную из запрашиваемого медицинского устройства 500, и информацию, полученную из источника информации, отличающегося от запрашиваемого медицинского устройства 500.

[0081] На этапе S120 процесса формирования информации для представления (фиг. 6) блок 360 формирования определяет, принят ли запрос выбора источника информации от головного дисплея 100. Запрос выбора источника информации означает, например, запросы, перечисленные в d1-d6 ниже.

(d1) запрос просмотра информации медицинского устройства, полученной медицинским устройством 500

(d2) запрос телефонного вызова доктора PR во внешнем учреждении

(d3) запрос просмотра данных, записанных в больничной базе OD данных

(d4) запрос просмотра данных, записанных в невидимой информации 383

(d5) запрос просмотра данных, записанных в записи 384 операции

(d6) запрос просмотра информации медицинского устройства 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100 затруднено

[0082] Источником информации в случае запроса d1 является медицинское устройство 500. Аналогичным образом, источником информации в случае запроса d2 является доктор PR. Источником информации в случае запроса d3 является база OD данных. Источником информации в случае запроса d4 является невидимая информация 383. Источником информации в случае запроса d5 является запись 384 операции. Источником информации в случае запроса d6 является медицинское устройство 500, визуальное распознавание которого затруднено. Запросы d1-d6 могут быть выданы независимо или могут быть объединены. Запрос выбора источника информации выдается при необходимости в соответствии с операцией пользователем головного дисплея 100.

[0083] Головной дисплей 100 может передать запрос выбора источника информации устройству 300 обработки информации, например, в соответствии с описанными ниже процедурами e1-e5.

(e1) Пользователь головного дисплея 100 вводит желаемый источник информации и информацию для определения информации в источнике информации через устройство ввода (сенсорную панель, перекрестный ключ, педальный переключатель, устройство жестового ввода, микрофон и т.д.) головного дисплея 100. Если в качестве способа ввода применяется звуковой ввод через микрофон, возможно значительно увеличить удобство для пользователя, когда головной дисплей 100 используется в медицинском помещении, где пользователю трудно управлять головным дисплеем 100 вручную. Следует отметить, что в случае запросов d1-d6 ввод "информации для определения информации в источнике информации" не обязателен.

(e2) Блок 110 получения входной информации головного дисплея 100 получает сигнал, соответствующий операционному вводу пользователя, и передает сигнал в операционную систему 150.

(e3) Операционная система 150 головного дисплея 100 формирует запрос выбора источника информации. В частности, в случае запроса d1 операционная система 150 формирует запрос выбора источника информации, включающий в себя идентификатор головного дисплея 100 и идентификатор для определения источника информации, назначенного в процедуре e1. В случае запросов d2-d5 операционная система 150 формирует запрос выбора источника информации, включающий в себя идентификатор головного дисплея 100, идентификатор для определения источника информации, назначенного в процедуре e1, и информацию для определения информации в источнике информации. В случае запроса d6 операционная система 150 формирует запрос выбора источника информации, включающий в себя идентификатор головного дисплея 100 и информацию о текущей позиции и информацию о направлении головного дисплея 100. Следует отметить, что информация о текущей позиции и информация о направлении представляют собой информацию, используемую для определения "медицинского устройства 500, визуальное распознавание блока отображения которого для пользователя затруднено" запроса d6 с блоком 360 формирования и эквивалентную информацию для определения источника информации.

(e4) Операционная система 150 головного дисплея 100 передает запрос выбора источника информации, сформированный в процедуре e3, устройству 300 обработки информации, соединенному через интерфейс 180 и блок 132 радиосвязи.

(e5) Второй блок 370 ввода/вывода устройства 300 обработки информации передает принятый запрос выбора источника информации блоку 360 формирования.

[0084] Когда запрос выбора источника информации принят в процессе формирования информации для представления (фиг. 6) (этап S120: ДА), на этапе S122 блок 360 формирования получает идентификатор головного дисплея 100i, информацию для определения источника информации и информацию в источнике информации, включенную в запрос выбора источника информации. Кроме того, когда информация о текущей позиции и информация о направлении включены в качестве информации для определения источника информации, блок 360 формирования исполняет такую же обработку, как на этапе S110 на фиг. 6 и определяет "медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя затруднено", полученное как результат выполнения. Головной дисплей 100i указывает головной дисплей 100, который является источником запроса выбора источника информации (т.е. головной дисплей 100, который в настоящее время выполняет обработку).

[0085] На этапе S124 блок 360 формирования осуществляет доступ к назначенному источнику информации и извлекает назначенную информацию. Блок 360 формирования формирует информацию PNi для представления для головного дисплея 100i с использованием извлеченной информации и дает команду записи операции 384 сохранить сформированную информацию PNi для представления. Следует отметить, что способ формирования информации для представления посредством блока 360 формирования описан со ссылкой на фиг. 9 и 10.

[0086] Фиг. 13А и 13B являются пояснительными схемами, показывающими первый пример информации для представления. Фиг. 13А является примером информации PN для представления, сформированной блоком 360 формирования, когда рентгеновское изображение (CP4) пациента, сохраненное в невидимой информации 383, назначено в запросе выбора источника информации. Следует отметить, что такая же информация для представления, как информация для представления, показанная на фиг. 13А, формируется, когда в запросе выбора источника информации назначено медицинское устройство 500 (устройство получения фотографических изображений с помощью рентгеновского излучения), способное получать невидимую информацию.

[0087] Фиг. 13B является примером информации PN для представления, сформированной блоком 360 формирования, когда назначены хирургический таймер, функционирующей как медицинское устройство 500, пульсотахометр, функционирующий как медицинское устройство 500, и биологический монитор, функционирующий как медицинское устройство 500. На краях информации PN для представления размещены текущее время CP5, извлеченное из хирургического таймера, время CP7, прошедшее от начала хирургической операции, изображение CP6 пульса, извлеченное из пульсотахометра, и изображение CP8 сердечного ритма (HR), кровяного давления (SYS/DIA) и насыщения артериальной крови кислородом (SpO2), извлеченные из биологического монитора. Следует отметить, что когда назначено множество источников информации, как показано на фиг. 13B, головной дисплей 100 может назначить "размещение" и "величину" информации в источниках информации в запросе выбора источника информации.

[0088] Фиг. 14А и 14B являются пояснительными схемами, показывающими второй пример информации для представления. Фиг. 14А является примером информации PN для представления, сформированной блоком 360 формирования, когда академическая книга (CP9), хранящаяся в больничной базе OD данных и информация (CP10) процедуры операции, хранящаяся в больничной базе OD данных, назначены в запросе выбора источника информации. Фиг. 14B является примером информации PN для представления, сформированной блоком 360 формирования, когда камера видимого света, функционирующая как медицинское устройство 500 для фотографирования неподвижного изображения и подвижного изображения оперируемого участка и телефонный вызов доктора PR во внешнем учреждении назначены в запросе выбора источника информации.

[0089] Фиг. 15 является пояснительной схемой, показывающей третий пример информации для представления. Фиг. 15 является примером информации PN для представления, сформированной блоком 360 формирования, когда биологический монитор, функционирующий как медицинское устройство 500, назначен в запросе выбора источника информации. Биологический монитор, показанный на фиг. 15, не включает в себя интерфейс, который может быть соединен с первым блоком 310 ввода/вывода. Однако, если устройство 300 обработки информации включает в себя камеру видимого света, и камера видимого света фотографирует экран (CP13) биологического монитора, блок 360 формирования может сформировать информацию PN для представления, как показано на фиг. 15, с использованием информации медицинского устройства, принятой от медицинского устройства, не включающего в себя интерфейс, который может быть соединен с первым блоком 310 ввода/вывода.

[0090] На этапе S126 процесса формирования информации для представления (фиг. 6) блок 360 формирования передает информацию PNi для представления, сформированную на этапе S124, второму блоку 370i ввода/вывода, с которым соединен головной дисплей 100i. После этого блок 360 формирования переводит обработку на этап S120 и продолжает отслеживать прием запроса выбора источника информации. Второй блок 370i ввода/вывода, который принимает информацию PNi для представления, преобразовывает изображение, включенное в принятую информацию PNi для представления, в соответствии со спецификацией видеосигнала головного дисплея 100i. В этом случае второй блок 370i ввода/вывода может исполнить обработку подгонки. Подробные сведения описаны на этапе S114.

[0091] В головном дисплее 100i, который принимает информацию PNi для представления через интерфейс 180 или блок 132 радиосвязи, выполняется обработка отображения посредством блока 160 обработки изображений. В результате пользователь головного дисплея 100i, который передает запрос выбора источника информации, может визуально распознать виртуальное изображение информации PNi для представления, включающее в себя информацию, извлеченную из источника информации, назначенного в запросе выбора источника информации.

[0092] Как описано выше, с помощью устройства 300 обработки информации в первом варианте осуществления блок 360 формирования формирует информацию PN для представления, включающую в себя, по меньшей мере, часть из множества видов информации медицинских устройств, полученных первым блоком 310 ввода/вывода (блоком сбора данных, первыми блоками 311-31n ввода/вывода). Таким образом, возможно объединить информацию (информацию медицинских устройств) множества медицинских устройств 500 (медицинских устройств 501-50n), соединенных с первым блоком 310 ввода/вывода устройства 300 обработки информации. При начальной обработке процесса формирования информации для представления блок 360 формирования формирует информацию PN для представления, включающую в себя, по меньшей мере, информацию медицинского устройства, полученную медицинским устройством 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100 (устройства отображения изображения) затруднено. Таким образом, возможно извлечь информацию из объединенной информации медицинских устройств при условии, что информацией является информация медицинского устройства 500, визуальное распознавание блока отображения которого затруднено, и включить извлеченную информацию в информацию PN для представления. В результате возможно реализовать устройство 300 обработки информации, способное объединять информацию относительно множества медицинских устройств 500 (медицинских устройств 501-50n) и способное легко фильтровать информацию из объединенной информации и формировать информацию, которая будет отображена на головном дисплее 100.

[0093] Кроме того, устройство 300 обработки информации в первом варианте осуществления включает в себя невидимую информацию 383 (блок хранения невидимой информации). Таким образом, возможно объединить невидимую информацию, хранящуюся в невидимой информации 383, в дополнение к информации медицинских устройств из множества медицинских устройств 500 (медицинских устройств 501-50n), соединенных с первым блоком 310 ввода/вывода (первыми блоками 311-31n ввода/вывода) устройства 300 обработки информации. Блок 360 формирования может извлечь из объединенной информации, например, как показано на фиг. 13А и 13B, невидимую информацию, которая является информацией, не появляющейся во внешнем виде объекта, такую как изображение CT, изображение MRI, рентгеновское изображение, флуороскопическое изображение, ультразвуковое диагностическое изображение, эндоскопическое изображение или термографическое изображение, и формирует информацию PN для представления, который будет отображена на головном дисплее 100 (устройстве отображения изображения). В результате пользователь головного дисплея 100, соединенного с устройством 300 обработки информации, может визуально распознать невидимую информацию. Это приводит к увеличению удобства головного дисплея 100. Аналогичным образом, блок 360 формирования может извлечь информацию медицинского устройства, извлеченную медицинским устройством 500 для получения невидимой информации, которая является информацией, не появляющейся во внешнем виде объекта, такую как изображение CT, изображение MRI, рентгеновское изображение, флуороскопическое изображение, ультразвуковое диагностическое изображение, эндоскопическое изображение или термографическое изображение, и сформировать информацию PN для представления, которая будет отображена на головном дисплее 100. В результате пользователь головного дисплея 100, соединенного с устройством 300 обработки информации, может визуально распознать невидимую информацию. Это приводит к увеличению удобства головного дисплея 100.

[0094] Кроме того, с помощью устройством 300 обработки информации в первом варианте осуществления блок 360 формирования может извлечь информацию медицинского устройства, извлеченную медицинским устройством 500 для получения неподвижного изображения и подвижного изображения оперируемого участка, то есть изображения процедуры терапии пациента, и сформировать информацию PN для представления, которая будет отображена на головном дисплее 100 (устройстве отображения изображения). В результате пользователь головного дисплея 100, соединенного с устройством 300 обработки информации, может визуально распознать изображение процедуры терапии пациента. Это приводит к увеличению удобства головного дисплея 100.

[0095] Как объяснено выше, касательно системы 1000 обработки информации в первом варианте осуществления возможно реализовать систему 1000 обработки информации, способную объединять в устройстве 300 обработки информации информацию (информацию медицинских устройств) множества медицинских устройств 500 (медицинских устройств 501-50n) и способную легко фильтровать информацию из объединенной информации, чтобы сформировать информацию PN для представления, и давать возможность пользователю головного дисплея 100 (укрепляемого на голове устройства отображения) так называемого пропускающего типа визуально распознавать сформированную информацию PN для представления как виртуальное изображение.

[0096] A-5. Дополнительная обработка

Следует отметить, что в процессе формирования информации для представления (фиг. 6) может быть дополнительно исполнена описанная ниже дополнительная обработка. Дополнительная обработка может быть добавлена независимо или может быть добавлена совместно.

[0097] A-5-1. Дополнительная обработка 1

При дополнительной обработке 1 устройство 300 обработки информации выполняет обработку преобразования цветов для информации для представления. В частности, второй блок 370 ввода/вывода, который принимает информацию для представления от блока 360 формирования, дает команду камере 61 головного дисплея 100 получить изображение внешней обстановки. Второй блок 370 ввода/вывода выполняет обработку преобразования цветов для улучшения видимости изображения, включенного в информацию для представления, в соответствии с яркостью, контрастностью, цветовой насыщенностью и оттенком извлеченного изображения внешней обстановки. Например, второй блок 370 ввода/вывода может выполнить обработку преобразования цветов для преобразования оттенка изображения, включенного в информацию для представления, в дополнительный цвет оттенка изображения внешней обстановки.

[0098] Таким образом, с помощью дополнительной обработки 1 возможно дополнительно улучшить видимость виртуального изображения VI для пользователя головного дисплея 100.

[0099] A-5-2. Дополнительная обработка 2

При дополнительной обработке 2 устройство 300 обработки информации реализует так называемую функцию стабилизатора для подавления дрожания виртуального изображения VI вследствие небольшого смещения головы пользователя головного дисплея 100. В частности, второй блок 370 ввода/вывода, который принимает информацию для представления от блока 360 формирования, повторяет в каждый предопределенный момент времени обработку подгонки, описанную в процедурах c1-c4, и передачу информации для представления на этапах S114 и S126 процесса формирования информации для представления. Таким образом, фотографирование изображения внешней обстановки и коррекция и отображение изображения, включенного в информацию для представления, повторяются в каждый предопределенный момент времени. Таким образом, возможно отобразить в качестве виртуального изображения VI информацию для представления, следуя перемещениям головы пользователя в течение времени.

[0100] Однако, когда информация для представления часто изменяется вслед за небольшим перемещением или колебанием головы пользователя головного дисплея 100, вероятно, может возникнуть быстрая утомляемость глаз пользователя и может быть нарушена концентрация пользователя. Таким образом, второй блок 370 ввода/вывода может дополнительно выполнить обработку, обозначенную описанными ниже процедурами f1 и f2, между процедурой c1 и процедурой c2.

[0101] (f1) Второй блок 370 ввода/вывода вычисляет величину изменения гистограммы RGB между изображением внешней обстановки, сфотографированным в процедуре c1, и изображением внешней обстановки, сфотографированным в процедуре c1 обработки подгонки, исполненной в прошлый раз.

(f2) Второй блок 370 ввода/вывода продолжает обработку процедуры c2 и последующих процедур, когда величина изменения, вычисленная в процедуре f1, превышает предопределенный порог.

[0102] Таким образом, с помощью дополнительной обработки 2, когда величина изменения между изображением внешней обстановки при обработке подгонки, выполненной в прошлый раз, и изображением внешней обстановки при обработке подгонки, исполняемой в настоящее время, является маленькой, то есть когда перемещение головы пользователя головного дисплея 100 очень мало, второй блок 370 ввода/вывода не выполняет коррекцию изображения, включенного в информацию для представления. В результате возможно устранить частое изменение информации для представления после очень малого перемещения или колебания головы пользователя головного дисплея 100. Таким образом, возможно устранить быструю утомляемость глаз и нарушение концентрации пользователя. Следует отметить, что пользователю может быть доступна функция включения/выключения стабилизатора.

[0103] A-5-3. Дополнительная обработка 3

При дополнительной обработке 3 устройство 300 обработки информации в соответствии с расстоянием между блоком 20 отображения изображения головного дисплея 100 и объектом, находящимся в направлении поля зрения пользователя, изменяет размер отображения изображения, включенного в информацию для представления, отображаемую как виртуальное изображение VI. В частности, второй блок 370 ввода/вывода, который принимает информацию для представления от блока 360 формирования, может выполнить обработку, обозначенную описанными ниже процедурами g1-g3, вместо обработки подгонки, описанной в процедурах c1-c4. Следует отметить, что когда эта обработка выполняется, головной дисплей 100 дополнительно включает в себя датчик определения расстояния. Датчик определения расстояния представляет собой датчик для определения расстояния между объектом, находящимся в направлении поля зрения пользователя, и блоком 20 отображения изображения на основе использования отраженного света. Например, датчик определения расстояния может быть размещен около камеры 61.

[0104] (g1) Второй блок 370 ввода/вывода периодически извлекает значение измерения датчика определения расстояния из головного дисплея 100.

(g2) Второй блок 370 ввода/вывода определяет коэффициент увеличения (или коэффициент уменьшения) в соответствии с извлеченным значением измерения датчика определения расстояния.

(g3) Второй блок 370 ввода/вывода применяет по меньшей мере одно преобразование из увеличения, уменьшения, поворота, инвертирования, обрезания, искажения и удаления шума к изображению, включенному в информацию для представления, с использованием определенного коэффициента увеличения или уменьшения.

[0105] Таким образом, с помощью дополнительной обработки 3 второй блок 370 ввода/вывода может в соответствии с расстоянием между объектом, находящимся в направлении поля зрения пользователя головного дисплея 100, и блоком 20 отображения изображения изменять размер отображения информации для представления, отображаемой как виртуальное изображение VI. Таким образом, возможно увеличить удобство для пользователя в головном дисплее 100.

[0106] B. Второй вариант осуществления

Во втором варианте осуществления изобретения описана конфигурация для автоматического определения медицинского устройства, визуальное распознавание блока отображения которого для пользователя укрепляемого на голове устройства отображения затруднено, на основе таблицы. В последующем описании описываются только компоненты, имеющие конфигурации и операции, отличающиеся от конфигураций и операций в первом варианте осуществления. Следует отметить, что на фигурах компоненты, такие же, как компоненты в первом варианте осуществления, обозначены такими же ссылочными номерами и знаками. Подробное объяснение компонентов опущено.

[0107] B-1. Конфигурация системы обработки информации

Схематическая конфигурация системы 1000a обработки информации во втором варианте осуществления является в значительной степени такой же, как схематическая конфигурация в первом варианте осуществления, показанная на фиг. 1. Однако система 1000a обработки информации во втором варианте осуществления включает в себя устройство 300a обработки информации вместо устройства 300 обработки информации.

[0108] B-2. Конфигурация устройства обработки информации

Фиг. 16 является блок-схемой, показывающей функциональную конфигурацию устройства 300a обработки информации во втором варианте осуществления. Устройство 300a обработки информации во втором варианте осуществления отличается от устройства 300 обработки информации в первом варианте осуществления тем, что устройство 300a обработки информации включает в себя блок 360a формирования вместо блока 360 формирования, включает в себя блок 361a определения вместо блока 361 определения и включает в себя внешнее устройство 380a хранения вместо внешнего устройства 380 хранения. Блок 360a формирования и блок 361a определения отличаются от блока 360 формирования и блока 361 определения в первом варианте осуществления в содержаниях обработки в процессе формирования информации для представления. Подробности описаны ниже. Внешнее устройство 380a хранения дополнительно включает в себя таблицу 385 позиций, функционирующую как блок хранения размещения, в дополнение к компонентам, описанным в первом варианте осуществления.

[0109] Фиг. 17 является пояснительной схемой, показывающей пример таблицы 385 позиций. Таблица 385 позиций представляет собой таблицу для определения медицинских устройств 500, визуальное распознавание блоков отображения которых для пользователей головных дисплеев 100a-100n затруднено. Таблица 385 позиций используется в процессе формирования информации для представления.

[0110] В таблице 385 позиций в этом варианте осуществления идентификатор, устройство 1, устройство 2, устройство 3, устройство 4 и устройство 5 сохранены совместно друг с другом. В поле "идентификаторе" хранятся уникальные идентификаторы для идентификации головных дисплеев 100, соединенных со вторым блоком 370 ввода/вывода. В полях "устройство 1" - "устройство 5" относительно головных дисплеев 100, идентифицированных идентификаторами, хранятся идентификаторы медицинских устройств 500, визуальное распознавание блоков отображения которых для пользователя затруднено.

[0111] В примере, показанном на фиг. 17, видно, что медицинскими устройствами 500, визуальное распознавание блоков отображения которых затруднено для пользователя головного дисплея 100, идентифицированного идентификатором "1", являются медицинское устройство 503 и медицинское устройство 50n (запись E01). Аналогичным образом, видно, что медицинскими устройствами 500, визуальное распознавание блоков отображения которых затруднено для пользователя головного дисплея 100, идентифицированного идентификатором "2", являются медицинское устройство 503, медицинское устройство 505 и медицинское устройство 50n (запись E021).

[0112] B-3. Конфигурация укрепляемого на голове устройства отображения

Схематическая конфигурация головного дисплея 100 во втором варианте осуществления совпадает со схематической конфигурацией в первом варианте осуществления, показанной на фиг. 5.

[0113] B-4. Процесс формирования информации для представления

Фиг. 18 является блок-схемой последовательности операций, показывающей процедуру процесса формирования информации для представления во втором варианте осуществления. Блок-схема последовательности операций во втором варианте осуществления отличается от блок-схемы последовательности операций в первом варианте осуществления, показанной на фиг. 6, тем, что блок-схема последовательности операций во втором варианте осуществления не включает в себя этап S100 и включает в себя этапы S200-S204 вместо этапов S104-S112. Другие этапы совпадают с этапами в первом варианте осуществления.

[0114] На этапе S200 процесса формирования информации для представления (фиг. 18) блок 361a определения блока 360a формирования обращается к i-ой записи таблицы 385 позиций. Блок 361a определения блока 360a формирования извлекает "идентификатор" головного дисплея 100, сохраненный в i-ой записи таблицы 385 позиций, и "устройства 1-5" (этап S202).

[0115] На этапе S204 блок 360a формирования формирует информацию PNi для представления, которая будет передана на головной дисплей 100i, с использованием информации медицинского устройства, извлеченной из медицинского устройства 500, имеющего идентификатор, извлеченный на этапе S202, то есть медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100i затруднено, среди информации медицинских устройств 501-50n, извлеченной первыми блоками 311-31n ввода/вывода. Способ формирования информации для представления совпадает со способом в первом варианте осуществления. Таким образом, объяснение способа опущено.

[0116] Как описано выше, с устройством 300a обработки информации во втором варианте осуществления блок 361a определения блока 360a формирования может автоматически определить медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100 затруднено, с использованием таблицы 385 позиций (блока хранения размещения), которая хранит информацию для определения медицинского устройства 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100 (устройства отображения изображения) затруднено. В частности, блок 361a определения может определить медицинское устройство 500, блок отображения которого не может или с трудом может быть визуально распознан пользователем, поскольку медицинское устройство 500 находится в слепой зоне пользователя. Блок 361a определения также может определить медицинское устройство 500, блок отображения которого не может или с трудом может быть визуально распознан пользователем, поскольку медицинское устройство 500 находится далеко от пользователя. Кроме того, блок 361a определения может определить медицинское устройство 500, которое не может или с трудом может быть визуально распознано пользователем, поскольку блок отображения не обращен к зрительной оси пользователя, хотя медицинское устройство 500 не находится в слепой зоне пользователя и находится рядом с пользователем. Блок 361a определения может извлечь информацию, необходимую при определении медицинского устройства 500, из таблицы 385 позиций, подготовленной заранее. Таким образом, даже когда медицинское устройство 500, соединенное с первым блоком 310 ввода/вывода устройства 300a обработки информации, и головной дисплей 100, соединенный со вторым блоком 370 ввода/вывода устройства 300a обработки информации, не включают в себя средства обнаружения для информации о позиции, блок 361a определения может определить медицинское устройство 500, визуальное распознавание блока отображения которого для пользователя головного дисплея 100 затруднено.

[0117] B-5. Дополнительная обработка

Следует отметить, что в процессе формирования информации для представления (фиг. 18) во втором варианте осуществления может быть исполнена такая же дополнительная обработка, как и дополнительная обработка в первом варианте осуществления, описанная в разделах "A-5-1. Дополнительная обработка 1"-"A-5-3. Дополнительная обработка 3".

[0118] C. Модификации

В вариантах осуществления часть компонентов, реализованных аппаратными средствами, может быть заменена программным обеспечением. С другой стороны, часть компонентов, реализованных программным обеспечением, может быть заменена аппаратными средствами. Кроме того, также возможны описанные ниже модификации.

[0119] Модификация 1

В вариантах осуществления проиллюстрирована конфигурация системы обработки информации. Однако конфигурация системы обработки информации может быть произвольно определена без отступления от сущности изобретения. Например, может быть выполнено дополнение, удаление, преобразование и т.п. устройств, формирующих систему обработки информации. Кроме того, может быть выполнено изменение сетевой конфигурации устройств, формирующих систему обработки информации.

[0120] Например, таблица управления устройства обработки информации, невидимая информация, запись операции и таблица позиций могут быть сохранены в базе OD данных, соединенной с больничной локальной сетью. База OD данных не ограничена обеспечением в больнице и может быть обеспечена на внешней стороне (например, в облачном сервере, обеспеченном вне больницы) через Интернет INT.

[0121] Модификация 2

В вариантах осуществления проиллюстрирована конфигурация устройства обработки информации. Однако конфигурация устройства обработки информации может быть произвольно определена без отступления от сущности изобретения. Например, может быть выполнено дополнение, удаление, преобразование и т.п. компонентов.

[0122] Например, устройство обработки информации может включать в себя различные устройства ввода, такие как сенсорная панель, кнопка ввода, клавиатура, мышь, микрофон и камера. Аналогичным образом, устройство обработки информации может включать в себя различные устройства вывода, такие как дисплей, индикатор и принтер, для вывода обычного журнала относительно операции.

[0123] Например, в вариантах осуществления функции в блоке формирования и втором блоке ввода/вывода (блоке обеспечения) описаны как реализованные центральным процессором, развертывающим компьютерную программу, сохраненную в постоянном запоминающем устройстве или на жестком диске, на оперативном запоминающем устройстве и исполняющим компьютерную программу. Однако эти функции могут быть реализованы с использованием специализированной интегральной схемы (ASIC), разработанной для реализации функций.

[0124] Например, устройство обработки информации включает в себя дисплей, блок получения текущей позиции, который извлекает информацию о позиции, и датчик направления. Тогда центральный процессор устройства обработки информации может быть выполнен с возможностью выполнить такую же обработку, как начальная обработка в процессе формирования информации для представления (фиг. 6) в первом варианте осуществления, с использованием информации о позиции и информации о направлении устройства обработки информации, определить медицинское устройство, визуальное распознавание блока отображения которого для пользователя устройства обработки информации затруднено, и дать команду дисплею устройства обработки информации отобразить информацию медицинского устройства, извлеченную из указанного медицинского устройства. Таким образом, пользователь, стоящий около устройства обработки информации, может проверить отображение, обеспечиваемое в устройстве обработки информации. Таким образом, возможно позволить сотруднику, даже не имеющему головной дисплей (устройство отображения изображения), в соответствии с изобретением, легко воспринимать информацию.

[0125] Например, устройство обработки информации включает в себя камеру, которая извлекает изображение внешней обстановки в направлении, в котором обращено устройство обработки информации. Тогда центральный процессор устройства обработки информации может быть выполненным с возможностью выполнить такую же обработку, как начальная обработка, с использованием процедур z1-z6 процесса формирования информации для представления (фиг. 6) в первом варианте осуществления, определить медицинское устройство, визуальное распознавание блока отображения которого для пользователя устройства обработки информации затруднено, и дать команду дисплею устройства обработки информации отобразить информацию медицинского устройства, извлеченную из указанного медицинского устройства. Таким образом, пользователь, стоящий около устройства обработки информации, может проверить отображение, обеспечиваемое в устройстве обработки информации. Таким образом, возможно позволить сотруднику, даже не имеющему головной дисплей (устройство отображения изображения), в соответствии с изобретением, легко воспринимать информацию.

[0126] Например, устройство обработки информации включает в себя дисплей. Идентификаторы медицинских устройств, визуальное распознавание блоков отображения которых для пользователя устройства обработки информации затруднено, сохранены в таблице позиций. Тогда центральный процессор устройства обработки информации может быть выполнен с возможностью выполнить такую же обработку, как начальная обработка в процессе формирования информации для представления (фиг. 18) во втором варианте осуществления, определить медицинское устройство, визуальное распознавание блока отображения которого для пользователя устройства обработки информации затруднено, и дать команду дисплею устройства обработки информации отобразить информацию медицинского устройства, извлеченную из указанного медицинского устройства. Таким образом, пользователь, стоящий около устройства обработки информации, может проверить отображение, обеспечиваемое в устройстве обработки информации. Таким образом, возможно позволить сотруднику, даже не имеющему головной дисплей (устройство отображения изображения), в соответствии с изобретением, легко воспринимать информацию.

[0127] Например, функция блока обеспечения при начальной обработке с использованием процедур z1-z6 процесса формирования информации для представления (фиг. 6) в первом варианте осуществления может быть реализована в головном дисплее. В этом случае после того, как медицинское устройство, визуальное распознавание блока отображения которого для пользователя затруднено, определено в головном дисплее, интерфейс (блок уведомления) головного дисплея сообщает устройству обработки информации идентификатор указанного медицинского устройства. Устройство обработки информации должно только сформировать информацию для представления в соответствии с такими же процедурами, как процедуры в первом варианте осуществления, с использованием информации медицинского устройства, извлеченной из медицинского устройства, имеющего сообщенный идентификатор. Таким образом, блок определения может быть обеспечен в головном дисплее. Таким образом, возможно уменьшить нагрузку по обработке в устройстве обработки информации.

[0128] Модификация 3

В вариантах осуществления проиллюстрирована конфигурация головного дисплея. Однако конфигурация головного дисплея может быть произвольно определена без отступления от сущности изобретения. Например, может быть выполнено дополнение, удаление, преобразование и т.п. компонентов. Например, блок управления и блок отображения изображения могут быть соединены через линию передачи радиосигнала, такую как беспроводная локальная сеть, инфракрасная связь или Bluetooth. Например, в качестве источника питания может быть применена первичная батарея, топливная батарея, солнечная батарея, тепловая батарея и т.п.

[0129] Распределение компонентов для блока управления и блока отображения изображения в варианте осуществления является только примером. Могут быть применены различные формы. Например, могут быть применены формы, описанные ниже. (i) Форма, в которой функция обработки, относящаяся к центральному процессору и памяти, установлена на блоке управления, а на блоке отображения изображения установлена только функция отображения. (ii) Форма, в которой функции обработки, относящиеся к центральному процессору и памяти, смонтированы на обоих из блока управления и блока отображения изображения. (iii) Форма, в которой блок управления и блок отображения изображения объединены (например, форма, в которой блок управления включен в блок отображения изображения и функционирует как носимый микрокомпьютер в виде очков). (iv) Форма, в которой смартфон или переносное игровое устройство используются вместо блока управления. (v) Форма, в которой блок управления и блок отображения изображения выполнены с возможностью взаимодействия по радиосвязи и беспроводного обеспечения электроэнергией, вследствие чего кабель отсутствует.

[0130] Например, блок получения входной информации может извлечь операционный ввод от пользователя с использованием различных способов, отличающихся от способа, проиллюстрированного в вариантах осуществления. Например, блок получения входной информации может извлечь операционный ввод педального переключателя (переключателя, управляемого ногой пользователя). Например, блок обнаружения зрительной оси, такой как инфракрасный датчик, может быть обеспечен в блоке отображения изображения для обнаружения зрительной оси пользователя и извлекать операционный ввод посредством команды, связанной с перемещением зрительной оси. Например, камера может использоваться для обнаружения жеста пользователя и извлекать операционный ввод посредством команды, связанной с жестом. При обнаружении жеста кончик пальца пользователя, кольцо, надетое на палец пользователя, медицинский инструмент, удерживаемый пользователем, и т.п. могут быть установлены в качестве метки обнаружения перемещения. Если операционный ввод посредством педального переключателя или зрительной оси может быть извлечен, блок получения входной информации может легко извлечь операционный ввод от пользователя даже в медицинском помещении, где пользователю трудно высвободить кисть руки из укрепляемого на голове устройства отображения.

[0131] Например, в вариантах осуществления головной дисплей является пропускающим головным дисплеем бинокулярного типа. Однако головной дисплей может представлять собой головной дисплей монокулярного типа. Головной дисплей может быть выполнен как не пропускающий головной дисплей, в котором пропускание внешней обстановки блокируется в состоянии, в котором пользователь носит головной дисплей. В вариантах осуществления головной дисплей является головным дисплеем, блок отображения изображения которого носят как очки. Однако головной дисплей может представлять собой головной дисплей, который применяет блок отображения изображения, имеющий другую форму, такую как блок отображения изображения в виде головного убора. В качестве наушников могут быть применены наушники с заушным креплением или наушники с оголовьем. Наушники могут не использоваться. Кроме того, например, головной дисплей может быть выполнен как дисплей на лобовом стекле (HUD), смонтированный на транспортных средствах, таких как автомобиль и самолет. Кроме того, головной дисплей может быть выполнен как головной дисплей, встроенный в средство индивидуальной защиты, такое как шлем.

[0132] Фиг. 19А и 19B являются пояснительными схемами, показывающими конфигурацию внешнего вида головного дисплея в модификации. В случае примера, показанного на фиг. 19А, блок 20a отображения изображения включает в себя правый блок 26a отображения оптического изображения вместо правого блока 26 отображения оптического изображения и включает в себя левый блок 28a отображения оптического изображения вместо левого блока 28 отображения оптического изображения. Правый блок 26a отображения оптического изображения сформирован меньшим по размеру, чем оптический элемент в первом варианте осуществления, и размещен наклонно выше правого глаза пользователя, когда пользователь носит головной дисплей. Аналогичным образом, левый блок 28a отображения оптического изображения сформирован меньшим по размеру, чем оптический элемент в первом варианте осуществления, и размещен наклонно выше левого глаза пользователя, когда пользователь носит головной дисплей. В случае примера, показанного на фиг. 19B, блок 20b отображения изображения включает в себя правый блок 26b отображения оптического изображения вместо правого блока 26 отображения оптического изображения и включает в себя левый блок 28b отображения оптического изображения вместо левого блока 28 отображения оптического изображения. Правый блок 26b отображения оптического изображения сформирован меньшим по размеру, чем оптический элемент в первом варианте осуществления, и размещен наклонно ниже правого глаза пользователя, когда пользователь носит головной дисплей. Левый блок 28b отображения оптического изображения сформирован меньшим по размеру, чем оптический элемент в первом варианте осуществления, и размещен наклонно ниже левого глаза пользователя, когда пользователь носит головной дисплей. Таким образом, блоки отображения оптического изображения должны быть только размещены около глаз пользователя. Размер оптических элементов, формирующих оптический блок отображения изображения, является произвольным. Головной дисплей также может быть реализован как головной дисплей, в котором блоки отображения оптического изображения покрывают только часть глаз пользователя, другими словами, блоки отображения оптического изображения не полностью покрывают глаза пользователя.

[0133] Например, в вариантах осуществления блок приведения в действие дисплея включает в себя подсветку, блок управления подсветкой, LCD, блок управления LCD и проекционную оптическую систему. Однако эта форма является только примером. В дополнение или вместо этих компонентов блок приведения в действие дисплея может включать в себя компоненты для реализации других систем. Например, блок приведения в действие дисплея может излучать свет изображения с использованием системы переднего освещения или системы отражения. Например, блок приведения в действие дисплея может включить в себя органический электролюминесцентный (EL) дисплей, блок управления органическим EL дисплеем и проекционную оптическую систему. Например, блок приведения в действие дисплея также может включать в себя цифровое микрозеркальное устройство и т.п. вместо LCD. Например, также возможно применить изобретение к укрепляемому на голове устройству отображения с лазерной проекцией сетчатки.

[0134] Модификация 4

В варианте осуществления описан пример процесса формирования информации для представления. Однако процедура процесса формирования информации для представления является только примером. Возможны различные модификации процедуры. Например, часть этапов может быть опущена или другие этапы могут быть добавлены. Порядок этапов, которые будут исполняться, может быть изменен.

[0135] При начальной обработке в процессе формирования информации для представления в первом варианте осуществления (фиг. 6) медицинское устройство, визуальное распознавание блока отображения которого для пользователя головного дисплея затруднено, определяется с использованием информации о текущей позиции, информации о направлении головного дисплея и информации о позиции медицинских устройств. Однако медицинское устройство, визуальное распознавание блока отображения которого для пользователя головного дисплея затруднено, может быть определено посредством объединения движений (скорости, ускорения, угловой скорости, направления и изменения в направлении) головы пользователя, полученных девятиосным датчиком головного дисплея.

[0136] Например, начальная обработка последовательно выполняется с использованием переменной i относительно множества головных дисплеев, соединенных со вторым блоком ввода/вывода. Однако начальная обработка, описанная в отношении фиг. 6 и 18, может быть исполнена параллельно относительно множества головных дисплеев, соединенных со вторым блоком ввода/вывода.

[0137] Например, в качестве невидимой информации, описанной в вариантах осуществления, подразумевается двухмерное изображение. Однако устройство, способное фотографировать трехмерное невидимое изображение, может быть соединено в качестве медицинского устройства. Невидимая информация, хранящаяся во внешнем устройстве хранения, может представлять собой трехмерную модель, созданную из множества изображений, полученных с использованием устройства получения изображения. В случае использования трехмерной невидимой информации блок формирования выполняет визуализацию трехмерной модели перед формированием информации для представления. Блок формирования формирует информацию для представления с использованием изображения после визуализации. Таким образом, возможно визуально распознавать информацию, не появляющуюся во внешнем виде целевого объекта, с различных направлений.

[0138] Например, головной дисплей, который принимает информацию для представления, может увеличить или уменьшить размер отображения изображения, включенного в информацию для представления, отображаемую как виртуальное изображение VI. Аналогичным образом, головной дисплей может скрыть изображение, включенное в информацию для представления, в соответствии с запросом пользователя. Головной дисплей может применить преобразование цветов к изображению, включенному в информацию для представления. Если звуковой ввод через микрофон применяется в качестве способа ввода запроса от пользователя, возможно значительно увеличить удобство для пользователя, когда головной дисплей используется в медицинском помещении, где пользователю сложно управлять головным дисплеем с использованием рук.

[0139] Например, любая обработка из начальной обработки и индивидуальной обработки в процессе формирования информации для представления может быть опущена. Начальная обработка не обязательно должна исполняться сразу после того, как начат процесс формирования информации для представления. Обработка, аналогичная начальной обработке, может быть исполнена при необходимости в соответствии с запросом от пользователя или других приложений.

[0140] Модификация 5

В вариантах осуществления описаны примеры общей видеоспецификации, таблицы управления и таблицы позиций. Однако подробности общей видеоспецификации, таблицы управления и таблицы позиций являются только примером. Возможны различные изменения. Например, может быть выполнено дополнение, удаление и изменение полей (элементов). Таблица управления и таблица позиций могут быть разделены на множество таблиц и нормализованы.

[0141] Например, в таблице управления образцы голоса пользователей головных дисплеев могут быть сохранены вместо идентификаторов для идентификации головных дисплеев или вместе с идентификаторами. Таким образом, устройство обработки информации на основе образца голоса пользователя, извлеченного через микрофон, может извлечь роль и видеоспецификацию головного дисплея, используемого пользователем, и исполнить процесс формирования информации для представления.

[0142] Например, в таблице управления информация, используемая для связи между головными дисплеями и устройством обработки информации (например, IP-адреса, MAC-адреса и ключи шифрования головных дисплеев), может храниться совместно с идентификаторами головных дисплеев. В таблице управления могут быть сохранены сами фактические видеоспецификации (т.е., такие же элементы, как элементы, хранящиеся в общей видеоспецификации), применяемые в головных дисплеях, вместо "видеоспецификации", представляющей шаблоны технических требований видеосигналов.

[0143] Например, в таблице позиций идентификаторы максимум пяти устройств, визуальное распознавание блоков отображения которых для пользователей головных дисплеев затруднено, могут быть сохранены совместно с идентификаторами головных дисплеев. Однако в таблицу позиций может быть включено любое количество полей "устройств".

[0144] Модификация 6

Изобретение не ограничено описанными выше вариантами осуществления, примерами и модификациями и может быть реализовано в различных конфигурациях без отступления от сущности изобретения. Например, технические функции в вариантах осуществления, примерах и модификациях, соответствующие техническим признакам в аспектах, описанных в сущности изобретения, могут быть соответствующим образом заменены или комбинированы, чтобы решить часть описанных выше проблем или все описанные выше проблемы или достигнуть части или всех описанных выше эффектов. Если технические признаки не описаны как существенные признаки в этой спецификации, технические признаки могут быть соответствующим образом удалены.

Список ссылочных позиций

[0145] 10 Блок управления

20 Блок отображения изображения

22 Блок приведения в действие правого дисплея

24 Блок приведения в действие левого дисплея

26 Правый блок отображения оптического изображения

28 Левый блок отображения оптического изображения

32 Правый наушник

34 Левый наушник

40 Кабель

51 Передающий блок

52 Передающий блок

53 Принимающий блок

54 Принимающий блок

61 Камера (блок получения изображения)

110 Блок получения входной информации

100 Головной дисплей (устройство отображения изображения, укрепляемое на голове устройство отображения)

120 Блок хранения

130 Источник питания

140 Центральный процессор (ЦП)

160 Блок обработки изображений

170 Блок обработки звука

180 Интерфейс (блок уведомления)

190 Блок управления отображением

201 Блок управления правой подсветкой

202 Блок управления левой подсветкой

211 Блок управления правым LCD

212 Блок управления левым LCD

221 Правая подсветка

222 Левая подсветка

241 Правый LCD

242 Левый LCD

251 Правая проекционная оптическая система

252 Левая проекционная оптическая система

261 Правая пластина световода

262 Левая пластина световода

300 Устройство обработки информации

310 Первый блок ввода/вывода

311-31n Первые блоки ввода/вывода (блоки сбора данных)

320 Постоянное запоминающее устройство (ПЗУ)

330 Оперативное запоминающее устройство (ОЗУ)

340 Интерфейс связи

350 Центральный процессор (ЦП)

360 Блок формирования

361 Блок определения

370 Второй блок ввода/вывода

371-37n Вторые блоки ввода/вывода (блоки обеспечения)

380 Внешнее устройство хранения

381 Общая видеоспецификация

382 Таблица управления

383 Невидимая информация (блок хранения невидимой информации)

384 Запись операции

385 Таблица позиций (блок хранения размещения)

500 Медицинское устройство

501-50n Медицинские устройства

700 Дисплей

1000 Система обработки информации

OA Внешнее устройство

PC Персональный компьютер

OD База данных

VI Виртуальное изображение

PN Информация для представления

VR Поле зрения

PR Доктор

MP1 Позиция

UP1 Текущая позиция

CP1 Информация медицинского устройства.

Устройство обработки информации включает в себя блок сбора данных, который получает множество видов информации медицинских устройств, которые представляют собой информацию, полученную от множества медицинских устройств, блок формирования, который формирует информацию для представления, включающую в себя, по меньшей мере, часть из множества видов информации медицинских устройств, полученных блоком сбора данных, и блок представления, который выводит сформированную информацию для представления устройству отображения изображения, которое отображает изображение. Блок формирования формирует информацию для представления, включающую в себя, по меньшей мере, информацию медицинского устройства, полученную медицинским устройством, визуальное распознавание блока отображения которого для пользователя устройства отображения изображения затруднено. 4 н. и 6 з.п. ф-лы, 23 ил.

1. Устройство (300) обработки информации, содержащее:

блок (310) сбора данных, выполненный с возможностью получать множество видов информации медицинских устройств, которые представляют собой информацию, полученную из множества медицинских устройств (501-50n);

блок (360) формирования, выполненный с возможностью формировать информацию для представления, включающую в себя, по меньшей мере, часть из множества видов информации медицинских устройств, полученных блоком (310) сбора данных; и

блок (370) представления, выполненный с возможностью выводить сформированную информацию для представления устройству (1000) отображения изображения, которое отображает изображение, причем блок (360) формирования выполнен с возможностью формировать информацию для представления, включающую в себя, по меньшей мере, информацию медицинского устройства, полученную определенным медицинским устройством из множества медицинских устройств (501-50n);

при этом блок (370) представления выполнен с дополнительной возможностью получать изображение в направлении поля зрения пользователя устройства (1000) отображения изображения, и

устройство (300) обработки информации дополнительно содержит блок (361) определения, выполненный с возможностью осуществлять распознавание полученного изображения в направлении поля зрения и определять медицинское устройство, блок отображения которого не включен в изображение в направлении поля зрения, как упомянутое определенное медицинское устройство.

2. Устройство (300) обработки информации по п. 1, дополнительно содержащее блок (380) хранения невидимой информации, выполненный с возможностью хранить невидимую информацию (383), которая представляет собой информацию, не появляющуюся во внешнем виде объекта, причем

невидимая информация (383) представляет собой одно из следующего: изображение CT, изображение MRI, рентгеновское изображение, флуороскопическое изображение, ультразвуковое диагностическое изображение, эндоскопическое изображение и термографическое изображение организма; и

блок (360) формирования выполнен с возможностью включать невидимую информацию (383) в информацию для представления, которая должна быть сформирована.

3. Устройство (300) обработки информации по п. 1, в котором

по меньшей мере одно медицинское устройство для получения невидимой информации (383), которая представляет собой информацию, не появляющуюся во внешнем виде объекта, соединено с устройством (300) обработки информации, причем

невидимая информация (383) представляет собой одно из следующего: изображение CT, изображение MRI, рентгеновское изображение, флуороскопическое изображение, ультразвуковое диагностическое изображение, эндоскопическое изображение и термографическое изображение организма; и блок (360) формирования выполнен с возможностью включать в информацию для представления, которая должна быть сформирована, информацию медицинского устройства, полученную медицинским устройством для получения невидимой информации (383).

4. Устройство (300) обработки информации по п. 1, в котором

по меньшей мере одно медицинское устройство для получения изображения процедуры терапии пациента соединено с устройством (300) обработки информации, и

блок (360) формирования выполнен с возможностью включать в информацию для представления, которая должна быть сформирована, информацию медицинского устройства, полученную медицинским устройством для получения изображения процедуры терапии.

5. Устройство (300) обработки информации по п. 1, в котором блок (360) формирования выполнен с возможностью, при формировании информации для представления, увеличивать или уменьшать изображение, включенное в информацию медицинского устройства, сохраняя при этом соотношение сторон изображения.

6. Устройство (300) обработки информации по п. 1, в котором укрепляемое на голове устройство (100) отображения, с использованием которого пользователь может одновременно визуально распознавать виртуальное изображение и внешнюю обстановку, соединено с устройством (300) обработки информации в качестве устройства (1000) отображения изображения.

7. Устройство (300) обработки информации по п. 6, в котором блок (370) представления выполнен с возможностью дополнительно получать из укрепляемого на голове устройства (100) отображения изображение в направлении поля зрения пользователя в состоянии, в котором носят укрепляемое на голове устройство (100) отображения, выполнять распознавание полученного изображения в направлении поля зрения, чтобы извлечь характеристику объекта, включенного во внешнюю обстановку, корректировать на основе извлеченной характеристики информацию для представления, сформированную блоком (360) формирования, и выводить информацию для представления после коррекции.

8. Способ обработки информации, содержащий этапы, на которых:

получают (S100) множество видов информации медицинских устройств, которые представляют собой информацию, полученную из множества медицинских устройств (501-50n);

формируют (S112) информации для представления, включающую в себя, по меньшей мере, часть из полученного множества видов информации медицинских устройств; и

выводят (S114) сформированную информацию для представления устройству (1000) отображения изображения, которое отображает изображение, причем

на этапе формирования информации для представления формируют информацию для представления, включающую в себя, по меньшей мере, информацию медицинского устройства, полученную определенным медицинским устройством из множества медицинских устройств (501-50n);

при этом способ дополнительно содержит этапы, на которых:

получают изображение в направлении поля зрения пользователя устройства (1000) отображения изображения; и

осуществляют распознавание полученного изображения в направлении поля зрения; и

определяют медицинское устройство, блок отображения которого не включен в изображение в направлении поля зрения, как упомянутое определенное медицинское устройство.

9. Система обработки информации, содержащая:

множество медицинских устройств (501-50n);

устройство (300) обработки информации; и

укрепляемое на голове устройство (100) отображения, с использованием которого пользователь может одновременно визуально распознавать виртуальное изображение и внешнюю обстановку, причем

устройство (300) обработки информации включает в себя:

блок (310) сбора данных, выполненный с возможностью получать множество видов информации медицинских устройств, которые представляют собой информацию, полученную из множества медицинских устройств (501-50n);

блок (360) формирования, выполненный с возможностью формировать информацию для представления, включающую в себя, по меньшей мере, часть из множества видов информации медицинских устройств, полученных блоком (310) сбора данных; и

блок (370) представления, выполненный с возможностью выводить сформированную информацию для представления укрепляемому на голове устройству (100) отображения,

при этом укрепляемое на голове устройство (100) отображения включает в себя:

блок (110) получения информации для представления, выполненный с возможностью получать информацию для представления из устройства (300) обработки информации; и

блок (20) отображения изображения, выполненный с возможностью позволять пользователю укрепляемого на голове устройства (100) отображения визуально распознавать полученную информацию для представления как виртуальное изображение, при этом

блок (360) формирования устройства (300) обработки информации выполнен с возможностью формировать информацию для представления, включающую в себя, по меньшей мере, информацию медицинского устройства, полученную определенным медицинским устройством из множества медицинских устройств (501-50n),

блок (370) представления устройства (300) обработки информации выполнен с возможностью дополнительно получать изображение в направлении поля зрения пользователя устройства (1000) отображения изображения, и

устройство (300) обработки информации дополнительно содержит блок (361) определения, выполненный с возможностью осуществлять распознавание полученного изображения в направлении поля зрения и определять медицинское устройство, блок отображения которого не включен в изображение в направлении поля зрения, как упомянутое определенное медицинское устройство.

10. Укрепляемое на голове устройство (100) отображения, которое соединено с устройством (300) обработки информации по п. 1, и с использованием которого пользователь может одновременно визуально распознавать виртуальное изображение и внешнюю обстановку, при этом укрепляемое на голове устройство (100) отображения содержит:

блок (61) получения изображения, который выполнен с возможностью получать изображение в направлении поля зрения пользователя в состоянии, в котором носят укрепляемое на голове устройство (100) отображения;

блок определения, который выполнен с возможностью осуществлять распознавание полученного изображения в направлении поля зрения и определять медицинское устройство, блок отображения которого не включен в изображение в направлении поля зрения, как определенное медицинское устройство;

блок уведомления, который выполнен с возможностью сообщать устройству (300) обработки информации об определенном медицинском устройстве;

блок (110) получения информации для представления, который выполнен с возможностью получать информацию для представления из устройства (300) обработки информации; и

блок (20) отображения изображения, который выполнен с возможностью позволять пользователю визуально распознавать полученную информацию для представления как виртуальное изображение.