УСТРОЙСТВО И СПОСОБ ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ, МОБИЛЬНОЕ УСТРОЙСТВО, СИСТЕМА ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ И КОМПЬЮТЕРНАЯ ПРОГРАММА Российский патент 2018 года по МПК G09G5/36 G09G5/38 H04N5/228 

Область техники, к которой относится изобретение

Технология, раскрытая в данном описании, относится к устройству отображения изображения, которое установлено на голове или на лице пользователя и используется для просмотра изображения, способу отображения изображения, мобильному устройству, которое снимает изображения, просматриваемые во время движения, к системе отображения изображения и компьютерной программе. Более конкретно, технология относится к устройству отображения изображения, способу отображения изображения, мобильному устройству, системе отображения изображения и компьютерной программе, которые используются для просмотра изображения, снятого внешней камерой, такому как изображение "всего неба", изображение типа "рыбий глаз" и панорамное изображение.

Уровень техники

Хорошо известны устройство отображения изображения или дисплей, устанавливаемый на голове, которые устанавливают на голове или лице, и используется для просмотра изображения. В дисплее, устанавливаемом на голове, модуль дисплея предусмотрен для каждого из правого и левого глаза, и увеличенное виртуальное изображение отображаемого изображения формируется оптической системой виртуального изображения таким образом, что пользователь может просматривать изображение с ощущением реальности. Если дисплей, устанавливаемый на голове, разработан так, что он полностью блокирует внешний мир при установке на голове пользователя, ощущение погружения во время просмотра улучшается. Дисплей, устанавливаемый на голове, также может отображать разные изображения для правого и левого глаз, и может представлять 3-D изображение для отображения изображения с параллаксом для правого и левого глаз.

При использовании дисплея, устанавливаемого на голове, можно просматривать широкоугольное изображение. Например, описан дисплей, устанавливаемый на голове, в котором можно наслаждаться изображением пространства шириной 360°, которое следует движению головы пользователя, на которой гиродатчик закреплен на его/ее голове (например, см. Патентный документ 1 и Патентный документ 2). Область отображения перемещается в соответствии со смещением при движении головы, детектируемым гиродатчиком. Таким образом, может быть представлено изображение, которое следует движению головы пользователя.

Кроме того, существует заявка, разработанная для обеспечения для пользователя возможности просмотра прямого изображения, снятого внешней камерой, с использованием дисплея, установленного на голове. Например, существует раскрытие, в котором система дисплея изображения, в которой изображение, фактически снятое устройством формирования изображения, установленным на другом перемещающемся объекте, а не на голове человека, таком как радиоуправляемая модель, отображается на устройстве дисплея, надетом на пользователя (см., например, Патентный документ 3).

Также известна технология FPV (обзор со стороны первого лица), обеспечивающая для пользователя возможность управления радиоуправляемой моделью вертолета и т.п., при просмотре изображения с точки обзора первого лица (точка обзора пилота), снятого беспроводной камерой, установленной на радиоуправляемой модели.

Например, существует раскрытие воздушной системы формирования изображений, в которой всенаправленная камера, которая снимает окружающие изображения, и лазерный измеритель расстояния, который измеряет высоту всенаправленной камеры от земли, устанавливают на вертолете малого размера, высота полета и скорость полета которого управляется устройством управления полетом, и формирование изображений аэрофотосъемки выполняется с использованием всенаправленной камеры на заданной высоте, на основе высоты, измеряемой лазерным измерителем расстояния (см., например, Патентный документ 4). Изображения, снятые всенаправленной камерой, могут быть переданы во внешний компьютер через сеть передачи данных.

Далее, существует раскрытие сетевой системы, в которой радиоуправляемая модель автомобиля, оборудованная трехмерной стереокамерой, работающей на среднем и большом расстоянии, и трехмерная стереокамера, работающая на и малом расстоянии, передают трехмерное комбинированное изображение, и трехмерное комбинированное изображение отображается на стороне контроллера (см., например, Патентный документ 5).

Кроме того, существует раскрытие сетевой системы, которая принимает, на стороне контроллера, изображение, генерируемое устройством модели, снимающим изображения сцены спереди, и информацию о местоположении и ориентации устройства модели и генерирует, и отображает виртуальное изображение, в соответствии с местоположением и ориентацией (см., например, Патентный документ 6).

Список литературы

Патентные документы

Патентный документ 1: JP 9-106322 А

Патентный документ 2: JP 2010-256534 А

Патентный документ 3: JP 2008-147865 А, абзацы [0024]-[0026]

Патентный документ 4: JP 2011-183824 А

Патентный документ 5: JP 2012-151800 А

Патентный документ 6: JP 2012-143447 А

Раскрытие изобретения

Задачи, решаемые изобретением

Технология, раскрытая в данном описании, направлена на предоставление устройства отображения изображения, способ отображения изображения, мобильное устройство, систему отображения изображения и компьютерную программу, которые являются прекрасными и могут использоваться при просмотре изображения, снятого внешней камерой, такой как изображение "всего неба", изображение типа рыбий глаз, или панорамное изображение.

Технология, раскрытая в данном описании, дополнительно направлена на предоставление отличного устройства отображения изображения, выполненного с возможностью соответствующим образом отображать изображения из точки обзора первого лица, снятого камерой, установленной на мобильном устройстве, таком как радиоуправляемая модель, и также предоставлять способ отображения изображения, мобильное устройство, систему отображения изображения и компьютерную программу.

Решение задачи

Данная заявка выполнена с учетом изложенных выше задач, и технология, раскрытая в пункте 1 формулы изобретения, направлена на устройство отображения изображения, которое включает в себя:

модуль дисплея, устанавливаемый на голове пользователя;

модуль детектирования положения, который детектирует положение головы; и

модуль управления отображением, который управляет отображением изображения модуля дисплея на основе положения головы, изображение снимают с помощью мобильного устройства.

В соответствии с технологией, раскрытой в пункте 2 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 вырезает область, соответствующую положению головы, из широкоугольного изображения, снятого мобильным устройством, и отображает вырезанную область в модуле дисплея.

В соответствии с технологией, раскрытой в пункте 3 данной заявки, когда отображают множество изображений точки обзора, снятых из множества точек обзора, используя способ параллельного глубокого фокусирования, модуль управления отображением устройства отображения изображения по п. 1 регулирует точку схождения между изображениями точки обзора на основе скорости движения движущегося объекта.

В соответствии с технологией, раскрытой в пункте 4 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 отображает изображение с расстоянием между точками обзора, которое соответствует операции изменения масштаба изображения в модуле дисплея.

В соответствии с технологией, раскрытой в пункте 5 данной заявки, устройство отображения изображения по п. 1 смещает направление линии обзора модуля камеры мобильного устройства, по меньшей мере, в одном из направлений, таком как направление панорамной съемки, наклон и качание в стороны относительно положения головы.

В соответствии с технологией, раскрытой в пункте 6 данной заявки, устройство отображения изображения по п. 1 дополнительно включает в себя

модуль обратной связи для ощущения операций, который передает по каналу обратной связи ощущение операции пользователю через тактильное ощущение или вибрацию,

в котором обратная связь для пользователя основана на ускорении, которому подвергается мобильное устройство при движении.

В соответствии с технологией, раскрытой в пункте 7 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 накладывает AR изображение на изображение реального мира, снятое мобильным устройством, перед отображением изображения.

В соответствии с технологией, раскрытой в пункте 8 данной заявки, модуль управления отображением устройства отображения изображения по п. 7 отображает AR изображение, соответствующее, по меньшей мере, одному из текущего местоположения мобильного устройства, объекта, включенного в снятое изображении, и состояния мобильного устройства.

В соответствии с технологией, раскрытой в пункте 9 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 отображает информацию о местоположении вокруг мобильного устройства и пользователя.

В соответствии с технологией, раскрытой в пункте 10 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 дополнительно отображает изображение, снятое автоматическим следящим средством, которое снимает изображение при отслеживании мобильного устройства.

В соответствии с технологией, раскрытой в пункте 11 данной заявки, устройство отображения изображения по п. 1 дополнительно включает в себя модуль получения изображения линии собственного обзора, который получает изображение линии собственного обзора, которое можно видеть на линии обзора пользователя. Модуль управления отображением переключает изображение, отображаемое между изображением движущегося объекта на линии собственного обзора, снятым мобильным устройством, и изображением линии собственного обзора.

В соответствии с технологией, раскрытой в пункте 12 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 переключает изображение между изображениями, снятыми из множества положений точек обзора мобильного устройства, в соответствии с положением головы.

В соответствии с технологией, раскрытой в п. 13 данной заявки, модуль управления отображением устройства отображения изображения по п. 1, корректирует сотрясения в движущемся изображении, снятом мобильным устройством, перед отображением движущегося изображения.

Технология, раскрытая в пункте 14 данной заявки, представляет собой способ отображения изображения, который включает в себя:

этап детектирования положения, состоящий в детектировании положения головы пользователя; и

этап управления отображением изображения на основе положения головы, изображение снимают мобильным устройством.

Технология, раскрытая в пункте 15 данной заявки, представляет собой систему отображения изображения, которая включает в себя:

мобильное устройство, которое снимает изображение во время движения; и

устройство отображения изображения, которое отображает изображение, снятое мобильным устройством, в соответствии с положением головы пользователя.

Следует отметить, что термин "система" означает логическую сборку устройств (или функциональных модулей, которые реализуют определенные функции), и соответствующие устройства или функциональные модули не обязательно расположены в одном корпусе.

Технология, раскрытая в пункте 16 данной заявки, направлена на мобильное устройство, которое включает в себя:

модуль камеры;

платформу камеры, которая управляет направлением линии обзора модуля камеры;

модуль движения, который перемещает устройство; и

модуль передачи данных, который передает данные, включающие в себя изображение, снятое модулем камеры,

в котором модуль камеры включает в себя множество камер, которые выполняют формирование изображений, используя способ параллельного глубокого фокусирования камеры, имеющей разные точки обзора.

В соответствии с технологией, раскрытой в пункте 17 данной заявки, мобильное устройство по п. 16 снимает изображение "всего неба", изменяя расстояние между точками обзора между камерами с разными точками обзора.

В соответствии с технологией, раскрытой в пункте 18 данной заявки, мобильное устройство по п. 16 экстраполирует изображения за пределами точек обзора камер из изображений, снятых камерами с разными точками обзора при фиксированном расстоянии между точками обзора.

Технология, раскрытая в пункте 19 данной заявки, направлена на компьютерную программу, записанную в формате, считываемом компьютером,

компьютерная программа, обеспечивающая выполнение компьютером следующих функций:

модуля детектирования положения, который детектирует положение головы пользователя; и

модуля управления отображением, который управляет отображением изображения на основе положения головы, изображение, снимаемое мобильным устройством.

Компьютерная программа по п. 19 данной заявки определяет компьютерную программу, записанную в формате, считываемом компьютером, таким образом, чтобы реализовать заданную обработку в компьютере. Другими словами, при установке компьютерной программы, в соответствии п. 19 данной заявки, в компьютер, реализуются совместные действия в компьютере, и могут быть достигнуты те же эффекты, как и в устройстве отображения изображения по п., 1 данной заявки.

Результаты изобретения

Технология, раскрытая в данном описании, обеспечивает превосходное устройство отображения изображения, которое может представлять изображение с реальными ощущениями при отображении изображения из точки обзора первого лица, снятого камерой, установленной в мобильном устройстве, таком как радиоуправляемая модель, на экране, помещенном перед глазами пользователя, и также обеспечивает способ отображения изображения, систему отображения изображения, мобильное устройство и компьютерную программу.

Другие цели, свойства и преимущества технологии, раскрытой в данном описании, будут понятны из вариантов осуществления, описанных ниже, и подробного описания со ссылкой на приложенные чертежи.

Краткое описание чертежей

На фиг. 1 показана схема, схематично представляющая конфигурацию системы 100 отображения изображения, в соответствии с вариантом осуществления технологии, раскрытой в данном описании.

На фиг. 2 показан вид спереди пользователя, на которого надет дисплей 110, устанавливаемый на голове.

На фиг. 3 показан вид сверху пользователя, на которого надет дисплей 110, устанавливаемый на голове, показанный на фиг. 2.

На фиг. 4 показана схема, представляющая пример внутренней структуры дисплея 110, устанавливаемого на голове.

На фиг. 5 показана схема, представляющая систему координат в положении тела, детектируемом модулем 404 детектирования положения /местоположения.

На фиг. 6 показана схема, представляющая пример внутренней структуры мобильного устройства 120.

На фиг. 7 показана схема, схематично представляющая функциональную структуру модуля 401 управления для отображения изображения, снятого на стороне мобильного устройства 120 с дисплеем 110, устанавливаемым на голове.

На фиг. 8А показана схема, представляющая ситуацию, где модуль камеры 605 установлен так, чтобы платформа камеры 606 могла управлять линией визирования в соответствующих направлениях качания в стороны, наклона и панорамной съемки.

На фиг. 8В показана схема, представляющая ситуацию, где расстояние между камерой для левого глаза и камерой для правого глаза, которые составляют стереокамеру, является переменным.

На фиг. 8С показана схема, представляющая ситуацию, где основная камера 801 установлена на основной раме мобильного устройства 120-2, такого как автомобиль, и вторичная камера 802 установлена позади основной камеры 801.

На фиг. 9 показана схема, представляющая ситуацию, когда местоположение и положение поля отображения, отображенного на панели дисплея 409, перемещаются в соответствии с движением головы пользователя.

На фиг. 10 показана схема, представляющая пример последовательности операций для отображения широкоугольного изображения, такого как изображение всего неба, снятого на стороне мобильного устройства 120, широкоугольное изображение выполнено с возможностью следовать за положением головы пользователя на стороне дисплея 110, устанавливаемого на голове.

На фиг. 11 показана схема, представляющая модификацию последовательности операций для отображения широкоугольного изображения, такого как изображение всего неба, снятого на стороне мобильного устройства 120, широкоугольное изображение выполнено с возможностью следовать за положением головы пользователя на стороне дисплея 110, устанавливаемого на голове.

На фиг. 12А показана схема для пояснения способа управления точкой сходимости, когда трехмерное снятое изображение отображается на стороне дисплея 110, устанавливаемого на голове, на основании информации скорости мобильного устройства 120.

На фиг. 12В показана схема для пояснения способа управления точкой сходимости, когда трехмерное снятое изображение отображается на стороне дисплея 110, устанавливаемого на голове, на основании информации скорости мобильного устройства 120.

На фиг. 12С показана схема для пояснения способа управления точкой сходимости, когда трехмерное снятое изображение отображается на стороне дисплея 110, устанавливаемого на голове, на основании информации скорости мобильного устройства 120.

На фиг. 13А показана схема для пояснения способа съемки трехмерного изображения, с изменением расстояния d между точками обзора, в соответствии с операцией изменения масштаба изображения.

На фиг. 13В показана схема для пояснения способа съемки трехмерного изображения, с изменением расстояния d между точками обзора, в соответствии с операцией изменения масштаба изображения.

На фиг. 14 показана схема, представляющая ситуацию, когда голова наклоняется вверх, и модуль камеры 605 смонтированный на мобильном устройстве 120-2 также наклоняется вверх.

На фиг. 15 показана схема, представляющая ситуацию, когда ось наклона модуля камеры 605, установленного на мобильном устройстве 120-2, фиксируют в положении, которое повернуто вверх на Δθ_у от оси наклона головы пользователя.

На фиг. 16 показана схема, представляющая ситуацию, когда система координат модуля камеры 605 смещается в соответствующих направлениях панорамной съемки, наклона и качания в стороны относительно системы координат головы пользователя.

На фиг. 17 показана схема, представляющая ситуацию, когда информация о местоположении пользователя отображается, как меньший экран в экране, отображающем изображение, снятое мобильным устройством 120.

На фиг. 18 показана схема, представляющая ситуацию, когда информация о местоположении пользователя отображается на большом экране, и снятое изображение отображается на меньшем экране.

На фиг. 19 показана схема, представляющая пример отображения информации о местоположении пользователя.

На фиг. 20 показана схема, представляющая пример отображения информации о местоположении пользователя.

На фиг. 21 показана схема, представляющая ситуацию, когда автоматическое следящее устройство 2100, оборудованное камерой 2101, отслеживает заднюю часть мобильного устройства 120-1, выполняющего полет в воздухе.

На фиг. 22 показана схема, представляющая пример изображения мобильного устройства 120-1 снятого сзади камерой 2101 автоматического следящего устройства 2100.

На фиг. 23 показана схема, представляющая пример изображения линии обзора автомобиля, снятого мобильным устройством 120-2, таким как автомобиль.

На фиг. 24 показана схема, представляющая пример ситуации, когда пользователь, на которого надет дисплей 110, устанавливаемый на голове, следит за движущимся мобильным устройством 120-3 своими глазами.

На фиг. 25 показана схема, представляющая пример изображения собственной линии обзора пользователя, который следит за мобильным устройством 120-3 своими глазами, изображение собственной линии обзора снимает внешняя камера 413.

На фиг. 26 показана схема, представляющая пример расположения изображений, снятых мобильным устройством 120 в различных положениях точек обзора.

На фиг. 27 показана схема, представляющая ситуацию, когда наблюдаемые изображения имеют трапециевидное искажение в соответствии с наклоном вверх и вниз головы пользователя.

На фиг. 28 показана схема, представляющая ситуацию, когда изображения AR виртуального препятствия 2801 и запрещенной области 2802 отображаются на изображении поля зрения автомобиля (реальный мир), снятого мобильным устройством 120-2.

Осуществление изобретения

Ниже представлено подробное описание вариантов осуществления технологии, раскрытой в данном описании, со ссылкой на чертежи.

А. Конфигурация системы

На фиг. 1 схематично представлена конфигурация системы 100 отображения изображения, в соответствии с вариантом осуществления технологии, раскрытой в данном описании. Система 100 отображения изображения, показанная на чертежах, включает в себя устройство 110 отображения изображения (дисплей, установленный на голове), устанавливаемый на голове или лице пользователя, мобильные устройства 120-1, 120-2, 120-3 и другие, которые представляют собой движущиеся модели самолета (или вертолета или некоторого другого летающего объект), автомобиля, судна и т.п., и контроллер 130, который по беспроводному каналу управляет мобильными устройствами 120. Каждое из мобильных устройств 120-1, 120-2, 120-3 и другие оборудованы беспроводной камерой (не показана), и снимают изображения сцены во время движения. Контроллер 130 может представлять собой многофункциональный информационный терминал, такой как смартфон, и запускает приложение для управления мобильными устройствами 120.

Дисплей 110, устанавливаемый на голове, и мобильные устройства 120, и контроллер 130, и мобильные устройства 120 соединены по беспроводному каналу передачи через беспроводную сеть или инфракрасную систему передачи данных, и т.п.

Каждое из мобильных устройств 120 оборудовано беспроводной камерой (не показана) через платформу камеры, которая может изменять свое положение вокруг соответствующих осей панорамной съемки, наклона и отклонения от направления движения. Такая беспроводная камера может снимать изображения "всего неба" или изображения небесной сферы, или панорамные изображения, такие как изображения "половины неба" и изображения меньшего размера. В качестве альтернативы, беспроводная камера может выполнять широкоугольное формирование изображений, используя объектив типа "рыбий глаз".

Мобильные устройства 120 передают изображения, снятые с помощью беспроводных камер, в контроллер 130, и дисплей 110, устанавливаемый на голове. Однако, в случае, когда снятые изображения могут быть переданы непосредственно между дисплеем 110, устанавливаемым на голове, и мобильными устройствами 120, от мобильных устройств 120 не требуется передавать снятые изображения в контроллер 130, и беспроводное соединение между контроллером 130 и дисплеем 110, устанавливаемым на голове, не является необходимым. В представленном ниже описании, контроллер 130 не будет подробно описан на основе предположения, что передача данных может быть выполнена непосредственно между дисплеем 110, устанавливаемым на голове, и мобильными устройствам 120.

Хотя пользователь, на которого надет дисплей 110, устанавливаемый на голове, управляет мобильными устройствами 120, используя контроллер 130, в примере, показанном на фиг. 1, другой человек, кроме пользователя, который просматривает снятые изображения, переданные из мобильных устройств 120, с помощью дисплея 110, устанавливаемого на голове, может управлять мобильными устройствами 120, используя контроллер 130.

На фиг. 2 показан вид спереди пользователя, на голову которого надет дисплея 110, устанавливаемый на голове. Дисплей 110, устанавливаемый на голове, показанный на чертеже, представляет собой структуру, имеющую форму, аналогичную структуре пары очков, и разработан так, что он непосредственно закрывает правый и левый глаза пользователя, на которого надет дисплей 110, устанавливаемый на голове. В местах положения, на внутренней стороне основной рамы дисплея 110, устанавливаемого на голове, которые обращены к правому и левому глазам, предусмотрены панели дисплея (не показанные на фиг. 2), которые видит пользователь. На панели дисплея сформированы микродисплеи, такие как устройства органической EL или жидкокристаллические дисплеи.

Приблизительно в центре передней поверхности основной рамы дисплея 110, устанавливаемого на голове, имеющей форму очков, предусмотрена внешняя камера 413 для ввода окружающих изображений (видение пользователя). Кроме того, микрофоны 201 и 202 предусмотрены рядом с правым и левым концами элемента держателя, соответственно. Поскольку предусмотрены два микрофона 201 и 202, только голос, локализованный в центре (голос пользователя), распознается и может быть отделен от фонового шума и голосов других людей. Например, можно предотвратить выполнение неправильной операции во время операции голосового ввода.

На фиг. 3 показан вид сверху пользователя, на которого надет дисплей 110, устанавливаемый на голове, представленный на фиг. 2. Дисплей 110, устанавливаемый на голове, показанный на чертеже, имеет панели дисплея для левого глаза и правого глаза на боковых поверхностях, обращенных к лицу пользователя. Панели дисплея сформированы с использованием микродисплеев, таких как устройства органической EL или жидкокристаллических дисплеев. Изображения, отображаемые на правой и левой панелях дисплея, наблюдаются, как увеличенные виртуальные изображения, правым и левым глазами пользователя, после прохода через соответствующее оптические модули виртуального изображения. Поскольку высота глаза и расстояние между зрачками разные у разных людей, необходимо выполнять установку положения между соответствующими правой и левой системами дисплея, и глазами пользователя. В примере, показанном на фиг. 3, предусмотрен механизм регулировки расстояния между зрачками, который предусмотрен между панелью дисплея для правого глаза и панелью дисплея для левого глаза.

На фиг. 4 показан пример внутренней структуры дисплея 110, устанавливаемого на голове. Далее описаны соответствующие компоненты.

Модуль 401 управления включает в себя ROM (постоянное запоминающее устройство) 401А и RAM (оперативное запоминающее устройство) 401В. В ROM 401А содержатся программные коды, которые исполняет модуль 401 управления, и различного рода данные. При выполнении программы, загружаемой в RAM 401В, модуль 401 управления начинает управление отображением изображения, и совместно управляет работой всего дисплея 110, устанавливаемого на голове. Примеры программ и данных, сохраненных в ROM 401А, включают в себя программу управления отображением изображения, программу для обработки обмена данными с внешними устройствами, такими как мобильные устройства 120 и контроллер 130, и идентификационную информацию, уникальную для данного устройства 110. Программа управления отображением изображения предназначена, например, для выполнения управления отображением снятых изображений, принятых из мобильных устройств 120, но будет подробно описана ниже.

Модуль 402 входных операций включает в себя одну или больше частей управления, с помощью которых пользователь выполняет входные операции, такие как клавиши, кнопки или переключатели. Модуль 402 входных операций принимает инструкцию пользователя через части управления и выводит инструкции пользователя в модуль 401 управления. Модуль 402 входных операций также принимает инструкцию пользователя, сформированную из команды управления, принимаемой модулем 403 приема дистанционного управления, и также выводит эту инструкцию пользователя в модуль 401 управления.

Модуль 404 детектирования положения/местоположения представляет собой модуль, который детектирует положение головы пользователя, на которую надет дисплей 110, устанавливаемый на голове. В модуле 404 детектирования положения/местоположения установлен гиродатчик, датчик ускорения, датчик GPS (Система глобальной навигации) или геомагнитный датчик. В качестве альтернативы, модуль 404 детектирования положения/местоположения сформирован с использованием комбинаций двух или больше из таких датчиков, с преимуществами и недостатками учета показаний соответствующих датчиков.

На фиг. 5 показана система координат в положении, детектируемом модулем 404 детектирования положения/местоположения. Направление глубины отображаемого изображения (увеличенное виртуальное изображение) представляет ось Z, горизонтальное направление представляет ось Y, вертикальное направление представляет ось X, и начальное положение x-, у- и z-осей представляет собой положение точки обзора. В соответствии с этим, качание в сторону на угол θ_z эквивалентно движению головы пользователя вокруг оси Z, наклон θy эквивалентен движению головы пользователя вокруг оси Y, и поворот в направлении панорамной съемки на θ_x эквивалентен движению головы пользователя вокруг оси X. Модуль 404 детектирования положения/местоположения детектирует движения (θ_z, θ_y и θ_x) в соответствующих направлениях качания в стороны, наклона и панорамной съемки головы пользователя, и параллельное движение головы, и затем выводит движение в модуль 401 управления. Как будет описано ниже, при отображении изображения, снятого мобильным устройством 120 на экране панели 409 дисплея, модуль 401 управления может представлять изображение, которое следует движению головы пользователя, путем перемещения поля отображения, в соответствии со смещением головы при движении, детектируемом модулем 404 детектирования положения/местоположения.

Модуль 411 детектирования состояния получает информацию состояния о состоянии пользователя, на которого надет дисплей 110, устанавливаемый на голове, и выводит информацию состояния в модуль 401 управления. Например, состояние операции пользователя (надет ли на пользователя дисплей 110, устанавливаемый на голове), состояние действия пользователя (состояние движения, такое как состояние покоя, состояние ходьбы или состояние бега, открытое/закрытое состояние век глаз или направление линии обзора), ментальное состояние (уровень волнения), сознание, ощущение или эмоции, например, когда пользователь сосредоточен или концентрируется на наблюдении отображаемого изображения), и психологическое состояние получают, как информацию о состоянии. Для получения информации о состоянии от пользователя, модуль 411 детектирования состояния может включать в себя различного рода датчики состояния (не показаны), такие как датчик закрепления, сформированный в виде механического переключателя и т.п., гиродатчик, датчик ускорения, датчик скорости, датчик давления, датчик температуры тела, датчик потоотделения, датчик миоэлектрического потенциала, датчиком глазного потенциала и датчик электроэнцефалограммы.

Модуль 412 обратной связи (FB) операций включает в себя генератор вибрации и т.п., и обеспечивает обратную связь, представляющую ощущение операций для пользователя, на которого надет дисплей 110, устанавливаемый на голове, используя тактильное ощущение или вибрацию.

Внешняя камера 413 размещена практически в центре передней поверхности основной рамы дисплея 110, устанавливаемого на голове, имеющего форму в виде очков или форму, подобную шляпе (см. фиг. 2), и может снимать окружающие изображения. Кроме того, управление положением при направлениях панорамной съемки, наклона и качания в стороны внешней камеры 413 выполняется в соответствии с направлением линии обзора пользователя, детектируемым модулем 411 детектирования информации о состоянии, таким образом, что изображение уровня линии обзора пользователя может быть снято, используя внешнюю камеру 413. Кроме того, относительная скорость мобильных устройств 120 может быть измерена, используя внешнюю камеру 413.

Модуль 405 передачи данных выполняет обработку обмена данных с внешними устройствами, такими как мобильные устройства 120 и контроллер 130, и также выполняет обработку модуляции/демодуляции и обработку кодирования/декодирования передаваемых сигналов. Например, модуль 405 передачи данных принимает изображения, снятые беспроводными камерами, из мобильных устройств 120. Принятые изображения демодулируют и декодируют, используя модуль 405 передачи данных, или другие принятые данные подают в модуль 401 управления. Модуль 401 управления также передает данные, предназначенные для передачи, во внешние устройства, через модуль 405 передачи данных.

Модуль 405 передачи данных может иметь любую структуру. Например, модуль 405 передачи данных может быть разработан в соответствии со стандартом передачи данных, предназначенным для использования в операциях передачи/приема с внешними устройствами, с которыми требуется выполнить обмен данными. Стандарт передачи данных может быть разработан либо для передачи данных по кабелю или для беспроводной передачи данных. Здесь стандарт передачи данных может представлять собой MHL (мобильное соединение высокой четкости), USB (универсальная последовательная шина), HDMI (зарегистрированный товарный знак) (мультимедийный интерфейс высокой четкости), Wi-Fi (зарегистрированный товарный знак), Bluetooth (зарегистрированный товарный знак) для передачи данных, или например инфракрасную передачу данных.

Модуль 406 сохранения представляет собой накопитель большой емкости, который сформирован с использованием SSD (твердотельный привод) и т.п. Модуль 406 сохранения сохраняет программу приложения, предназначенную для исполнения модулем 701 управления, и данные изображений "всего неба", изображений типа "рыбий глаз", панорамных изображений и т.п., снятых мобильными устройствами 120.

Модуль 407 обработки изображений дополнительно выполняет обработку сигналов, такую как коррекция качества изображения, для сигналов изображения, выводимых из модуля 401 управления, и преобразует разрешение сигналов изображения до разрешения, совместимого с экраном панели 409 дисплея. Модуль 408 управления дисплеем последовательно выбирает пиксели панели 409 дисплея порядно, и выполняет последовательную развертку в строке пикселей для подачи сигналов пикселя на основе сигналов изображения, подвергаемых обработке сигналов.

Панель 409 дисплея сформирована с микродисплеем, таким как устройство органической EL (электролюминесценции) или жидкокристаллический дисплей. Оптический модуль 410 виртуального изображения увеличивает изображение, отображаемое на панели 409 дисплея, и проецирует изображение увеличенного виртуального изображения для просмотра пользователем.

Оптический модуль 410 виртуального изображения увеличивает изображение, отображаемое на панели 409 дисплея, с увеличением 1000 или больше, например, и формирует на сетчатке приблизительно виртуальное изображение размером 750-дюймов на расстоянии 20 метров от глаз пользователя. Это эквивалентно 45,09 градусов горизонтального угла обзора отображаемых пикселей.

На фиг. 6 показан пример внутренней структуры мобильного устройства 120. Как показано на фиг. 1, мобильные устройства 120 представляют собой модели движущегося объекта, такого как самолет, вертолет, автомобиль, судно и т.п., и, в основном, отличаются модулем 603 механизма движения, оставаясь, по существу, идентичными в других функциональных аспектах.

Модуль 602 сохранения реализован на основе запоминающего устройства, такого как RAM или ROM, и накопителя большой емкости, такого как привод жесткого диска или SSD. Модуль 602 сохранения используется для сохранения программы, исполняемой CPU (центральное процессорное устройство) 601, и изображений, снятых камерой. CPU 601 управляет соответствующими компонентами мобильного устройства 120 путем исполнения программы, сохраняемой в модуле 602 сохранения.

Мобильное устройство 120 имеет модуль 603 механизма движения, который может быть разным, в зависимости от типа движущегося объекта, такого как самолет, вертолет, автомобиль или судно, и модуль 603 механизма движения активируется в соответствии с инструкцией движения из CPU 601, и приводит в движение мобильное устройство 120.

Модуль 604 детектирования местоположения/положения/скорости включает в себя гиродатчик, датчик ускорения, датчик GPS, геомагнитный датчик и т.п., и получает информацию о текущем местоположении и положении мобильного устройства 120, и информацию о скорости движения, вызванного модулем 603 механизма движения. В случае мобильного устройства 120-2, которое представляет собой автомобиль, модуль 604 детектирования местоположения/положения/скорости может рассчитывать скорость движения, например, по количеству оборотов электродвигателя, который приводит во вращение колеса, по передаточному числу редуктора и диаметру шин. Если эти цифровые значения будут измерены еще до поставки, и данные будут сохранены в модуле 602 сохранения, скорость может быть просто рассчитана путем измерения количества оборотов электродвигателя во время использования.

Модуль 605 камеры сформирован с использованием, например, стереокамеры и может снимать трехмерные изображения. Модуль 605 камеры установлен на мобильном устройстве 120 через платформу 606 камеры. Модуль 605 камеры в принятом по умолчанию положении обращен вперед относительно мобильного устройства 120 (или обращен в направлении движения, вызванного модулем 603 механизма движения), и, в основном, снимает изображения из точки обзора первого лица (FPV).

Платформа 606 камеры может работать в соответствующих направлениях качания в стороны, наклона и панорамной съемки и изменяет линию обзора модуля 605 камеры в соответствии с инструкцией на изменение поля обзора из CPU 601. В соответствии с этим, модуль 605 камеры может снимать широкоугольные изображения, такие как панорамные изображения, и изображения "всего неба". На фиг. 8А показана ситуация, где модуль 605 камеры установлен так, что платформа 606 камеры может управлять линией обзора в соответствующих направлениях качания в стороны, наклона и панорамной съемки.

Модуль 605 камеры может регулировать расстояние d между точками обзора, для двух камер, формирующих стереокамеру. На фиг. 8В показана ситуация, где расстояние d между точками обзора камеры для левого глаза и камеры для правого глаза, которые составляют стереокамеру, является переменным. В данном варианте осуществления отсутствует схождение между камерой для левого глаза и камерой для правого глаза, и соответствующие линии обзора расположены практически параллельно. Более предпочтительно, в камере для левого глаза и в камере для правого глаза используется глубокое фокусирование, или выполняют съемку изображений, путем увеличивая глубины объекта.

Модуль 605 камеры может быть сформирован с двумя или больше камерами, такими как основная камера, которая снимает изображения из точки обзора от первого лица, и вторичная камера, которая формирует изображения позади основной рамы мобильного устройства 120. На фиг. 8С показана ситуация, где основная камера 801 установлена на основной раме мобильного устройства 120-2, такого как автомобиль, и вторичная камера 802 установлена позади основной камеры 801.

Модуль 607 передачи данных выполняет обработку передачи данных с внешними устройствами, такими как дисплей 110, устанавливаемый на голове, и контроллер 130, и также выполняет обработку модуляции/демодуляции и обработку кодирования/декодирования для передаваемых сигналов. Например, когда модуль 607 передачи данных принимает инструкцию движения из контроллера 130, CPU 601 передает инструкцию в модуль 603 механизма движения начать движение. Модуль 607 передачи данных также передает изображение, снятое модулем 605 камеры, информацию о местоположении и положении основной рамы мобильного устройства 120, детектируемую модулем 604 детектирования местоположения/положения, в дисплей 110, устанавливаемый на голове, и контроллер 130.

В системе 100 отображения изображения, в соответствии с данными вариантами осуществления, изображение, снятое модулем 605 камеры, установленным на мобильном устройстве 120, передают через контроллер 130 или непосредственно в дисплей 110, устанавливаемый на голове. В соответствии с этим, пользователь может наслаждаться снятым изображением, передаваемым из мобильного устройства 120, используя дисплей 110, устанавливаемый на голове.

Кроме того, в системе 100 отображения изображения, в соответствии с данными вариантами осуществления, когда широкоугольное изображение, такое как панорамное изображение или изображение "всего неба", снятое модулем 605 камеры, установленным на мобильном устройстве 120, воспроизводят и отображают, используя дисплей 110, устанавливаемый на голове, CPU 601 перемещает поле отображения таким образом, чтобы оно соответствовало смещению при движении головы пользователя, детектируемым модулем 604 детектирования положения/местоположения. Таким образом, отображают изображение, которое следует движению головы пользователя. На стороне дисплея 110, устанавливаемого на голове, отображают, в соответствии с необходимостью, комбинированное изображение, генерируемое путем наложения AR (дополненная реальность) изображения, как информацию виртуального изображения, для фактического изображения в области отображения.

На фиг. 7 схематично показана функциональная структура модуля 401 управления для отображения изображения, снятого на стороне мобильного устройства 120, с использованием дисплея 110, устанавливаемого на голове. Функциональная структура, показанная на чертеже, реализуется с помощью модуля 401 управления, например, выполняющего заданную программу приложения.

Модуль 701 управления областью отображения, перемещает положение и изменяет положение области отображения (см. фиг. 5), отображаемой на панели 409 дисплея, в соответствии с движением головы пользователя, детектируемым через модуль 404 детектирования положения тела/местоположения, и выводит определенную область отображения в модуль 702 вырезания изображения.

Модуль 702 вырезания изображения вырезает изображение в области отображения, определяемой модулем 701 управления областью отображения, из изображения, снятого мобильным устройством 120, и принятого модулем 405 передачи данных, и выводит вырезанное изображение в модуль 703 комбинирования изображения.

Модуль 703 комбинирования изображения генерирует комбинированное изображение путем наложения изображения AR на фактическое изображение в области отображения, в соответствии с необходимостью, и выводит комбинированное изображение в модуль 407 обработки изображений на следующем этапе. Например, когда текущее местоположение пользователя получают из модуля 404 детектирования положения/местоположения, или когда получают текущее местоположение мобильного устройства 120, генерируют изображение AR, относящееся к направлению движения или препятствию, которому соответствует информация о местоположении (описано ниже). Таким образом, для того, чтобы предоставить пользователю обратную связь, состоящую в ощущении операции, соответствующей AR изображению, такой, как столкновение с препятствием, модуль 703 комбинирования изображения передает инструкцию в модуль 412 обратной связи ощущения операции для вывода обратной связи.

Модуль 703 комбинирования изображения также выполняет обработку коррекции для искажения, которое появляется, когда изображение, вырезанное из области отображения, выводят и отображают на панели 409 дисплея.

На фиг. 9 показана ситуация, где местоположение и положение области дисплея, отображаемой на панели 409 дисплея, перемещают в соответствии с движение головы пользователя.

Когда модуль 404 детектирования положения /местоположения детектирует, что голова или линия обзора пользователя переместились в направлении панорамной съемки вправо, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 901 ссылочной позиции на чертеже. В результате, модуль 702 вырезания изображения вырезает изображение из широкоугольного изображения, и изображение, отображаемое на панели 409 дисплея, также изменяется.

Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместились в направлении панорамной съемки влево, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 902 ссылочной позиции на чертеже.

Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместилась в направлении наклона вверх, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 903 ссылочной позиции на чертеже.

Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместилась в направлении наклона вниз, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 904 ссылочной позиции на чертеже.

Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместилась в направлении качания вправо, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 905 ссылочной позиции на чертеже.

Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместилась в направлении качания влево, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 906 ссылочной позиции на чертеже.

На фиг. 10 показан пример последовательности операции, для отображения широкоугольного изображения, такого как изображение "всего неба", снятое на стороне мобильного устройства 120, при этом широкоугольное изображение получают так, чтобы оно следовало положению головы пользователя на стороне дисплея 110, устанавливаемого на голове. В последовательности операции, показанной на чертеже, передачу данных выполняют непосредственно между дисплеем 110, устанавливаемым на голове, и мобильным устройством 120, но некоторое другое устройство, такое как контроллер 130, может быть установлено между дисплеем 110, устанавливаемым на голове, и мобильным устройством 120.

Дисплей 110, устанавливаемый на голове, передает запрос снятого изображения в мобильное устройство 120, которое перемещается с дистанционным управлением контроллером 130 (SEQ1001).

В ответ на запрос снятого изображения, мобильное устройство 120 выполняет обработку съемки изображения, используя модуль 605 камеры, выполняя управление платформой 606 камеры (SEQ1002). После обработки снятого изображения и генерирования широкоугольного изображения, такого как изображение "всего неба", изображение передают в дисплей 110, устанавливаемый на голове (SEQ1003). Однако мобильное устройство 120 может не выполнять формирование изображений в ответ на запрос из дисплея 110, устанавливаемого на голове, но может постоянно выполнять обработку съемки изображений, и передавать широкоугольное изображение, такое как изображение "всего неба", в дисплей 110, устанавливаемый на голове, в заданное время.

Во время передачи изображения или в некоторое другое время, мобильное устройство 120 также может передавать информацию о местоположении, о положении, и о скорости основной рамы мобильного устройства 120, измеряемой модулем 604 детектирования местоположения/положения/скорости.

На стороне дисплея 110, устанавливаемого на голове, модуль 404 детектирования положения/местоположения детектирует движение головы пользователя, или направления линии обзора (SEQ1004). В соответствии с детектируемым направлением линии обзора, управляют положением области отображения, которая должна быть вырезана из принятого снятого изображения, и вырезанное изображение отображают на панели 409 дисплея (SEQ1005).

На фиг. 11 показана модификация последовательности операций для отображения широкоугольного изображения, такого как изображение "всего неба", снятого на стороне мобильного устройства 120, при этом обеспечивается следование широкоугольного изображения положению головы пользователя на стороне дисплея 110, устанавливаемого на голове. В последовательности операций, показанной на чертеже, выполняют передачу данных непосредственно между дисплеем 110, устанавливаемым на голове, и мобильным устройством 120, но некоторое другое устройство, такое как контроллер 130, может быть установлено между дисплеем 110, устанавливаемым на голове, и мобильным устройством 120.

На стороне дисплея 110, устанавливаемого на голове, модуль 404 детектирования положения/местоположения отслеживает движения головы пользователя, или направления линии обзора (SEQ1101).

Дисплей 110, устанавливаемый на голове, передает запрос снятого изображения в мобильное устройство 120, который движется, будучи управляемым дистанционно с помощью контроллера 130 (SEQ1102). При этом, дисплей 110, устанавливаемый на голове, также передает информацию о линии обзора пользователя.

В ответ на запрос снятого изображения мобильное устройство 120 выполняет обработку съемки изображения с помощью модуля 605 камеры, приводя в движение платформу 606 камеры (SEQ1103). После обработки снятого изображения и генерирования широкоугольного изображения, такого как изображение "всего неба", изображение в отображаемой области, в соответствии с линией обзора пользователя, вырезают (SEQ1104) и передают в дисплей 110, устанавливаемый на голове (SEQ1105).

Во время передачи изображения мобильное устройство 120 также может передавать информацию о местоположении, положении и скорости основной рамы мобильного устройства 120, измеряемую модулем 604 детектирования местоположения/положения/скорости. В случае мобильного устройства 120-2, которое представляет собой автомобиль, скорость движения может быть рассчитана, например, по количеству оборотов электродвигателя, по передаточному числу редуктора и диаметру шин. В качестве альтернативы, на стороне дисплея 110, устанавливаемого на голове, относительная скорость мобильного устройства 120 может быть измерена с использованием внешней камеры 413.

Дисплей 110, устанавливаемый на голове, затем отображает принятое изображение на панели 409 дисплея (SEQ1106).

Когда обеспечивается следование широкоугольного изображения, такого как изображение "всего неба", снятое на стороне мобильного устройства 120, положению головы пользователя, и его отображают на стороне дисплея 110, устанавливаемого на голове, становится возможным выполнять либо последовательность операций, показанную на фиг. 10, или последовательность операций на фиг. 11. Для простоты пояснения представленное ниже описание основано на предположении, что будет выполняться последовательность операций, показанная на фиг. 10.

Б. Приложение обработки изображения

Далее представлено подробное описание обработки, выполняемой, когда изображение, снятое на стороне мобильного устройства 120, отображается на дисплее 110, устанавливаемом на голове.

В-1. Способ отображения трехмерного изображения "всего неба"

Модуль 605 камеры сформирован с использованием стереокамеры, как показано на фиг. 8В. При этом отсутствует схождение между камерой левого глаза и камерой правого глаза, соответствующие линии обзора установлены практически параллельно, и выполняется формирование изображения с глубоким фокусом.

В то же время, человек проявляет тенденцию смотреть на объекты, расположенные на расстоянии, при движении с высокой скоростью, но проявляет тенденцию просматривать расположенные рядом объекты при движении с низкой скоростью.

Ввиду этого, когда дисплей 110, устанавливаемый на голове, отображает изображения, снятые мобильным устройством 120, точку схождения регулируют на основе информации о скорости мобильного устройства 120 в процессе, выполняемом, например, модулем 703 комбинирования изображения.

В случае, когда I_L и I_R представляют изображения, снятые камерой для левого глаза и камерой для правого глаза, используя способ параллельного глубокого фокусирования (см. фиг. 12А), по мере того, как скорость мобильного устройства 120 становится выше, наложение между правым и левым изображениями, I_L и I_R становится меньшим, для увеличения расстояния до точки схождения или точки, где линии обзора правого и левого глаз пересекаются. Таким образом, пользователь может наблюдать изображение, которое выглядит более ясным на большем расстоянии (см. фиг. 12В). В связи с регулировкой точки схождения, также выполняется регулировка точки фокусирования таким образом, что другие области, кроме фиксированного положения на экране (точка схождения), становятся размытыми. Таким образом, усиливается визуальный эффект, который делает расположенные дальше от пользователя объекты более четкими, и пользователь может ощущать более реалистичное ощущение поездки на объекте, движущемся с высокой скоростью.

По мере того, как скорость мобильного устройства 120 становится ниже, наложение между правым и левым изображениями, I_L и I_R становится большим, что сокращает расстояние до точки схождения или точки, где пересекаются линии обзора правого и левого глаз. Таким образом, пользователь может наблюдать изображение, которое выглядит более четко на более близком расстоянии (см. фиг. 12С). В связи с регулировкой точки схождения, также выполняется регулировка точки фокусирования таким образом, что другие области, кроме фиксированного положения на экране, становятся размытыми. Таким образом, усиливается визуальный эффект, который делает более четкими расположенные ближе к пользователю объекты, и пользователь может ощущать более реалистичное ощущение езды на объекте, движущемся с малой скоростью.

Вкратце, при учете перемещения, связанного со скоростью точки обзора, включающей в себя точку фокусирования человека, человек может наслаждаться естественным просмотром. Когда скорость мобильного устройства 120 становится выше, пользователь может видеть объекты, расположенные дальше, через дисплей 110, устанавливаемый на голове. Когда скорость мобильного устройства 120 становится ниже, пользователь может видеть расположенные ближе объекты.

В-2. Способ съемки трехмерного изображения "всего неба"

В случае, когда следует снять трехмерное изображение для отображения "всего неба", если выполняется частичное изменение масштаба изображения, наблюдается изображение типа изображения заднего плана, как если бы пользователь использовал телескоп. Это связано с тем, что расстояние между точками обзора является фиксированным. Поэтому, на стороне мобильного устройства 120 выполняют формирование изображений, в то время как стереокамера, в которой изменяется расстояние между точками обзора для правой и левой камер, изменяет расстояние между точками обзора, в соответствии с увеличением при изменении масштаба изображения, для получения естественного трехмерного изображения "всего неба". В качестве альтернативы, в случае, когда расстояние между точками обзора камеры для левого глаза и камеры для правого глаза является фиксированным, мобильное устройство 120 или дисплей 110, устанавливаемый на голове, может выполнять обработку изображений, для расширения точки обзора, такую как экстраполяция за пределами точек обзора камер.

В частности, на стороне мобильного устройства 120, стереокамера выполнена с возможностью перемещения на расстояние 50-100 мм, которое представляет собой расстояние d между точками обзора камеры для левого глаза и камеры для правого глаза (см. фиг. 13А). Расстояние между точками обзора увеличивается во время увеличения масштаба изображения, но уменьшается во время уменьшения масштаба изображения. В случае, когда установлена стереокамера, эта ситуация формируется путем изменения расстояния между точками обзора во время изменения масштаба изображения. На фиг. 13В показана ситуация, где расстояние d между точками обзора, между камерой для левого глаза и камерой для правого глаза сокращается до 50 мм, при уменьшении масштаба изображения. В этой ситуации дисплей 110, устанавливаемый на голове, или контроллер 130 может непосредственно управлять модулем 605 камеры таким образом, что трехмерное изображение можно просматривать в режиме реального времени. В качестве альтернативы, изображения, снятые с разными расстояниями между точки обзора, записывают, и расстояние между точками обзора изображения, предназначенного для воспроизведения, изменяют синхронно с операцией изменения масштаба изображения во время просмотра. Кроме того, во время просмотра изображение с промежуточным расстоянием между точками обзора может быть сгенерировано в ходе обработки изображений, синхронно с выполнением операции изменения масштаба изображения.

В случае, когда расстояние между точками обзора стереокамеры является фиксированным, изображения точки обзора с разными расстояниями между точками обзора комбинируют, используя обработку изображений, и воспроизводимое изображение переключают на комбинированное изображение синхронно с изменением масштаба изображения. Таким образом, можно выполнять изменение масштаба изображения, как естественное перемещение точки обзора.

Когда просматривают трехмерное изображение "всего неба", снятое на стороне мобильного устройства 120, используя дисплей 110, устанавливаемый на голове, может быть достигнут эффект движения точки обзора путем изменения расстояния между точками обзора, между отображаемыми правым и левым изображениями. Однако, эффект параллакса трехмерного движения, используя движение точки обзора, не достигается. Для получения эффекта параллакса трехмерного движения, необходимо генерировать значения параллакса, используя некоторое другое средство, такое как обработка изображений, которая учитывает значения параллакса движения.

В-3. Взаимодействие между положением головы пользователя и снятым изображением

В случае, когда систему координат, представляющую панорамную съемку, наклон и качания в стороны головы пользователя (см. фиг. 5) сопоставляют с системой координат панорамной съемки, наклона и качания в стороны модуля 605 камеры (см. фиг. 8А), в области отображения изображения, которая следует движению головы пользователя, обращенной вперед, видна нижняя сторона, в то время как мобильное устройство 120 движется. Например, в случае мобильного устройства 120-2, которое представляет собой автомобиль, видна только поверхность земли. Поэтому, для получения изображения сцены перед мобильным устройством 120-2, пользователь должен наклонять свою голову в направлении вверх и наклонять модуль 605 камеры, установленный на мобильном устройстве 120-2, также в направлении вверх (см. фиг. 14). Однако если пользователь продолжит смотреть вверх во время движения мобильного устройства 120-2, то шея пользователя устанет.

Для учета этой проблемы, ось наклона модуля 605 камеры, установленная на мобильном устройстве 120-2, может быть закреплена в положении, которое смещено вверх на Δθ_y от оси наклона головы пользователя.

Например, когда на пользователя надет дисплей 110, устанавливаемый на голове, и он смотрит вверх под определенным углом Δθ_y, смещение на Δθ_y, оси наклона модуля 605 камеры может быть запрошено через модуль 403 ввода операции. Как показано на фиг. 15, даже если пользователь снова обратится вперед после запроса смещения Δθ_y, положение модуля 605 камеры, который взаимодействует с головой пользователя, останется закрепленным в положении, которое смещено в направлении наклона вверх на Δθ_y.

В качестве альтернативы, инструкция по смещению на Δθ_y для оси наклона модуля 605 камеры может быть передана из дисплея 110, устанавливаемого на голове, в мобильное устройство 120 непосредственно или через контроллер 130. В этом случае, на стороне мобильного устройства 120 выполняют, например, обработку смещения системы координат на платформе 606 камеры. При смещении оси наклона снятое изображение, которое следует движению головы пользователя, вырезают и отображают.

В качестве альтернативы, вместо передачи инструкции по смещению системы координат в мобильное устройство 120, внутренняя обработка дисплея 110, устанавливаемого на голове, может реализовать ту же обработку, как описана выше. Например, в ответ на инструкцию по смещению на Δθ_y для оси наклона, поступающую от пользователя, модуль 701 управления областью отображения устанавливает область отображения, которая смещена вверх в направлении наклона на Δθ_y от оси наклона линии обзора пользователя, детектируемой модулем 404 детектирования положения/местоположения.

Ось наклона модуля 605 камеры, конечно, может быть смещена на Δθ_y, не только в направлении вверх, но также и в направлении вниз. Аналогично, смещение ±Δθ_x в направлении панорамной съемки или смещение ±Δθ_z в направлении качания в стороны (см. фиг. 16) могут быть выполнены так, что снятое изображение, которое следует движению головы пользователя, будет вырезано и будет отображаться.

В случае, когда мобильное устройство 120 становится неспособным управлять контроллером 130, например, когда мобильное устройство 120-2, такое как гоночный автомобиль, движется, теряя управление во время движения, если изображение, снятое модулем 605 камеры, которое также движется, отображается на стороне дисплея 110, устанавливаемого на голове в режиме реального времени, отображаемая сцена быстро меняется, что приводит к тому, что у пользователя кружится голова, хотя пользователь не перемещал свою линию обзора. Поэтому, система координат модуля 605 камеры разработана таким образом, что снятое изображение не меняется быстро, независимо от движения головы пользователя. В качестве альтернативы, изображение, снятое в определенной точке (например, сразу после начала заноса), сохраняется, и обработка переключения отображения, которая следует движению линии обзора пользователя, может быть выполнена в это время на основе системы координат модуля 605 камеры.

В-4. Обратная связь с пользователем

Как описано выше, дисплей 110, устанавливаемый на голове, включает в себя модуль 412 обратной связи, обеспечивающий ощущение операций, который задает обратную связь, обеспечивающую ощущение операции для пользователя, используя тактильное ощущение или вибрацию. Дисплей 110, устанавливаемый на голове, представляет собой устройство, надеваемое на пользователя, и может предоставлять тактильное ощущение или вибрацию, как эффективную обратную связь, непосредственно для пользователя.

В то же время, каждое мобильное устройство 120 оборудовано датчиком ускорения, в качестве модуля 604 детектирования местоположения/положения/скорости, и может детектировать колебание и влияние, воздействующее на устройство во время полета, движения или перемещения по воде.

Учитывая это, при отображении изображения, снятого на стороне мобильного устройства 120, дисплей 110, устанавливаемый на голове, постоянно отслеживает значение, детектируемое датчиком ускорения мобильного устройства 120, и передает инструкции в модуль 412 обратной связи ощущения операции для вывода обратной связи, в соответствии с колебаниями и влиянием, которому подвергается мобильное устройство 120.

Когда мобильное устройство 120 сталкивается с препятствием, которое не существует в реальном мире, но отображается в AR модулем 703 комбинирования изображения, модуль 412 обратной связи для ощущения операции также получает инструкции для вывода обратной связи, в соответствии с виртуальным столкновением.

В-5. Отображение изображения AR

В обычном FPV изображение, снятое камерой, установленной на радиоуправляемой модели, отображается, как оно есть. В данном варианте осуществления, с другой стороны, дисплей 110, устанавливаемый на голове накладывает несуществующее изображение AR на изображение, снятое на стороне мобильного устройства 120, и затем отображает наложенное изображение.

В случае, когда мобильное устройство 120-1 представляет собой летающий объект, такой как самолет или вертолет, изображение AR пилона и т.п. накладывают на снятое изображение, которое предназначено для отображения. В случае мобильного устройства 120-2, предназначенного для движения по земле, такого как автомобиль (гоночный автомобиль), изображение AR курса гонки, такого как область действий, накладывают на снятое изображение, предназначенное для отображения. В случае мобильного устройства 120-3, которое представляет собой судно, такое как яхта, AR изображение бакена накладывают на снятое изображение, предназначенное для отображения.

В случае, когда сайт AR изображения зарегистрирован заранее, дисплей 110, устанавливаемый на голове, постоянно отслеживает текущее местоположение мобильного устройства 120, отображая снятое изображение. Когда мобильное устройство 120 достигает сайта (или сайт будет показан в снятом изображении), начинается обработка отображения AR изображения. Не только указательный столб для движения мобильного устройства 120, такой как столб или бакен, но также и виртуальное препятствие, которое препятствует движению мобильного устройства 120, или запрещенная область, такая как область, опасная для перемещения по ней мобильного устройства 120, или размещения других людей, может быть показана в AR изображении. На фиг. 28 показана ситуация, где AR изображение виртуального препятствия 2801 и запрещенная область 2802 отображаются в изображении линии обзора автомобиля (реальный мир), снятом мобильным устройством 120-2.

В случае, когда объект, предназначенный для отображения в AR изображении, регистрируют заранее, дисплей 110, устанавливаемый на голове, распознает объекты, показанные в снятом изображении, переданном из мобильного устройства 120. Когда зарегистрированный объект будет найден, начинается обработка отображения AR изображения. Зарегистрированный объект может представлять собой продукт, человека, домашнее животное, растение, здание и т.п., которые ищет пользователь.

AR изображение объекта отображается в случае, когда продукт и т.п., который ищет пользователь, выделяют, или когда объект (который должен быть скрыт от пользователя) удаляют с экрана.

В случае, когда состояние отображения AR изображения зарегистрировано заранее, дисплей 110, устанавливаемый на голове, отслеживает текущее состояние мобильного устройства 120. Когда мобильное устройство 120 входит в состояние, зарегистрированное заранее, начинается обработка отображения AR изображения. Пример упомянутого выше состояния представляет собой состояние, в котором радиоволны, принятые от контроллера 130, становятся более слабыми, и управление не может быть выполнено. В таком случае область, где радиоволны не могут быть приняты, устанавливается, как "запрещенная область", и направление, предотвращающее попадание мобильного устройства 120 в запрещенную область, отображается, как AR изображение. При выполнении операции системы 100 отображения изображения, конечно, возможно предоставлять фактическое направление, такое как предупреждающий знак, обозначающее запрещенную область.

Кроме того, если мобильные устройства 120, расположенные в тех же положениях, представляют собой определенные объекты, или находятся в том же состоянии, разные изображения AR могут быть отображаться в соответствии с характеристиками (возраст, национальность, пол, личное свойство и т.п.) соответствующих пользователей или навыками соответствующих пользователей, управляющих мобильными устройствами 120. Например, ожидается, что различные изображения AR требуются для взрослого пользователя и пользователя - ребенка. Кроме того, предпочтительно отображать AR изображение для начинающего, чем для лица, обладающего хорошими навыками.

В-6. Отображение относительного местоположения пользователя

В системе 100 отображения изображения, в соответствии с данными вариантами осуществления, пользователь может наблюдать снятое изображение, используя дисплей 110, устанавливаемый на голове, при движении мобильного устройства 120, управляя контроллером 130. Пользователь может наблюдать сцену удаленного места, в которое движется мобильное устройство 120, хотя пользователь не движется вообще.

При этом, пользователь может распознавать место формирования изображений, путем отслеживания информации о местоположении, которая выводится из модуля 604 детектирования местоположения/положения/скорости мобильного устройства 120. Однако даже если пользователь желает перейти в это место, он или она не может немедленно определить, в каком направлении нужно пойти, просто путем просмотра снятого изображения.

Ввиду этого, дисплей 110, устанавливаемый на голове, может отображать AR изображение, обозначающее взаимосвязь положения между пользователем и мобильным устройством 120 в снятом изображении, переданном из мобильного устройства 120. По мере того, как дисплей 110, устанавливаемый на голове, отображает информацию о местоположении пользователя, пользователь может получать функцию навигации, а также наслаждаться FPV.

Отображаемое изображение взаимосвязи положения может быть сгенерировано в дисплее 110, устанавливаемом на голове, модулем 703 комбинирования изображения, на основе информации о местоположении пользователя, детектируемой модулем 404 детектирования местоположения/положения, и информации о местоположении мобильного устройства 120, детектируемой модулем 604 детектирования местоположения/положения/скорости мобильного устройства 120.

В случае, когда отображается информация о местоположении, относящаяся к пользователю, например, информация о местоположении пользователя может отображаться, как малый экран на экране, отображающем изображение, снятое мобильным устройством 120, как показано на фиг. 17. Малый экран представляет, например, изображение карты, и соответствующие пиктограммы, обозначающие текущее местоположение мобильного устройства 120 и текущее местоположение пользователя, показаны в изображении. В качестве альтернативы, в зависимости от операции пользователя через модуль 402 ввода операций, информация о местоположении пользователя может отображаться на большом экране, и снятое изображение может отображаться на малом экране, как показано на фиг. 18.

В случае, когда отображается информация о местоположении пользователя, север располагается с верхней стороны, как показано в фиг. 17 и 18 (Север), мобильное устройство 120 движется вверх по дисплею, как показано на фиг. 19, или линия обзора пользователя направлена в направлении вверх на дисплее, как показано на фиг. 20. Направление движения мобильного устройства 120 может быть детектировано модулем 604 детектирования местоположения/положения/скорости. Направление линии обзора пользователя может быть детектировано модулем 404 детектирования положения/местоположения или модулем 411 детектирования состояния.

В каждом из примеров, показанных на фиг. 17-20, пользователь и мобильное устройство 120 размещены на экране, представляющем карту, таким образом, что могут отображаться соответствующие абсолютные места положения. Однако экран с картой может не использоваться, и могут отображаться относительные местоположения пользователя и мобильного устройства 120.

В случае, когда мобильное устройство 120 представляет собой подводную лодку и т.п., которая движется под водой, может быть трудно принимать сигналы GPS. Поэтому, информация об абсолютном местоположении может быть получена с помощью вспомогательного средства, такого как подводная акустическая передача данных.

В-7. Автоматическое отслеживание мобильного устройства

В представленных выше описанных вариантах осуществления наблюдают, так называемое, FPV (изображение точки обзора первого лица), снятое мобильным устройством 120, которое отображается на дисплее 110, устанавливаемом на голове. Некоторые пользователи хотят наблюдать сцену, включающую в себя мобильное устройство 120.

Ввиду этого, может быть предусмотрено автоматическое следящее устройство, которое отслеживает заднюю строну (или боковую сторону) мобильного устройства 120, и изображение, снятое автоматическим следящим устройством, может отображаться в дисплее 110, устанавливаемом на голове.

На фиг. 21 показана ситуация, когда автоматическое следящее устройство 2100, оборудованное камерой 2101, отслеживает заднюю часть мобильного устройства 120-1, летящего в воздухе, или мобильного устройства 120-2. На фиг. 22 показан пример изображения мобильного устройства 120-1, снятого сзади камерой 2101 автоматического следящего устройства 2100.

Автоматическое следящее устройство 2100 может не летать, как показано на фиг. 21, и может быть реализовано устройство с меньшими затратами, при использовании вторичной камеры, которая снимает изображения мобильного устройства 120, снимающего изображение с задней части, как показано на фиг. 8С.

В-8. Переключение экрана

В описанных выше вариантах осуществления изображения сцены удаленного места, снятые мобильным устройством 120 (или изображение, снятое автоматическим следящим устройством 2100), отображаются на дисплее 110, устанавливаемом на голове.

В то же время, внешняя камера 413 размещена практически в центре передней поверхности основной рамы дисплея 110, устанавливаемого на голове, имеющего форму, подобную очкам, или форму, подобную шляпе (см. фиг. 2), и может снимать окружающие изображения. Кроме того, выполняется управление положением в направлениях панорамной съемки, наклона и качания в стороны внешней камеры 413, в соответствии с направлением линии обзора пользователя, детектируемой модулем 411 детектирования информации о состоянии, таким образом, что изображение уровня линии обзора пользователя может быть снято, используя внешнюю камеру 413.

Учитывая это, экран панели 409 дисплея может переключаться между изображением, снятым мобильным устройством 120, и изображением, снятым внешней камерой 413, в соответствии с операцией пользователя и т.п. через модуль 402 ввода операций. На фиг. 23 показан пример изображения линии обзора автомобиля, снятого мобильным устройством 120-2, который представляет собой автомобиль. На фиг. 24 показан пример ситуации, где пользователь, на которого надет дисплей 110, устанавливаемый на голове, следует своими глазами движению мобильного устройства 120-3. На фиг. 25 показан пример изображения собственной лини обзора пользователя, глаза которого следуют за мобильным устройством 120-3. Изображение собственной линии обзора снимает внешняя камера 413.

Модуль 605 камеры, установленный на мобильном устройстве 120, представляет собой, по меньшей мере, одну камеру, и, в основном, выполняет формирование изображений с точки обзора первого лица, такого как оператор. Однако модуль 605 камеры может дополнительно включать в себя камеру, которая выполняют формирование изображений из других положений точки обзора.

Например, мобильное устройство 120-2, такое как автомобиль, оборудовано камерами, которые включают в себя камеру, которая снимает изображение на линии обзора автомобиля перед направлением движения, камеру, которая снимает изображения сцены, отражаемой правым и левым зеркалами бокового обзора, камеру, которая снимает изображение сцены, отражаемой зеркалом заднего вида, и камеру, которая снимает изображение сцены, отражаемой, когда пользователь смотрит на измерительные приборы и датчики. В качестве альтернативы, мобильное устройство 120-2 может быть оборудовано одной камерой, но платформа 606 камеры может перемещать положение точки обзора камеры.

В этом случае, изображения, снятые камерами из соответствующих положений точек обзора, располагаются, например, так, как показано на фиг. 26. В примере, показанном на чертеже, снятое изображение на линии обзора автомобиля помещают в центре, снятые изображения на линиях обзора правого и левого зеркал заднего вида, размещают справа и слева от изображения линии обзора автомобиля, изображение линии обзора зеркала заднего вида помещают над изображением линии обзора автомобиля, и изображение, снятое на линии обзора при просмотре измерительных приборов и датчиков, помещают под изображением линии обзора автомобиля. На стороне дисплея 110, устанавливаемого на голое, область отображения не перемещается в соответствии с движением головы пользователя, но изображение, отображаемое на панели 409 дисплея, переключают на изображение линии обзора "левого зеркала бокового обзора", когда голова поворачивается влево, переключают на изображение линии обзора "правого зеркала бокового обзора", когда голова поворачивается вправо, переключают на изображение линии обзора зеркала заднего вида, когда голову поднимают вверх, и переключают на изображение линии обзора измерительных приборов, когда голова наклоняется вниз. Когда голова пользователя снова обращена вперед, изображение, отображаемое на панели 409 дисплея, возвращается к изображению линии обзора автомобиля.

В-9. Коррекция изображения

В случае, когда снятое широкоугольное изображение, такое как изображение "всего неба", просматривают в узкой области отображения, когда пользователь наклоняет свою голову, модуль 701 управления областью отображения перемещает область отображения вверх или вниз, в соответствии с наклоном, и модуль 702 вырезания изображения вырезает отображаемое изображение в области отображения перемещения (см. фиг. 9). Когда пользователь наклоняет свою голову вверх и перемещает вверх область отображения, расстояние от плоскости проецирования будет больше на верхней кромке области отображения. Поэтому, отображаемое изображение имеет трапециевидную форму с более короткой верхней кромкой, чем верхняя кромка отображаемого кадра панели 409 дисплея. Аналогично, когда пользователь наклоняет свою голову вниз, расстояние от плоскости проектирования больше на нижней кромке области отображения. Поэтому, отображаемое изображение имеет трапециевидную форму с более короткой нижней кромкой, чем нижняя кромка отображаемого кадра панели 409 дисплея (см. фиг. 27). Трапециевидное изображение приводит к странному ощущению пользователя, который просматривает изображение.

Учитывая это, модуль 703 комбинирования изображения выполняет коррекцию трапециевидного искажения таким образом, что изображение, просматриваемое пользователем, всегда имеет прямоугольную форму.

В-10. Обработка стабилизации изображения

В случае мобильного устройства 120-2, такого как автомобиль, например, снятое изображение может подвергаться вертикальной или горизонтальной тряске, из-за влияния неровной поверхности дороги, по которой движется мобильное устройство 120-2. В случае мобильного устройства 120-1, такого как летающий объект, такой как самолет или вертолет, снятое изображение может быть подвергнуто горизонтальной тряске из-за влияния потока воздуха и т.п. В случае мобильного устройства 120-3, такого как судно, движущееся по воде, такое как яхта, снятое изображение подвержено тряске из-за влияния потока волн в то время, как судно плывет.

Когда человек просматривает изображение, снятое в условиях тряски, человек ощущает приступы морской болезни. Обычно непредсказуемые сотрясения с медленными волнами и большой амплитудой легко приводят к болезненным ощущениям у человека.

Когда возникают сотрясения в изображении, снятом мобильным устройством 120, это изображение может быть отображено только после устранения сотрясений на стороне дисплея 110, устанавливаемого на голове.

Когда переменные сотрясения с медленными волнами и большой амплитудой детектируется при отслеживании значения, детектируемого датчиком ускорения на стороне мобильного устройства 120, например, начинают обработку коррекции сотрясений на стороне дисплея 110, устанавливаемого на голове.

Например, модуль 701 управления областью отображения вводит значение, детектируемое датчиком ускорения на стороне мобильного устройства 120, добавляет детектированное значение к информации о положении головы пользователя, определяет местоположение и положение области отображения, для того, чтобы устранить сотрясения в мобильном устройстве 120, и выводит местоположение и положение в модуль 702 вырезания изображения.

В качестве альтернативы, модуль 702 вырезания изображения вводит значение, детектируемое датчиком ускорения на стороне мобильного устройства 120, корректирует местоположение и положение области отображения, определяемой модулем 701 управления областью отображения, на основе информации о положении головы пользователя, для того, чтобы устранить сотрясения мобильного устройства 120, и вырезает изображение в области отображения снятого изображения.

Модуль 703 комбинирования изображения и т.п. может выполнять обработку коррекции сотрясений, путем переключения движущегося изображение на изображение замедленной съемки или выполнения утончения кадра. В случае, когда изображение движения переключают на изображение замедленной съемки, только участки с движением в кадрах могут быть переведены в участки изображения замедленной съемки.

При обработке коррекции тряски сотрясения могут быть исключены не путем выполнения описанной выше обработки изображений, а путем уменьшения размера экрана только при детектировании сотрясений в мобильном устройстве 120, при этом уделяется внимание тому факту, что человек может легко ощущать болезненные приступы при большом экране. Оптический модуль 410 виртуального изображения формирует увеличенное виртуальное изображение для изображения, отображаемого на панели дисплея 409, как описано выше. Оптический модуль 410 виртуального изображения может регулировать степень увеличения, или панель 409 дисплея может уменьшить размер отображения.

Оптическая система модуля 605 камеры, конечно, может быть предусмотрена на стороне мобильного устройства 120, или обработка изображений, конечно, может иметь функцию коррекции сотрясений.

С. Выводы

Технология, раскрытая в данном описании, может быть воплощена в структурах, описанных ниже.

(1) Устройство отображения изображения, включающее в себя:

модуль дисплея, устанавливаемый на голове пользователя;

модуль детектирования положения, который детектирует положение головы; и

модуль управления отображением, который управляет отображением изображения модуля дисплея на основе положения головы, изображение снимают с помощью мобильного устройства.

(2) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения вырезает область, соответствующую положению головы, из широкоугольного изображения, снятого мобильным устройством, и отображает вырезанную область в модуле дисплея.

(3) Устройство отображения изображения по (1), в котором, когда отображают множество изображений точки обзора, снятых из множества точек обзора, используя способ параллельного глубокого фокусирования, модуль управления отображением устройства отображения изображения регулирует точку схождения между изображениями точки обзора на основе скорости движения движущегося объекта.

(4) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения отображает изображение с расстоянием между точками обзора, которое соответствует операции изменения масштаба изображения в модуле дисплея.

(5) Устройство отображения изображения по (1), в котором направление линии обзора модуля камеры мобильного устройства смещается, по меньшей мере, в одном из направлений, таком как направление панорамной съемки, наклон и качание в стороны относительно положения головы.

(6) Устройство отображения изображения по (1), дополнительно включающее в себя

модуль обратной связи для ощущения операций, который передает по каналу обратной связи ощущение операции пользователю через тактильное ощущение или вибрацию,

в котором обратная связь для пользователя основана на ускорении, которому подвергается мобильное устройство при движении.

(7) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения накладывает AR изображение на изображение реального мира, снятое мобильным устройством, перед отображением изображения.

(8) Устройство отображения изображения по (7), в котором модуль управления отображением устройства отображения изображения отображает AR изображение, соответствующее, по меньшей мере, одному из текущего местоположения мобильного устройства, объекта, включенного в снятое изображении, и состояния мобильного устройства.

(9) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения отображает информацию о местоположении вокруг мобильного устройства и пользователя.

(10) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения дополнительно отображает изображение, снятое автоматическим следящим средством, которое снимает изображение при отслеживании мобильного устройства.

(11) Устройство отображения изображения по (1), дополнительно включающее в себя

модуль получения изображения линии собственного обзора, который получает изображение линии собственного обзора, которое можно видеть на линии обзора пользователя.

в котором модуль управления отображением переключает изображение, отображаемое между изображением движущегося объекта на линии собственного обзора, снятым мобильным устройством, и изображением линии собственного обзора.

(12) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения переключает изображение между изображениями, снятыми из множества положений точек обзора мобильного устройства, в соответствии с положением головы.

(13) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения корректирует сотрясения в движущемся изображении, снятом мобильным устройством, перед отображением движущегося изображения.

(14) Способ отображения изображения, включающий в себя:

этап детектирования положения, состоящий в детектировании положения головы пользователя; и

этап управления отображением изображения на основе положения головы, изображение снимают мобильным устройством.

(15) Система отображения изображения, включающая в себя:

мобильное устройство, которое снимает изображение во время движения; и

устройство отображения изображения, которое отображает изображение, снятое мобильным устройством, в соответствии с положением головы пользователя.

(16) Мобильное устройство, включающее в себя:

модуль камеры;

платформу камеры, которая управляет направлением линии обзора модуля камеры;

модуль движения, который перемещает устройство; и

модуль передачи данных, который передает данные, включающие в себя изображение, снятое модулем камеры,

в котором модуль камеры включает в себя множество камер, которые выполняют формирование изображений, используя способ параллельного глубокого фокусирования камеры, имеющей разные точки обзора.

(17) Мобильное устройство по (16), которое снимает изображение "всего неба", изменяя расстояние между точками обзора между камерами с разными точками обзора.

(18) Мобильное устройство по (16), которое экстраполирует изображения за пределами точек обзора камер из изображений, снятых камерами с разными точками обзора при фиксированном расстоянии между точками обзора.

(19) Компьютерная программа, записанная в формате, считываемом компьютером, компьютерная программа, обеспечивающая выполнение компьютером следующих функций:

модуля детектирования положения, который детектирует положение головы пользователя; и

модуля управления отображением, который управляет отображением изображения на основе положения головы, изображение, снимаемое мобильным устройством.

Промышленная применимость

Технология, раскрытая в данном описании, была подробно описана со ссылкой на конкретные варианты осуществления. Однако, очевидно, что специалисты в данной области техники могут выполнить модификации и замены вариантов осуществления, без выхода за пределы объема технологии, раскрытой в данном описании.

В данном описании были, в основном, описаны варианты осуществления, в которых технология, раскрытая в этом описании, применяется для системы, сформированной с дисплеем, устанавливаемым на голове, который устанавливают на голове или лице пользователя, и радиоуправляемые мобильные устройства. Однако объем технологии, раскрытой в данном описании, не ограничен структурой конкретного устройства отображения изображения.

Например, технология, раскрытая в данном описании, также может применяться в различных типах систем отображения, которые отображают широкоугольные изображения, снятые камерами, установленными на различных типах мобильных устройств с дистанционным управлением или камерами, установленными на живых существах, управляемых дистанционного, таких как птицы, млекопитающие, рептилии, амфибии, рыбы, насекомые, в соответствии с направлением линии обзора пользователя.

Мобильные устройства представляет собой радиоуправляемые модели самолета, вертолета, автомобиля, яхты и т.п., но также могут представлять собой фактические мобильные устройства, такие как самолет, вертолет, автомобиль и яхта. Что касается положений (панорамная съемка, наклон и качания в стороны), установленные камеры могут управляться дистанционно, мобильные устройства могут не быть управляемыми дистанционно или направляемыми дистанционно. Мобильные устройства могут не являться мобильными объектами, которые представляют собой механические устройства, но могут представлять собой жилые движущиеся объекты, такие как люди или животные.

Вкратце, технология, раскрытая в данном описании, была описана на примерах, и данное описание не следует интерпретировать, как ограничение. Формулу изобретения следует рассматривать с учетом понимания предмета технологии, раскрытой в данном описании.

Список номеров ссылочных позиций

100 Система отображения изображения

110 Дисплей, устанавливаемый на голове

120 Мобильное устройство

130 Контроллер

201, 202 Микрофон

401 Модуль управления

401A ROM

401В RAM

402 Модуль ввода операций

403 Модуль приема дистанционного управления

404 Модуль детектирования положения/местоположения

405 Модуль передачи данных

406 Модуль сохранения

407 Модуль обработки изображений

408 Модуль управления дисплеем

409 Панель дисплея

410 Оптический модуль виртуального изображения

411 Модуль детектирования состояния

412 Модуль обратной связи ощущения операции

413 Внешняя камера

601 Модуль управления

602 Модуль сохранения

603 Модуль механизма движения

604 Модуль детектирования местоположения/положения/скорости

605 Модуль камеры

606 Платформа камеры

607 Модуль передачи данных

701 Модуль управления областью отображения

702 Модуль вырезания изображения

703 Модуль комбинирования изображения

Изобретение относится к области вычислительной техники. Технический результат заключается в расширении арсенала технических средств для отображения изображения. Технический результат достигается за счет детектирования положения, на котором детектируют положение головы пользователя и управления отображением, на котором управляют отображением изображения на основе положения головы, причем изображение фиксируют мобильным устройством, при этом этап управления дополнительно содержит этап, на котором при отображении множества изображений точек обзора, фиксированных с множества точек обзора с использованием способа параллельного глубокого фокусирования, регулируют точку схождения между изображениями точек обзора на основе скорости движения движущегося мобильного устройства. 4 н. и 14 з.п. ф-лы, 33 ил.

1. Устройство отображения изображения, содержащее:

модуль отображения, устанавливаемый на голове пользователя;

модуль детектирования положения, выполненный с возможностью детектирования положения головы, и

модуль управления отображением, выполненный с возможностью управления отображением изображения на модуле отображения на основе положения головы, причем изображение фиксируется с помощью мобильного устройства,

при этом при отображении множества изображений точек обзора, фиксированных с множества точек обзора с использованием способа параллельного глубокого фокусирования, модуль управления отображением выполнен с возможностью регулировать точку схождения между изображениями точек обзора на основе скорости движения движущегося мобильного устройства.

2. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью вырезать область, соответствующую положению головы, из широкоугольного изображения, фиксируемого мобильным устройством, и отображать вырезанную область на модуле отображения.

3. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью отображения изображения так, что расстояние между точками обзора соответствует операции изменения масштаба изображения в модуле отображения.

4. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью наложения изображения дополненной реальности на изображение реального мира, фиксируемое мобильным устройством, перед отображением изображения.

5. Устройство отображения изображения по п. 4, в котором модуль управления отображением выполнен с возможностью отображения изображения дополненной реальности, соответствующего текущему местоположению мобильного устройства, и/или объекту, включенному в фиксируемое изображение, и/или состоянию мобильного устройства.

6. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью отображения информации о местоположении вокруг мобильного устройства и пользователя.

7. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью переключения отображаемого изображения между изображениями, фиксируемыми с множества положений точек обзора мобильного устройства, в соответствии с положением головы.

8. Система отображения изображения, содержащая:

мобильное устройство, выполненное с возможностью фиксации изображения во время движения, и

устройство отображения изображения по любому из пп. 1–7.

9. Система отображения изображения по п. 8, в которой направление линии обзора модуля камеры мобильного устройства смещено по меньшей мере в одном из направлений, таком как направление панорамной съемки, наклон и качание из стороны в сторону относительно положения головы.

10. Система отображения изображения по п. 8, в которой устройство отображения изображения дополнительно содержит

модуль обратной связи для восприятия операции, выполненный с возможностью создания восприятия операции у пользователя через тактильное ощущение или вибрацию,

при этом обратная связь для пользователя основана на ускорении, которому подвергается мобильное устройство при движении.

11. Система отображения изображения по п. 8, в которой модуль управления отображением дополнительно выполнен с возможностью отображения изображения, фиксируемого устройством автоматического слежения, выполненным с возможностью фиксации изображения при отслеживании мобильного устройства.

12. Система отображения изображения по п. 8, в которой устройство отображения изображения дополнительно содержит

модуль получения изображения линии собственного обзора, выполненный с возможностью получения изображения линии собственного обзора, видимого на линии обзора пользователя,

при этом модуль управления отображением выполнен с возможностью переключения отображаемого изображения между изображением на линии обзора движущегося объекта, фиксируемым мобильным устройством, и изображением линии собственного обзора.

13. Система отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью коррекции тряски на движущемся изображении, фиксируемом мобильным устройством, перед отображением движущегося изображения.

14. Система отображения изображения по п. 8, в которой мобильное устройство содержит:

модуль камеры;

платформу камеры, выполненную с возможностью управления направлением линии обзора модуля камеры;

модуль движения, выполненный с возможностью перемещения устройства, и

модуль связи, выполненный с возможностью передачи данных, включающих в себя изображение, фиксируемое модулем камеры,

при этом модуль камеры включает в себя множество камер, выполненных с возможностью формирования изображений с использованием способа параллельного глубокого фокусирования, причем камеры имеют разные точки обзора.

15. Система отображения изображения по п. 14, в которой мобильное устройство выполнено с возможностью фиксации изображения "всего неба" посредством изменения расстояния между точками обзора и камер с разными точками обзора.

16. Система отображения изображения по п. 14, в которой мобильное устройство выполнено с возможностью экстраполяции изображения за пределами точек обзора камер на основе изображений, фиксируемых камерами с разными точками обзора при фиксированном расстоянии между точками обзора.

17. Способ отображения изображения, содержащий:

этап детектирования положения, на котором детектируют положение головы пользователя, и

этап управления отображением, на котором управляют отображением изображения на основе положения головы, причем изображение фиксируют мобильным устройством,

при этом этап управления дополнительно содержит этап, на котором при отображении множества изображений точек обзора, фиксированных с множества точек обзора с использованием способа параллельного глубокого фокусирования, регулируют точку схождения между изображениями точек обзора на основе скорости движения движущегося мобильного устройства.

18. Устройство хранения данных, хранящее компьютерную программу, записанную в формате, считываемом компьютером, причем компьютерная программа вызывает выполнение компьютером функций:

модуля детектирования положения, выполненного с возможностью детектирования положения головы пользователя, и

модуля управления отображением, выполненного с возможностью управления отображением изображения на основе положения головы, причем изображение фиксируется мобильным устройством,

при этом при отображении множества изображений точек обзора, фиксированных с множества точек обзора с использованием способа параллельного глубокого фокусирования, модуль управления отображением выполнен с возможностью регулировать точку схождения между изображениями точек обзора на основе скорости движения движущегося мобильного устройства.