Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству и способу генерирования и коррекции изображения.
Уровень техники
Пользователь надеваемого на голову устройства отображения, соединенного с игровой машиной, носил бы надеваемое на голову устройство отображения на голове и управлял бы контроллером или тому подобным таким образом, чтобы играть в игру, наблюдая при этом экранное изображение, отображаемое на надеваемом на голову устройстве отображения. В обычном устройстве отображения, относящемся к установочному типу, соединенном с игровой машиной, пределы поля зрения пользователя распространяются также вовне экранного изображения устройства отображения. Поэтому, пользователь не может иногда сконцентрировать свое внимание на экранном изображении на этом устройстве отображения или иногда испытывает в недостаток ощущения погруженности в игру. В этом отношении, если надето надеваемое на голову устройство отображения, то пользователь не смотрит ни на что другое, кроме изображения, отображаемого на надеваемом на голову устройстве отображения. Следовательно, имеет место то, что ощущение погруженности в видеомир усиливается, и развлекательное свойство игры дополнительно усиливается.
Кроме того, если надеваемое на голову устройство отображения сконфигурировано таким образом, что, когда на надеваемом на голову устройстве отображения отображается панорамное изображение, и пользователь, на которого надето надеваемое на голову устройство отображения, поворачивает свою голову, на надеваемом на голову устройстве отображения отображается панорамное изображение или виртуальное пространство, более чем 360 градусов, то ощущение погруженности в видеоизображение дополнительно усиливается, и также повышается удобство использования приложения, такого как игра.
Раскрытие изобретения
Техническая проблема
Если надеваемое на голову устройство отображения имеет, таким образом, функцию отслеживания положения головы и точка наблюдения или направление наблюдения изменяется во взаимосвязанной зависимости с перемещением головы пользователя для генерирования панорамного изображение, то существует некоторое запаздывание от генерирования до отображения панорамного изображения. Следовательно, имеет место некоторое смущение между предполагаемым направлением головы пользователя при формировании панорамного изображения и направлением головы пользователя в момент времени, в который панорамное изображение отображается на надеваемом на голову устройстве отображения. Следовательно, у пользователя иногда возникает ощущение "пребывания в опьяненном состоянии".
Настоящее изобретение было сделано ввиду такой проблемы, как описана выше, и задача настоящего изобретение заключается в том, чтобы предложить устройство генерирования изображения и способ генерирования изображения, которые могут отображать скорректированное изображение, запаздывание которого от генерирования до отображения изображения уменьшено.
Решение проблемы
Для решения описанной выше проблемы устройство генерирования изображения, соответствующее некоторому аспекту настоящего изобретения, включает в себя: блок получения для получения информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения; блок генерирования изображения для генерирования изображения с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученных в некоторый момент времени блоком получения; и блок обработки данных при коррекции для приема от блока получения, информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленной в другой момент времени, и, использования указанной обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения для коррекции изображения, сгенерированное блоком генерирования изображения.
Также другой аспект настоящего изобретение представляет собой устройство генерирования изображения. Это устройство представляет собой устройство генерирования изображения, входящее в состав клиента, соединенного через сеть с сервером, и включает в себя: блок получения для получения информации о поле зрения, включающей в себя информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения; и блок обработки данных при коррекции для приема, от сервера, изображения, сгенерированное с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученную в некоторый момент времени блоком получения, приема от блока получения информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленной в другой момент времени, и коррекции, используя эту обновленную информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, принятого изображения.
Кроме того, дополнительный аспект настоящего изобретения представляет собой устройство генерирования изображения. Это устройство включает в себя: блок получения для получения информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота головы пользователя, который носит на себе надеваемое на голову устройство отображения; блок генерирования изображения для генерирования изображения, подлежащего отображению на надеваемом на голову устройстве отображения, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в некоторый момент времени блоком получения; и блок обработки данных при коррекции для приема от блока получения обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота в другой момент времени, и коррекции с использованием обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, изображения, сгенерированное блоком генерирования изображения.
Еще один дополнительный аспект настоящего изобретение представляет собой способ генерирования изображения. Этот способ включает в себя: этап получения, на котором получают информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения; этап генерирования изображения, на котором генерируют изображение, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в некоторый момент времени на этапе получения; и этап обработки данных при коррекции, на котором принимают информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленную в другой момент времени, и осуществляют коррекцию с использованием обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, изображения, сгенерированное на этапе генерирования изображения.
Кроме того, еще один дополнительный аспект настоящего изобретения представляет собой способ генерирования изображения. Этот способ включает в себя: этап получения, на котором получают информацию, относящуюся к по меньшей мере одному параметру из: местоположения и поворота головы пользователя, который носит на себе надеваемое на голову устройство отображения; этап генерирования изображения, на котором генерируют изображение, подлежащее отображению на надеваемом на голову устройстве отображения, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в некоторый момент времени на этапе получения; и этап обработки данных при коррекции, на котором принимают обновленную информацию, относящуюся к по меньшей мере одному параметру из: местоположения и поворота в другой момент времени, и осуществляют коррекцию, с использованием обновленной информации, относящейся к местоположению и повороту, изображения, сгенерированное на этапе генерирования изображения.
Следует отметить, что также и произвольное сочетание компонентов, описанных выше, и результатов преобразования представления настоящего изобретения между способом, устройством, системой, компьютерной программой, структурой данных, носителем записи и так далее имеют силу как формы настоящего изобретения.
Полезный результат изобретения
Благодаря настоящему изобретению, скорректированное изображение, запаздывание которого от генерирования до отображения изображения уменьшено.
Краткое описание чертежей
Фиг. 1 представляет собой внешний вид надеваемого на голову устройства отображения.
Фиг. 2 представляет собой функциональную структурную схему надеваемого на голову устройства отображения.
Фиг. 3 представляет собой вид, на котором изображена конфигурация системы генерирования панорамного изображения, соответствующей некоторому варианту воплощения изобретения.
Фиг. 4 представляет собой функциональную структурную схему устройства генерирования панорамного изображения, соответствующую этому варианту воплощения изобретения.
Фиг. 5 представляет собой вид, на котором проиллюстрировано панорамное изображение, отображаемое на надеваемом на голову устройстве отображения.
Фиг. 6 представляет собой вид, на котором проиллюстрирована причина, по которой для панорамного изображения, подлежащего отображению на надеваемом на голову устройстве отображения, требуется процесс коррекции.
Фиг. 7 представляет собой схему последовательности операций, на которой проиллюстрирован традиционный процесс генерирования изображения, при котором процесс коррекции не выполняется.
Фиг. 8 представляет собой схему последовательности операций, на которой проиллюстрирован процесс генерирования изображения, который включает в себя процесс коррекции, соответствующий этому варианта воплощения изобретения.
Фиг. 9А представляет собой вид, на котором проиллюстрирована зависимость между системой координат отслеживания и системой координат надеваемого на голову устройства отображения.
Фиг. 9В представляет собой вид, на котором проиллюстрирована зависимость между системой координат надеваемого на голову устройства отображения и системой координат поля зрения.
Фиг. 10 представляет собой вид, на котором проиллюстрировано поле зрения пользователя, который носит на себе надеваемое на голову устройство отображения.
Фиг. 11 представляет собой блок-схему алгоритма, на которой проиллюстрирован процесс генерирования панорамного изображения, выполняемый устройством генерирования панорамного изображения, показанным на Фиг. 4.
Фиг. 12 представляет собой вид, на котором проиллюстрирован процесс коррекции изображения, соответствующий этому варианту воплощения изобретения.
Фиг. 13 представляет собой вид, на котором проиллюстрирован процесс коррекции изображения, соответствующий некоторой модификации этого варианта воплощения изобретения.
Осуществление изобретения
Первый вариант воплощения изобретения
Фиг. 1 представляет собой внешний вид надеваемого на голову устройства 100 отображения. Надеваемое на голову устройство 100 отображения включает в себя блок 110 основного корпуса, блок 120, контактирующий с передней частью головы, и части 130, контактирующие с боковой частью головы.
Надеваемое на голову устройство 100 отображения представляет собой устройство отображения, которое надевается на голову пользователя таким образом, что пользователь воспринимает неподвижное изображение или движущееся изображение, отображаемое на устройстве отображения, и слышит звук, музыку или тому подобное, выводимые из головного телефона.
Информация о местоположении пользователя может быть измерена датчиком местоположения, таким как GPS (Глобальная система определения местоположения), встроенным в надеваемое на голову устройство 100 отображения или смонтированным на нем внешним образом. Кроме того, информация о позе, такая как угол поворота или наклона головы пользователя, который носит на себе надеваемое на голову устройство 100 отображения, может быть измерена датчиком позы, встроенным в надеваемое на голову устройство 100 отображения или смонтированным на нем внешним образом.
Блок 110 основного корпуса включает в себя устройство отображения, датчик получения информации о местоположении, датчик позы, аппарат связи и так далее. Блок 120, контактирующий с передней частью головы, и части 130, контактирующие с боковой частью головы, могут иметь, в качестве необязательных компонентов, датчики получения биологической информации, которые могут измерять биологическую информацию, такую как информация о температуре тела, частоте пульса, компонентах крови, потоотделении, мозговых волнах и мозговом кровообращении пользователя.
Надеваемое на голову устройство 100 отображения может, кроме того, включать в себя фотокамеру для съемки изображения глаз пользователя. Посредством этой фотокамеры, включенной в состав надеваемого на голову устройства 100 отображения, могут быть определены линия взгляда, движение зрачков, моргание глаз и т.д. пользователя.
Теперь опишем способ генерирования изображения, подлежащего отображению на надеваемом на голову устройстве 100 отображения. Способ генерирования изображения, соответствующий настоящему варианту воплощения изобретения может быть применен не только к надеваемому на голову устройству 100 отображения, понимаемому в узком смысле, но также и к случаю, в которых надеваются очки, устройства отображения типа "очки", фотокамера типа "очки", головной телефон, головная гарнитура (головной телефон с микрофоном), наушники, серьги, фотокамера, устанавливаемая на ухе, шлем, шлем с микрофоном, повязка для волос или тому подобное.
Фиг. 20 представляет собой функциональную структурную схему надеваемого на голову устройства 100 отображения.
Управляющий блок 10 представляет собой процессор, который обрабатывает и выводит сигнал, такой как сигнал изображения или сигнал датчика, команды или данные. Входной интерфейс 20 получает от сенсорной панели и контроллера сенсорной панели сигнал операции или сигнал настройки и подает принятый сигнал на управляющий блок 10. Выходной интерфейс 30 получает от управляющего блока 10 сигнал изображения и заставляет устройство отображения отображать сигнал изображения. Подсветка 32 обеспечивает подсветку жидкокристаллическому устройству отображения.
Блок 40 управления связью передает данные, введенные в него из управляющего блока 10, вовне посредством проводной или беспроводной связи через сетевой адаптер 42 или антенну 44. Кроме того, блок 40 управления связью принимает посредством проводной или беспроводной связи через сетевой адаптер 42 или антенну 44 данные извне и выводит эти данные в управляющий блок 10.
Запоминающий блок 50 временно хранит данные или параметр, сигнал операции и т.д., обрабатываемые управляющим блоком 10.
Блок 60 GPS (Глобальной системы определения местоположения) принимает информацию о местоположении со спутников системы GPS и подает информацию о местоположении в управляющий блок 10 в соответствии с сигналом операции, поступающим от управляющего блока 10. Блок 62 беспроводной связи принимает информацию о местоположении от базовой станции беспроводной связи и подает информацию о местоположении в управляющий блок 10 в соответствии с сигналом операции, поступающим от управляющего блока 10.
Датчик 64 позы определяет информацию о позе, такую как угол поворота или наклона блока 110 основного корпуса надеваемого на голову устройства 100 отображения. Датчик 64 позы реализован посредством подходящего сочетания гироскопического датчика, датчика ускорения, датчика углового ускорения и так далее.
Интерфейс 70 внешних оконечных устройств ввода/вывода представляет собой интерфейс для подсоединения периферийного аппарата, такого как контроллер USB (Универсальной последовательной шины). Внешняя память 72 представляет собой внешнюю память, такую как флэш-память.
Блок 80 синхронизации задает временную информацию в ответ на задающий сигнал от управляющего блока 10 и подает данные о времени в управляющий блок 10.
Управляющий блок 10 может подавать данные изображения или текстовые данные на выходной интерфейс 30 так, чтобы они отображались на устройстве отображения, или может подавать данные изображения или текстовые данные в блок 40 управления связью, чтобы они были переданы вовне.
Фиг. 3 представляет собой вид, на котором изображена конфигурация системы генерирования панорамного изображения, соответствующей некоторому варианту воплощения изобретения. Надеваемое на голову устройство 100 отображения соединено с игровой машиной 200 посредством интерфейса для соединения периферийного аппарата посредством беспроводной связи или USB. Игровая машина 200 может быть, кроме того, соединена с сервером через сеть. В этом случае, сервер может предоставлять, игровой машине 200 приложение в режиме прямого доступа, представляющее собой игру или тому подобное, в которой через сеть могут участвовать множество пользователей. Надеваемое на голову устройство 100 отображения может быть соединено с компьютером или портативным оконечным устройством, а не с игровой машиной 200.
Фиг. 4 представляет собой функциональную структурную схему устройства 700 генерирования панорамного изображения, соответствующую этому варианту воплощения изобретения. На Фиг. 4 изображена структурная схема, на которой внимание обращено на функции. Функциональные блоки могут быть реализованы в разнообразных формах только из аппаратных средств, только из программных средств или из их сочетания.
Устройство 700 генерирования панорамного изображения включен в состав игровой машины 200, с которой соединено надеваемое на голову устройство 100 отображения. Однако, по меньшей мере, часть функций устройства 700 генерирования панорамного изображения может быть включена в состав управляющего блока 10 надеваемого на голову устройства 100 отображения. В частности, функции блока 780 обработки данных при коррекции, описываемого далее, могут быть включены в состав стороны надеваемого на голову устройство 100 отображения. В качестве альтернативы, по меньшей мере, часть функций устройства 700 генерирования панорамного изображения может быть включена в состав сервера, соединенного с игровой машиной 200 через сеть.
Блок 710 получения команды трансфокации получает кратность увеличения трансфокации, команду на которую отдает пользователь через входной интерфейс 20 надеваемого на голову устройства 100 отображения. Кратность увеличения при трансфокации, полученная блоком 710 получения команды трансфокации, подается в блок 720 регулирования чувствительности и в блок 750 обработки панорамного изображения.
Блок 730 получения информации о местоположении и повороте получает информацию, относящуюся к местоположению и повороту головы пользователя, который носит на себе надеваемое на голову устройство 100 отображения, на основе информации о местоположении, определенной посредством блока 60 GPS (Глобальной системы определения местоположения) или датчика перемещения надеваемого на голову устройства 100 отображения, и информации о позе, определенной посредством датчика 64 позы. Местоположение головы пользователя может быть получено посредством определения, фотокамерой игровой машины 200, перемещения надеваемого на голову устройства 100 отображения.
Блок 730 получения информации о местоположении и повороте получает данные о местоположении и повороте головы пользователя, основываясь на чувствительности, заданной посредством блока 720 регулирования чувствительности. Например, если пользователь поворачивает шею, то датчик 64 позы определяет изменение углового положения головы пользователя. Таким образом, блок 720 регулирования чувствительности отдает блоку 730 получения информации о местоположении и повороте команду игнорировать изменение этого определяемого угла до тех пор, пока это изменение угла не превысит некоторое предварительно заданное значение.
Кроме того, блок 720 регулирования чувствительности регулирует чувствительность для определения углового положения головы, основываясь на данных о кратности увеличения при трансфокации, полученных от блока 710 получения команды трансфокации. По мере возрастания кратности увеличения при трансфокации, чувствительность для определения углового положения головы снижается. Если выполняется трансфокация, то поскольку угол поля зрения уменьшается, то колебание отображаемого изображения, вызванное качанием головки, может быть подавлено посредством снижения чувствительности обнаружения углового положения головы.
В качестве датчика перемещения, для определения перемещений головы пользователя в направлении "вперед - назад", в направлении "влево - вправо" и в направлении "вверх - вниз", может быть использовано сочетание из, по меньшей мере, одного из: трехкоординатного геомагнитного датчика, трехкоординатного датчика ускорения и трехкоординатного гироскопического датчика (датчика угловой скорости). В качестве альтернативы, информация о местоположении головы пользователя может быть скомбинирована для повышения чувствительность определения перемещения головы.
Блок 740 координатного преобразования использует данные о местоположении и повороте надеваемого на голову устройства 100 отображения, полученные посредством блока 730 получения информации о местоположении и повороте, для того, чтобы выполнить координатное преобразование для генерирования изображения, подлежащего отображению на надеваемом на голову устройстве 100 отображения, имеющем функцию отслеживания.
Блок 750 обработки панорамного изображения считывает данные панорамного изображения из блока 760 хранения панорамного изображения, формирует панорамное изображение с кратностью увеличения при трансфокации, указанной из блока 710 получения команды трансфокации в ответ на данные о местоположении и повороте надеваемого на голову устройства 100 отображения, в соответствии с координатным преобразованием, выполненным блоком 740 координатного преобразования, и предоставляет панорамное изображение блоку 780 обработки данных при коррекции. При этом, данные панорамного изображения могут иметь содержимое, представляющее собой движущееся изображение или неподвижное изображение, созданные заранее или могут представлять собой воспроизводимую компьютерную графику.
Блок 780 обработки данных при коррекции получает от блока 730 получения информации о местоположении и повороте обновленные данные о самом последнем местоположении и повороте надеваемого на голову устройства 100 отображения и, используя эти обновленные данные о самых последних местоположении и повороте, корректирует изображение, сгенерированное блоком 750 обработки панорамного изображения. Ниже описываются подробности процесса коррекции.
Блок 780 обработки данных при коррекции предоставляет изображение после того, как оно скорректировано, в блок 770 предоставления изображения. Блок 770 предоставления изображения подает данные панорамного изображения, сгенерированные блоком 750 обработки панорамного изображения, в надеваемое на голову устройство 100 отображения.
Фиг. 5 представляет собой вид, на котором проиллюстрировано панорамное изображение 500, отображаемое на надеваемом на голову устройстве 100 отображения. Когда пользователь обращен к левому фронту по отношению к панорамному изображению 500, отображается изображение 510 а, входящее в состав диапазона угла 150 а поля зрения в этом направлении надеваемого на голову устройства 100 а отображения, но когда пользователь поворачивает шею и обращается к правому фронту, отображается изображение 510 b, входящее в состав диапазона угла 150 b поля зрения в этом направлении надеваемого на голову устройства 100 b отображения.
Поскольку точка наблюдения и направление наблюдения, с которой и в котором рассматривается панорамное изображение, отображаемое на надеваемом на голову устройстве 100 отображения, изменяются в ответ на перемещение головы, выполненное таким образом, ощущение погруженности в панорамное изображении может повыситься.
Фиг. 6 представляет собой вид, на котором проиллюстрирована причина, по которой для панорамного изображения, подлежащего отображению на надеваемом на голову устройстве 100 отображения, требуется процесс коррекции. Если пользователь поворачивает шею и обращается к правому фронту, то генерируется и отображается на надеваемом на голову устройстве 100 отображения изображение 510 b, входящее в состав диапазона угла 150 b поля зрения в этом направлении надеваемого на голову устройства 100 b отображения. Однако в момент времени, в который отображается изображение 510 b, местоположение и поворот надеваемого на голову устройства 100 отображения уже показывают некоторое изменение, как это обозначено посредством ссылочной позиции 150 с. Следовательно, хотя изначально на надеваемом на голову устройстве 100 с отображения необходимо отображать изображение, которое наблюдается в пределах угла 150 с поля зрения, сгенерированное и отображаемое изображение на самом деле представляет собой изображение, которое наблюдается в диапазоне угла 150 b поля зрения в направлении надеваемого на голову устройства 100 отображения, имеющем место в немного более ранний момент времени. Вследствие этого смещения в результате временной разницы, на надеваемом на голову устройстве 100 отображения отображается изображение в направлении, немного смещенном от направления, в котором смотри пользователь, и пользователь иногда испытывает чувство своего рода "пребывания в опьяненном состоянии".
В настоящем варианте воплощения изобретения, для устранения это смещения, выполняется процесс для корректировки сгенерированного изображения. Сначала, для сравнения, опишем со ссылкой на Фиг. 7 традиционный процесс генерирования изображения, при котором процесс коррекции не выполняется, после чего со ссылкой на Фиг. 8 опишем процесс коррекции, соответствующий настоящему варианту воплощения изобретения.
Фиг. 7 представляет собой схему последовательности операций, на которой проиллюстрирован традиционный процесс генерирования изображения, при котором процесс коррекции не выполняется.
Устройство 700 генерирования панорамного изображения выполняет приготовления для того, чтобы ресурсы, такие как трехмерный объект или текстура получили данные о местоположении p1 и повороте q1 надеваемого на голову устройства 100 отображения, имеющих место на момент t1 времени. Одновременно с приготовлениями ресурса, устройство 700 генерирования панорамного изображения выполняет процесс для воспроизведения изображения, основанного на местоположении p1 и повороте q1, имеющих место на момент времени t1. Например, в случае, при котором воспроизведение выполняется с частотой 60 кадров/секунду, для генерирования изображения одного кадра требуются приблизительно 16 миллисекунд.
Изображение, сгенерированное устройством 700 генерирования панорамного изображения, подается в надеваемое на голову устройство 100 отображения. Надеваемое на голову устройство 100 отображения и устройство 700 генерирования панорамного изображения соединены друг с другом посредством проводного соединения или беспроводного соединения, и для подачи изображения от устройства 700 генерирования панорамного изображения в надеваемое на голову устройству 100 отображения требуется некоторое фиксированное время передачи. В случае, при котором устройство 700 генерирования панорамного изображения и надеваемое на голову устройство 100 отображения соединены друг с другом посредством сети, имеет место некоторая сетевая задержка.
Надеваемое на голову устройство 100 отображения получает изображение, сгенерированное устройством 700 генерирования панорамного изображения и выполняет процесс отображения, такого как развертка для отображения изображение на своей панели. Процесс отображения порождает задержку, и изображение отображается в момент t' времени.
Таким образом, от того, как данные о местоположении p1 и повороте q1 надеваемого на голову устройства 100 отображения предоставлены аппарату 700 генерирования панорамного изображения в момент t1 времени, до того, как изображение будет отображено на панели в надеваемом на голову устройстве 100 отображения в момент t' времени, требуется некоторый фиксированный промежуток времени для воспроизведения, передачи изображения и процесса отображения, и имеет место некоторое запаздывание, как это изображено на Фиг. 7. Также между моментом t1 времени, в который данные о местоположении и повороте надеваемого на голову устройства 100 отображения предоставляются для генерирования изображения, и моментом t' времени, в который изображение отображается на надеваемом на голову устройстве 100 отображения, пользователь, который носит на себе надеваемое на голову устройство 100 отображения, перемещается или изменяет свою позу. В результате этого, пользователь приходится смотреть на изображение, основанное на местоположении и повороте надеваемого на голову устройства 100 отображения, имевшими место в прошлом с временной разницей Δt=t'-t1, и пользователь, вследствие смещения между местоположением и поворотом, на которых основывается отображаемое изображение, и местоположением и поворотом, имеющим место на настоящий момент времени, испытывал бы чувство "пребывания в опьяненном состоянии".
Фиг. 8 представляет собой схему последовательности операций, на которой проиллюстрирован процесс генерирования изображения, который включает в себя процесс коррекции, соответствующий данному варианту воплощения изобретения.
Процесс генерирования изображения до тех пор, пока устройство 700 генерирования панорамного изображения не получит данные о местоположении p1 и повороте q1, имеющих место на момент t1 времени, и не выполнит процессы подготовки ресурса и воспроизведения и затем не предоставит сгенерированное изображение надеваемому на голову устройству 100 отображения, аналогичен традиционному процессу генерирования изображения, показанному на Фиг. 7. В данном варианте воплощения изобретения, в момент t2 времени, в который устройство 700 генерирования панорамного изображения предоставляет изображение надеваемому на голову устройству 100 отображения, для сгенерированного изображения выполняется процесс коррекции. Этот процесс коррекции может быть выполнен любым устройством из числа: надеваемого на голову устройства 100 отображения и устройства 700 генерирования панорамного изображения. В случае, при котором надеваемое на голову устройство 100 отображения имеет достаточные производительность по обработке данных, процесс коррекции может выполняться надеваемым на голову устройством 100 отображения. Однако, если это не так, то процесс коррекции выполняет устройство 700 генерирования панорамного изображения, и он подает изображение после коррекции в надеваемое на голову устройство 100 отображения.
В ходе процесса коррекции, получают информацию о местоположении р2 и повороте q2 надеваемого на голову устройства 100 отображения, имеющих место на момент t2 времени, в который сгенерировано изображение, и изображение корректируется на основе смещения в местоположении и повороте надеваемого на голову устройства 100 отображения между моментом t1 времени при начале воспроизведения и самым последним моментом t2 времени. Надеваемое на голову устройство 100 отображения выполняет процесс отображения скорректированного изображения, отображая это изображение на панели. Следовательно, наблюдаемое запаздывание уменьшается до разницы между моментом t2 времени и моментом t' времени, как это изображено на Фиг. 11.
Ниже, при описании процесса коррекции, соответствующего данному варианту воплощения изобретения, сначала описываются необходимые для этого технические вопросы.
1. Система координат
Фигуры 9А и 9В представляют собой виды, на которых проиллюстрированы системы координат, используемые надеваемым на голову устройством 100 отображения. Надеваемое на голову устройство 100 отображения использует систему 802 координат отслеживания, систему 804 координат надеваемого на голову устройства отображения и систему 806 координат поля зрения в направлении "влево - вправо".
Фиг. 9А представляет собой вид, на котором проиллюстрирована зависимость между системой 802 координат отслеживания и системой 804 координат надеваемого на голову устройства отображения.
Система 802 координат отслеживания представляет собой систему координат, которая составляет базу отсчета для местоположения р и поворота q надеваемого на голову устройства 100 отображения. Система 802 координат отслеживания может представлять собой Декартову систему координат, и ее оси могут быть выбраны в любых направлениях, и также начало координат может быть определено произвольным образом. Выбирается система координат, которая удобна для датчиков, принятых в надеваемом на голову устройстве 100 отображения. Например, после запуска приложения, такого как игра, пользователя, который носит на себе надеваемое на голову устройство 100 отображения, можно заставить принять некоторую исходную позу в некотором исходном местоположении, после чего из информации с датчиков надеваемого на голову устройства 100 отображения получают исходное местоположение р0 и исходный поворот q0 надеваемого на голову устройства 100 отображения для того, чтобы определить систему 802 координат отслеживания.
В качестве альтернативы, пользователь может иметь в руке контроллер 350 перемещения, относящийся к игровой машине 200. Пользователь оперировал бы контроллером 350 перемещения в состоянии, в котором на нем надето надеваемое на голову устройство 100 отображения. В зависимости от игрового приложения, может перемещаться рука, в то время как в ней удерживается контроллер 350 перемещения, или может перемещаться тело. Контроллер 350 перемещения включает в себя трехкоординатный гироскопический датчик, трехкоординатный датчик ускорения и датчик геомагнетизма.
В контроллере 350 перемещения применен маркер 300. Местоположение маркера 300 определяется посредством фотокамеры, соединенной с игровой машиной 200, и трехмерные координаты маркера 300 могут быть точно указаны вместе с информацией о местоположении, полученной от датчиков контроллера 350 перемещения. Благодаря установке системы 802 координат отслеживания надеваемого на голову устройства 100 отображения в трехмерные координаты маркера 300, местоположение и поза виртуального объекта, которым управляет перемещение контроллера 350 перемещения, и точка наблюдения и направление наблюдения с которой и в котором рассматривается панорамное изображение 500, управляемое перемещением надеваемого на голову устройства 100 отображения, могут быть обработаны синхронным образом.
Система 804 координат надеваемого на голову устройства отображения представляет собой перемещающуюся систему координат, предназначенную для представления местоположения устройства, такого как панель отображения, расположенная на надеваемом на голову устройстве 100 отображения, которое носит на себе пользователь. Хотя нет никаких ограничений в отношении начала координат и осей, для удобства описания начало координат определено таким образом, чтобы представлять собой центр головы пользователя. Тем временем, оси определены таким образом, чтобы, в состоянии, в котором пользователь носит на себе надеваемое на голову устройство 100 отображения, направление "вверх" в составе направления "вверх и вниз" было определено как ось Y; направление "вправо" от передней части определено как ось X; и направление к этой стороне от передней части определено как ось Z.
Пользователь перемещался бы в реальном пространстве, изменял бы направление тела или поворачивал бы голову в этом состоянии, в котором он носит на себе надеваемое на голову устройство 100 отображения. После запуска приложения, надеваемое на голову устройство 100 отображения, которое имеет исходное местоположение р0 и исходный поворот q0, перемещается с течением времени, и в настоящее время, надеваемое на голову устройство 100 отображения имеет местоположение р и поворот q, как это изображено на Фиг. 9А.
Фиг. 9В представляет собой вид, на котором проиллюстрирована зависимость между системой координат 804 надеваемого на голову устройства отображения и системой координат 806 поля зрения.
Система 804 координат надеваемого на голову устройства отображения представляет собой систему координат, в которой макушка головы пользователя, который носит на себе надеваемое на голову устройство 100 отображения является началом координат, в то время как направление "вверх" представляет собой ось Y; направление "вправо" от передней части представляет собой ось X; и направление к этой стороне от передней части представляет собой ось Z. С другой стороны, система 806 координат поля зрения представляет собой систему координат для определения направления отображений для левого глаза и правого глаза. Направление "вправо" от одного из левого и правого глаз определено как ось X; направление "вверх" - как ось Y; и направление к этой стороне от передней части - как ось Z.
2. Координатное преобразование
Для того, чтобы отображать изображение на панели надеваемого на голову устройства 100 отображения, вводятся три координатных преобразования. Все три координатных преобразования представляют собой аффинные преобразования.
Сначала, система координат генерирования изображения (в CG (Компьютерной графике), система координат фотокамеры) преобразовывается в систему 802 координат отслеживания. Следовательно, система координат вида (открывающейся взгляду картины), когда реальный мир или виртуальный мир, в котором существуют некоторый реальный или виртуальный объект, отображается на систему координат отслеживания, которая представляет исходное местоположение и исходный поворот надеваемого на голову устройства 100 отображения.
Затем, из информации с датчиков получают значения (на настоящий момент времени) местоположения р и поворота q надеваемого на голову устройства 100 отображения, и система 802 координат отслеживания преобразуется в систему 804 координат надеваемого на голову устройства отображения. Следовательно, исходное местоположение и исходный поворот надеваемого на голову устройства 100 отображения преобразуются в местоположение и поворот на настоящий момент времени.
Наконец, система 804 координат надеваемого на голову устройства отображения преобразуется в систему 806 координат поля зрения. Это преобразование представляет собой преобразование, которое зависит от человека, носящего на себе надеваемое на голову устройство 100 отображения и состояния, в котором надеваемое на голову устройство 100 отображения надето и закреплено, притом что надеваемое на голову устройство 100 отображения остается надетым на этого человека. Следовательно, система 804 координат надеваемого на голову устройства отображения преобразуется в систему координат, подходящую для глаз при использовании надеваемого на голову устройства 100 отображения.
Хотя при генерировании изображения используется координатное преобразование, преобразующее систему 802 координат отслеживания в систему 806 координат поля зрения, осуществляемое через систему 804 координат надеваемого на голову устройства отображения, при процессе коррекции используется координатное преобразование для обратного преобразования системы 806 координат поля зрения в систему 802 координат отслеживания, осуществляемое через систему 804 координат надеваемого на голову устройства отображения.
3. Данные об угле обзора надеваемого на голову устройства 100 отображения
Фиг. 10 представляет собой вид, на котором проиллюстрировано поле зрения пользователя, который носит на себе надеваемое на голову устройство 100 отображения. Поле зрения (поле обзора), простирающееся вертикально и горизонтально от центра глаз, определено четырьмя параметрами: FoVu, FoVb, FoVl и FoVr, и информация об угле обзора определяется арктангенсом с использованием этих параметров. Поскольку поле зрения для правого глаза и поле зрения для левого глаза определяются аналогично друг другу, то используются в общей сложности восемь параметров.
Теперь, дадим краткое описание процедуры для генерирования изображения, подлежащего отображению на надеваемом на голову устройстве 100 отображения, выполняемой устройством 700 генерирования панорамного изображения, соответствующего данному варианту воплощения изобретения. Далее описываются детализированные вычислительные формулы.
Фиг. 11 представляет собой блок - схему алгоритма, на которой проиллюстрирован процесс генерирования панорамного изображения, выполняемый устройством 700 генерирования панорамного изображения.
В качестве процесса инициализации, генерируется (на этапе S 10) матрица координатного преобразования из системы координат генерирования изображения в систему координат отслеживания. Это - работа по определению местоположения и поворота, которые создают базу отсчета для перемещения надеваемого на голову устройства 100 отображения. В положении, указанном пользователем, получают из информации с датчиков надеваемого на голову устройства 100 отображения некоторое начальное местоположение р0 и некоторый начальный поворот q0, и, используя эти полученные значения, определяют матрицу координатного преобразования из системы координат генерирования изображения в систему координат отслеживания. Например, для того, чтобы определить, например, в игре в гонки, позу человека, сидящего в автомобиле в этой игре в качестве некоторой базы отсчета, пользователя заставляют принять позу, в которой он усажен в кресло и направлен вперед при начале гонки, и это местоположение и этот поворот определяются в таком случае в качестве баз отсчета.
Из информации от датчиков надеваемого на голову устройства 100 отображения получают (на этапе S12) местоположение p1 и поворот q1 надеваемого на голову устройства 100 отображения, имеющие место на момент t1 времени. Надеваемое на голову устройство 100 отображения предоставляет (на этапе S 14) данные о местоположении p1 и повороте q1, имеющие место на момент t1 времени, устройству 700 генерирования панорамного изображения.
Устройство 700 генерирования панорамного изображения выполняет (на этапе S 16) воспроизведение изображения, подлежащего отображению на устройстве отображения в надеваемом на голову устройстве 100 отображения при местоположении p1 и повороте q1, имеющих место на момент t1 времени.
В частности, блок 730 получения информации о местоположении и повороте получает от надеваемого на голову устройства 100 отображения данные о местоположении p1 и повороте q1, имеющих место на момент t1 времени. Блок 740 координатного преобразования выполняет преобразование из системы координат генерирования изображения (системы координат фотокамеры) в систему 806 координат поля зрения, осуществляемое через систему 802 координат отслеживания и систему 804 координат надеваемого на голову устройства отображения, и блок 750 обработки панорамного изображения воспроизводит панорамное изображение для каждого из левого и правого глаз. Здесь, при преобразовании из системы 802 координат отслеживания в систему 804 координат надеваемого на голову устройства отображения, используется афинное преобразование, генерируемое исходя из информации о местоположении p1 и повороте q1 надеваемого на голову устройства 100 отображения, имеющих место на момент t1 времени, полученной блоком 730 получения информации о местоположении и повороте. Угол обзора настраивается по информации об угле обзора, полученной от надеваемого на голову устройства 100 отображения.
После того, как воспроизведение на момент t1 времени, осуществляемое устройством 700 генерирования панорамного изображения, завершено, из информации с датчиков надеваемого на голову устройства 100 отображения получают (на этапе S 18) данные о местоположении р2 и повороте q2 надеваемого на голову устройства 100 отображения, имеющих место на момент t2 времени. Надеваемое на голову устройство 100 отображения предоставляет (на этапе S 20) данные о местоположении р2 и повороте q2, имеющим место на момент t2 времени, устройству 700 генерирования панорамного изображения.
Также, в то время как устройство 700 генерирования панорамного изображения воспроизводит изображение, пользователь, который носит на себе надеваемое на голову устройство 100 отображения, изменяет направление, и, следовательно, местоположение р2 и поворот q2 надеваемого на голову устройства 100 отображения, имеющие место на момент t2 времени, имеют небольшое смещение от, соответственно, местоположения p1 и поворота q1, имеющих место на момент t1 времени.
Устройство 700 генерирования панорамного изображения выполняет (на этапе S 22) процесс для коррекции воспроизведенного изображения для того, чтобы абсорбировать смещение в местоположении и повороте надеваемого на голову устройства 100 отображения, произошедшее между моментом t1 времени и моментом t2 времени.
В частности, блок 730 получения информации о местоположении и повороте получает от надеваемого на голову устройства 100 отображения данные о местоположении р2 и повороте q2, обновленные на самый последний момент t2 времени, и предоставляет эти данные о местоположении р2 и повороте q2 блоку 780 обработки данных при коррекции. Блок 780 обработки данных при коррекции далее получает от блока 730 получения информации о местоположении и повороте данные о местоположении p1 и повороте q1 надеваемого на голову устройства (100) отображения, имеющих место на момент (t1) времени, которые были использованы блоком 740 координатного преобразования для создания аффинного преобразования. Далее, блок 780 обработки данных при коррекции получает данные об угле обзора, представляющие угол поля зрения при воспроизведении для устройства отображения в надеваемом на голову устройстве 100 отображения. Блок 780 обработки данных при коррекции получает сгенерированные изображения от блока 750 обработки панорамного изображения и воспроизводит прямоугольник, основанный на местоположении p1 и повороте q1, имеющих место на момент t1 времени, в системе координат поля зрения, притом, что система координат поля зрения относится к местоположению р2 и повороту q2, имеющим место на момент t2 времени.
Координатами четырех вершин этого прямоугольника в системе координат поля зрения при местоположении p1 и повороте q1, имеющих место на момент (t1) времени, задаются выражениями
(-FoVl×d, FoVu×d, -d)
(-FoVl×d, -FoVb×d, -d)
(FoVr×d, FoVu×d, -d)
(FoVr×d,-FoVb×d, -d)
(см. Фиг. 11). Здесь, в качестве значения d, используется фокусное расстояние оптической системы надеваемого на голову устройства 100 отображения.
Блок 780 обработки данных при коррекции отображает четыре вершины этого прямоугольника на систему координат поля зрения, относящуюся к местоположению р2 и повороту q2, имеющим место на момент t2 времени. Это выполняется посредством такого координатного преобразования, которое описывается ниже.
(A) Сначала, используя значения местоположения p1 и поворота q1, имеющие место на момент t1 времени, осуществляют обратное преобразование системы координат поля зрения в координаты надеваемого на голову устройства отображения, и далее осуществляют обратное преобразование системы координат надеваемого на голову устройства отображения в систему координат отслеживания. В результате этого, система координат поля зрения при наблюдении из местоположения p1 и при повороте q1, имеющих место на момент t1 времени, однократно преобразуется в обратном направлении в систему координат отслеживания, относящуюся к исходному положению р0 и исходному повороту q0.
(B) Затем, используя значения местоположения р2 и поворота q2, имеющие место на момент t2 времени, систему координат отслеживания преобразуют в систему координат надеваемого на голову устройства отображения, и систему координат надеваемого на голову устройства отображения далее преобразуют в систему координат поля зрения. Следовательно, система координат отслеживания, основанная на исходном местоположении р0 и исходном повороте q0, преобразуется в преобразованную систему поля зрения при наблюдении из местоположения р2 и при повороте q2, имеющих место на момент t2 времени.
Если рассматривать все эти координатные преобразования (А) и (В), то считается, что система координат поля зрения в случае, при котором она наблюдается из местоположения p1 и при повороте q1, имеющих место на момент t1 времени, преобразуется в систему координат поля зрения в другом случае, в котором она наблюдается из местоположения р2 и при повороте q2, имеющих место на момент t2 времени.
Если, в прямоугольник в поле зрения, полученном посредством координатного преобразования, выполненного этим способом, вставлено, в качестве текстуры, изображение, сгенерированное в предположении местоположения p1 и поворота q1, имеющих место на момент t1 времени, то полученное в результате изображение представляет собой скорректированное изображение, где оно наблюдается из системы координат поля зрения, относящейся к местоположению р2 и повороту q2, имеющим место в момент t2 времени. Изображение, в котором скорректировано смещение в местоположении и повороте надеваемого на голову устройства 100 отображения, появившееся между моментом t1 времени и моментом t2 времени, можно наблюдать в поле зрения пользователя, имеющем место в настоящий момент времени. Таким образом, запаздывание на временную разницу между моментом t1 времени и моментом t2 времени абсорбируется, и ощущение "пребывания в опьяненном состоянии" у пользователя уменьшается.
Блок 770 предоставления изображения предоставляет (на этапе S 24) данные изображения, скорректированные посредством блока 780 обработки данных при коррекции, надеваемому на голову устройству 100 отображения. Панорамное изображение после коррекции отображается (на этапе S 26) на надеваемом на голову устройстве 100 отображения. После этого, обработка данных возвращается на этап S 12 для повторения процессов на этапах, начинающихся с этапа S 12.
Далее, процесс коррекции, выполняемый блоком 780 обработки данных при коррекции, описывается подробно с использованием математических формул.
В качестве презумпции, предположим, что информацию о местоположении и повороте от абсолютных баз отсчета на надеваемом на голову устройстве 100 отображения могут предоставлять датчики. В качестве датчиков используются блок 60 GPS (Глобальной системы определения местоположения) и датчик 64 позы, имеющиеся на надеваемом на голову устройстве 100 отображения. Кроме того, может использоваться контроллер 350 перемещения. Местоположение р и поворот q изменяются в ответ на перемещение пользователя, который носит на себе надеваемое на голову устройство 100 отображения. Хотя надеваемое на голову устройство 100 отображения представляет собой твердое тело, а не точку, местоположение р определяется как местоположение одной точки, зафиксированной на надеваемом на голову устройстве 100 отображения. В нижеследующем описании, эта зафиксированная точка именуется как центральная точка надеваемого на голову устройства 100 отображения.
Матрица Н местоположения и поворота надеваемого на голову устройства отображения определяется в соответствии с нижеследующими выражениями из матрицы Т параллельного переноса и матрицы R поворота, использующих местоположение р и поворот q надеваемого на голову устройства 100 отображения.
(Выражение 1)
Местоположение р представляет собой трехмерный вектор, а поворот q представляет собой кватернион (кватернион). - р представляет собой результат изменения знака элементов р на отрицательный, a q-1 является сопряженным для q (вещественная часть q оставлена без изменения, в то время как знак мнимой части q изменен на отрицательный).
Следует отметить, что параллельный перенос посредством матрицы Т (р) параллельного переноса определен нижеследующим выражением (2).
(Выражение 2)
Поворот посредством матрицы R (q) поворота определен нижеследующим выражением.
(Выражение 3)
Способ вычисления трехмерного поворота, и т.д., относящийся к компьютерной графике, использующий кватернион, описан в "Introduction to Quaternion for 3D-CG Programmers" (Kogakusha, January, 2004) ("Введении в кватернион для программистов трехмерной компьютерной графики" (Издательство "Когакуся", январь 2004 г.).
[0093] В координатном преобразовании в обычной компьютерной графике, использующем матрицу W преобразования мировых координат, матрицу V преобразования к фотокамере (виду) и матрицу Р перспективного преобразования, точка (х, у, z, 1) системы мировых координат преобразуется в точку (х', у', z', 1) системы координат проекции в соответствии с нижеследующим выражением 4.
(Выражение 4)
Для отображения на устройстве отображения в надеваемом на голову устройстве 100 отображения, местоположение и поворот надеваемого на голову устройства 100 отображения должны отслеживаться, чтобы отображать их на основе местоположения и поворота надеваемого на голову устройства (100) отображения в настоящий момент времени. Следовательно, при генерировании изображения для надеваемого на голову устройства 100 отображения с функцией отслеживания, координатное преобразование в соответствии с выражением, приводимым ниже, выполняется, кроме того, с использованием матрицы В преобразования к базе отсчета отслеживания, матрицы Н местоположения и поворота надеваемого на голову устройства отображения и матрицы D местоположения на отображении. Здесь следует отметить, что показано вычисление, которое не включает в себя процесс коррекции, описанный выше.
(Выражение 5)
Здесь, матрицы В преобразования к базе отсчета отслеживания представляет собой матрицу для преобразования системы координат фотокамеры (вида) в систему 802 координат отслеживания, основанную на исходном положении и исходном повороте надеваемого на голову устройства 100 отображения. Матрица В преобразования к базе отсчета отслеживания может быть определена как матрица, обратная матрице Н местоположения и поворота надеваемого на голову устройства отображения, сгенерированной из информации с датчиков, когда надеваемое на голову устройство 100 отображения помещено в исходное положение р0 и с исходным поворотом q0.
Матрица Н местоположения и поворота надеваемого на голову устройства отображения представляет собой матрицу для преобразования системы 802 координат отслеживания в систему 804 координат надеваемого на голову устройства отображения. Матрица Н(р, q) местоположения и поворота надеваемого на голову устройства отображения генерируется из матрицы Т параллельного переноса и матрицы R поворота с использованием данных о местоположении р и повороте q, полученных от датчиков при запуске воспроизведения, как это было описано выше.
Матрица D местоположения на отображении в надеваемом на голову устройстве отображения представляет собой матрицу для преобразования системы 804 координат надеваемого на голову устройства отображения в систему 806 координат поля зрения. Посредством этой матрицы, точка надеваемого на голову устройства 100 отображения в системе 804 координат надеваемого на голову устройства отображения, началом которой является макушка головы, преобразуется в точку в системе 806 координат поля зрения, началом которой является точка наблюдения пользователя, который носит на себе надеваемое на голову устройство 100 отображения. Эта матрица определяется, исходя из расстояния от центральной точки надеваемого на голову устройства 100 отображения до местоположения глаз пользователя, который носит на себе надеваемое на голову устройство 100 отображения, и угла поворота, на который направление от глаз пользователя к центру устройства отображения наклонено относительно центральной оси надеваемого на голову устройства 100 отображения. Поскольку различие местоположения глаз в зависимости от человека, который носит на себе надеваемое на голову устройство 100 отображения, достаточно мало, то обычно матрица D местоположения на отображении в надеваемом на голову устройстве отображения является постоянной для устройства для надеваемого на голову устройства 100 отображения.
Следует отметить, что, поскольку матрица местоположения на отображении в надеваемом на голову устройстве отображения связана с местоположением глаза, то существуют матрицы местоположения на отображении в надеваемом на голову устройстве отображения, предназначенные для левого глаза и правого глаза, и они используются для того, чтобы генерировать изображения для, соответственно, левого глаза и правого глаза. В зависимости от системы, одно и то же изображение используется для обоих глаз, и в этом случае используется единственная матрица местоположения на отображении в надеваемом на голову устройстве отображения для обоих глаз.
Матрица Р перспективного преобразования представляет собой матрицу для преобразования координаты вида в координату перспективы, и в обычной компьютерной графике угол поля зрения определяется свободно. Однако в надеваемом на голову устройстве 100 отображения, угол поля зрения настраивается на угол поля зрения человека, носящего на себе надеваемое на голову устройство 100 отображения. Матрица Р перспективного преобразования определяется как выражение, приводимое ниже, с использованием четырех параметров FoVu, FoVb, FoVl и FoVr, указывающих угол обзора пользователя.
(Выражение 6)
Здесь, α и β зависят от отсечения глубины, и ±1 зависит от того, является ли система координат левой или правой. Поскольку углы поля зрения для левого глаза и правого глаза иногда отличаются друг от друга (обычно эти углы поля зрения являются симметрическими друг к другу в горизонтальном направлении), то матрица Р перспективного преобразования для левого глаза и матрица Р перспективного преобразования для правого глаза могут отличаться друг от друга.
Опишем процесс коррекции, выполняемый блоком 780 обработки данных при коррекции. Входные данные, подаваемые в блок 780 обработки данных при коррекции, включают в себя: изображение, сгенерированное относительно местоположения p1 и поворота q1 надеваемого на голову устройства 100 отображения, имеющих место в момент t1 времени; местоположение p1 и поворот q1, используемые в матрице Н местоположения и поворота надеваемого на голову устройства отображения, когда это изображение сгенерировано; и обновленные местоположение р2 и поворот q2 надеваемого на голову устройства 100 отображения, имеющие место в самый последний момент t2 времени.
Блок 780 обработки данных при коррекции генерирует скорректированное изображение, выполняя нижеследующий процесс преобразования для прямоугольного изображения, полученного посредством отображения изображения, сгенерированного относительно местоположения p1 и поворота q1, имеющих место в момент (t1) времени, на плоскость проекции. В случае, при котором вершины прямоугольного изображения представлены посредством (х, у, z, 1), местоположения в системе координат проекции после коррекции представлены посредством (х', у', z', 1), и матрица коррекции представлена посредством С, процесс коррекции может быть представлен следующим образом.
(Выражение 7)
Здесь, матрица С коррекции представляет собой
С=D-1 × H(p1, q1)-1 × Н(р2, q2) × D × Р
Четыре вершины прямоугольного изображения, сгенерированного относительно местоположения p1 и поворота q1, имеющих место в момент t1 времени, представляют собой (-FoVl × d, FoVu × d, -d, 1), (-FoVl × d, -FoVb × d, -d, 1), (FoVr × d, FoVu × d, -d, 1) и (FoVr × d, -FoVb × d, -d, 1). В качестве значения d используется, например, фокусное расстояние оптической системы надеваемого на голову устройства 100 отображения.
D-1 × H(p1, q1)-1 из передней половины матрицы С коррекции означает, что система координат поля зрения преобразуется в обратном направлении в систему координат надеваемого на голову устройства отображения посредством матрицы D-1, обратной матрице местоположения на отображении в надеваемом на голову устройстве отображения и система координат надеваемого на голову устройства отображения преобразуется в обратном направлении в систему координат отслеживания посредством матрицы Н(р1, q1)-1, обратной матрице местоположения и поворота надеваемого на голову устройства отображения, в которой используются местоположение p1 и поворот q1, имеющие место в момент t1 времени. Кроме того, (р2, q2) × D × P в последней половине означает, что система координат отслеживания преобразуется в систему координат надеваемого на голову устройства отображения посредством матрицы Н(р2, q2) местоположения и поворота надеваемого на голову устройства отображения, в которой используются обновленные местоположение р2 и поворот q2, имеющие место в момент (t2) времени, и затем система координат надеваемого на голову устройства отображения преобразуется в систему матрицы поля зрения посредством матрицы D местоположения на отображении в надеваемом на голову устройстве отображения, после чего, наконец, система координат поля зрения преобразуется в систему координат проекции посредством матрицы Р перспективного преобразования.
Если местоположение и поворот надеваемого на голову устройства 100 отображения не изменяются между моментом t1 времени и моментом t2 времени, а именно, если p1=р2 и помимо этого q1=q2, тогда, после этого, H(p1, q1)-1 × Н(р2, q2) Становится единичной матрицей. Следовательно, матрица С коррекции становится равной матрице Р перспективного преобразования, и процесс коррекции не выполняется, а выполняется только перспективное преобразование, которое приводится ниже.
(x', y', z', 1) = (x, y, z, 1) × P
Однако, если, по меньшей мере, один параметр из числа: местоположения и поворота надеваемого на голову устройства 100 отображения, изменяется между моментом t1 времени и моментом t2 времени, а именно, если p1≠Р2 и/или q1≠q2, то матрица С коррекции действует таким образом, чтобы скорректировать смещение в местоположении и/или повороте надеваемого на голову устройства 100 отображения посредством вычисления выражения H(p1, q1)-1 × Н(р2, q2).
Таким образом, прямоугольное изображение, преобразованное посредством матрицы С коррекции представляет собой результат корректирующего преобразования изображения проекции относительно местоположения p1 и поворота q1, имеющих место в момент t1 времени, в изображение проекции относительно местоположения р2 и поворота q2, имеющих место в момент t2 время. Следовательно, даже если местоположение и поворот надеваемого на голову устройства 100 отображения показывает смещение между моментом t1 времени и моментом t2 времени, изображение может быть скорректировано посредством процесса изображения таким образом, чтобы абсорбировать это смещение.
Ниже, описываются несколько модификаций.
(Модификация 1)
Модификация процесса коррекции, соответствующего первому варианту воплощения изобретения, описывается со ссылкой на Фигуры. 12 и 13. Фиг. 12 представляет собой вид, на котором проиллюстрирован, для сравнения, процесс коррекции изображения, соответствующий первому варианту воплощения изобретения. Как изображено на этой фигуре, в момент t1 времени устройство 700 генерирования панорамного изображения получает данные о местоположении p1 и повороте q1 надеваемого на голову устройства 100 отображения и начинает воспроизведение. В момент t2 времени устройство 700 генерирования панорамного изображения выполняет процесс коррекции для сгенерированного изображения, используя самое последнее местоположение р2 и поворот q2 надеваемого на голову устройства 100 отображения. Если предположить, что частота смены кадров на панели надеваемого на голову устройства 100 отображения составляет 30 кадров/секунду, то устройство 700 генерирования панорамного изображения генерирует кадр со скоростью 30 кадров/секунду и выполняет процесс коррекции и затем предоставляет изображение после коррекции надеваемому на голову устройству 100 отображения. Следует отметить, что процесс коррекции может быть выполнен на стороне надеваемого на голову устройства 100 отображения.
Фиг. 13 представляет собой вид, на котором проиллюстрирован процесс коррекции изображения, соответствующий этой модификации первого варианта воплощения изобретения. В то время как частота смены кадров при воспроизведении, выполняемом устройством 700 генерирования панорамного изображения, составляет 30 кадров/секунду, если предположить, что частота смены кадров на панели надеваемого на голову устройства 100 отображения является более высокой частотой смены кадров и составляет, например, 60 кадров/секунду, то, в данной модификации, частота процесса коррекции повышается в соответствии с частотой смены кадров на панели надеваемого на голову устройства 100 отображения.
Как изображено на этой фигуре, первый процесс коррекции выполняется для изображения, сгенерированного посредством устройства 700 генерирования панорамного изображения, с использованием местоположения р2 и поворота q2 надеваемого на голову устройства 100 отображения, имеющих место в момент t2 время, и изображение после коррекции отображается на надеваемом на голову устройстве 100 отображения. После этого, выполняется второй процесс коррекции для того же самого изображения, использующий местоположение p3 и поворот q3 надеваемого на голову устройства 100 отображения, имеющие место в момент t3 времени, и изображение после коррекции отображается на надеваемом на голову устройстве 100 отображения. Следовательно, даже если частота смены кадров в устройстве 700 генерирования панорамного изображения составляет 30 кадров/секунду, изображение после коррекции отображается с частотой 60 кадров/секунду. Таким образом, частота смены кадров может быть повышена и понижена посредством выполнения процесса коррекции с предварительно заданной частотой. В частности, в случае, при котором частота смены кадров в устройстве 700 генерирования панорамного изображения и в надеваемом на голову устройстве 100 отображения отличаются друг от друга, в системе может быть предусмотрена функция для преобразования частоты смены кадров.
На иллюстрации, показанной на Фиг. 13, для одного и того же изображения, сгенерированного посредством устройства 700 генерирования панорамного изображения, выполняются первый процесс коррекции, использующий местоположение р2 и поворот q2, имеющие место в момент t2 времени, и второй процесс коррекции, использующий местоположение р3 и поворот q3, имеющие место в момент t3 времени. В качестве другого способа, второй процесс коррекции может быть выполнен для изображения после коррекции, сгенерированного посредством первого процесса коррекции.
Модификация 2
Хотя выражение координатного преобразования: (х', у', z', 1) = (х, у, z, 1) × W × V × В × Н × D × Р, включает в себя перемножение матрицы В преобразования к базе отсчета отслеживания, матрицы Н местоположения и поворота надеваемого на голову устройства отображения, это вычисление, может быть упрощено. Матрица результата при перемножении матрицы В преобразования к базе отсчета отслеживания, матрицы Н местоположения и поворота надеваемого на голову устройства отображения, именуется как нормированная матрица N надеваемого на голову устройства отображения. Матрица В преобразования к базе отсчета отслеживания может быть определена как матрица, обратная матрице Н местоположения и поворота надеваемого на голову устройства отображения,; сгенерированной из информации с датчиков, когда надеваемое на голову устройство 100 отображения помещено в исходное местоположение р0 и с исходным поворотом q0. Кроме того, матрицы Н(р, q) местоположения и поворота надеваемого на голову устройства отображения сгенерирована из матрицы Т параллельного переноса и матрицы R поворота, использующих данные о местоположении р и повороте q, полученные от датчиков при начале воспроизведения. Следовательно, в случае, при котором обратная матрица представлена как Inv(⋅), нормированная матрица N надеваемое на голову устройства отображения вычисляется нижеследующим способом.
N=В × Н(р, q)
= Inv (Т (-р0) × R (q0-1)) × (Т (-р) × R (q-1))
= Inv (R(q0-1)) × Inv(T(-p0)) × Т(-р) × R(q-1)
= R(q0) × T(p0) × T(-p) × R(q-1)
= R(q0) × Т(р0 - р) × R(q-1)
= R(q0) × R(q-1) × R(q) × T(p0 - p) × R(q-1)
= R(q-1 × q0) × T(Rot(p0-p, q-1))
Здесь, Rot(p, q) означает, что вектор p поворачивается посредством кватерниона q. В частности, если вектор р после поворота представлен как р', то вычисляется р'=q × р × q-1. Rot(p0-p, q-1) означает повернуть вектор р0-р посредством кватерниона q-1. Последнее выражение преобразования, приведенное выше, означает, что осуществляется параллельный перенос нормированной матрицы (N) надеваемого на голову устройства отображения, на Rot(p0-p, q-1) после поворота посредством кватерниона q-1 × q0.
Если оценивать количество вычислений, то, если рассматривать только количество раз умножения, то матрица Т параллельного переноса включает в себя (умножений) 0 раз; матрица R поворота - 16 раз; произведение двух кватернионов - 16 раз; и произведение двух матриц поворота - 36 раз; и произведение матрицы Т параллельного переноса и матрицы R поворота - 0 раз. Если используется четвертое приведенное выше выражение преобразования, то N=R(q0) × Т(р0) × Т(-р) × R(q-1), и для вычисления матрицы R поворота требуется 16 раз умножения; для вычисления R×Т требуется 0 раз умножения; и для произведения двукратного других матриц требуется 36 раз умножения. Следовательно, в общей сумме требуется 16×2+36×2=104 раз умножения. В противоположность этому, если используется последнее приведенное выше выражение преобразования, то N = R(q-1 × q0) × T(Rot(p0 - р, q-1)), и для произведения двух кватернионов требуется 16 раз умножения, и для вычисления матрицы R поворота требуется 16 раз умножения. Следовательно, для вычисления Rot требуется два раза вычисления кватерниона. Следовательно, требуется 16+16+16×2=64 раз умножения. При сравнении, если нормированная матрица N вычисляется посредством последнего приведенного выше выражения преобразования, то количество раз умножения уменьшается со 104 до 64 и вычисление упрощается.
Модификация 3
Местоположение р и поворот q надеваемого на голову устройства (100) отображения могут быть предсказаны, исходя из информации с датчиков, имевшей место в прошлом, с использованием фильтра Калмана (Kalman) или тому подобного. Описанный выше процесс коррекции изображения может быть использован для того, чтобы скорректировать смещение между заранее предсказанным значением и фактическим значением.
В надеваемом на голову устройстве 100 отображения или устройстве 700 генерирования панорамного изображения предусматривается блок предсказания для информации с датчиков. Блок предсказания, основываясь на перемещении надеваемого на голову устройства 100 отображения, имевшем место в прошлом, предсказывает предсказываемое местоположение pf и предсказываемый поворот qf на момент времени, в который изображение подлежит отображению. Устройство 700 генерирования панорамного изображения генерирует изображение относительно предсказанного местоположения pf и предсказанного поворота qf. Блок 780 обработки данных при коррекции получает данные о местоположении pt в настоящий момент времени и повороте qt в настоящий момент времени из информации с датчиков надеваемого на голову устройства 100 отображения, имеющей место в настоящий момент времени, и выполняет процесс коррекции для изображения, используя местоположение pt в настоящий момент времени и поворот qt в настоящий момент времени. Следовательно, даже если предсказанное местоположение pf и предсказанный поворот qf смещены по отношению к, соответственно, местоположению pt в настоящий момент времени и повороту qt в настоящий момент времени, эти смещения между ними могут быть абсорбированы процессом коррекции изображения.
Модификация 4
Поскольку в ходе процесса коррекции, изображение результата воспроизведения, выполненного однажды, используется в качестве источника воспроизведения вновь для выполнения перспективного преобразования, так, чтобы подходить для самого последнего местоположения и поворота, то при большой величине перемещения иногда требуется информация в области, которая пока еще не воспроизводилась. Ниже описываются несколько способов решения задачи появления отсутствующего участка.
В качестве способа для компенсации отсутствующего участка имеются нижеследующие способы.
(1) Отсутствующий участок заполняется цветом пикселей на внешней периферии.
(2) Отсутствующий участок заполняется одним цветом (например, черным).
(3) Заранее осуществляется воспроизведение области, большей чем внешняя периферия, так, чтобы не появлялось никаких отсутствующих участков.
Для того, чтобы использовать способ (3), в качестве параметров для предоставления четырех вершин прямоугольной области, подлежащей использованию в координатном преобразовании при генерирования изображения для надеваемого на голову устройства 100 отображения с функцией отслеживания и процессе преобразования при процессе коррекции, вместо параметров FoVu, FoVb, FoVl и FoVr угла поля зрения, уникальных для надеваемого на голову устройства отображения, используются параметры FoVu', FoVb', FoVl' и FoVr', представляющие угол поля зрения при воспроизведении. Здесь, FoVx'>FoVx' (здесь, х=u, b, l, r). Следует отметить, что, в матрице Р перспективного преобразования, подлежащей использованию в ходе процесса преобразования при процессе коррекции, используются угловые параметры FoVu, FoVb, FoVl и FoVr, уникальные для надеваемого на голову устройства отображения.
Также имеется способ для управления величиной перемещения между двумя моментами времени: моментом t1 и моментом t2 времени, таким образом, чтобы отсутствующий участок не мог появиться.
(1) Величина перемещения ограничивается некоторым предельным значением А, и даже когда величина перемещения становится В (>А), превышающей предельное значение А, процесс коррекции выполняется в предположении, что величина перемещения составляет А.
(2) Когда величина перемещения превышает предельное значение А, процесс коррекции не выполняется, и определяется ошибка, и выполняется процесс для нее.
(3) Способы (1) и (2), приведенные выше, объединяются таким образом, что, когда величина перемещения превышает первое предельное значение А, но равно второму предельному значению В (>А) или ниже чем оно, определяется, что величина перемещения составляет А, и процесс коррекции выполняется, но когда величина перемещения превышает второе предельное Ширину значение В, процесс коррекции не выполняется, и выполняется процесс определения того, что произошла ошибка.
При ограничении величины перемещения таким образом, величина перемещения находится в пределах диапазона с предельным значением А, и область, соответствующая этой величине перемещения, может быть воспроизведена заранее, так, чтобы отсутствующий участок не мог появиться.
Эта величина перемещения может быть вычислена следующим образом. Величина qd изменения поворота может быть вычислена по формуле: qd = q-1 × q0, и величина dp изменения местоположения может быть вычислена по формуле: pd = р0 - р. Модуль величины qd изменения поворота зависит от вещественной части, и при уменьшении вещественной части, величина поворота увеличивается. Поскольку выражение для вычисления нормированной матрицы N надеваемого на голову устройства отображения, описанной выше, представляет собой: N = R(q-1 × q0) × T(Rot(p0-q, q-1)) = R(qd) × T(Rot(pd, q-1)), то значения величины qd изменения поворота и величины pd изменения местоположения вычисляются уже в ходе вычисления нормированной матрицы N надеваемого на голову устройства отображения. Поскольку, таким образом, величина перемещения получена в ходе процесса вычисления нормированной матрицы N надеваемого на голову устройства отображения, то имеется то преимущество, что процесс для анализа перемещения, исходя из изображений, для определения вектора движения не требуется.
При принятии способа ограничения величины перемещения, угол поля зрения при воспроизведении может быть постоянным, и может быть сконфигурирована система, которая не вызывает отсутствие участков на изображении после коррекции, если величина перемещения не превышает предельное значение. В случае, при котором для выполнения воспроизведения используется предсказанное значение с датчика, как в случае модификации 3, угол поля зрения при воспроизведении может быть определен в зависимости от модуля смещения (отклонения) предсказанного значения от реального значения. В этом случае, если предсказано, что отклонение является большим, то воспроизводится область в том диапазоне, в котором отклонение является большим, но если предсказано, что отклонение является малым, то воспроизводится область в том диапазоне, в котором отклонение является малым.
Модификация 5
В первом варианте воплощения изобретения, для того чтобы учесть, в процессе коррекции оба перемещения из числа: поступательного перемещение и поворота, требуется трехмерная арифметическая операция. Однако, процесс коррекции может быть упрощен, если предположить, что выполняется только поступательное перемещение без участия поворота. Поскольку необходимо добавлять только поступательное перемещение, необходимо подготовить только устройство обработки изображения, скомпонованное из линейного буферного запоминающего устройства на постоянное количество строк и способное к выполнению поступательного перемещения. Таким образом, может быть сконфигурирована менее дорогостоящая система.
В частности, в процессе коррекции можно посредством матрицы С коррекции осуществлять преобразование координат (0, 0, -d) центра изображения. Необходимо только поступательно перемещать перемещение в направлениях х и y на величину изменения х и величину изменения y, определенные при преобразовании.
Если пользователь, носящий на себе надеваемое на голову устройство 100 отображения тряхнет головой в вертикальном направлении или горизонтальном направлении, то может быть определено, что перемещение головы является вертикальным или горизонтальным поступательным перемещением, и к этому случаю может быть применен процесс коррекции, соответствующий данной модификации.
Второй вариант воплощения изобретения
В описании первого варианта воплощения изобретения описывается процесс коррекции, при котором панорамное изображение, сгенерированное аппаратом 700 генерирования панорамного изображения отображается на надеваемом на голову устройстве 100 отображения. Однако в описании второго варианта воплощения изобретения описывается процесс коррекции, при котором пользователь выполняет управление фотокамерой для реального или виртуального пространства, и изображение отображается на экране компьютера или портативного аппарата. В нижеследующем описании, описание конфигурации и функционирования, общих с конфигурацией и функционированием в первом варианте воплощения, изобретения, опускается, и описывается процесс коррекции, выполняемый блоком 780 обработки данных при коррекции, во втором варианте воплощения изобретения.
В первом варианте воплощения изобретения, поскольку предполагается, что пользователь, носящий на себе надеваемое на голову устройство 100 отображения, перемещается в пространстве, то требуется координатное преобразование для преобразования системы 802 координат отслеживания к системе 806 координат поля зрения, осуществляемое через систему 804 координат надеваемого на голову устройства отображения. Причина этого заключается в том, что, в первом варианте воплощения изобретения, точка наблюдения и направление наблюдения фотокамеры должны быть координатно преобразованы в местоположение и поворот пользователя, носящего на себе надеваемое на голову устройство 100 отображения, имеющие место на настоящий момент времени. Во втором варианте воплощения изобретения, поскольку точка наблюдения и направления наблюдения фотокамеры, которой управляет пользователь, становится точкой наблюдения и направлением наблюдения лица, смотрящего на компьютер или портативный аппарат, в неизменном виде, то координатное преобразование, требуемое надеваемым на голову устройством 100 отображения, не требуется.
Матрицу V преобразования к фотокамере во втором варианте воплощения изобретения можно определить в соответствии с нижеследующим выражением из матрицы Т параллельного переноса и матрицы R поворота, используя местоположение (точку наблюдения) р фотокамеры и направление (направление наблюдения) q фотокамеры.
(Выражение 8)
Здесь, местоположение р фотокамеры представляет собой трехмернный вектор, а направление q фотокамеры представляет собой кватернион.
Во втором варианте воплощения изобретения, используется координатное преобразование в обычной компьютерной графике. Точка (х, у, z, 1) системы мировых координат преобразуется в точку (х', у', z', 1) системы координат проекции в соответствии с выражением, приводимым ниже с использованием матрицы W преобразования мировых координат, матрицы V преобразования к фотокамере (виду) и матрицы Р перспективного преобразования. Здесь следует отметить, что обращаем внимание на тот факт, что показано вычисление, которое не включает в себя процесс коррекции.
(Выражение 9)
Здесь, хотя матрица Р перспективного преобразования определена аналогично тому, как это сделано в первом варианте воплощения изобретения, использующем четыре параметра: FoVu, FoVb, FoVl и FoVr, показывающие угол обзора пользователя, поскольку это основывается на угле поля зрения, если в фотокамере осуществляется трансфокация, то угол поля зрения изменяется, и также матрица Р перспективного преобразования изменяется. Параметры угла обзора в момент t1 времени представлены как FoVu1, FoVb1, FoVl1 и FoVr1, а параметры угла обзора в момент t2 времени представлены как FoVu2, FoVb2, FoVl2 и FoVr2. Матрица Р перспективного преобразования в момент t1 времени представлена как р t1, и матрица Р перспективного преобразования в момент t2 времени представлена как Р t2.
Опишем процесс коррекции, выполняемый блоком 780 обработки данных при коррекции, во втором варианте воплощения изобретения. Входные данные, предоставляемые блоку 780 обработки данных при коррекции, представляют собой местоположение Р1 фотокамеры, имеющие место в момент t1 времени, изображение, сгенерированное в направлении Q1 фотокамеры, причем местоположение Р1 фотокамеры и направление Q1 фотокамеры использовались в матрице V преобразования к фотокамере, когда формировалось это изображение, и местоположение Р2 фотокамеры и направление Q2 фотокамеры, имеющих место в самый последний момент t2 времени.
Блок 780 обработки данных при коррекции выполняет нижеследующий процесс преобразования для прямоугольного изображения, в ходе которого изображение, сгенерированное относительно местоположения p1 и направления q1, имеющих место в момент t1 времени, отображается на плоскость проекции таким образом, чтобы сформировать скорректированное изображение. Если вершина прямоугольного изображения представлена как (х, у, z, 1), точка в системе координат проекции после коррекции представлена как (х', у', z', 1), и матрица коррекции представлена как С, то процесс преобразования может быть представлен нижеследующим образом.
(Выражение 10)
Здесь, матрица С коррекции представляет собой:
C = V(p1, q1)-1 × V(p2, q2) × P(t2)
Четыре вершины прямоугольного изображения, сгенерированного относительно местоположения p1 и поворота q1, имеющих место в момент t1 времени, представляют собой: (-FoVl1 × d, FoVu1 × d, -d, 1), (-FoVl1 × d, -FoVb1 × d, -d, 1), (FoVr1 × d, FoVu1 × d, - d, 1) and (FoVr1 × d, -FoVb1 × d, -d, 1). В качестве значения d используется некоторое постоянное значение подходящего расстояния (например, десять метров или тому подобное) или статистические данные глубины (например, медиана значения глубины всей области, среднее значение глубины вблизи от центра области или тому подобное).
V(p1, q1)-1 из передней половины матрицы С коррекции означает преобразование системы координат фотокамеры в обратном направлении в систему мировых координат, осуществляемое посредством матрицы V(p1, q1)-1, обратной матрице преобразования к фотокамере, которая (матрица) использует местоположение p1 и поворот q1 в момент t1 времени. Кроме того, V(p2, q2) × p(t2) из последней половины означает преобразование системы мировых координат в систему координат фотокамеры, осуществляемое посредством матрицы V (р2, q2) преобразования к фотокамере, которая (матрица) использует местоположение р2 и поворот q2 в момент t2 времени, и дальнейшее преобразование системы координат фотокамеры в систему координат проекции, осуществляемое посредством матрицы Р t2 перспективного преобразования, которая использует угол поля зрения в момент t2 времени.
Если предполагается, что местоположение и направление фотокамеры не изменяются между моментом t1 времени и моментом t2 времени, а именно, если p1=р2 и q1=q2, то поскольку V(p1, q1)-1 × V(p2, q2) становится единичной матрицей, матрица С коррекции становится равной матрице Р (t2) перспективного преобразования. Следовательно, процесс коррекции не выполняется, и просто выполняется только перспективное преобразование, которое отражает угол поля зрения в момент t2 времени, как это приведено ниже:
(x', y', z', 1)=(x, y, z, 1) × P(t2)
Однако, если, по меньшей мере, один из параметр из числа: местоположения и поворота фотокамеры изменяется между моментом t1 времени и моментом t2 времени, а именно, если p1≠р2 и/или q1≠q2, то матрица (С коррекции действует таким образом, чтобы скорректировать смещение в местоположении и/или направлении фотокамеры посредством вычисления V(p1, q1)-1 × V(p2, q2). кроме того, при выполнении наконец преобразования посредством матрицы Р (t2) перспективного преобразования, также находит свое отражение изменение угла поля зрения, происходящее между моментом t1 времени и моментом t2 времени.
Прямоугольное изображение, преобразованное этим способом посредством матрицы С коррекции, представляет собой результат корректирующего преобразования изображения проекции относительно местоположения p1, поворота q1 и угла поля зрения, имеющих место в момент t1 времени, в изображение проекции относительно обновленных местоположения р2, поворота q2 и угла поля зрения, имеющих место в момент t2 времени. Следовательно, даже если между моментом t1 времени и моментом t2 времени местоположение и направление фотокамеры изменяются, или угол поля зрения изменяется в результате трансфокации, изображение может быть скорректировано таким образом, чтобы абсорбировать это смещение посредством процесса изображения.
Второй вариант воплощения полезен для конфигурации сервиса для большого количеств пользователей, при котором множество оконечных устройств используют сервис, предоставляемый прикладным сервером через сеть. В этом случае, аппарат генерирования изображения предусмотрен на сервере, а любое оконечное устройство передает информацию работы фотокамеры на сервер и принимает через сеть изображение, сгенерированное сервером. Однако, поскольку время, требующееся для генерирования изображения сервером, и время, требующееся для передачи по сети, приводят к некоторому постоянному запаздыванию, работа фотокамеры пользователя не может быть отражена на основе реального масштаба времени. В случае второго варианта воплощения изобретения, изображение, сгенерированное на основе местоположения и направления фотокамеры при генерирования изображения, может быть скорректировано таким образом, чтобы совпадать с самым последним местоположением и направлением фотокамеры при отображении изображения. Следовательно, работа в реальном масштабе времени может быть обеспечена искусственным образом.
В частности, в игровом приложении, в котором пользователь использует кнопку игрового контроллера, сенсорный экран портативного оконечного устройства или тому подобное для того, чтобы изменять местоположение точки наблюдения и направление наблюдения в виртуальном пространстве, выполняя взаимодействие с персонажем другого пользователя в ходе игры, работа в режиме реального времени составляет значительный фактор. В такого рода случае, полезно искусственным образом обеспечивать работу в реальном масштабе времени посредством процесса коррекции.
Как было описано выше, в случае первого варианта воплощения и вторым вариантом воплощения изобретения, благодаря корректировке изображения, сгенерированного на основе местоположения точки наблюдения и направления наблюдения, имеющих место в момент времени генерирования изображения, с использованием местоположения точки наблюдения и направления наблюдения, имеющих место в момент времени отображения изображения, временная разница от момента времени генерирования изображения до момента времени отображения изображения может быть абсорбирована для того, чтобы уменьшить наблюдаемое запаздывание.
Настоящее изобретение было описано в связи с вариантами своего воплощения. Эти варианты воплощения изобретения являются иллюстративными, и специалисты в данной области техники могут понять, что в отношении компонентов и процессов вариантов воплощения изобретения возможны различные модификации, и также что такие модификации находятся в пределах объема настоящего изобретения. Такие модификации описаны.
Перечень ссылочных позиций
10 Управляющий блок, 20 Входной интерфейс, 30 Выходной интерфейс, 32 Подсветка, 40 Блок управления связью, 42 Сетевой адаптер, 44 Антенна, 50 Запоминающий блок, 60 Блок GPS (Глобальной системы определения местоположения), 62 Блок беспроводной связи, 64 Датчик позы, 70 Интерфейс внешних оконечных устройств ввода / вывода, 72 Внешняя памяти, 80 Блок синхронизации, 100 Надеваемое на голову устройство отображения, 110 Блок основного корпуса, 120 Блок, контактирующий с передней частью головы, 130 Часть, контактирующая с боковой частью головы, 200 Игровая машина, 300 Маркер, 350 Контроллер перемещения, 500 Панорамное изображение, 700 Устройство генерирования панорамного изображения, 710 Блок получения команды трансфокации, 720 Блок регулирования чувствительности, 730 Блок получения информации о местоположении и повороте, 740 Блок координатного преобразования, 750 Блок обработки панорамного изображения, 760 Блок хранения панорамного изображения, 770 Блок предоставления изображения, 780 Блок обработки данных при коррекции.
Промышленная применимость
Настоящее изобретение может быть применено к технологии генерирования корректировки изображения.
Изобретение относится к средствам генерирования изображения. Технический результат заключается в уменьшении запаздывания от генерирования до отображения панорамного изображения. Получают информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения. Генерируют изображение с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в определенный момент времени на этапе получения. Принимают информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленную в другой момент времени, и осуществляют коррекцию с использованием указанной обновленной информации, относящейся к по меньшей мере одному параметру. Осуществляют, посредством выполнения преобразования к виду для преобразования системы мировых координат в систему координат вида с использованием информации, относящейся к по меньшей мере одному параметру. Для коррекции изображения, сгенерированного на этапе генерирования изображения, преобразование, обратное указанному преобразованию к виду, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в указанный определенный момент времени, для однократного возврата системы координат вида к системе мировых координат и затем преобразование к виду с использованием информации, относящейся к по меньшей мере одному параметру. 7 н. и 1 з.п. ф-лы, 14 ил.
1. Устройство генерирования изображения, содержащее:
блок получения для получения информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения;
блок генерирования изображения для генерирования изображения с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в определенный момент времени блоком получения; и
блок обработки данных при коррекции для приема от блока получения информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленной в другой момент времени, и коррекции с использованием указанной обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, изображения, сгенерированного блоком генерирования изображения, причем
блок генерирования изображения выполнен с возможностью генерирования изображения посредством выполнения преобразования к виду, для преобразования системы мировых координат в систему координат вида, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в определенный момент времени, а
блок обработки данных при коррекции выполнен с возможностью осуществления коррекции изображения, сгенерированного блоком генерирования изображения, преобразования, обратного указанному преобразованию к виду, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в указанный определенный момент времени, для однократного возврата системы координат вида к системе мировых координат, и затем повторного выполнения преобразования к виду, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленной в другой момент времени, для повторного преобразования системы мировых координат в систему координат вида.
2. Устройство генерирования изображения, содержащееся в клиенте, соединенном через сеть с сервером, содержащее:
блок получения для получения информации о поле зрения, включающей в себя информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения; и
блок обработки данных при коррекции для приема от сервера изображения, сгенерированного с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в определенный момент времени блоком получения, приема от блока получения информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленной в другой момент времени, и коррекции, с использованием указанной обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, принятого изображения, причем
изображение сгенерировано посредством осуществления преобразования к виду для преобразования системы мировых координат в систему координат вида, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в определенный момент времени, а
блок обработки данных при коррекции выполнен с возможностью осуществления, для коррекции изображения, преобразования, обратного указанному преобразованию к виду, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в указанный определенный момент времени, для однократного возврата системы координат вида к системе мировых координат, и затем преобразования к виду, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленной в другой момент времени, для повторного преобразования системы мировых координат в систему координат вида.
3. Устройство генерирования изображения, содержащее:
блок получения для получения информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота головы пользователя, носящего на себе надеваемое на голову устройство отображения;
блок генерирования изображения для генерирования изображения, подлежащего отображению на указанном надеваемом на голову устройстве отображения, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в определенный момент времени блоком получения; и
блок обработки данных при коррекции для приема от блока получения обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота в другой момент времени, и коррекции, с использованием указанной обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, изображения, сгенерированного блоком генерирования изображения, причем
блок генерирования изображения выполнен с возможностью генерирования изображения посредством осуществления координатного преобразования для переноса базовой системы координат надеваемого на голову устройства отображения в перемещающуюся систему координат надеваемого на голову устройства отображения, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в определенный момент времени; а
блок обработки данных при коррекции выполнен с возможностью осуществления коррекции изображения, сгенерированного блоком генерирования изображения, преобразования, обратного указанному координатному преобразованию, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в указанный определенный момент времени, для однократного возврата перемещающейся системы координат к базовой системе координат, и затем повторного выполнения указанного координатного преобразования, с использованием обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота в другой момент времени, для повторного преобразования базовой системы координат в перемещающуюся систему координат.
4. Устройство генерирования изображения по п. 3, в котором блок обработки данных при коррекции выполнен с возможностью приема обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, от блока получения с частотой, подходящей для частоты смены кадров в надеваемом на голову устройстве отображения, и коррекции, с использованием указанной обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, изображения, сгенерированного блоком генерирования изображения.
5. Способ генерирования изображения, содержащий:
этап получения, на котором получают информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения;
этап генерирования изображения, на котором генерируют изображение, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в определенный момент времени на этапе получения; и
этап обработки данных при коррекции, на котором принимают информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленную в другой момент времени, и осуществляют коррекцию, с использованием указанной обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, изображения, сгенерированного на этапе генерирования изображения, причем
на этапе генерирования изображения генерирование изображения осуществляют посредством выполнения преобразования к виду для преобразования системы мировых координат в систему координат вида с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в определенный момент времени, а
на этапе обработки данных при коррекции осуществляют, для коррекции изображения, сгенерированного на этапе генерирования изображения, преобразование, обратное указанному преобразованию к виду, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в указанный определенный момент времени, для однократного возврата системы координат вида к системе мировых координат, и затем преобразование к виду, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленной в другой момент времени, для повторного преобразования системы мировых координат в систему координат вида.
6. Способ генерирования изображения, содержащий:
этап получения, на котором получают информацию, относящуюся к по меньшей мере одному параметру из: местоположения и поворота головы пользователя, носящего на себе надеваемое на голову устройство отображения;
этап генерирования изображения, на котором генерируют изображение, подлежащее отображению на указанном надеваемом на голову устройстве отображения, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в определенный момент времени на этапе получения; и
этап обработки данных при коррекции, на котором принимают обновленную информацию, относящуюся к по меньшей мере одному параметру из: местоположения и поворота в другой момент времени, и корректируют, с использованием указанной обновленной информации, относящейся к местоположению и повороту, изображение, сгенерированное на этапе генерирования изображения, причем
на этапе генерирования изображения изображение генерируют посредством осуществления координатного преобразования для переноса базовой системы координат надеваемого на голову устройства отображения в перемещающуюся систему координат надеваемого на голову устройства отображения, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в определенный момент времени; а
на этапе обработки данных при коррекции выполняют, для коррекции изображения, сгенерированного блоком генерирования изображения, преобразование, обратное указанному координатному преобразованию, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в указанный определенный момент времени, для однократного возврата перемещающейся системы координат к базовой системе координат, и затем выполняют указанное координатное преобразование, с использованием обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота в другой момент времени, для повторного преобразования базовой системы координат в перемещающуюся систему координат.
7. Носитель записи, хранящий программу, вызывающую выполнение компьютером:
этапа получения, на котором получают информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения;
этапа генерирования изображения, на котором генерируют изображение, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в определенный момент времени на этапе получения; и
этапа обработки данных при коррекции, на котором принимают информацию, относящуюся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленную в другой момент времени, и, осуществляют коррекцию, с использованием указанной обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, изображения, сгенерированного на этапе генерирования изображения, причем
на этапе генерирования изображения генерирование изображения осуществляют посредством выполнения преобразования к виду для преобразования системы мировых координат в систему координат вида, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в определенный момент времени, а
на этапе обработки данных при коррекции осуществляют, для коррекции изображения, сгенерированного на этапе генерирования изображения, преобразование, обратное указанному преобразованию к виду, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, полученной в указанный определенный момент времени, для однократного возврата системы координат вида к системе мировых координат, и затем преобразование к виду, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения точки наблюдения и направления наблюдения, обновленной в другой момент времени, для повторного преобразования системы мировых координат в систему координат вида.
8. Носитель записи, хранящий программу, вызывающую выполнение компьютером:
этапа получения, на котором получают информацию, относящуюся к по меньшей мере одному параметру из: местоположения и поворота головы пользователя, носящего на себе надеваемое на голову устройство отображения;
этапа генерирования изображения, на котором генерируют изображение, подлежащее отображению на указанном надеваемом на голову устройстве отображения, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в определенный момент времени на этапе получения; и
этапа обработки данных при коррекции, на котором принимают обновленную информацию, относящуюся к по меньшей мере одному параметру из: местоположения и поворота в другой момент времени, и корректируют, с использованием указанной обновленной информации, относящейся к местоположению и повороту, изображение, сгенерированное на этапе генерирования изображения, причем
на этапе генерирования изображения изображение генерируют посредством осуществления координатного преобразования для переноса базовой системы координат надеваемого на голову устройства отображения в перемещающуюся систему координат надеваемого на голову устройства отображения, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в определенный момент времени; а
на этапе обработки данных при коррекции выполняют, для коррекции изображения, сгенерированного блоком генерирования изображения, преобразование, обратное указанному координатному преобразованию, с использованием информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота, полученной в указанный определенный момент времени, для однократного возврата перемещающейся системы координат к базовой системе координат, и затем выполняют указанное координатное преобразование, с использованием обновленной информации, относящейся к по меньшей мере одному параметру из: местоположения и поворота в другой момент времени, для повторного преобразования базовой системы координат в перемещающуюся систему координат.
| US 6271855 B1, 07.08.2001 | |||
| Изложница с суживающимся книзу сечением и с вертикально перемещающимся днищем | 1924 |
|
SU2012A1 |
| Станок для изготовления деревянных ниточных катушек из цилиндрических, снабженных осевым отверстием, заготовок | 1923 |
|
SU2008A1 |
| СПОСОБ И СИСТЕМА ДЛЯ ВИЗУАЛИЗАЦИИ ВИРТУАЛЬНЫХ ТРЕХМЕРНЫХ ОБЪЕКТОВ | 2005 |
|
RU2406150C2 |
