УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ И ПРОГРАММА Российский патент 2019 года по МПК H04N5/225 

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству обработки информации, способу обработки информации и программе.

Уровень техники

В последние годы, для непосредственной передачи ощущения человека другим людям, используются изображения, снятые от первого лица с помощью носимых устройств, таких как камеры, устанавливаемые на голове, например, для генерирования различного рода содержания. Были предложены интерфейсы для обмена ощущениями с другими людьми или запросов других людей знаний или инструкций, путем реализации обмена данными с другими людьми посредством представленной выше передачи изображений, снятых от первого лица.

Например, в Патентной литературе 1 раскрыта технология для передачи видеоизображений, используя устройство формирования изображения, установленное на голове, в другое устройство, таким образом, что видеоизображения можно просматривать в другом устройстве.

Список литературы

Патентная литература

Патентная литература 1: GP 2013-110764А

Раскрытие изобретения

Техническая задача

В технологии, раскрытой в Патентной литературе 1, однако, поскольку, линия зрения другого человека, который просматривает переданное изображение, снятое из точки обзора первого лица, ограничена линией зрения лица, на которого надета камера, другой человек может не воспринимать пространство с другой точки зрения, чем лицо, на которое надета камера.

В соответствии с этим, желательно обеспечить устройство обработки информации, способ обработки информации и программу, позволяющие совместно использовать пространство, при поддержании степени свободы линии зрения.

Решение задачи

В соответствии с настоящим раскрытием, предусмотрено устройство обработки информации, включающее в себя: модуль управления, выполненный с возможностью управления так, что отображаемое изображение, генерируемое на основе информации изображения, генерируемой посредством формирования изображения устройством формирования изображения, установленным на движущемся объекте, движущемся в пространстве, информации о положении устройства, формирующего изображение, представляющей собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, получаемой от устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и устанавливающего область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем.

В соответствии с настоящим раскрытием, предусмотрен способ обработки информации, включающий в себя этапы, на которых: выполняют управление так, что отображаемое изображение, генерируемое на основе информации изображения, генерируемой посредством формирования изображения, устройством формирования изображения, установленным на движущемся объекте, движущемся в пространстве, информации о положении устройства, формирующего изображение, представляющей собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, получаемую от устройства манипуляции пользователя, манипуляции с которым выполняет пользователь и определения области, которую пользователь желает просматривать, отображаемой в области отображения, просматриваемой пользователем.

В соответствии с настоящим раскрытием, предусмотрена программа, обеспечивающая реализацию компьютером функции управления для: выполнения управления так, что отображаемое изображение, генерируемое на основе информации изображения, генерируемой посредством формирования изображения устройством формирования изображения, установленным на движущемся объекте, движущемся в пространстве, информации о положении устройства, формирующего изображение, представляющей собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, получаемую из устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и определения области, которую пользователь желает просматривать, отображаемой в области отображения, просматриваемой пользователем.

Предпочтительные эффекты изобретения

В соответствии с настоящим раскрытием, описанным выше, возможно совместно использовать пространство при поддержании степени свободы линии зрения.

Следует отметить, что эффекты, описанные выше, не обязательно ограничены, и наряду с ними или вместо таких эффектов может быть предоставлен любой эффект, который желательно ввести в настоящем описании, или другие эффекты, которые можно ожидать из настоящего описания.

Краткое описание чертежей

На фиг. 1 показана пояснительная схема, поясняющая схематичную конфигурацию системы в соответствии с первым вариантом осуществления настоящего раскрытия.

На фиг. 2 показана пояснительная схема, поясняющая схематичную конфигурацию устройства в соответствии с вариантом осуществления.

На фиг. 3 показана пояснительная схема, поясняющая пример носимого устройства в соответствии с вариантом осуществления.

На фиг. 4А представлена блок-схема, поясняющая пример конфигурации устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 4B представлена блок-схема, поясняющая пример конфигурации устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 5 представлена пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 6 представлена пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 7 представлена пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 8 представлена пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 9 представлена пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 10 представлена пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 11 представлена блок-схема последовательности операций, поясняющая пример потока обработки способа обработки информации в соответствии с вариантом осуществления.

На фиг. 12 показана пояснительная схема для описания обработки управления отображением в соответствии с вариантом осуществления.

На фиг. 13 показана пояснительная схема для описания обработки управления отображением в соответствии с вариантом осуществления.

На фиг. 14 показана пояснительная схема для описания обработки управления отображением в соответствии с вариантом осуществления.

На фиг. 15 показана пояснительная схема для описания обработки управления отображением в соответствии с вариантом осуществления.

На фиг. 16 показана пояснительная схема для описания обработки управления отображением в соответствии с вариантом осуществления.

На фиг. 17 представлена блок-схема последовательности операций, поясняющая пример потока обработки управления отображением в соответствии с вариантом осуществления.

На фиг. 18 представлена блок-схема, поясняющая пример конфигурации устройства обработки информации в соответствии со вторым вариантом осуществления настоящего раскрытия.

На фиг. 19 представлена пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 20 представлена пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 21 показана пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 22 представлена блок-схема последовательности операций, поясняющая пример потока обработки способа обработки информации в соответствии с вариантом осуществления.

На фиг. 23 показана пояснительная схема для описания функции устройства обработки информации в соответствии с примером модификации в соответствии с вариантом осуществления.

На фиг. 24 представлена блок-схема последовательности операций, поясняющая пример потока обработки способа обработки информации в соответствии с примером модификации в соответствии с вариантом осуществления.

На фиг. 25 показана пояснительная схема для описания лучевого пространства.

На фиг. 26 показана пояснительная схема, поясняющая схематичную конфигурацию системы в соответствии с третьим вариантом осуществления настоящего раскрытия.

На фиг. 27А показана пояснительная схема, поясняющая схематичную конфигурацию устройства формирования изображения в соответствии с вариантом осуществления.

На фиг. 27B показана пояснительная схема, поясняющая схематичную конфигурацию устройства формирования изображения в соответствии с вариантом осуществления.

На фиг. 28А показана пояснительная схема, поясняющая схематичную конфигурацию устройства формирования изображения в соответствии с вариантом осуществления.

На фиг. 28B показана пояснительная схема, поясняющая схематичную конфигурацию устройства формирования изображения в соответствии с вариантом осуществления.

На фиг. 29 показана пояснительная схема, поясняющая схематичную конфигурацию устройства формирования изображения в соответствии с вариантом осуществления.

На фиг. 30 представлена блок-схема, поясняющая пример конфигурации устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 31 показана пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 32А показана пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 32B показана пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 33 показана пояснительная схема для описания функции устройства обработки информации в соответствии с вариантом осуществления.

На фиг. 34 представлена блок-схема последовательности операций, поясняющая пример потока обработки способа обработки информации в соответствии с вариантом осуществления.

На фиг. 35 представлена блок-схема последовательности операций, поясняющая пример потока обработки способа обработки информации в соответствии с вариантом осуществления.

Осуществление изобретения

Ниже предпочтительные варианты осуществления настоящего раскрытия будут подробно описаны со ссылкой на приложенные чертежи. В данном описании и на чертежах, элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное их пояснение исключено.

Описание будет представлено в следующем порядке.

1. Первый вариант осуществления

1.1 Пример конфигурации системы

1.2 Конфигурация устройства обработки информации

1.3 Поток способа обработки информации

1.4 Пример обработки управления отображением

1.5 Вывод

2. Второй вариант осуществления

2.1 Конфигурация устройства обработки информации

2.2 Поток способа обработки информации

2.3 Примеры модификации способа обработки информации

2.4 Вывод

3. Третий вариант осуществления

3.1 Пример конфигурации системы

3.2 Конфигурация устройства формирования изображения

3.3 Конфигурация устройства обработки информации

3.4 Поток способа обработки информации

3.5 Вывод

Первый вариант осуществления

Пример конфигурации системы

На фиг. 1 показана пояснительная схема, иллюстрирующая схематичную конфигурацию системы в соответствии с первым вариантом осуществления настоящего раскрытия. Как представлено на фиг. 1, система 10, в соответствии с вариантом осуществления, включает в себя сервер 100 и клиенты 200-700.

Сервер 100 содержит набор функций, реализуемых одним устройством сервера или множеством устройств сервера, подключенных через различные проводные или беспроводные сети для взаимодействия. Сервер 100 обеспечивает различные услуги для устройств 200 - 700 клиентов.

Устройства 200-700 клиенты представляют собой устройства терминала, соединенные с сервером 100 через различные проводные или беспроводные сети.

Сервер 100 и устройства 200-700 клиенты, независимо или во взаимодействии, реализуют, по меньшей мере, одну из следующих функций от (1) до (7) в системе 10.

(1) Устройство, которое включает в себя механизм формирования изображения, такой как камера, и передает снятое изображение реального пространства в сервер 100 или другие устройства 200 - 700 клиенты.

(2) Устройство, которое включает в себя механизм формирования изображения, такой как камера, выполняет различного рода обработку изображений для снятого изображении реального пространства, и подает различные изображения, относящиеся к реальному пространству и полученные в результате обработки изображений в сервер 100 или в другие устройства 200-700 - клиенты.

(3) Устройство, которое включает в себя механизм формирования изображения, такой как камера, выполняет различного рода обработку изображений для снятого изображения реального пространства, генерирует изображение, требуемое для пользователя, в соответствии с различными манипуляциями, выполняемыми для различных изображений пользователем, и передает сгенерированные различные изображения в сервер 100 или в другие устройства 200-700 клиенты.

(4) Устройство, которое включает в себя, по меньшей мере, механизм отображения, такой как дисплей, предпочтительно дополнительно включает в себя механизм манипуляций, такой как сенсорная панель, получает изображения, передаваемые устройством (1), генерирует изображения, заданные пользователем, в соответствии с различными манипуляциями, выполняемыми для изображений пользователем, и подает сгенерированные различные изображения пользователю для просмотра пользователя.

(5) Устройство, которое включает в себя, по меньшей мере, механизм отображения, такой как дисплей, предпочтительно дополнительно включает в себя механизм манипуляций, такой как сенсорная панель, получает изображения, передаваемые устройством (2), генерирует изображения, требуемые для пользователя, в соответствии с различными манипуляциями, выполняемыми для изображений пользователем, и передает сгенерированные различные изображения пользователю для просмотра пользователя.

(6) Устройство, которое включает в себя, по меньшей мере, механизм отображения, такой как дисплей, предпочтительно дополнительно включает в себя механизм манипуляций, такой как сенсорная панель, получает изображения, передаваемые устройством (3), и подает изображения пользователю для просмотра пользователя, и принимает различные манипуляции в отношении изображений, выполняемые пользователем.

(7) Устройство, которое включает в себя механизм отображения, такой как дисплей, и отображает различные изображения, генерируемые на основе различных манипуляций пользователя, принимаемых устройствами (4)-(6).

Устройство 200 клиента представляет собой носимый терминал (ниже также просто называется носимым терминалом 200). Носимый терминал 200 включает в себя, например, по меньшей мере, один из механизма формирования изображения и механизма отображения, и функционирует, как, по меньшей мере, одно из устройств (1)-(7). В представленном примере носимый терминал 200 представляет собой терминал типа очков и не ограничен этим примером, если только носимый терминал 200 имеет форму, которая может быть установлена на теле пользователя. Когда носимый терминал 200 функционирует, как устройства (1)-(3), носимый терминал 200 включает в себя камеру, установленную, например, на оправе очков, как механизм формирования изображения. В носимом терминале 200 камера может получать изображение реального пространства из положения, близкого к точке обзора пользователя. Полученное изображение передают в сервер 100 или в другие устройства 300 - 700 клиента. Когда носимый терминал 200 функционирует как устройства (4)-(7), носимый терминал 200 включает в себя дисплей, установленный на части или на всех линзах очков, как механизм отображения. Носимый терминал 200 обеспечивает отображение отображением изображения, снятого камерой.

Устройство 300 клиента представляет собой планшетный терминал (ниже также просто называется планшетным терминалом 300). Планшетный терминал 300 включает в себя, по меньшей мере, механизм отображения, предпочтительно, дополнительно включает в себя механизм манипуляций и может функционировать, как устройства (4)-(7). Планшетный терминал 300 может дополнительно включать в себя механизм формирования изображения, в дополнение к механизму отображения и механизму манипуляций, и может функционировать, как, по меньшей мере, одно из устройств (1)-(3). Таким образом, планшетный терминал 300 может функционировать, как любое устройство из устройств (1)-(7).

Устройство 400 клиента представляет собой мобильный телефон (смартфон) (ниже также просто называется мобильным телефоном 400). Поскольку функция мобильного телефона 400 в системе 10 является такой же, как и у планшетного терминала 300, подробное ее описание изобретения будет исключено. Хотя это не представлено, например, устройство, такое как портативное игровое устройство, портативное устройство воспроизведения музыки или цифровая камера может функционировать таким же образом, как и планшетный терминал 300, или мобильный телефон 400 в системе 10, если только устройство включает в себя механизм передачи данных, механизм отображения и механизм манипуляций, или механизм формирования изображения.

Устройство 500 клиента представляет переносной персональный компьютер (PC) (ниже также просто называется переносным PC 500). Переносной PC 500 включает в себя механизм отображения и механизм манипуляций, и функционирует как устройства (4)-(7). В представленном примере, поскольку переносной PC 500, в основном, имеет фиксированное использование, переносной PC 500 рассматривают, как пример устройства, которое не функционирует, как устройства (1)-(3). Хотя это не представлено, например, настольный PC или телевизор могут функционировать таким же образом, как и переносной PC 500. Переносной PC 500 включает в себя дисплей, как механизм отображения, включает в себя мышь или клавиатуру, как механизм манипуляций, отображает изображения, передаваемые непосредственно из устройств (1)-(3) или через различные устройства, и принимает различные манипуляции, выполняемые в отношении изображений пользователем. Когда переносной PC 500 дополнительно включает в себя механизм формирования изображения, такой как камера, переносной PC 500 также может функционировать, как устройства (1)-(3).

Устройство 600 клиента представляет собой фиксированную камеру (ниже также просто называется фиксированной камерой 600). Фиксированная камера 600 включает в себя механизм формирования изображения и функционирует, как устройства (1)-(3). В представленном примере, поскольку фиксированная камера 600 установлена для использования и не включает в себя механизм отображения, фиксированная камера 600 рассматривается, как пример устройства, которое не функционирует, как устройства (4)-(7). Хотя это не представлено, например, когда камера, выполняющая фотосъемку передней части экрана, установлена в настольном ПК или в телевизионном приемнике, или когда подвижное устройство, такое, как цифровая камера, временно закреплено на штативе, устройство может функционировать таким же образом, как и фиксированная камера 600. Фиксированная камера 600 включает в себя камеру, как механизм формирования изображения, и может получать изображения реального пространства из фиксированной точки обзора (включая в себя случай, в котором камера качается автоматически или в соответствии с манипуляцией пользователя, просматривающего снятое изображение).

Устройство 700 клиента представляет собой проектор (ниже также просто называется проектором 700). Проектор 700 включает в себя проекционное устройство, как механизм отображения, и функционирует, как устройство (7). В представленном примере, поскольку проектор 700 не включает в себя механизм формирования изображения и также не включает в себя механизм манипуляций, принимающий входные данные в виде отображаемого (проецируемого изображения, проектор 700 рассматривают, как пример устройства, которое не функционирует как устройства (1)-(6). Проектор 700 отображает различные изображения в реальном пространстве путем проецирования изображения на экран или поверхность объекта, используя проекционное устройство. Проектор 700 иллюстрируется, как проектор фиксированного типа, но может представлять собой проектор портативного типа.

Сервер 100 функционирует, как, по меньшей мере, одно из устройств (1)-(7), независимо от или во взаимодействии с устройствами 200-700 клиентами. Таким образом, сервер 100 имеет функцию получения изображения реального пространства, выполняя различного рода обработку изображения для полученного изображения, или отображая, по меньшей мере, одно из полученного изображения реального пространства или изображения, полученного посредством обработки изображений.

Используя представленные функции, реализуемые сервером 100 и устройствами - 200-700 клиента, пользователь может просматривать изображение в реальном пространстве, в котором присутствует движущийся объект, такой как любая из различных форм жизни, таких как человек, самодвижущийся объект, который сам себя приводит в движение на земле, под землей или под водой, или летающий объект, который летает в воздухе, и, таким образом, пространство может совместно использоваться между любым из различных движущихся объектов и пользователем. В системе, в соответствии с вариантом осуществления, пользователь также может свободно просматривать изображение реального пространства, в котором присутствует движущийся объект, независимо от движущегося объекта, выполняя обработку, которая будет подробно описана ниже.

Система, в соответствии с вариантом осуществления, была описана выше. Как представлено на фиг. 1, система 10, в соответствии с вариантом осуществления, может включать в себя устройство, позволяющее получать изображения реального пространства, устройство, позволяющее передавать пользователю изображения реального пространства таким образом, что пользователь может просматривать изображение реального пространства, и принимать различные манипуляции пользователя, и устройство позволяет отображать изображение, генерируемое в результате различных манипуляций пользователя.

Сервер 100 и устройства 200-700 клиенты независимо или совместно выполняют различного рода обработку информации, включающую в себя описанную выше обработку изображений, выполняемую системой 10. Сервер 100 и устройства 200-700 клиенты независимо или во взаимодействии реализуют устройство обработки информации, которое будет подробно описано ниже в отношении всей системы 10.

Конфигурация устройства

На фиг. 2 показана пояснительная схема, иллюстрирующая схематичную конфигурацию устройства в соответствии с вариантом осуществления. Как представлено на фиг. 2, устройство 900 включает в себя процессор 910 и запоминающее устройство 920. Устройство 900 может дополнительно включать в себя, по меньшей мере, один из модуля 930 отображения, модуля 940 манипуляции, модуля 950 передачи данных, модуля 960 формирования изображения и датчика 970. Эти составляющие элементы взаимно соединены с помощью шины 980. Устройство 900 может реализовать, например, устройство сервера, выполненное, как представленный выше сервер 100, и любое из устройств 200-700 клиентов.

Процессор 910 представляет собой, например, любой из различных процессоров, таких как центральное процессорное устройство (CPU) или цифровой сигнальный процессор (DSP), и реализует различные функции, например, путем выполнения операций, таких как расчет или управление, в соответствии с программами, сохраненными в запоминающем устройстве 920. Процессор 910 реализует, например, функцию управления любого всего устройства сервера 100 и устройств 200-700 клиентов. Процессор 910 выполняет, например, различного рода обработку изображений, которая будет описана ниже, или управление отображением для отображения изображения на экране отображения сервера 100 или устройств 200-700 клиентов.

Запоминающее устройство 920 выполнено так, что оно включает в себя носитель информации, такой как полупроводниковое запоминающее устройство или жесткий диск, и сохраняет программы или данные, используемые для обработки устройством 900. Запоминающее устройство 920 может сохранять, например, снятые данные изображения, полученные модулем 960 формирования изображения, или данные датчика, полученные датчиком 970. Некоторые из программ и данных, которые будут описаны в настоящем описании, могут быть получены из внешнего источника данных (например, сервера данных, сетевого накопителя или с подключаемого внешне запоминающего устройства), без сохранения в запоминающем устройстве 920.

Модуль 930 отображения установлен, например, в устройстве клиенте, включающем в себя описанный выше механизм отображения. Модуль 930 отображения может, например, представлять собой дисплей, в соответствии с формой устройства 900. Например, что касается представленного выше примера, носимый терминал 200 может включать в себя дисплей, который имеет форму, соответствующую линзам очков, или форму, соответствующую области отображения устройства отображения, устанавливаемого на голове. Планшетный терминал 300, мобильный телефон 400 или переносной PC 500 могут включать в себя дисплей плоского типа, установленный в каждом корпусе. В качестве альтернативы, модуль 930 отображения может представлять собой проекционное устройство, которое проецирует изображение на объект. В представленном выше примере проектор 700 может включать в себя проекционное устройство, как модуль отображения.

Модуль 940 манипуляций установлен, например, в устройстве клиенте, включающем в себя описанный выше механизм манипуляций. Модуль 940 манипуляций выполнен путем комбинирования клавиатуры, кнопки, переключателя и т.п. с устройством-указателем, таким как сенсорный датчик (который конфигурирует сенсорную панель вместе с отображением), установленным на дисплее, сенсорная панель или мышь, в соответствии с необходимостью. Например, модуль 940 манипуляций принимает манипуляции пользователя, устанавливающего положение в изображении, отображаемом в модуле 930 отображения, с помощью устройства-указателя, и вводит любую информацию в положении, где находятся клавиатура, кнопка, переключатель и т.п. В качестве альтернативы, модуль 940 манипуляций может принимать манипуляции от пользователя, устанавливающего положение внутри изображения, отображаемого в модуле 930 отображения устройством-указателем, и вводить любую информацию в положении устройства-указателя.

Модуль 950 передачи данных представляет собой интерфейс передачи данных, который передает сообщения между устройством 900 и другим устройством. Модуль 950 передачи данных поддерживает любой протокол беспроводной передачи данных или любой проводной протокол передачи данных и устанавливает соединение с передачей данных с другим устройством.

Модуль 960 формирования изображения представляет собой модуль камеры, которая снимает изображение. Модуль 960 формирования изображения формирует изображений реального пространства, используя датчик изображения, такой как прибор с зарядовой связью (CCD) или комплементарный металлооксидный полупроводник (CMOS), и генерирует снятое изображение. Последовательность снятых изображений, генерируемых модулем 960 формирования изображения, составляет видеоизображение. Модуль 960 формирования изображения не обязательно может быть включен, как часть устройства 900. Например, устройство формирования изображения, соединенное с устройством 900 по проводам или беспроводным образом, может рассматриваться, как модуль 960 формирования изображения. Модуль 960 формирования изображения может включать в себя датчик глубины, который измеряет расстояние между модулем 960 формирования изображения и субъектом для каждого пикселя. Данные глубины, получаемые от датчика глубины, могут использоваться для распознавания среды изображения, полученной путем формирования изображения реального пространства, как будет описано ниже.

Датчик 970 может включать в себя различные датчики, такие как датчик положения, датчик ускорения и гиродатчик. Результат измерения, полученный датчиком 970, может использоваться для различных целей, для поддержки распознавания окружающей среды в изображении, полученном путем отображения реального пространства, получения данных, специфичных для географического местоположения, или детектирования команд, вводимых пользователем. Датчик 970 может быть установлен в устройство, включающее в себя модуль 960 формирования изображения (в представленном выше примере, носимый терминал 200, планшетный терминал 300, мобильный телефон 400 или фиксированная камера 600 и т.п.).

Конфигурация устройства обработки информации

Далее конфигурация устройства обработки информации, в соответствии с вариантом осуществления, реализованным независимо или во взаимодействии с сервером 100 и устройствами 200-700 клиентами, описанными выше в отношении всей системы 10, будет подробно описана со ссылкой на фиг. 3-10, фокусируясь, главным образом, на функциях.

Здесь классификация снятого изображения, обрабатываемого устройством 10 обработки информации в соответствии с вариантом осуществления, не будет, в частности, ограничена, но может все еще представлять собой неподвижное изображение или движущееся изображение.

Снятое изображение, обрабатываемое устройством 1000 обработки информации, в соответствии с вариантом осуществления, предпочтительно, представляет собой снятое изображение, получаемое путем формирования изображения в диапазоне реального пространства настолько широко, насколько это возможно. В соответствии с этим, устройство формирования изображения, используемое для формирования изображения реального пространства предпочтительно, представляет собой камеру, на которой установлен объектив с как можно более широким углом обзора и, более предпочтительно, например, всенаправленная камера схематично представлена на фиг. 3.

На фиг. 3 схематично иллюстрируется конфигурация, в которой всенаправленная камера, отображающая реальное пространство, реализована, как носимый терминал 200. В носимом терминале 200, представленном на фиг. 3, камеры, углы обзора объективов которых являются как можно более широкими, установлены в круговой форме, так, что они охватывают окружающую среду вокруг головы человека, который представляет собой пример движущегося объекта. Даже когда камеры установлены по окружности головы человека, трудно получить изображение в направлении зенита. Поэтому, камера также установлена на верхней части на фиг. 3. В носимом терминале 200 установлены различные датчики, такие как датчик положения, датчик ускорения и гиродатчик. Информацию, относящуюся к линии зрения устройства формирования изображения (другими словами, положение устройства формирования изображения), выводимую из датчика, выводят в устройство обработки информации, которое будет описано ниже, и используют в качестве информации положения устройства формирования изображения, которая представляет собой информацию, относящуюся к положению устройства формирования изображения в устройстве обработки информации.

В примере, представленном на фиг. 3, представлен случай, в котором камеры расположены в круговой форме так, чтобы получить всенаправленное изображение. Однако когда нет необходимости, чтобы изображение, обрабатываемое в устройстве 1000 обработки информации, представляло собой всенаправленное изображение, камеры могут не быть установлены в круговой форме, и камеры могут быть установлены, по меньшей мере, частично на голове человека. Количество камер, используемых для воплощения носимого терминала 200, представленного на фиг. 3, не ограничено, но количество камер может быть соответствующим образом установлено так, чтобы можно было получать изображение в определенном широком диапазоне.

На фиг. 3 представлен случай, в котором движущийся объект представляет собой человека, но движущийся объект не ограничен человеком. Движущийся объект может представлять собой животное, кроме человека, на которого надет носимый терминал 200, или может представлять собой самодвижущийся объект, такой как робот или летящий объект, на котором установлены камеры.

Устройство 1000 обработки информации, которое выполняет различного рода обработку изображений для снятого изображения, которое было снято устройством формирования изображения, примеры которого представлены на фиг. 3, представляет собой устройство, которое выполняет управление таким образом, что изображение отображения, генерируемое на основе информации изображения, генерируемой путем формирования изображений устройством формирования изображения, установленным на движущемся объекте, который движется в пространстве, информации о положении устройства формирования изображения, которая представляет собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, которую получают из устройства манипуляции пользователя, с которым выполняет манипуляции пользователь, и которая устанавливает область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем. Информация о положении устройства формирования изображения может представлять собой, например, информацию, относящуюся к повороту устройства формирования изображения. Информация обзора пользователя может представлять собой, например, информацию, устанавливающую угол поля отображения, которое пользователь желает просматривать во всенаправленном изображении, снятом устройством формирования изображения.

Как представлено на фиг. 4А, например, устройство 1000 обработки информации включает в себя, по меньшей мере, модуль 1050 управления отображением, который представляет собой пример модуля управления. Как представлено на фиг. 4B, устройство 1000 обработки информации, в соответствии с вариантом осуществления, дополнительно может включать в себя, по меньшей мере, один из модуля 1010 генерирования изображения, модуля 1020 выбора изображения, модуля 1030 коррекции изображения, модуля 1040 генерирования информации линии зрения движущегося объекта, модуля 1060 получения данных, модуля 1070 подачи данных и модуля 1080 сохранения, в дополнение к модулю 1050 управления отображением. Здесь модули обработки, представленные на фиг. 4А и 4B, могут быть реализованы в любом одном из сервера 100 и устройств 200-700 клиента или могут быть распределены среди множества устройств, для реализации.

В следующем описании будет описан случай, в котором устройство 1000 обработки информации выполняет управление отображением для отображаемого изображения, генерируемого на основе информации о положении устройства формирования изображения, информации обзора пользователя и снятого изображения, снятого устройством формирования изображения. Само собой разумеется, что устройство 1000 обработки информации может выполнять управление отображением следующим образом на основе информации обзора пользователя и генерируемого изображения (например, скорректированного изображения, заранее полученного путем выполнения коррекции положения устройства формирования изображения для снятого изображения), сгенерированного на основе снятого изображения и информации о положении устройства формирования изображения с помощью устройства или устройств формирования изображения, других, чем устройства формирования изображения и устройства обработки информации.

Модуль 1010 генерирования изображения генерирует изображения, снятые по окружности, которые снимают по окружности в положении, в котором присутствует движущийся объект, который движется в пространстве, используя снятые изображения, захваченные устройством формирования изображения, установленным на движущемся объекте. Обработка генерирования изображения, снятого по окружности, с помощью модуля 1010 генерирования изображения, выполняется непрерывно в режиме реального времени, например, когда снятые изображения выводят из устройства формирования изображения, представленного на фиг. 3.

Здесь, когда снятые изображения, которые должны использоваться для генерирования изображения, снятого вдоль окружности, снимают с помощью всенаправленных камер, пример которых показан на фиг. 3, изображение, снятое по окружности, генерируемое путем интегрирования снятых изображений модулем 1010 генерирования изображения, представляет собой всенаправленное снятое изображение (сферическое изображение), показанное на фиг. 5. Схема генерирования изображения, снятого по окружности, из множества снятых изображений, которые были сняты множеством камер, не ограничена, в частности, чем-либо, но может применяться известная схема.

Модуль 1010 генерирования изображения может генерировать прямоугольное изображение, эквивалентное сферическому изображению, и представленное на фиг. 6, как изображение, снятое по окружности, вместо всенаправленного снятого изображения (сферического изображения), представленного на фиг. 5. Прямоугольное изображение, эквивалентное сферическому изображению, может быть сгенерировано, например, путем преобразования сферического изображения, в соответствии с известным способом, таким как эквидистантная цилиндрическая проекция. В результате использовании прямоугольного изображения, представленного на фиг. 6, в качестве изображения, снятого по окружности, вместо сферического изображения, показанного на фиг. 5, становится возможным более просто выполнять различного рода обработку изображений.

Модуль 1020 выбора изображения выбирает снятое изображение, соответствующее информации обзора пользователя, как изображение обзора пользователя среди изображений, снятых по окружности, на основе изображения, снятого по окружности, генерируемого модулем 1010 генерирования изображения, и информации обзора пользователя, которую получают из устройства манипуляций пользователя, с которым выполняет манипуляции пользователь, и обозначает пространство, которое пользователь желает просматривать. Изображение обзора пользователя, выбранное модулем 1020 выбора изображения, подают в устройство манипуляции пользователя (например, носимый терминал 200, такой как дисплей, устанавливаемый на голове, который устанавливают на другого пользователя, кроме движущегося объекта, в примерах, представленных на фиг. 5 и 6), с которым выполняет манипуляции пользователь, которые должны быть поданы для просмотра пользователю. В соответствии с этим, пользователь, выполняющий манипуляции с устройством манипуляции пользователя, может совместно использовать определенное пространство с движущимся объектом, который движется в пространстве, и может выбирать положение, которое он или она желает просматривать в пространстве, независимо от движущегося объекта. В результате, в пространстве, в котором присутствует движущийся объект, пользователь может свободно выбирать изображение в другом положении, чем положение, которое просматривает движущийся объект.

Обработка генерирования для изображений, снятых по окружности, и обработка выбора изображения из изображений, снятых по окружности, может быть выполнена при меньших затратах на расчеты, чем в технологии рекомбинации пространства, в которой часто используется обработка при высоких затратах на расчеты, такая как сопоставление особых точек между изображениями. В соответствии с этим, возможно реализовать уменьшение размера и веса устройства 1000 обработки информации, которое позволяет выполнять такую обработку.

Здесь информация обзора пользователя, установленная устройством манипуляции пользователя, генерируется, когда пользователь выполняет манипуляции с различными механизмами ввода, такими как сенсорная панель, клавиатура и мышь, установленными в устройстве манипуляции пользователя, и которая поступает в модуль 1020 выбора изображения. Когда устройство манипуляции пользователя представляет собой носимый терминал 200, представленный на фиг. 5 и 6, информация обзора пользователя может быть сгенерирована разными датчиками, такими как датчик положения, датчик ускорения и гиродатчик, установленными на носимом терминале 200, автоматически детектирующими поведение пользователя (например, направление линии зрения пользователя). Информация обзора пользователя может быть сгенерирована, когда пользователь выполняет аудиоввод или ввод жестом в устройство манипуляции пользователя.

Таким образом, устройство 1000 обработки информации, в соответствии с вариантом осуществления, включает в себя модуль 1010 генерирования изображения и модуль 1020 выбора изображения, и, таким образом, подает изображение (так называемое, изображение точки обзора от первого лица) пространства, просматриваемого движущимся объектом (более конкретно, устройством формирования изображения), пользователю в режиме реального времени. Здесь, в некоторых случаях, в изображении из точки обзора от первого лица возникает значительное сотрясение экрана, поскольку движущийся объект (более конкретно, устройство формирования изображения) просматривает окружающую среду, в которой присутствует движущийся объект. Когда пользователь наблюдает значительное сотрясение экрана, пользователь может ощущать "тошноту" (морскую болезнь), вызванную, в некоторых случаях тем, что он рассматривает изображение со значительным сотрясением. В соответствии с этим, устройство 1000 обработки информации, в соответствии с вариантом осуществления, предпочтительно, имеет функцию коррекции, состоящую в коррекции представленного выше вращательного движения устройства формирования изображения.

Модуль 1030 коррекции изображения представляет собой модуль обработки, который корректирует изменение в изображении, сопровождающем описанное выше движение поворота устройства формирования изображения на основе информации о положении устройства формирования изображения. Когда направление линии зрения устройства формирования изображения изменяется без изменения положения устройства формирования изображения (то есть, возникает вращательное движение в устройстве формирования изображения), модуль 1030 коррекции изображения выполняет коррекцию для изображения, снятого по окружности, таким образом, что подавляется изменение изображения, снятого по окружности, которое сопровождает изменение в направлении линии зрения устройства формирования изображения.

Более конкретно, модуль 1030 коррекции изображения использует информацию линии зрения движущегося объекта для выполнения коррекции таким образом, что изображение, снятое по окружности, после изменения направления линии зрения устройства формирования изображения, будет поворачиваться в обратном направлении, в соответствии с магнитудой угла поворота, в соответствии с изменением направления линии зрения устройства формирования изображения. Далее такая обработка коррекции будет описана со ссылкой на фиг. 7.

Как показано на фиг. 7, предполагается, что сферическое изображение A должно быть сгенерировано в определенное время, в соответствии со снятыми данными от движущегося объекта (человека), на которого надет носимый терминал 200, который включает в себя датчики и всенаправленные камеры. Затем предполагается, что происходит вращательное движение устройства формирования изображения, происходит изменение направления линии зрения, и соответствующим образом генерируется сферическое изображение В. В этом случае модуль 1030 коррекции изображения выделяет компонент вращения со ссылкой на информацию датчика, выводимую из носимого терминала 200, и устанавливает магнитуду угла вращения, сопровождающую изменения направления линии зрения устройства формирования изображения. После этого модуль 1030 коррекции изображения выполняет коррекцию сферического изображения B таким образом, что изображение вращается в обратном направлении, в соответствии с полученной магнитудой угла вращения, и генерирует сферическое изображение C, в котором компонент вращения устранен из сферического изображения B. В соответствии с этим, в результате устранения компонента вращения, сферическое изображение C становится изображением, просматриваемым, по существу, в том же направлении, что и сферическое изображение А.

В результате выполнения обработки коррекции изображения таким образом, становится возможным предотвращать существенное сотрясение экрана, вызванное вращательным движением устройства формирования изображения, и, таким образом, становится возможным предотвращать возникновение "тошноты" (морской болезни) у пользователя.

Модуль 1030 коррекции изображения может выполнять обработку коррекции вращательного движения таким образом, что величина локального свойства соответствует перед и после изменения направления линии зрения, сопровождающего вращательное движение устройства формирования изображения. На фиг. 7 иллюстрируется случай, в котором коррекция вращения выполняется, используя выход из датчика, установленного на движущемся объекте. Однако, обработка коррекции для вращательного движения может выполняться, фокусируясь на величине локального свойства в сферическом изображении A и на величине локального свойства в сферическом изображении В.

Например, модуль 1030 коррекции изображения выделяет величину локального свойства (например, положения особых точек) в сферическом изображении A и величину локального свойства в сферическом изображении B и выполняет обработку совмещения величин локального свойства. Кроме того, модуль 1030 коррекции изображения может выполнять коррекцию таким образом, чтобы величины локального свойства соответствовали перед и после изменения направления линии зрения устройства формирования изображения. В этом случае, модуль 1030 коррекции изображения может выделять компонент вращения для сопоставления двух величин локального свойства и выполнения коррекции для сферического изображения B с тем, чтобы выполнить обратное вращение изображения в соответствии с полученной магнитудой угла поворота.

Здесь величины локального свойства, сфокусированные на модуле 1030 коррекции изображения, не ограничены чем-либо конкретным, но можно использовать известные величины локального свойства. Например, в качестве величины локального свойства, можно упомянуть инвариантное к масштабу преобразование свойства (SIFT).

Как показано на фиг. 8, модуль 1030 коррекции изображения может использовать обработку коррекции изображения на основе выхода из датчика, установленного на движущемся объекте, и обработку коррекции изображения на основе величин локального свойства. В соответствии с этим, модуль 1030 коррекции изображения может более точно устранять компонент вращения.

Модуль 1030 коррекции изображения может управлять степенью, в которой выполняется коррекция, в соответствии с информацией о применении коррекции, обозначающей степень применения коррекции, которую получают из устройства манипуляции пользователя. В соответствии с этим, модуль 1030 коррекции изображения может полностью устранять компонент вращения в результате представленной выше коррекции компонента вращения или может не корректировать компонент вращения, или может выполнять коррекцию в степени, в которой компонент вращения не будет полностью исключен. Модуль 1030 коррекции изображения может также выполнять управление изображением для того, чтобы постепенно следовать вращательному движению устройства формирования изображения, путем выполнения коррекции в степени, в которой компонент вращения не полностью устранен.

Вращательное движение, генерируемое в устройстве формирования изображения, может быть выражено, например, используя оси координат вращения, которые определены взаимно независимо, такие как ось рыскания, ось тангажа и ось крена. Поэтому, модуль 1030 коррекции изображения может независимо управлять степенью, в которой описанная выше коррекция вращения выполняется для каждой из осей координат вращения, например, как представлено на фиг. 9.

Модуль 1040 генерирования информации линии зрения движущегося объекта генерирует информацию линии зрения, обозначающую поле обзора или направление (положение) линии зрения устройства формирования изображения на основе информации о положении устройства формирования изображения. Информация линии зрения может быть сгенерирована в соответствии с известным направлением, например, используя выходную информацию (то есть, информацию о положении устройства формирования изображения) из различных датчиков, установленных на движущемся объекте. Информация линии зрения может быть подана пользователю вместе с положением, снятым по окружности, сгенерированным модулем 1010 генерирования изображения, таким образом, что объект, обозначающий поле зрения или направление (положение) линии зрения устройства формирования изображения, может отображаться в изображении обзора пользователя, подаваемом в устройство манипуляции пользователя. В результате, пользователь может постоянно понимать направление линии зрения устройства формирования изображения при просмотре изображения, снятого по окружности, в любом направлении, которое отличается от поля зрения, или направления линии зрения (положения) устройства формирования изображения.

Модуль 1050 управления отображением управляет содержанием отображения устройства отображения, таким как дисплей, установленный в устройстве 1000 обработки информации или за пределами устройства 1000 обработки информации. В частности, модуль 1050 управления отображением выполняет такое управление, что отображаемое изображение, генерируемое на основе информации изображения, которая генерируется путем формирования изображения устройством формирования изображения, установленным на движущемся объекте, который движется в пространстве, информации о положении устройства, формирующего изображение, которая представляет собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, которую получают из устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и которая устанавливает область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем. Модуль 1050 управления отображением может отображать объект, обозначающий поле зрения и направление линии зрения устройства формирования изображения внутри изображения обзора пользователя путем выполнения управления отображением на экране отображения устройства манипуляции пользователя, например, как представлено на фиг. 10. В соответствии с этим, пользователь может постоянно понимать направление линии зрения движущегося объекта при выборе направления линии зрения, независимо из движущегося объекта.

Модуль 1060 получения данных получает данные снятого изображения, выводимые из устройства формирования изображения, установленного на движущемся объекте, или данные, относящиеся к линии зрения, включающей в себя выход датчика (то есть, информацию о положении устройства формирования изображения), относящийся к направлению линии зрения устройства формирования изображения, или получает данные, относящиеся к манипуляциям пользователя, выводимым из устройства манипуляции пользователя. Различного рода данные, получаемые из различных устройств модулем 1060 получения данных, могут использоваться, соответственно, каждым модулем обработки, включенным в устройство 1000 обработки информации.

Модуль 1070 подачи данных подает различного рода данные, генерируемые устройством 1000 обработки информации (например, данные снятого изображения, такого как изображение, снятое по окружности, или изображение обзора пользователя, или данные, относящиеся к линии зрения, такие как направление линии зрения устройства формирования изображения), в устройство, установленное снаружи устройства 1000 обработки информации. В соответствии с этим, устройство, установленное снаружи устройства 1000 обработки информации, также может использовать различного рода информацию, генерируемую устройством 1000 обработки информации.

Модуль 1080 сохранения может соответствующим образом записывать различные базы данных, используемые для обработки модуля 1010 генерирования изображения, модуля 1020 выбора изображения, модуля 1030 коррекции изображения, модуля 1050 генерирования информации линии зрения движущегося объекта, модуля 1050 управления отображением, модуля 1060 получения данных и модуля 1070 подачи данных, различные программы, включающие в себя приложения, используемые для различной обработки расчетов, выполняемой этими модулями обработки, и различные параметры, обязательно сохраняемые, когда выполняется определенная обработка или проходит временная обработка.

К модулю 1080 сохранения может свободно получить доступ каждый модуль обработки, такой как модуль 1010 генерирования изображения, модуль 1020 выбора изображения, модуль 1030 коррекции изображения, модуль 1050 генерирования информации линии зрения движущегося объекта, модуль 1050 управления отображением, модуль 1060 получения данных и модуль 1070 подачи данных, таким образом, что данные могут быть записаны или считаны.

Пример функции устройства 1000 обработки информации, в соответствии с вариантом осуществления был описан выше. Представленные выше составляющие элементы могут быть сконфигурированы, используя общие элементы или схемы, или могут быть сконфигурированы на основе аппаратных средств, специализированных для функций составляющих элементов. Все функции составляющих элементов могут быть выполнены с помощью CPU и т.п. В соответствии с этим, конфигурации, которые должны использоваться, могут быть изменены соответствующим образом, в соответствии с уровнями технологии всякий раз, когда реализуется вариант осуществления.

Компьютерная программа для реализации каждой функции устройства обработки информации, в соответствии с описанным выше вариантом осуществления, может быть сформирована так, чтобы она была установлена в персональном компьютере и т.п. Также может поставляться считываемый компьютером носитель записи, на котором содержится такая компьютерная программа. Примеры носителя записи включают в себя магнитный диск, оптический диск, магнитооптический диск и запоминающее устройство флэш. Компьютерная программа может быть доставлена, например, по сети без использования носителя записи.

Модуль 1010 генерирования изображения, модуль 1020 выбора изображения, модуль 1030 коррекции изображения, модуль 1050 генерирования информации линии зрения движущегося объекта, модуль 1060 получения данных, модуль 1070 подачи данных и модуль 1080 сохранения, представленные на фиг. 4В, также могут быть установлены в другом устройстве, таком как компьютер, который выполнен с возможностью взаимного сообщения с устройством 1000 обработки информации, таким образом, что представленные выше функции могут быть реализованы при взаимодействии с устройством 1000 обработки информации и другим устройством.

Поток способа обработки информации

Далее, со ссылкой на фиг. 11, вкратце будет описан поток способа обработки информации, выполняемого устройством 1000 обработки информации, в соответствии с вариантом осуществления.

В способе обработки информации, в соответствии с вариантом осуществления, снятые данные изображения вначале получают из камер, установленных на движущемся объекте (этап S101).

Затем модуль 1010 генерирования изображения устройства 1000 обработки информации генерирует изображения, снятые по окружности, например, для сферического изображения и прямоугольного изображения, полученного в результате преобразовывая сферического изображения в прямоугольную форму, на основе полученных данных снятого изображения (этап S103).

В это время модуль 1030 коррекции изображения устройства 1000 обработки информации выполняет представленную выше обработку коррекции для генерируемых снятых изображений по окружности, в соответствии с необходимостью (этап S105).

Затем модуль 1020 выбора изображения устройства 1000 обработки информации выбирает изображение, соответствующее информации обзора пользователя (то есть, изображение обзора пользователя) среди изображений, снятых вдоль окружности, в соответствии с информацией обзора пользователя, получаемой из устройства манипуляции пользователя (этап S107).

Затем модуль 1050 управления отображением устройства 1000 обработки информации управляет отображением выбранного изображения на экране отображения устройства манипуляции пользователя (этап S109). В соответствии с этим, пользователь, использующий устройство манипуляции пользователя, может совместно использовать с движущимся объектом изображение в пространстве, в котором присутствует движущийся объект.

Даже когда обработка выполняется, используя сгенерированное изображение на основе, как снятого изображения, так и информации о положении устройства формирования изображения, вместо снятого изображения, полученного из устройства формирования изображения, может быть выполнена обработка, описанная выше.

Поток способа обработки информации, в соответствии с вариантом осуществления, был описан вкратце выше со ссылкой на фиг. 11.

Пример обработки управления отображением

Далее обработка управления отображением в модуле 1050 управления отображением будет описана, в частности, со ссылкой на фиг. 12-17, на которых представлен пример отображаемого изображения, генерируемого модулем 1050 управления отображением в устройстве 1000 обработки информации, в соответствии с вариантом осуществления.

На фиг. 12-16 показаны пояснительные схемы для описания обработки управления отображением, в соответствии с вариантом осуществления. На фиг. 17 показана блок-схема последовательности операций, иллюстрирующая пример потока обработки управления отображением, в соответствии с вариантом осуществления.

Как описано со ссылкой на фиг. 7 и 8, устройство 1000 обработки информации, в соответствии с вариантом осуществления, может выделять компонент вращения, фокусируясь на изменении между кадрами сферических изображений, генерируемых из информации изображения, постоянно выводимой из устройства формирования изображения, или прямоугольных изображений (то есть, изображения, снятого по окружности), которые эквивалентны сферическим изображениям и которые основаны на эквидистантной цилиндрической проекции.

Здесь вращательное движение Q_1,2, генерируемое между изображением F₁, снятым по в соответствии с кадром 1, и изображением F₂, снятым по окружности в соответствии с кадром 2, может быть установлено, используя известную обработку оценки и т.п., выполняемую фокусируясь на местах положения изображения F₂, снятого по окружности для положений точек свойства изображения F₁, снятого по окружности. В результате постоянного выполнения обработки, устанавливающей вращательное движение вплоть до вращательного движения Q_{N-1, N,} генерируемого между изображением F_N-1, снятым по окружности в соответствии с кадром (N-1), и изображением F_N, снятым по окружности, соответствующим кадру N, для получения произведения вращательного движения, становится возможным установить вращательное движение Q_{1, N} из рамки 1 в рамку N, как в следующем выражении 101.

Вращательное движение Q_{1, N}, полученное таким образом, можно сказать, представляет собой информацию, относящуюся к вращению, которое соответствует изменению направления линии зрения устройства формирования изображения (то есть, информацией вращения). Информацию вращения можно обрабатывать, как информацию, обозначающую траекторию вращательного движения, генерируемого между кадром 1 - кадром N. Модуль 1050 управления отображением визуализирует вращательное движение Q_{1, N}, и, таким образом, позволяет подать пользователю траекторию вращательного движения, генерируемого кадром 1 - кадром N (другими словами, информацию о положении для визуализации изменения положения устройства формирования изображения).

Здесь, как системы координат, доступные, когда модуль 1050 управления отображением накладывает информацию положения на отображаемое изображении (то есть, изображение, снятое по окружности), генерируемое модулем 1010 генерирования изображения, существуют следующие две системы координат:

(a) система координат, фиксированная относительно пространства, в котором присутствует устройство формирования изображения (абсолютная система координат: ниже также называется системой A координат); и

(b) система координат, фиксированная на устройстве формирования изображения (система относительных координат: ниже также называется системой B координат).

Модуль 1050 управления отображением, в соответствии с вариантом осуществления, соответствующим образом отображает изображение, снятое по окружности, в пространстве, используя систему A координат между представленными выше двумя системами координат и накладывает различные объекты или изображение, соответствующее информации положения для изображения, снятого по окружности.

Модуль 1050 управления отображением, в соответствии с вариантом осуществления, может дополнительно накладывать различные объекты или изображение, соответствующее информации положения, на изображение, снятое по окружности, которое подвергают коррекции таким образом, что предотвращается изменение изображения, снятого по окружности, сопровождающего изменение направления линии зрения устройства формирования изображения.

Изображение обзора пользователя, выбранное из изображений, снятых по Окружности модулем 1020 выбора изображения, соответствует изображению, которое можно видеть, когда часть изображения, снятого по окружности, отображаемого на поверхность всей сферы в системе A координат, схематично представленной на фиг. 12, просматривается из любой точки, расположенной внутри сферы. В соответствии с этим, не считая систему A координат, система B координат определена в любой точке, расположенной внутри сферы. Как представлено на фиг. 12, системы координат, доступные в варианте осуществления, предпочтительно, представляют собой системы координат вращения, которые выражают любое положение на поверхности сферы, используя два угла поворота.

Когда различные аннотации, такие как текстовые данные, данные изображения и аудиоданные, запрашиваются для добавления в определенных положениях изображений, снятых по окружности, из устройства манипуляций пользователя, модуль 1050 управления отображением, предпочтительно, ассоциирует различные аннотации с пятнами соответствия положений, обозначенных из устройства манипуляции пользователя в системе A координат. Модуль 1050 управления отображением также может отображать различные объекты, такие как пиктограммы или изображения, обозначающие аннотации, в пятнах соответствия (пятна соответствия в системе A координат) для изображений, снятых по окружности, в соответствии с положением, обозначенным из устройства манипуляции пользователя.

Здесь, когда визуализируется информация, включенная в информацию о положении, по меньшей мере, следующие два способа можно использовать, как способы, принятые модулем 1050 управления отображением. Модуль 1050 управления отображением устанавливает или изменяет принятый способ визуализации на основе манипуляции пользователя, по меньшей мере, одного из манипулятора устройства формирования изображения и манипулятора устройства манипуляции пользователя.

(A) Движение системы A координат является фиксированным, и движение системы B координат изменяется в соответствии с информацией о положении.

В этом случае отображение реализовано таким образом, что снятое изображение по окружности, отображаемое в области отображения устройства отображения, такого как устройство манипуляции пользователя, изменяется при изменении положения устройства формирования изображения. Различные объекты или изображения, соответствующие информации положения, отображают таким образом, что различные объекты или изображения являются фиксированными для отображения области, даже когда положение устройства формирования изображения изменяется.

(B) Движение системы A координат изменяется в соответствии с информацией положения, и движение системы В координат фиксировано.

В этом случае, даже когда положение устройства формирования изображения изменяется, отображение реализуется так, что снятое по окружности изображение, отображаемое в области отображения устройства отображения, такого как устройство манипуляции пользователя, не меняется, или изменение в изображении, сопровождающее изменение положения устройства формирования изображения, является малым. Различные объекты или изображения, соответствующие информации положения, отображаются в области отображения таким образом, что различные объекты или изображения изменяются (виртуально поворачиваются) при изменении положения устройства формирования изображения.

Описанная выше обработка коррекции изображения, выполняемая модулем 1030 коррекции изображения, соответствует обработке фиксации движения системы B координат в представленном выше способе визуализации (В).

В результате визуализации информации положения, в соответствии с представленным выше способом визуализации (А), изображение, снятое по окружности, фиксированное по системе A координат, и направление системы B координат изменяются в соответствии с информацией положения, в фиксированном состоянии. Для более ясной передачи изменения движения системы B координат пользователю устройства манипуляции пользователя модуль 1050 управления отображением может накладывать объект, обозначающий оси координат системы B координат (например, оси координат, определенные углами направления широты и направления долготы), как объект, обозначающий информацию положения для изображения, снятого по окружности, и может поворачивать оси координат в соответствии с информацией положения, например, как представлено на фиг. 12. Для эффективной передачи изменения движения системы B координат пользователю устройства манипуляции пользователя, модуль 1050 управления отображением может накладывать движение, соответствующее изменению информация положения, как траекторию, на изображение, снятое по окружности, например, как представлено на фиг. 13.

В результате визуализации информации положения, в соответствии с представленным выше способом визуализации в позиции (В), направление системы B координат является фиксированным, и изменение, снятое по окружности, фиксированное в системе координат A, изменяется в соответствии с информацией положения в фиксированном состоянии. В этом случае, поскольку изображение, снятое по окружности поворачивается в соответствии с информацией положения, пользователь устройства манипуляции пользователя может легко понимать изменение положения устройства формирования изображения. Здесь модуль 1050 управления отображением может накладывать объект, обозначающий оси координат системы A координат (например, оси координат, определенные с углами направления широты и направления долготы) изображения, снятого по окружности, и может также поворачивать оси координат в соответствии с поворотом изображения, снятого по окружности, например, как представлено на фиг. 12. Для эффективной передачи изменения движения системы A координат пользователю устройства манипуляции пользователя, модуль 1050 управления отображением может накладывать движение, соответствующее изменению информации положения, как траекторию, на изображение, снятое по окружности, например, как представлено на фиг. 13.

Когда модуль 1050 управления отображением визуализирует вращение двух типов систем координат, описанных выше, модуль 1050 управления отображением может накладывать, по меньшей мере, один из объектов, который поворачивается с поворотным движением, сопровождающим изменение в направлении линии зрения устройства формирования изображения, и объекта, который не поворачивается в генерируемом отображаемом изображении (то есть, в изображении обзора пользователя). Таким образом, модуль 1050 управления отображением поворачивает объект, обозначающий оси координат системы координат при вращательном движении, но также может поворачивать объект, например, цифровое значение или букву, заданную по осям координат, представленным на фиг. 12, что можно было бы трудно понять, если бы объект поворачивался при вращательном движении. В соответствии с этим, положение объекта, которое может быть трудным для понимания, если объект поворачивался при вращательном движении, перемещается при вращательном движении, но положение объекта может быть постоянным с этой точки зрения. В результате, пользователю может быть более просто понять объект.

Здесь конкретные примеры различных объектов, наложенных на изображения обзора пользователя модулем 1050 управления отображением, не ограничены чем-либо конкретным, но может использоваться любой объект. Само собой разумеется, что информация о линии зрения, представленной на фиг. 10, может быть наложена на изображение обзора пользователя.

Модуль 1050 управления отображением, предпочтительно, определяет или изменяет установки, относящиеся к тому, какие оси координат отображаются между осями координат системы A координат и осями координат системы B координат, и какие оси координат поворачиваются, на основе манипуляции пользователя, по меньшей мере, одним из манипулятора устройства формирования изображения и манипулятора устройства манипуляции пользователя.

Когда оси поворота системы координат соответствуют осям поворота вращательного движения, описанного в информации положения (то есть, вращательного движения устройства формирования изображения), для пользователя устройства манипуляции пользователя в некоторых случаях трудно понять изменение положения устройства формирования изображения. В соответствии с этим, когда модуль 1050 управления отображением визуализирует изменение положения устройства формирования изображения, используя информацию поворота, модуль 1050 управления отображением, предпочтительно, генерирует отображаемое изображение путем виртуального просмотра пространства в другом положении (например, в положении O от центра системы координат (система А координат), фиксированном в пространстве, транслируемом из центра С системы А координат на фиг. 12 назад в направлении линии зрения устройства формирования изображения). В соответствии с этим, пользователь устройства манипуляции пользователя может просматривать отображаемое изображение непосредственно по мере того, как отображаемое изображение генерируют из фиксированной камеры, установленной визуально в другом положении, чем положение устройства формирования изображения. В результате, пользователь устройства манипуляции пользователя может более просто понять изменение в положении устройства формирования изображения. Модуль 1050 управления отображением может устанавливать или изменять исходное положение (положение O на фиг. 12) в представленной выше визуализации на основе манипуляции пользователя, по меньшей мере, одним из манипулятора устройства формирования изображения и манипулятора устройства манипуляции пользователя.

Для более эффективной передачи изменения информации положения пользователю устройства манипуляции пользователя, модуль 1050 управления отображением может управлять, по меньшей мере, одной из скорости воспроизведения и угла поля отображения во время отображения отображаемого изображения в области отображения, просматриваемой пользователем, в соответствии с информацией о положении. Модуль 1050 управления отображением может более эффективно передавать изменение информации о положении пользователю устройства манипуляции пользователя путем выполнения управления отображением, таким, как уменьшение скорости воспроизведения, например, в момент времени, в который величина поворота на основе информации о положении является большой.

Модуль 1050 управления отображением может генерировать отображаемое изображение в случае виртуального просмотра пространства в произвольном положении, обозначенном из устройства манипуляции пользователя, с центром в обозначенном произвольном положении, и может подавать отображаемое изображение в устройство манипуляции пользователя.

Конкретный пример отображаемого изображения

Далее, со ссылкой на фиг. 14-16, будет кратко описан пример отображаемого изображения, передаваемого в устройство манипуляции пользователя посредством обработки управления отображением, выполняемой модулем 1050 управления отображением, в соответствии с вариантом осуществления.

На фиг. 14 и 15, которые будут описаны ниже, иллюстрируется пример случая, в котором изображения, снятые носимым терминалом 200, подают другому пользователю, который выполняет манипуляции с устройством манипуляции пользователя, где пользователь, на которого надет носимый терминал 200, на котором установлено устройство формирования изображения, представленное на фиг. 3, выполняет упражнения на горизонтальной перекладине, что представляет собой одно из событий во время занятий гимнастикой в гимнастическом зале.

На фиг. 14 представлены примеры отображаемых изображений, когда принят представленный выше способ визуализации в позиции (А). Как понятно на фиг. 14, следует понимать, что, когда пользователь, на которого надет носимый терминал 200, продолжает упражнения на горизонтальной перекладине, изображения по окружности изменяются, и направление объекта, обозначающего оси координат системы A координат, изменяется момент за моментом в ходе изменения. На фиг. 14 траектория, обозначающая информацию о положении носимого терминала 200, накладывается на изображение обзора пользователя.

С другой стороны, на фиг. 15 иллюстрируется пример отображаемого изображения, когда принят представленный выше способ визуализации, показанный в позиции (В). Как понятно на фиг. 15, следует понимать, что, даже когда пользователь, на которого надет носимый терминал 200, продолжает упражнения на горизонтальной перекладине, изображения по окружности не меняются, и оси координат системы B координат, отображаемые с наложением, изменяются момент за моментом.

В результате выполнения обработки управления отображением, в соответствии с вариантом осуществления, таким образом, становится возможным визуализировать изменение в положении устройства формирования изображения, используя полученную информацию о положении (информацию о вращении).

Обработка управления отображением, в соответствии с вариантом осуществления, может применяться не только к сферическим изображениям, примеры которых представлены на фиг. 14 и 15, но также и к прямоугольному изображению, эквивалентному сферическому изображению, в соответствии с эквидистантной цилиндрической проекцией, как представлено на фиг. 16.

Поток обработки управления отображением

Далее, со ссылкой на фиг. 17, будет кратко описан пример потока обработки управления отображением в соответствии с вариантом осуществления.

При обработке управления отображением, в соответствии с вариантом осуществления, захваченные данные изображения вначале получают из камер, установленных на движущемся объекте (этап S151).

После этого модуль 1010 генерирования изображения устройства 1000 обработки информации генерирует изображения, снятые по окружности, такие как сферические изображения или прямоугольные изображения, получаемые в результате преобразования сферических изображений в прямоугольную форму, на основе полученных данных снятого изображения (этап S153).

Далее модуль 1030 коррекции изображения модуля 1010 генерирования изображения выполняют обработку анализа поворота, описанную выше, используя генерируемые изображения/снятые по окружности (этап S155).

После этого модуль 1050 управления отображением устройства 1000 обработки информации размещает сгенерированные снятые по окружности изображения или различные графические объекты на небесной сфере, на основе системы A координат (этап S157).

Затем модуль 1020 выбора изображения устройства 1000 обработки информации генерируют изображение, соответствующее информации обзора пользователя (то есть, изображение обзора пользователя) из изображений, снятых по окружности, на которые наложены различные графические объекты, в соответствии с информацией обзора пользователя, полученной из устройства манипуляции пользователя (этап S159).

Модуль 1050 управления отображением устройства 1000 обработки информации управляет отображением изображения, выбранного модулем 1020 выбора изображения на экране отображения устройства манипуляции пользователя таким образом, что пользователь, использующий устройство манипуляции пользователя, может совместно использовать изображение в пространстве, в котором присутствует движущийся объект с движущимся объектом.

Поток обработки управления отображением, в соответствии с вариантом осуществления, был кратко описан выше со ссылкой на фиг. 17.

Вывод

Таким образом, в устройстве обработки информации и в способе обработки информации, в соответствии с вариантом осуществления, можно наблюдать видеоизображение, окружающее движущийся объект, как изображения, снятые по окружности в режиме реального времени, и, таким образом, пользователь может получать ощущение присутствия так же, как если бы пользователь находился в том же месте, что и движущийся объект. В результате выполнения представленной выше обработки коррекции, подавляется сотрясение изображений, вызванное вращательным движением движущегося объекта. Поэтому, пользователь может избежать морской болезни (болезненное ощущение при просмотре видеоизображений), вызванной резким изменением изображений.

Для такой конфигурации существует односторонний случай (в котором информация протекает односторонне от движущегося объекта к пользователю) и двунаправленный случай (в котором информация поставляется от пользователя в движущийся объект через аудиосредство и другое средство). Для первого случая, например, когда движущийся объект, как предполагается, представляет собой игрока в спортивные игры, пользователь представляет собой лицо, наблюдающее за ним или его игру, и, таким образом, возможно реализовать широковещательную передачу спортивных состязаний, в которых используется ощущение присутствия. В таком случае количество пользователей не ограничено одним, но можно также рассматривать десятки тысяч людей, аналогично слушателям широковещательной передачи. С другой стороны, для последнего случая, предусматривается использование, в котором пользователь предоставляет определенные направления или инструкции для движущегося объекта при совместном использовании визуального поля движущегося объекта. Например, можно предусмотреть случай, в котором, когда движущийся объект (лицо) занимается приготовлением пищи, пользователь дает инструкции по приготовлению пищи. Даже в этом случае количество пользователей не ограничено одним, но более реалистично относительно небольшое количество пользователей.

Устройство обработки информации и способ обработки информации, в соответствии с первым вариантом осуществления настоящего раскрытия, будут подробно описаны ниже.

Второй вариант осуществления

Конфигурация устройства обработки информации

Далее будет описан второй вариант осуществления настоящего раскрытия. Устройство 1100 обработки информации, в соответствии с вариантом осуществления, представляет собой устройство, которое выполняет различного рода обработку информации для снятого изображения, снятого устройством формирования изображения, установленном на движущемся объекте, который движется таким образом, что пользователь может более естественно просматривать изображение, снятое во всех направлениях по окружности движущегося объекта.

В частности, как и в первом варианте осуществления, устройство 1100 обработки информации, в соответствии с вариантом осуществления, подает изображение (так называемое, изображение точки обзора от первого лица) пространства, просматриваемого движущимся объектом (более конкретно, устройством формирования изображения) пользователю в режиме реального времени. Здесь, в изображении точки обзора первого лица, включены сотрясения изображения, вызванное движущимся объектом, изображение которого формируется. Поэтому, когда пользователь просматривает изображение из точки обзора первого лица, пользователь может ощущать "тошноту" (морскую болезнь) из-за непостоянства движения, приводящего к сотрясениям, включенным в изображение, снятое из точки обзора первого лица, и движения тела пользователя.

В соответствии с этим, для уменьшения "тошноты", ощущаемой пользователем, выполняется обработка выделения сотрясений из изображения, снятого из точки обзора первого лица, вызванных в результате движения движущегося объекта (более конкретно, устройства формирования изображения), как компонента вращения изображения, и выполняется коррекция изображения в результате обратного поворота компонента вращения. В представленной выше обработке, однако, поворот устройства формирования изображения также может быть скорректирован, например, когда движущийся объект изменяет направление своего движения. По этой причине, когда пользователь просматривает изображение из точки обзора первого лица движущегося объекта, который движется с изменением направления его движения, изображение, снятое из точки обзора первого лица, обычно ориентировано в постоянном направлении, и, таким образом, в некоторых случаях, предоставляет неестественное впечатление для пользователя.

Устройство 1100 обработки информации, в соответствии с вариантом осуществления, подает пользователю более естественное изображение, снятое из точки обзора первого лица, путем управления отображением изображения, снятого из точки обзора первого лица, на основе направления движения движущегося объекта.

Конфигурация аппаратных средств системы и устройства обработки информации, в соответствии с вариантом осуществления, по существу, является такой же, как и конфигурации, представленные на фиг. 1 и 2. Снятое изображение, обрабатываемое устройством 1100 обработки информации, в соответствии с вариантом осуществления, предпочтительно, представляет собой, например, изображение, которое снимают с помощь всенаправленных камер, установленных на носимом терминале 200, представленном на фиг. 3, и которое получают путем формирования изображения в как можно большем диапазоне реального пространства (например, изображение, снятое во всех направлениях).

Далее, со ссылкой на фиг. 18, будет описана конкретная функциональная конфигурация устройства 1100 обработки информации, в соответствии с представленным выше вариантом осуществления. Модули обработки, представленные на фиг. 18, могут быть реализованы любым одним из сервера 100 и устройств 200-700 клиента на фиг. 1 или могут распределяться для множества устройств, которые требуется реализовать.

Как показано на фиг. 18, устройство 1100 обработки информации, в соответствии с вариантом осуществления, включает в себя модуль 1110 генерирования изображения, модуль 1120 выбора изображения, модуль 1130 коррекции изображения, модуль 1150 управления отображением, модуль 1160 получения данных, модуль 1170 подачи данных, модуль 1180 сохранения и модуль 1190 управления направлением.

Здесь, поскольку модуль 1110 генерирования изображения, по существу, является таким же, как и модуль 1010 генерирования изображения, модуль 1120 выбора изображения, по существу, является таким же, как и модуль 1020 выбора изображения, модуль 1150 управления отображением, по существу, является таким же, как и модуль 1050 управления отображением, модуль 1160 получения данных, является, по существу, таким же, как и модуль 1160 получения данных, модуль 1170 подачи данных, по существу, является таким же, как модуль 1070 получения данных, и модуль 1180 сохранения, по существу, является таким же, как и модуль 1080 сохранения, подробное описание его будет здесь исключено. Ниже будут описаны модуль 1130 коррекции изображения и модуль 1190 управления направлением характеристики варианта осуществления.

Модуль 1130 коррекции изображения представляет собой модуль обработки, который корректирует изменение в изображении, сопровождающее поворот устройства формирования изображения, путем выполнения обратного поворота относительно поворота движущегося объекта (более конкретно, устройства формирования изображения) для изображения, снятого по окружности. Модуль 1130 коррекции изображения может детектировать поворот устройства формирования изображения с помощью различных датчиков, таких как датчик ускорения и датчик наклона, и корректировать изменение в изображении, используя детектируемый поворот. Модуль 1130 коррекции изображения может выполнять оценку поворота устройства формирования изображения из изображений, снятых по окружности, захваченных устройством формирования изображениями корректировать изменение в изображении, используя оценку поворота устройства формирования изображения.

Модуль 1130 коррекции изображения, предпочтительно, выполняет оценку поворота устройства формирования изображения из изображения, снятого по окружности, захваченного устройством формирования изображения, и корректирует изменение в изображении, сопровождающем оценку поворота устройства формирования изображения. В этом случае, поскольку поворот устройства формирования изображения и коррекция вращения изображения, снятого по окружности, легко синхронизируются, и возможно соответствие с вращением с более высокой скоростью, чем тогда, когда используются различные датчики, он является более предпочтительным.

Ниже, со ссылкой на фиг. 19, будет более конкретно описан способ, в котором модуль 1130 коррекции изображения выполняет оценку вращения устройства формирования изображения из изображения, снятого по окружности, и корректирует изменение в изображении на основе оценки поворота устройства формирования изображения.

Как представлено на фиг. 19, сферическое изображение A, как предполагается, генерируют в определенное время (время t) в соответствии с данными изображения движущегося объекта (человека), на которого надет носимый терминал 200, включающий в себя всенаправленные камеры. После этого (во время t+1), предполагается, что движение поворота генерируется в движущемся объекте (более конкретно, в устройстве формирования изображения), и генерируется сферическое изображение В.

В этом случае, модуль 1130 коррекции изображения выделяет величину U локального свойства из сферических изображений A и B, и рассчитывает величину F изменений величин локального свойства. В частности, модуль 1130 коррекции изображения выделяет положения множества (например, n=1000) точек свойства изображения, в качестве величин U локального свойства из сферического изображения A и сферического изображения В.

Здесь множество особых точек свойства изображения предпочтительно выделяют через интервалы, которые являются равномерными, насколько это возможно, во всех сферических изображениях. Поскольку искажение изображений проявляет тенденцию увеличения на участках высокой широты сферических изображений, точки свойства изображения, предпочтительно, не выделяют на участках высокой широты.

Далее величины U локального свойства, выделенные из сферических изображений A и B, сравнивают для расчета величин F изменения величины локального свойства во время изменения от сферического изображения A до сферического изображения B. Среди значений величины F изменения величин локального свойства, значения величины изменения, равные или больше, чем заданное пороговое значение, могут быть исключены, как аномальные значения.

Таким образом, величина локального свойства U(t+1) в сферическом изображении B во время t+1 может быть выражена следующим выражением 201, используя величину U(t) локального свойства в сферическом изображении A в непосредственно предыдущий момент времени t и величину изменения значения F(t+1) величины локального свойства между сферическими изображениями A и B.

Уравнение 1

Затем модуль 1130 коррекции изображения преобразует величины (U(t), U(t+1)) локального свойства, рассчитанные путем отображения сферических изображений A и B на небесную сферу эквидистантной цилиндрической проекции в величины P(t) и P(t+1) 3-х мерного свойства. Затем модуль 1130 коррекции изображения выполняет оценку преобразований Mat(t+1) из величин от P(t) до P(t+1) 3-х мерного свойства, используя 3-хмерную аффинную оценку.

Уравнение 2

В соответствии с этим, модуль 1130 коррекции изображения может выполнять оценку преобразования Mat(t+1) из P(t) в P(t+1). Кроме того, модуль 1130 коррекции изображения может рассчитывать поворот Q(t+1) из сферического изображения A в сферическое изображение В на основе оценки преобразования Mat(t+1). Модуль 1130 коррекции изображения может определять, следует ли после оценки поворота выполнить расчет оценки ошибки рассчитанного поворота Q(t+1). Модуль 1130 коррекции изображения может снова выполнять оценку поворота, когда модуль 1130 коррекции изображения определяет, что оценка была проведена неудачно.

В соответствии с этим, модуль 1130 коррекции изображения может генерировать сферическое изображение C, в котором поворот корректируют путем выполнения поворота, подвергнутого обратному преобразованию оценки поворота Q(t+1) по сферическому изображению B. Модуль 1130 коррекции изображения может интегрировать поворот из сферического изображения в заданное время и корректировать изображение, снятое по окружности на основе интегрированного поворота.

Величины локального свойства, на которые фокусируется модуль 1130 коррекции изображения, не являются конкретно ограниченными, но могут использоваться известные локальные величины свойства. В качестве известных локальных величин свойства, например, можно представить преобразование свойства, инвариантное по масштабу (SIFT) и. т.п.

Модуль 1190 управления направлением представляет собой модуль обработки, который управляет отображением снятого по окружности изображения на основе направления движения движущегося объекта. В частности, модуль 1190 управления направлением управляет отображаемым изображением, которое отображается в области отображения, просматриваемой пользователем, таким образом, чтобы опорное направление отображаемого изображения, которое просматривает пользователь, соответствует направлению движения движущегося объекта. Более конкретно, когда разность угла между направлением движения движущегося объекта и опорным направлением движущегося объекта находится в пределах порогового значения (например, 15° в любую сторону для того, чтобы получить в сумме 30), модуль 1190 управления направлением управляет углом поля отображения для изображения, отображаемого в области отображения, просматриваемой пользователем, таким образом, что опорное направление отображаемого изображения, просматриваемого пользователем, соответствует опорному направлению или направлению движения движущегося объекта.

Здесь опорное направление движущегося объекта представляет собой, например, направление вперед движущегося объекта (человека, самодвижущегося объекта, летающего объекта, и т.п.). Опорное направление отображаемого изображения, которое просматривает пользователь, представляет собой, например, направление угла обзора отображаемого изображения, отображаемого в области отображения перед пользователем, когда пользователь обращен в направлении вперед.

Таким образом, модуль 1190 управления направлением может управлять углом поля отображения отображаемого изображения таким образом, что направление вперед движущегося объекта соответствует направлению угла поля отображаемого изображения, которое отображается в области отображения перед пользователем, когда пользователь обращен в направлении вперед. Поэтому, модуль 1190 управления направлением может разрешить неестественность отображаемого изображения, возникающего, когда движущийся объект изменяет направление своего движения.

Например, модуль 1190 управления направлением может рассчитывать направление движения движущегося объекта по информации положения движущегося объекта, получаемой посредством установки положения, используя Глобальную систему навигации (GPS) или Wi-Fi (зарегистрированный товарный знак). Например, модуль 1190 управления направлением может рассчитывать направление движения движущегося объекта по информации, детектируемой различными датчиками, такими как геомагнитный датчик и датчик ускорения. Модуль 1190 управления направлением может рассчитывать направление движения движущегося объекта по изображениям, снятым по окружности, захваченным устройством формирования изображения.

Здесь, в варианте осуществления, модуль 1190 управления направлением предпочтительно рассчитывает направление движения движущегося объекта по захваченным снятым по окружности изображениям. В такой конфигурации модуль 1190 управления направлением может более эффективно рассчитывать направление движения движущегося объекта, когда рассчитывают поворот при обработке изображений в модуле 1130 коррекции изображения.

В частности, когда движущийся объект (более конкретно, устройство формирования изображения) поворачивается при перемещении, компонент перемещения учитывают так, чтобы он был наложен на величину изменения F(t+1) величины U(t) локального свойства сферического изображения A и величины U(t+1) локального свойства сферического изображения B, описанных в модуле 1130 коррекции изображения, в дополнение к компоненту поворота. В соответствии с этим, как описано выше, после того, как будет получена оценка поворота Q(t+1) модулем 1130 коррекции изображения, модуль 1190 управления направлением рассчитывает разность между величиной P (t+1) 3-х мерного свойства сферического изображения B и величиной P(t) * Q(t+1) 3-х мерного свойства, полученной посредством оценки поворота Q(t+1) сферического изображения A. В соответствии с этим, компонент T (t+1) трансляции между сферическим изображением B и сферическим изображением A можно оценить, как разность между P (t+1) и P (t) *Q (t+1) (выражение 203).

Уравнение 3

Перемещение изображения, снятого по окружности, можно учитывать так, чтобы оно было сгенерировано в результате движения движущегося объекта, изображение которого получают. В соответствии с этим, направление движения движущегося объекта можно оценить, как противоположное направление направлению перемещения изображения, снятого по окружности, и, таким образом, модуль 1190 управления направлением может выполнять оценку противоположного направления для оценки направления движения компонента T(t+1) перемещения, как направление движения движущегося объекта.

Кроме того, модуль 1190 управления направлением предпочтительно выполняет обработку усреднения времени по рассчитанному T(t+1) и выполняет оценку направления движения движущегося объекта по компоненту T перемещения, подвергаемому усреднению по времени. В связи с этим, когда направление движения движущегося объекта часто изменяется, существует вероятность того, что пользователь будет ощущать "тошноту", когда модуль 1190 управления направлением часто поворачивает угол поля отображения отображаемого изображения, просматриваемого пользователем. Само собой разумеется, что модуль 1190 управления направлением предпочтительно использует направление движения движущегося объекта, усредненное по заданному времени, в качестве направления движения движущегося объекта, даже когда направление движения движущегося объекта рассчитывают, используя другой способ.

В соответствии с представленным выше способом, модуль 1190 управления направлением, рассчитывающий направление движения движущегося объекта, изменяет угол поля отображения для отображаемого изображения, отображаемого в области отображения, просматриваемой пользователем, таким образом, чтобы направление движения движущегося объекта соответствовало опорному направлению отображаемого изображения, просматриваемого пользователем. В частности, когда разность угла между направлением движения движущегося объекта и направлением вперед для движущегося объекта находится в пределах порогового значения (например, 15° с любой стороны, составляя в сумме 30°), модуль 1190 управления направлением, предпочтительно, управляет отображаемым изображением таким образом, чтобы снятое изображение в направлении вперед движущегося объекта отображалось впереди пользователя, когда пользователь обращен в направлении вперед. В соответствии с этим, поскольку модуль 1190 управления направлением может сопоставлять направление вперед движущегося объекта с направлением угла поля отображаемого изображения, отображаемого в направлении вперед, когда пользователь обращен в направлении вперед, возможно разрешить неестественность появления отображаемого изображения, когда движущийся объект изменяет направление своего движения.

Далее, со ссылкой на фиг. 20, будет более конкретно описан способ поворота угла поля изображения, отображаемого в области отображения, просматриваемого пользователем, для сопоставления направления движения движущегося объекта для того, чтобы модуль 1190 управления направлением сопоставлял направление движения движущегося объекта с опорным направлением отображаемого изображения, просматриваемого пользователем.

Например, как представлено на фиг. 20, направление 211 движения движущегося объекта 210 обозначено стрелкой, и направление угла поля отображаемого изображения 231 просматриваемого пользователем, как предполагается, обозначено отображением угла. Кроме того, "0°" в отображаемом изображении 231, просматриваемом пользователем, как предполагается, представляет собой направление угла поля отображаемого изображения (то есть, опорное направление отображаемого изображения), отображаемого вперед от пользователя, когда пользователь обращен в направлении вперед.

Здесь, как представлено на фиг. 20, когда движущийся объект 210 изменяет направление 211 движения вправо, модуль 1190 управления направлением поворачивает угол поля отображения изображения, снятого по окружности, для изменения отображаемого изображения 231, просматриваемого вперед пользователем, таким образом, чтобы направление 211 движения движущегося объекта и "0°" отображаемого изображения 231, просматриваемое пользователем, соответствовали друг другу. В соответствии с этим, возможно сопоставить направление движения движущегося объекта с направлением угла поля отображаемого изображения, которое отображается вперед от пользователя, когда пользователь обращен в направлении вперед. Поэтому, даже когда движущийся объект изменяет свое направление движения, модуль 1190 управления направлением может исключить ситуацию, когда изображение точки обзора от первого лица, просматриваемое пользователем, всегда ориентировано в одном направлении и, таким образом, возникает неестественное изображение.

Скорость, с которой модуль 1190 управления направлением поворачивает угол поля отображения для изображения, снятого по окружности, так, чтобы сопоставить опорное направление отображаемого изображения, которое просматривает пользователь, с направлением движения движущегося объекта, предпочтительно представляет собой заданную скорость. Скорость, с которой модуль 1190 управления направлением поворачивает угол поля отображения для изображения, снятого по окружности, будет описана со ссылкой на фиг. 21.

На фиг. 21 показан график, иллюстрирующий временные изменения направления движения движущегося объекта 210 и опорное направление отображаемого изображения 231, просматриваемого пользователем. Изменения обоих направлений обозначены изменениями угла. Как показано на фиг. 21, например, когда направление движения движущегося объекта 210 изменяется в момент времени P в результате операции поворота вправо, модуль 1190 управления направлением поворачивает угол поля отображаемого изображения 231 с заданной скоростью таким образом, чтобы опорное направление отображаемого изображения 231, просматриваемого пользователем, соответствовало направлению движения движущегося объекта 210. Здесь, для того, чтобы пользователь не чувствовал "тошноту" или неестественность, из-за резкого поворота угла поля отображаемого изображения 231, модуль 1190 управления направлением предпочтительно плавно поворачивает угол поля отображаемого изображения 231 с заданной скоростью.

Заданной скоростью, с которой поворачивается угол поля отображаемого изображения 231, можно управлять путем выбора пользователем, или ею можно управлять на скорости движения или скорости поворота движущегося объекта 210. Например, когда скорость движения или скорость поворота движущегося объекта 210 велика, модуль 1190 управления направлением может быстрее поворачивать угол поля отображаемого изображения 231. Соотношение соответствия между скоростью движения или скоростью поворота движущегося объекта 210 и скоростью поворота направления угла поля отображаемое изображения 231, предпочтительно, заранее сохраняют в модуле 1180 сохранения в форме таблицы соответствия, функции и т.п.

Описанной выше функцией управления углом поля изображения, отображаемого в области отображения, просматриваемой пользователем, можно управлять таким образом, что функция не выполняется по команде, вводимой пользователем или по состоянию пользователя.

Например, когда пользователь преднамеренно желает посмотреть в другом направлении, чем направление движения движущегося объекта, функцией модуля 1190 управления направлением можно управлять так, что функция не выполняется в соответствии с командой, вводимой пользователем. Вводимая пользователем команда представляет собой, например, входную операцию, при выполнении которой пользователь удерживает устройство манипуляции пользователя, которое представляет собой носимый терминал, с фиксацией устройства манипуляции пользователя обеими руками.

Когда пользователь смотрит в разных направлениях и направление линии зрения не определено постоянно, функцией модуля 1190 управления направлением можно управлять таким образом, что эта функция не выполняется. В частности, когда детектируемая величина вариации направления линии зрения пользователя превышает пороговое значение, функцией модуля 1190 управления направлением можно управлять таким образом, что функция не выполняется. Когда величина вариации направления линии зрения пользователя равна или меньше, чем пороговое значение в течение заданного времени, функцией модуля 1190 управления направлением можно управлять таким образом, что эта функция не выполняется.

В варианте осуществления, в отображаемом изображении, подаваемом пользователю, может быть отображено направление линии зрения движущегося объекта (например, человека), или может отображаться траектория направления линии зрения движущегося объекта (например, человека). Когда отображаемое изображение (например, изображение, просматриваемое пользователем), поступает из устройства 1100 обработки информации в движущийся объект (например, человеку), направление линии зрения пользователя может быть отображено в отображаемом изображении, или траектория направления линии зрения пользователя может отображаться в отображаемом изображении.

Пример функции устройства 1100 обработки информации, в соответствии с вариантом осуществления, был описан выше. Представленные выше составляющие элементы могут быть выполнены, используя общие элементы или схемы, или могут быть сконфигурированы аппаратными средствами, специализированными для функций составляющих элементов. Все функции составляющих элементов могут выполняться CPU и т.п. Аппаратные конфигурации вариантов осуществления могут изменяться соответствующим образом, в соответствии с уровнями технологии, всякий раз, когда реализуется вариант осуществления.

Компьютерная программа для реализации каждой функции устройства обработки информации, в соответствии с описанным выше вариантом осуществления, может быть сформирована так, чтобы ее можно было устанавливать на персональный компьютер и т.п. Считываемый компьютером носитель записи, на котором содержится такая компьютерная программа, также может быть поставлен. Примеры носителей записи включают в себя магнитный диск, оптический диск, магнитооптический диск и запоминающее устройство флэш. Компьютерная программа может быть поставлена, например, через сеть, без использования носителя записи.

Модуль 1110 генерирования изображения, модуль 1120 выбора изображения, модуль 1130 коррекции изображения, модуль 1190 управления направлением, модуль 1160 получения данных, модуль 1170 подачи данных и модуль 1180 сохранения, представленные на фиг. 18, могут быть установлены на другом устройстве, таком как компьютер, который выполнен с возможностью сообщения с устройством 10100 обработки информации, и устройство 1100 обработки информации может взаимодействовать с другим устройством для реализации представленных выше функций.

Поток способа обработки информации

Далее, со ссылкой на фиг. 22, будет вкратце описан поток способа обработки информации, выполняемый устройством 1100 обработки информации, в соответствии с вариантом осуществления.

В способе обработки информации, в соответствии с вариантом осуществления, снятые данные изображения вначале получают из устройства формирования изображения (камеры), установленного на движущемся объекте (этап S171).

Далее модуль 1110 генерирования изображения устройства 1100 обработки информации генерирует снятые по окружности изображения, такие как сферические изображения или прямоугольные изображения, полученные в результате преобразования сферических изображений в прямоугольную форму на основе полученных данных снятого изображения (этап S173).

Модуль 1130 коррекции изображения устройства 1100 обработки информации выполняет обработку изображений по снятому по окружности изображению для выделения компонента вращения из генерируемого снятого по окружности изображения и коррекции вращения движущегося объекта (более конкретно, устройства формирования изображения) (этап S175).

Затем модуль 1190 управления направлением устройства 1100 обработки информации получает данные направления движения движущегося объекта (этап S177).

Здесь модуль 1190 управления направлением устройства 1100 обработки информации определяет, находится ли разность угла между направлением движения движущегося объекта и опорным направлением движущегося объекта (например, направлением вперед движущегося объекта) в пределах порогового значения (этап S179). Здесь пороговое значение может, например, составлять 30° (то есть, по 15° с каждой стороны).

Когда разность угла между направлением движения движущегося объекта и опорным направлением движущегося объекта превышает пороговое значение (Нет на этапе S179), модуль 1120 выбора изображения устройства 1100 обработки информации выбирает изображение для просмотра пользователем среди изображений, снятых по окружности. Модуль 1150 управления отображением устройства 1100 обработки информации управляет отображением выбранного изображения на экране отображения устройства манипуляции пользователя (этап S181).

Наоборот, когда разность угла между направлением движения движущегося объекта и опорным направлением движущегося объекта находится в пределах порогового значения (Да на этапе S179), модуль 1120 выбора изображения и модуль 1150 управления отображением устройства 1100 обработки информации управляет отображением изображения на экране отображения, как на этапе S181 (этап S183). Кроме того, модуль 1190 управления направлением устройства 1100 обработки информации выполняет управление отображением таким образом, что изображение, снятое по окружности, отображаемое на экране отображения, поворачивается с заданной скоростью, при которой направление движения или опорное направление движущегося объекта соответствуют опорному направлению пользователя (этап S185).

В соответствии с этим, устройство 1100 обработки информации может корректировать сотрясения изображения, снятого по окружности, вызванные в результате поворота устройства формирования изображения, и может подавать пользователю снятое по окружности изображение, которое не является неестественным, даже когда движущийся объект изменяет свое направление движения.

Поток способа обработки информации, в соответствии с вариантом осуществления, был кратко описан со ссылкой на фиг. 22.

Пример модификации способа обработки информации

Далее примеры модификации варианта осуществления будут описаны со ссылкой на фиг. 23. Примеры модификации варианта осуществления представляют собой устройство обработки информации и способ обработки информации, состоящие в управлении модулем коррекции изображения таким образом, что коррекция поворота не выполняется для изображения, снятого по окружности, когда движение (перемещение) движущегося объекта синхронизировано с движением (перемещением) пользователя.

Таким образом, в примерах модификации варианта осуществления, модуль 1130 коррекции изображения определяет, синхронизировано ли движение движущегося объекта с движением пользователя. Когда определяют, что движение движущегося объекта синхронизировано с движением пользователя, функциями модуля 1130 коррекции изображения и модуля 1190 управления направлением управляют таким образом, что эти функции не выполняются.

В частности, авторы настоящего изобретения определили, что "тошнота" может быть уменьшена, и чувство присутствия может быть улучшено, когда движение или осведомленность пользователя, наблюдающего за изображением, снятым по окружности, синхронизированы с движением, ощущаемым движущимся объектом (например, человеком). В соответствии с этим, в примерах модификации варианта осуществления, при не выполнении коррекции вращения изображения, снятого по окружности, когда движение движущегося объекта (например, человека) синхронизировано с движением пользователя, становится возможным подавать изображение с большим чувством присутствия в отношении пользователя. В примерах модификации изобретения, когда детектируют движение, не синхронизированное между движущимся объектом и пользователем, предотвращается возникновение "тошноты" для пользователя, в результате выполнения коррекции поворота изображения, снятого по окружности.

Движение, для которого движение движущегося объекта (например, человека) синхронизировано с движением пользователя, представляет собой, например, движение следования за теннисным мячом.

Здесь "синхронизация" движения движущегося объекта и движения пользователя будет описана со ссылкой на фиг. 23. На фиг. 23 показан график, иллюстрирующий изменение угла вращения головы движущегося объекта и изменение угла поворота головы пользователя с течением времени.

Как представлено на фиг. 23, "синхронизация" движения движущегося объекта и движения пользователя обозначает, например, что направление поворота головы движущегося объекта и пользователя является одинаковым. В частности, на фиг. 23, форма колебаний поворота головы 210 движущегося объекта и форма колебаний поворота головы пользователя 230 могут изменяться по значениям амплитуды и периода, но моменты времени гребня и моменты времени нижней впадины являются, по существу, одинаковыми. В этом случае движение движущегося объекта и движение пользователя, можно сказать, являются "синхронизированными".

Более предпочтительно, "синхронизация" движения движущегося объекта и движения пользователя обозначает случай, в котором направления поворота голов движущегося объекта и пользователя является одинаковыми, и величины поворота голов движущегося объекта и пользователя равны или больше, чем заданная величина. Когда величины поворота голов движущегося объекта и пользователя малы, существует вероятность того, направления поворота голов движущегося объекта и пользователя будут непреднамеренно соответствовать друг другу из-за ненамеренного движения и т.п. В соответствии с этим, когда величины поворота голов движущегося объекта и пользователя равны или больше, чем заданная величина, и направления поворота голов движущегося объекта и пользователя, являются одинаковыми, можно более надежно сказать, что пользователь сознательно "синхронизирует" движение движущегося объекта со своим движением. Заданная величина составляет, например, 40° (то есть, по 20° в каждую сторону).

В дополнение к обнаружению поворота головы движущегося объекта и поворота головы пользователя, также возможно обнаружить "синхронизацию" движения движущегося объекта и движения пользователя.

Например, когда направление движения положения центроида движущегося объекта (например, человека) соответствует направлению движения положения центроида пользователя, движение движущегося объекта можно рассматривать, как "синхронизированное" с движением пользователя. Когда направление наклона корпуса движущегося объекта (например, человека) соответствует направлению наклона корпуса пользователя, движение движущегося объекта можно рассматривать, как "синхронизированное" с движением пользователя. При этом возможно обнаружить положения центроида и наклоны корпусов движущегося объекта и пользователя, например, используя известные датчики, такие как датчик ускорения и датчик движения.

Например, когда направление линии зрения движущегося объекта соответствует направлению линии зрения пользователя, можно считать, что движение движущегося объекта (например, человека) "синхронизировано" с движением пользователя. Кроме того, когда точка наблюдения движущегося объекта соответствует точке наблюдения пользователя, можно считать, что движение движущегося объекта "синхронизировано" с движением пользователя. Это связано с тем, что учитывается осведомленность или распознавание, которые, по существу, сопоставлены (синхронизированы) между движущимся объектом (например, человеком) и пользователем. При этом возможно обнаружить направление линии зрения или точки наблюдения, например, в соответствии с функцией детектирования линии зрения носимого терминала, установленного на движущемся объекте (например, человеке) и пользователе. Функция детектирования линии зрения может быть реализована в соответствии со способом, описанным в первом варианте осуществления, или известным способом.

Путем комбинирования описанных выше способов обнаружения "синхронизации" движения движущегося объекта и движения пользователя, становится возможным более надежно обнаружить "синхронизацию" движения движущегося объекта и движения пользователя.

В примерах модификации варианта осуществления, когда движение движущегося объекта (например, человека) синхронизировано с движением пользователя, модуль 1130 коррекции изображения не выполняет коррекцию поворота на изображении, снятом по окружности. Когда детектируют движения, не синхронизированные между движущимся объектом и пользователем, модуль 1130 коррекции изображения выполняет коррекцию поворота изображения, снятого по окружности. Поток обработки информации по способу, выполняемому в примерах модификации варианта осуществления, будет описан со ссылкой на фиг. 24.

Здесь, в следующем описании, движения, выполняемые движущимся объектом и пользователем, как предполагается, представляют собой движения между движущимся объектом и пользователем, или движения, при которых возможна осознанная синхронизация.

В способе обработки информации, в соответствии с примером модификации варианта осуществления, данные снятого изображения вначале получают из устройства формирования изображения (камеры), установленного на движущемся объекте (этап S191).

Затем модуль 1110 генерирования изображения устройства 1100 обработки информации генерирует изображение, снятое по окружности, например, сферическое изображение или прямоугольное изображение, получаемые путем преобразования сферического изображения в прямоугольную форму на основе полученных данных снятого изображения (этап S193).

Здесь модуль 1130 коррекции изображения устройства 1100 обработки информации определяет, является ли вращение движущегося объекта (более конкретно, устройства формирования изображения) синхронизированным с вращением терминала, установленного на пользователе. Более конкретно, модуль 1130 коррекции изображения устройства 1100 обработки информации определяет, является ли направление вращения устройства формирования изображения таким же, как и направление вращения устройства терминала, установленного на пользователе (этап S195).

Здесь, когда вращение устройства формирования изображения не синхронизировано с вращением терминала, установленного на пользователе (нет на этапе S195), модуль 1130 коррекции изображения устройства 1100 обработки информации выполняет обработку изображений для изображения, снятого по окружности, для выделения компонента вращения из изображения, снятого по окружности, и коррекции вращения устройства формирования изображения (этап S197). Здесь модуль 1190 управления направлением может дополнительно управлять отображаемым изображением на основе направления движения движущегося объекта.

И, наоборот, когда поворот движущегося объекта синхронизирован с поворотом терминала, установленного на пользователе (да на этапе S195), модуль 1130 коррекции изображения устройства 1100 обработки информации не выполняет обработку изображений для изображения, снятого по окружности, для коррекции вращения устройства формирования изображения.

После этого, модуль 1120 выбора изображения устройства 1100 обработки информации выбирает изображение, которое должно быть просмотрено пользователем, среди изображений, снятых по окружности. Модуль 1150 управления отображением устройства 1100 обработки информации управляет отображением выбранного изображения на экране отображения устройства манипуляции пользователя (этап S199).

В соответствии с этим, устройство 1100 обработки информации может подавать изображение, снятое по окружности, вызывая более высокое ощущение присутствия у пользователя, когда пользователь наблюдает изображение, снятое по окружности, выполняя движение, синхронизированное с движущимся объектом.

Выше со ссылкой на фиг. 24 был вкратце описан поток способа обработки информации, в соответствии с примером модификации варианта осуществления.

Вывод

Таким образом, в устройстве обработки информации и в способе обработки информации, в соответствии с вариантом осуществления, видеоизображение, окружающее движущийся объект, можно наблюдать, как изображения, снятые по окружности в режиме реального времени, и, таким образом, пользователь может получить ощущение присутствия так же, как если бы пользователь находился в том же местоположении, что и движущийся объект. В результате выполнения описанной выше обработки коррекции, сотрясения изображений, вызванные из-за вращательного движения движущегося объекта, подавляются, и изменение в направлении движения движущегося объекта может быть отражено на отображаемое изображение. Поэтому, возникновение морской болезни (тошноты) подавляется, и пользователь может просматривать более естественное изображение, снятое от первого лица.

Кроме того, в устройстве обработки информации и в способе обработки информации, в соответствии с примерами модификации варианта осуществления, изображение, снятое по окружности с более высоким ощущением присутствия, может быть подано пользователю, когда пользователь наблюдает изображение, снятое по окружности, выполняя движения, синхронизированные с движущимся объектом.

Устройство обработки информации и способ обработки информации, в соответствии со вторым вариантом осуществления настоящего раскрытия, были подробно описаны выше.

Третий вариант осуществления

В предшествующем уровне техники, было разработано множество технологий для получения реальной сцены, используя множество камер, путем рекомбинации сцены в виртуальном пространстве и обеспечения для пользователя возможности просмотра пространства. Примеры технологий включают в себя технологию для обеспечения движения изображения, снятого камерой, установленной на движущемся автомобиле, внутри изображения в ассоциации с информацией о положении и технологией для установки камеры, позволяющей снимать всенаправленное изображение и обеспечивающей возможность свободного изменения направления линии зрения из определенного местоположения. Используя такие технологии во время движения в виртуальном пространстве можно просматривать изображение по окружности. С другой стороны, хотя точка наблюдения движется в ближайшую точку наблюдения, и всенаправленное изображение можно наблюдать в этих технологиях, поскольку точки фотографической съемки являются дискретными, точка обзора может не двигаться плавно. В соответствии с этим, изображения, реализованные такими технологиями, отличаются от изображений, воспроизводимых, если бы пользователь находился в данном местоположении.

Существует способ, называемый теорией лучевого пространства (Светового поля), которая обеспечивает перемещение положения точки обзора путем формирования изображения пространства с помощью камер, расположенных в виде решетки. В теории лучевого пространства, после фотографической съемки пространства с помощью массива камер, расположенных в форме решетки, пиксели, включенные в снятое изображение, пространственно проецируют в пространство, имеющее две плоскости проекции, как представлено на фиг. 25.

В соответствии с этим, свет (например, луч 1 на фиг. 25), проходящий через прямоугольное пространство, сформированное плоскостями A и B проекции, можно выразить, как одну точку в 4-х мерном пространстве, которое реализуется с функцией L (u, v, s, t), используя координаты (u, v), обозначающие положения на проекции A, и координаты (s, v), обозначающие положения на плоскости B проекции. При выражении света, проходящего через две плоскости проекции в представленном выше 4-х мерном пространстве, возможна рекомбинация изображения из определенной точки обзора 4-х мерного пространства, представленного на фиг. 25.

Например, на фиг. 25, точка a обозначает точку обзора, и точка b обозначает точку обзора, наблюдаемую из точки а обзора. Свет (луч 2), падающий из точки а обзора в точку b обзора, может быть выражен, использую представленную выше функцию L. В соответствии с этим, на любой плоскости проекции, расположенной между плоскостями A и B проекции, поле обзора из точки а обзора может быть воспроизведено путем повторения той же обработки в точках, которые формируют плоскость проекции.

Однако в конфигурации лучевого пространства, представленного на фиг. 25, все еще присутствует ограничение по степени свободы положения точки обзора. Например, поскольку зрительная линия (луч 3) из точки с обзора на фиг. 25 не проникает через плоскости A и B проекции, линия зрения не может быть выражена, как точка в лучевом пространстве L. В соответствии с этим, при рекомбинации визуального поля на основе лучевого пространства, представленного на фиг. 25, существует ограничение по положению.

В соответствии с этим, авторы настоящего изобретения, в ходе усердных исследований пришли к технологии, позволяющей выполнять рекомбинацию визуального поля без ограничения, и, таким образом, получили устройство обработки информации, которое будет описано ниже.

Пример конфигурации системы

На фиг. 26 показана схема, иллюстрирующая схематичную конфигурацию системы, в соответствии с третьим вариантом осуществления настоящего раскрытия. Как показано на фиг. 26, система 20, в соответствии с вариантом осуществления, включает в себя устройство 800 формирования изображения и устройство 2000 обработки информации.

Ограничение в теории лучевого пространства, представленного на фиг. 25, вызвано тем, что размещенные в виде массива камеры, которые представляют собой устройства формирования изображения, расположены в форме 2-х мерной решетки. В соответствии с этим, авторы настоящей заявки решили устранить ограничение по точкам обзора путем размещения камер в форме 3-х мерной решетки. В таком случае, однако, могут возникнуть такие проблемы, что (1) определенные камеры будут скрывать поля обзора других камер и (2) количество необходимых камер становится слишком большим.

В соответствии с этим, авторы настоящей заявки исследовали устройства формирования изображения самодвижущегося типа, используемые для формирования изображения, и затем пришли к идее, что пространство может быть сформировано в форме 3-х мерной решетки, используя устройство 800 формирования изображения, которое может свободно перемещаться в пространстве, исключая представленные выше проблемы. Устройство 800 формирования изображения будет снова подробно описано ниже.

В системе 20, в соответствии с вариантом осуществления, множество частей захваченных данных, которые были захвачены самодвижущимся устройством 800 формирования изображения, поступает в устройство 2000 обработки информации, и выполняется обработка реконструирования изображения на основе множества частей захваченных данных в устройстве 2000 обработки информации.

Устройство 2000 обработки информации выполняет обработку реконструкции изображения на основе множества частей снятых данных, которые были захвачены устройством 800 формирования изображения. Когда устройство 2000 обработки информации выполняет обработку реконструирования изображения, устройство 2000 обработки информации генерирует 3-х мерное пространство, для которого было сформировано изображение, используя множество частей снятых данных, захваченных устройством 800 формирования изображения. Устройство 2000 обработки информации выполняет обработку реконструирования изображения, используя сгенерированное пространство сформированных изображений или лучевое пространство, дополнительно сгенерированное на основе сгенерированного пространства сформированных изображений. Например, устройство 2000 обработки информации может быть выполнено на основе, по меньшей мере, одного сервера 100 и устройств 200-700 клиентов, включенных в систему 10, в соответствии с первым вариантом осуществления, описанным со ссылкой на фиг. 1. В этом случае сервер 100 и устройства 200-700 клиенты независимо или во взаимодействии реализованы, как устройство 2000 обработки информации, которое будет подробно описано ниже в отношении всей системы 20. Само собой разумеется, что устройство 2000 обработки информации может быть сконфигурировано на основе любого из различных независимых компьютеров. Поскольку конфигурация устройства для устройства 2000 обработки информации является такой же, как и на фиг. 2, подробное его описание будет здесь исключено. Конфигурация устройства 2000 обработки информации будет подробно снова описана ниже.

Конфигурация устройства формирования изображения

Устройство 800 формирования изображения, в соответствии с вариантом осуществления, может быть сконфигурировано, как одно устройство формирования изображения, такое как робот, который может свободно перемещаться в пространстве. Однако предпочтительно использовать устройство 800 формирования изображения самодвижущегося типа с камерами, установленными в виде массива, представленными на фиг. 27A или 27B.

В устройстве 800 формирования изображения, представленном на фиг. 27А, камеры 801 расположены так, чтобы их можно было располагать в 1-мерном направлении. По меньшей мере, один маркер 803 распознавания положения для установления положения формирования изображения установлен над камерами 801. Камеры 801 и маркеры 803 распознавания положения поддерживаются портативным штативом 805, на котором установлены колеса транспортного средства. Камерами 801 или штативами 805 управляет один компьютер 807 управления, который установлен на штативе 805 и включает в себя батарею. В устройстве 800 формирования изображения, представленном на фиг. 27B, камеры 801, представленные на фиг. 27А, расположены в форме массива, в 2-мерных направлениях.

В системе 20, в соответствии с вариантом осуществления, устройство 800 формирования изображения, представленное на фиг. 27А или 27B, повторяет обработку формирования изображений при перемещении в пространстве.

Камеры 801, установленные в устройствах 800 формирования изображения, представленные на фиг. 27A и 27B, могут представлять собой широкоугольные камеры, в которых только угол поля обзора в заданном направлении установлен, как поле визуального формирования изображения, как представлено на фиг. 28А, или могут представлять собой всенаправленные камеры, в которых вся окружность представляет собой визуальное поле формирования изображения, как представлено на фиг. 28B. Однако, как будет описано ниже, предпочтительно выполнять формирование изображений, насколько это возможно, более плотно, в как можно большем количестве направлений для выполнения формирования изображения в пространстве. Поэтому, всенаправленная камера, представленная на фиг. 28B, предпочтительно, используется в качестве камеры 801, установленной в устройстве 800 формирования изображения.

Устройство 800 формирования изображения, в соответствии с вариантом осуществления, повторяет формирование изображений при перемещении в пространство с заданным интервалом (предпочтительно постоянным интервалом), как схематично представлено на фиг. 29. В это время положения формирования изображения в пространстве записывают одновременно с формированием изображений по маркерам 803 распознавания положения, установленным в устройстве 800 формирования изображения.

Множество частей снятых данных, которые были сняты устройством 800 формирования изображения, выводят в устройство 2000 обработки информации.

Конфигурация устройства обработки информации

Устройство 2000 обработки информации, в соответствии с вариантом осуществления, включает в себя модуль 201 генерирования пространства сформированного изображения, модуль 2020 генерирования лучевого пространства, и модуль 2030 реконструирования изображения, как представлено на фиг. 30. Устройство 2000 обработки информации может дополнительно включать в себя один из модуля 2040 управления отображением, модуля 2050 получения данных, модуля 2060 подачи данных и модуля 2070 сохранения. Здесь модули обработки, представленные на фиг. 30, могут быть реализованы с помощью любого одного из сервера 100 и устройств 200-700 клиента, или могут быть распределены по множеству устройств, для реализации.

Модуль 2010 генерирования пространства сформированного изображения генерирует пространство сформированного изображения, в котором информация, обозначающая положения, в которых генерируют снятые изображения в пространстве, ассоциирована с соответствующими снятыми изображениями, используя множество снятых изображений, которые были захвачены устройством 800 формирования изображения движущегося в пространстве или устройством формирования изображения, установленным на движущемся объекте, который движется в пространстве. Поскольку маркеры 803 распознавания положения установлены вместе с камерами 801 в устройстве 800 формирования изображения, в соответствии с вариантом осуществления, захваченные изображения легко ассоциируются с положениями формирования изображения. Например, как схематично представлено на фиг. 31, генерируемое пространство формируемого изображения представляет собой 3-х мерное пространство, в котором узлы решетки соответствуют положениям формирования изображения устройства 800 формирования изображения и т.п., и снятые изображения ассоциированы с узлами решетки.

Путем генерирования такого пространства сформированного изображения становится возможным подавать снятое изображение, ассоциированное с положением (x', y', z') формирования изображения, расположенным ближе всего к точке обзора (x, y, z), например, когда существует место назначения от пользователя, который желает просматривать изображение, просматриваемое из точки (x, y, z) обзора. В частности, когда снятое изображение, ассоциированное с каждой точкой решетки, представляет собой всенаправленное изображение, обозначение направления линии зрения дополнительно принимают от пользователя, и обозначенное изображение в направлении линии зрения вырезают из соответствующего всенаправленного изображения таким образом, что изображение может быть подано для просмотра пользователем.

Для подачи изображения пользователю, в соответствии с таким способом, количество точек решетки в пространстве сформированного изображения, представленного на фиг. 31, предпочтительно выбирают большим, насколько это возможно, и интервалы взаимно соседних точек решетки предпочтительно выбирают настолько короткими, насколько это возможно.

В устройстве 2000 обработки информации, в соответствии с вариантом осуществления, не только можно подавать свободное изображение точки обзора на основе пространства сформированного изображения, представленного на фиг. 31, но также можно подавать свободное изображение точки обзора на основе лучевого пространства. Лучевое пространство генерируют с помощью модуля 2020 генерирования лучевого пространства на основе пространства формируемого изображения, генерируемого модулем 2010 генерирования пространства формируемого изображения.

Модуль 2020 генерирования лучевого пространства генерирует лучевое пространство, ограничивающее пространство формируемого изображения на основе пространства формируемого изображения, генерируемого модулем 2010 генерирования пространства формируемого изображения. Например, лучевое пространство может иметь форму прямоугольного параллелепипеда, окружающего пространство формируемого изображения, как представлено на фиг. 32А, или может представлять собой сферическое пространство, ограничивающее пространство формируемого изображения, как представлено на фиг. 32B.

В результате генерирования лучевого пространства, ограничивающего пространство формируемого изображения, представленное на фиг. 32А или 32B, свет, проникающий через внутреннюю часть лучевого пространства, проникает через в любых двух точках лучевого пространства. Путем генерирования такого лучевого пространства, все лучи, наблюдаемые изнутри лучевого пространства, могут быть описаны, без ограничения положения наблюдения или направления наблюдения.

Например, как представлено на фиг. 32А, когда лучевое пространство представляет собой пространство в форме прямоугольного параллелепипеда, свет, проникающий через лучевое пространство, проникает через два участка среди шести поверхностей прямоугольного параллелепипеда. Поэтому, луч L может быть определен, используя координаты точек проникновения света на прямоугольный параллелепипед. Луч L, определенный таким образом, соответствует одной точке в 4-х мерном пространстве, определенном как (u, v, s, t). Здесь система координат отличается для каждой поверхности прямоугольного параллелепипеда. Однако, как представлено на нижнем участке на фиг. 32А, все точки могут быть выражены в одной и той же системе координат, независимо от того, через какие поверхности происходит проникновение, путем учета вида развития лучевого пространства.

Например, как представлено на фиг. 32B, когда лучевое пространство установлено, как сферическое пространство, одна точка на сферической поверхности может быть преобразована в одну точку в прямоугольном пространстве, например, используя известный способ, такой как эквидистантная цилиндрическая проекция. В соответствии с этим, как представлено на фиг. 32B, даже когда лучевое пространство установлено, как сферическое пространство, луч L может соответствовать одной точке в 4-х мерном пространстве, как и в случае фиг. 25А.

Изображение, показанное, когда пространство просматривают, может быть реконструировано в соответствии с лучевым пространством, генерируемым таким образом. Обработка реконструирования выполняется модулем 2030 реконструирования изображения.

Модуль 2030 реконструирования изображения реконструирует изображение, соответствующее информации реконструирования в отношении направления линии зрения и точки обзора, обозначенной пользователем на основе лучевого пространства, генерируемого модулем 2020 генерирования лучевого пространства и информация реконструирования. Ниже способ реконструирования изображения будет описан со ссылкой на фиг. 33.

Одна точка изображения, просматриваемого пользователем, может быть выражена как вектор, обозначенный положением точки обзора и направлением точки обзора из положения точки обзора, как представлено на фиг. 33. Когда вектор, представленный на фиг. 33, определен на основе информации реконструирования, модуль 2030 реконструирования изображения расширяет вектор и рассчитывает положения точек пересечения между вектором и лучевым пространством. Здесь, когда координаты точек пересечения представляют собой (u, v) и (s, t), луч L, соответствующий пикселям, соответствующим информации реконструкции (пиксели в реконструированном изображении), может быть воспроизведен по L (u, v, s, t), как представлено на фиг. 33.

Модуль 2030 реконструирования изображения может воспроизводить изображение в любой точке обзора, обозначенной пользователем, путем многократного выполнения описанной выше обработки по всем пикселям, включенным в реконструированное изображение.

Способ реконструирования может быть реализован с более высокой точностью, обеспечивая, чтобы устройство 800 формирования изображения плотно захватывало многообзорное изображение и генерировало лучевое пространство. Поскольку соотношение между генерируемым лучевым пространством и формированием изображений является простым, и описанный выше способ воспроизведения пространства является простым, представленная выше обработка может быть выполнена при малых затратах на расчеты. Способ реконструирования, в соответствии с вариантом осуществления, можно сказать, представляет собой общий способ, позволяющий существенно упростить реконструкцию изображения в любой точки обзора, и в любом направлении, поскольку не требуется распознавание точек соответствия между двумя изображениями, такими как стереоизображения из множества точек обзора в предшествующем уровне техники.

Модуль 2040 управления отображением управляет содержанием отображения в устройстве отображения, таком как дисплей, установленный в устройстве 2000 обработки информации или за пределами устройства 2000 обработки информации. В частности, модуль 2040 управления отображением может позволить пользователю просматривать пространство сформированного изображения, сгенерированное модулем 2010 генерирования пространства сформированного изображения, лучевое пространство, сгенерированное модулем 2020 генерирования лучевого пространства, изображение, реконструированное модулем 2030 реконструирования изображения и т.п. В соответствии с этим, пользователь может понимать изображение в любой точке обзора или в любом направлении в любое время.

Модуль 2050 получения данных получает данные снятого изображения, выводимые из устройства 800 формирования изображения, или данные, относящиеся к положению формирования изображения, или получает данные, относящиеся манипуляциям пользователя, выводимым из устройства манипуляции пользователя, различных механизмов ввода и т.п. Различного вида данные, полученные модулем 2050 получения данных, могут, соответственно, использоваться модулями обработки, включенными в устройство 2000 обработки информации.

Модуль 2060 подачи данных подает различного рода данные (например, данные реконструированного изображения), генерируемые устройством 2000 обработки информации, в устройство, установленное за пределами устройства 2000 обработки информации. В соответствии с этим, даже устройство, установленное за пределами устройства 2000 обработки информации, может использовать различного рода информацию, генерируемую устройством 2000 обработки информации.

Модуль 2070 сохранения может соответствующим образом записывать различные базы данных, используемые для обработки модуля 2010 генерирования пространства формируемого изображения, модуль 2020 генерирования лучевого пространства, модуль 2030 реконструирования изображения, модуль 2040 управления отображением, модуль 2050 получения данных и модуль 2060 подачи данных, различные программы, включающие в себя приложения, используемые для различной обработки расчетов, выполняемой этими модулями обработки, и различные параметры, обязательно сохраняемые, когда выполняется определенная обработка, или в ходе промежуточной обработки.

Каждый модуль обработки, такой как модуль 2010 генерирования пространства формируемого изображения, модуль 2020 генерирования лучевого пространства, модуль 2030 реконструирования изображения, модуль 2040 управления отображением, модуль 2050 получения данных и модуль 2060 подачи данных может свободно обращаться к модулю 2070 сохранения таким образом, что данные могут быть записаны или могут быть считаны.

Пример функции устройства 2000 обработки информации, в соответствии с вариантом осуществления, был описан выше. Представленные выше составляющие элементы могут быть сконфигурированы, используя общие члены или цепи, или могут быть сконфигурированы, используя аппаратные средства, специализированные для функций составляющих элементов. Все функции составляющих элементов могут быть выполнены с помощью CPU и т.п. В соответствии с этим, конфигурации, которые должны использоваться, могут изменяться соответствующим образом, в соответствии с уровнями технологии всякий раз, когда реализуется вариант осуществления.

Компьютерная программа для реализации каждой функции устройства обработки информации, в соответствии с описанным выше вариантом осуществления, может быть сформирована с установкой на персональный компьютер и т.п. Считываемый компьютером носитель записи, на котором содержится такая компьютерная программа, также может быть подан. Примеры носителя записи включают в себя магнитный диск, оптический диск, магнитооптический диск и запоминающее устройство флэш. Компьютерная программа может быть передана, например, через сеть, без использования носителя записи.

Поток способа обработки информации

Далее поток способа обработки информации, выполняемый в устройстве 2000 обработки информации, в соответствии с вариантом осуществления, будет описан вкратце со ссылкой на фиг. 34 и 35.

Обработка генерирования лучевого пространства

Вначале, со ссылкой на фиг. 34, будет описан поток обработки вплоть до обработки генерирования лучевого пространства.

Модуль 2010 генерирования пространства формируемого изображения устройства 2000 обработки информации, в соответствии с вариантом осуществления, получает снятые данные, захваченные устройством 800 формирования изображения, и генерирует пространство сформированного изображения, представленное на фиг. 33, на основе снятых данных и информации, относящейся к положению формирования изображения, ассоциированному со снятыми данными (этап S201).

Затем модуль 2020 генерирования лучевого пространства устройства 2000 обработки информации вначале выполняет контур определения луча L, обозначенный после этапа S203, используя пространство сформированного изображения, генерируемое модулем 2010 генерирования пространства сформированного изображения. Контур определения луча L выполняется до тех пор, пока обработка по всем пикселям (Px, Py) для всех положений (Cx, Cy, Cz) формирования изображение не будет закончена.

В контуре определения луча L модуль 2020 генерирования лучевого пространства вначале устанавливает интенсивность I (Cx, Cy, Cz, Px, Py) в значении яркости каждого пикселя (Px, Py) положения (Cx, Cy, Cz) формирования изображения (этап S205). Затем модуль 2020 генерирования лучевого пространства рассчитывает координаты (u, v, s, t) лучевого пространства на основе параметров Cx, Cy, Cz, Px и Py (этап S207). Затем модуль 2020 генерирования лучевого пространства устанавливает L (u, v, s, t)=I (Cx, Cy, Cz, Px, Py) (этап S209).

Когда описанный выше контур определения луча L заканчивается, модуль 2020 генерирования лучевого пространства выполняет взаимодополняющий контур луча L, обозначенного после этапа S211. Взаимодополняющий контур луча L выполняют до тех пор, пока не закончится обработка всех координат (u, v, s, t) лучевого пространства.

Во взаимодополняющем контуре луча L, модуль 2020 генерирования лучевого пространства вначале определяет, определено ли L (u, v, s, t) для координат (u, v, s, t) лучевого пространства, представляющего интерес (этап S213). Когда заранее определяют L (u, v, s, t), модуль 2020 генерирования лучевого пространства продолжает обработку на этапе S213 по другим координатам (u, v, s, t) лучевого пространства. И, наоборот, когда L (u, v, s, t) не определен, модуль 2020 генерирования лучевого пространства выполняет известную взаимодополняющую обработку на основе определенного рядом L (u, v, s, t) и рассчитывает L (u, v, s, t) (этап S215). В соответствии с этим, L (u, v, s, t) в положении лучевого пространства, в котором L не определено, рассматривают на основе определенного L (u, v, s, t).

Когда описанный выше взаимодополняющий контур луча L заканчивается, генерируют лучевое пространство, представленное на фиг. 32A или 32B.

Обработка реконструирования изображения

Далее, со ссылкой на фиг. 35, будет описан поток обработки реконструирования изображения.

Модуль 2030 реконструирования изображения устройства 2000 обработки информации, в соответствии с вариантом осуществления, вначале определяет положение (Cx, Cy, Cz) точки обзора и положение (Px, Py) каждого пикселя, включенного в изображение, которое должно быть реконструировано со ссылкой на информацию, относящуюся к манипуляции пользователя и т.п. (этап S301).

Затем модуль 2030 реконструирования изображения выполняет контур расчета яркости, обозначенный после этапа S303. Контур расчета яркости выполняют до тех пор, пока обработка не закончится для всех пикселей (Px, Py), включенных в изображение, которое должно быть реконструировано.

В контуре расчета яркости модуль 2030 реконструирования изображения вначале рассчитывает координаты (u, v, s, t) лучевого пространства на основе параметров (Cx, Cy, Cz, Px, Py) (этап S305). После этого, модуль 2030 реконструирования изображения рассчитывает значение пикселя I (Px, Py)=(Cx, Cy, Cz, Px, Py) пикселя, представляющего интерес, используя L (u, v, s, t) (этап S307).

Когда описанный выше взаимодополняющий контур луча L заканчивается, реконструируют изображение в любом положении и в любой точке обзора, обозначенной манипуляцией пользователя.

Модуль 2030 реконструирования изображения выводит данные изображения, реконструированного таким образом через модуль 2040 управления отображением или модуль 2060 подачи данных (этап S309). В соответствии с этим, пользователь просматривает реконструированное изображение.

Поток способа обработки информации, в соответствии с вариантом осуществления, был кратко описан со ссылкой на фиг. 34 и 35.

Вывод

Таким образом, в устройстве обработки информации и в способе обработки информации, в соответствии с вариантом осуществления, заданное лучевое пространство генерируют на основе множества частей снятых данных изображения, захваченных устройством формирования изображения, движущимся в пространстве, и изображение в любой точке обзора и в любом направлении, обозначенном пользователем, реконструируют на основе генерируемого лучевого пространства. В лучевом пространстве, генерируемом устройством обработки информации и в способе обработки информации, в соответствии с вариантом осуществления, все лучи, наблюдаемые изнутри лучевого пространства, могут быть описаны без ограничения положения наблюдения или направления наблюдения. Поэтому, возможно рекомбинировать визуальные поля без ограничений.

Предпочтительный вариант (варианты) осуществления настоящего раскрытия был описан выше со ссылкой на приложенные чертежи, в то время как настоящее раскрытие не ограничено представленными выше примерами. Специалист в данной области техники может найти различные изменения и модификации в пределах объема приложенной формулы изобретения, и следует понимать, что они, естественно, попадают в пределы технического объема настоящего раскрытия.

Кроме того, эффекты, описанные в настоящем описании, являются просто иллюстративными и демонстративными, а не ограничительными. Другими словами, технология, в соответствии с настоящим раскрытием, может проявлять другие эффекты, которые будут очевидны для специалистов в данной области техники вместе с или вместо эффектов, основанных на настоящем описании.

Кроме того, настоящая технология также может быть сконфигурирована, как описано ниже.

(1) Устройство обработки информации, включающее в себя:

модуль управления, выполненный с возможностью управления так, что отображаемое изображение, генерируемое на основе информации изображения, генерируемой посредством формирования изображения устройством формирования изображения, установленным на движущемся, в пространстве, объекте, информации о положении устройства, формирующего изображение, представляющей собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, получаемую от устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и устанавливающую область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем.

(2) Устройство обработки информации по (1), дополнительно включающее в себя:

модуль генерирования изображения, выполненный с возможностью генерирования изображений, снятых по окружности, которые захватывают по окружности из положения, в котором присутствует движущийся объект, с использованием снятых изображений, включенных в информацию изображения; и

модуль выбора изображения, выполненный с возможностью выбора снятого изображения, соответствующего информации обзора пользователя из изображений, снятых по окружности, в качестве изображения обзора пользователя на основе информации обзора пользователя, и изображений, снятых по окружности, сгенерированных модулем генерирования изображения.

(3) Устройство обработки информации по (2), дополнительно включающее в себя:

модуль коррекции изображения, выполненный с возможностью выполнения коррекции изображения, снятого по окружности, так, что изменение изображения, снятого по окружности, сопровождающее изменение в направлении линии зрения устройства формирования изображения, подавляется на основе информации о положении устройства формирования изображения, когда направление линии зрения устройства формирования изображения изменяется.

(4) Устройство обработки информации по (3), в котором

модуль коррекции изображения выполнен с возможностью управления степенью, в которой коррекция выполняется в соответствии с информацией о применении коррекции, обозначающей степень применения коррекции, полученной от устройства манипуляции пользователя.

(5) Устройство обработки информации по (4),

модуль коррекции выполнен с возможностью управления степенью, в которой коррекция выполнена для каждой из координат осей вращения, взаимно независимо определенных относительно устройства формирования изображения в соответствии с информацией применения коррекции.

(6) Устройство обработки информации по любому одному из (3)-(5), в котором

модуль коррекции изображения выполнен с возможностью осуществления коррекции так, что изображение, снятое по окружности, после изменения направления линии зрения движущегося объекта, поворачивают в обратном направлении, в соответствии с магнитудой угла поворота, сопровождающего изменение направления линии зрения устройства формирования изображения.

(7) Устройство обработки информации по любому из (3)-(6), в котором

модуль коррекции изображения выполнен с возможностью осуществления коррекции так, что величина локального свойства соответствует перед и после изменения направления линии зрения устройства формирования изображения.

(8) Устройство обработки информации по любому из (2)-(7), в котором

модуль генерирования изображения выполнен с возможностью генерирования, в качестве изображения, снятого по окружности, всенаправленного изображения в положении, в котором присутствует движущийся объект, или преобразованного изображения, полученного посредством преобразования всенаправленного изображения в прямоугольное изображение.

(9) Устройство обработки информации по любому из (1)-(8), в котором

информация положения устройства формирования изображения представляет собой информацию, относящуюся к повороту устройства формирования изображения.

(10) Устройство обработки информации по любому из (2)-(9), в котором

информация обзора пользователя представляет собой информацию, устанавливающую угол поля отображения, который пользователь желает просматривать в изображении, снятом по окружности.

(11) Устройство обработки информации по (2), дополнительно включающее в себя:

модуль генерирования информации линии зрения, выполненный с возможностью генерирования информации линии зрения, указывающей направление линии зрения устройства формирования изображения на основе информации о положении устройства формирования изображения, при этом

модуль управления выполнен с возможностью отображения объекта, указывающего направление линии зрения устройства формирования изображения, обозначенного информацией линии зрения, вместе с изображением обзора пользователя, с использованием информации линии зрения, генерируемой модулем генерирования информации линии зрения.

(12) Устройство обработки информации по (10) или (11), в котором

модуль управления выполнен с возможностью

генерирования информации положения, в котором изменение положения устройства формирования изображения визуализируют, с использованием информации поворота, относящейся к повороту, сопровождающему изменение в направлении линии зрения устройства формирования изображения, и вычисленную на основе информации положения устройства формирования изображения, и

управления так, что отображаемое изображение отображается в области отображения, просматриваемой пользователем с сгенерированной информацией о положении, наложенной на отображаемое изображение.

(13) Устройство обработки информации по (12), дополнительно включающее в себя:

модуль коррекции изображения, выполненный с возможностью коррекции изображения, снятого по окружности так, что изменение в изображении, снятом по окружности, сопровождающее изменение направления линии зрения устройства формирования изображения, подавляется, когда направление линии зрения устройства формирования изображения изменяется без изменения положения устройства формирования изображения, при этом

модуль управления выполнен с возможностью положения объекта, указывающего информацию о положении, на изображение, снятое по окружности, скорректированное модулем коррекции изображения.

(14) Устройство обработки информации по (13), в котором

модуль управления выполнен с возможностью положения, по меньшей мере одного из объекта, который поворачивается при вращательном движении, сопровождающем изменение в направлении линии зрения устройства формирования изображения и объекта, который не поворачивается на отображаемом изображении.

(15) Устройство обработки информации по любому из (12)-(14), в котором

модуль управления выполнен с возможностью визуализации изменения положения устройства формирования изображения, с использованием информации вращения посредством фиксации движения системы координат, зафиксированной в пространстве, в котором присутствует устройство формирования изображения, и изменения системы координат, зафиксированной в устройстве формирования изображения, или посредством изменения движения системы координат, зафиксированной в пространстве, в котором присутствует устройство формирования изображения и фиксации движения системы координат, зафиксированной в устройстве формирования изображения.

(16) Устройство обработки информации по (15), в котором

модуль управления выполнен с возможностью генерирования изображения отображения, соответствующего случаю, в котором пространство виртуально просматривают из другого положения из центра системы координат, зафиксированной в пространстве, при визуализации изменения положения устройства формирования изображения, с использованием информации вращения.

(17) Устройство обработки информации по любому из (12)-(16), в котором

модуль управления выполнен с возможностью ассоциации аннотации с пятном соответствия определенного положения отображаемого изображения в системе координат, зафиксированной в пространстве, в котором присутствует устройство формирования изображения, когда запрашивают добавление аннотации в определенном положении из устройства манипуляции пользователя.

(18) Устройство обработки информации по любому из (12)-(17), в котором

в соответствии с информацией вращения, модуль управления выполнен с возможностью управления по меньшей мере одним из скорости воспроизведения или угла поля отображения, при отображении отображаемого изображения в области отображения, просматриваемой пользователем.

(19) Устройство обработки информации по любому из (12)-(18), в котором

модуль управления выполнен с возможностью генерирования отображаемого изображения в случае виртуального обзора пространства из произвольного положения, обозначенного из устройства манипуляции пользователя, с центром на обозначенном произвольном положении.

(20) Устройство обработки информации по любому из (13)-(19), в котором

модуль управления выполнен с возможностью изменения установки для обработки коррекции в модуле коррекции изображения и установки для обработки наложения на информацию положения модуля управления на основе манипуляции, выполняемой для по меньшей мере одного из устройства формирования изображения и устройства манипуляции пользователя.

(21) Устройство обработки информации по (2), дополнительно включающее в себя:

модуль коррекции изображения, выполненный с возможностью коррекции изображения, снятого по окружности так, что подавляется изменение в изображении, снятом по окружности, сопровождающее поворот устройства формирования изображения.

(22) Устройство обработки информации по (21), в котором

в котором модуль управления выполнен с возможностью управления отображением отображаемого изображения на основе направления движения движущегося объекта, на который надето устройство формирования изображения.

(23) Устройство обработки информации по (22), в котором

когда разность углов между направлением движения движущегося объекта и опорным направлением движущегося объекта находится в пределах порогового значения, модуль управления выполнен с возможностью поворота угла поля отображения отображаемого изображения, отображаемого в области отображения, просматриваемой пользователем, с заданной скоростью так, что опорное направление в отображаемом изображении соответствует опорному направлению или направлению движения движущегося объекта.

(24) Устройство обработки информации по (23), в котором

заданной скоростью управляют на основе по меньшей мере одной из скорости движения и скорости вращения движущегося объекта.

(25) Устройство обработки информации по любому из (21)-(24), в котором

устройство манипуляции пользователя представляет собой носимое устройство, установленное на пользователе и в котором отображается отображаемое изображение, при этом

когда направление вращения движущегося объекта и направление вращения устройства манипулирования пользователя соответствуют, модуль коррекции изображения не выполняет коррекцию так, что предотвращается изменение изображения, снятого по окружности.

(26) Устройство обработки информации по (25), в котором

когда величины поворота устройства формирования изображения и устройства манипуляции пользователя равны или меньше, чем пороговое значение, модуль коррекции изображением выполняет коррекцию так, что подавляется изменение изображения, снятого по окружности.

(27) Устройство обработки информации по любому из (1)-(26), в котором

устройство манипуляции пользователя представляет собой носимое устройство, установленное на пользователе, а

информация просмотра пользователя генерируется в соответствии с направлением линии зрения пользователя, обнаруженным носимым устройством.

(28) Устройство обработки информации по любому из (1)-(27), в котором

движущийся объект является одним из человека, отличающегося от пользователя, манипулирующего устройством манипуляции пользователя, самодвижущегося объекта, самостоятельно осуществляющего свое движение в пространстве, и летающего объекта, летящего в пространстве.

(29) Устройство обработки информации по (1), дополнительно включающее в себя:

модуль получения, выполненный с возможностью получения промежуточной информации изображения, генерируемой на основе информации изображения и информации о положении устройства формирования изображения, при этом

модуль управления выполнен с возможностью управления так, что отображаемое изображение, генерируемое на основе промежуточной информации изображения и информации обзора пользователя, отображается в области отображения, просматриваемой пользователем.

(30) Способ обработки информации, содержащий этапы, на которых:

выполняют управление так, что отображаемое изображение, генерируемое на основе информации изображения, генерируемой посредством формирования изображения устройством формирования изображения, установленным на движущемся в пространстве объекте, информации о положении устройства, формирующего изображение, которая представляет собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, получаемой от устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и которая устанавливает область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем.

(31) Программа, вызывающая реализацию компьютером функции управления для: выполнения управления так, что отображаемое изображение, генерируемое на основе информации изображения, генерируемой путем формирования изображения устройством формирования изображения, установленным на движущемся в пространстве объекте, информации о положении устройства формирования изображения, которая представляет Собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, которую получают от устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и которая устанавливает область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем.

Список номеров ссылочных позиций

1000, 1100, 2000 устройство обработки информации

1010, 1110 модуль генерирования изображения

1020, 1120 модуль выбора изображения

1030, 1130 модуль коррекции изображения

1040 модуль генерирования информации линии зрения движущегося объекта

1050, 1150 модуль управления отображением

1060, 1160, 2010 модуль получения данных

1070, 1170, 2060 модуль подачи данных

1080, 1180, 2070 модуль сохранения

1190 модуль управления направлением

2020 модуль генерирования пространства формируемого изображения

2030 модуль генерирования лучевого пространства

2040 модуль реконструирования изображения

Изобретение относится к устройству обработки информации и способу обработки информации изображения. Техническим результатом является возможность обеспечить устройство обработки информации, способ обработки информации и программу, позволяющие совместно использовать пространство, при поддержании степени свободы линии зрения. Результат достигается тем, что устройство обработки информации включает в себя: модуль управления, выполненный с возможностью выполнения управления таким образом, что отображаемое изображение, генерируемое на основе информации изображения, которая генерируется путем формирования изображения устройством формирования изображения, установленным на движущемся объекте, который движется в пространстве, информации о положении устройства, формирующего изображение, которая представляет собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, которую получают из устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и которая устанавливает область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем. 3 н. и 14 з.п. ф-лы, 39 ил.

1. Устройство обработки информации, содержащее:

модуль управления, выполненный с возможностью управления так, что отображаемое изображение, сгенерированное на основе информации изображения, генерируемой посредством формирования изображения устройством формирования изображения, установленным на движущемся в пространстве объекте, информации о положении устройства формирования изображения, представляющей собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, получаемой от устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и устанавливающей область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем;

модуль генерирования изображения, выполненный с возможностью генерирования изображений, снятых по окружности, которые захватывают по окружности из положения, в котором присутствует движущийся объект, с использованием снятых изображений, включенных в информацию изображения; и

модуль выбора изображения, выполненный с возможностью выбора снятого изображения, соответствующего информации обзора пользователя из изображений, снятых по окружности, в качестве изображения обзора пользователя на основе информации обзора пользователя, и изображений, снятых по окружности, сгенерированных модулем генерирования изображения; при этом

модуль генерирования изображения выполнен с возможностью генерирования, в качестве изображения, снятого по окружности, всенаправленного изображения в положении, в котором присутствует движущийся объект, или преобразованное изображение, полученное посредством преобразования всенаправленного изображения в прямоугольное изображение; причем

модуль управления дополнительно выполнен с возможностью

генерирования информации положения, причем изменение положения устройства формирования изображения визуализируют, с использованием информации поворота, относящейся к повороту, сопровождающему изменение в направлении линии зрения устройства формирования изображения, и рассчитанной на основе информации положения устройства формирования изображения, и

выполнения управления так, что отображаемое изображение отображается в области отображения, просматриваемой пользователем со сгенерированной информацией о положении, наложенной на отображаемое изображение; и

модуль коррекции изображения, выполненный с возможностью коррекции изображения, снятого по окружности так, что изменение в изображении, снятом по окружности, сопровождающее изменение направления линии зрения устройства формирования изображения, подавляется, когда направление линии зрения устройства формирования изображения изменяется без изменения положения устройства формирования изображения, при этом

модуль управления выполнен с возможностью наложения объекта, указывающего информацию о положении, на изображение, снятое по окружности, скорректированное модулем коррекции изображения; причем

модуль управления выполнен с возможностью наложения по меньшей мере одного из объекта, который поворачивается при вращательном движении, сопровождающем изменение в направлении линии зрения устройства формирования изображения, и объекта, который не поворачивается на отображаемом изображении; при этом

модуль управления выполнен с возможностью управления положением второго объекта так, что его положение остается постоянным с точки зрения пользователя.

2. Устройство обработки информации по п. 1, дополнительно содержащее

модуль коррекции изображения, выполненный с возможностью коррекции изображения, снятого по окружности, так, что изменение изображения, снятого по окружности, сопровождающее изменение в направлении линии зрения устройства формирования изображения, подавляется на основе информации о положении устройства формирования изображения, когда направление линии зрения устройства формирования изображения изменяется.

3. Устройство обработки информации по п. 2, в котором

модуль коррекции изображения выполнен с возможностью управления степенью, в которой коррекция выполняется в соответствии с информацией о применении коррекции, обозначающей степень применения коррекции, полученной от устройства манипуляции пользователя.

4. Устройство обработки информации по п. 3, в котором

модуль коррекции изображения выполнен с возможностью управления степенью, в которой коррекция выполнена для каждой из координат осей вращения, взаимно независимо определенных относительно устройства формирования изображения в соответствии с информацией применения коррекции.

5. Устройство обработки информации по п. 2, в котором

модуль коррекции изображения выполнен с возможностью коррекции так, что изображение, снятое по окружности, после изменения направления линии зрения движущегося объекта, поворачивают в обратном направлении, в соответствии с магнитудой угла поворота, сопровождающего изменение направления линии зрения устройства формирования изображения.

6. Устройство обработки информации по п. 2, в котором

модуль коррекции изображения выполнен с возможностью коррекции так, что величина локального свойства соответствует перед и после изменения направления линии зрения устройства формирования изображения.

7. Устройство обработки информации по п. 1, дополнительно содержащее

модуль генерирования информации линии зрения, выполненный с возможностью генерирования информации линии зрения, указывающей направление линии зрения устройства формирования изображения на основе информации о положении устройства формирования изображения, при этом

модуль управления выполнен с возможностью отображения объекта, указывающего направление линии зрения устройства формирования изображения, указанного информацией линии зрения, вместе с изображением обзора пользователя, с использованием информации линии зрения, генерируемой модулем генерирования информации линии зрения.

8. Устройство обработки информации по п. 1, в котором

модуль управления выполнен с возможностью визуализации изменения положения устройства формирования изображения, с использованием информации вращения, посредством фиксации движения системы координат, зафиксированной в пространстве, в котором присутствует устройство формирования изображения, и изменения системы координат, зафиксированной в устройстве формирования изображения, или посредством изменения движения системы координат, зафиксированной в пространстве, в котором присутствует устройство формирования изображения и фиксации движения системы координат, зафиксированной в устройстве формирования изображения.

9. Устройство обработки информации по п. 8, в котором

модуль управления выполнен с возможностью генерирования изображения отображения, соответствующего случаю, в котором пространство виртуально просматривают из другого положения из центра системы координат, зафиксированной в пространстве, при визуализации изменения положения устройства формирования изображения, с использованием информации вращения.

10. Устройство обработки информации по п. 1, в котором

модуль управления выполнен с возможностью ассоциирования аннотации с пятном соответствия определенного положения отображаемого изображения в системе координат, зафиксированной в пространстве, в котором присутствует устройство формирования изображения, при запросе добавления аннотации в определенном положении устройством манипуляции пользователя.

11. Устройство обработки информации по п. 1, в котором

в соответствии с информацией вращения модуль управления выполнен с возможностью управления по меньшей мере одной из скорости воспроизведения или угла поля отображения, когда отображаемое изображение отображается в области отображения, просматриваемой пользователем.

12. Устройство обработки информации по п. 1, в котором

модуль управления выполнен с возможностью генерирования отображаемого изображения в случае виртуального обзора пространства из произвольного положения, указанного устройством манипуляции пользователя, с центром на обозначенном произвольном положении.

13. Устройство обработки информации по п. 1, в котором

модуль управления выполнен с возможностью изменения установки для обработки коррекции в модуле коррекции изображения и установки для обработки наложения на информацию положения модуля управления на основе манипуляции, выполняемой для по меньшей мере одного из устройства формирования изображения и устройства манипуляции пользователя.

14. Устройство обработки информации по п. 1, в котором

устройство манипуляции пользователя представляет собой носимое устройство, установленное на пользователе, а

информация просмотра пользователя генерируется в соответствии с направлением линии зрения пользователя, обнаруженным носимым устройством.

15. Устройство обработки информации по п. 1, в котором

движущийся объект представляет собой одно из человека, отличающегося от пользователя, манипулирующего устройством манипуляции пользователя, самодвижущегося объекта, самостоятельно осуществляющего движение в пространстве, и летающего объекта, летящего в пространстве.

16. Способ обработки информации, содержащий этапы, на которых:

управляют так, что отображаемое изображение, генерируемое на основе информации изображения, генерируемой посредством формирования изображения устройством формирования изображения, установленным на движущемся в пространстве объекте, информации о положении устройства, формирующего изображение, представляющей собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, получаемой от устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и устанавливающей область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем;

генерируют изображения, снятые по окружности, которые захватывают по окружности из положения, в котором присутствует движущийся объект, с использованием снятых изображений, включенных в информацию изображения;

выбирают снятое изображение, соответствующее информации обзора пользователя из изображений, снятых по окружности, в качестве изображения обзора пользователя на основе информации обзора пользователя, и изображений, снятых по окружности;

генерируют, в качестве изображения, снятого по окружности, всенаправленное изображение в положении, в котором присутствует движущийся объект, или преобразуют изображение, полученное посредством преобразования всенаправленного изображения в прямоугольное изображение;

генерируют информацию положения, причем изменение положения устройства формирования изображения визуализируют, с использованием информации поворота, относящейся к повороту, сопровождающему изменение в направлении линии зрения устройства формирования изображения, и рассчитанной на основе информации положения устройства формирования изображения;

осуществляют управление так, что отображаемое изображение отображается в области отображения, просматриваемой пользователем со сгенерированной информацией о положении, наложенной на отображаемое изображение;

осуществляют коррекцию изображения, снятого по окружности так, что изменение в изображении, снятом по окружности, сопровождающее изменение направления линии зрения устройства формирования изображения, подавляется, когда направление линии зрения устройства формирования изображения изменяется без изменения положения устройства формирования изображения;

осуществляют наложение объекта, указывающего информацию о положении, на изображение, снятое по окружности и скорректированное;

осуществляют наложение по меньшей мере одного из объекта, который поворачивается при вращательном движении, сопровождающем изменение в направлении линии зрения устройства формирования изображения и объекта, который не поворачивается на отображаемом изображении; и

управляют положением второго объекта так, что его положение остается постоянным с точки зрения пользователя.

17. Носитель информации, хранящий программу, вызывающую реализацию компьютером функции управления для:

управления так, что отображаемое изображение, генерируемое на основе информации изображения, генерируемой посредством формирования изображения устройством формирования изображения, установленным на движущемся в пространстве объекте, информации о положении устройства, формирующего изображение, представляющей собой информацию, относящуюся к положению устройства формирования изображения, и информации обзора пользователя, получают от устройства манипуляции пользователя, манипуляции с которым выполняет пользователь, и устанавливающую область, которую пользователь желает просматривать, отображается в области отображения, просматриваемой пользователем;

генерирования изображений, снятых по окружности, которые захватывают по окружности из положения, в котором присутствует движущийся объект, с использованием снятых изображений, включенных в информацию изображения;

выбора снятого изображения, соответствующего информации обзора пользователя из изображений, снятых по окружности, в качестве изображения обзора пользователя на основе информации обзора пользователя, и изображений, снятых по окружности;

генерирования, в качестве изображения, снятого по окружности, всенаправленного изображения в положении, в котором присутствует движущийся объект, или преобразования изображения, полученного посредством преобразования всенаправленного изображения в прямоугольное изображение;

генерирования информации положения, причем изменение положения устройства формирования изображения визуализируют, с использованием информации поворота, относящейся к повороту, сопровождающему изменение в направлении линии зрения устройства формирования изображения, и рассчитанной на основе информации положения устройства формирования изображения;

управления так, что отображаемое изображение отображается в области отображения, просматриваемой пользователем со сгенерированной информацией о положении, наложенной на отображаемое изображение;

коррекции изображения, снятого по окружности так, что изменение в изображении, снятом по окружности, сопровождающее изменение направления линии зрения устройства формирования изображения, подавляется, когда направление линии зрения устройства формирования изображения изменяется без изменения положения устройства формирования изображения;

наложения объекта, указывающего информацию о положении, на изображение, снятое по окружности и скорректированное;

наложения по меньшей мере одного из объекта, который поворачивается при вращательном движении, сопровождающем изменение в направлении линии зрения устройства формирования изображения и объекта, который не поворачивается на отображаемом изображении; и

управления положением второго объекта так, что его положение остается постоянным с точки зрения пользователя.