УСТРОЙСТВО ВЫРАБОТКИ ИЗОБРАЖЕНИЯ И УСТРОЙСТВО УПРАВЛЕНИЯ ОТОБРАЖЕНИЕМ ИЗОБРАЖЕНИЯ Российский патент 2019 года по МПК G06T3/00 H04N1/387 H04N5/265 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству выработки изображения для выработки панорамного изображения, устройству управления отображением изображения для отображения панорамного изображения, способу выработки изображения, программе и данным изображения.

Уровень техники

Эквидистантная цилиндрическая проекция известна как формат изображения для панорамного изображения, в котором вся сцена небесного свода, если смотреть с точки наблюдения, проецируется на двумерную плоскость. Согласно этой проекции всенаправленная по азимуту сцена, которая охватывает 360 градусов по горизонтали и 180 градусов по вертикали, включена в прямоугольную форму данных изображения, которая имеет соотношение сторон изображения 1:2. Используя такое панорамное изображение, можно реализовать средство просмотра панорамы для отображения сцены в любом желаемом направлении в зависимости от того, как пользователь манипулирует, например, направлением своей точки зрения.

Раскрытие сущности изобретения

Техническая задача

Согласно вышеописанному формату изображения эквидистантной цилиндрической проекции вся верхняя сторона изображения соответствует одной точке в зените (непосредственно наверху), и вся его нижняя сторона соответствует одной точке в надире (непосредственно внизу). Поэтому в областях, расположенных вблизи верхней стороны и нижней стороны (областях, включающих в себя сцены, направленные почти непосредственно выше и непосредственно ниже точки наблюдения), количество информации на один пиксель является чрезвычайно маленьким по сравнению с областями, расположенными посередине изображения, которые включают в себя сцены на высоте около горизонта, что приводит к большому количеству ненужной информации.

Настоящее изобретение выполнено с учетом вышеуказанной ситуации. Задача настоящего изобретения состоит в том, чтобы выполнить устройство выработки изображения, устройство управления отображением изображения, способ выработки изображения, программу и данные изображения, которые позволяют уменьшить количество ненужной информации, содержащейся в панорамном изображении.

Решение технической задачи

Устройство выработки изображения согласно настоящему изобретению включает в себя блок выработки панорамного изображения, выполненный с возможностью выработки панорамного изображения путем преобразования по меньшей мере одной разделенной зоны, включающей в себя область, на которую проецируется сцена, видимая из точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу, в такую зону, чтобы количество пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт, и размещения преобразованной зоны на плоскости, и блок вывода изображения, выполненный с возможностью вывода выработанного панорамного изображения.

Устройство управления отображением изображения согласно настоящему изобретению включает в себя блок получения, выполненный с возможностью получения панорамного изображения путем преобразования по меньшей мере одной разделенной зоны, включающей в себя область, на которую проецируется сцена, видимая из точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу, в такую зону, чтобы количество пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт, и размещения преобразованной зоны на плоскости, и блок визуализации, выполненный с возможностью визуализации отображаемого изображения, изображающего сцену в заданной области поля зрения на основе полученного панорамного изображения, и управления устройством отображения для отображения визуализированного отображаемого изображения на его экране.

Способ выработки изображения согласно настоящему изобретению включает в себя этап выработки панорамного изображения путем преобразования по меньшей мере одной разделенной зоны, включающей в себя область, на которую проецируется сцена, видимая из точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу, в такую зону, чтобы количество пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт, и размещения преобразованной зоны на плоскости, и этап вывода выработанного панорамного изображения.

Программа согласно настоящему изобретению позволяет компьютеру функционировать как средство для выработки панорамного изображения путем преобразования по меньшей мере одной разделенной зоны, включающей в себя область, на которую проецируется сцена, видимая из точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу, в такую зону, чтобы количество пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт, и размещения преобразованной зоны на плоскости, и средство для вывода выработанного панорамного изображения. Программа может предоставляться как хранящаяся на энергонезависимом носителе информации, который может считывать компьютер.

Данные изображения согласно настоящему изобретению представляют собой преобразованную зону, которая преобразуется по меньшей мере из одной разделенной зоны, включающей в себя область, на которую проецируется сцена, видимая из точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу таким образом, чтобы количество пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт и размещалось на плоскости.

Краткое описание чертежей

На фиг.1А показан перспективный вид спереди гипотетической сферы, на которую проецируется вся сцена небесного свода, которая согласно первому примеру содержится на панорамном изображении, выработанном устройством выработки изображения согласно варианту осуществления настоящего изобретения.

Фиг.1B - перспективный вид сзади гипотетической сферы, на которую проецируется вся сцена небесного свода, содержащаяся на панорамном изображении согласно первому примеру.

Фиг.1C - вид спереди в вертикальной проекции гипотетической сферы, на которую проецируется вся сцена небесного свода, содержащаяся на панорамном изображении согласно первому примеру.

Фиг.2 - схема, иллюстрирующая панорамное изображение в соответствии с эквидистантной цилиндрической проекцией.

Фиг.3 - схема, иллюстрирующая панорамное изображение согласно первому примеру.

Фиг.4А - перспективный вид спереди гипотетической сферы, на которую проецируется вся сцена небесного свода, которая согласно второму примеру содержится на панорамном изображении, выработанном устройством выработки изображения согласно варианту осуществления настоящего изобретения.

Фиг.4B - перспективный вид сзади гипотетической сферы, на которую проецируется вся сцена небесного свода, содержащаяся на панорамном изображении согласно второму примеру.

Фиг.4C - вид спереди в вертикальной проекции гипотетической сферы, на которую проецируется вся сцена небесного свода, содержащаяся на панорамном изображении согласно второму примеру.

Фиг.4D - вид сзади в вертикальной проекции гипотетической сферы, на которую проецируется вся сцена небесного свода, содержащаяся на панорамном изображении согласно второму примеру.

Фиг.5 - схема, иллюстрирующая панорамное изображение согласно второму примеру.

Фиг.6 - схема, иллюстрирующая панорамное изображение согласно третьему примеру.

Фиг.7 - схема, иллюстрирующая пример конфигурации пикселей панорамного изображения, выработанного устройством выработки изображения согласно варианту осуществления настоящего изобретения.

Фиг.8 - схема, иллюстрирующая пример конфигурации пикселей панорамного изображения, которое имеет прямоугольную форму.

Фиг.9 - схема, иллюстрирующая другой пример конфигурации пикселей панорамного изображения, которое имеет прямоугольную форму.

Фиг.10 - блок-схема, иллюстрирующая компоновку системы отображения изображения, включающей в себя устройство выработки изображения и устройство управления отображением изображения согласно варианту осуществления настоящего изобретения.

Фиг.11 - функциональная блок-схема, иллюстрирующая функции, выполняемые системой отображения изображения.

Фиг.12 - схема, иллюстрирующая процесс выборки для визуализации отображаемого изображения.

Фиг.13 - схема, иллюстрирующая пример панорамного изображения с выборочными строками пикселей, добавленными к нему.

Осуществление изобретения

Вариант осуществления настоящего изобретения будет подробно описан ниже со ссылкой на чертежи.

Устройство выработки изображения согласно настоящему варианту осуществления вырабатывает панорамное изображение в формате изображения, который отличается от эквидистантной цилиндрической проекции, включающей в себя всю сцену небесного свода, если смотреть из точки наблюдения. Панорамное изображение, выработанное устройством выработки изображения согласно варианту осуществления, в дальнейшем будет упоминаться как панорамное изображение P. Панорамное изображение P представляют собой данные двумерного (плоского) изображения, включающие в себя всю сцену небесного свода. Весь небесный свод означает все азимуты, которые охватывают угол в 360 градусов по горизонтали (в направлениях влево и вправо) и охватывает угол в 180 градусов по вертикали (в направлениях вверх и вниз) от зенита к надиру, если смотреть из точки наблюдения.

Три примера формата изображения панорамного изображения P будут описаны ниже при сравнении с панорамным изображением в соответствии с эквидистантной цилиндрической проекцией. Сначала будет описан первый пример панорамного изображения P. Панорамное изображение P согласно первому примеру в дальнейшем будет упоминаться как первое панорамное изображение P1. Панорамное изображение, выработанное в соответствии с эквидистантной цилиндрической проекцией, в дальнейшем будет упоминаться как эквидистантное цилиндрическое изображение P0.

Вся сцена небесного свода, которая видна из точки наблюдения, проецируется на гипотетическую сферу вблизи положения точки наблюдения. Гипотетическая сфера, на которую проецируется вся сцена небесного свода, упоминается как сфера S. На фиг.1А-1C показана сфера S, где на фиг.1А показан перспективный вид спереди, если смотреть сверху, на фиг.1B показан перспективный вид сзади, если смотреть снизу, и на фиг.1C показан вид спереди в вертикальной проекции. Положение точки E1, которое будет описано позже, находится во фронтальном направлении. На поверхности сферы S точка, соответствующая зениту (непосредственно над точкой наблюдения), упоминается как точка U, и точка, соответствующая надиру (непосредственно под точкой наблюдения), упоминается как точка D. Точка U и точка D находятся на противоположных сторонах сферы S и расположены симметрично относительно ее центра. Большой круг сферы S, который перпендикулярен прямой линии UD, соответствует астрономическому горизонту, если смотреть из точки наблюдения, и сцена, которая видна по горизонтали из точки наблюдения, проецируется на большой круг. Плоскость, включающая в себя большой круг сферы S, перпендикулярный прямой линии UD, будет упоминаться как горизонтальная плоскость. Плоскость, ортогональная горизонтальной плоскости, будет упоминаться как вертикальная плоскость.

Согласно первому примеру положение на поверхности сферы S представлено в системе координат широт θ и долгот φ. Точка F на горизонтальной плоскости принята за начало координат (θ = 0, φ = 0) системы координат. Широта θ некоторой точки на сфере S представлена в виде угла, образованного между прямой линией, соединяющей эту точку и центр сферы S, и горизонтальной плоскостью. Долгота φ точки представлена углом, образованным между большим кругом сферы S, который включает в себя точку U и точку D, и большим кругом сферы S, который включает в себя точку F, точку U и точку D. Как показано на фиг.1C, направление от горизонтальной плоскости к зениту упоминается как положительное направление широт θ. Поэтому широта θ точки U задана как π/2, и широта точки D как -π/2. Направление вправо от точки F, если смотреть из точки наблюдения, упоминается как положительное направление долгот φ.

Четыре точки на сфере S, которые расположены под углом 90 градусов вдоль горизонтальной плоскости, упоминаются как точки E₁-E₄. В частности, все значения широты θ этих четырех точек равны 0, и значения долготы точек E₁, E₂, E₃ и E₄ равны π/4, 3π/4, 5π/4 (или -3π/4), -π/4, соответственно. Например, если наблюдатель в точке наблюдения смотрит в направлении точки E₁, то точка E₂ находится в направлении вправо относительно наблюдателя, точка E₃ находится в направлении назад относительно наблюдателя, и точка E₄ находится в направлении влево относительно наблюдателя. Точка E₁ и точка E₃ находятся на противоположных сторонах сферы S и расположены симметрично относительно ее центра, и точка E₂ и точка E₄ находятся на противоположных сторонах сферы S и расположены симметрично относительно ее центра. Прямая линия E₁E₃ и прямая линия E₂E₄ ортогональны друг другу в горизонтальной плоскости. На фиг.1А-1C линия широты при θ = 0, которая включена в горизонтальную плоскость, и четыре линии долготы, которые проходят через точки E₁-E₄, показаны сплошными линиями. Несколько линий широты показаны пунктирными линиями.

Кроме того, восемь зон поверхности сферы S, разделенной тремя плоскостями, которые проходят через центр сферы S и которые ортогональны друг другу, показаны в виде разделенных зон A₁-A₈. Согласно первому примеру три ортогональные плоскости представляют собой горизонтальную плоскость, включающую в себя точки E₁-E₄, вертикальную плоскость, включающую в себя точки E₁, E₃, U и D, и другую вертикальную плоскость, включающую в себя точки E₂, E₄, U и D. В частности, зона, окруженная линией долготы, соединяющей точки U и E₁, линией широты, соединяющей точки E₁ и E₂, и линией долготы, соединяющей точки E₂ и U, определена как разделенная зона A₁. Аналогичным образом, зона, окруженная точками U, E₂ и E₃, определена как разделенная зона A₂, зона, окруженная точками U, E₃ и E₄, как разделенная зона A₃, зона, окруженная точками U, E₄ и E₁, как разделенная зона A₄, зона, окруженная точками D, E₁ и E₂, как разделенная зона A₅, зона, окруженная точками D, E₂ и E₃, как разделенная зона A₆, зона, окруженная точками D, E₃ и E₄, как разделенная зона A₇, и зона, окруженная точками D, E₄ и E₁, как разделенная зона A₈. Каждая из этих разделенных зон A₁-A₈ является зоной, окруженной тремя линиями широты и долготы, каждая из которых имеет длину, соответствующую 1/4 окружности большого круга сферы S, и они имеют одинаковую форму, и их размеры равны друг другу.

На фиг.2 показано эквидистантное цилиндрическое изображение P0, включающее в себя сцену, спроецированную на сферу S. Точка F при долготе φ = 0 находится в центре эквидистантного цилиндрического изображения P0. Согласно эквидистантной цилиндрической проекции сцена, спроецированная на поверхность сферы S, преобразуется в эквидистантное цилиндрическое изображение P0, которое имеет прямоугольную форму с соотношением сторон изображения 1:2 для того, чтобы сохранять относительные положения по вертикали и горизонтали, если смотреть из точки наблюдения. На эквидистантном цилиндрическом изображении P0 линии широты сферы S продолжаются параллельно друг другу по горизонтали, и линии долготы сферы S продолжаются параллельно друг другу по вертикали, причем все линии широты и все линии долготы ортогональны друг другу. Разделенные зоны A1-A8 преобразуются в соответствующие зоны квадратной формы. Эквидистантное цилиндрическое изображение P0 имеет верхнюю сторону, которая полностью соответствует точке U, и нижнюю сторону, которая полностью соответствует точке D. Из-за вышеупомянутого преобразования зоны, расположенные вблизи точек U и D на поверхности сферы S (зоны высоких широт), продолжаются по горизонтали на эквидистантном цилиндрическом изображении P0. Поэтому вблизи верхней и нижней сторон эквидистантного цилиндрического изображения P0 количество информации, содержащейся в одном пикселе, уменьшается по сравнению с зонами низких широт посередине изображения.

На фиг.3 показано первое панорамное изображение P1, включающее в себя сцену, спроецированную на сферу S. Как показано на фиг.3, первое панорамное изображение P1 имеет в целом квадратную форму. Центр квадратной формы соответствует точке D, и точка U, которая расположена напротив точки D на сфере S, соответствует четырем углам квадратной формы. Другими словами, четыре вершины первого панорамного изображения P1 соответствуют единственной точке U на сфере S. Середина верхней стороны квадратной формы соответствует точке E₁, середина ее правой стороны - точке E₂, середина ее нижней стороны - точке E₃, и середина ее левой стороны - точке E₄. Из четырех вершин первого панорамного изображения P1, которые соответствуют единственной точке U на сфере S, верхняя правая вершина определена как точка U₁, нижняя правая вершина как точка U₂, нижняя левая вершина как точка U₃, и верхняя левая вершина как точка U₄.

Линия широты при θ = 0 на сфере S образует квадрат E₁E₂E₃E₄ на первом панорамном изображении P1, где середины этих четырех сторон служат вершинами квадрата, и точка D служит центром квадрата. Линии широты при θ < 0 образуют квадраты на первом панорамном изображении P1, где они поворачиваются на 90 градусов в положениях пересечения с прямыми линиями E₁D, E₂D, E₃D и E₄D, и точка D служит центрами квадратов. С другой стороны, линии широты при θ > 0 разделяют первое панорамное изображение P1 на четыре квадрата E₁U₁E₂D, DE₂U₂E₃, U₄E₁DE₄ и E₄DE₃U₃, что достигается путем его разделения на четыре части. Эти четыре квадрата соответствуют соответствующим четырем зонам, полученным при разделении поверхности сферы S на четыре части двумя вертикальными плоскостями, которые ортогональны друг другу. В каждом из этих квадратов, линии широты (то есть линии, где плоскости, ортогональные двум вертикальным плоскостям и сфере S, пересекают друг друга), соединяются параллельно диагональной линии квадрата. Линии долготы на сфере S продолжаются радиально от точки D в центре на первом панорамном изображении P1, поворачиваются в положениях, где они пересекаются с линией широты при θ = 0, и продолжаются до любого из квадратов, который соответствует точке U.

Каждая из разделенных зон A₁-A₈, которые получаются путем разделения поверхности сферы S на восемь частей, преобразуется в зону, которая имеет форму в виде прямоугольного равностороннего треугольника на первом панорамном изображении P1. На первом панорамном изображении P1 каждая из разделенных зон преобразуется в форму, относительно близкую к форме на первоначальной сферической плоскости по сравнению с эквидистантным цилиндрическим изображением P0, где каждая разделенная зона преобразуется в квадратную форму. Поэтому разность между количеством информации, содержащейся в одном пикселе в зонах высоких широт, и количеством информации, содержащейся в одном пикселе в зонах низких широт, уменьшена по сравнению с эквидистантным цилиндрическим изображением P0. Далее, зоны на панорамном изображении P, которые преобразуются из разделенных зон, будут упоминаться как преобразованные зоны. Для удобства иллюстрации отдельные преобразованные зоны на панорамном изображении P обозначены такими же ссылочными символами, как и соответствующие разделенные зоны на сфере S. Например, преобразованная зона на первом панорамном изображении P1, которая получена путем преобразования разделенной зоны A₁ на сфере S, упоминается как преобразованная зона A₁.

Взаимно-однозначная связь между позиционными координатами на поверхности сферы S и позиционными координатами на первом панорамном изображении P1 будет описана ниже. Предполагается, что позиционные координаты на первом панорамном изображении P1 представлены в ортогональной системе координат, где ось X продолжается по горизонтали, ось Y продолжается по вертикали, и начало координат расположено в центральном положении, как показано на фиг.3. В ортогональной системе координат правая сторона первого панорамного изображения P1 отмечена x = 1, левая сторона x = -1, верхняя сторона y = 1, и нижняя сторона y = -1.

В этом случае широта θ и долгота φ на поверхности сферы S выражены следующими уравнениями с переменными u, v и a:

Уравнение 1

,

где u, v и a выражены следующими уравнениями в зависимости от позиционных координат (x, y) на первом панорамном изображении P1:

Уравнение 2

- Преобразованные зоны A₁ и A₅ (x ≥ 0, y ≥ 0):

- Преобразованные зоны A₂ и A₆ (x ≥ 0, y ≤ 0):

- Преобразованные зоны A₃ и A₇ (x ≤ 0, y ≤ 0):

- Преобразованные зоны A₄ и A₈ (x ≤ 0, y ≤ 0):

.

Взаимно-однозначная связь между положениями на сфере S и положениями на первом панорамном изображении P1 определена этими уравнениями. Как можно понять из этих уравнений, широты θ в каждой из разделенных зон линейно связаны как с x, так и с y.

Позиционные координаты на сфере S и позиционные координаты на первом панорамном изображении P1, за исключением точек (x = 1, x = -1, y = 1, y = -1) на внешней окружности первого панорамного изображения P1, находятся во взаимно-однозначном соответствии друг с другом. Кроме того, пиксели, которые расположены рядом друг с другом на первом панорамном изображении P1, соответствуют зонам, примыкающим друг к другу на сфере S. Другими словами, хотя существуют местоположения, в которых линии широты и линии долготы изгибаются на первом панорамном изображении P1, дискретные зоны, которые отделены друг от друга на сфере S, не преобразуются таким образом, чтобы они примыкали друг к другу на первом панорамном изображении P1. Точки на внешней окружности первого панорамного изображения P1 на сфере S расположены рядом с местоположениями на соответствующих одинаковых сторонах в случае, если каждая сторона квадратной формы изгибается назад относительно середины. Например, n-й пиксель с левого конца и n-й пиксель с правого конца верхней стороны квадратной формы соответствуют смежным зонам на сфере S.

На эквидистантном цилиндрическом изображении P0 количество информации на один пиксель является самым большим в зонах низких широт (средние зоны изображения). Если количество пикселей по вертикали эквидистантного цилиндрического изображения P0 составляет 2N, то количество пикселей по его горизонтали составляет 4N, поэтому количество пикселей, соответствующих области поля зрения 90 градусов (например, области от точки E₁ до точки E₂) на горизонтальной плоскости, равно N. Напротив, на первом панорамном изображении P1, где количество пикселей по вертикали составляет 2N, хотя пиксели, соответствующие области поля зрения 90 градусов на горизонтальной плоскости, расположены наклонно, например, вдоль прямой линии E₁E₂ на фиг.3, количество этих пикселей равно N, как и в случае эквидистантного цилиндрического изображения P0. Поэтому первое панорамное изображение P1 позволяет обеспечить по существу эквивалентное качество изображения в зонах низких широт по сравнению с эквидистантным цилиндрическим изображением P0, которое имеет одинаковое количество пикселей в вертикальных направлениях. В области поля зрения 180 градусов вдоль вертикальных направлений от зенита (точка U) через горизонтальную плоскость к надиру (точка D), количество пикселей, соответствующих этой области поля зрения эквидистантного цилиндрического изображения P0 совпадает с количеством 2N пикселей в вертикальных направлениях изображения. Напротив, на первом панорамном изображении P1 область поля зрения соответствует, например, пути от точки U₁ через точку E₁ до точки D (фиг.3), так что количество пикселей, соответствующих области поля зрения, составляет (2N - 1), которое получается путем вычитания 1 из числа 2N пикселей на одной стороне первого панорамного изображения P1. В данном случае вычитается 1, так как пиксель в положении точки E₁ является конечной точкой прямой линии U₁E₁, а также конечной точки прямой линии E₁D и, следовательно, разделяется этими конечными точками. Во всяком случае, так как количество пикселей в вертикальных направлениях первого панорамного изображения P1 является по существу таким же, как и в случае эквидистантного цилиндрического изображения P0, количество пикселей, соответствующих области поля зрения в вертикальных направлениях первого панорамного изображения P1, позволяет обеспечить по существу эквивалентное разрешение. На более высоких широтах количество пикселей первого панорамного изображения P1 уменьшается. Однако, так как эквидистантное цилиндрическое изображение P0 несет в себе большое количество ненужной информации в зонах высоких широт, качество изображения в зонах высоких широт первого панорамного изображения P1 почти не ухудшается по сравнению с эквидистантным цилиндрическим изображением P0. Другими словами, первое панорамное изображение P1 сопоставимо с точки зрения качества изображения с эквидистантным цилиндрическим изображением P0, которое имеет такое же количество пикселей в вертикальных направлениях, как и первое панорамное изображение P1 на всем протяжении небесного свода.

При условии, что первое панорамное изображение P1 и эквидистантное цилиндрическое изображение P0 имеют одинаковое количество пикселей в вертикальных направлениях, количество пикселей в горизонтальных направлениях первого панорамного изображения P1 составляет ровно половину от количества пикселей в горизонтальных направлениях эквидистантного цилиндрического изображения P0. Поэтому в целом первое панорамное изображение P1 обеспечивает качество изображения, по существу эквивалентное качеству изображения эквидистантного цилиндрического изображения P0 при использовании половины количества пикселей. Следовательно, используя первое панорамное изображение P1, можно уменьшить размер данных изображения без потери качества изображения по сравнению с эквидистантным цилиндрическим изображением P0. Помимо этого, первое панорамное изображение P1 позволяет достичь более высокого разрешения изображения без увеличения размера данных изображения по сравнению с эквидистантным цилиндрическим изображением P0. Кроме того, когда панорамное изображение должно вырабатываться как движущееся изображение, можно увеличить частоту кадров, и можно уменьшить затраты на обработку, требуемые для кодирования и декодирования движущегося изображения. Более того, когда панорамное изображение должно отображаться в виде трехмерного изображения, данные изображения, включающие в себя два панорамных изображения для левого и правого глаз, могут быть обеспечены эквивалентным количеством пикселей на одно эквидистантное цилиндрическое изображение P0.

Далее будет описан второй пример формата изображения панорамного изображения P согласно второму варианту осуществления. Панорамное изображение P согласно второму примеру в дальнейшем будет упоминаться как второе панорамное изображение P2. Согласно второму примеру, для преобразования положений на сфере S в положения на втором панорамном изображении P2, две полусферы, которые получаются путем разделения поверхности сферы S на две половины, преобразуются с использованием систем координат, которые отличаются друг от друга. Определение позиционных координат на сфере S согласно второму примеру будет описано ниже со ссылкой на фиг.4А-4D.

На фиг.4А показан перспективный вид спереди сферы S, если смотреть сверху. На фиг.4B показан перспективный вид сзади сферы S, если смотреть снизу. На фиг.4C показан вид спереди в вертикальной проекции сферы S, и на фиг.4D - вид сзади в вертикальной проекции сферы S. Положение точки F находится во фронтальном направлении. Во втором примере, как и в случае, показанном на фиг.1А-1C, точка, соответствующая зениту, упоминается как точка U, и точка, соответствующая надиру, упоминается как точка D. Четыре точки на сфере S, которые расположены под углом 90 градусов вдоль горизонтальной плоскости, упоминаются как точки F, L, B и R. Когда наблюдатель в центре (в точке наблюдения) сферы S смотрит в направлении точки F (во фронтальном направлении), направление вправо указывает на точку R, направление назад на точку B и направление влево на точку L.

Что касается передней половины сферы S, то есть ее области, показанной на фиг.4C, позиционные координаты определяются аналогичными широтами и долготами, как и в первом примере, описанном выше. Другими словами, линии широты продолжаются параллельно горизонтальной плоскости, и линии долготы представляют собой окружность больших кругов сферы S, которые проходят через точку U и точку D. Полусферическая поверхность передней половины сферы S в дальнейшем будет упоминаться как передняя область, и система координат, которая показывает положения в передней области, как передняя система координат. На фиг.4А и 4C несколько линий широты показаны пунктирными линиями в передней области. В передней системе координат точка F принята за начало координат (θ = 0, φ = 0), и, как показано на фиг.4C стрелками, направление от точки F до зенита (точки U) принято за положительное направлением широт θ, и направление от точки F до точки R принято за положительное направление долгот φ. Как и в первом примере, точка U задана как θ = -π/2, и точка D как θ = -π/2. Кроме того, точка R задана как θ = 0, φ = π/2, и точка L как θ = 0, φ = -π/2.

Что касается задней половине сферы S, то есть ее области, показанной на фиг.4D, широты θ и долготы φ заданы в других направлениях по сравнению с передней областью. В частности, широты θ и долготы φ заданы в направлениях, которые расположены под углом 90 градусов, по сравнению с передней областью. Линии широты представляют окружности поперечных сечений сферы S, которые расположены перпендикулярно прямой линии LR, и линии долготы представляют собой окружности больших кругов сферы S, которые проходят через точку L и точку R. Полусферическая поверхность задней половины сферы S будет в дальнейшем упоминаться как задняя область, и система координат, в которой указаны положения в задней области, как обратная система координат. На фиг.4B и 4D несколько линий широты в задней области, определенной обратной системой координат, показаны штрих-пунктирными линиями. Как показано на фиг.4D, в обратной системе координат линии широты продолжаются параллельно прямой линии UD (то есть ортогонально линиям широты в передней системе координат), если смотреть сзади сферы S. В обратной системе координат точка B принята за начало координат (θ = 0, φ = 0), и, как показано стрелками, направление от точки B до точки L принято за положительное направление широт θ, и направление от точки B до точки D принято за положительное направление долгот φ. Следовательно, точка U, точка L, точка D и точка R, которые расположены на границе между передней областью и задней областью, представлены позиционными координатами в обратной системе координат, которые отличаются от позиционных координат в передней системе координат. В частности, в обратной системе координат, точка L задана как θ = π/2 и точка R как θ = -π/2. Кроме того, точка D задана как θ = 0, φ = π/2, и точка U как θ = 0, φ = -π/2.

Кроме того, восемь зон поверхности сферы S, разделенной тремя плоскостями, которые проходят через центр сферы S и которые ортогональны друг другу, показаны в виде разделенных зон A₉-A₁₆. Три ортогональные плоскости, которые ортогональны друг другу, представляют собой горизонтальную плоскость, включающую в себя точку F, точку L, точку B и точку R, вертикальную плоскость, включающую в себя точку U, точку F, точку D и точку B, и другую вертикальную плоскость, включающую в себя точку U, точку L, точку D и точку R. В частности, зона, окруженная точкой U, точкой F и точкой L, определена как разделенная зона A₉, зона, окруженная точкой D, точкой F и точкой L, как разделенная зона A₁₀, зона, окруженная точкой D, точкой R и точкой F, как разделенная зона A₁₁, зона, окруженная точкой U, точкой F и точкой R, как разделенная зона A₁₂, зона, окруженная точкой U, точкой B и точкой R, как разделенная зона A₁₃, зона, окруженная точкой D, точкой B и точкой R, как разделенная зона A₁₄, зона, окруженная точкой D, точкой L и точкой B, как разделенная зона A₁₅, и зона, окруженная точкой U, точкой B и точкой L, как разделенная зона A₁₆. Каждая из этих разделенных зон A₉-A₁₆ представляет собой зону, окруженную тремя линиями широты и долготы, каждая из которых имеет длину, соответствующую 1/4 окружности большого круга сферы S, и они имеют одинаковую форму, и их размеры равны друг другу.

На фиг.5 показано второе панорамное изображение P2, включающее в себя сцену, спроецированную на сферу S. Как показано на фиг.5, второе панорамное изображение P2 имеет квадратную форму в целом, как и первое панорамное изображение P1. Центр квадратной формы соответствует точке F, и точка B, которая расположена напротив точки F на сфере S, соответствует четырем углам квадратной формы. Другими словами, четыре вершины второго панорамного изображения P2 соответствуют единственной точке B на сфере S. Середина левой стороны квадратной формы соответствует точке L, середина верхней стороны - точке U, середина правой стороны - точке R, и середина нижней стороны - точке D. Из этих четырех вершин, которые соответствуют точке B, верхняя правая вершина определена как точка B₁, нижняя правая вершина как точка B₂, нижняя левая вершина как точка B₃ и верхняя левая вершина как точка B₄.

На втором панорамном изображении P2 передняя область сферы S преобразована в квадратную форму RULD, показанную на фиг.5. В этой квадратной форме линии широты продолжаются параллельно друг другу в горизонтальных направлениях (в направлениях параллельных прямой линии LR), тогда как линии долготы продолжаются радиально от точки U и перегиба в положениях, где они пересекаются с прямой линией RL, и затем продолжаются до точки D.

С другой стороны, задняя область сферы S разделена на четыре зоны, каждая из которых преобразована в преобразованную зону, которая имеет форму в виде прямоугольного равностороннего треугольника и расположена за пределами квадратной формы RULD. Положения, где расположены преобразованные зоны, определяются таким образом, чтобы смежные зоны на сфере S также располагались бы рядом друг с другом на втором панорамном изображении P2. В частности, на втором панорамном изображении P2, как и на первом панорамном изображении P1, восемь разделенных зон A₉-A₁₆, на которые поделена поверхность сферы S, преобразована в преобразованные зоны A₉-A₁₆, каждая из которых имеет форму в виде прямоугольного равностороннего треугольника, образуя при этом квадратное панорамное изображение, где они сохраняют свое смежное расположение по отношению друг к другу на сфере S. В преобразованных зонах A₁₃-A₁₆, которые расположены за пределами квадратной формы RULD, линии широты обратной системы координат накладываются друг на друга параллельно прямой линии LR, как и в случае линий широты передней системы координат.

Взаимно-однозначная связь между позиционными координатами на поверхности сферы S и позиционными координатами на втором панорамном изображении P2 будет описана ниже. Предполагается, что позиционные координаты на втором панорамном изображении P2 представлены в ортогональной системе координат, где ось X продолжается по горизонтали, ось Y продолжается по вертикали, и начало координат находится в центральном положении, как показано на фиг.5. В ортогональной системе координат правая сторона второго панорамного изображения P2 указана x = 1, левая сторона - x = -1, верхняя сторона - y = 1, и нижняя сторона - y = -1.

В этом случае широта θ и долгота φ на поверхности сферы S выражаются следующими уравнениями с переменными u и v:

Уравнение 3

где u и v выражены следующими уравнениями в зависимости от позиционных координат (x, y) на втором панорамном изображении P2:

Уравнение 4

- Преобразованные зоны A₉, A₁₀, A₁₁ и A₁₂:

- Преобразованная зона A₁₃:

- Преобразованная зона A₁₄:

- Преобразованная зона A₁₅:

- Преобразованная зона A₁₆:

.

Взаимно-однозначная связь между положениями на сфере S и положениями на втором панорамном изображении P2 определяется этими уравнениями. Однако, как описано выше, согласно второму примеру, широты θ и долготы φ в передней области определяются передней системой координат, тогда как широты θ и долготы φ в задней области определяются обратной системой координат. На втором панорамном изображении P2 широты θ в каждой из разделенных зон также линейно связаны как с x, так и с y.

Позиционные координаты на сфере S и позиционные координаты на втором панорамном изображении P2, за исключением точек (x = 1, x = -1, y = 1, y = -1) на внешней окружности второго панорамного изображения P2, также находятся во взаимно-однозначном соответствии друг с другом. Кроме того, пиксели, которые расположены рядом друг с другом на втором панорамном изображении P2, соответствуют зонам, примыкающим друг к другу на сфере S. Точки на внешней окружности второго панорамного изображения P2 являются смежными, на сфере S, в местоположениях на соответствующих одинаковых сторонах в случае, если каждая сторона квадратной формы изгибается назад относительно середины. Как и в случае первого панорамного изображения P1, второе панорамное изображение P2 обеспечивает качество изображения, по существу эквивалентное качеству эквидистантного цилиндрического изображения P0 при половинном количестве пикселей эквидистантного цилиндрического изображения P0.

Согласно второму примеру, в отличие от первого панорамного изображения P1, сцена на передней стороне, если смотреть со стороны наблюдателя (сцена, спроецированная на полусферическую поверхность около точки F), преобразуется без разделения в квадратную форму, чей центр совпадает с центром второго панорамного изображения P2. Поэтому второе панорамное изображение P2 подходит для использования в приложении, где пользователю должна быть представлена передняя сцена, а не задняя сцена.

Как описано выше, на первом панорамном изображении P1 точка D расположена в центре, и точка U, противоположная ей, соответствует вершинам в этих четырех углах, тогда как на втором панорамном изображении P2 точка F расположена в центре, и точка B, противоположная ей, соответствует вершинам в этих четырех углах. Другими словами, первое панорамное изображение P1 и второе панорамное изображение P2 отличаются друг от друга направлением преобразования из сферы S в плоское панорамное изображение P. Однако они аналогичны друг другу по содержанию преобразования. В частности, в любом случае каждая из восьми разделенных зон на сферической поверхности, которые разделены на эти три плоскости, которые проходят через центр сферы S и которые ортогональны друг другу, преобразуются в преобразованную зону, которая имеет форму в виде прямоугольного равностороннего треугольника. Таким образом, уменьшается разность между количествами информации пикселей. Каждая из разделенных зон преобразуется в прямоугольный равносторонний треугольник, так как панорамное изображение P может иметь форму в виде квадрата путем объединения восьми прямоугольных равносторонних треугольников. Если панорамное изображение P может иметь другую форму (например, прямоугольник), то по-прежнему можно уменьшить разность между количествами информации пикселей по сравнению с эквидистантным цилиндрическим изображением P0 даже в том случае, если каждая из разделенных зон преобразована в треугольник, который не является прямоугольным равносторонним треугольником (прямоугольным треугольником и т.п.).

Далее будет описан третий пример формата изображения панорамного изображения P согласно данному варианту осуществления. Панорамное изображение P согласно третьему примеру в дальнейшем будет упоминаться как третье панорамное изображение P3. Для удобства иллюстрации, согласно третьему примеру, как и во втором примере, поверхность сферы S разделена на восемь разделенных зон A₉-A₁₆. Более того, позиционные координаты на сфере S должны быть представлены широтами и долготами, определенными аналогичным способом в передней системе координат согласно второму примеру. Другими словами, согласно третьему примеру, в отличие от второго примера, положения на поверхности сферы S представлены единственной системой координат по всей поверхности сферы S.

На фиг.6 показано третье панорамное изображение P3, включающее в себя сцену, спроецированную на сферу S. Как показано на фиг.6, на третьем панорамном изображении P3 каждая из восьми разделенных зон A₉-A₁₆ преобразована в прямоугольный равносторонний треугольник, как и второе панорамное изображение P2, и прямоугольные равносторонние треугольники размещаются в одинаковых положениях, как и прямоугольные равносторонние треугольники второго панорамного изображения P2. Кроме того, разделенные зоны A₉-A₁₂ преобразованы в преобразованные зоны A₉-A₁₂ на третьем панорамном изображении P3 аналогичными уравнениями преобразования, как и в случае второго панорамного изображения P2. Другими словами, при условии, что должна быть представлена такая же сцена, данные изображения в квадратных формах URDL на втором панорамном изображении P2 и третьем панорамном изображении P3 находятся в полном соответствии друг с другом.

С другой стороны, на третьем панорамном изображении P3 разделенные зоны A₁₃-A₁₆ преобразованы в преобразованные зоны, которые находятся в аналогичных положениях и имеют аналогичную форму, как и на втором панорамном изображении P2. Однако положения в разделенных зонах преобразуются в положения в соответствующих преобразованных зонах уравнениями преобразования, которые отличаются от уравнений преобразования для второго панорамного изображения P2. В результате, на третьем панорамном изображении P3 линии широты при θ > 0 имеют форму буквы U, направленной открытой частью вверх, и, с другой стороны, линии широты при θ < 0 имеют форму буквы U, направленной открытой частью вниз, как показано пунктирными линиями на фиг.6.

Взаимно-однозначная связь между позиционными координатами на поверхности сферы S и позиционными координатами на третьем панорамном изображении P3 будет описана ниже. Предполагается, что позиционные координаты на третьем панорамном изображении P3 представлены в ортогональной системе координат, где ось X продолжается по горизонтали, ось Y продолжается по вертикали, и начало координат расположено в центральном положении, как и в случае первого панорамного изображения P1 и второго панорамного изображения P2.

В этом случае широта θ и долгота φ на поверхности сферы S выражаются следующими уравнениями с переменными u, v и a:

Уравнение 5

где u, v и a выражаются следующими уравнениями в зависимости от позиционных координат (x, y) на третьем панорамном изображении P3:

Уравнение 6

- Преобразованные зоны A₉, A₁₀, A₁₁ и A₁₂:

- Преобразованная зона A₁₃:

- Преобразованная зона A₁₄:

- Преобразованная зона A₁₅:

- Преобразованная зона A₁₆:

.

Взаимно-однозначная связь между положениями на сфере S и положениями на третьем панорамном изображении P3 определяется этими уравнениями. На третьем панорамном изображении P3 широты θ в каждой из разделенных зон также линейно связаны как с x, так и с y.

Согласно третьему примеру, как и во втором примере, сцена на передней стороне, если смотреть со стороны наблюдателя (сцена, спроецированная на полусферическую поверхность около точки F), преобразуется без разделения на квадратную форму URDL на третьем панорамном изображении P3. Поэтому третий пример подходит для использования в приложении, где перед пользователем должна быть представлена передняя сцена по сравнению с первым примером. Более того, так как вся сфера S задана в одной системе координат, и нет необходимости менять местами широты и долготы, процесс интерполяции при преобразовании эквидистантного цилиндрического изображения P0 в панорамное изображение P упрощается, и уменьшаются затраты на обработку по сравнению со вторым примером.

Согласно этим трем примерам, описанным выше, каждая из этих четырех зон, полученных путем разделения поверхности сферы S двумя из этих упомянутых выше трех плоскостей, которые ортогональны друг другу, преобразуется в зону квадратной формы. Например, что касается первого панорамного изображения P1, эти четыре зоны, полученные путем разделения сферы S вертикальной плоскостью, включающие в себя точку U, точку E₁, точку D и точку E3, и другая вертикальная плоскость, включающая в себя точку U, точку E₂, точку D и точку E₄, преобразуются в четыре квадратные формы E₁U₁E₂D, DE₂U₂E₃, U₄E₁DE₄ и E₄DE₃U₃. Затем окружность, которая определяется оставшейся одной из трех плоскостей, упомянутых выше, которая пересекает ортогонально сферу S, преобразуется в соответствующие диагональные линии четырех квадратных форм. Например, на первом панорамном изображении P1 диагональные линии четырех квадратных форм образуют квадратную форму E₁E₂E₃E₄, соответствующую горизонтальной плоскости. Другими словами, каждое из первого панорамного изображения P1, второго панорамного изображения P2 и третьего панорамного изображения P3 сформировано путем объединения пар из восьми прямоугольных равносторонних треугольников в четыре квадрата и совмещения этих четырех квадратов в двух строках и двух столбцах таким образом, чтобы основания прямоугольных равносторонних треугольников образовывали квадрат.

На фиг.7 показана схема, иллюстрирующая пример квадратной формы, которая образуется путем объединения двух преобразованных зон, каждая из которых имеет форму в виде прямоугольного равностороннего треугольника в примерах, описанных выше, и показана компоновка пикселей квадрата E₁U₁E₂D на первом панорамном изображении P1, которое показан на фиг.3. Для краткости предполагается, что одна сторона квадратной формы состоит из восьми пикселей. При условии, что одна сторона квадратной формы имеет восемь пикселей, количество пикселей, расположенных по диагонали квадратной формы, равняется также восьми. На фиг.7 пиксели, расположенные по диагонали, показаны заштрихованными.

В случае, если прямоугольный равносторонний треугольник размещается таким образом, чтобы его основание лежало наклонно, как показано заштрихованными пикселями на фиг.7, прямоугольный равносторонний треугольник состоит из N(N + 1)/2 пикселей, где N - количество пикселей на его основании. Когда количество пикселей удваивается, получается N(N + 1). Другими словами, если количество пикселей на основании каждого прямоугольного равностороннего треугольника должно быть равным N, то для размещения двух прямоугольных равносторонних треугольников требуется прямоугольная зона из N строк и (N + 1) столбцов. Однако в соответствии с приведенными выше примерами два прямоугольных равносторонних треугольника имеют общее основание, как показано на фиг.7. В частности, пиксели по диагонали квадрата образуют основания преобразованных зон, состоящих из двух прямоугольных равносторонних треугольников. Поэтому прямоугольник, образованный путем объединения двух прямоугольных равносторонних треугольников, становится квадратом из N строк и N столбцов. Когда каждая из четырех зон, полученных путем разделения сферы S двумя плоскостями, которые ортогональны друг другу, преобразуется в квадрат, все панорамное изображение P имеет квадратную форму, где количество пикселей в вертикальных направлениях и количество пикселей в горизонтальных направлениях равно друг другу. При такой компоновке легко выполнить процесс, такой как сжатие движущегося изображения.

Квадрат из N строк и N столбцов можно рассматривать как состоящий из пиксельных матриц размером (2N - 1), каждая из которых включает в себя множество пикселей, расположенных вдоль прямой линии, параллельной прямой линии E₁E₂, последовательно располагаемой в направлении от правого верхнего угла к левому нижнему углу. В частности, верхний правый пиксель, ближайший к точке U₁, образует непосредственно первую пиксельную матрицу. Следующий пиксель слева от верхнего правого пикселя и пиксель непосредственно под верхним правым пикселем образуют вторую пиксельную матрицу. N-ая пиксельная матрица состоит из N пикселей, показанных заштрихованными на фиг.7 и расположенных от точки E₁ до точки E₂. (N + 1)-ая пиксельная матрица состоит из (N - 1) пикселей, которые находятся рядом слева от N пикселей, показаны заштрихованными на фиг.7. (2N - 1)-ая пиксельная матрица состоит из нижнего левого пикселя, ближайшего к точке D. Сумма пикселей, которые образуют эти пиксельные матрицы, представлена в виде:

1 + 2 +···+ (N - 1) + N + (N - 1) +···+ 2 + 1 = N²,

что совпадает с количеством пикселей, которое содержится в квадрате из N строк и N столбцов.

Как описано выше прямые линии, параллельные прямой линии E₁E₂, соответствуют линиям широты на сфере S. Следовательно, пиксели, принадлежащие к одной пиксельной матрице, соответствуют зонам с одинаковой широтой на сфере S. Таким образом, можно видеть, что область поля зрения 180 градусов от зенита до надира сферы S преобразована в пиксельные матрицы (2N - 1) на первом панорамном изображении P1. Более того, как описано выше, в уравнениях преобразования для преобразования положений на сфере S в положения на первом панорамном изображении P1, широты θ линейно связаны как с x, так и с y. Поэтому пиксельные матрицы (2N - 1), упомянутые выше, соответствуют взаимно равным областям широт на сфере S. Другими словами, каждая пиксельная матрица соответствует полосообразной зоне, эквивалентной области широт π/(2N - 1) на сфере S. Из приведенных выше уравнений преобразования пиксели, содержащиеся в одной пиксельной матрице, соответствуют зонам, которые имеют такую же ширину, как и каждый другой пиксель в полосообразной зоне на сфере S. Другими словами, пиксели, которые содержатся в пиксельной матрице и соответствуют зоне с одинаковой широтой, имеют одинаковое количество информации по отношению друг к другу. Эта особенность преобразования между разделенными зонами и преобразованными зонами также применима ко второму панорамному изображению P2 и третьему панорамному изображению P3, хотя пиксельные матрицы в них сориентированы различным образом. Поскольку преобразование выполняется между положениями на сфере S и положениями на панорамном изображении P в соответствии с приведенными выше уравнениями преобразования, разность между количествами информации, которую несут в себе пиксели на панорамном изображении P, уменьшена по сравнению с процессом выработки преобразованных зон просто путем проецирования сцен в разделенных зонах на сферической поверхности на плоскость в пределах сферы.

Хотя выше были описаны эти три примера, панорамное изображение P согласно настоящему варианту осуществления не ограничивается этими примерами, но существуют различные изменения, где изменяются система координат, используемая для преобразования, и расположение преобразованных зон на панорамном изображении P. В любом случае можно выработать квадратное панорамное изображение P, включающее в себя всю сцену небесного свода путем преобразования восьми разделенных зон, полученных путем разделения поверхности сферы S тремя плоскостями, которые проходят через центр сферы S и которые ортогональны друг другу, в преобразованные зоны, каждая из которых имеет форму в виде треугольника, и размещения преобразованных зон на плоскости. Более того, путем преобразования каждой разделенной зоны, которая соответствует 1/8 поверхности сферы S, в треугольную форму, можно реализовать панорамное изображение P с высоким качеством изображения и с уменьшенным количеством пикселей при минимизации бесполезного количества информации на один пиксель по сравнению с эквидистантной цилиндрической проекцией.

В приведенном выше описании разделенные зоны на сфере S преобразуются в соответствующие треугольные зоны, которые размещаются на плоскости, тем самым вырабатывая квадратное панорамное изображение P, где количество пикселей в вертикальных направлениях и количество пикселей в горизонтальных направлениях равно друг другу. Однако панорамное изображение P согласно настоящему варианту осуществления не ограничивается такой конфигурацией. При описании фиг.7, например, зона, которая составляет 1/4 от поверхности сферы S, преобразуется в квадрат из N строк и N столбцов, где две преобразованные зоны используют общие основания прямоугольных равносторонних треугольников. Однако две разделенные зоны могут быть преобразованы в зоны, которые имеют форму в виде прямоугольных равносторонних треугольников, которые не имеют общих оснований, но каждый из них состоит из пиксельной матрицы размером N пикселей. В этом случае зона, которая составляет 1/4 от сферы S, преобразуется в прямоугольную зону размером N строк и (N + 1) столбцов, и панорамное изображение P имеет в целом прямоугольную форму 2N строк и (2N + 2) столбцов.

Для увеличения разрешения в направлениях, поперечных основанию, зону, которая составляет 1/4 от сферы S, можно преобразовать в прямоугольную зону из N строк и (N + m) столбцов, где m - натуральное число, равное или больше 1. Верхний предел для m отсутствует, но если число m является слишком большим, то размер данных панорамного изображения P увеличивается. Если m меньше N, то размер данных изображения можно уменьшить по сравнению с эквидистантным цилиндрическим изображением P0, разрешение которого в направлении основания является по существу эквивалентным. На фиг.8 показан пример прямоугольника из N строк и (N + m) столбцов, преобразованного из зоны, которая в этом примере составляет 1/4 от сферы S. В этом примере зоны (разделенные зоны A₁ и A₅) сферы S, которые соответствуют квадрату E₁U₁E₂D на первом панорамном изображении P1, показанном на фиг.3, преобразуются в процессе преобразования, аналогичном процессу преобразования для первого панорамного изображения P1. Более того, в примере, показанном на фиг.8, значения N = 8 и m = 3 являются удовлетворительными. В этом примере разделенные зоны на сфере S преобразованы в трапециевидную форму, а не в треугольную форму, как в приведенных выше примерах.

На фиг.8 группа пикселей, соответствующая зонам с одинаковой широтой на сфере S, обозначена идентичными ссылочными позициями. Группа пикселей, чьи соответствующие широты на сфере S равны друг другу на панорамном изображении P, в дальнейшем будет упоминаться как группа пикселей с одинаковой широтой. Пиксели, обозначенные идентично на фиг.8, принадлежат идентичным группам пикселей с одинаковой широтой. Например, верхний правый пиксель, обозначенный "1" на фиг.8, соответствует зоне высоких широт, ближайшей к зениту (точка U) на сфере S, и два пикселя, обозначенные "2", образуют группу пикселей с одинаковой широтой, соответствующую непосредственно нижней зоне, окружающей зону, соответствующую пикселю, обозначенному "1" на сфере S. Группа пикселей с одинаковой широтой, обозначенная "9", и группа пикселей с одинаковой широтой, обозначенная "10", соответствуют зонам вдоль горизонтальной плоскости на сфере S. Как показано на фиг.8, группы пикселей с одинаковой широтой образуют полосообразные пиксельные матрицы вдоль наклонных линий, сориентированных от верхних левых концов к нижним правым концам. Группы пикселей с одинаковой широтой, обозначенные "8"-"11", которые соответствуют зонам с относительно низкой широтой, состоят из наибольшего количества пикселей, и количество пикселей, которые образуют группы пикселей с одинаковой широтой, постепенно уменьшается по направлению к точке U или точке D. В примере, показанном на фиг.8, количество пикселей, которые представляют область 90 градусов вдоль горизонтальной плоскости, равняется N, как и в примере, показанном на фиг.7. Однако количество пикселей, которые представляют область 180 градусов от точки U₁ через точку E₁ или точку E₂ до точки D, равняется (2N - 1 + m), тогда как на фиг.7 это количество пикселей равно (2N - 1). Другими словами, разрешение для представления вертикальных направлений сферы S возрастает настолько, насколько увеличивается количество пикселей в горизонтальных направлениях за счет изменения формы панорамного изображения P от квадрата на прямоугольник. Хотя в этом примере панорамное изображение P имеет форму, вытянутую по горизонтали, оно может иметь форму, вытянутую по вертикали.

На фиг.9 показан другой пример, в котором панорамное изображение P сформировано в прямоугольной форме. В этом примере зоны, которые соответствуют квадрату UFRB₁ на третьем панорамном изображении P3, показанном на фиг.6, преобразуются в процессе преобразования, аналогичном процессу преобразования третьего панорамного изображения P3. Пиксели, принадлежащие идентичным группам пикселей с одинаковой широтой, обозначены взаимно идентичными цифрами, как на фиг.8. На третьем панорамном изображении P3 в преобразованных зонах A₁₂ и A₁₃, которые соответствуют 1/4 поверхности сферы S, верхний левый пиксель соответствует зонам с одинаковой широтой, ближайшим к точке U. Однако в примере, показанном на фиг.9, четыре (то есть, 1 + m) пикселя, обозначенные "1", образуют группу пикселей с одинаковой и высокой широтой, которая находится ближе всего к точке U. Группа пикселей с одинаковой широтой, обозначенная "8", соответствует зонам вдоль горизонтальной плоскости и состоит из (2N - 1 + m) пикселей. Другими словами, на фиг.9 область 90 градусов в вертикальных направлениях сферы S представлена пикселями N, и область 180 градусов в горизонтальных направлениях представлена (2N - 1 + m) пикселями, что приводит к увеличению разрешения в горизонтальных направлениях в отличие от фиг.8. В примере, показанном на фиг.9, как и в случае третьего панорамного изображения P3, группы пикселей с одинаковой широтой образуют L-образные зоны. Разделенная зона A₁₃ преобразуется в прямоугольный равносторонний треугольник, как и в случае третьего панорамного изображения P3, и разделенная зона A₁₂, преобразуется в трапециевидную форму.

Как показано выше, разрешение в вертикальных направлениях или горизонтальных направлениях можно увеличить путем формирования панорамного изображения P прямоугольной формы по сравнению с формированием панорамного изображения P квадратной формы. В любом из примеров, описанных выше, группы пикселей с одинаковой широтой, соответствующие линиям широты на сфере S, образуют полосообразные зоны на панорамном изображении P. Как можно понять из описания, приведенного до этого места, линия широты представляет собой ряд точек, расстояния которых от некоторой точки (которая в дальнейшем упоминается как экстремальная точка) на сфере S равны друг другу. На первом панорамном изображении P1 передняя область второго панорамного изображения P2 и на третьем панорамном изображении P3 экстремальными точками являются точка U и точка D, и линии широты соответствуют линиям пересечения между плоскостями, параллельными горизонтальной плоскости на сфере S, и поверхностью сферы S. На задней области второго панорамного изображения P2 точка R и точка L служат в качестве экстремальных точек, и линии широты продолжаются вдоль вертикальных направлений, как показано штрих-пунктирными линиями на фиг.4D. Независимо от того, какие положения и ориентации определены в экстремальных точках и линиях широты, согласно настоящему варианту осуществления панорамное изображение P является таким, чтобы при условии, что внимание уделяется произвольной линии широты на сфере S, количество пикселей, принадлежащих группе пикселей с одинаковой широтой, соответствующей этой линии широты, было равно или меньше количества пикселей, принадлежащих группе пикселей с одинаковой широтой, соответствующей линии широты, более низкой, чем у этой линии широты (то есть, линии широты, расположенной ближе к экстремальной точке). В противном случае, на панорамном изображении P количество пикселей, включенных в группу пикселей с одинаковой широтой, постепенно становится меньше на более высоких широтах. С другой стороны, на эквидистантном цилиндрическом изображении P0, так как все линии широты соответствуют пиксельным матрицам, имеющим одинаковую длину, и которые размещаются сбоку поперек изображения, количество пикселей, принадлежащих любой группе пикселей с одинаковой широтой, является постоянным независимо от широт. Так как панорамное изображение P согласно настоящему варианту осуществления является таким, как описано выше, количество пикселей, принадлежащих группе пикселей с одинаковой широтой, соответствующей линии широты на высокой широте, меньше, чем количество пикселей, принадлежащих группе пикселей с одинаковой широтой, соответствующей линии широты на низкой широте, как описано выше, поэтому уменьшается количество бесполезной информации, встречающейся в зонах с высокой широтой на эквидистантном цилиндрическом изображении P0, можно достичь эквивалентного или более высокого разрешения при уменьшенном количестве пикселей по сравнению с эквидистантным цилиндрическим изображением P0.

В приведенном выше описании вся сцена небесного свода полностью включена в панорамное изображение P. Однако панорамное изображение P согласно настоящему варианту осуществления не ограничивается такой конфигурацией. Например, панорамное изображение P может не включать в себя все восемь преобразованных зон, соответствующих восьми разделенным зонам, которые получены путем разделения поверхности сферы S, но может включать в себя только некоторые преобразованные зоны. Например, из восьми разделенных зон, полученных путем разделения поверхности сферы S, показанной на фиг.4А-4D, только четыре разделенные зоны A₉-A₁₂ могут быть преобразованы в преобразованные зоны, которые могут размещаться на плоскости, тем самым обеспечивая панорамное изображение P. Таким образом, панорамное изображение P включает в себя только сцену в передней полусфере, если смотреть со стороны наблюдения. В этом случае панорамное изображение P может быть эквивалентно квадратной форме RULD, которая является частью второго панорамного изображения P2, показанного на фиг.5. В качестве альтернативы, четыре разделенные зоны могут располагаться таким образом, чтобы образовался прямоугольник, а не квадрат. Кроме того, из восьми разделенных зон, полученных путем разделения сферы S, две разделенные зоны могут быть преобразованы в преобразованные зоны, каждая из которых имеет форму в виде прямоугольного равностороннего треугольника, образуя квадратное панорамное изображение P, как показано на фиг.7.

Более того, панорамное изображение P согласно настоящему варианту осуществления можно сформировать таким образом, чтобы сцена, которая видна из точки наблюдения, не проецировалась полностью на сферу S, но проецировалась бы на частичную область сферы S, и по меньшей мере одна из восьми разделенных зон, полученных путем разделения сферы S, где сцена проецируется таким образом, преобразовывалась бы в преобразованную зону. В этом примере сцена может проецироваться только на частичную область в одной из разделенных зон, при этом сцена не проецируется на другую область, и эта разделенная зона может быть преобразована в преобразованную область. В этом случае область, на которую не проецируется сцена, может быть преобразована в пиксели, имеющие незначащую информацию (например, пиксели, имеющие значение пикселя, равное 0) на панорамном изображении P. Таким образом, даже в случае отсутствия информации относительно сцены частичной области, такой как область с высокой широтой, например, близкой к надиру, панорамное изображение P можно выработать, используя процесс согласно настоящему варианту осуществления.

В случае третьего панорамного изображения P3, так как линии широты имеют форму буквы U, как показано на фиг.6, области на высоких широтах, близких к зениту и надиру, становятся прямоугольными зонами, расположенным в непосредственной близости от точки U и точки D. Если эти области не являются обязательными, то панорамное изображение P, полученное путем преобразования области сферы S за исключением этих участков, можно переупорядочить в прямоугольник. Компоновка пиксельных матриц, соответствующая линиям широты, в этом случае аналогична компоновке, показанной на фиг.9. Таким образом, переупорядочивая участок, за исключением ненужных областей в прямоугольной зоне, можно выработать панорамное изображение P, которое не будет включать в себя пиксели, имеющие незначащую информацию.

В приведенном выше описании широты θ в виде позиционных координат на поверхности сферы S линейно связаны с позиционными координатами x и y на панорамном изображении P. Это означает, что все группы пикселей с одинаковой широтой на панорамном изображении P соответствуют областям с взаимно равными широтами на сфере S. Например, при условии, что 1/4 панорамного изображения P состоит из пикселей, находящихся в 8 строках и 11 столбцах, как показано на фиг.8, так как область широты 180 градусов преобразуется в 18 групп пикселей с одинаковой широтой, каждая из групп пикселей с одинаковой широтой соответствует углу, эквивалентному широте 10 градусов. В частности, группа пикселей с одинаковой широтой, обозначенная "1", соответствует области на сфере S, широта которой находится в диапазоне от 80 градусов до 90 градусов, группа пикселей с одинаковой широтой, обозначенная "2", соответствует области на сфере S, широта которой находится в диапазоне от 70 градусов до 80 градусов, и группа пикселей с одинаковой широтой, обозначенная "18", соответствует области на сфере S, широта которой находится в диапазоне от -80 градусов до -90 градусов. Что касается направлений долготы, то пиксели, принадлежащие идентичным группам пикселей с одинаковой широтой, также соответствуют областям с взаимно равными широтами. Однако панорамное изображение P согласно настоящему варианту осуществления не ограничивается такой конфигурацией, но области широт и области долгот, которым соответствуют пиксели, могут отличаться друг от друга.

В частности, что касается важной зоны (области, которая предположительно будет привлекать внимание пользователя) на поверхности сферы S, области широт и области долгот на сфере S, которые соответствуют пикселям на панорамном изображении P, могут быть меньше, чем в других зонах. Таким образом, изменяя угловые области на поверхности сферы S, которые соответствуют пикселям, разрешение важной зоны можно сделать более высоким, чем у других зон. В качестве примера можно предположить, что пользователь, скорее всего, обратит больше внимания на зону с низкой широтой (зону, близкую к горизонтальной плоскости), чем на зону с высокой широтой (зону, близкую к зениту или надиру). По этой причине область широт в расчете на одну группу пикселей с одинаковой широтой в области, привлекающей к себе внимание, значения широты которого охватывают от -45 градусов до 45 градусов, уменьшается до половины области широт в расчете на одну группу пикселей с одинаковой широтой, значения широты которого охватывают от 45 градусов и более, и в области, значения широты которой охватывают углы от -45 градусов и менее. Таким образом, разрешение области, которая привлекает к себе внимание и соответствует половине области широт 180 градусов, может в два раза превышать разрешение других областей. Хотя, области широт, соответствующие пикселям, изменяются в этом примере в два этапа, они не являются ограничительными и могут быть изменены с использованием большего количества этапов. Более того, области долгот, которые соответствуют пикселям, принадлежащим группам пикселей с одинаковой широтой, можно изменять таким же образом, как и области широт. Таким образом, процесс изменения областей широты и областей долготы, соответствующих единичным пикселям, применим не только к панорамному изображению P согласно настоящему варианту осуществления, но также и к эквидистантному цилиндрическому изображению P0.

Далее будет описана компоновка системы 1 отображения изображения, которая включает в себя устройство 10 выработки изображения и устройство 20 управления отображением изображения согласно варианту осуществления настоящего изобретения.

Устройство 10 выработки изображения представляет собой устройство обработки информации для выработки панорамного изображения P и может быть, например, домашней игровой машиной, портативной игровой машиной, персональным компьютером, смартфоном, планшетным компьютером и т.п. Как показано на фиг.10, устройство 10 выработки изображения включает в себя блок 11 управления, блок 12 хранения данных и блок 13 связи.

Блок 11 управления включает в себя по меньшей мере один процессор, такой как центральный процессор (CPU) и т.п., и исполняет программы, хранящиеся в блоке 12 хранения данных, с целью выполнения различных процессов обработки информации. В частности, согласно настоящему варианту осуществления блок 11 управления выполняет процесс выработки панорамного изображения P. Блок 12 хранения данных включает в себя по меньшей мере одно устройство памяти, такое как оперативное запоминающее устройство (RAM) и т.п., и хранит программы, исполняемые блоком 11 управления, и данные, обрабатываемые программами. Блок 13 связи представляет собой связной интерфейс, такой как карта локальной вычислительной сети (LAN) и т.п., и отправляет данные панорамного изображения P в устройство 20 управления отображением изображения через сеть связи.

Устройство 20 управления отображением изображения представляет собой устройство обработки информации для управления отображением изображений на основе панорамного изображения P, выработанного устройством 10 выработки изображения, и может быть, например, домашней игровой машиной, портативной игровой машиной, персональным компьютером, смартфоном, планшетным компьютером и т.п., как и в случае устройства 10 выработки изображения. Устройство 20 управления отображением изображения включает в себя блок 21 управления, блок 22 хранения данных и блок 23 связи. Устройство 20 управления отображением изображения подсоединено к устройству 24 отображения и управляющему устройству 25.

Блок 21 управления включает в себя по меньшей мере один процессор, такой как, CPU и т.п., и исполняет программы, хранящиеся в блоке 22 хранения данных, с целью выполнения различных процессов обработки информации. В частности, согласно настоящему варианту осуществления блок 21 управления выполняет процесс визуализации отображаемых изображений на основе панорамного изображения P. Блок 22 хранения данных включает в себя по меньшей мере одно устройство памяти, такое как RAM и т.п., и хранит программы, исполняемые блоком 21 управления, и данные, обрабатываемые программами. Блок 23 связи представляет собой связной интерфейс, такой как карта LAN и т.п., и принимает данные, отправленные из устройства 10 выработки изображения, по сети связи.

Устройство 24 отображения включает в себя жидкокристаллический дисплей и т.п. и отображает изображения согласно видеосигналу, подаваемому из устройства 20 управления отображением изображения. Устройство 24 отображения может быть устройством отображения стереоскопического изображения для отображения стереоскопических видимых изображений, подаваемых из устройства 20 управления отображением изображения. Кроме того, устройство 24 отображения может быть наголовным устройством отображения, таким как наголовный дисплей или т.п., которое пользователь может носить на своей голове.

Управляющее устройство 25 включает в себя контроллер, координатно-указательное устройство или устройство наподобие домашней игровой машины и используется пользователем для выполнения различных командных операций в устройстве 10 выработки изображения. Содержания управляющих вводов, применяемых пользователем к управляющему устройству 25, отправляются в устройство 20 управления отображением изображения через проводную или беспроводную линию связи. Управляющее устройство 25 может включать в себя кнопки управления, сенсорную панель или т.п., расположенные на поверхности корпуса устройства 20 управления отображением изображения.

Функции, выполняемые устройством 10 выработки изображения и устройством 20 управления отображением изображения, будут описаны ниже со ссылкой на фиг.11. Как показано на фиг.11, устройство 10 выработки изображения включает в себя блок 31 получения информации о сцене и блок 32 выработки панорамного изображения в качестве функций. Эти функции выполняются тогда, когда блок 11 управления исполняет программы, хранящиеся в блоке 12 хранения данных. Устройство 20 управления отображением изображения включает в себя блок 33 получения панорамного изображения, блок 34 получения направления и блок 35 визуализации отображаемого изображения в качестве функций. Эти функции выполняются тогда, когда блок 21 управления исполняет программы, хранящиеся в блоке 22 хранения данных. Программы, которые должны исполняться устройством, могут подаваться в устройство через сеть связи, такую как Интернет и т.п., или могут предоставляться как хранящиеся на носителе информации, таком как оптический диск и т.п., который может считываться компьютером.

Блок 31 получения информации о сцене получает информацию о сцене, которая служит в качестве первоначальных данных для выработки панорамного изображения P. Информация о сцене представляет собой информацию, которая требуется для идентификации цвета (значения пикселя) каждой единичной зоны на поверхности сферы S в случае, если вся сцена небесного свода, если смотреть с точки наблюдения, проецируется на гипотетическую сферу S. Например, информация о сцене может включать в себя панорамное изображение, выработанное в формате изображения, который отличается от настоящего варианта осуществления, такого как эквидистантная цилиндрическая проекция. В качестве альтернативы, информация о сцене может включать в себя данные изображения панорамной картинки, захваченной панорамной камерой. Блок 31 получения информации о сцене может принимать информацию о сцене из другого устройства через сеть связи, или может считывать информацию о сцене из устройства, такого как камера и т.п., подключенного к устройству 10 выработки изображения, или может считывать информацию о сцене, хранящуюся на носителе информации, таком как флэш-память и т.п.

Блок 32 выработки панорамного изображения вырабатывает панорамное изображение P, используя информацию о сцене, полученную блоком 31 получения информации о сцене. Панорамное изображение P представлено данными двумерного изображения проецируемой сцены всего небесного свода (или часть этого), как описано выше. В частности, блок 32 выработки панорамного изображения вырабатывает панорамное изображение P путем вычисления значений пикселей на панорамном изображении P на основе информации о сцене согласно расчетам по уравнениям, которые представляют собой взаимно-однозначную связь между точками на сфере S и точками на панорамном изображении P, как описано выше.

Блок 32 выработки панорамного изображения вырабатывает стереоскопические данные изображения. Данные изображения, выработанные таким образом, могут представлять собой данные прямоугольного изображения, имеющего соотношение сторон 1:2, которые включают в себя в левой его половине квадратное панорамное изображение P для выработки изображения для левого глаза и в правой его половине квадратное панорамное изображение P для выработки изображения для правого глаза. Блок 32 выработки панорамного изображения может вырабатывать панорамное изображение P в виде движущегося изображения, которое изменяется в зависимости от времени.

Блок 32 выработки панорамного изображения может выбрать формат изображения из множества форматов изображения, таких как первое панорамное изображение P1 и второе панорамное изображение P2, которые были описаны выше, и выработать панорамное изображение P согласно выбранному формату изображения. В этом случае блок 32 выработки панорамного изображения выводит, вместе с панорамным изображением P, информацию, которая точно определяет формат изображения выработанного панорамного изображения P.

Блок 33 получения панорамного изображения получает панорамное изображение P, выработанное блоком 32 выработки панорамного изображения устройства 10 выработки изображения. В данном случае предполагается, что блок 33 получения панорамного изображения непосредственно принимает панорамное изображение P, отправленное из устройства 10 выработки изображения через сеть связи. Однако процесс получения не является ограничительным. Блок 33 получения панорамного изображения может принимать панорамное изображение P через другое устройство, такое как компьютер-сервер и т.п., или может получать панорамное изображение P, хранящееся на носителе информации, таком как флэш-память и т.п. путем считывания его с носителя информации.

Блок 34 получения направления получает информацию о направлении, используемую для определения области поля зрения (отображаемой области) отображаемого изображения, которое будет отображаться устройством 24 отображения на основе команды пользователя или т.п. Информация о направлении, полученная с помощью блока 34 получения направления, используется в качестве направления для захвата изображения гипотетической камерой в то время, когда блок 35 визуализации отображаемого изображения вырабатывает отображаемое изображение, как будет описано позже. Направление захвата изображения определяется углом рыскания, который представляет собой угол по горизонтали, и углом наклона, который представляет собой угол по вертикали, например. Блок 34 получения направления может также получать угол бокового поворота, который представляет угол, при котором камера вращается относительно захвата изображения, которое служит осью вращения.

В частности, блок 34 получения направления получает информацию о направлении путем приема от пользователя управляющего ввода, который применяется к управляющему устройству 25, в качестве указания направления. Альтернативно, когда пользователь наклоняет основной корпус устройства 20 управления отображением изображения, блок 34 получения направления может получать информацию о направлении, исходя из результата обнаружения и от датчика движения, который встроен в устройство 20 управления отображением изображения. Поэтому, если устройство 20 управления отображением изображения имеет маленький корпус, например, как в случае смартфона или планшетного компьютера, пользователь может изменять область поля зрения в произвольном направлении путем изменения направления устройства 20 управления отображением изображения. Если устройство 24 отображения представляет собой наголовное устройство отображения, то блок 34 получения направления может получать информацию о направлении, исходя из результата обнаружения от датчика движения, который встроен в устройство 24 отображения. Таким образом, область поля зрения можно изменять в зависимости от изменения направления головы пользователя.

Блок 35 визуализации отображаемого изображения осуществляет визуализацию отображаемого изображения, представляющего собой сцену в области поля зрения, которая определяется в зависимости от информации о направлении, полученной блоком 34 получения направления, на основе панорамного изображения P полученного с помощью блока 33 получения панорамного изображения, и управляет устройством 24 отображения для отображения визуализированного отображаемого изображения. Таким образом, пользователь может просматривать сцену в определенной области поля зрения, включенной в панорамное изображение P. Пользователь может также просматривать сцену в произвольном направлении всего небесного свода путем изменения области поля зрения с помощью управляющего ввода или т.п., применяемого к управляющему устройству 25.

В частности, блок 35 визуализации отображаемого изображения помещает сферу S в гипотетическое пространство и помещает гипотетическую камеру в центр сферы S. В это время гипотетическая камера размещается в направлении и под наклоном, которые определяются в зависимости от информации о направлении, полученной блоком 34 получения направления. Кроме того, блок 35 визуализации отображаемого изображения применяет текстуру, выработанную на основе панорамного изображения P, к внутренней поверхности сферы S, и визуализирует путь, в котором гипотетическая камера видит внутреннюю поверхность сферы S, к которой была применена текстура, тем самым вырабатывая отображаемое изображение. После выработки текстуры, которая будет применяться к сфере S, блок 35 визуализации отображаемого изображения обращается к информации, которая задает формат изображения, выводимый вместе с панорамным изображением P, и задает пиксели на панорамном изображении P, которые соответствуют пикселям, включенным в текстуру в соответствии с расчетом по уравнениям, которые определены в зависимости от заданного формата изображения.

Конкретный пример процесса нанесения текстуры на внутреннюю поверхность сферы S на основе панорамного изображения P будет описан ниже. Как описано выше, точки на сфере S находятся во взаимно-однозначном соответствии с точками на панорамном изображении P. Поэтому для определения пиксельных значений (цветов) пикселей, включенных в текстуру (тексели), обращаются к пиксельным значениям пикселей на панорамном изображении P, которые соответствуют положениям на сфере S, на которую должны наноситься тексели. Однако из-за различий по разрешению и форме тексели на текстуре и пиксели на панорамном изображении P могут не находиться во взаимно-однозначного соответствии друг с другом. Соответственно, блок 35 визуализации отображаемого изображения преобразует положения текселей на сфере S в положения (которые в дальнейшем упоминаются как точки X) на панорамном изображении P и определяет множество пикселей в непосредственной близости от каждой точки X в качестве выборочных целей. Затем блок 35 визуализации отображаемого изображения выполняет процесс интерполяции над пиксельными значениями пикселей, определенных в качестве выборочных целей, тем самым определяя пиксельные значения текселей.

Однако на панорамном изображении P горизонтальные направления и вертикальные направления изображения не обязательно должны совпадать с горизонтальными направлениями и вертикальными направлениями сферы S. Например, по отношению к первому панорамному изображению P1 горизонтальные направления (направления широт) сферы S расположены под углом 45 градусов к горизонтальным направлениям изображения в области любых преобразованных зон. В этом случае обычный процесс выборки, в котором используются четыре пикселя в двух строках и двух столбцах, включая, например, точку X, не позволяет вычислить пиксельные значения текселей должным образом. Соответственно, блок 35 визуализации отображаемого изображения выбирает пиксели в качестве выборочных целей в соответствии с правилами выборки, определенными для типа формата изображения панорамного изображения P и каждой из преобразованных зон на изображении.

Например, в верхних правых преобразованных зонах A₁ и A₅ первого панорамного изображения P1 линии широты на равных широтах являются прямыми линиями, наклоненными вверх влево под углом 45 градусов к горизонтальным направлениям, как показано пунктирными линиями на фиг.3. Для выполнения процесса выборки в этих преобразованных зонах блок 35 визуализации отображаемого изображения выбирает четыре пикселя X₁-X₄, совмещенных вдоль двух линий широты вблизи точки X, как показано на фиг.12. Пара пикселей X₁ и X₂ и пара пикселей X₃ и X₄ представляют собой комбинации, где пиксели соответствуют широтам, которые равны друг другу. Блок 35 визуализации отображаемого изображения получает интерполированное значение I1 в зависимости от доли долготы точки X из пиксельных значений пикселей X₁ и X₂, а также получает интерполированное значение I2 в зависимости от доли долготы точки X из пиксельных значений пикселей X₃ и X₄. Так как значения долготы пикселей отличаются друг от друга, коэффициенты, используемые для вычисления интерполированных значений I1 и I2, отличаются друг от друга. Блок 35 визуализации отображаемого изображения затем вычисляет интерполированное значение в зависимости от доли широты точки X из интерполированных значений I1 и I2, тем самым определяя пиксельное значение текселя, соответствующее точке X. Таким образом, вычисляются пиксельные значения текселей, включенных в текстуру, которая должна наноситься на внутреннюю поверхность сферы S.

Когда процесс интерполяции выполняется в отношении пикселей, которые служат в качестве выборочных целей вблизи внешней окружности панорамного изображения P, в качестве выборочных целей можно выбрать множество пикселей, расположенных в разнесенных положениях на изображении. Как описано выше, это связано с тем, что на внешней окружности панорамного изображения P пиксели, которые перекрывают друг друга в случае, когда сторона изгибается назад относительно середины стороны, соответствуют смежным положениям на сфере S. Для того чтобы исключить необходимость обращаться к пикселям в разнесенных положениях как к выборочным целям, выборочная пиксельная матрица может размещаться вдоль внешней окружности панорамного изображения P. Выборочная пиксельная матрица представляет собой пиксельную матрицу, образованную путем горизонтального или вертикального инвертирования пиксельной матрицы на одной стороне панорамного изображения P, и размещается рядом с пиксельной матрицей, которая должна быть инвертирована. На фиг.13 показан пример панорамного изображения P с выборочными пиксельными матрицами, добавленными к нему. В примере, показанном на фиг.13, панорамное изображение P состоит из третьего панорамного изображения P3, которое имеет форму в виде квадрата из 16 строк и 16 столбцов, и выборочных пиксельных матриц, добавленных к его верхней и нижней сторонам. На фиг.13 выборочные пиксельные матрицы изображены заштрихованными. Те пиксели, которые обозначены одинаковыми греческими буквами или буквами алфавита, имеют одинаковые пиксельные значения. Как указано этими метками, самая верхняя выборочная пиксельная матрица представляет собой пиксельную матрицу, образованную путем горизонтального инвертирования второй пиксельной матрицы с верхней стороны, и самая нижняя выборочная пиксельная матрица представляет собой пиксельную матрицу, образованную путем горизонтального инвертирования второй пиксельной матрицы с нижней стороны. Эти выборочные пиксельные матрицы расположены по отношению к пикселям на внешней окружности первоначального панорамного изображения P, поэтому соседние пиксели на сфере S также располагаются рядом друг с другом на панорамном изображении P. Выборочные пиксельные матрицы являются эффективными с точки зрения облегчения процесса интерполяции, хотя они имеют избыточную информацию. В частности, когда процесс интерполяции выполняется над пикселями в качестве выборочных целей во второй матрице с верхней стороны на фиг.13 или над пикселями в качестве выборочных целей во второй матрице с нижней стороны на фиг.13, другие необходимые выборочные цели можно взять из соседних выборочных пиксельных матриц, а не из других мест на панорамном изображении P. Такой процесс интерполяции, использующий соседние пиксели в качестве выборочных целей, может быть выполнен аппаратными средствами с помощью графического процессора или т.п. В этом случае, путем добавления выборочных пиксельных матриц к панорамному изображению P, процесс интерполяции в направлении широты, включая концы изображения, можно выполнить аппаратными средствами, обеспечивая вычисление интерполяции на высоких скоростях.

Кроме того, согласно настоящему варианту осуществления блок 35 визуализации отображаемого изображения обновляет отображаемое изображение в реальном времени в зависимости от изменения направления, полученного блоком 34 получения направления. В частности, при изменении направления, полученного блоком 34 получения направления, блок 35 визуализации отображаемого изображения изменяет направление гипотетической камеры на направление, соответствующее измененному направлению. Более конкретно, при изменении угла наклона и угла рыскания блок 35 визуализации отображаемого изображения изменяет направление захвата изображения гипотетической камеры в связи с изменением угла. При изменении угла поворота блок 35 визуализации отображаемого изображения наклоняет гипотетическую камеру относительно направления захвата изображения в качестве оси вращения в связи с изменением угла. Таким образом, область поля зрения гипотетической камеры изменяется совместно с изменением направления, полученного блоком 34 получения направления. Основываясь на обновленной области поля зрения, блок 35 визуализации отображаемого изображения повторно визуализирует путь, в котором видна внутренняя поверхность сферы S, для того, чтобы обновить отображаемое изображение, и управляет устройством 24 отображения для отображения обновленного отображаемого изображения на его экране. Блок 35 визуализации отображаемого изображения выполняет процесс повторной визуализации (обновления) отображаемого изображения в зависимости от изменения направления, полученного блоком 34 получения направления, повторно через заданные интервалы времени. В соответствии с этим процессом управления пользователь может просматривать сцену в произвольном положении на всем небесном своде, включенном в панорамное изображение P путем перемещения области поля зрения.

В приведенном выше описании отображаемое изображение показано как одно плоское изображение. Однако блок 35 визуализации отображаемого изображения может визуализировать стереоскопическое изображение. В этом случае блок 35 визуализации отображаемого изображения помещает две горизонтально совмещенные гипотетические камеры в центр гипотетической сферы S. Блок 35 визуализации отображаемого изображения затем визуализирует путь, в котором левая гипотетическая камера видит внутреннюю поверхность сферы S, на которую была нанесена текстура, выработанная на основе панорамного изображения P для левого глаза, тем самым вырабатывая отображаемое изображение для левого глаза. Аналогичным образом, блок 35 визуализации отображаемого изображения визуализирует путь, в котором правая гипотетическая камера видит внутреннюю поверхность сферы S, на которую была нанесена текстура, выработанная на основе панорамного изображения P для правого глаза, тем самым вырабатывая отображаемое изображение для правого глаза. Эти два отображаемые изображения отображаются устройством 24 отображения, которые совместимы со стереоскопическими изображениями, тем самым позволяя пользователю стереоскопически просматривать всю сцену небесного свода.

Устройство 10 выработки изображения согласно варианту осуществления, описанному выше, позволяет вырабатывать панорамное изображение P с высоким качеством изображения и с относительно маленьким количеством пикселей при уменьшении бесполезного количества информации по сравнению с панорамными изображениями эквидистантной цилиндрической проекции. Кроме того, устройство 20 управления отображением изображения согласно настоящему варианту осуществления позволяет вырабатывать отображаемое изображение, изображающее сцену в области поля зрения, включенной в панорамное изображение P, на основе панорамного изображения P, выработанного таким образом, тем самым позволяя пользователю просматривать отображаемое изображение.

Вариант осуществления настоящего изобретения не ограничивается описанными выше деталями. Например, хотя устройство 10 выработки изображения и устройство 20 управления отображением изображения не зависят друг от друга в приведенном выше описании, одно устройство обработки информации может вырабатывать панорамное изображение P и управлять отображением панорамного изображения P.

Перечень ссылочных позиций

1 - система отображения изображения, 10 - устройство выработки изображения, 11, 21 - блок управления, 12, 22 - блок хранения данных, 13, 23 - блок связи, 20 - устройство управления отображением изображения, 24 - устройство отображения, 25 - управляющее устройство, 31 - блок получения информации о сцене, 32 - блок выработки панорамного изображения, 33 - блок получения панорамного изображения, 34 - блок получения направления, 35 - блок визуализации отображаемого изображения

Заявленное изобретение относится к устройствам генерации и управления отображением панорамных изображений. Техническим результатом изобретения является уменьшение количества ненужной информации, содержащейся в панорамном изображении. Для реализации технического результата в изобретении предусмотрено преобразование по меньшей мере одной разделенной зоны, включающей в себя область, на которую проецируется сцена, наблюдаемая с точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу, в такую зону, чтобы количество пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт, размещение преобразованной зоны на плоскости и вывод выработанного панорамного изображения. 4 н. и 11 з.п. ф-лы, 18 ил.

1. Устройство выработки изображения, содержащее:

блок выработки панорамного изображения, выполненный с возможностью выработки панорамного изображения путем преобразования по меньшей мере одной разделенной зоны, включающей в себя область, на которую проецируется сцена, наблюдаемая с точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу, так чтобы количество пикселей, принадлежащих группе пикселей с одинаковой широтой, состоящей из пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт и множество групп пикселей с одинаковой широтой соответствовало областям с взаимно равными широтами, и размещения преобразованной зоны на плоскости; и

блок вывода изображения, выполненный с возможностью вывода выработанного панорамного изображения.

2. Устройство выработки изображения по п.1, в котором упомянутый блок выработки панорамного изображения выполнен с возможностью преобразования упомянутой по меньшей мере одной разделенной зоны в треугольную или трапециевидную преобразованную зону.

3. Устройство выработки изображения по п.2, в котором упомянутый блок выработки панорамного изображения выполнен с возможностью преобразования упомянутой по меньшей мере одной разделенной зоны в преобразованную зону, имеющую форму прямоугольного равностороннего треугольника.

4. Устройство выработки изображения по п.3, в котором упомянутый блок выработки панорамного изображения выполнен с возможностью выработки упомянутого панорамного изображения путем размещения двух или более преобразованных зон так, чтобы по меньшей мере одна из четырех зон, полученных путем разделения поверхности упомянутой сферы двумя из упомянутых трех плоскостей, была преобразована в квадратную зону, включающую в себя две преобразованные зоны на упомянутом панорамном изображении.

5. Устройство выработки изображения по п.4, в котором упомянутый блок выработки панорамного изображения выполнен с возможностью выработки упомянутого панорамного изображения путем размещения двух или более преобразованных зон так, чтобы пиксели по диагонали квадрата в упомянутой квадратной зоне были образованы двумя преобразованными зонами.

6. Устройство выработки изображения по п.4, в котором упомянутый блок выработки панорамного изображения выполнен с возможностью выработки упомянутого панорамного изображения путем размещения восьми преобразованных зон, в которые преобразованы упомянутые восемь разделенных зон, в целом в форме квадрата.

7. Устройство выработки изображения по п.6, в котором одна из упомянутых трех плоскостей является горизонтальной плоскостью.

8. Устройство выработки изображения по п.7, в котором упомянутый блок выработки панорамного изображения выполнен с возможностью выработки упомянутого панорамного изображения так, чтобы надир упомянутой сферы соответствовал центру упомянутого панорамного изображения.

9. Устройство выработки изображения по п.7, в котором упомянутый блок выработки панорамного изображения выполнен с возможностью выработки упомянутого панорамного изображения так, чтобы точка на горизонтальной плоскости упомянутой сферы соответствовала центру упомянутого панорамного изображения.

10. Устройство выработки изображения по п.1, в котором упомянутый блок выработки панорамного изображения выполнен с возможностью выработки упомянутого панорамного изображения путем добавления выборочного массива пикселей для его использования в процессе интерполяции так, чтобы он был смежным с пиксельным массивом, который образует сторону внешнего периметра упомянутого панорамного изображения.

11. Устройство выработки изображения по п.10, в котором упомянутый выборочный пиксельный массив является пиксельным массивом, образованным путем инвертирования конфигурации пиксельного массива, который образует упомянутую сторону.

12. Устройство выработки изображения по п.1, в котором упомянутый блок выработки панорамного изображения выполнен с возможностью выработки упомянутого панорамного изображения так, чтобы угловая область на упомянутой сфере, которая соответствует пикселям на упомянутом панорамном изображении, была разной в зависимости от широты или долготы на упомянутой сфере.

13. Устройство управления отображением изображения, содержащее:

блок получения, выполненный с возможностью получения панорамного изображения путем преобразования по меньшей мере одной разделенной зоны, включающей в себя область, на которую проецируется сцена, наблюдаемая с точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу, так чтобы количество пикселей, принадлежащих группе пикселей с одинаковой широтой, состоящей из пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт и множество групп пикселей с одинаковой широтой соответствовало областям с взаимно равными широтами, и размещения преобразованной зоны на плоскости; и

блок визуализации, выполненный с возможностью визуализации отображаемого изображения, изображающего сцену в заданной области поля зрения, на основе полученного панорамного изображения и с возможностью управления устройством отображения для отображения визуализируемого отображаемого изображения на его экране.

14. Способ выработки изображения, содержащий этапы, на которых:

вырабатывают панорамное изображение путем преобразования по меньшей мере одной разделенной зоны, включающей в себя область, на которую проецируется сцена, наблюдаемая с точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу, так чтобы количество пикселей, принадлежащих группе пикселей с одинаковой широтой, состоящей из пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт и множество групп пикселей с одинаковой широтой соответствовало областям с взаимно равными широтами, и размещения преобразованной зоны на плоскости; и

выводят выработанное панорамное изображение.

15. Энергонезависимый считываемый компьютером носитель информации, содержащий программу, позволяющую компьютеру функционировать в качестве:

средства для выработки панорамного изображения путем преобразования по меньшей мере одной разделенной зоны, включающей в себя область, на которую проецируется сцена, наблюдаемая с точки наблюдения, из восьми разделенных зон, полученных путем разделения поверхности сферы, имеющей по меньшей мере частичную область, на которую проецируется сцена, тремя плоскостями, которые проходят через центр сферы и ортогональны друг другу, так чтобы количество пикселей, принадлежащих группе пикселей с одинаковой широтой, состоящей из пикселей, соответствующих взаимно равным широтам, постепенно уменьшалось в направлении более высоких широт и множество групп пикселей с одинаковой широтой соответствовало областям с взаимно равными широтами, и размещения преобразованной зоны на плоскости; и

средства для вывода выработанного панорамного изображения.