ПОЛЬЗОВАТЕЛЬСКИЙ ИНТЕРФЕЙС ДЛЯ СИСТЕМЫ И СПОСОБА КОРРЕКЦИИ ОСНОВНЫХ РАЗМЕРОВ НА ПАНОРАМНЫХ ИЗОБРАЖЕНИЯХ, ОХВАТЫВАЮЩИХ УГОЛ ОБЗОРА, РАВНЫЙ 360° Российский патент 2011 года по МПК G06K9/36 H04N15/00 G06T17/00 

Настоящая заявка является частичным продолжением заявки № 10/186.915, поданной 28 июня 2002 и названной «REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING».

Область техники, к которой относится изобретение

Настоящее изобретение относится, в целом, к просмотру изображений с помощью компьютера и, более конкретно, к пользовательскому интерфейсу для системы и способа оперативной коррекции панорамных изображений, захваченных посредством всенаправленной камеры, для уменьшения количества проблем искажения и восприятия, связанных с подобными изображениями.

Предшествующий уровень техники изобретения

Зачастую для захвата больших сцен используются широкоугольные камеры, как правило, имеющие угол обзора больше 60^о. Широкоугольное изображение, захваченное широкоугольной камерой, может быть просмотрено посредством использования, по меньшей мере, двух типов проецирования. Линейное перспективное проецирование, а также цилиндрическое проецирование являются наиболее типичными типами проецирования, используемыми для просмотра широкоугольных изображений.

Линейное перспективное проецирование является изображением, захваченным посредством широкоугольного объектива, проецированным на плоскую часть пленки. Линейное перспективное проецирование удерживает прямые линии за счет поддержания формы. Это вызывает перспективные деформации. Изображение будет казаться четким и недеформированным, если зритель, просматривающий изображение, направит свой глаз в центр проецирования. Однако при просмотре широкоугольного изображения с меньшим углом обзора зритель ожидает меньших увеличений размеров изображения, а также меньший коэффициент деформации на плоскостях изображения, в связи с вращением объекта. Это объясняет то, почему объекты кажутся вытянутыми по краям. Плоскости изображения, большие ожидаемых изменений в отношении размеров и деформации, придают пользователю чувство того, что сцена не является неподвижной, как будто сцена «плывет» вокруг зрителя, особенно при просмотре панорамных изображений.

Цилиндрическое проецирование производится посредством использования широкоугольной камеры, имеющей изогнутую пленку и вращающийся щелевой объектив. Цилиндрическое проецирование лучше сохраняет форму по сравнению с линейным проецированием. Кроме того, цилиндрическое проецирование снижает любое очевидное «плавающее» движение. Несмотря на то что цилиндрическое проецирование является усовершенствованной визуализацией, по сравнению с линейным проецированием, проблемы искажения и восприятия все еще имеют место быть. В частности цилиндрическое проецирование изгибает прямые линии более чем необходимо. Кроме того, цилиндрическое проецирование почти полностью удаляет иллюзию вращения головы при просмотре панорамных изображений.

Проблемы искажения и искривления в широкоугольных изображениях возникают из-за несоответствия угла обзора. В частности из-за ограниченной области просмотра на компьютерных мониторах, а также стандартных расстояний наблюдения, угол стягивается, и при просмотре изображение намного меньше угла обзора камеры, которая изначально спроецировала сцену на плоскость изображения. Это несоответствие является причиной многих проблем искажения и восприятия.

Смежная проблема, вызываемая просмотром широкоугольных изображений с меньшим углом обзора во время просмотра, является неправильным восприятием глубины. Широкоугольные изображения увеличивают несоответствие глубины между близкими и далекими объектами. Одним важным визуальным ориентиром глубины объекта в сцене является соотношение размеров изображения подобных объектов, помещенных на близкие и дальние позиции (названное коэффициентом глубины перспективы). Меньший угол обзора приводит к меньшему коэффициенту глубины перспективы. Например, предположим, что сцена содержит двух человек, находящихся рядом друг с другом, при этом один человек находится немного дальше от камеры по сравнению с другим человеком. Если сцена захвачена камерой с обычным углом обзора (приблизительно 60 градусов), и такая же сцена захвачена широкоугольной камерой, то размеры объектов в сцене будут казаться разными. В частности при использовании камеры с обычным углом обзора человек, находящийся дальше от камеры, будет казаться еще немного дальше от камеры по сравнению с другим человеком. Однако при использовании широкоугольной камеры человек, находящийся дальше от камеры, будет казаться намного меньше другого человека. Из-за этой увеличенной разницы размеров человек, находящийся дальше от камеры, кажется намного дальше, чем есть на самом деле. При просмотре широкоугольного изображения глубокой сцены (такой как сцена видеоконференции) на компьютерном мониторе угол обзора зрителя, в целом, намного меньше угла обзора фактических изображений. Поэтому глубина, воспринимаемая зрителем, намного больше фактической глубины.

Одним применением, при котором проявляются проблемы искажения и восприятия, является применение в системах видеоконференции. Широкоугольные камеры зачастую используются в системах видеоконференции для захвата и передачи изображения, содержащего всех участников, присутствующих в помещении для совещаний. Однако одна проблема заключается в том, что при просмотре видеоконференции широкоугольное изображение увеличивает глубину помещения. Это приводит к тому, что люди, находящиеся в центре изображения (обычно те, кто находится дальше всех от камеры), кажутся очень маленьким по сравнению с другими находящимися в помещении людьми, из-за увеличенной глубины перспективы.

Эти проблемы искажения и восприятия, как правило, связанные с изображениями широкоугольных камер, являются еще более очевидными при просмотре панорамных изображений, охватывающих угол обзора, равный 360 градусам. Панорамное изображение может быть сформировано посредством выравнивания и совмещения исходных изображений, которые получены от одной камеры. Альтернативно, панорамное изображение может быть создано при использовании множества камер для получения и совмещения исходных изображений. Например, в случае с использованием множества камер для формирования панорамного видео. По существу, создание панорамного видео влечет за собой получение множества видео, изображающего полный обзор окружающей сцены, охватывающий угол обзора, равный 360 градусам. Иногда для захвата такого видео используется стенд, содержащий множество размещенных встык камер. Как правило, для совмещения изображений в панораму используется таблица совмещения, которая преобразовывает пиксельные местоположения исходных изображений в пиксельные местоположения панорамного изображения. Всенаправленные камеры с углом обзора в 360 градусов используются для записи совещания или видеоконференции. Как правило, камера помещается в центр стола, за которым сидят участники совещания. Если стол для совещаний имеет прямоугольную форму, то основные размеры людей на панорамных изображениях изменятся в зависимости от их расстояния до камеры. Например, человек, находящийся на дальнем конце стола, будет казаться намного меньше человека, находящегося ближе к камере. Такие изменения основных размеров на панорамных изображениях не выглядят привлекательными, и зачастую трудно распознать людей, находящихся на дальнем конце стола, или же распознать выражения их лиц.

Другая проблема проведения видеоконференции с использованием панорамных изображений заключается в том, что некоторые всенаправленные камеры формируют панорамное изображение, размером 3700×600 пикселей, а большинство пользователей имеют только устройства отображения с разрешающей способностью 1024×768 пикселей, предоставляющие возможность просмотра панорамы, размером 1024×166 пикселей. Из-за этого значительного сокращения разрешения люди, находящиеся на дальнем конце столов, не могут быть рассмотрены без коррекции основных размеров.

Соответственно, существует потребность в системе и способе оперативной коррекции изображений, захваченных посредством панорамной камеры, для уменьшения количества проблем искажения и восприятия, связанных с подобными изображениями. Эта система и способ должны осуществлять коррекцию основных размеров на панорамных изображениях, а также предоставлять возможность рассмотрения людей на изображениях с разрешающей способностью стандартных мониторов. Кроме того, эта система и способ должны быть простыми в установке и работе, а также должны быть эффективными в вычислительном отношении.

Сущность изобретения

Изобретение обеспечивает пользовательский интерфейс для системы и способ оперативной коррекции недостатков искажения и восприятия в панорамном изображении, охватывающем угол обзора, приблизительно равный 360 градусам. Эта система и способ оперативной коррекции панорамного изображения используют параметрические функции деформации, а именно, функции пространственно-переменного пропорционального масштабирования (SVU), для деформации панорамного изображения с целью коррекции основных размеров людей без нарушения целостности. Функция пространственно-переменного пропорционального масштабирования (SVU) была предварительно описана в заявке на патент № 10/186.915, поданной 28 июня 2002 года, названной «REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING». Однако предшествующая заявка на патент использует эту методику только для изображений, охватывающих угол обзора до 180 градусов. В настоящем изобретении функция пространственно-переменного пропорционального масштабирования (SVU) применяется к панорамным изображениям, охватывающим угол обзора, равный приблизительно 360 градусам, принимая во внимание горизонтальную геометрию, такую как геометрия стола для совещаний, и плоскость, касающуюся голов участников совещания. В вышеупомянутой заявке на патент функция пространственно-переменного пропорционального масштабирования (SVU) применялась к изображениям, охватывающим угол обзора до 180 градусов, как правило, формирующийся широкоугольной камерой, размещенной на одном конце стола для совещаний. В отличие от этого, всенаправленная камера с углом обзора в 360 градусов обычно размещается в центре стола. Поэтому верхние и нижние кривые, используемые для вычисления функции пространственно-переменного пропорционального масштабирования (SVU) для широкоугольных изображений и панорамных изображений, охватывающих угол обзора, равный приблизительно 360 градусам, различаются.

Система и способ оперативной коррекции панорамного изображения обеспечивают коррекцию основных размеров, делая далеко находящиеся объекты, такие как головы, кажущимися ближе и, следовательно, крупнее. Близко находящиеся головы, которые являются большими, также становятся меньше. В результате чего люди, находящиеся на дальнем конце стола, становятся крупнее и могут быть рассмотрены даже на устройстве отображения с разрешающей способностью 1024×166 пикселей. В одном варианте осуществления системы и способа согласно изобретению пользователь также выбирает форму и размеры стола для совещаний, и система оперативной коррекции панорамного изображения изменяет таблицу совмещения панорамного изображения для соответствия этому столу для совещаний из условия, чтобы основные размеры участников совещания были скорректированы одновременно с вычислением совмещения.

Пользовательский интерфейс (UI), соответствующий системе и способу оперативной коррекции панорамного изображения, упрощает использование системы для пользователя. Пользовательский интерфейс (UI) включает в себя панель управления, предоставляющую пользователю возможность ввода размеров и формы стола для совещаний, а также коэффициент желаемой коррекции (например, от 0% до 100%). Также на устройстве отображения может быть реализовано окно говорящего, отображающее скорректированное панорамное изображение. В этом окне говорящего скорректированная голова участника совещания, особенно выступающего, может быть извлечена из панорамного изображения и отображена в отдельном окне. Кроме того, скорректированное панорамное изображение может быть отображено с дополнительными пикселями по его периметру для соответствия стандартному размеру, поскольку скорректированные панорамные изображения изменяются по размеру на основе коэффициента примененной коррекции. Например, черная полоса может быть помещена параллельно верхней и нижней границам скорректированного панорамного изображения. Это предоставляет скорректированному или нормализованному панорамному изображению возможность передачи по сети в стандартном размере, а также предоставляет изображению возможность адаптации к любому из стандартных размеров устройства отображения, а также разрешающей способности.

Перечень чертежей

Настоящее изобретение может быть более понятым исходя из нижеследующего описания и приложенных чертежей, иллюстрирующих аспекты изобретения. Другие особенности и преимущества будут очевидны из нижеследующего подробного описания изобретения, взятого совместно с сопроводительными чертежами, которые иллюстрируют, в качестве примера, принципы настоящего изобретения.

Фиг.1 иллюстрирует изображение, захваченное посредством панорамной камеры с углом обзора в 360 градусов, в помещении для совещаний.

Фиг.2 иллюстрирует показанное на Фиг.1 изображение, скорректированное посредством системы и способа оперативной коррекции панорамного изображения согласно настоящему изобретению.

Фиг.3 иллюстрирует верхние и нижние кривые для функции пространственно-переменного пропорционального масштабирования (SVU) (зеленые кривые) для изображений, охватывающих угол обзора, равный 180 градусам.

Фиг.4 иллюстрирует верхние и нижние кривые для функции пространственно-переменного пропорционального масштабирования (SVU) (зеленые кривые) для панорамных изображений, охватывающих угол обзора, равный 360 градусам.

Фиг.5A изображает блок-схему, иллюстрирующую общий обзор одного варианта осуществления системы оперативной коррекции панорамного изображения согласно настоящему изобретению.

Фиг.5B изображает блок-схему, иллюстрирующую общий обзор другого варианта осуществления системы оперативной коррекции панорамного изображения согласно настоящему изобретению, использующей объединенную таблицу совмещения и деформации.

Фиг.6 изображает блок-схему, иллюстрирующую вычислительное устройство, применяемое для осуществления изобретения.

Фиг.7 изображает блок-схему, иллюстрирующую элементы модуля формирования таблицы деформации системы оперативной коррекции панорамного изображения, иллюстрированной на Фиг.5A и 5B.

Фиг.8A изображает общую схему последовательности операций, иллюстрирующую рабочий процесс системы оперативной коррекции панорамного изображения, иллюстрированной на Фиг.5A.

Фиг.8B изображает общую схему последовательности операций, иллюстрирующую рабочий процесс системы оперативной коррекции панорамного изображения, иллюстрированной на Фиг.5B.

Фиг.9 изображает схему последовательности операций, иллюстрирующую элементы модуля вертикального масштабирования, изображенного на Фиг.7.

Фиг.10 иллюстрирует процесс определения функции деформации посредством двух кривых.

Фиг.11 изображает диаграмму, демонстрирующую проецирование границ стола на цилиндрическую пленку (предполагая стандартную ориентацию камеры).

Фиг.12 изображает схему последовательности операций, иллюстрирующую элементы модуля горизонтального масштабирования, изображенного на Фиг.7.

Фиг.13 изображает схему последовательности операций, иллюстрирующую элементы модуля коррекции горизонтального искажения, изображенного на Фиг.7.

Фиг.14 иллюстрирует функцию вертикального масштабирования и концептуальное представление деления предварительных пиксельных координат на три части.

Фиг.15 изображает заполненное скорректированное панорамное изображение, в котором дополнительные пиксели добавлены по периметру изображения в целях соответствия стандартным размерам для передачи по сети или на устройство отображения.

Подробное описание изобретения

В следующем описании изобретения дается ссылка на сопроводительные чертежи, которые являются его частью, а также в нем, в иллюстративных целях, изображается конкретный пример, посредством которого изобретение может быть осуществлено. Должно быть понятно, что могут быть использованы и другие варианты осуществления, а также могут быть сделаны структурные изменения, не отступая от объема настоящего изобретения.

1.0 Общий краткий обзор

Фиг.1 иллюстрирует изображение, захваченное всенаправленной камерой с углом обзора в 360 градусов, размещенной в центре стола в помещении для совещаний. Такая установка камеры типична для возможности использования в видеоконференции. На Фиг.1 можно увидеть, что человек в белом кажется намного меньше других двух. Причина этого заключается в том, что он находится дальше всех от камеры. Прежде всего, человек в белом намного менее видим и выступает далеко от зрителя, соответственно воздействуя на восприятие оперативного контакта. Во-вторых, размеры изображения обычно ограничиваются лимитом пропускной способности сети, а также лимитом места на экране. Множество переданных пикселей тратятся впустую, если изображения людей являются очень маленькими. В связи с этим желательно скорректировать основные размеры людей для максимального использования множества переданных и отображенных пикселей. Фиг.2 иллюстрирует показанное на Фиг.1 изображение, скорректированное посредством системы и способа оперативной коррекции панорамного изображения.

Система и способ оперативной коррекции панорамного изображения используют методику для коррекции или нормализации основных размеров людей без нарушения целостности. Методика заключается в расширении функции пространственно-переменного пропорционального масштабирования (SVU), как описано в заявке на патент № 10/186.915, поданной 28 июня 2002 года и названной «REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING». В предшествующей заявке на патент функция пространственно-переменного пропорционального масштабирования (SVU) использовалась относительно изображений, охватывающих область обзора, равную 180 градусам, которые, как правило, формируются посредством широкоугольной камеры, размещенной на одном конце стола для совещаний. Напротив, как обсуждалось выше, камера с углом обзора в 360 градусов, как правило, размещается в центре стола. В связи с этим верхние и нижние кривые для вычисления функции пространственно-переменного пропорционального масштабирования (SVU), сформированные для панорамных изображений, охватывающих угол обзора, равный 360 градусам, отличаются от используемых в широкоугольных изображениях (например, охватывающих угол обзора до 180 градусов). Фиг.3 изображает верхние и нижние исходные кривые, используемые для вычисления функции пространственно-переменного пропорционального масштабирования (SVU) (зеленые кривые) для изображений, охватывающих угол обзора, равный 180 градусам. Фиг.4 изображает верхние и нижние исходные кривые, используемые для вычисления функции пространственно-переменного пропорционального масштабирования (SVU) (зеленые кривые) для изображений, охватывающих угол обзора, равный 360 градусам. Учитывая зеленые исходные кривые и конечные кривые (красные кривые) можно формировать функцию пространственно-переменного пропорционального масштабирования (SVU) способом, подобным описанному в вышеупомянутой заявке на патент.

Коррекция панорамного изображения, как и в предварительно упомянутой находящейся на рассмотрении заявке на патент, достигается посредством использования класса параметрических функций деформации, именуемых функциями пространственно-переменного пропорционального масштабирования (SVU), сохраняющими локальные перспективы масштабирования, а также корректирующими неправильное восприятие глубины. Функции пространственно-переменного пропорционального масштабирования (SVU) и масштабные коэффициенты используются для выполнения вертикального и горизонтального масштабирования на пиксельных координатах изображения. Это формирует предварительную таблицу деформации, которая преобразовывает пиксельные местоположения предварительно скорректированного изображения в исходные пиксельные координаты. Это предварительно скорректированное изображение является виртуальным изображением и фактически не создается. Однако предварительно скорректированное изображение удерживает вертикальные линии прямо, но при этом искажает горизонтальные линии. Это горизонтальное искажение корректируется при выполнении коррекции горизонтального искажения посредством использования функции пространственно-переменного пропорционального масштабирования (SVU) и, по меньшей мере, двух различных масштабных коэффициентов. Эта обработка приводит к таблице деформации. Таблица деформации преобразовывает местоположения скорректированного панорамного изображения в исходные пиксельные координаты искаженного панорамного изображения. В некоторых вариантах осуществления изобретения, в которых изображения совмещаются для формирования панорамного изображения, таблица деформации может быть связана с таблицей совмещения для повышения вычислительной эффективности. При использовании таблицы деформации или объединенной таблицы совмещения и деформации скорректированное панорамное изображение оперативно формируется из исходного панорамного изображения.

Фиг.5A изображает блок-схему, иллюстрирующую общий обзор одного варианта осуществления системы 500A оперативной коррекции панорамного изображения настоящего изобретения. В общих чертах система 500A получает геометрию 505 горизонтальных признаков (например, геометрию стола для совещаний и плоскости прикосновения вершин голов людей), а также панорамное изображение 510, и вводит геометрию 505 горизонтальных признаков и пиксельные координаты 520 панорамного изображения, в соответствии с координатами каждого пикселя в панорамном изображении. Геометрия 505 горизонтальных признаков и пиксельные координаты 520 панорамного изображения обрабатываются посредством системы 500A оперативной коррекции панорамного изображения, а затем скорректированное панорамное изображение 530 выводится.

Панорамное изображение 510 может являться отдельным совмещенным изображением (например, от фотоаппарата) или частью последовательности изображений (например, от видеокамеры). Координаты каждого пикселя в панорамном изображении 510 получают для формирования пиксельных координат 520 панорамного изображения. Например, в правильной системе координат, пиксельные координаты 520 являются местоположениями (x, y) каждого из пикселей в панорамном изображении 510, которые, как правило, соответствуют серии изображений, совмещенных для получения панорамного изображения. Модуль 500А оперативной коррекции панорамного изображения включает в себя модуль 540 формирования таблицы деформации, таблицу 500 деформации и систему 560 оперативной деформации изображения.

Модуль 540 формирования таблицы деформации используется для формирования таблицы 550 деформации посредством использования параметрических функций деформации изображения. Пиксельные координаты 520 панорамного изображения обрабатываются для формирования таблицы 550 деформации. Элементы модуля 540 формирования таблицы деформации обсуждаются ниже. Таблица 550 деформации содержит пиксельные координаты 520 панорамного изображения, классифицированные для соответствия местоположению в скорректированном панорамном изображении 530. Таким образом, таблица 550 деформации определяет новое местоположение в скорректированном панорамном изображении 530 для пиксельных координат 520 панорамного изображения.

После формирования таблицы 550 деформации панорамное изображение 510 принимается в качестве входа системой 560 оперативной деформации. Система 560 оперативной деформации панорамного изображения применяет таблицу 550 деформации к панорамному изображению 510 для формирования скорректированного панорамного изображения 530. Система 560 оперативной деформации формирует скорректированное панорамное изображение 530 для каждого местоположения в скорректированном панорамном изображении 530 посредством получения значений RGB для панорамного изображения 510, находящихся в пиксельных координатах, содержащихся в таблице 550 деформации. Таким образом, значения RGB в пиксельных координатах 520 панорамного изображения перемещаются в скорректированное панорамное изображение 530. Новое местоположение определяется посредством использования таблицы 550 деформации. Должно быть отмечено, что может быть использовано любое пространство цветов, например, такое как YUV.

В другом варианте осуществления изобретения 500B, изображенном на Фиг.5B, таблица деформации объединяется с таблицей совмещения, используемой для совмещения панорамного изображения. В этом варианте осуществления множество 512 исходных изображений совмещаются в мнимое панорамное изображение 515, а пиксельные координаты изображения для мнимого совмещенного панорамного изображения 522 вводятся в систему 500B. Модуль 500В оперативной коррекции панорамного изображения включает в себя модуль 540 формирования таблицы деформации, таблицу 550 деформации, объединенную таблицу 555 совмещения и деформации (более детально обсуждаемую в разделе 4.5) и систему 560 оперативной деформации.

Модуль 540 формирования таблицы деформации используется для формирования таблицы 550 деформации посредством использования параметрических функций деформации изображения. Пиксельные координаты 522 панорамного изображения мнимого панорамного изображения 515 обрабатываются для формирования таблицы 550 деформации. Элементы модуля 540 формирования таблицы деформации обсуждаются ниже. Таблица 550 деформации содержит пиксельные координаты 522 панорамного изображения, классифицированные для соответствия местоположению в скорректированном панорамном изображении 530. Таким образом, таблица 550 деформации определяет новое местоположение в скорректированном панорамном изображении 530 для пиксельных координат 522 панорамного изображения.

После формирования таблицы 550 деформации она объединяется с таблицей совмещения, используемой с целью совмещения множества 512 исходных изображений для формирования объединенной таблицы 555 деформации и совмещения. Множество 512 исходных изображений принимается в качестве входа системой 560 оперативной деформации изображения. Система 560 оперативной деформации панорамного изображения применяет объединенную таблицу 555 деформации и совмещения к множеству 512 исходных изображений с целью формирования скорректированного панорамного изображения 530. Система 560 оперативной деформации изображения формирует скорректированное панорамное изображение 530 для каждого местоположения в скорректированном панорамном изображении 530 посредством получения значений RGB (либо YUV, либо другого пространства цветов) для множества 512 исходных изображений находящихся в пиксельных координатах, содержащихся в объединенной таблице 555 деформации и совмещения. Таким образом, значения RGB в пиксельных координатах 522 мнимого панорамного изображения перемещаются в скорректированное панорамное изображение 530 в момент совмещения множества 512 исходных изображений. Новое местоположение определяется посредством использования объединенной таблицы 555 деформации и совмещения.

Процесс деформации происходит оперативно в связи с тем, что средство совмещения является статическим и требует минимальных вычислений. Формирование таблицы деформации означает, что все, что требуется для формирования скорректированного панорамного изображения 530, - это применить таблицу деформации 550 (или объединенную таблицу деформации и совмещения) к панорамному изображению 510 или множеству 512 исходных изображений, которые могут быть выполнены быстро.

2.0 Иллюстративная рабочая среда

Система 500А или 500В оперативной коррекции панорамного изображения настоящего изобретения разработана для функционирования в вычислительной среде. Следующее обсуждение предназначено для представления краткого общего описания соответствующей вычислительной среды, в которой может быть осуществлено изобретение.

Фиг.6 изображает блок-схему, иллюстрирующую вычислительное устройство, применяемое для осуществления изобретения. Несмотря на отсутствие необходимости, изобретение будет описано в общем контексте машиноисполняемых, таких как программные модули, исполняемые посредством компьютера. В целом, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и т.д., которые выполняют определенные задачи или реализуют определенные абстрактные типы данных. Кроме того, специалистам в данной области техники должно быть понятно, что изобретение может быть осуществлено с использованием разнообразия конфигураций вычислительной системы, включая персональные компьютеры, серверы, портативные устройства, многопроцессорные системы, программируемую бытовую электронику или бытовую электронику, основанную на микропроцессоре, сетевые персональные компьютеры (PC), мини-компьютеры, универсальные компьютеры (мейнфреймы) и т.п. Изобретение также может быть осуществлено в распределенных вычислительных окружениях, где задачи выполняются посредством удаленных взаимосвязанных по сети связи устройств обработки. В распределенном вычислительном окружении программные модули могут быть размещены как на локальных, так и на удаленных компьютерных носителях данных, включая запоминающие устройства.

На Фиг.6 изображена иллюстративная система для осуществления изобретения, содержащая универсальное вычислительное устройство 600. В частности, вычислительное устройство 600 включает в себя процессор 602, системное запоминающее устройство 604 и системную шину 606, соединяющую различные системные компоненты, включая соединение системного запоминающего устройства 604 с процессором 602. Системная шина 606 может являться любым из нескольких типов шинных структур, включающих в себя шину памяти или контроллер памяти, периферийную шину и локальную шину, используя любые из разнообразия шинных архитектур. Системное запоминающее устройство включает в себя постоянное запоминающее устройство 610 (ROM) и оперативное запоминающее устройство 612 (RAM). Базовая система 614 ввода-вывода (BIOS), содержащая базовые процедуры, которые содействуют передаче информации между элементами в пределах вычислительного устройства 600, например, в течение запуска, хранится в постоянном запоминающем устройстве 610 (ROM). Вычислительное устройство 600 дополнительно включает в себя накопитель 616 на жестких магнитных дисках для считывания и записи в отношении жесткого магнитного диска, не показан, магнитный дисковод 618 для считывания или записи в отношении сменного магнитного диска 620 и оптический дисковод 622 для считывания или записи в отношении сменного оптического диска 624, такого как CD-ROM или другие оптические носители. Накопитель 616 на жестких магнитных дисках, магнитный дисковод 618 и оптический дисковод 622 подсоединяются к системной шине 606 посредством интерфейса 626 накопителей на жестких магнитных дисках, интерфейса 628 магнитных дисководов и интерфейса 630 оптических дисководов, соответственно. Накопители и дисководы и ассоциированные с ними машиночитаемые носители обеспечивают энергонезависимое хранение машиночитаемых команд, структур данных, программных модулей и других данных для вычислительного устройства 600.

Несмотря на то что описанное в настоящем документе иллюстративное окружение использует жесткий диск, сменный магнитный диск 620 и сменный оптический диск 624, специалистам в данной области техники должно быть понятно, что в иллюстративном окружении также могут быть использованы и другие типы машиночитаемых носителей, которые могут хранить доступные компьютеру данные, такие как магнитные кассеты, карты флэш-памяти, цифровые видеодиски, накопители Бернулли, оперативные запоминающие устройства (RAM), постоянные запоминающие устройства (ROM) и т.п.

Множество программных модулей может быть сохранено на жестком диске, магнитном диске 620, оптическом диске 624, в постоянном запоминающем устройстве 610 (ROM) или в оперативном запоминающем устройстве 612 (RAM), включая операционную систему 632, одну или несколько прикладных программ 634, другие программные модули 636 и данные 638 программ. Пользователь (не показан) может осуществить ввод команд и информации в вычислительное устройство 600 с помощью устройства ввода данных, такого как клавиатура 640 и указательное устройство 642. Кроме того, камера 643 (например, видеокамера), а также и другие устройства ввода данных (не показаны), такие как микрофон, джойстик, игровая клавиатура, спутниковая антенна, сканер или т.п., могут быть соединены с вычислительным устройством 600. Эти другие устройства ввода данных зачастую подсоединяются к процессору 602 с помощью интерфейса 644 последовательного порта, который соединен с системной шиной 606, но также могут подсоединяться с помощью других интерфейсов, таких как параллельный порт, игровой порт или универсальная последовательная шина (USB). Монитор 646 (или другой тип устройства отображения) также соединяется с системной шиной 606 с помощью интерфейса, такого как видеоадаптер 648. Помимо монитора 646, вычислительные устройства, такие как персональные компьютеры, как правило, включают в себя другие периферийные устройства вывода (не показаны), такие как динамики и принтеры.

Вычислительное устройство 600 может функционировать в сетевом окружении, используя логические подсоединения с одним или несколькими удаленными компьютерами, такими как удаленный компьютер 650. Удаленный компьютер 650 может являться другим персональным компьютером, сервером, маршрутизатором, сетевым персональным компьютером, одноранговым устройством или другим общедоступным сетевым узлом и, как правило, включает в себя множество или все из элементов, описанных выше со ссылкой на вычислительное устройство 600, несмотря на то, что на Фиг.6 было иллюстрировано только запоминающее устройство 652. Логические соединения, изображенные на Фиг.6, включают в себя локальную сеть 654 (LAN) и глобальную сеть 656 (WAN). Такие сетевые окружения обычно имеют место быть в офисах, вычислительных сетях предприятия, интрасети и сети Интернет.

При использовании в сетевом окружении локальной сети (LAN) вычислительное устройство 600 соединяется с локальной сетью 654 с помощью сетевого интерфейса или адаптера 658.

При использовании в сетевой среде глобальной сети вычислительное устройство 600, как правило, включает в себя модем 660 или другое средство для установления связи по глобальной сети 656, такой как сеть Интернет. Модем 660, который может быть внутренним или внешним, соединяется с системной шиной 606 с помощью интерфейса 644 последовательного порта. В сетевом окружении программные модули, изображенные со ссылкой на вычислительное устройство 600, или их части, могут быть сохранены в удаленном запоминающем устройстве 652. Будет оценено, что могут быть использованы не только сетевые соединения, изображенные в качестве иллюстративных, но также и другие средства установления линий связи между компьютерами.

3.0 Элементы системы оперативной коррекции панорамного изображения

В целом, система 500 оперативной коррекции панорамного изображения выполняет оперативную коррекцию панорамного изображения 510 и, в частности, корректирует или нормализует основные размеры людей, находящихся дальше всего от камеры. Система 500 корректирует искривления и искажения в вертикальном и горизонтальном направлениях. Кроме того, система 500 корректирует проблемы восприятия, например, глубину и плавающие движения.

Фиг.7 изображает блок-схему, иллюстрирующую элементы изображенного на Фиг.5A или 5B модуля 540 формирования таблицы деформации. В частности, модуль 540 формирования таблицы деформации включает в себя модуль 700 ввода, служащий для ввода пиксельных координат 520 панорамного изображения или пиксельных координат 522 мнимого панорамного изображения и геометрии 505 горизонтальных признаков. Эти пиксельные координаты 520, 522 представляют собой местоположение каждого пикселя в панорамном изображении 510 или мнимом панорамном изображении 515. Модуль 540 также включает в себя модуль 710 вертикального масштабирования. Модуль 710 вертикального масштабирования использует функции деформации для обработки пиксельных координат 520 каждой вертикальной растровой строки панорамного изображения или пиксельных координат мнимого панорамного изображения 522 из условия, чтобы пиксельные координаты 520, 522 панорамного изображения масштабировались в вертикальном направлении. По существу, это может подразумевать «совмещение» панорамного изображения 510 (или мнимого панорамного изображения 515) в вертикальном направлении. Это вертикальное масштабирование частично корректирует преувеличенную глубину в панорамном изображении 510 (или мнимом панорамном изображении 515).

Модуль 540 формирования таблицы деформации также включает в себя модуль 720 горизонтального масштабирования, использующий параметрические функции деформации изображения для масштабирования пиксельных координат 520, 522 изображения в горизонтальном направлении. Подобно вертикальному масштабированию, по существу, это может подразумевать «совмещение» панорамного изображения 510 или мнимого панорамного изображения 515 в горизонтальном направлении. Кроме того, горизонтальное масштабирование выполняется индивидуально для каждой вертикальной растровой строки из условия, чтобы сохранялось форматное соотношение панорамного изображения 510 или мнимого панорамного изображения 515.

Модуль 710 вертикального масштабирования и модуль 720 горизонтального масштабирования формируют предварительную таблицу деформации, которая преобразовывает предварительные пиксельные координаты в исходные пиксельные координаты. Эта предварительная таблица деформации может быть использована для создания предварительно скорректированного изображения. На практике это не делается, и предварительно скорректированное изображение представляет собой мнимое изображение. Предварительно скорректированное изображение имеет свойства сохранения вертикальных линий вертикальными при искаженных горизонтальных линиях.

Для коррекции этого горизонтального искажения модуль 730 горизонтального искажения также включен в модуль 540 формирования таблицы деформации. Модуль 730 горизонтального искажения вертикально масштабирует предварительные пиксельные координаты в предварительной таблице деформации посредством различных коэффициентов в зависимости от местоположения. Выход модуля 540 формирования таблицы деформации представляет собой таблицу 550 деформации. Таблица деформации преобразовывает пиксельные координаты скорректированного панорамного изображения 530 в исходные пиксельные координаты панорамного изображения 520 или пиксельные координаты мнимого совмещенного изображения 522. Таблица деформации может быть объединена с таблицей совмещения, формируя объединенную таблицу деформации и совмещения, а также может быть использована для совмещения панорамного изображения из множества исходных изображений.

4.0 Способ оперативной коррекции панорамного изображения

Способ оперативной коррекции панорамного изображения настоящего изобретения использует параметрические функции деформации изображения, именуемые функциями пространственно-переменного пропорционального масштабирования или масштабными функциями SVU. Несмотря на то что функции пространственно-переменного пропорционального масштабирования (SVU) могут локально напоминать функцию пропорционального масштабирования для сохранения форматного соотношения, масштабный коэффициент изменяется по изображению для создания деформации. Функции пространственно-переменного пропорционального масштабирования (SVU) позволяют избежать вращений и устраняют плавающие движения при просмотре панорамных изображений.

Фиг.8 изображает общую схему последовательности операций, иллюстрирующую рабочий процесс согласно одному варианту осуществления способа оперативной коррекции панорамного изображения системы 500A оперативной коррекции панорамного изображения, изображенной на Фиг.5A. Пиксельные координаты 520 панорамного изображения 510 наряду с геометрией 505 горизонтальных элементов принимаются в качестве входа (этап 800). Затем формируется таблица 550 деформации (этап 810). Эта таблица 550 деформации используется для определения местоположения пиксельных координат 530 скорректированного панорамного изображения.

Как будет подробно обсуждено ниже, этап формирования таблицы 550 деформации включает в себя этапы вертикального масштабирования, горизонтального масштабирования и коррекции горизонтального искажения. Вертикальное масштабирование корректирует панорамное изображение 510 в отношении преувеличенной глубины. Для коррекции преувеличенной глубины удаленные объекты или люди, находящиеся в центре панорамного изображения 510, нуждаются в увеличении относительно объектов или людей, находящихся ближе к камере.

Для сохранения форматного соотношения панорамного изображения 510 также выполняется горизонтальное масштабирование. В частности, параметрические функции деформации изображения (например, функции пространственно-переменного пропорционального масштабирования (SVU)) используются для выполнения горизонтального масштабирования с целью формирования новой ширины для каждой вертикальной растровой строки для панорамного изображения 510. Несмотря на то что функции пространственно-переменного пропорционального масштабирования (SVU) сохраняют вертикальные линии в качестве вертикальных, они вызывают некий вертикальный сдвиг фрагмента изображения. Визуально это воспринимается в качестве наклона и искажения горизонтальных линий. Сцены часто содержат горизонтальные поверхности около вершины или основания изображения, такие как стол и потолок в помещении, для которых искажения могут быть заметны.

Для коррекции этого вертикального сдвига фрагмента изображения способ оперативной коррекции панорамного изображения дополнительно включает в себя этап выполнения коррекции горизонтального искажения с целью коррекции горизонтального искажения панорамного изображения 510. В целом, это достигается посредством ослабления пропорциональности вертикального масштабирования и нелинейности масштабирования в вертикальном местоположении в панорамном изображении 510 (например, по вертикальной растровой строке). После вертикального масштабирования, горизонтального масштабирования и коррекции горизонтального искажения, формируется таблица 550 деформации, преобразовывающая пиксели скорректированного панорамного изображения 530 в панорамное изображение 510.

После формирования таблицы 550 деформации панорамное изображение 510 принимается в качестве входа (этап 820). Затем панорамное изображение 510 оперативно деформируется с целью формирования скорректированного панорамного изображения 530. Таблица деформации устанавливает позиции нахождения пикселей в панорамном изображении 510 для каждого местоположения в скорректированном панорамном изображении 530 с целью формирования панорамного изображения без искажений.

Фиг.8B изображает общую схему последовательности операций, иллюстрирующую рабочий процесс одного варианта осуществления способа оперативной коррекции панорамного изображения системы 500В оперативной коррекции панорамного изображения, изображенной на Фиг.5B, функционирующего способом, подобным описанному со ссылкой на Фиг.8A. Пиксельные координаты 522 изображения мнимого панорамного изображения 515 наряду с геометрией 505 горизонтальных признаков принимаются в качестве входа (этап 800). Затем формируется таблица 550 деформации (этап 810). После чего таблица деформации объединяется с таблицей 550 деформации с целью формирования объединенной таблицы деформации и совмещения (этап 815). Вводится множество исходных изображений, используемых для формирования мнимого панорамного изображения (этап 820). Объединенная таблица 555 деформации и совмещения затем используется для определения пиксельных координат 530 скорректированного панорамного изображения, наряду с совмещением множества исходных изображений (этап 830). Затем скорректированное панорамное изображение выводится (этап 840).

Элементы различных модулей и процедур масштабирования подробно обсуждаются ниже.

4.1 Вертикальное масштабирование

Фиг.9 изображает схему последовательности операций, иллюстрирующую элементы модуля 710 вертикального масштабирования, изображенного на Фиг.7. Геометрия 505 горизонтальных признаков и панорамные пиксельные координаты 520 или 522 принимаются в качестве входа (этап 900). Затем при использовании множества кривых и масштабных коэффициентов определяются параметрические функции деформации изображения (такие как функции пространственно-переменного пропорционального масштабирования (SVU)). В частности исходные кривые определяются (этап 910) наряду с коэффициентом деформации (этап 920). При вычислении конечных кривых используются эти исходные кривые и коэффициенты деформации (этап 930).

Фиг.10 иллюстрирует процесс определения функции деформации посредством двух типов кривых: (1) исходных кривых и (2) конечных кривых. В одном аспекте изобретения исходные кривые вводятся пользователем через простой пользовательский интерфейс. Эти исходные кривые обеспечивают параметры для параметрической функции деформации изображения. Через пользовательский интерфейс пользователя просят определить две кубические кривые. Эти две исходные кривые определяют общие (реальные) горизонтальные параметры, такие как вершины голов людей и границы стола. На Фиг.10 показана верхняя исходная кривая S_t, а также нижняя исходная кривая S_b. Посредством сравнения Фиг.10 с Фиг.4 должно быть отмечено, что для вычисления исходных и конечных кривых для панорамы должны быть определены четыре различные части верхних и нижних исходных кривых с целью определения исходных кривых для всего панорамного изображения.

Вместо определения исходных кривых вручную они могут быть определены автоматически из геометрии горизонтальных признаков, такого как стол для совещаний и плоскость, касающаяся вершин голов участников совещания. Предположим, что стол для совещаний имеет прямоугольную форму. Зеленые исходные кривые могут быть вычислены при известной ширине W и длине L стола, высоте h камеры, фокусном расстоянии r камеры, а также ориентации O камеры. Фокусное расстояние r и высота h камеры известны с момента создания камеры. Габаритные размеры стола можно представить с помощью пользователя в течение инсталляции. Фиг.11 изображает диаграмму, демонстрирующую проецирование границ стола на цилиндрическую пленку (предполагая стандартную ориентацию камеры). Следующее является уравнениями для четырех частей нижних исходных кривых, представляющих границы стола на цилиндрическом изображении.

Подобным образом следующее является уравнениями для четырех частей верхних исходных кривых, представляющих плоскость, касающуюся вершин голов людей на цилиндрическом изображении, где h^' представляет расстояние от камеры до плоскости, касающейся вершин голов участников совещания.

Коэффициент a деформации, который также может быть выбран пользователем, определяет, насколько деформировано изображение. Значение коэффициента а деформации находится в диапазоне от 0 до 1, где а=0 - отсутствие изменения масштаба, а а=1 - максимальное изменение масштаба. По существу, установка а=0 оставит изображение нетронутым, а установка а=1 вытянет пиксели на исходных кривых до линий между конечными точками. Как правило, идеальный коэффициент деформации находится приблизительно в середине диапазона от 0 до 1.

После определения коэффициента деформации и исходных кривых могут быть вычислены конечные кривые (этап 930). Пусть y=S_t(x) и y=S_b(x) будут уравнениями для верхних и нижних исходных кривых, соответственно. Две конечные кривые (к которым будут смещаться точки на исходной кривой) определяются посредством исходных кривых и a. В частности, определяются верхняя конечная кривая T_t и нижняя конечная кривая T_b. Если уравнение прямой между конечными точками S_t(x) описано в качестве y=y_t(x), а уравнение прямой, соединяющей точки нижней исходной кривой, в качестве y=у_b(х), то уравнение верхней конечной кривой будет выглядеть следующим образом: T_t(x)=(1-a)S_t(x)+ay_t(x), и T_b(x)=(1-a)S_b(x)+ay_b(x).

Затем с использованием исходных кривых и конечных кривых вычисляется основной масштабный коэффициент r(x) (поле 940). В частности, учитывая любую вертикальную растровую строку x, как показано на Фиг.10, буквы A и B обозначают ее пересечения с исходными кривыми, а А' и B' - пересечения с конечными кривыми. Функция пространственно-переменного пропорционального масштабирования (SVU) масштабирует AB к A'B'. Пусть:

Коэффициент r(x) является основным масштабным коэффициентом для вертикальной растровой строки, расположенной в горизонтальном местоположении x. Затем в вертикальном направлении с использованием основного масштабного коэффициента r(x) масштабируются панорамные пиксельные координаты 520 вертикальной растровой строки (этап 950).

4.2 Горизонтальное масштабирование

Для сохранения форматного соотношения панорамные пиксельные координаты 520 также масштабируются в горизонтальном направлении. Такое горизонтальное масштабирование использует тот же самый основной масштабный коэффициент r(x). Другими словами, подобно вертикальному масштабированию, вертикальная растровая строка масштабируется горизонтально посредством основного масштабного коэффициента r(x), сохраняя форматное соотношение.

Фиг.12 изображает схему последовательности операций, иллюстрирующую элементы модуля горизонтального масштабирования, изображенного на Фиг.7. Вертикально-масштабированные панорамные пиксельные координаты принимаются в качестве входа (этап 1200). Используя основной масштабный коэффициент r(x), вертикально-масштабированные панорамные пиксельные координаты масштабируются в горизонтальном направлении (этап 1210). После масштабирования вертикально-масштабированных панорамных пиксельных координат 520 общая ширина w^′ предварительно скорректированного изображения становится равной

где w - ширина панорамного (или исходного) изображения 510.

Затем формируется предварительная таблица деформации (этап 1220). Предварительная таблица деформации содержит предварительные пиксельные координаты. Предварительные пиксельные координаты представляют собой панорамные пиксельные координаты, которые были масштабированы в вертикальном и горизонтальном направлениях. В сущности, предварительные пиксельные координаты могут быть использованы для формирования предварительно скорректированного изображения. Таким образом, пусть (x^′, y^′) для любого пикселя (x, y) в панорамном изображении 510 обозначает его новое местоположение в предварительно скорректированном изображении. Это приводит к

Вышеупомянутое уравнение представляет собой уравнение прямого преобразования для функции пространственно-переменного пропорционального масштабирования (SVU). Функция пространственно-переменного пропорционального масштабирования (SVU) не является идеальным пропорциональным масштабированием. Просто доказать, что единственная функция, которая является идеальным пропорциональным масштабированием является функцией глобального пропорционального масштабирования.

Функция пространственно-переменного пропорционального масштабирования (SVU) подобна проецированию на общую цилиндрическую поверхность. Однако такое простое проецирование не производит локальное пропорциональное масштабирование. Локальное пропорциональное масштабирование является желательным, и эта нехватка локального пропорционального масштабирования приводит к тому, что объекты в предварительно скорректированном изображении кажутся растянутыми.

4.3 Коррекция горизонтального искажения

После масштабирования панорамных пиксельных координат 520 в вертикальном и горизонтальном направлениях полученная в результате предварительная таблица деформации корректируется для горизонтального искажения. Коррекция горизонтального искажения необходима в связи с тем, что параметрический класс функций деформации изображения (например, функция пространственно-переменного пропорционального масштабирования (SVU)) сохраняет вертикальные линии в качестве вертикальных, они искажают горизонтальные линии. Для минимизации этой проблемы пропорциональное масштабирование ослабляется и нелинейно масштабируется в каждой вертикальной растровой строке.

Фиг.13 изображает схему последовательности операций, иллюстрирующую подробности касаемо модуля 730 горизонтального искажения, изображенного на Фиг.7. В целом, модуль 730 делит предварительные пиксельные координаты в предварительной таблице деформации на части и масштабирует каждую часть в вертикальном направлении в соответствии с определенным коэффициентом масштабирования для той части. Коэффициенты масштабирования для разных частей могут отличаться и, как правило, отличаются для, по меньшей мере, одной части.

В частности, модуль 730 коррекции горизонтального искажения первоначально делит предварительную таблицу деформации на части (этап 1300). В одном аспекте изобретения предварительно скорректированное изображение, по существу, делится изображенным на Фиг.14 способом. Фиг.14 иллюстрирует функцию вертикального масштабирования и концептуальное представление деления предварительно скорректированного изображения на три части. Должно быть отмечено, что y на Фиг.14 представляет собой вертикальное направление. На Фиг.14 между нижней исходной кривой S_b и верхней исходной кривой S_t определяется первая часть 1400. Другие части включают в себя части, находящиеся за пределами исходных кривых, включая вторую часть 1410, находящуюся ниже исходных кривых, и третью часть 920, находящуюся выше исходных кривых.

Предварительные пиксельные координаты, находящиеся в первой части 1300 между исходными кривыми, масштабируются в вертикальном (y) направлении посредством использования основного масштабного коэффициента r(x) (этап 1310). Такое масштабирование в вертикальном направлении выполняется описанным выше способом. Предварительные пиксельные координаты, находящиеся в частях, расположенных за пределами исходных кривых (вторая часть 1310 и третья часть 1320), масштабируются в меньшей степени в вертикальном направлении. Это выполняется посредством первоначального определения вторичного масштабного коэффициента (этап 1320). Вторичный масштабный коэффициент s изображен на Фиг.14 ниже основного масштабного коэффициента r(x). Затем предварительные пиксельные координаты, находящиеся в других частях 1410, 1420 за пределами исходных кривых, масштабируются в вертикальном направлении посредством использования вторичного масштабного коэффициента (этап 1330). Должно быть отмечено, что горизонтальное масштабирование остается неизменным (другими словами, использует основной масштабный коэффициент r(x)) для сохранения прямолинейности вертикальных линий. Для сохранения непрерывности между частями переходы между разделами формируются посредством применения параметра w сглаживания (этап 1340). Параметр сглаживания сглаживает функцию вертикального масштабирования и гладко соединяет несоизмеримые масштабные коэффициенты, поскольку функция вертикального масштабирования пересекает исходные кривые.

Со ссылкой на Фиг.10 и 14 обсуждается вертикальная линия в точке x, изображенной на Фиг.10. Как показано на Фиг.14, g(y) представляет собой функцию вертикального масштабирования, которая может быть определена в качестве коэффициента вертикального масштабирования в любой точке у на этой вертикальной линии. Должно быть отмечено, что g(y) зависит от x. Функцией g(y) управляют посредством двух параметров, а именно посредством вторичного масштабного коэффициента s и параметра w сглаживания. Часть вертикальной растровой строки, большая w/2 расстояния от исходных кривых, масштабируется посредством основного масштабного коэффициента r(x) между исходными кривыми и посредством вторичного масштабного коэффициента s за пределами исходных кривых. Три постоянных части склеиваются посредством двух кубических сплайнов в [S_t-0,5w, S_t+0,5w]. Каждый кубический сплайн имеет концы со значениями s и r(x) и нулевой угловой коэффициент в обоих концах.

Параметр w сглаживания управляет непрерывностью исходных кривых. Например, если сцена прерывиста в исходных кривых, то можно выбрать очень маленький параметр w сглаживания без значительного искажения изображения. В частном случае, если s=r(x), то g(y) становится константой, предполагаемой при получении новых пиксельных местоположений в предварительно скорректированном изображении. После применения функции коррекции горизонтального искажения к предварительной таблице деформации формируется таблица 550 деформации, содержащая местоположения панорамных пиксельных координат в скорректированном панорамном изображении 530 (этап 1350). Затем таблицу 550 деформации посылают в качестве выхода (этап 1360). Таблица деформации используется для формирования скорректированного панорамного изображения 530 из панорамного изображения 510.

4.4 Коррекция неправильного восприятия при рассмотрении панорамного изображения

Функция пространственно-переменного пропорционального масштабирования (SVU) помогает решить проблему неправильного восприятия глубины. Это достигается с помощью использования симметрической функции пространственно-переменного пропорционального масштабирования (SVU) при рассмотрении панорамных изображений. Нижняя исходная кривая представляет собой зеркальное отражение верхней исходной кривой. Исходные кривые проходят через углы изображения и имеют минимум (или максимум) в центре вертикальной растровой строки. Один параметр определяет высоту центральных точек, а второй параметр - коэффициент а деформации, как обсуждалось выше.

4.5. Объединенная таблица деформации/совмещения

Как было упомянуто выше, таблица деформации может быть объединена с таблицей совмещения, используемой для совмещения изображений в панорамное изображение. Например, в одном варианте осуществления, для стола для совещаний, имеющего форму круга, формируется цилиндрическое проецирование помещения для совещаний посредством совмещения изображений, одновременно захваченных с множества камер. Блок совмещения использует таблицу совмещения, преобразовывающую изображения камеры в панорамное изображение. Таблица совмещения, как правило, формируется на фабрике изготовителем камеры в процессе производственной калибровки. Таблица содержит следующую информацию для каждого пикселя (x, y) в панораме:

(x, y) - панорамная пиксельная координата

(u1, v1) - панорамная пиксельная координата для камеры 1

(u2, v2) - панорамная пиксельная координата для камеры 2

camera 1 - основная исходная камера

camera 2 - вторичная исходная камера, если (x, y) находится в перекрывающейся области.

Допустим, что S(x, y) обозначает элемент таблицы совмещения в пикселе (x, y). Таким образом, S(x, y)={camera1, u1, v1, camera2, u2, v2}. Для преобразования блока совмещения из цилиндрического в прямоугольный он должен объединить таблицу совмещения с таблицей деформации. Для каждого пикселя (x, y) конечного панорамного изображения (после коррекции основных размеров) допустим W(x, y) обозначает элемент таблицы, который является пиксельной координатой цилиндрического панорамного изображения, а также допустим, что T обозначает объединенную таблицу S и W. Тогда T(x, y)=S(W(x, y)). Эта объединенная таблица может быть предварительно вычислена в течение инсталляции. Во время работы рабочий процесс является аналогичным панорамному совмещению.

5.0 Пользовательский интерфейс

Один вариант осуществления системы оперативной коррекции панорамного изображения обеспечивает пользовательский интерфейс (UI) для упрощения процесса работы системы для пользователя. Пользовательский интерфейс (UI) может включать в себя панель управления (например, жидкокристаллическую сенсорную панель) для ввода желаемых установочных параметров, а также устройство отображения с окном говорящего, в котором отображается извлеченная из панорамного изображения скорректированная голова. Кроме того, пользовательский интерфейс (UI) может включать в себя устройство отображения для отображения скорректированных или масштабированных панорамных изображений, размеры которых изменяются в зависимости от примененного коэффициента деформации, с дополнительными пикселями по периметру изображения. Это предоставляет возможность передачи скорректированного изображения по сети в стандартном размере, без необходимости в повторном согласовании сетевого стека для передачи изображений различных размеров и разрешения.

5.1 Панель управления

Всенаправленная камера, используемая для захвата панорамного изображения, может содержать панель управления, такую как жидкокристаллическая сенсорная панель, которая используется для установки и нормального использования системы оперативной коррекции панорамного изображения изобретения. В одном варианте осуществления могут быть введены форма и размеры стола, местоположение камеры и ориентация и коэффициент коррекции основных размеров, устанавливаемый в диапазоне 0-100%.

Форма стола и установочные параметры размеров могут включать в себя: круг (предпочтительно «значение по умолчанию»), маленький прямоугольник (например, 10×5'), большой прямоугольник (например, 16×5') и другие (в этом случае пользователя просят определить длину и ширину стола). Установочный параметр «круглый стол» (по умолчанию) формирует совмещенные изображения для некруглых столов, но не корректирует основные размеры для тех типов столов.

Как обсуждалось выше, в одном варианте осуществления изобретения местоположение и ориентация всенаправленной камеры могут быть установлены через панель управления. По умолчанию местоположение находится в центре стола. По умолчанию ориентация на жидкокристаллический дисплей, читаемый на дальнем крае стола (то есть, текст параллелен основной оси симметрии стола). Ориентация камеры очень важна, и если она неверна, то деформация фактически может сделать основные размеры более отличными вместо равных. Ориентация камеры может изменяться в пределах диапазона +/-15 градусов без значительных эффектов. Различные традиционные способы могут быть использованы для сохранения ориентации камеры после установки. Также автоматически могут быть определены форма и размеры стола с камерой, местоположение всенаправленной камеры и ее ориентация.

Кроме того, в одном варианте осуществления изобретения, процент коррекции основных размеров может быть установлен через жидкокристаллический дисплей (LCD). Этот параметр может быть установлен с помощью ползунка, который предоставляет возможность плавной установки параметров от 0% скорректированный (цилиндрический) до 100% скорректированный (прямоугольный). Основная причина не делать установку параметров на 100% заключается в том, чтобы сделать коррекцию более устойчивой к местоположению камеры и изменениям вращения, а также обеспечить некоторое перспективное искажение, желаемое некоторыми пользователями.

5.2 Окно говорящего

Пользовательский интерфейс (UI) может включать в себя секцию на экране дисплея с окном говорящего, в котором голова извлекается из панорамного изображения посредством непосредственного копирования подокна из панорамного изображения. Затем это подокно отображается в качестве отдельной секции на экране дисплея. Извлеченная голова может быть либо нескорректирована, либо скорректирована. Этот элемент особенно полезен в случае, если человек выступает на видеоконференции, особенно если он находится сравнительно далеко от камеры. Посредством извлечения увеличенной головы становятся видны выражения лица человека. Это особенно полезно в случае выступления.

5.3 Заполненное панорамное изображение и анаморфированное панорамное изображение

Помимо всего прочего, пользовательский интерфейс (UI) может включать в себя элемент для отображения и передачи заполненного панорамного изображения. Такое устройство отображения заполненного панорамного изображения добавляет дополнительные пиксели вокруг скорректированного изображения для формирования его стандартного размера, поскольку отображение изображений с различными коэффициентами деформации корректируется с различными размерами. Например, сверху и снизу изображения могут быть добавлены полосы, например, черные. Пример заполненного скорректированного изображения показан на Фиг.15. Это заполненное панорамное изображение предоставляет системе возможность сохранения фиксированных размеров и разрешения для каждого скорректированного панорамного изображения. Это также предоставляет возможность передачи каждого скорректированного панорамного изображения без необходимости в повторном согласовании сетевого стека для передачи изображений различных размеров и разрешения. Затем сторона, принимающая изображение, может отобразить заполненное панорамное изображение с полосами или же без них.

Другой способ передачи цилиндрических панорамных видеоданных, а также панорамных видеоданных со скорректированными основными размерами в потоке видеоданных с фиксированным разрешением должен использовать анаморфированные видеоданные (то есть, форматные соотношения пикселя, не равные 1:1). Например, если цилиндрическое панорамное изображение имеет разрешение 1056×144 с квадратными пикселями, а панорамное изображение со скорректированными основными размерами имеет разрешение 1056×120 с квадратными пикселями, то видеоданные со скорректированными основными размерами могут быть переданы в разрешении 1056×144 с форматным соотношением пикселя высота:ширина=120:144 (пиксели немного короче широких). Если приемник воспроизводит видеоданные на устройстве отображения, то изображение будет представлено с разрешением 1056×120. Форматное соотношение пикселя, как правило, передается в потоке видеоданных, но также может быть передано вне потока видеоданных (например, в сообщении SIP INFO).

Предшествующее описание изобретения было представлено в целях иллюстрации и описания. Оно не предназначено для ограничения и полного описания изобретения точной раскрытой формой. Множество модификаций и изменений возможны с учетом вышеупомянутой идеи. Оно не предназначено для ограничения объема изобретения посредством настоящего подробного описания изобретения, а скорее посредством приложенной формулы изобретения.

Изобретение относится к пользовательскому интерфейсу коррекции панорамных изображений, захваченных посредством всенаправленной камеры. Техническим результатом является уменьшение количества искажений и обеспечение эффективного восприятия панорамных изображений. Указанный технический результат достигается тем, что пользовательский интерфейс включает в себя панель управления, предоставляющую пользователю возможность ввода размеров и формы стола для совещаний, местоположение и ориентацию камеры, а также коэффициент желаемой коррекции от 0 до 100%. На устройстве отображения отображают скорректированное панорамное изображение. Изображение головы (скорректированное или нескорректированное) участника совещания извлекается и отображается в отдельном окне. Скорректированное панорамное изображение, размеры которого изменяются совместно с коэффициентом примененной деформации, может быть отображено и передано с дополнительными пикселями по его периметру для предоставления скорректированному или нормализованному панорамному изображению возможности адаптации к любому устройству отображения со стандартными размерами и разрешающей способностью, а также упрощения передачи по сети. Скорректированное изображение также может быть передано со стандартным разрешением с помощью использования коэффициентов пропорциональности пикселя, отличных от единицы. 9 з.п. ф-лы, 17 ил.

1. Реализуемый в вычислительной системе, содержащей устройство отображения, устройство выбора пользовательского интерфейса и устройство ввода данных пользовательского интерфейса, способ коррекции частей панорамного изображения, охватывающего угол обзора, равный 360°, видеоконференции, содержащий этапы, на которых: отображают на устройстве отображения панель управления для ввода параметров, требуемых для коррекции частей панорамного изображения, охватывающего угол обзора, равный 360°; вводят параметры, требуемые для коррекции частей панорамного изображения, охватывающего угол обзора, равный 360°, посредством упомянутой отображенной панели управления, причем эти параметры содержат, по меньшей мере, параметр коррекции размера для коррекции размера части панорамного изображения, охватывающего угол обзора, равный 360°; и отображают на устройстве отображения окно, в котором отображается голова говорящего, представляющая собой скорректированную часть упомянутого панорамного изображения.

2. Способ по п.1, в котором параметры, требуемые для коррекции панорамного изображения, охватывающего угол обзора, равный 360°, дополнительно включают в себя местоположение видеокамеры, ориентацию видеокамеры, геометрию горизонтальных признаков, при этом параметр коррекции размера представляет собой процент желаемой коррекции.

3. Способ по п.2, в котором геометрия горизонтальных признаков включает в себя, по меньшей мере, одно из: геометрии стола для совещаний, на котором установлена видеокамера в соответствии с местоположением и ориентацией видеокамеры; и геометрии плоскости, соответствующей вершинам голов людей, сидящих вокруг стола для совещаний.

4. Способ по п.2, в котором геометрия стола для совещаний содержит размеры и форму стола для совещаний, при этом ориентацию видеокамеры определяют относительно геометрии стола для совещаний.

5. Способ по п.1, в котором панель управления отображают на жидкокристаллическом дисплее.

6. Способ по п.1, в котором панель управления доступна через сетевой пользовательский интерфейс.

7. Способ по п.2, в котором процент желаемой коррекции изменяется в диапазоне от 0 до 100%.

8. Способ по п.1, в котором упомянутые части панорамного изображения корректируются с учетом основных размеров людей, сидящих за столом для совещаний и захватываемых видеокамерой.

9. Способ по п.3, в котором местоположение и ориентация видеокамеры относительны геометрии стола.

10. Способ по п.1, в котором вычислительная система внедрена в видеокамеру.