УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ ОБРАБОТКИ ИЗОЬРАЖЕНИЙ И МАШИНОЧИТАЕМЫЙ НОСИТЕЛЬ ИНФОРМАЦИИ Российский патент 2015 года по МПК G06T3/00 H04N5/238 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству обработки изображений, способу обработки изображений и машиночитаемому носителю информации.

УРОВЕНЬ ТЕХНИКИ

Технология дает возможность формирования изображений широких областей объекта в пределах изображения посредством использования широкоугольной линзы, имеющей большой угол обзора. В последние годы технология все больше использовалась для телеконференций и камер на транспортных средствах. Однако изображение, полученное с помощью широкоугольной линзы, имеет тенденцию создавать проблемы, такие как усиление перспективы и деформация вследствие искажения (геометрической деформации), которое заставляет объект, например человека, выглядеть искривленным в изображении. Например, когда широкоугольная линза используется в телеконференции, лицо человека в изображении может казаться искривленным (проблема искажения), или может казаться, что человек находится дальше, чем он находится фактически (проблема увеличения перспективы). Чтобы решить эти проблемы, были предложены различные технологии коррекции, в том числе коррекция искажения и коррекция перспективы (см., например, выложенную публикацию патента Японии №2001-238177 ("патентный документ 1") и выложенную публикацию патента Японии №2009-177703 ("патентный документ 2")).

Патентный документ 1 рассматривает устройство обработки изображений, которое может выполнять предопределенную обработку изображения, такую как управление градацией, коррекция геометрической деформации или сглаживание, в зависимости от предполагаемой сфотографированной сцены, с тем, чтобы могли быть эффективно получены высококачественные изображения.

Патентный документ 2 рассматривает устройство обработки изображений, которое корректирует изображение с дефектом типа "рыбий глаз", имеющее большое искажение, и преобразовывает его в легко различимое изображение посредством преобразования координат только в горизонтальном направлении, чтобы уменьшить стоимость фотографического устройства.

Хотя устройство обработки изображений согласно патентному документу 1 может корректировать искажения, оно не может устранить проблему увеличения перспективы. Кроме того, устройство обработки изображений согласно патентному документу 2, которое корректирует искажения только в горизонтальном направлении, не способно достаточным образом корректировать искажение в зависимости от сфотографированной сцены.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

С учетом упомянутого выше задача настоящего изобретения состоит в том, чтобы обеспечить устройство обработки изображений и способ обработки изображений для формирования изображения, в котором искажение и перспектива сбалансированы, и машиночитаемый носитель информации, хранящий программу, выполненную с возможностью заставить компьютер выполнять этапы способа обработки изображений.

В одном аспекте изобретения устройство обработки изображений включает в себя блок получения изображения, выполненный с возможностью получать изображение; блок получения информации, выполненный с возможностью получать информацию изображения, являющуюся показателем содержания изображения; и блок коррекции, выполненный с возможностью корректировать изображение на основе информации изображения таким образом, что остается некоторая деформация изображения.

В другом аспекте способ обработки изображений включает в себя этапы, на которых получают изображение; получают информацию изображения, являющуюся показателем содержания изображения, и корректируют изображение на основе информации изображения таким образом, что остается некоторая деформация изображения.

В другом аспекте машиночитаемый носитель информации хранит программу, которая заставляет компьютер выполнять этапы способа обработки изображений.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Предшествующее описание сущности изобретения, а также последующее подробное описание предпочтительных вариантов осуществления будут лучше поняты при прочтении совместно с приложенными чертежами. С целью иллюстрации изобретения на чертежах показаны примерные конструкции изобретения, однако изобретение не ограничено конкретными раскрытыми способами и средствами.

Фиг. 1 - функциональная блок-схема устройства обработки изображений в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 2 - функциональная блок-схема центрального процессора устройства обработки изображений;

Фиг. 3 - блок-схема последовательности операций работы устройства обработки изображений;

Фиг. 4 иллюстрирует пример цели процесса;

Фиг. 5 иллюстрирует пример изображения, сфотографированного с помощью широкоугольной линзы;

Фиг. 6 иллюстрирует рассматриваемый пиксель;

Фиг. 7A иллюстрирует изображение до коррекции;

Фиг. 7B иллюстрирует изображение после коррекции;

Фиг. 8 иллюстрирует пример скорректированного изображения;

Фиг. 9 иллюстрирует корреляцию между информацией изображения и коэффициентами коррекции;

Фиг. 10 - функциональная блок-схема устройства обработки изображений в соответствии со вторым вариантом осуществления;

Фиг. 11 - функциональная блок-схема центрального процессора устройства обработки изображений в соответствии со вторым вариантом осуществления;

Фиг. 12 - блок-схема последовательности операций работы устройства обработки изображений в соответствии с другим вариантом осуществления;

Фиг. 13 - функциональная блок-схема системы связи в соответствии с вариантом осуществления;

Фиг. 14 - функциональная блок-схема устройства обработки изображений в соответствии с изменением первого варианта осуществления;

Фиг. 15 иллюстрирует конкретный пример устройства обработки изображений в соответствии с изменением;

Фиг. 16 - блок-схема последовательности операций работы блока анализа;

Фиг. 17 - блок-схема последовательности операций другой работы блока анализа; и

Фиг. 18 иллюстрирует процесс анализа букв и т.п., выполняемый блоком анализа.

ПРЕДПОЧТИТЕЛЬНЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Далее описаны варианты осуществления настоящего изобретения со ссылкой на сопроводительные чертежи, на которых составляющие элементы, имеющие аналогичные функции, или этапы для выполнения аналогичных процессов обозначены аналогичными условными обозначениями, чтобы избежать избыточного описания.

ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 1

Фиг. 13 является функциональной блок-схемой системы 2000 связи, включающей в себя устройства обработки изображений, в соответствии с вариантом осуществления 1. В проиллюстрированном примере, показанном на фиг. 13, N устройств 100_n (n=1,..., N) обработки изображений (N - целое число, равное или больше двух) соединены с сетью 1000. В последующем описании среди N устройств 100_n (n=1,..., N) обработки изображений устройство 100₁ описывается как интересующее устройство обработки изображений. Однако любое из устройств 100₂-100_N обработки изображений можно считать интересующим устройством обработки изображений. Устройства 100_n обработки изображений могут в общем упоминаться как "устройство 100 обработки изображений".

В системе 2000 связи среди N устройств 100_n (n=1..., N) обработки изображений изображение и т.п. может быть передано и принято между множеством устройств обработки изображений и другим множеством устройств обработки изображений через сеть 1000. В частности, устройство 100 обработки изображений может скорректировать изображение, введенное в устройство 100 обработки изображений, и затем передать скорректированное изображение другому множеству устройств 100 обработки изображений. В системе 2000 связи устройство 100 обработки изображений может передавать изображение другому множеству устройств 100 обработки изображений однонаправленно.

Система 2000 связи далее описывается как используемая для видеотелеконференции. Однако система 2000 связи может использоваться в других целях. При использовании для видеотелеконференции устройства 100_n (n=1,..., N) обработки изображений могут быть установлены в отдельных и удаленных местоположениях конференции. Один или более участников могут присутствовать в каждом из местоположений конференции. Во время видеотелеконференции один или более участников, например, могут устно обсуждать или представлять тему или писать буквы или символы на белой доске или листе бумаги.

Фиг. 1 является функциональной блок-схемой устройства 100 обработки изображений в соответствии с вариантом осуществления 1. Устройство 100 обработки изображений включает в себя фотографический блок 10, блок 20 управления, блок 30 вывода изображения, блок 40 ввода, центральный процессор 50, блок 60 хранения и блок 85 связи, которые соединены через шину 70.

Фотографический блок 10 может включать в себя блок камеры, имеющий широкоугольную линзу или элемент формирования изображений. Фотографический блок 10 может захватывать различные изображения. Блок 20 управления управляет устройством 100 обработки изображений в целом. Блок 30 вывода изображения выводит скорректированное изображение устройству 120 отображения, которое отображает скорректированное изображение. Устройство 120 отображения может отображать изображение объекта или операционные значки и может включать в себя жидкокристаллический дисплей или органический электролюминесцентный (EL) дисплей. Устройство 120 отображения может быть соединено с блоком 30 вывода изображения через кабель 120c.

Блок 85 связи может передавать скорректированное изображение другим устройствам обработки изображений, соединенным с сетью 1000. Блок 85 связи может включать в себя блок сетевого интерфейса (I/F). Блок 85 связи таким образом обеспечивает интерфейс с другими устройствами обработки изображений, соединенными с сетью, которая может включать в себя проводной или беспроводной канал передачи данных, такой как локальная сеть (LAN) или глобальная сеть (WAN).

Блок 40 ввода обеспечивает пользовательский интерфейс и может включать в себя жидкокристаллический дисплей (LCD), имеющий различные клавишные переключатели (аппаратные клавиши) или функцию сенсорной панели с программными клавишами графического пользовательского интерфейса (GUI). Пользователь может вводить различную информацию через блок 40 ввода.

Блок 60 хранения может временно хранить изображение или различную информацию. Блок 60 хранения может включать в себя постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM) или накопитель на жестком диске (HDD). Блок 60 хранения может хранить или временно хранить операционную систему (OS), исполняемую блоком 20 управления, программу, такую как прикладное программное обеспечение, или другие данные. Блок 60 хранения также может хранить данные, относящиеся к прикладному программному обеспечению. Более подробно блок 40 ввода и блок 60 хранения будут описаны позже.

Фиг. 14 является функциональной блок-схемой устройства 100' обработки изображений в соответствии с изменением варианта осуществления, показанного на фиг. 1. Изменение на фиг. 14 отличается от варианта осуществления на фиг. 1 в том, что добавлены блок 12 звукового вывода и блок 14 звукового ввода. Блок 12 звукового вывода 12 может производить вывод аудио из аудиосигнала, принятого от другого устройства 100 обработки изображений через сеть 1000. Блок 12 звукового ввода может включать в себя динамик.

Блок 14 звукового ввода собирает звук речи или другой слышимый звук, произведенный одним человеком или более (например, участниками телеконференции), присутствующими в местоположении устройства 100 обработки изображений. Блок 14 звукового ввода может включать в себя микрофон. Когда система 2000 связи используется для применений, которые не включают в себя аудио, может использоваться устройство 100 обработки изображений, проиллюстрированное на фиг. 1. Когда система 2000 связи используется для таких применений, как видеотелеконференция, может использоваться устройство 100' обработки изображений, проиллюстрированное на фиг. 14.

Фиг. 15 представляет собой общий вид примера устройства 100' обработки изображений, показанного на фиг. 14. В дальнейшем продольное направление устройства 100' обработки изображений определено как направление оси X, и направление, перпендикулярное по отношению к направлению оси X в горизонтальной плоскости, определено как направление оси Y (направление ширины). Направление, перпендикулярное по отношению к направлению оси X и направлению оси Y, определено как направление оси Z (вертикальное направление или направление высоты).

Устройство 100' обработки изображений включает в себя корпус 1100, плечо 1200 и корпус 1300 камеры. Корпус 1100 включает в себя поверхность 1130 правой стенки, в которой сформировано отверстие 1131 для сбора звука. Внешний звук, который прошел через отверстие 1131 для сбора звука, собирается блоком 14 звукового ввода, расположенным в корпусе 1100.

Корпус 1100 также включает в себя блок 1150 верхней поверхности, имеющий выключатель 109 питания и отверстие 1151 для выхода звука. Пользователь может включить выключатель 109 питания, чтобы запустить устройство 100' обработки изображений. Звук, произведенный блоком 12 звукового вывода, может пройти через отверстие 1151 для выхода звука за пределы корпуса 1100.

Корпус 1100 также включает в себя поверхность 1140 левой стенки, в которой в виде вогнутой формы сформирован контейнерный блок 1160 для размещения плеча 1200 и корпуса 1300 камеры. Поверхность 1140 левой стенки также может включать в себя отверстие подключения (не проиллюстрировано) для обеспечения возможности подключения блока 30 вывода изображения к устройству 120 отображения через кабель 120c.

Плечо 1200 присоединено к корпусу 1100 через вращающийся шарнир 1210 таким образом, что плечо 1200 может быть повернуто вверх и вниз относительно корпуса 1100, например, в диапазоне угла наклона ω₁ 135°. В проиллюстрированном примере на фиг. 15 угол наклона ω₁ составляет 90°. Когда угол наклона ω₁ составляет 0°, плечо 1200 и корпус 1300 камеры могут быть помещены в контейнерный блок 1160.

Корпус 1300 камеры содержит встроенный фотографический блок 10. Фотографический блок 10 может сфотографировать человека (например, участника телеконференции), буквы или символы на листе бумаги или комнату, в которой проходит конференция. Корпус 1300 камеры присоединен к плечу 1200 через вращающийся шарнир 1310. Вращающийся шарнир 1310 может быть выполнен с возможностью дать возможность поворачивать корпус 1300 камеры вверх и вниз или влево и вправо относительно плеча 1200 в диапазоне угла панорамирования ω₂ ±180° и в диапазоне угла наклона ω₃ ±45° от позиции, проиллюстрированной на фиг. 15, где оба угла равны нулю.

Устройство 100 обработки изображений может иметь другие структуры, отличающиеся от проиллюстрированной на фиг. 15. Например, устройство 100 обработки изображений может включать в себя персональный компьютер (PC), с которым внешним образом соединены блок 12 звукового вывода или блок 14 звукового ввода. Предпочтительно устройство 100 обработки изображений может быть применено к переносному терминалу, такому как смартфон.

Фиг. 2 является функциональной блок-схемой центрального процессора 50 варианта осуществления 1. Фиг. 3 является блок-схемой последовательности операций работы устройства обработки изображений варианта осуществления 1. Сначала фотографический блок 10 фотографирует цель процесса (объект) (этап S2). В настоящем примере целью процесса является конференция, как проиллюстрировано на фиг. 4. В примере на фиг. 4 пять человек сидят за столом и принимают участие в конференции. Фиг. 5 иллюстрирует пример захваченного изображения конференции, показанной на фиг. 4, когда фотографический блок 10 представляет собой блок камеры с широкоугольной линзой. Как проиллюстрировано на фиг. 5, изображение имеет бочкообразное искажение. "Искажение" здесь относится к геометрической деформации и является причиной деформации. Обычно искажение почти не происходит около центра оптической оси C (центр изображения). Искажение имеет тенденцию увеличиваться с увеличением расстояния от центра оптической оси C. В частности, в случае бочкообразной деформации изображение может быть деформировано таким образом, что кажется сжатым к центру оптической оси. "Вертикальное направление" здесь относится к вертикальному направлению (направление гравитации) объекта и соответствует направлению оси Y. "Горизонтальное направление" относится к направлению, перпендикулярному по отношению к вертикальному направлению в плоскости изображения, и соответствует направлению оси X (см. фиг. 4).

Оптическое изображение, которое прошло через оптическую линзу, преобразовывается в электрический сигнал (данные изображения) элементом формирования изображений в фотографическом блоке 10. Элемент формирования изображений может включать в себя датчик на основе прибора с зарядовой связью (CCD) или датчик с комплементарной структурой металл-оксид-полупроводник (CMOS). Когда элемент формирования изображений имеет компоновку Байера (посредством которого один из цветовых компонентов R, G или B выделен каждому пикселю пиксельных данных), дополнительное преобразование Байера может быть выполнено для формирования изображения, в котором цветовые компоненты R, G и B выделены каждому пикселю.

Фотографическое изображение цели процесса вводится в блок 502 получения изображения. Блок 502 получения изображения получает входное изображение цели процесса (объект) (этап S4). Блоком 502 получения изображения может быть выполнено упомянутое выше преобразование Байера. Блок 502 получения изображения может формировать изображение RGB, изображение UV или изображение YCbCr.

Информация изображения вводится через блок 40 ввода (этап S6). Информация изображения может включать в себя информацию о содержании изображения, зарегистрированного фотографическим блоком 10 (например, сфотографированную сцену). Информация изображения может включать в себя информацию, указывающую, что изображен человек ("информация относительно человека"), или информацию, указывающую, что изображение включает в себя буквы или символы на белой доске или листе ("информация относительно символов"). Предпочтительно информация изображения может включать в себя информацию, указывающую на другое содержание. В дальнейшем случай, когда информация изображения соответствует информации относительно человека, упоминается как "режим человека", и случай, когда информация изображения соответствует информации относительно символов, упоминается как "режим символов". Информация изображения (режим) может быть установлена заранее и храниться в блоке 60 хранения.

Блок 40 ввода может включать в себя функцию сенсорной панели, выполненную с возможностью отображать пользователю множественные элементы информации изображения (режимы фотографии, то есть режим человека и режим символов в проиллюстрированном примере) таким образом, чтобы пользователь мог выбрать один из элементов информации. Когда пользователь выбирает режим человека, в качестве информации изображения через блок 40 ввода может быть введена информация относительно человека. Когда пользователь выбирает режим символов, в качестве информации изображения через блок 40 ввода может быть введена информация относительно символов. Таким образом, пользователь вводит информацию изображения через блок 40 ввода. Когда устройство 100 обработки изображений используется для видеотелеконференции, пользователь может выбрать режим человека через блок 40 ввода. Информацию изображения, введенную через блок 40 ввода, отправляют в блок 504 получения информации. Блок 504 получения информации таким образом получает информацию изображения (этап S8).

Изображение, полученное блоком 502 получения изображения, и информация изображения, полученная блоком 504 получения информации, вводятся в блок 506 коррекции. Блок 506 коррекции может скорректировать изображение на основе информации изображения таким образом, что остается некоторая деформация изображения. В частности, блок 506 коррекции может скорректировать изображение на основе информации изображения таким образом, что остается некоторое искажение изображения. "Некоторая" деформация изображения относится к предопределенной части (или количеству) деформации в предопределенном направлении изображения, таком как вертикальное направление, горизонтальное направление или направление, в котором сложены предопределенная часть вектора вертикального направления и предопределенная часть вектора горизонтального направления (то есть наклонное направление). "На основе информации изображения" относится к определению, соответствует ли информация изображения информации относительно человека или информации относительно символов.

<Когда информация изображения указывает изображение человека>

Описывается случай, в котором информация изображения указывает, что содержание изображения соответствуют изображению человека. А именно, это случай, в котором пользователь выбирает режим человека через блок 40 ввода (где информация изображения соответствует информации относительно человека). В этом случае вертикальное направление изображения соответствует направлению глубины сцены конференции в плоскости изображения. Горизонтальное направление изображения соответствует направлению, перпендикулярному по отношению к вертикальному направлению в плоскости изображения.

Обычно с точки зрения пользователя нежелательно, если лицо или тело человека в изображении кажутся изогнутыми посредством деформации. Таким образом, блок 506 коррекции корректирует изображение таким образом, что компонент деформации в горизонтальном направлении (компонент в направлении оси X на фиг. 4) может быть полностью устранен. Что касается компонента деформации в вертикальном направлении (в направлении глубины) (компонент в направлении оси Y на фиг. 4), блок 506 коррекции корректирует изображение таким образом, что остается предопределенная часть (количество) деформации. Таким образом, искажение может быть устранено посредством управления улучшением перспективы в изображении человека.

Фиг. 6 иллюстрирует отношение между пикселем изображения перед преобразованием и пикселем изображения после преобразования. На фиг. 6 описан процесс, выполняемый блоком 506 коррекции. Сначала описываются термины. Каждая секция решетки на фиг. 6 соответствует пикселю. Центр C оптической оси (см. также фиг. 5) соответствует началу координат (координаты (0, 0)). "Рассматриваемый пиксель" относится к одному из всех пикселей изображения (фактического изображения) перед коррекцией, которое рассматривается. Координаты рассматриваемого пикселя выражены как P1(x', y'). Когда изображение скорректировано таким образом, остается предопределенное количество деформации (то есть, когда информация изображения соответствует информации относительно человека), координаты рассматриваемого пикселя после преобразования выражены как P2 (x'', y''). Когда изображение скорректировано таким образом, что не остается никакой деформации изображения (как будет описано позже), координаты рассматриваемого пикселя после преобразования выражены как P0(x, y).

Когда изображение корректируется блоком 506 коррекции, пиксель P1(x', y') преобразовывается в пиксель P2(x'', y''). Фиг. 7A и 7B схематично иллюстрируют пиксели изображения перед коррекцией (фиг. 7A), которые в дальнейшем могут называться "пикселями до преобразования", и пиксели изображения после коррекции (фиг. 7B), которые в дальнейшем могут называться "пикселями после преобразования". В проиллюстрированном примере процесс коррекции, выполняемый блоком 506 коррекции, включает в себя процесс для определения отношения соответствия ("первый процесс") и процесс для определения и настройки значения яркости ("второй процесс"). Процесс блока 506 коррекции описан со ссылкой на фиг. 7A и 7B.

<Процесс определения отношения соответствия (первый процесс)>

Сначала в первом процессе блок 506 коррекции определяет пиксель до преобразования, соответствующий пикселю после преобразования. В примере на фиг. 7A и 7B количество пикселей после преобразования в направлении оси X равно N_x, и количество пикселей после преобразования в направлении оси Y равно N_y. Таким образом, имеется N_x x N_y пикселей после преобразования.

В примере на фиг. 7A и 7B рассматриваемый пиксель после преобразования (1, 1) на фиг. 7B соответствует пикселю до преобразования (3, 3) на фиг. 7A. Способ определения пикселя до преобразования, соответствующего пикселю после преобразования, будет описан позже. Рассматриваемый пиксель после преобразования заменяется на (2, 1), (3, 1), (N_x, 1), (1, 2), (1, 3), (1, N_y), и (N_x, N_y) по очереди, чтобы определить координаты пикселей до преобразования, соответствующие всем пикселям после преобразования.

Отношение между пикселем до преобразования P1(x' y') и пикселем после преобразования P2(x'', y'') описывается следующими выражениями (1). Пиксель до преобразования с координатами (a, b) выражен как пиксель до преобразования (a, b), в то время как пиксель после преобразования с координатами (c, d) выражен как пиксель после преобразования (c, d).

где h - идеальная высота изображения, то есть расстояние между центром оптической оси C (0, 0) и P0(x, y), где h=(x²+y²)^1/2. Значение h для каждого рассматриваемого пикселя может быть измерено заранее посредством калибровки. Коэффициент преобразования c_m может быть заранее определен на основе (x, y) (x', y'). Константа M может быть заранее определена в соответствии с типом блока камеры фотографического блока 10. Коэффициенты коррекции α и β определяют степень сокращения искажения, где 0≤α≤1, 0≤β≤1. Коэффициенты коррекции α и β могут быть определены в соответствии с информацией изображения. Чем больше значение α или β, тем больше величина сокращения искажения. Чем меньше значение α или β, тем меньше величина сокращения искажения.

Когда информация изображения соответствует информации относительно человека, изображение корректируется таким образом, что компонент деформации в горизонтальном направлении (компонент в направлении оси X) может быть полностью или почти полностью устранен. Когда изображение корректируется таким образом, что горизонтальный компонент деформации может быть полностью устранен, α устанавливается равным 1. Когда изображение корректируется таким образом, что горизонтальный компонент деформации почти полностью устраняется, α устанавливается равным значению, близкому к 1, например, 0,9. Когда информация изображения соответствует информации относительно человека, изображение может быть скорректировано таким образом, что можно оставить предопределенную часть деформации в компоненте в вертикальном направлении (в направлении оси Y), например, устанавливая β=0,3.

Таким образом, когда информация изображения соответствует информации относительно человека, блок 506 коррекции может предпочтительно скорректировать изображение таким образом, что компонент деформации в горизонтальном направлении устраняется больше, чем компонент деформации в вертикальном направлении. Другими словами, α может быть предпочтительно установлен равным 1 или значению, близкому к 1 (например, 0,9), где α>β.

В выражениях (1) θ - угол, сформированный горизонтальной линией A и линией, проходящей через рассматриваемый пиксель P1(x', y'). Значение θ измеряется каждый раз, когда изменяется рассматриваемый пиксель после преобразования. Вследствие характеристик искажения начало координат (0, 0), пиксель P1(x', y') и пиксель P0 (x, y) расположены на прямой линии (идеальной высоты изображения h, со стрелками).

Из выражений (1) могут быть определены координаты P1(x', y') перед преобразованием, соответствующие координатам P2(x'', y'') после преобразования. Таким образом, определяются координаты пикселей до преобразования, соответствующие всем N_x x N_y пикселям после преобразования. Значения c_m и M из выражений (1) могут быть заранее сохранены в блоке 60 хранения.

<Процесс определения и настройки значения яркости (второй процесс)>

Затем во втором процессе блок 506 коррекции определяет значения яркости всех пикселей P1(x', y') до преобразования, вычисленных посредством выражений (1). Значения яркости могут быть определены посредством способа, известного в области техники. Блок 506 коррекции устанавливает определенные значения яркости пикселей до преобразования как значения яркости соответствующих пикселей после преобразования.

Например, когда рассматриваемый пиксель после преобразования является пикселем (1, 1), согласно выражениям (1) определяется (первый процесс) пиксель (3, 3) до преобразования, соответствующий рассматриваемому пикселю (1, 1) после преобразования, и затем определяется (второй процесс) значение яркости пикселя (3, 3) до преобразования. Определенное значение яркости пикселя (3, 3) до преобразования устанавливается для пикселя (1, 1) после преобразования. Аналогичным образом первый процесс и второй процесс выполняются для всех других пикселей после преобразования. Таким образом, блок 506 коррекции формирует скорректированное изображение.

Предпочтительно блок 506 коррекции может сначала определить пиксели до преобразования, соответствующие всем пикселям после преобразования, и затем определить значения яркости всех пикселей до преобразования. Предпочтительно блок 506 коррекции может определить один пиксель до преобразования, соответствующий пикселю после преобразования, и затем определить значение яркости определенного пикселя до преобразования. Кроме того, предпочтительно блок 506 коррекции может определить предопределенное количество пикселей до преобразования, соответствующих пикселям после преобразования, и затем определить значения яркости всего предопределенного количества определенных пикселей до преобразования и повторять упомянутый выше процесс, пока не будут определены значения яркости всех пикселей до преобразования.

Скорректированное изображение может быть введено в блок 30 вывода изображения или блок 85 связи. Блок 30 вывода изображения может выдать скорректированное изображение устройству 120 отображения (см. фиг. 1 или 14) через кабель 120c. Блок 85 связи может передать скорректированное изображение другому устройству обработки изображений, подключенному через сеть 1000 (см. фиг. 13). Фиг. 8 иллюстрирует пример скорректированного изображения, сформированного из полученного изображения, показанного на фиг. 5, и тем самым получается изображение, по существу идентичное изображению, показанному на фиг. 4. Скорректированное изображение может быть отображено устройством 120 отображения или передано к другому устройству обработки изображений.

<Когда информация изображения указывает изображение символов, написанных на белой доске или листе>

Далее описан случай, в котором пользователь выбирает режим символов. Когда выбран режим символов, то есть, когда изображение имеет буквы или цифры, например, написанные на белой доске или листе бумаги, деформация букв и т.п. вследствие искажения делает изображение трудным для просмотра, и с точки зрения пользователя, его следует избегать. Таким образом, блок 506 коррекции корректирует изображение таким образом, что компонент искажения и в горизонтальном направлении, и в вертикальном направлении могут быть полностью или почти полностью устранены. Когда полностью устраняются и компонент искажения в горизонтальном направлении, и компонент искажения в вертикальном направлении, координаты пикселя P1(x', y') до преобразования, соответствующие координатам пикселя P2 (x'', y'') после преобразования, могут быть определены посредством установления коэффициентов коррекции в выражениях (1) таким образом, что α=β=1 (первый процесс). Когда компонент искажения в горизонтальном направлении и компонент искажения в вертикальном направлении почти полностью устраняются, координаты пикселя P1(x', y') до преобразования, соответствующие координатам пикселя P2(x'', y'') после преобразования, могут быть определены посредством установления, по меньшей мере, одного из коэффициентов коррекции α и β равным значению, близкому к 1 (например, 0,9) в выражениях (1) (первый процесс).

Затем для всех пикселей P1(x', y') до преобразования определяются значения яркости и устанавливаются для соответствующих пикселей после преобразования (второй процесс). Когда изображение скорректировано таким образом, что и компонент искажения в горизонтальном направлении, и компонент искажения в вертикальном направлении могут быть полностью устранены, пиксель P1(x', y') преобразовывается в пиксель P0(x, y) на фиг. 6. Другие процессы могут быть аналогичны процессам в случае режима человека и поэтому их описание опущено.

Значения α и β могут быть определены для каждого типа информации изображения и заранее сохранены в таблице в блоке 60 хранения. Фиг. 9 иллюстрирует пример таблицы. В примере на фиг. 9 в случае информации относительно человека в качестве информации изображения α=1 и β=0,3, в то время как в случае информации относительно символов в качестве информации изображения α=β=1. Коэффициенты коррекции α и β могут быть определены для другого типа информации изображения, отличающегося от информации относительно человека и информации относительно символов. Блок 506 коррекции извлекает значения α и β, соответствующие информации изображения, полученной блоком 504 получения информации, и затем выполняет коррекцию, применяя значения к выражениям (1).

Предпочтительно вместо того, чтобы устанавливать фиксированные значения коэффициентов коррекции на основе каждой сцены (информации изображения), в качестве коэффициента коррекции может использоваться значение, введенное пользователем. В этом случае пользователь может заранее ввести коэффициенты коррекции через блок ввода, и значения могут быть сохранены в блоке 60 хранения в виде таблицы, как проиллюстрировано на фиг. 9.

В предшествующем уровне техники, включающем в себя патентный документ 1, когда корректируется фотографическое изображение, имеющее бочкообразное искажение, изображение часто корректируется посредством увеличения изображения радиально от центра оптической оси и затем уменьшения размера скорректированного изображения, которое больше изображения до коррекции, обратно до размеров изображения до коррекции. В результате объект вблизи центра оптической оси (центра изображения) в изображении имеет свойство становиться меньше после коррекции искажения, что тем самым усиливает перспективу изображения в целом.

В устройстве обработки изображений в соответствии с вариантом осуществления 1 блок 506 коррекции корректирует изображение на основе информации изображения, полученной блоком 502 получения информации, таким образом, что остается некоторая деформация изображения. Устройство обработки изображений в соответствии с настоящим вариантом осуществления корректирует входное изображение посредством использования выражений (1) и значений α и β, проиллюстрированных на фиг. 9.

Кроме того, устройство обработки изображений в соответствии с вариантом осуществления 1 может регулировать степень сокращения искажения в зависимости от сфотографированного объекта (такого как человек или буквы/символы). Таким образом, устройство обработки изображений может формировать изображение, в котором искажение уменьшено, в то время как насколько возможно предотвращено усиление перспективы, и тем самым достигнут соответствующий баланс между искажением и перспективой. В частности, когда на фотографическом изображении имеется человек, изображение корректируется таким образом, что предопределенная величина компонента деформации в горизонтальном направлении остается, в то время как компонент деформации в вертикальном направлении полностью или почти полностью устраняется. Посредством такой корректировки может быть получено изображение (изображение человека), в котором сбалансированы искажение и перспектива.

В предыдущем примере изображение, скорректированное устройством 100 обработки изображений, передается другому устройству обработки изображений блоком 85 связи через сеть. В другом примере не скорректированное изображение, переданное от любого из других устройств 100₂-100_N обработки изображений, может быть скорректировано блоком 506 коррекции и отображено устройством 120 отображения через блок 30 вывода изображения (локального) устройства 100₁ обработки изображений. В этом случае только локальное устройство 100₁ обработки изображений может включать в себя центральный процессор 50, а другие устройства 100₂-100_N обработки изображений могут не включать в себя центральный процессор 50.

ВАРИАНТ ОСУЩЕСТВЛЕНИЯ 2

Далее описано устройство 200 обработки изображений в соответствии с вариантом осуществления 2. В варианте осуществления 1 устройство 100 или 100' обработки изображений получает информацию изображения, введенную пользователем через блок 40 ввода. В соответствии с вариантом осуществления 2 устройство 200 обработки изображений получает информацию изображения посредством анализа фотографического изображения.

Фиг. 10 является функциональной блок-схемой устройства 200 обработки изображений. Фиг. 10 отличается от фиг. 1 тем, что опущен блок 40 ввода и центральный процессор 50 заменен на центральный процессор 80. Устройство 200 обработки изображений также может включать в себя блок 12 звукового вывода и блок 14 звукового ввода (см. фиг. 14).

Фиг. 11 является функциональной блок-схемой центрального процессора 80. Центральный процессор 80 включает в себя блок 502 получения изображения, блок 510 анализа, блок 504 получения информации и блок 506 коррекции. Фиг. 12 является блок-схемой последовательности операций работы устройства 200 обработки изображений. Фотографический блок 10 регистрирует фотографическое изображение (этап S2), и сфотографированное изображение вводится в блок 502 получения изображения и блок 510 анализа.

Блок 510 анализа анализирует содержание входного изображения и формирует информацию изображения на основе результата анализа (этап S11). Блок 504 получения информации получает информацию изображения, сформированную блоком 510 анализа (этап S12). Последующее описание имеет отношение к случаю, когда содержание изображения включает в себя два типа; а именно, изображение человека ("информация относительно человека") и изображение букв и т.п., например, написанных на белой доске или листе бумаги ("информация относительно символов"). Таким образом, информация изображения соответствует информации относительно человека или информации относительно символов. Предпочтительно эти два типа информации изображения могут быть сохранены в блоке 60 хранения.

<ПЕРВЫЙ СПОСОБ АНАЛИЗА>

Первый способ анализа, выполняемый на этапе S11 блоком 510 анализа, описан со ссылкой на блок-схему последовательности операций на фиг. 16. Сначала блок 510 анализа определяет, содержит ли входное изображение двух или более человек (этап S20), с использованием технологии обнаружения лица. Технология обнаружения лица специальным образом не ограничена и может включать в себя способ, с помощью которого обнаруживается шаблон части, например глаза, или способ, включающий в себя обнаружение цветового шаблона, например шаблона цвета кожи.

Когда блок 510 анализа определяет, что во входном изображении имеется два или более человек ("Да" на этапе S20), блок 510 анализа определяет, что входное изображение представляет собой изображение человека (этап S22). Таким образом, блок 510 анализа формирует информацию относительно человека в качестве информации изображения и выдает информацию относительно человека блоку 504 получения информации. Затем блок 504 получения информации получает информацию относительно человека в качестве информации изображения. На основе полученной информации относительно человека блок 506 коррекции корректирует изображение, устраняя весь или почти весь компонент деформации в горизонтальном направлении, при этом оставляя предопределенную часть компонента деформации в вертикальном направлении (этап S10 на фиг. 12).

С другой стороны, когда блок 510 анализа определяет, что во входном изображении имеется один или не имеется ни одного человека ("Нет" на этапе S20), блок 510 анализа определяет, что входное изображение представляет собой изображение символов (этап S22). Таким образом блок 510 анализа формирует информацию относительно символов в качестве информации изображения и выдает информацию относительно символов блоку 504 получения информации. Блок 504 получения информации получает информацию относительно символов в качестве информации изображения. На основе полученной информации относительно символов блок 506 коррекции корректирует изображение таким образом, что компонент деформации в горизонтальном направлении и компонент деформации вертикального направления полностью или почти полностью устраняются (этап S10 на фиг. 12).

Описывается случай, когда входное изображение содержит одного человека. В этом случае, как упомянуто выше, блок 510 анализа формирует информацию относительно символов в качестве информации изображения, и блок 506 коррекции корректирует изображение таким образом, что устраняется весь или почти весь компонент искажения в горизонтальном направления и компонент искажения в вертикальном направлении.

Случай, когда входное изображение содержит одного человека, может включать в себя случай (i), когда один человек говорит и при этом пишет буквы или цифры на белой доске или листе; и случай (ii), когда один человек делает устное представление или объяснение и не пишет буквы или цифры.

В случае (i) чаще может иметь место, что буквы или цифры, написанные на белой доске или листе, являются более важными для участников телеконференции, чем изображение человека. Таким образом, чтобы избежать трудностей при обзоре букв или цифр вследствие искажения, блок 506 коррекции корректирует изображение таким образом, что устраняется весь или почти весь компонент искажения в горизонтальном направления и компонент искажения в вертикальном направлении.

В случае (ii) чаще может иметь место, что один человек, дающий устное представление, расположен в центре изображения (точка C на фиг. 5). Обычно деформация объекта, расположенного в центре изображения, является очень малой. Таким образом, блок 506 коррекции корректирует изображение таким образом, что может быть устранен весь или почти весь компонент искажения в горизонтальном направления и компонент искажения в вертикальном направлении.

Таким образом, в случаях (i) и (ii), когда входное изображение содержит одного человека, блок 506 коррекции корректирует изображение таким образом, что компонент деформации в горизонтальном направления и компонент деформации в вертикальном направлении могут быть полностью или почти полностью устранены.

<ВТОРОЙ СПОСОБ АНАЛИЗА>

Далее описан второй способ анализа, выполняемый блоком 510 анализа на этапе S11, со ссылкой на блок-схему последовательности операций на фиг. 17. Сначала блок 510 анализа определяет, содержит ли входное изображение буквы или символы (этап S30) описанным ниже способом. Обычно, когда изображение имеет символы, написанные на белой доске и т.п., доля белого цвета в изображении является большой. Таким образом блок 510 анализа определяет соотношение белого цвета. Когда соотношение белого цвета больше предопределенного порогового значения, блок 510 анализа определяет, что изображение представляет собой изображение букв, написанных на белой доске и т.п.

Носитель, на котором написаны буквы и т.п., не ограничен белой доской и может включать в себя белый лист из различных материалов, таких как бумага. Цвет носителя не ограничен белым. Предпочтительно яркость букв значительно отличается от яркости цвета носителя, чтобы обеспечить возможность анализа блоком 510 анализа. Например, когда носитель, на котором написаны буквы, является доской, цвет которой ближе к черному, цвет символов предпочтительно является белым, таким как цвет мела.

Другой способ, которым блок 510 анализа может определить, содержит ли изображение буквы или символы, описан со ссылкой на фиг. 18. Фиг. 18 иллюстрирует пример, в котором на белом листе 700 написаны четыре линии черных букв 720. В этом случае блок 510 анализа определяет общее значение черных пикселей единичной линии вдоль оси X и оси Y. "Единичной линией" называется линия, имеющая ширину в один пиксель и проходящая в направлении оси X или в направлении оси Y. В примере на фиг. 18 блок 510 анализа определяет общее значение 740x черных пикселей единичной линии в направлении оси X и общее значение 740y черных пикселей единичной линии в направлении оси Y. Определяя таким образом общие значения 740x и 740y, блок 510 анализа может определить, что изображение показывает горизонтальную линию букв. Подобным способом блок 510 анализа может определить, что изображение показывает вертикальную линию букв.

Когда блок 510 анализа определяет, что изображение содержит буквы или цифры ("Да" на этапе S30), блок 510 анализа определяет, что входное изображение имеет буквы или цифры (этап S32). Таким образом блок 510 анализа формирует информацию относительно символов в качестве информации изображения и выдает информацию относительно символов блоку 504 получения информации. Блок 504 получения информации получает информацию относительно символов в качестве информации изображения. На основе полученной информации относительно символов блок 506 коррекции корректирует изображение таким образом, что компонент деформации в горизонтальном направлении и компонент деформации в вертикальном направлении могут быть полностью или почти полностью устранены (этап S10 на фиг. 12).

Когда блок 510 анализа определяет, что изображение не содержит буквы или цифры ("Нет" на этапе S30), блок 510 анализа может определить, что входное изображение содержит двух или более человек (этап S34). В этом случае блок 510 анализа формирует информацию относительно человека в качестве информации изображения и выдает информацию относительно человека блоку 504 получения информации. Блок 504 получения информации получает информацию относительно человека в качестве информации изображения. На основе полученной информации относительно человека блок 506 коррекции корректирует изображение таким образом, что компонент деформации в горизонтальном направлении может быть полностью или почти полностью устранен, и оставлена предопределенная часть компонента деформации в вертикальном направлении (этап S10).

Предпочтительно блок 510 анализа на основе результата определения может сформировать информацию изображения посредством выбора информации изображения из множества элементов информации изображения, сохраненных в блоке 60 хранения (то есть информации относительно человека и информации относительно символов в настоящем примере). Таким образом, устанавливая и сохраняя информацию изображения в блоке 60 хранения заранее, блок 510 анализа может формировать точную информацию изображения. В качестве альтернативы, блок 510 анализа может формировать информацию изображения на основе результата определения, не используя множество элементов информации изображения, сохраненных в блоке 60 хранения. В этом случае затраты хранения в блоке 60 хранения могут быть уменьшены. Информация изображения, сформированная блоком 510 анализа, вводится в блок 506 коррекции.

Как показано на фиг. 11 и 12, изображение, зарегистрированное фотографическим блоком 10 (этап S2), вводится в блок 502 получения изображения. Блок 502 получения изображения получает входное изображение (этап S4). Изображение, полученное блоком 502 получения изображения, вводится в блок 506 коррекции. На основе входной информации изображения блок 506 коррекции корректирует входное изображение (этап S10). Способ коррекции посредством блока 506 коррекции может являться аналогичным описанному выше относительно варианта осуществления 1.

Таким образом, в устройстве 200 обработки изображений в соответствии с вариантом осуществления 2 блок 510 анализа получает информацию изображения, анализируя фотографическое изображение. Таким образом, нет необходимости обеспечивать блок 40 ввода, как в варианте осуществления 1, а также может быть опущен процесс выбора информации изображения пользователем.

Устройство обработки изображений в соответствии с предшествующими вариантами осуществления может быть реализовано посредством компьютера, который декодирует программу обработки изображений в варианте осуществления настоящего изобретения. Программа обработки изображений может быть записана на машиночитаемом программном языке и сохранена на машиночитаемом носителе информации, таком как магнитный диск или компакт-диск (CD-ROM). Программа обработки изображений может быть установлена на компьютер с носителя информации или через линию связи. Установленная программа обработки изображений может быть декодирована центральным процессором в компьютере таким образом, чтобы компьютер мог обеспечить функции устройства обработки изображений.

Таким образом, в соответствии с устройством обработки изображений, способом обработки изображений или машиночитаемым носителем информации согласно различным вариантам осуществления может быть сформировано изображение, в котором сбалансированы искажение и перспектива.

Хотя это изобретение было подробно описано со ссылкой на некоторые варианты осуществления, изменения и модификации существуют в объеме и в сущности изобретения, описанного и определенного в последующей формуле изобретения.

Настоящая заявка основана на приоритетных заявках Японии № 2010-174702, поданной 3 августа 2010 года, и № 2011-128398, поданной 8 июня 2011 года, содержание которых включено в настоящий документ по ссылке.

Изобретение относится к средствам обработки изображений. Техническим результатом является обеспечение сбалансированности искажения и перспективы при формировании изображения. Устройство содержит блок получения изображения, блок получения информации изображения, указывающей на содержание изображения, блок определения коэффициентов коррекции устранения компонента горизонтального направления или компонента вертикального направления деформации изображения на основании информации изображения, блок коррекции, деформации изображения согласно определенным коэффициентам коррекции, определяющий коэффициент коррекции компонента горизонтального направления или вертикального направления, указывающего на коэффициент оставления части деформации. 3 н. и 7 з.п. ф-лы, 18 ил.

1. Устройство обработки изображений, содержащее:
блок получения изображения, выполненный с возможностью получать изображение;
блок получения информации, выполненный с возможностью получать информацию изображения, указывающую на содержание изображения;
блок определения, выполненный с возможностью определения коэффициентов коррекции, указывающих на коэффициенты устранения соответственно одного из компонента горизонтального направления и компонента вертикального направления деформации изображения на основании информации изображения; и
блок коррекции, выполненный с возможностью корректировать деформацию изображения согласно соответствующим определенным коэффициентам коррекции,
причем блок определения выполнен с возможностью определения по меньшей мере одного из коэффициента коррекции компонента горизонтального направления и коэффициента коррекции компонента вертикального направления, в качестве коэффициента коррекции, указывающего на коэффициент оставления части деформации.

2. Устройство обработки изображений по п.1, в котором блок коррекции корректирует изображение таким образом, что компонент горизонтального направления деформации полностью или почти полностью устраняется, в то время как остается предопределенная часть компонента вертикального направления деформации, когда информация изображения указывает, что содержанием изображения является человек.

3. Устройство обработки изображений по п.1, в котором блок коррекции корректирует изображение таким образом, что компонент горизонтального направления деформации устраняется больше, чем компонент вертикального направления деформации.

4. Устройство обработки изображений по п.1, дополнительно содержащее блок ввода, выполненный с возможностью принимать информацию изображения,
причем блок получения информации получает информацию изображения через блок ввода.

5. Устройство обработки изображений по п.1, дополнительно содержащее блок анализа, выполненный с возможностью формировать информацию изображения посредством анализа изображения,
причем блок получения информации получает информацию изображения, сформированную блоком анализа.

6. Устройство обработки изображений по п.5, в котором блок анализа формирует информацию изображения, указывающую, что содержанием изображения является человек, когда блок анализа определяет, что изображение содержит двух или более человек.

7. Устройство обработки изображений по п.6, в котором блок анализа корректирует изображение таким образом, что компонент горизонтального направления и компонент вертикального направления деформации полностью или почти полностью устраняются, когда блок анализа определяет, что изображение содержит одного человека или не содержит ни одного человека.

8. Устройство обработки изображений по п.5, дополнительно содержащее блок хранения, выполненный с возможностью заранее хранить множество элементов информации изображения,
причем блок анализа формирует информацию изображения, выбирая один из множества элементов информации изображения, сохраненных в блоке хранения.

9. Способ обработки изображений, содержащий этапы, на которых:
получают изображение;
получают информацию изображения, указывающую на содержание изображения;
определяют коэффициенты коррекции, указывающие на коэффициенты устранения соответственно одного из компонента горизонтального направления и компонента вертикального направления деформации изображения на основании информации изображения, и
корректируют деформацию изображения согласно соответствующим определенным коэффициентам коррекции,
причем определяют по меньшей мере один из коэффициента коррекции компонента горизонтального направления и коэффициента коррекции компонента вертикального направления в качестве коэффициента коррекции, указывающего на коэффициент оставления части деформации.

10. Компьютерно-читаемый носитель информации, хранящий программу, выполненную с возможностью предписывать компьютеру выполнять способ обработки изображений по п.9.