СПОСОБ И СИСТЕМА ОБРАБОТКИ ИЗОБРАЖЕНИЙ ДЛЯ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ СВЕРХВЫСОКОГО РАЗРЕШЕНИЯ Российский патент 2017 года по МПК G06T3/40 G06T7/11 G06T7/246 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области техники обработки изображений в целом и к способу и системе обработки изображений для формирования изображений сверхвысокого разрешения в частности.

Уровень техники

В настоящее время широкое распространение получили дисплеи, поддерживающие стандарт сверхвысокой четкости (UHD), однако все еще имеется недостаток кадров изображений с достаточным разрешением.

Наипростейший способ решения этой проблемы, который известен специалистам в данной области техники, показан на Фиг. 1. Этот подход был уже широко применен для преобразования видеосигнала стандартной четкости в HD-сигнал и может быть использован для преобразования HD-видеосигнала в видеосигнал сверхвысокой четкости (UHD). Как показано на Фиг. 1, устройство отображения сверхвысокой четкости может состоять из приемника 101, выполненного с возможностью приема HD-видеосигнала 102, который затем передается в средство 103 масштабирования. Средство 103 масштабирования выполнено с возможностью преобразования HD-видеосигнала 102 в видеосигнал 104 сверхвысокой четкости (UHD), который, в итоге, передается на панель 105 отображения сверхвысокой четкости (UHD). Известные из уровня техники методы масштабирования, применяемые для получения видеосигналов сверхвысокой четкости (UHD), таких как сигнал 104 из средства 103 масштабирования, обычно имеют низкое качество воспроизведения высокочастотных деталей по сравнению с видео сверхвысокой четкости (UHD), снятым видеокамерой сверхвысокой четкости (UHD). Для решения этой проблемы были разработаны некоторые специальные методы увеличения разрешения изображений.

В частности, методы обеспечения сверхвысокого разрешения зачастую используются для получения более высокого уровня детализации при просмотре традиционного контента на дисплеях сверхвысокой четкости (UHD). Такие методы могут быть разделены на две основные категории: многокадровые методы и однокадровые методы.

Например, в US 6,434,280 и US 8,306,121 описаны многокадровые методы увеличения разрешения изображений за счет использования информации из множества кадров низкого разрешения для построения кадра высокого разрешения.

US 6,434,280 описывает систему формирования изображения мозаичного вида со сверхвысоким разрешением за счет использования множества кадров изображения, в которой каждый кадр представляет собой часть сцены для выходного изображения. Описанная система состоит из генератора изображения мозаичного вида и генератора изображения сверхвысокого разрешения. Генератор изображения мозаичного вида формирует из кадров изображения данные изображения мозаичного вида, которые характеризуют изображение мозаичного вида. Генератор изображения сверхвысокого разрешения принимает данные изображения мозаичного вида и данные изображения, представленные в кадрах изображения, и выводит изображение мозаичного вида со сверхвысоким разрешением. Во время процесса формирования изображения мозаичного вида со сверхвысоким разрешением изображение мозаичного вида разделяется на множество компонентов изображения (каждый компонент изображения связан с по меньшей мере одним кадром изображения), и процесс выполняется в отношении компонентов изображения для формирования изображения мозаичного вида со сверхвысоким разрешением.

В US 8,306,121 раскрыт способ формирования изображений сверхвысокого разрешения за счет использования последовательности изображений низкого разрешения. Способ включает в себя этапы, на которых: формируют предположительное изображение высокого разрешения, проводят оценку движения между предположительным изображением высокого разрешения и сравнительными изображениями из последовательности изображений низкого разрешения, осуществляют обратное проецирование с компенсацией движения и осуществляют обратное проецирование без компенсации движения, что позволяет получить в результате изображение сверхвысокого разрешения. US 8,306,121 также раскрывает соответствующую систему формирования изображений сверхвысокого разрешения, которая состоит из модулей, каждый из которых выполняет один из вышеупомянутых этапов способа.

Известные из уровня техники многокадровые методы имеют следующие недостатки:

- требуется очень большое число исходных кадров для получения высоких коэффициентов увеличения;

- такие методы обладают очень сильной чувствительностью к точности суб-пиксельной оценки движения;

- такие методы требуют очень сложного аппаратного обеспечения (вследствие необходимости сохранять несколько кадров и выполнять точную оценку движения между этими кадрами);

- такие методы обладают высокой чувствительностью к модели получения изображений и ухудшения качества изображений (наподобие функции рассеяния точки, параметров размытия из-за движения, уровня шума и т.д.).

Наконец, также известно, что многокадровым методам свойственны артефакты в виде повторяющихся узоров.

Однокадровые методы могут быть разделены на методы, основанные на самоподобии, повторном проецировании и обучении.

Пример метода, основанного на повторном проецировании, описан в JP 2008140012, где предложено использовать метод Гаусса-Зейделя для расчета значения обратной связи, добавляемого к изображению низкого разрешения, которое масштабируется с использованием некоего традиционного способа. Описанный метод, основанный на повторном проецировании, предусматривает многократное улучшение изображения сверхвысокого разрешения и вносит слишком много задержек в процесс видеообработки, и не может быть реализован в виде «системы-на-кристалле» по разумной цене.

Методы, основанные на самоподобии, зачастую имеют недопустимую сложность вычислений и не могут быть реализованы в виде «системы-на-кристалле» по разумной цене. US 20130044965 раскрывает один пример способа обеспечения сверхвысокого разрешения с использованием самоподобия, который может быть реализован по разумной цене. Вся информация для масштабирования изображения получается из самого изображения. Сначала изображение масштабируется, затем определяется, имеет ли масштабированное изображение какие-либо сглаженные области. После этого повышается качество границ на масштабированном изображении, и, если была обнаружена сглаженная область, она окаймляется границей. В заключение, формируются текстуры для улучшенного и неулучшенного масштабированных изображений. Текстуры покрывают сглаженные области и создаются с использованием входного изображения, применяемого в качестве примера текстур. Тем не менее, этот способ может обеспечивать только улучшение границ, но не улучшает текстурированные области.

Методы, основанные на обучении и обеспечивающие предварительно обучаемую базу данных для хранения модели текстур, могут быть включены в состав процесса видеообработки в дисплее сверхвысокой четкости (UHD), как показано на Фиг. 2. Видеосигнал принимается и декодируется приемником 201 для обеспечения множества компонентов изображения. Каждый компонент изображения масштабируется средством 202 масштабирования и обрабатывается блоком 203 текстурирования. Для каждого масштабированного компонента изображения с низким уровнем детализации блок 203 текстурирования находит наиболее похожую запись в базе 204 данных с низкочастотными компонентами изображения, извлекает соответствующий высокочастотный компонент изображения из базы 205 данных с высокочастотными компонентами изображения, добавляет этот высокочастотный компонент изображения к исходному компоненту изображения с низким уровнем детализации и формирует выходное изображение сверхвысокого разрешения, которое должно быть отображено на дисплее 206 сверхвысокой четкости (UHD). Примеры таких методов, основанных на обучении, описаны в US 20130156345 и US 6,766,067.

В US 20130156345 предложено использовать множество кадров, снятых с высокой частотой кадров, для построения кадра высокого разрешения. После объединения этих кадров выполняется улучшение качества изображения с использованием нелинейного фильтра, реализованного в виде предварительно обучаемой нейронной сети. Этот способ, как предполагается, должен использоваться для мобильного приложения в случае съемки увеличенных фрагментов. Нейронная сеть обучается для каждой определенной модели камеры с использованием тестового изображения, включающего в себя радиальные и синусоидальные тестовые диаграммы.

US 6,766,067 раскрывает другой метод, основанный на обучении. Первый этап этого метода состоит в интерполяции исходного изображения. Интерполированное изображение разделяется на перекрывающиеся компоненты изображения. После этого все операции выполняются в отношении каждого отдельного компонента изображения в растровом порядке сканирования: система формирует масштабированный среднеполосный компонент изображения с использованием заданного компонента изображения низкого разрешения, затем она моделирует вектор поиска по пикселям из масштабированного среднеполосного компонента изображения путем перекрытия высокополосных компонентов изображения, которые были сформированы до этого. Система находит в ранее заполненной базе данных ближайший вектор к заданному вектору поиска и соответствующий высокополосный компонент выходного изображения. Последний этап этого алгоритма заключается в интерполировании высокополосного компонента выходного изображения с использованием интерполированного компонента изображения низкого разрешения и объединении всех компонентов изображения в одно изображение сверхвысокого разрешения.

Метод, основанный на обучении, который известен из US 6,766,067, обеспечивает в результате высокое качество, но обладает следующими недостатками:

- одна и та же обработка используется в отношении всех компонентов изображения, что обеспечивает низкое разнообразие текстур;

- используется только одна база данных для всех видов текстур;

- время поиска соответствующих шаблонов является линейным;

- проблема инвариантности относительно сдвига и вращения решается за счет использования избыточной базы данных, описывающей все возможные сдвиги и повороты компонентов изображения.

Раскрытие изобретения

Идея настоящего изобретения пришла в головы авторов в силу вышеупомянутых недостатков решений, известных из уровня техники, и настоящее изобретение в целом опирается на метод, основанный на обучении, который используется для формирования выходного изображения с более высоким разрешением и/или уровнем детализации по сравнению с входным изображением.

Технический результат, достигаемый при использовании настоящего изобретения, заключается в увеличении разрешения и уровня детализации входного изображения, что обеспечивает улучшение качества изображения по сравнению с решениями, известными из уровня техники.

Согласно первому аспекту, предложен способ обработки изображений. Способ содержит этапы, на которых:

обеспечивают по меньшей мере одно входное изображение;

масштабируют входное изображение для формирования масштабированного изображения, имеющего целевое низкое разрешение;

сегментируют масштабированное изображение на неперекрывающиеся сегменты изображения, причем каждый сегмент изображения состоит из множества компонентов изображения;

выполняют обработку в отношении каждого из сегментов изображения, причем упомянутая обработки содержит:

- вычисление вектора признаков, характеризующего признаки текстуры и цвета в сегменте изображения;

- осуществление доступа к базе данных, состоящей из поля векторов признаков, включающего в себя множество разных векторов признаков, поля низкочастотных компонентов изображения, включающего в себя множество разных подбаз данных с низкочастотными компонентами изображения, и поля высокочастотных компонентов изображения, включающего в себя множество разных подбаз данных с высокочастотными компонентами изображения, причем каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей одной подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения;

- определение вектора признаков в поле векторов признаков в базе данных, который наиболее похож на вычисленный вектор признаков сегмента изображения;

- выбор подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков;

- выполнение подобработки в отношении каждого компонента изображения, принадлежащего сегменту изображения, причем упомянутая подобработки содержит:

-- определение в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотного компонента изображения, наиболее похожего на компонент изображения сегмента изображения;

-- извлечение из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотного компонента изображения, соответствующего определенному низкочастотному компоненту изображения;

-- добавление извлеченного высокочастотного компонента изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения; и

-- объединение всех компонентов изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения; и

- объединение всех сегментов изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение; и

отображают выходное изображение.

В некоторых вариантах осуществления признаки текстуры и цвета в векторе признаков каждого сегмента изображения содержат по меньшей мере одно из следующего: средние значения красного, зеленого и синего цвета, средние значения оттенка и насыщенности, модифицированные признаки Харалика для зернистости и контрастности, модифицированные признаки Тамура для зернистости, контрастности, направленности и нечеткости, модифицированные признаки Канни для зернистости, модифицированные признаки Амадасуна для зернистости и контрастности и признаки Ву для зернистости, контрастности, периодичности и нечеткости.

В одном варианте осуществления этап масштабирования выполняют с использованием операции интерполирования. Операция интерполирования может быть операцией билинейного интерполирования.

В одном варианте осуществления база данных организована в виде дерева.

В одном варианте осуществления этап извлечения высокочастотного компонента изображения содержит этапы, на которых: выбирают угол ориентации для каждого низкочастотного компонента изображения; осуществляют поворот каждого низкочастотного компонента изображения на угол ориентации; осуществляют нормировку каждого низкочастотного компонента изображения с использованием коэффициента нормировки; выбирают высокочастотный компонент изображения для каждого низкочастотного компонента изображения; осуществляют поворот каждого высокочастотного компонента изображения на величину, обратную углу ориентации; и умножают каждый высокочастотный компонент изображения на коэффициент нормировки. Коэффициент нормировки может быть выбран на основании конкретного типа параметров каждого низкочастотного компонента изображения. В качестве примера, эти параметры могут содержать одно из следующего: стандартное отклонение каждого низкочастотного компонента изображения и разность минимального и максимального значений каждого низкочастотного компонента изображения, и, в таком случае, коэффициент нормировки пропорционален стандартному отклонению низкочастотного компонента изображения или пропорционален разности минимального и максимального значений соответствующего низкочастотного компонента изображения. Кроме того, база данных может дополнительно содержать поле метаданных, содержащее одно или более значений коэффициента нормировки. В некоторых вариантах осуществления угол ориентации для каждого низкочастотного компонента изображения обеспечивает максимальную симметрию относительно заданной оси.

В одном варианте осуществления этап сегментирования содержит этапы, на которых: выполняют первоначальное грубое сегментирование; и улучшают первоначальное грубое сегментирование. Первоначальное грубое сегментирование улучшается за счет получения набора граничных элементов для каждого сегмента изображения, выбора оптимальных граничных элементов из набора граничных элементов и получения непрерывной границы для каждого сегмента на основании выбранных оптимальных граничных элементов. Первоначальное грубое сегментирование может выполняться посредством одной из следующих операций: кластеризация пикселей на основании яркости, цвета, текстуры и других атрибутов; сегментирование на основании гистограмм; сегментирование на основании расщепления и объединения; сегментирование с выращиванием областей. В некоторых вариантах осуществления упомянутое по меньшей мере одно входное изображение представляет собой последовательность видеоизображений, и в таком случае первоначальное грубое сегментирование выполняется на основании оценки движения и/или оценки глубины для последовательности видеоизображений. Первоначальное грубое сегментирование может также выполняться посредством выбора пользователем вручную набора граничных элементов для каждого сегмента изображения. Оптимальные граничные элементы выбираются посредством динамического программирования, а непрерывная граница получается за счет использования модели активного контура.

В одном варианте осуществления база данных составлена из и заполнена разными низкочастотными компонентами изображения и высокочастотными компонентами изображения с использованием алгоритма обучения. Алгоритм обучения содержит этапы, на которых: преобразуют обучающее изображение из первого цветового пространства во второе цветовое пространство для обеспечения двух раздельных каналов данных о яркости и цветности; осуществляют понижающее масштабирование канала данных о яркости; осуществляют повышающее масштабирование подвергнутого понижающему масштабированию канала данных о яркости для получения низкочастотного изображения, состоящего из низкочастотных компонентов изображения; вычитают низкочастотное изображение из исходного канала данных о яркости для получения высокочастотного изображения, состоящего из высокочастотных компонентов изображения; группируют низкочастотные компоненты изображения в виде подбазы данных с низкочастотными компонентами изображения; и группируют высокочастотные компоненты изображения в виде подбазы данных с высокочастотными компонентами изображения. В некоторых вариантах осуществления первое цветовое пространство представляет собой цветовое пространство RGB, а второе цветовое пространство представляет собой одно из цветовых пространств YCbCr, YUV, HSV, LaB.

В одном варианте осуществления упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняются непосредственно за счет соединения вплотную друг к другу компонентов изображения сверхвысокого разрешения и соединения вплотную друг к другу сегментов изображения сверхвысокого разрешения. В одном другом варианте осуществления упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняются за счет использования перекрытия и взвешивания компонентов изображения сверхвысокого разрешения и сегментов изображения сверхвысокого разрешения. В еще одном другом варианте осуществления упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняются с использованием способов разреза графов, чтобы получить максимально гладкую границу между разными компонентами изображения сверхвысокого разрешения и разными сегментами изображения сверхвысокого разрешения.

Согласно второму аспекту, предложена система обработки изображений. Система содержит приемник, средство масштабирования, блок сегментирования, блок извлечения признаков, блок хранения, блок сопоставления признаков, блок текстурирования и блок отображения. Приемник выполнен с возможностью приема и декодирования по меньшей мере одного входного изображения. Средство масштабирования выполнено с возможностью масштабирования входного изображения для формирования масштабированного изображения. Блок сегментирования выполнен с возможностью сегментирования масштабированного изображения на неперекрывающиеся сегменты изображения. Каждый сегмент изображения состоит из множества компонентов изображения. Блок извлечения признаков выполнен с возможностью вычисления для каждого сегмента изображения вектора признаков, содержащего признаки текстуры и цвета. Блок хранения выполнен с возможностью хранения базы данных, состоящей из поля векторов признаков, включающего в себя множество разных векторов признаков, поля низкочастотных компонентов изображения, включающего в себя множество разных подбаз данных с низкочастотными компонентами изображения, и поля высокочастотных компонентов изображения, включающего в себя множество разных подбаз данных с высокочастотными компонентами изображения. Каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей одной подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения. Блок сопоставления признаков выполнен с возможностью осуществления доступа к базе данных и определения вектора признаков в поле векторов признаков в базе данных, который наиболее похож на вычисленный вектор признаков сегмента изображения, и затем выбора подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков. Блок текстурирования выполнен с возможностью, для каждого компонента изображения, принадлежащего сегменту изображения: определения в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотного компонента изображения, наиболее похожего на компонент изображения сегмента изображения; извлечения из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотного компонента изображения, соответствующего определенному низкочастотному компоненту изображения; добавления извлеченного высокочастотного компонента изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения; объединения всех компонентов изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения; и объединения всех сегментов изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение. Блок отображения выполнен с возможностью отображения выходного изображения.

Система может быть установлена в телевизорах, DVD/BD-плеерах, телевизионных приставках или других бытовых электронных устройствах, выполняющих повышающее масштабирование изображений.

Другие признаки и преимущества настоящего изобретения будут очевидны после прочтения нижеследующего подробного описания и просмотра сопроводительных чертежей.

Краткое описание чертежей

Сущность настоящего изобретения поясняется ниже со ссылкой на сопроводительные чертежи, на которых:

Фиг. 1 показывает процесс обработки в устройстве отображения сверхвысокой четкости (UHD) согласно уровню техники;

Фиг. 2 показывает метод обеспечения сверхвысокого разрешения на основе обучения в процессе видеообработки в устройстве отображения сверхвысокой четкости (UHD) согласно уровню техники;

Фиг. 3 показывает общую схему системы формирования изображений сверхвысокого разрешения согласно примерному варианту осуществления настоящего изобретения;

Фиг. 4 показывает схему процесса заполнения;

Фиг. 5 показывает другую схему преобразования заполнения;

Фиг. 6А-6В показывают сегментирование изображения: Фиг. 6А иллюстрирует исходное изображение, а Фиг. 6В иллюстрирует карту сегментации;

Фиг. 7 показывает структуру обучаемой базы данных;

Фиг. 8 показывает этап обучения из процесса обучения на Фиг. 4;

Фиг. 9 показывает подэтапы составления базы данных с компонентами;

Фиг. 10А-10F показывают компоненты, извлеченные из изображения (Фиг. 10А, 10С, 10Е) и повернутые копии компонентов, обеспечивающие максимальную симметрию (Фиг. 10В, 10D, 10F);

Фиг. 11А-11C показывают разные метрики симметрии для конкретного направления;

Фиг. 12 показывает иерархическое дерево для хранения базы данных с текстурами;

Фиг. 13 показывает алгоритм построения иерархического дерева;

Фиг. 14 показывает зависимость числа компонентов от числа выполняемых операций поиска;

Фиг. 15 показывает алгоритм обеспечения сверхвысокого разрешения, реализуемый системой с Фиг. 3;

Фиг. 16 поясняет этап формирования текстур в алгоритме обеспечения сверхвысокого разрешения с Фиг. 15;

Фиг. 17 поясняет этап определения местоположений центров компонентов;

Фиг. 18 поясняет этап выбора соответствующих высокочастотных компонентов из базы данных;

Фиг. 19 показывает блок-схему процесса сегментирования изображения;

Фиг. 20 показывает пример грубого сегментирования;

Фиг. 21А-21В показывают схему моделирования граничных элементов;

Фиг. 22 показывает алгоритм динамического программирования;

Фиг. 23 показывает размещение узлов в шахматной сетке;

Фиг. 24 показывает карту интереса, оцененную с использованием дескриптора SUSAN;

Фиг. 25 показывает модифицированную шахматную сетку; и

Фиг. 26 показывает исходные и смещенные узлы сетки.

Осуществление изобретения

Различные варианты осуществления настоящего изобретения описаны далее подробнее со ссылкой на сопроводительные чертежи. Однако настоящее изобретение может быть реализовано во многих других формах и не должно пониматься как ограниченное какой-либо конкретной структурой или функцией, представленной в нижеследующем описании. В отличие от этого, эти варианты осуществления предоставлены для того, чтобы сделать описание настоящего изобретения подробным и полным. Исходя из настоящего описания, специалистам в данной области техники будет очевидно, что объем настоящего изобретения охватывает любой вариант осуществления настоящего изобретения, который раскрыт в данном документе, вне зависимости от того, реализован ли этот вариант осуществления независимо или совместно с любым другим вариантом осуществления настоящего изобретения. Например, способ и система, раскрытые в данном документе, могут быть реализованы на практике посредством использования любого числа вариантов осуществления, обеспеченных в данном документе. Кроме того, должно быть понятно, что любой вариант осуществления настоящего изобретения может быть реализован с использованием одного или более элементов, представленных в приложенной формуле изобретения.

Слово «примерный» используется в данном документе в значении «используемый в качестве примера или иллюстрации». Любой вариант осуществления, описанный здесь как «примерный», необязательно должен восприниматься как предпочтительный или имеющий преимущество над другими вариантами осуществления.

Изображение сверхвысокого разрешения представляет собой изображение, которое имеет более высокое разрешение (больше пикселей) и/или деталей изображения, чем изображение низкого разрешения, используемое для построения изображения сверхвысокого разрешения. Настоящее изобретение использует вышеупомянутый метод, основанный на обучении, чтобы формировать дополнительные текстуры для подвергнутых повышающему масштабированию изображений.

Фиг. 3 показывает систему обработки изображений, которая обеспечивает возможность формирования изображений сверхвысокого разрешения согласно одному примерному варианту осуществления настоящего изобретения. Конструктивные элементы системы и их функционирование поясняются подробнее ниже.

Приемник 3101 принимает и декодирует видеосигнал, представляющий собой одно или более входных изображений или кадров изображения. Для простоты предполагается, что видеосигнал состоит из одного изображения. Принятое изображение затем поступает в средство 3102 масштабирования. Средство 3102 масштабирования преобразовывает принятое изображение в масштабированное изображение, которое далее сегментируется в блоке 3103 сегментирования на неперекрывающиеся сегменты изображения. Для каждого сегмента изображения в блоке 3104 извлечения признаков вычисляется вектор признаков, содержащий признаки текстуры и цвета. Блок 3104 извлечения признаков соединен с блоком 3105 сопоставления признаков, выполненным с возможностью определения вектора признаков, наиболее похожего на вычисленный вектор признаков в базе 3106 данных. База 3106 данных может храниться в любом подходящем энергозависимом или энергонезависимом запоминающем устройстве (не показано), как должно быть очевидно специалистам в данной области техники. База 3106 данных состоит из следующих трех основных полей, но не ограничена ими: поля векторов признаков, поля низкочастотных компонентов изображения и поля высокочастотных компонентов изображения. Поле векторов признаков включает в себя множество разных векторов признаков. Поле низкочастотных компонентов изображения включает в себя множество разных подбаз данных с низкочастотными компонентами изображения. Поле высокочастотных компонентов изображения включает в себя множество разных подбаз данных с высокочастотными компонентами изображения. Каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения. Таким образом, блок 3105 сопоставления признаков выполнен с возможностью определения наиболее похожего вектора признаков в поле векторов признаков в базе 3106 данных, а затем выбора подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков. Как показано на Фиг. 3, вектор признаков, подбаза данных с низкочастотными компонентами изображения и подбаза данных с высокочастотными компонентами изображения, которые могут быть подходящими для заданного сегмента изображения, выделены с использованием двух прямоугольников 3107 и 3108, но блок 3105 сопоставления признаков должен выбрать только один из них для дальнейшей обработки. После этого блок 3109 текстурирования определяет для каждого компонента изображения, принадлежащего сегменту изображения, в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотный компонент изображения, наиболее похожий на компонент изображения в сегменте изображения. Затем блок 3109 текстурирования извлекает из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотный компонент изображения, соответствующий определенному низкочастотному компоненту изображения, и добавляет извлеченный высокочастотный компонент изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения. Далее блок 3109 текстурирования объединяет все компоненты изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения, а потом объединяет все сегменты изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение. Блок 3110 отображения используется для отображения выходного изображения. Блок 3110 отображения может быть любым устройством отображения, поддерживающим стандарт сверхвысокой четкости (UHD).

В некоторых вариантах осуществления упомянутое объединение компонентов изображения сверхвысокого разрешения и/или сегментов изображения сверхвысокого разрешения может выполняться непосредственно за счет соединения вплотную друг к другу компонентов изображения сверхвысокого разрешения и соединения вплотную друг к другу сегментов изображения сверхвысокого разрешения. В некоторых других вариантах осуществления можно объединять компоненты изображения сверхвысокого разрешения и/или сегменты изображения сверхвысокого разрешения за счет использования перекрытия и взвешивания компонентов изображения сверхвысокого разрешения и сегментов изображения сверхвысокого разрешения или за счет использования способов разреза графов, чтобы получить максимально гладкую границу между разными компонентами изображения сверхвысокого разрешения и разными сегментами изображения сверхвысокого разрешения.

Следует отметить, что все вышеупомянутые конструктивные элементы системы, за исключением приемника, блока хранения и блока отображения, могут быть реализованы в виде одного или более процессоров, таких как процессоры общего назначения и/или процессоры специального назначения, или в виде одной или более программируемых вентильных матриц, прикладных интегральных схем, или в виде любой комбинации вышеозвученного. Упомянутые процессоры, программируемые вентильные матрицы и/или прикладные интегральные схемы могут быть объединены внутри одной электронно-вычислительной машины или распределены среди множества электронно-вычислительных машин, соединенных между собой с помощью проводной или беспроводной сети.

Для реализации системы с Фиг. 3 необходимо задать алгоритм заполнения базы 3106 данных (т.е. обучаемой базы данных), который проиллюстрирован на Фиг. 4. Алгоритм состоит из следующих этапов: преобразование S401 обучающего изображения из RGB (аббревиатура для «Red, Green, Blue») в YCbCr (аббревиатура для «Luminance (Y), Chroma: Blue (Cb), Chroma: Red (Cr)») или другое цветовое пространство, наподобие YUV (аббревиатура для «Luminance (Y) -Bandwidth (U) -Chrominance (V)»), HSV (аббревиатура для «Hue, Saturation, Value»), Lab (также известное как CIELab, где «L» представляет собой яркость, «а» - ось красно-зеленого цвета, и «b» - ось сине-желтого цвета) и т.д., которое позволяет предоставлять S402 данные о яркости и цветности в двух раздельных каналах; понижающее масштабирование S403 канала яркости K раз; повышающее масштабирование S404 подвергнутого понижающему масштабированию канала К раз и получение S406 низкочастотного изображения; вычитание S405 низкочастотного изображения из исходного канала яркости; получение S407 высокочастотного изображения; обучение S409; и получение S410 обучаемой базы данных с текстурами. Обучающее изображение также подлежит сегментированию S408, после которого каждый сегмент изображения для обучающего изображения используется для упомянутого обучения S409. Результат упомянутого обучения каждого сегмента изображения сохраняется S410 в базе данных.

Фиг. 5 подробно поясняет алгоритм создания изображения сверхвысокого разрешения, выполняемый системой с Фиг. 3, в котором высокочастотный компонент изображения добавляется только к каналу яркости. Он состоит из следующих этапов: обеспечение S501 входного изображения; повышающее масштабирование S502 входного изображения К раз; сегментирование S503 подвергнутого повышающему масштабированию изображения на сегменты изображения; преобразование S504 каждого сегмента изображения из подвергнутого повышающему масштабированию изображения из RGB в YCbCr или другое цветовое пространство, наподобие YUV, HSV, LaB и т.д., которое позволяет предоставлять данные о яркости и цветности в двух раздельных каналах, из которых первый канал Y яркости используется для формирования S506 и добавления S507 текстур (предоставляемых S505 из базы данных с текстурами) к каждому сегменту изображения из подвергнутого повышающему масштабированию изображения, в то время как второй канал цветности, состоящий из двух подканалов Cb, Cr, «минует» упомянутые этапы S506 и S507; преобразование S508 каждого сегмента изображения с использованием модифицированного канала яркости и немодифицированного канала цветности в цветовое пространство RGB; и получение S509 выходного изображения.

В качестве примера Фиг. 6А иллюстрирует исходное изображение, а Фиг. 6В иллюстрирует карту сегментирования, полученную после упомянутого этапа S408 или упомянутого этапа S503. Следует отметить, что разумно использовать один и тот же алгоритм сегментирования на обоих этапах S408 и S503.

Таким образом, обучаемая база данных создается с учетом низкочастотного изображения, высокочастотного изображения и карты сегментирования (Фиг. 7). Обучаемая база данных состоит из следующих полей: поле идентификаторов ID, поле векторов признаков, поле баз данных с текстурами и поле метаданных. Вектор признаков может содержать признаки текстуры и цвета для заданного сегмента изображения. База данных с текстурами представляет собой структуру данных, содержащую пары низкочастотных и соответствующих высокочастотных компонентов изображения. В некоторых вариантах осуществления база данных с текстурами может состоять из двух подбаз данных, т.е. подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения. Метаданные могут содержать любые дополнительные данные, например предпочтительный коэффициент усиления, предпочтительные параметры интерполирования или подробные алгоритмы улучшения, или контекстную информацию. Метаданные могут быть сформированы автоматически или могут быть введены вручную системным разработчиком.

Упомянутый этап S409 (т.е. упомянутый этап обучения из процесса обучения на Фиг. 4) содержит этапы, показанные на блок-схеме на Фиг. 8. В частности, он состоит из следующих этапов: для заданного исходного изображения, низкочастотного компонента, высокочастотного компонента и карты сегментирования выбор S801 N сегментов, подходящих для обучения текстур, и установка счетчика сегмента I=1; проверка S802, выполняется ли I>N: если да, то окончание процесса обучения, в противном случае - продолжение процесса обучения; вычисление S803 признаков сегмента для I-го сегмента; сбор S804 базы данных с компонентами для I-го сегмента; сбор S805 метаданных для I-го сегмента (это необязательный этап); добавление S806 компонента в обучаемую базу данных для I-го сегмента; выполнение приращения S807 счетчика сегмента I. Результат этапа обучения представляет собой обучаемую базу данных (S808).

Блок-схема упомянутого этапа S804 для заданного сегмента показана на Фиг. 9. Она состоит из следующих подэтапов: выбор S901 пар компонентов из низкочастотных и высокочастотных компонентов внутри I-го сегмента; выбор S902 угла ϑ ориентации для каждой пары и ее преобразование; нормировка S903 пар; вычисление S904 обучаемой базы данных из набора пар. Основная цель упомянутого этапа S804 заключается в обеспечении инвариантности относительно вращения, и упомянутый подэтап S903 допускает поворот на некоторый «лучший» угол, который описывается как угол, обеспечивающий максимальную симметрию объекта изображения относительно вертикальной оси, проходящей через центр компонента изображения. Фиг. 10А-F показывают компоненты изображения, извлеченные из изображения (Фиг. 10А, 10С, 10Е), и повернутые копии компонентов изображений, обеспечивающие максимальную симметрию (Фиг. 10В, 10D, 10F). Метрика симметрии для конкретного направления определяется как сумма абсолютных разностей пикселей, лежащих по другую сторону от заданной оси (Фиг. 11А-11С). Упомянутое вычисление обучаемой базы данных из набора пар (подэтап S904) означает обеспечение структуры данных, позволяющей выполнять быстрый и эффективный поиск в базе данных. Это достигается через построение иерархического дерева (Фиг. 12).

Алгоритм построения иерархического дерева поясняется на Фиг. 13. Он состоит из следующих этапов: нормировка S1301 низкочастотных компонентов; установка S1302 текущего уровня дерева L=1; применение S1303 алгоритма обучения методом k-средних к низкочастотным компонентам изображения для определенных k центральных компонентов изображения; отнесение S1304 каждой пары низкочастотных и высокочастотных компонентов изображения к одному из k классов; увеличение S1305 текущего уровня дерева L; если текущий уровень дерева превышает S1306 максимально допустимый уровень дерева, завершение процесса построения, в противном случае - продолжение процесса построения; для каждого из k классов построение S1307 поддерева. Результат этих этапов представляет собой базу данных (S1308) в виде иерархически разветвленного уровня. Нормировка низкочастотных компонентов изображения (S1301) состоит из вычитания среднего значения и стандартного отклонения. Число компонентов k может быть выбрано с помощью Фиг. 14, которая показывает зависимость логарифма размера базы данных (т.е. числа компонентов) от числа выполняемых операций поиска для числа компонентов=2 (линия 1401), 3 (линия 1402) и 5 (линия 1403).

Фиг. 15 показывает блок-схему алгоритма обеспечения сверхвысокого разрешения, реализуемого системой с Фиг. 3. Он состоит из следующих этапов: установка счетчика сегментов I=0 для заданного низкочастотного компонента, карты сегментирования и базы данных с текстурами; проверка S1502, является ли I больше, чем число определенных сегментов N; если да, то применение S1508 коэффициента глобального усиления и завершение процесса, в противном случае - продолжение процесса и вычисление S1503 признаков для сегмента I; нахождение S1504 в базе данных с текстурами компонента изображения с признаками, наиболее похожими на признаки, извлеченные для сегмента I, и вычисление расстояния D между признаками сегмента I и наиболее похожим компонентом изображения в базе данных; выполнение приращения S1505 счетчика сегмента I; проверка S1506, меньше ли расстояние D, чем заранее заданное пороговое значение; если да, то продолжение процесса и формирование S1507 текстур для сегмента I-1, и если нет, то возврат к S1502; и обеспечение S1509 высокочастотного компонента.

Блок-схема упомянутого этапа S1507 (т.е. упомянутого формирования текстур в алгоритме обеспечения сверхвысокого разрешения) для заданного сегмента показана на Фиг. 16. Она состоит из следующих этапов: определение S1601 местоположений центров компонентов внутри I-го сегмента; выбор S1602 соответствующих компонентов для дальнейшей обработки; выбор S1603 соответствующих высокочастотных компонентов из базы данных; определение S1604 коэффициента усиления для каждого компонента; и формирование S1605 уровня текстур.

Блок-схема упомянутого этапа S1601 (т.е. упомянутого определения местоположений центров компонентов) описана на Фиг. 17. Она состоит из следующих подэтапов: вычисление S1701 карты интереса; размещение S1702 центров компонентов в узлах однородной прямоугольной или шахматной сетки; перемещение S1703 каждого центра компонента в направлении ближайшего локального экстремума на карте интереса. Результатом упомянутого этапа S1601 является модифицированная сетка из центров блоков.

Упомянутый этап S1602 (т.е. упомянутый выбор соответствующих компонентов (изображения) для дальнейшей обработки) может состоять из следующих подэтапов: выбор только компонентов, в которых все пиксели принадлежат одному и тому же сегменту изображения; выбор только компонентов, в которых стандартное отклонение внутри компонента изображения является достаточно большим; выбор только компонентов изображения, которые не содержат четких границ; или другие процедуры для устранения артефактов.

Блок-схема упомянутого этапа S1603 (т.е. упомянутого выбора соответствующих высокочастотных компонентов из базы данных) описана подробно на Фиг. 18. Она состоит из следующих подэтапов: выбор S1801 компонентов из входного изображения, которое подлежит обработке; выбор S1802 угла ϑ ориентации для каждого компонента и его преобразование; вычисление S1803 коэффициента нормировки K для каждого низкочастотного компонента и нормировка компонента; выбор S1804 высокочастотного компонента из базы данных для каждого низкочастотного компонента; поворот S1805 каждого высокочастотного компонента на угол -ϑ; усиление S1806 каждого высокочастотного компонента на коэффициент нормировки К. Результатом упомянутого этапа S1603 является набор высокочастотных компонентов (или блоков изображения), как показано на S1807. Упомянутый выбор угла ϑ ориентации на S1802 выполняется таким же образом, как на этапе обучения (т.е. этапе S409), т.е. ϑ представляет собой угол, обеспечивающий максимальную симметрию компонента изображения относительно вертикальной оси, проходящей через центр компонента изображения (см. Фиг. 10A-10F, 11A-11C). Коэффициент нормировки К может быть взят равным стандартному отклонению низкочастотного компонента.

Упомянутое определение S1604 коэффициента усиления для каждого компонента может состоять из следующих подэтапов: выполнение усиления высокочастотного компонента пропорционально стандартному отклонению соответствующего низкочастотного компонента, пропорционально разности минимального и максимального значений соответствующего низкочастотного компонента или с использованием некоторой другой зависимости параметров соответствующего низкочастотного компонента. Тип зависимости может быть индивидуальным для сегментов и описываться метаданными о соответствующем компоненте из базы данных.

Упомянутое формирование S1605 уровня текстур может состоять из следующих подэтапов: перезапись перекрывающихся пар высокочастотных компонентов, выбор пикселей из высокочастотных компонентов с большими приоритетами, смешение пикселей из соседних перекрывающихся высокочастотных компонентов, или выполняться с использованием некоторых других средств, например сшивка на основании динамического программирования или разрезов графа.

Подалгоритм упомянутого сегментирования изображения (S408 или S503) проиллюстрирован на Фиг. 19. Входными данными подалгоритма является изображение 1901 с грубой исходной маской 1902 объекта. Подалгоритм имеет три основных этапа 1-3, позволяющих получать граничные элементы, наилучший контур граничных элементов и замкнутый контур вокруг объекта. Сначала с использованием карты 1903 границ в окрестности исходной границы 1904 объекта получается семейство граничных элементов 1905. Затем используется алгоритм динамического программирования (DPA) для вычисления оптимального пути 1906 через семейство граничных элементов. Замкнутый контур 1907 вокруг объекта получается с помощью метода активного «змеевидного» контура.

Изображение с грубой начальной сегментацией представлено на Фиг. 20.

Далее описываются подробнее вышеупомянутые этапы. Первый этап (этап 1) состоит из построения граничных элементов следующим образом.

Пусть r представляет собой контур предварительной маски . Окрестность вблизи этого контура определяется как , где представляет собой среднее расстояние от точки x до контура r.

Граничные элементы представляют собой набор компонентов , которые не пересекают друг друга. Процесс формирования граничных элементов проиллюстрирован подробно на Фиг. 21А-21В. Фиг. 21А иллюстрирует один примерный сегмент изображения из изображения на Фиг. 20.

Каждая линия (2101, 2102, 2103), которая является нормалью к грубой границе 2104 сегмента и лежит в окрестности 2105, может быть описана следующей функцией: , так что (2106, 2107, 2108). Здесь L(x) представляет собой положение конкретного пикселя вдоль нормали L, и B является модулем высокочастотного компонента (равным модулю градиента изображения) этого пикселя. Пиксель принадлежит граничному элементу, если функция имеет локальный экстремум 2109 в нем. Такой локальный экстремум, наблюдаемый вдоль грубой границы, формирует граничный элемент (показанный с помощью пунктирной линии 2110).

Второй этап (этап 2) состоит из нахождения оптимального пути, соединяющего граничные элементы. Вычисляется матрица подобия , в которой является расстоянием между двумя граничными элементами и является постоянным значением. Путь представляет собой упорядоченную последовательность граничных элементов, где является индексом граничных элементов на пути, а - индексом граничных элементов внутри окрестности .

Далее определим весовую функцию в виде суммы трех компонентов: общее кардинальное число (число пикселей каждого граничного элемента), регулярность пути (близость соседних граничных элементов на пути) и число граничных элементов на пути:

.

представляют собой весовые коэффициенты. Лучшие пути имеют большие значения кардинального числа и регулярности и должны содержать меньшее число граничных элементов.

Оптимальный путь находится с использованием алгоритма динамического программирования (Фиг. 22), как описано ниже.

Выбираются S2201 первый и последний граничные элементы.

Сначала сфера заранее заданного радиуса выбирается вокруг первой точки (S2202). Для всех элементов из внутри вычисляется (S2203) весовая функция пути в отношении первого элемента .

На i-ом этапе алгоритма динамического программирования выбирается большая сфера вокруг первой точки (S2204). Для каждого элемента из внутри , но снаружи (обозначим набор этих элементов как ) вычисляются весовые функции путей в отношении каждого элемента из . Пусть вес пути от до является максимальным для всех путей от до элементов из . Впоследствии наилучший путь от до включает в себя наилучший путь от до и веса (S2205).

Алгоритм динамического программирования останавливается, когда найден наилучший путь от до (S2206). Граница сегмента является замкнутой, так что на ней выбирается любой граничный элемент и вычисляется положение точки напротив него. Затем оптимальные пути вычисляются от до и от до , так что они будут принадлежать разным половинам окрестности , и алгоритм динамического программирования запускается дважды.

Третий этап (этап 3) состоит из получения границ сегментов. Его цель заключается в создании замкнутого контура из граничных элементов, выбранных из элементов оптимального пути . Определим оптимальную граничную маску в виде матрицы того же размера, что и исходное изображение, причем , если пиксель исходного изображения принадлежит элементам , и в противном случае. Для решения этой проблемы используется метод активных «змеевидных» контуров с использованием в качестве исходного изображения (который раскрыт, например, в документе ʺSnakes, Shapes, and Gradient Vector Flowʺ, C. Xu, 1998).

Наилучший вариант осуществления

В наилучшем варианте осуществления угол ϑ ориентации квантуется на 8 или 16 направлений. Поворот компонентов изображения выполняется с использованием билинейного интерполирования.

Исходные центры компонентов изображения размещаются в шахматной сетке (Фиг. 23). Для оценки карты интереса был применен дескриптор SUSAN (Фиг. 24) (который раскрыт, например, в документах: S.M. Smith and J.M. Brady (May 1997). "SUSAN - a new approach to low level image processing". International Journal of Computer Vision 23 (1): 45-78. doi:10.1023/A:1007963824710, и S.M. Smith and J.M. Brady (January 1997), "Method for digitally processing images to determine the position of edges and/or corners therein for guidance of unmanned vehicle", патенте UK 2272285 (патентообладатель: Министерство обороны Великобритании)). Модифицированная шахматная сетка, полученная с использованием величины обратной дескриптору SUSAN, показана на Фиг. 25-26.

Следует отметить, что точки, показанные на Фиг. 23, представляют собой узлы регулярной шахматной сетки, в то время как точки, показанные на Фиг. 25, представляют собой узлы модифицированной шахматной сетки (которая больше не является регулярной). В то же время узлы сетки, показанной на Фиг. 25, смещены относительно исходных узлов на Фиг. 23, чтобы приблизиться к ближайшему соседнему локальному максимуму дескриптора SUSAN, при условии, что максимум существует в ближайшей окрестности. Что касается Фиг. 26, стрелки указывают смещения между узлами регулярной сетки (показанной в виде светлых кружков) и узлами модифицированной сетки (показанной в виде темных кружков).

Для сохранения баз данных с текстурами были использованы деревья с 4-7 уровнями и компонентами k=3 на каждом уровне.

В случае, когда оставшиеся узлы содержат несколько соответствующих компонентов изображения, используется разложение на основные компоненты для формирования одного окончательного высокочастотного компонента изображения.

Для областей, не охваченных сегментами, присутствующими в базе данных с текстурами, предлагается использовать традиционные методы повышения резкости и усиления контуров.

Признаки сегментов были следующими: средние значения каналов красного, зеленого и синего цвета, средние значения каналов оттенка и насыщенности; модифицированные признаки Харалика для зернистости и контрастности (см. документ Haralick R.M., ʺStatistical and structural approaches to textureʺ, Proc IEEE, 1979, 67(5):786-804), модифицированные признаки Тамура для зернистости, контрастности, направленности и нечеткости (см. документ Tamura H, Mori S, Yamawaki T., ʺTextural features corresponding to visual perceptionʺ, IEEE Trans Syst Man Cybernet. 1978, 8:460-473), модифицированные признаки Канни для зернистости (см. документ J. Canny, ʺA computational approach to edge detectionʺ, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, vol. 8, no. 6, pp. 679-698), модифицированные признаки Амадасуна для зернистости и контрастности (см. документ Amadasun M., King R., ʺTextural features corresponding to textural propertiesʺ, IEEE Trans Syst Man Cybernet. 1989, 19(5):1264-1274) и признаки Ву для зернистости, контрастности, периодичности и нечеткости (см. документ Chung-Ming Wu,Yung-Chang Chen, ʺStatistical Feature Matrix for Texture Analysis. Graphical models and image processingʺ, 1992, Vol. 54, No. 5, September, pp. 407-419). Модификации были выполнены с тем, чтобы обеспечить вычисление этих признаков текстур только внутри заданного сегмента изображения. Расстояние между вектором признаков рассматриваемого сегмента изображения и наиболее похожего вектора признаков из базы данных было вычислено с использованием заранее заданных весов.

Оценка движения была использована для распространения текстур из предыдущего кадра в случае видеообработки.

Промышленная применимость

Предложенный способ применим к бытовым электронным устройствам, выполняющим повышающее масштабирование изображения, таким как телевизоры, DVD/BD-плееры и телевизионные приставки и т.д.

Хотя в данном документе были раскрыты примерные варианты осуществления настоящего изобретения, следует отметить, что в этих вариантах осуществления настоящего изобретения могут быть выполнены любые различные изменения и модификации без отступления от объема правовой охраны, который определяется приложенной формулой изобретения. В приложенной формуле изобретения упоминание элементов в единственном числе не исключает наличия множества таких элементов, если в явном виде не указано иное.

Группа изобретений относится к технологиям обработки изображений, в частности, для формирования изображений сверхвысокого разрешения. Техническим результатом является увеличение разрешения и уровня детализации входного изображения, что обеспечивает улучшение качества изображения. Предложен способ обработки изображений. Способ содержит этап, на котором обеспечивают по меньшей мере одно входное изображение. Далее согласно способу масштабируют входное изображение для формирования масштабированного изображения. Далее сегментируют масштабированное изображение на неперекрывающиеся сегменты изображения, причем каждый сегмент изображения состоит из множества компонентов изображения. Выполняют обработку в отношении каждого из сегментов изображения, причем упомянутая обработка содержит вычисление вектора признаков, характеризующего признаки текстуры и цвета в сегменте изображения. 2 н. и 20 з.п. ф-лы, 35 ил.

1. Способ обработки изображений, содержащий этапы, на которых:

обеспечивают по меньшей мере одно входное изображение;

масштабируют входное изображение для формирования масштабированного изображения;

сегментируют масштабированное изображение на неперекрывающиеся сегменты изображения, причем каждый сегмент изображения состоит из множества неперекрывающихся компонентов изображения;

выполняют обработку в отношении каждого из сегментов изображения, причем упомянутая обработка содержит:

- вычисление вектора признаков, характеризующего признаки текстуры и цвета в сегменте изображения;

- осуществление доступа к базе данных, состоящей из поля векторов признаков, включающего в себя множество разных векторов признаков, поля низкочастотных компонентов изображения, включающего в себя множество разных подбаз данных с низкочастотными компонентами изображения, и поля высокочастотных компонентов изображения, включающего в себя множество разных подбаз данных с высокочастотными компонентами изображения, причем каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей одной подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения;

- определение вектора признаков в поле векторов признаков в базе данных, который наиболее похож на вычисленный вектор признаков сегмента изображения;

- выбор подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков;

- выполнение подобработки в отношении каждого компонента изображения, принадлежащего сегменту изображения, причем упомянутая подобработки содержит:

-- определение в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотного компонента изображения, наиболее похожего на компонент изображения сегмента изображения;

-- извлечение из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотного компонента изображения, соответствующего определенному низкочастотному компоненту изображения;

-- добавление извлеченного высокочастотного компонента изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения; и

-- объединение всех компонентов изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения; и

- объединение всех сегментов изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение; и

отображают выходное изображение.

2. Способ по п. 1, в котором признаки текстуры и цвета в векторе признаков каждого сегмента изображения содержат по меньшей мере одно из следующего:

средние значения красного, зеленого и синего цвета,

средние значения оттенка и насыщенности,

модифицированные признаки Харалика для зернистости и контрастности,

модифицированные признаки Тамура для зернистости, контрастности, направленности и нечеткости,

модифицированные признаки Канни для зернистости,

модифицированные признаки Амадасуна для зернистости и контрастности и

признаки Ву для зернистости, контрастности, периодичности и нечеткости.

3. Способ по п. 1, в котором этап масштабирования выполняют с использованием операции интерполирования.

4. Способ по п. 3, в котором операцией интерполирования является операция билинейного интерполирования.

5. Способ по п. 1, в котором база данных организована в виде дерева.

6. Способ по п. 1, в котором этап извлечения высокочастотного компонента изображения содержит этапы, на которых:

выбирают угол ориентации для каждого низкочастотного компонента изображения, причем угол ориентации для каждого низкочастотного компонента изображения обеспечивает максимальную симметрию относительно заданной оси;

осуществляют поворот каждого низкочастотного компонента изображения на угол ориентации;

осуществляют нормировку каждого низкочастотного компонента изображения с использованием коэффициента нормировки;

выбирают высокочастотный компонент изображения для каждого низкочастотного компонента изображения;

осуществляют поворот каждого высокочастотного компонента изображения на величину, обратную углу ориентации; и

умножают каждый высокочастотный компонент изображения на коэффициент нормировки.

7. Способ по п. 6, в котором коэффициент нормировки выбирают на основании конкретного типа параметров каждого низкочастотного компонента изображения.

8. Способ по п. 7, в котором параметры содержат одно из следующего:

стандартное отклонение каждого низкочастотного компонента изображения и

разность минимального и максимального значений каждого низкочастотного компонента изображения, и

при этом коэффициент нормировки пропорционален стандартному отклонению низкочастотного компонента изображения или пропорционален разности минимального и максимального значений соответствующего низкочастотного компонента изображения.

9. Способ по п. 6, в котором база данных дополнительно содержит поле метаданных, содержащее одно или более значений коэффициента нормировки.

10. Способ по п. 1, в котором этап сегментирования содержит этапы, на которых:

выполняют первоначальное грубое сегментирование; и

улучшают первоначальное грубое сегментирование посредством:

получения набора граничных элементов для каждого сегмента изображения,

выбора оптимальных граничных элементов из набора граничных элементов и

получения непрерывной границы для каждого сегмента на основании выбранных оптимальных граничных элементов.

11. Способ по п. 10, в котором первоначальное грубое сегментирование выполняют посредством кластеризации пикселей на основании яркости, цвета, текстуры.

12. Способ по п. 10, в котором по меньшей мере одно входное изображение представляет собой последовательность видеоизображений, при этом первоначальное грубое сегментирование выполняют на основании оценки движения и/или оценки глубины для последовательности видеоизображений.

13. Способ по п. 10, в котором первоначальное грубое сегментирование выполняют посредством выбора пользователем вручную набора граничных элементов для каждого сегмента изображения.

14. Способ по п. 10, в котором оптимальные граничные элементы выбирают посредством динамического программирования.

15. Способ по п. 10, в котором непрерывную границу получают за счет использования модели активного контура.

16. Способ по п. 1, в котором база данных составлена из и заполнена разными низкочастотными компонентами изображения и высокочастотными компонентами изображения с использованием алгоритма обучения, содержащего этапы, на которых:

преобразуют обучающее изображение из первого цветового пространства во второе цветовое пространство для обеспечения двух раздельных каналов данных о яркости и цветности;

осуществляют понижающее масштабирование канала данных о яркости;

осуществляют повышающее масштабирование подвергнутого понижающему масштабированию канала данных о яркости для получения низкочастотного изображения, состоящего из низкочастотных компонентов изображения;

вычитают низкочастотное изображение из исходного канала данных о яркости для получения высокочастотного изображения, состоящего из высокочастотных компонентов изображения;

группируют низкочастотные компоненты изображения в виде подбазы данных с низкочастотными компонентами изображения; и

группируют высокочастотные компоненты изображения в виде подбазы данных с высокочастотными компонентами изображения.

17. Способ по п. 16, в котором первое цветовое пространство представляет собой цветовое пространство RGB, а второе цветовое пространство представляет собой одно из цветовых пространств YCbCr, YUV, HSV, LaB.

18. Способ по п. 1, в котором упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняют непосредственно за счет соединения вплотную друг к другу компонентов изображения сверхвысокого разрешения и соединения вплотную друг к другу сегментов изображения сверхвысокого разрешения.

19. Способ по п. 1, в котором упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняют за счет использования перекрытия и взвешивания компонентов изображения сверхвысокого разрешения и сегментов изображения сверхвысокого разрешения.

20. Способ по п. 1, в котором упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняют с использованием способов разреза графов, чтобы получить максимально гладкую границу между разными компонентами изображения сверхвысокого разрешения и разными сегментами изображения сверхвысокого разрешения.

21. Система обработки изображений, содержащая:

приемник, выполненный с возможностью приема и декодирования по меньшей мере одного входного изображения;

средство масштабирования, выполненное с возможностью масштабирования входного изображения для формирования масштабированного изображения;

блок сегментирования, выполненный с возможностью сегментирования масштабированного изображения на неперекрывающиеся сегменты изображения, причем каждый сегмент изображения состоит из множества компонентов изображения;

блок извлечения признаков, выполненный с возможностью вычисления для каждого сегмента изображения вектора признаков, содержащего признаки текстуры и цвета;

блок хранения, выполненный с возможностью хранения базы данных, состоящей из поля векторов признаков, включающего в себя множество разных векторов признаков, поля низкочастотных компонентов изображения, включающего в себя множество разных подбаз данных с низкочастотными компонентами изображения, и поля высокочастотных компонентов изображения, включающего в себя множество разных подбаз данных с высокочастотными компонентами изображения, причем каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей одной подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения;

блок сопоставления признаков, выполненный с возможностью:

осуществления доступа к базе данных и определения вектора признаков в поле векторов признаков в базе данных, который наиболее похож на вычисленный вектор признаков сегмента изображения, и

выбора подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков;

блок текстурирования, выполненный с возможностью для каждого компонента изображения, принадлежащего сегменту изображения:

определения в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотного компонента изображения, наиболее похожего на компонент изображения сегмента изображения;

извлечения из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотного компонента изображения, соответствующего определенному низкочастотному компоненту изображения;

добавления извлеченного высокочастотного компонента изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения;

объединения всех компонентов изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения; и

объединения всех сегментов изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение; и

блок отображения, выполненный с возможностью отображения выходного изображения.

22. Система по п. 21, установленная в телевизорах, DVD/BD-плеерах, телевизионных приставках.