УСТРОЙСТВО ДЛЯ СОВЕРШЕНСТВОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ СОВЕРШЕНСТВОВАНИЯ ИЗОБРАЖЕНИЙ, ПРОГРАММА ДЛЯ СОВЕРШЕНСТВОВАНИЯ ИЗОБРАЖЕНИЙ И УСТРОЙСТВО ДЛЯ ОБРАБОТКИ СИГНАЛОВ Российский патент 2013 года по МПК H04N5/208 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройствам для совершенствования изображений, способам совершенствования изображений и программам для совершенствования изображений для обеспечения улучшенного качества изображения посредством повышения резкости изображения. В более общем случае, настоящее изобретение относится к устройствам для обработки сигналов или тому подобному для улучшения качества сигнала, таким как устройство для совершенствования изображений, подходящее для повышения резкости движущихся изображений, отображаемых в реальном времени, например, в телевизионных (TV) приемниках.

УРОВЕНЬ ТЕХНИКИ

Широко известны способы совершенствования изображений для улучшенного качества изображения посредством повышения резкости изображения. Например, в известных телевизионных приемниках может использоваться способ компенсации контуров для улучшения крутизны переднего фронта/заднего фронта в сигналах изображения, которые представляют контуры изображений, подлежащих отображению. При компенсации контуров из видеосигналов (сигналы яркости) выделяют высокочастотные компоненты перед их вводом в устройство отображения телевизионного приемника. Высокочастотные компоненты усиливают, а затем добавляют к видеосигналу, в результате чего достигается улучшенное визуальное качество отображаемого изображения посредством улучшения частотных характеристик деградированных видеосигналов после различных процессов обработки, выполненных в нескольких цепях, начиная с исходного ввода в приемник, и кончая конечным вводом в устройство отображения.

Известные способы совершенствования изображений, в том числе вышеописанная компенсация контуров, в общем случае основаны на линейной обработке цифровых сигналов, и по этой причине ни в одном из этих способов нельзя использовать частотные компоненты, имеющие частоту, превышающую частоту Найквиста, то есть, любые частотные компоненты, имеющие частоту, превышающую половину частоты дискретизации целевого изображения. Следовательно, невозможно восстановить частотные компоненты, имеющие частоты, превышающие частоту Найквиста, для обеспечения улучшенного качества изображения, или выполнить повышение резкости изображения путем использования указанных частотных компонент. В результате, имеет место проблема, например, в системе телевидения HDTV (телевидение высокой четкости). В частности, в телевизионных приемниках системы «Full High-Vision» (1080×1920 пикселей), когда разрешающая способность входящих сигналов изображения ниже, чем в системе HDTV и в устройстве отображения выполняется процесс укрупнения изображения, результирующие изображения оказываются размытыми. Поскольку эти размытые изображения не имеют частотных компонент, близких к частоте Найквиста, ни один из известных способов совершенствования изображений не способен обеспечить выделение целевых частотных компонент для усиления, и, следовательно, невозможно улучшить качество этих изображений.

В попытках решения указанной проблемы используются различные подходы. Одним из примеров является попытка использовать межкадровую или внутрикадровую автокорреляцию и т.д. (см., например, не патентный документ 1 и патентный документ 3), чтобы повысить разрешающую способность с целью получения резких изображений даже в том случае, если вышеописанные процессы укрупнения изображения уже выполнены. Другим примером является попытка использовать анизотропные диффузионные фильтры (см., например, не патентный документ 2) для сглаживания, до определенной степени, краев в тангенциальных направлениях при сглаживании, до другой определенной степени, краев в вертикальном направлении. Еще одним примером является устройство обработки изображений (патентный документ 1), в котором используются нелинейные схемы для регулирования величины выреза, величины отсечения, величины улучшения контуров, величины ограничения и т.д. сигнала, добавляемого к сигналу изображения, для выделения высокочастотных компонент с целью обеспечения улучшенного качества изображения. Также предложена схема компенсации качества изображения, в которой используются схемы нелинейного преобразования (Патентный документ 2) для подавления «звона» (затухающие колебания на заднем фронте импульса) на краевых участках импульса или ступенчатых сигналов в сигналах изображения, с целью компенсации высокочастотных сигналов без снижения уровня качества изображения.

ДОКУМЕНТЫ, ОТНОСЯЩИЕ К ИЗВЕСТНОМУ УРОВНЮ ТЕХНИКИ

Патентные документы

Патентный документ 1: Бюллетень JPA 2006-304352

Патентный документ 2: Бюллетень JPA H7-312704

Патентный документ 3: Бюллетень JPA 2007-310837

Не патентные документы

Не патентный документ 1: «A Study on One Frame Reconstruction-based Supper-resolution Using Image Segmentation», Nobuyuki Matsumoto and Takashi Ida, Technical Research Reports, The Institute of Electronics, Information and Communication Engineers, Vol. 108, Issue 4 pp. 31-36, IE2008-6, April 2008.

Не патентный документ 2: “Modeling Texture with Total variation Minimization and Oscillating Patterns in Image Processing”, Liminuta A. Vese and Stanley J.Osher, Journal of Scientific Computing, Vol. 19, Nos. 1 -3, December 2003.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, РЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

Однако способ повышения разрешающей способности, в котором используются анизотропные диффузионные фильтры и который раскрыт в не патентном документе 2, требует усложненных процессов обработки и не применим для таких процессов, как отображение движущихся изображений в телевизионных приемниках, где требуется обработка в режиме реального времени. Способ повышения разрешающей способности, раскрытый в не патентном документе 1, может быть приемлемым, но он связан с большим ростом затрат, поскольку для него потребуется массивная LSI. В устройстве для обработки изображений, описанном в Патентном документе 1, и в схеме компенсации качества изображения, описанной в Патентном документе 2, необходимо использование нелинейной обработки только для ограниченных целей, таких как операция отсечения сигнала, добавляемого к сигналу изображения, подавление «звона» при компенсации высокочастотных сигналов и т.д. Указанная схема компенсации качества изображения или устройство обработки изображений не может обеспечить достаточную резкость изображения при отображении изображений, подвергнутых вышеописанным процессам укрупнения изображения.

Следовательно, целью настоящего изобретения является обеспечение устройств для совершенствования изображений, способов совершенствования изображений и т.д., которые способны обеспечить достаточное повышение резкости изображения, в результате чего улучшается качество изображения не только в случае неподвижных изображений, но также и для движущихся изображений, и для случаев, когда эти изображения уже подверглись процессам укрупнения изображений, как было описано выше, посредством подходящей высокочастотной компенсации при использовании простой конфигурации. В более общем случае, целью настоящего изобретения является обеспечение устройств для обработки сигналов и т.д., которые способны улучшить качество сигналов посредством подходящей высокочастотной компенсации с простой конфигурацией.

СРЕДСТВА РЕШЕНИЯ УКАЗАННЫХ ПРОБЛЕМ

Первый аспект настоящего изобретения обеспечивает устройство для совершенствования изображений для повышения резкости изображения, представленного входным сигналом, которое содержит:

секцию фильтра для создания первого сигнала путем удаления из входного сигнала, который представляет изображение, по меньшей мере постоянной составляющей частотных компонент, содержащихся во входном сигнале;

нелинейный процессор для создания второго сигнала путем выполнения нелинейного процесса с первым сигналом; и

секцию сумматора для добавления второго сигнала к входному сигналу.

В этой конфигурации нелинейный процессор

создает третий сигнал на основе первого сигнала, причем третий сигнал монотонно возрастает в широком смысле, нелинейно или при положительно-отрицательной симметрии относительно первого сигнала, по меньшей мере, в окрестности нуля, и

создает второй сигнал на основе третьего сигнала, так что положительные и отрицательные знаки в первом сигнале по существу сохраняются во втором сигнале, когда второй сигнал не содержит постоянную составляющую.

Согласно второму аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно первому аспекту настоящего изобретения, где нелинейный процессор

создает третий сигнал путем возведения первого сигнала в заранее определенную степень, где показатель степени равен двум или большему четному числу, и

создает второй сигнал на основе третьего сигнала, так что положительные и отрицательные знаки в первом сигнале по существу сохраняются во втором сигнале.

Согласно третьему аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно второму аспекту настоящего изобретения, где нелинейный процессор включает в себя:

оператор возведения в степень для создания третьего сигнала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен двум или большему четному числу;

первый дифференцирующий блок для создания четвертого сигнала путем дифференцирования третьего сигнала;

второй дифференцирующий блок для создания пятого сигнала путем дифференцирования входного сигнала; и

умножитель для создания второго сигнала на основе произведения четвертого сигнала и пятого сигнала.

Согласно четвертому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно второму аспекту настоящего изобретения, где нелинейный процессор включает в себя:

оператор возведения в степень для создания третьего сигнала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен двум или большему четному числу; и

преобразователь знака для изменения положительных или отрицательных знаков на противоположные в третьем сигнале на основе первого сигнала, если положительные или отрицательные знаки отличаются от соответствующих знаков в первом сигнале, для создания второго сигнала на основе третьего сигнала.

Согласно пятому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно второму аспекту настоящего изобретения, где нелинейный процессор включает в себя:

оператор возведения в степень для создания третьего сигнала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен двум или большему четному числу;

фильтр для создания четвертого сигнала путем удаления постоянной составляющей из третьего сигнала; и

преобразователь знака для изменения положительных или отрицательных знаков на противоположные в четвертом сигнале на основе первого сигнала, если положительные или отрицательные знаки отличаются от соответствующих знаков в первом сигнале, для создания второго сигнала на основе четвертого сигнала.

Согласно шестому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно первому аспекту настоящего изобретения, где нелинейный процессор

создает в качестве третьего сигнала сигнал, представляющий абсолютное значение первого сигнала, и

создает второй сигнал на основе третьего сигнала, так что положительные и отрицательные знаки в первом сигнале по существу сохраняются во втором сигнале.

Согласно седьмому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно шестому аспекту настоящего изобретения, где нелинейный процессор включает в себя:

процессор абсолютного значения для создания в качестве третьего сигнала, сигнала, представляющего абсолютное значение первого сигнала;

первый дифференцирующий блок для создания четвертого сигнала путем дифференцирования третьего сигнала;

второй дифференцирующий блок для создания пятого сигнала путем дифференцирования входного сигнала; и

умножитель для создания второго сигнала на основе произведения четвертого сигнала и пятого сигнала.

Согласно восьмому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно шестому аспекту настоящего изобретения, где нелинейный процессор включает в себя:

процессор абсолютного значения для создания в качестве третьего сигнала, сигнала представляющего абсолютное значение первого сигнала;

фильтр для создания четвертого сигнала путем удаления постоянной составляющей из третьего сигнала; и

преобразователь знака для изменения положительных или отрицательных знаков на противоположные в четвертом сигнале на основе первого сигнала, если положительные или отрицательные знаки отличаются от соответствующих знаков в первом сигнале, для создания второго сигнала на основе четвертого сигнала.

Согласно девятому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно первому аспекту настоящего изобретения, где нелинейный процессор создает третий сигнал сначала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен трем или большему нечетному числу, а затем создает второй сигнал на основе третьего сигнала.

Согласно десятому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно девятому аспекту настоящего изобретения, где нелинейный процессор включает в себя:

оператор возведения в степень для создания третьего сигнала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен трем или большему нечетному числу; и

регулятор для создания второго сигнала путем регулирования амплитуды третьего сигнала.

Согласно одиннадцатому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно первому аспекту настоящего изобретения, где нелинейный процессор создает третий сигнал таким образом, что абсолютное значение третьего сигнала превышает абсолютное значение первого сигала по меньшей мере в одном диапазоне в вышеупомянутой окрестности нуля.

Согласно двенадцатому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно первому аспекту настоящего изобретения, где нелинейный процессор создает третий сигнал на основе первого сигнала, причем третий сигнал монотонно возрастает в широком смысле, нелинейно или при положительно-отрицательной симметрии относительно первого сигнала по меньшей мере в диапазоне, где первый сигнал имеет амплитуду, не превышающую половину его максимальной амплитуды.

Согласно тринадцатому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно первому аспекту настоящего изобретения, где секция фильтра включает в себя цифровой фильтр верхних частот с тремя или более отводами.

Согласно четырнадцатому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно первому аспекту настоящего изобретения, где нелинейный процессор включает в себя:

блок округления для замены значения части первого сигнала на нуль, если значение сигнала имеет абсолютное значение, меньшее заранее определенного нижнего предельного значения; и

ограничитель для замены значения части первого сигнала на заранее определенное значение замены, если сигнал имеет абсолютное значение, превышающее заранее определенное верхнее предельное значение, причем заранее определенное значение замены имеет абсолютное значение, не превышающее верхнее предельное значение.

Согласно пятнадцатому аспекту настоящего изобретения обеспечивается устройство для совершенствования изображений согласно первому аспекту настоящего изобретения, где нелинейный процессор включает в себя регулятор для регулирования амплитуды второго сигнала.

Другие аспекты настоящего изобретения здесь не описываются, поскольку они станут ясными исходя из вышеописанных аспектов с первого по пятнадцатый, и соответствующих описаний, относящихся к вариантам изобретения, которые будут предложены ниже.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

Согласно первому аспекту настоящего изобретения в качестве первого сигнала создается сигнал, получаемый путем удаления постоянных составляющих из первого сигнала. Второй сигнал создается путем нелинейной обработки первого сигнала. В частности, создается третий сигнал, который монотонно возрастает в широком смысле, нелинейно или при положительно-отрицательной симметрии по отношению к первому сигналу по меньшей мере в окрестности нуля, и на основе этого третьего сигнала создается второй сигнал. Во втором сигнале сохраняются положительные и отрицательные знаки как в первом сигнале, и, вдобавок, второй сигнал не содержит постоянных составляющих. Как было сказано, второй сигнал добавляется к входному сигналу. Сигнал, полученный в результате такого добавления, является выходным сигналом устройства для совершенствования изображений. Поскольку нелинейный процесс, выполняемый с первым сигналом, порождает гармоники исходного сигнала, выходной сигнал содержит компоненты более высоких частот, чем частота Найквиста fs/2, которая является частотой Найквиста частоты дискретизации fs, используемой для получения дискретных сигналов из входного сигнала. По этой причине можно существенно улучшить качество изображения по сравнению с известными устройствами для совершенствования изображений, которые основаны на линейной обработке. Также, поскольку открывается возможность существенного повышения резкости изображений при простой конфигурации, можно улучшить качество не только для неподвижных изображений, но также для движущихся изображений, которые отображаются в режиме реального времени, без существенного увеличения затрат. Кроме того, в тех случаях, когда входной сигнал обеспечивается сигналом изображения, который был подвергнут процессам обработки, связанным с укрупнением изображения, первый аспект настоящего изобретения обеспечивает значительное улучшение качества изображения путем достаточного повышения резкости изображения, которое уже было подвергнуто процессам укрупнения, по сравнению с известными устройствами для совершенствования изображений, которые не способны обеспечить компенсацию высокочастотных диапазонов, расположенных за частотой Найквиста fs/2.

Согласно второму аспекту настоящего изобретения выполняется возведение первого сигнала в степень с показателем степени, равным двум или большему четному числу. На основе этого вычисления степени создается второй сигнал, так что во втором сигнале сохраняются положительные и отрицательные знаки, как в первом сигнале, и этот второй сигнал добавляется к входному сигналу. Таким образом, можно обеспечить существенное улучшение качества изображения по сравнению с известными устройствами для совершенствования изображений, которые основаны на линейной обработке. Также, поскольку можно обеспечить существенное повышение резкости изображений при простой конфигурации, открывается возможность улучшения качества не только для неподвижных изображений, но также для движущихся изображений, которые отображаются в режиме реального времени, без существенного увеличения затрат. Кроме того, в тех случаях, когда входной сигнал обеспечивается сигналом изображения, который был подвергнут процессам обработки, связанным с укрупнением изображения, второй аспект настоящего изобретения обеспечивает лучшие рабочие характеристики, чем известные устройства для совершенствования изображений, при улучшении качества изображения путем повышения резкости изображения.

Согласно третьему аспекту настоящего изобретения первый сигнал возводится в степень, где показатель степени равен двум или большему четному числу для создания третьего сигнала. Путем дифференцирования третьего сигнала создается четвертый сигнал, который не содержит постоянных составляющих. Кроме того, дифференцируют входной сигнал для получения пятого сигнала, который умножают на четвертый сигнал для создания второго сигнала, в котором сохраняются положительные и отрицательные знаки, как в первом сигнале. Как было описано выше, создание второго сигнала в качестве компенсационного сигнала, добавляемого к входному сигналу, основано на первом сигнале, возведенном в степень, равную двум или большему четному числу, и сохранении положительных и отрицательных знаков, обнаруженных в первом сигнале. Таким образом, третий аспект настоящего изобретения обеспечивает такие же преимущества, как и второй аспект настоящего изобретения.

Согласно четвертому аспекту настоящего изобретения первый сигнал возводится в степень, где показатель степени равен двум или большему четному числу для создания третьего сигнала. Второй сигнал создают на основе третьего сигнала путем изменения положительных или отрицательных знаков в третьем сигнале на противоположные на основе первого сигнала, если эти положительные или отрицательные знаки отличаются от соответствующих знаков в первом сигнале. Как было описано выше, создание второго сигнала, добавляемого к входному сигналу, основано на первом сигнале, возведенном в степень, равную двум или большему четному числу, и сохранении положительных и отрицательных знаков, обнаруженных в первом сигнале. Таким образом, четвертый аспект настоящего изобретения обеспечивает такие же преимущества, как и второй аспект настоящего изобретения.

Согласно пятому аспекту настоящего изобретения первый сигнал возводится в степень, где показатель степени равен двум или большему четному числу для создания третьего сигнала. Четвертый сигнал создается путем удаления постоянных составляющих из третьего сигнала. Второй сигнал создают на основе четвертого сигнала путем изменения положительных или отрицательных знаков в четвертом сигнале на противоположные на основе первого сигнала, если эти положительные или отрицательные знаки отличаются от соответствующих знаков в первом сигнале. Как было описано выше, создание второго сигнала, добавляемого к входному сигналу, основано на первом сигнале, возведенном в степень, равную двум или большему четному числу, и сохранении положительных и отрицательных знаков, обнаруженных в первом сигнале. Таким образом, пятый аспект настоящего изобретения обеспечивает такие же преимущества, как и второй аспект настоящего изобретения. Кроме того, поскольку второй сигнал создают из сигнала, который получен из третьего сигнала путем удаления постоянных составляющих, пятый аспект настоящего изобретения обеспечивает более высокий уровень компенсации и способен повысить резкость изображения в большей степени, чем четвертый аспект настоящего изобретения.

Согласно шестому аспекту настоящего изобретения второй сигнал создают на основе абсолютных значений первого сигнала, и поэтому второй сигнал содержит гармонические компоненты, частоты которых в два или более раз превышают частоты частотных компонент во входном сигнале. Также второй сигнал создается таким образом, что в нем сохраняются положительные и отрицательные знаки, как в первом сигнале. Благодаря добавлению второго сигнала, как было описано выше, к входному сигналу открывается возможность существенного улучшения качества изображения по сравнению с известными устройствами для совершенствования изображений, которые основаны на линейной обработке. Также, поскольку можно обеспечить существенное повышение резкости изображений при простой конфигурации, можно улучшить качество не только для неподвижных изображений, но также для движущихся изображений, которые отображаются в режиме реального времени без существенного увеличения затрат. Кроме того, в тех случаях, когда входной сигнал обеспечивается сигналом изображения, который был подвергнут процессам обработки, связанным с укрупнением изображения, шестой аспект настоящего изобретения обеспечивает лучшие рабочие характеристики, чем известные устройства для совершенствования изображений при улучшении качества изображения путем повышения резкости изображения.

Согласно седьмому аспекту настоящего изобретения в качестве третьего сигнала создают сигнал, представляющий абсолютные значения первого сигнала. Путем дифференцирования третьего сигнала создается четвертый сигнал, который не содержит постоянных составляющих. Кроме того, дифференцируют входной сигнал для получения пятого сигнала, который затем умножают на четвертый сигнал для создания второго сигнала, в котором сохраняются положительные и отрицательные знаки, как в первом сигнале. Как было описано выше, создание второго сигнала добавляемого к входному сигналу, основано на абсолютном значении первого сигнала и сохранении положительных и отрицательных знаков, обнаруженных в первом сигнале. Таким образом, седьмой аспект настоящего изобретения обеспечивает такие же преимущества, как и шестой аспект настоящего изобретения.

Согласно восьмому аспекту настоящего изобретения в качестве третьего сигнала создают сигнал, представляющий абсолютные значения первого сигнала. Путем удаления постоянных составляющих из третьего сигнала создается четвертый сигнал. Затем создают второй сигнал на основе четвертого сигнала путем изменения положительных или отрицательных знаков в четвертом сигнале на противоположные на основе первого сигнала, если эти положительные или отрицательные знаки отличаются от соответствующих знаков в первом сигнале. Как было описано выше, создание второго сигнала, добавляемого к входному сигналу, основано на абсолютном значении первого сигнала и сохранении положительных и отрицательных знаков, обнаруженных в первом сигнале. Таким образом, восьмой аспект настоящего изобретения обеспечивает такие же преимущества, как и шестой аспект настоящего изобретения.

Согласно девятому аспекту настоящего изобретения первый сигнал возводится в степень, где показатель степени равен трем или большему нечетному числу, для создания второго сигнала, причем в этом втором сигнале сохраняются положительные и отрицательные знаки, как в третьем сигнале. Как было описано выше, создание второго сигнала, добавляемого к входному сигналу, основано на первом сигнале, возведенном в степень, равную трем или большему нечетному числу, так что не требуется специальный процесс для сохранения положительных и отрицательных знаков, обнаруженных в первом сигнале. Следовательно, открывается возможность существенного улучшения качества изображения при более простой конфигурации по сравнении с известными устройствами для совершенствования изображений, которые основаны на линейной обработке. Также, поскольку можно обеспечить достаточное повышение резкости изображений при простой конфигурации, можно повысить качество изображения не только для неподвижных изображений, но также для движущихся изображений, которые отображаются в режиме реального времени, без существенного увеличения затрат. Кроме того, в тех случаях, когда входной сигнал обеспечивается сигналом изображения, который был подвергнут процессам обработки, связанным с укрупнением изображения, девятый аспект настоящего изобретения обеспечивает лучшие рабочие характеристики, чем известные устройства для совершенствования изображений при улучшении качества изображения путем повышения резкости изображения.

Согласно десятому аспекту настоящего изобретения первый сигнал возводится в степень, где показатель степени равен трем или большему нечетному числу, для создания третьего сигнала, причем второй сигнал создается путем регулирования амплитуды третьего сигнала. Это означает, что даже в том случае, если третий сигнал имеет завышенную амплитуду (уровень сигнала) в результате операции возведения в степень первого сигнала, к входному сигналу добавляется второй сигнал, который имеет подходящую амплитуду. Таким образом, можно обеспечить соответствующее повышение резкости для изображения, представленного входным сигналом.

Согласно одиннадцатому аспекту настоящего изобретения абсолютные значения третьего сигнала превышают абсолютные значения первого сигнала по меньшей мере в одном диапазоне в вышеупомянутой окрестности нуля. Следовательно, возможно достаточное повышение резкости изображения путем добавления второго сигнала, созданного из третьего сигнала, на основе этого диапазона.

Согласно двенадцатому аспекту настоящего изобретения третий сигнал монотонно возрастает в широком смысле, нелинейно или при положительно-отрицательной симметрии по отношению к первому сигналу по меньшей мере в диапазоне, где первый сигнал имеет амплитуду, не превышающую половины его максимальной амплитуды. Таким образом, второй сигнал, созданный в качестве компенсационного сигнала, содержит достаточное количество частотных компонент для использования при компенсации, и, следовательно, возможно достаточное повышение резкости для изображения, представленного входным сигналом, путем добавления к входному сигналу второго сигнала.

Согласно тринадцатому аспекту настоящего изобретения обеспечена секция фильтра на основе цифрового фильтра верхних частот с тремя или более отводами. Таким образом, созданный первый сигнал содержит частотные компоненты для использования при компенсации, и, следовательно, возможно весьма существенное повышение резкости для изображения, представленного входным сигналом, путем добавления второго сигнала к входному сигналу.

Согласно четырнадцатому аспекту настоящего изобретения значения сигнала с абсолютным значением, меньшим заранее определенного нижнего предельного значения, изменяют до нуля, что означает, что шумы, содержащиеся во входном сигнале, не будут усилены в нелинейном процессе, выполняемом с первым сигналом. Также, значения сигнала с абсолютным значением, превышающим заранее определенное верхнее предельное значение, изменяют до заранее определенного значения, имеющего абсолютное значение, не превышающее упомянутое верхнее значение. Это означает, что компоненты сигнала, которые уже обладают достаточной энергией, такие как высокочастотные компоненты, нет необходимости усиливать в ходе нелинейного процесса, выполняемого с первым сигналом. На основе первого сигнала, который формируют, как было описано выше, создается второй сигнал. Следовательно, возможно весьма существенное повышение резкости для изображения, представленного входным сигналом, путем добавления второго сигнала к входному сигналу.

Согласно пятнадцатому аспекту настоящего изобретения регулируют амплитуду второго сигнала, который должен быть добавлен к входному сигналу в качестве компенсационного сигнала, в результате чего выполняется подходящая компенсация для входного сигнала. Следовательно, возможно весьма существенное повышение резкости для изображения, представленного входным сигналом, путем добавления к входному сигналу второго сигнала.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 - блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно первому варианту настоящего изобретения;

Фиг.2 - блок-схема, показывающая конфигурацию фильтра верхних частот (высокочастотного фильтра) в первом варианте;

Фиг.3 - блок-схема, показывающая другую конфигурацию фильтра верхних частот в первом варианте;

Фиг.4 - блок-схема, показывающая конфигурацию дифференцирующего блока в первом варианте;

Фиг.5 - формы сигналов (А-Е) для описания функционирования известного устройства для совершенствования изображений;

Фиг.6 - формы сигналов (А-F) для описания функционирования устройства для совершенствования изображений согласно первому варианту;

Фиг.7 - частотные спектры (A и B) для описания функционирования известного устройства для совершенствования изображений;

Фиг.8 - частотные спектры (A и B) для описания функционирования устройства для совершенствования изображений согласно первому варианту, реализованному применительно к увеличенному изображению;

Фиг.9 - блок-схема для описания первой версии первого варианта;

Фиг.10 - блок-схема, показывающая конфигурацию фильтра верхних частот, используемого в блоке обработки в вертикальном направлении, согласно первой версии;

Фиг.11 - блок-схема, показывающая конфигурацию дифференцирующего блока, используемого в блоке обработки в вертикальном направлении, согласно первой версии;

Фиг.12 - блок-схема для описания второй версии первого варианта;

Фиг.13 - блок-схема, показывающая конфигурацию фильтра верхних частот, используемого в блоке обработки во времени согласно второй версии;

Фиг.14 - блок-схема, показывающая конфигурацию дифференцирующего блока, используемого в блоке обработки во времени согласно второй версии;

Фиг.15 - блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно второму варианту настоящего изобретения;

Фиг.16 - блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно третьему варианту настоящего изобретения;

Фиг.17 - формы сигналов (А-D) для описания функционирования устройства для совершенствования изображений согласно третьему варианту;

Фиг.18 - блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно четвертому варианту настоящего изобретения;

Фиг.19 - блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно пятому варианту настоящего изобретения;

Фиг.20 - формы сигналов (А-E) для описания функционирования устройства для совершенствования изображений согласно четвертому варианту;

Фиг.21 - формы сигналов (А-F) для описания функционирования устройства для совершенствования изображений согласно пятому варианту;

Фиг.22 - блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно шестому варианту настоящего изобретения;

Фиг.23 - блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно седьмому варианту настоящего изобретения;

Фиг.24 - оригинальное изображение, используемое для демонстрации преимуществ настоящего изобретения;

Фиг.25 - изображение объекта, как изображение, полученное в результате первого выполнения процесса укрупнения для оригинального изображения с последующей подгонкой укрупненного изображения;

Фиг.26 - изображение (В) вместе с изображением (A) объекта, после того как изображение объекта было обработано известным устройством для совершенствования изображений;

Фиг.27 - изображение (А) после обработки изображения объекта устройством для совершенствования изображений согласно второму варианту, в то время как изображение (В) представляет изображение после обработки изображения объекта устройством для совершенствования изображений согласно третьему варианту;

Фиг.28 - блок-схема, показывающая конфигурацию персонального компьютера для реализации устройства для совершенствования изображений согласно настоящему изобретению в виде программы для совершенствования изображений с помощью программных средств.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Далее со ссылками на прилагаемые чертежи описываются варианты настоящего изобретения.

1. Первый вариант

1.1 Конфигурация

На Фиг.1 представлена блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно первому варианту настоящего изобретения. Это устройство 100 для совершенствования изображений выполняет с входным сигналом Sin изображения, который вводится в виде цифрового сигнала, представляющего изображение, процесс (далее называемый «совершенствование изображений» или просто «совершенствование»), для повышения резкости изображения, представленного входным сигналом Sin изображения; и включает в себя высокочастотный фильтр 11 (далее называемый фильтр верхних частот или «HPF»), нелинейный процессор 102 и сумматор 16. Нелинейный процессор 102 включает в себя оператор 12 возведения в квадрат, первый дифференцирующий блок 13, второй дифференцирующий блок 14 и умножитель 15. Входной сигнал Sin изображения подается в фильтр HPF 11, второй дифференцирующий блок 14 и сумматор 16. Изображение, представленное входным сигналом Sin изображения, может представлять собой неподвижное изображение или движущееся изображение. В том случае, когда входной сигнал Sin изображения представляет кинофильм, этот кинофильм может быть представлен в стандарте SDTV (телевидение стандартной четкости) или HDTV (телевидение высокой четкости), и должен отображаться в режиме реального времени на соответствующих телевизионных приемниках. Сказанное также относится ко всем другим вариантам.

Фильтр HPF 11 выделяет высокочастотные компоненты, которые содержат компоненты контуров в изображении, представленном входным сигналом Sin изображения. На Фиг.2 представлена блок-схема, показывающая конфигурацию фильтра HPF 11. Как показано на Фиг.2, фильтр HPF содержит трансверсальный цифровой фильтр 110 с m отводами (m ≥ 3), который образован m-1 элементами 111, 112,…, 11(m-1) единичной задержки; m умножителей 121, 122, …, 12m; и сумматор 131. Вдобавок, фильтр HPF имеет блок 132 округления и ограничитель 133. Каждый умножитель 12j умножает входящий сигнал на коэффициент Cj (j=1, …, m) и выводит результат умножения в сумматор 131. Коэффициенты С1-Cm установлены равными таким значениям, при которых цифровой фильтр 110 в HPF 11 функционирует как фильтр верхних частот для выделения высокочастотных компонент, которые содержат вышеупомянутые компоненты контуров. Например, в том случае, когда m=3, С1=0,5, С2=-1 и С3=0,5, цифровой фильтр 110, который получает описываемый ниже входной сигнал Sin изображения, показанный на Фиг.5(В), выводит сигнал, показанный на Фиг.5(С), в виде сигнала Si1 высокочастотной компоненты. Сигнал Si1 высокочастотной компоненты, полученный таким образом, проходит через блок 132 округления и ограничитель 133, а затем выводится из фильтра HPF 11 в качестве первого сигнала S1.

Блок 132 округления предотвращает усиление шумов нелинейным процессором 102 на следующем шаге путем округления сигнальных значений, не превышающих заранее определенное нижнее предельное значение, в сигнале Si1 высокочастотной компоненты. Например, в том случае, когда входной сигнал Sin изображения может принимать значение в диапазоне от 0 до 255, то есть, когда этот сигнал представляет собой 256-тональный сигнал изображения, сигнальные значения, не превышающие 2, округляются до нуля. Ограничитель 133 предотвращает ненужное усиление сигналов, которые уже имеют достаточную энергию в виде высокочастотных компонент, нелинейным процессором 102 на следующем шаге путем изменения тех сигнальных значений, которые превышают заранее определенное верхнее предельное значение, до заранее определенного значения, не превышающего вышеупомянутое верхнее предельное значение (например, нуль или само верхнее предельное значение). Например, в случае, когда входной сигнал Sin изображения может принимать значение в диапазоне от 0 до 255, сигнальные значения, превышающие 64 по абсолютному значению, изменяются до сигнального значения, равного нулю; либо сигнальные значения, превышающие 64 по абсолютной величине, изменяются до сигнального значения плюс 64 или минус 64 в зависимости от их исходного знака.

В настоящее время в общем случае легче реализовать фильтр нижних частот, чем реализовать фильтр верхних частот. Следовательно, для реализации цифрового фильтра 110 как фильтра верхних частот, показанного на Фиг.2, можно использовать фильтр 1011 нижних частот (далее называемый «LPF») и вычитатель 1012, как показано на Фиг.3.

Первый сигнал S1, выдаваемый фильтром HPF 11, вводится в оператор 12 возведения в квадрат, входящий в нелинейный процессор 102. Оператор 12 возведения в квадрат возводит в квадрат первый сигнал S1 и тем самым создает квадратичный сигнал S12, то есть, S12=S1². В частности, поскольку первый сигнал S1 представляет собой цифровой сигнал (дискретный сигнал), первый сигнал S1 может быть выражен в виде цепочки данных, заданных как X1, X2, X3, …, а затем квадратичный сигнал S12 может быть представлен в виде цифрового сигнала, состоящего из цепочки данных, заданных в виде X1², X2², X3². Квадратичный сигнал S12 вводится в первый дифференцирующий блок 13. Дифференцирующий блок 13 дифференцирует квадратичный сигнал S12 и тем самым создает первый дифференцированный сигнал S13. Первый дифференцированный сигнал S13 вводится в умножитель 15. Поскольку квадратичный сигнал S12 представляет собой цифровой сигнал, и является дискретным, первый дифференцирующий блок 13 создает первый дифференцированный сигнал S13 путем вычисления разностей «назад» с использованием схемы, показанной, например, на Фиг.4. В компоновке на Фиг.4 используется элемент 1021 единичной задержки и вычитатель 1022 для реализации дифференцирующего блока, где цифровой сигнал Sb получают путем дифференцирования цифрового сигнала Sa.

С другой стороны, нелинейный процессор 102 включает в себя второй дифференцирующий блок 14, который дифференцирует входной сигнал Sin изображения и создает тем самым второй дифференцированный сигнал S14. Второй дифференцированный сигнал S14 также вводится в умножитель 15. Второй дифференцирующий блок 15 также реализуется с помощью компоновки, показанной, например, на Фиг.4.

Умножитель 15 умножает первый дифференцированный сигнал S13 на второй дифференцированный сигнал S14 и создает тем самым второй сигнал S2, то есть, S2=S13×S14. В частности, поскольку и первый, и второй дифференцированные сигналы S13, S14 являются цифровыми сигналами (дискретными сигналами), первый дифференцированный сигнал S13 может быть представлен в виде цепочки данных, заданных как U1, U2, U3, …, в то время как второй дифференцированный сигнал S14 может быть представлен в виде цепочки данных, заданных как V1, V2, V3, …. Тогда второй сигнал S2 представляет собой цифровой сигнал, состоящий из цепочки данных, заданных как U1·V1, U2·V2, U3·V3, …. Второй сигнал S2 выводится из нелинейного процессора 102, а затем вводится в сумматор 16. Здесь следует заметить, что для обработки задержек, вызванных процессами, выполняемыми в фильтре HPF 11, операторе 12 возведения в квадрат, первом и втором дифференцирующем блоке 13, 14 умножитель 15 включает в себя элементы задержки, необходимые для настройки синхронизации между первым дифференцированным сигналом S13 и вторым дифференцированным сигналом S14.

Сумматор 16 добавляет второй сигнал S2 в качестве компенсационного сигнала для повышения резкости изображения к входному сигналу Sin изображения и создает тем самым выходной сигнал Sout изображения, то есть, Sout=Sin+S2. Сумматор 16 также включает в себя элементы задержки, необходимые для настройки синхронизации между входным сигналом Sin изображения и вторым сигналом S2. Также предпочтительно, чтобы компенсационный сигнал, обеспеченный вторым сигналом S2, имел уровень (амплитуду), отрегулированный, по меньшей мере, одним из устройств: контроллером усиления и/или ограничителем, которые должны быть предусмотрены в сумматоре 16 или между умножителем 15 и сумматором 16. Здесь контроллер усиления умножает входящий сигнал на константу α, которая удовлетворяет неравенству 0≤α<1, регулируя тем самым уровень входящего сигнала, в то время как ограничитель регулирует уровень сигнала путем изменения абсолютного значения входящего сигнала до заранее определенного верхнего предельного значения (но без изменения знака плюс или минус), если входящий сигнал имеет абсолютное значение, превышающее заранее определенное верхнее предельное значение.

Выходной сигнал Sout изображения, созданный в сумматоре 16, выводится из устройства 100 для совершенствования изображений в качестве сигнала изображения, который представляет изображение с повышенной резкостью, полученное из изображения, представленного входным сигналом Sin изображения.

1.2 Функционирование

Далее описывается функционирование устройства 100 для совершенствования изображений согласно настоящему варианту, скомпонованному так, как было описано выше. Описание будет сфокусировано на процессе, выполняемом с частью входного сигнала Sin изображения, показанного на Фиг.5 (B), которая представляет край, где уровень (пиксельное значение) сигнала изображения изменяется в горизонтальном направлении.

Для сравнения сначала будет описано, как работает известное устройство для совершенствования изображений. Часть, представляющая край во входном сигнале изображения, является идеальным сигналом, как показано на Фиг.5(А). Однако на самом деле этот сигнал принимает форму, показанную на Фиг.5(В), из-за аппаратных характеристик, включая обработку и передачу сигнала изображения. Когда входной сигнал изображения, показанный на Фиг.5(В) подается в известное устройство для совершенствования изображений, фильтром HPF, который функционирует аналогично фильтру в настоящем изобретении, выделяется высокочастотный сигнал, показанный на Фиг.5(С). Этот высокочастотный сигнал добавляют к входному сигналу изображения для создания сигнала, показанного на Фиг.5(D), в качестве выходного сигнала изображения. Этот выходной сигнал изображения нарастает более круто в части, представляющей край, чем входной сигнал изображения на Фиг.5(B), в связи с чем повышается резкость изображения. Однако нарастание части сигнала, представляющей край, в выходном сигнале изображения не настолько круто, как в выходном сигнале изображения (Фиг.5(Е)) согласно настоящему варианту, описываемому далее.

В настоящем варианте при подаче входного сигнала Sin изображения, показанного на Фиг.6(А), который является таким же сигналом, как на Фиг.5(В), фильтр HPF 11 создает первый сигнал S1, который эквивалентен сигналу на Фиг.5(С). Оператор 12 возведения в квадрат создает из первого сигнала S1 квадратичный сигнал S12, показанный на Фиг.6(В), а первый дифференцирующий блок 13 создает из этого квадратичного сигнала S12 первый дифференцированный сигнал S13, показанный на Фиг.6(С). Во время процесса дифференцирования квадратичного сигнала S12 устраняются постоянные составляющие.

Между тем, второй дифференцирующий блок 14 создает из входящего сигнала Sin изображения второй дифференцированный сигнал S14, показанный на Фиг.6(D). Из этого второго дифференцированного сигнала S14 и первого дифференцированного сигнала S13 умножитель 15 создает второй сигнал S2, показанный на Фиг.6(Е). Второй сигнал S2 добавляется в качестве компенсационного сигнала к входному сигналу Sin изображения с помощью сумматора 16 для создания выходного сигнала Sout изображения, показанного на Фиг.6(F). Как было описано выше, этот выходной сигнал Sout изображения имеет часть, представляющую край, которая нарастает более круто, чем часть, представляющая край (фиг 5(D)) выходного сигнала изображения, создаваемого известным устройством для совершенствования изображений, в связи с чем получается более резкое изображение, чем в известном устройстве.

Как следует из приведенного выше описания, второй сигнал S2, который добавляют в качестве компенсационного сигнала, получают из первого сигнала S1 (Фиг.5(С)), который выводится из фильтра HPF 11 в виде высокочастотного сигнала, путем выполнения нелинейного процесса. Второй сигнал S2 также не содержит постоянные составляющие, поскольку они были удалены первым дифференцирующим блоком 13. Кроме того, второй дифференцированный сигнал S14, полученный вторым дифференцирующим блоком 14, умножают на первый дифференцированный сигал S13, в результате чего во втором сигнале S2 (Фиг.6(Е)) фактически сохраняются положительные и отрицательные знаки, как в первом сигнале (Фиг.5(С)). Другими словами, никакие положительные части в первом сигнале не преобразуются в отрицательные части во втором сигнале S2, или никакие отрицательные части в первом сигнале не преобразуются в положительные во втором сигнале. Согласно настоящему изобретению можно обеспечить достаточное повышение резкости изображения (смотри Фиг.6(F)) на основе нелинейности процесса, выполняемого с первым сигналом S1, и сохранения положительных и отрицательных знаков, обнаруженных в первом сигнале S1. Здесь следует заметить, что в зависимости от результата умножения первого дифференцированного сигнала S13 на второй дифференцированный сигнал S14 могут иметь место случаи, когда положительные и отрицательные знаки в первом сигнале S1 совершенно не сохраняются во втором сигнале S2 (смотри небольшие сигналы, показанные тонкой линией на Фиг.6(Е)). Однако они по существу не мешают повысить резкость изображения, обеспечиваемую добавлением второго сигнала S2 к входному сигналу Sin изображения (см. Фиг.6(F)).

Дальнейшее описание относится к случаю, когда уже выполнены процессы укрупнения изображения применительно к цифровому сигналу изображения, и этот сигнал изображения подается в устройство для совершенствования изображений в виде входного сигнала Sin изображения. Функционирование настоящего варианта будет описано в сравнении со случаем, когда сигнал изображения не подвергался процессу укрупнения изображения.

На Фиг.7(А) показаны частотные спектры цифрового сигнала изображения с частотой дискретизации fs. Когда цифровой сигнал изображения подвергается укрупнению для обеспечения изображения с повышенной резкостью с помощью известного устройства для совершенствования изображений, результирующий цифровой сигнал изображения (далее называемый «сигнал изображения, усовершенствованный известным способом») имеет частотные спектры, показанные на Фиг.7(В). Как было описано выше, в процессе совершенствования для обеспечения изображения с повышенной резкостью добавляются высокочастотные компоненты входного сигнала изображения, и, как показано на Фиг.7(В), в усовершенствованном сигнале изображения наблюдается возрастание в диапазоне частотных компонент вблизи частоты Найквиста fs/2.

С другой стороны, если вышеупомянутый цифровой сигнал изображения подвергся процессу укрупнения изображения для преобразования до двойного количества пикселей в горизонтальном направлении, частота дискретизации Fbs после процесса укрупнения изображения в два раза превысит частоту дискретизации fs (Fsb=2·fs), а частотные спектры после процесса укрупнения изображения будут выглядеть, как показано на Фиг.8(А). В этом случае между частотой Найквиста fs/2, которая соответствует исходной частоте дискретизации fs, и новой частотой Найквиста Fbs/2=fs, которая соответствует новой частоте дискретизации Fbs, не будет ни одной частотной компоненты. (То же самое относится к диапазону между Fbs/2 и 3fs/2). По этой причине при выполнении укрупнения с использованием известного устройства для совершенствования изображений применительно к сигналу изображения, который претерпел процессы укрупнения изображения, к сигналу изображения, который претерпел процессы укрупнения изображения, не добавляются никакие высокочастотные компоненты. Другими словами, вблизи новой частоты Найквиста Fbs/2 не добавляются никакие частотные компоненты (см. Фиг.8(А)).

В противоположном случае, согласно настоящему изобретению нелинейный процессор 102 включает в себя оператор 12 возведения в квадрат, который создает высокочастотные компоненты, включающие в себя гармоники частотных компонент во входном сигнале Sin изображения и имеющие более высокие частоты, чем частота Найквиста fs/2. Затем эти высокочастотные компоненты используют в процессе повышения резкости, выполняемом с входным сигналом Sin изображения. Другими словами, в том случае, когда процессы укрупнения изображения выполняются с цифровым сигналом изображения с частотой дискретизации fs для создания сигнала изображения с частотой дискретизации Fbs=2fs, и результирующий сигнал изображения используется в качестве входного сигнала Sin изображения, в процесс на основе оператора 12 возведения в квадрат создается второй сигнал S2 в качестве компенсационного сигнала, который содержит компоненты с частотами, более высокими, чем частота Найквиста fs/2 для исходной частоты дискретизации fs, и этот входной сигнал S2 добавляют к входному сигналу Sin изображения. Таким образом, согласно настоящему варианту создается выходной сигнал Sout изображения, который имеет частотные спектры, показанные на Фиг.8(В). Данный вариант обеспечивает более подходящую высокочастотную компенсацию для сигналов изображения, которые подверглись процессам укрупнения, чем известные устройства для совершенствования изображений, что открывает возможность достаточного повышения резкости изображений, которые были подвергнуты процессам укрупнения.

Далее следует более подробное описание процесса повышения резкости изображения, в котором используются гармонические компоненты, созданные в вышеописанном нелинейном процессе. Положим, что входной сигнал Sin изображения выражается функцией f(x), которая является функцией положения x (по горизонтали), а входной сигнал Sin изображения имеет базовую угловую частоту, представленную как ω. Тогда функция f(x) может быть выражена следующими рядами Фурье:

где N представляет порядок наивысшей частотной гармоники, не превышающей частоту Найквиста fs/2 частоты дискретизации fs (перед процессом укрупнения изображения). Другими словами,

В приведенном выше выражении (1) пусть g(x) представляют непостоянные составляющие, то есть, части, отличные от постоянных составляющих а₀ входного сигнала Sin, который выражается функцией f(x) (далее этот входной сигнал также называется «входной сигнал f(x)»). Тогда:

Первый сигнал S1, выводимый из фильтра HPF 11, содержит определенный выше сигнал g(x) или высокочастотные компоненты сигнала g(x). Квадратичный сигнал S12, выводимый из оператора 12 возведения в квадрат, является сигналом, полученным путем возведения в квадрат первого сигнала S1. Тогда из определения (g(x))² следует, что каждый член в (g(x))² может быть выражен одним из следующих выражений на основе выражения (2):

Это выражение можно преобразовать следующим образом, используя формулы для тригонометрических функций:

Как следует из приведенных выше выражений (g(x))² содержит угловые частотные компоненты, такие как (N+1)ω, (N+2)ω, …, 2Nω и т.д., и поэтому содержит частотные компоненты с более высокими частотами, чем частота Найквиста fs/2. По этой причине квадратичный сигнал S12 также содержит частотные компоненты с частотами, превышающими частоту Найквиста fs/2, такие как гармонические компоненты с частотами 2Nω/(2π). В тех случаях, когда функция возводится в четную степень, например, (g(x))², члены в вышеуказанных выражениях (4а) и (4с) могут иметь постоянные составляющие. Однако, согласно настоящему варианту первый дифференцирующий блок 13 удаляет эти постоянные составляющие (см. Фиг.1).

Таким образом, когда цифровой сигнал изображения подвергается процессам укрупнения изображения, таким как преобразование с удвоением количества пикселей в горизонтальном направлении, как было описано выше, а затем результирующий сигнал изображения вводится в качестве входного сигнала Sin изображения в устройство 100 для совершенствования изображений согласно настоящему варианту, второй сигнал S2, созданный в качестве компенсационного сигнала на основе оператора 12 возведения в квадрат, содержит частотные компоненты с частотами, превышающими частоту Найквиста fs/2 сигнала изображения до процесса укрупнения изображения, а затем этот второй сигнал S2 добавляется к входному сигналу Sin изображения. В результате выходной сигнал Sout изображения будет иметь частотные спектры, показанные на Фиг.8(В), и, следовательно, открывается возможность достаточного повышения резкости изображений, которые подверглись процессам укрупнения, по сравнению с известными устройствами для совершенствования изображений. Повышение резкости изображений обеспечивается также добавлением частотных компонент с более высокими частотами, не содержащимися во входном сигнале Sin изображения, то есть, частотных компонент, с более высокими частотами, чем исходная частота Найквиста fs/2. В этой связи можно утверждать, что настоящий вариант обеспечивает способ повышения разрешающей способности изображений, представленных входным сигналом Sin изображения. Из вышеописанных математических выражений (смотри выражения с (1) по (4с)) должно быть ясно, что принципиальное требование к первому сигналу S1, подлежащему вводу в нелинейный процессор 102, просто состоит в том, чтобы это был сигнал, полученный из входного сигнала Sin изображения путем удаления постоянных составляющих. Следовательно, фильтр HPF 11 можно заменить фильтром других типов, который способен удалять по меньшей мере постоянные составляющие из частотных компонент, содержащихся во входном сигнале Sin изображения.

1.3 Преимущества

Как было описано выше, высокочастотные компоненты выделяются в качестве первого сигнала S1 из входного сигнала Sin изображения фильтром HPF 11, а затем этот сигнал обрабатывается оператором 12 возведения в квадрат и преобразуется в квадратичный сигнал S12, а затем на основе этого квадратичного сигнала S12 создается второй сигнал S2, в котором сохранены положительные и отрицательные знаки, как в первом сигнале S1, после чего этот сигнал добавляется в качестве компенсационного сигнала к входному сигналу Sin изображения. В результате в достаточной степени повышается резкость изображения и открывается возможность более значительного улучшения качества изображения, чем с помощью известных устройств совершенствования изображений. Также устройство 100 для совершенствования изображений согласно настоящему варианту можно реализовать в простой компоновке, как показано на фиг.1-4. Таким образом, используя устройство 100 для совершенствования изображений в телевизионных приемниках высокой четкости (HDTV), телевизионных приемниках стандартной четкости (SDTV) и т.д., можно улучшить качество изображения не только для неподвижных изображений, но также и для движущихся изображений, отображаемых в режиме реального времени без существенного увеличения затрат. Здесь следует заметить, что, хотя оператор 12 возведения в квадрат и умножитель 15 в нелинейном процессоре 102 согласно настоящему изобретению могут быть заменены аппаратными умножителями, в альтернативном варианте оператор 12 возведения в квадрат и умножитель 15 можно реализовать в виде таблицы в ПЗУ (память только для считывания), поскольку количество бит входного сигнала Sin изображения и т.д. не велико (например, для изображений, имеющих 256 тональных посылок, требуются восьмибитовые сигналы). Вышеописанная реализация с использованием таблицы в ПЗУ позволяет обеспечить высокоскоростную обработку, что является преимуществом при отображении движущихся изображений в режиме реального времени.

Настоящий вариант способен компенсировать высокочастотный диапазон за частотой Найквиста fs/2, что было невозможно при использовании известных устройств для совершенствования изображений. Таким образом, настоящий вариант дает особый положительный эффект улучшения качества изображения посредством процесса повышения резкости, выполняемого с сигналами изображения, подвергнутыми процессам укрупнения. Примером этого является случай, когда сигналы изображения в системе телевидения стандартной четкости (SDTV) подвергаются процессам укрупнения, с тем чтобы их изображение можно было отображать на устройстве отображения телевизионного приемника высокой четкости (HDTV). В этом случае настоящий вариант обеспечивает значительное преимущество, заключающееся в том, что открывается возможность достаточного повышения резкости при простой компоновке для движущихся изображений, отображаемых в режиме реального времени. Другим примером являются современные технические разработки для новых устройств отображения, где используется большее количество (возможно порядка 4000×2000) пикселей, чем в системе HDTV (далее такое устройство называется «устройство отображения 4k») и соответствующая технология телевизионного вещания. Когда сигналы изображения в стандарте HDTV преобразуются для отображения в устройствах отображения 4k, настоящий вариант обеспечивает такое же важное преимущество, как было описано выше.

1.4 Версии первого варианта

До сих пор описание было основано на том, что входной сигнал Sin изображения сформирован из цепочки данных (ряд пиксельных значений), представленной горизонтальными строками пикселей в изображении в виде объекта обработки устройством 100 для совершенствования изображений согласно настоящему варианту. На основе этого приведенное выше описание было посвящено тому, каким образом фильтр HPF 11, а также первый и второй дифференцирующие блоки 13, 14 выполняют операции фильтрации или дифференцирования на строчных частотах для изменения пиксельных значений в горизонтальном направлении изображения. А именно, в вышеописанном варианте процесс совершенствования изображений выполнялся для горизонтального направления изображения. Однако предпочтительно, чтобы вдобавок к совершенствованию изображения по горизонтали также выполнялось совершенствование изображений по вертикали. По этой причине, как показано на Фиг.9, предпочтительно, чтобы устройство для совершенствования изображений имело блок 1100 обработки в горизонтальном направлении для совершенствования изображения по горизонтали и блок 1200 обработки в вертикальном направлении для совершенствования изображения по вертикали. В такой компоновке входной сигнал S1 изображения, который представляет изображение и является объектом обработки, вводится в блок 1100 обработки в горизонтальном направлении, а затем выходной сигнал из блока 1100 обработки в горизонтальном направлении вводится в блок 1200 обработки в вертикальном направлении, после чего выходной сигнал блока 1200 обработки в вертикальном направлении будет представлять собой выходной сигнал SO изображения из устройства для совершенствования изображений. Заметим, что при такой компоновке блок 1100 обработки в горизонтальном направлении и блок 1200 обработки в вертикальном направлении могут быть переставлены местами, так что входной сигнал SI изображения будет сначала вводиться в блок 1200 обработки в вертикальном направлении, а затем выходной сигнал блока 1200 обработки в вертикальном направлении будет вводиться в блок 1100 обработки в горизонтальном направлении.

Блок 1200 обработки в вертикальном направлении в вышеописанной компоновке можно реализовать, используя аналогичную компоновку (фиг.1-4), если входной сигнал SI изображения сформирован в виде цепочки данных (ряд пиксельных значений), которая представляет вертикальный ряд пикселей в изображении в качестве объекта обработки. В альтернативном варианте в этой версии можно использовать такой же входной сигнал SI изображения, как в вышеописанном варианте (то есть, входной сигнал SI изображения, сформированный в виде цепочки данных, которая представляет горизонтальный ряд пикселей), причем фильтр HPF 11 скомпонован так, как показано на Фиг.10, а первый и второй дифференцирующие блоки 13 и 14 скомпонованы так, как показано на Фиг.11. В то время как компоновка, показанная на Фиг.2, работает с пространственными частотными компонентами в горизонтальном направлении изображения для выделения высокочастотных компонент (с целью удаления по меньшей мере постоянных составляющих), компоновка, показанная на Фиг.10, работает с пространственными частотными компонентами в вертикальном направлении изображения для выделения высокочастотных компонент (с целью удаления по меньшей мере постоянных составляющих). С этой целью в компоновке на Фиг.10 используются линейные запоминающие устройства (LM) 111В - 11(m-1)B в качестве элементов задержки для одного строчного периода вместо элементов единичной задержки 111-11m в компоновке на Фиг.2 соответственно. В отличие от этого, компоновка на Фиг.10 идентична компоновке на Фиг.2, и поэтому здесь повторно не описывается, причем одинаковые детали и компоненты на этих фигурах идентифицированы одинаковыми ссылочными позициями. Аналогичным образом, компоновка на Фиг.11 идентична компоновке на Фиг.4, отличаясь лишь тем, что элементы 1021 единичной задержки на Фиг.4 заменены линейными устройствами памяти (LM) 1021В в качестве элементов задержки для одного строчного периода. Поэтому она далее повторно не описывается, причем одинаковые детали и компоненты идентифицированы на этих фигурах одинаковыми ссылочными позициями. В то время, как первый дифференцирующий блок 13 согласно компоновке на Фиг.4 работает с пространственными частотами в горизонтальном направлении изображения, так что во втором сигнале S2 не остается постоянных составляющих, первый дифференцирующий блок 13 на Фиг.11 работает с пространственными частотами в вертикальном направлении изображения, так что во втором сигнале S2 не останется постоянной составляющей.

Также в тех случаях, когда объектом обработки является движущееся изображение, например, отображаемое в телевизионных приемниках, значение каждого пикселя со временем изменяется, так что предпочтительно предусмотреть блок 1300 обработки во времени для совершенствования изображения во времени. В частности, как показано на Фиг.12, устройство для совершенствования изображений включает в себя, вдобавок к блоку 1100 обработки в горизонтальном направлении и блоку 1200 обработки в вертикальном направлении, описанными выше, блок 1300 обработки во времени. В этом случае блок 1300 обработки во времени можно реализовать с помощью аналогичной конфигурации согласно вышеописанном варианту, однако с использованием компоновки на Фиг.13 для фильтра HPF 11 и компоновки на Фиг.14 для первого и второго дифференцирующих блоков 13, 14 и с использованием того же входного сигнал SI изображения, как в варианте, описанном ранее. Компоновка на Фиг.13 идентична компоновке на Фиг.2, отличаясь только тем, что элементы 111-11m единичных задержек на фиг.2 заменены запоминающими устройствами 111С-11(m-1)C кадров (FM) в качестве элементов задержки для одного периода кадра, и поэтому она далее повторно не описывается, причем одинаковые детали и компоненты на этих фигурах идентифицированы одинаковыми ссылочными позициями. Аналогичным образом компоновка на Фиг.14 идентична компоновке на Фиг.4, отличаясь только тем, что элементы 1021 единичных задержек на Фиг.4 заменены запоминающими устройствами 1021С кадров (FM) в качестве элементов задержки для одного периода кадра, и поэтому она далее повторно не описывается, причем одинаковые детали и компоненты на этих фигурах идентифицированы одинаковыми ссылочными позициями. В то время как фильтр HPF 11С на Фиг.13 выделяет высокочастотные компоненты (удаляет по меньшей мере постоянные составляющие) в частотных компонентах изображения при обработке во времени, первый дифференцирующий блок 13 на Фиг.14 работает с частотами изображения при обработке во времени, обеспечивая удаление постоянных составляющих во втором сигнале S2.

Следует заметить, что в настоящем варианте для выполнения нелинейной обработки первого сигнала S1 используется оператор 12 возведения в квадрат. В альтернативном варианте оператор 12 возведения в квадрат может быть заменен оператором возведения в четвертую степень, который возводит в четвертую степень сигнал S1. В более общем случае оператор возведения в квадрат может быть заменен оператором возведения в степень, который создает сигнал, эквивалентный первому сигналу S1, возведенному в заранее определенную степень, где показатель степени равен двум или большему четному числу. Также возможны компоновки, где первый дифференцирующий блок 13, либо второй дифференцирующий блок 14, либо оба в настоящем варианте заменяются фильтрами верхних частот (HPF). В общем случае, дифференцирующий блок можно рассматривать как некоторый тип фильтров верхних частот.

2. Второй вариант

На Фиг.15 представлена блок-сема, показывающая конфигурацию устройства для совершенствования изображений согласно второму варианту настоящего изобретения. Это устройство 200 для совершенствования изображений выполняет с входным сигналом Sin изображения, введенным в виде цифрового сигнала, представляющего изображение, процесс совершенствования изображения для повышения резкости изображения, представленного входным сигналом Sin изображения; причем устройство 200 включает в себя фильтр HPF 11, нелинейный процессор 202 и сумматор 16. Нелинейный процессор 202 включает в себя процессор 22 абсолютного значения вместо оператора 12 возведения в квадрат, использованного в первом варианте. Все другие аспекты настоящего варианта идентичны аспектам первого варианта (фиг.1-4), поэтому одинаковые детали и компоненты идентифицированы здесь одинаковыми ссылочными позициями, и их подробное описание далее не приводится. В настоящем варианте фильтр HPF 11 выводит первый сигнал S1, который затем вводится в процессор 22 абсолютного значения, входящий в состав нелинейного процессора 202. Процессор 22 абсолютного значения создает сигнал S22 абсолютного значения в качестве сигнала, который представляет абсолютное значение первого сигнала S1. В частности, когда первый сигнал S1 сформирован в виде цепочки данных X1, X2, X3,…, сигнал S22 абсолютного значения представляет собой цифровой сигнал, сформированный в вид цепочки данных |Х1|, |Х2|, |Х3|, …. Этот сигнал S22 абсолютных значений вводится в первый дифференцирующий блок 13. Дифференцирующий блок 13 дифференцирует сигнал S22 абсолютных значений и в результате создает первый дифференцированный сигнал S23. Первый дифференцированный сигнал S23 вводится в умножитель 15.

С другой стороны, второй дифференцирующий блок 14 в нелинейном процессоре 202 дифференцирует входной сигнал Sin изображения и создает тем самым второй дифференцированный сигнал S14. Второй дифференцированный сигнал S14 также вводится в умножитель 15.

Умножитель 15 умножает первый дифференцированный сигнал S23 на второй дифференцированный сигнал S14 и создает тем самым второй сигнал S2. Второй сигнал S2 выводится из нелинейного процессора 102, а затем вводится в сумматор 16.

Сумматор 16 складывает второй сигнал S2 как компенсационный сигнал повышения резкости изображения с входным сигналом Sin изображения и создает тем самым выходной сигнал Sout изображения.

Далее описывается функционирование устройства 200 для совершенствования изображений согласно настоящему варианту с вышеописанной компоновкой. Данное описание фокусируется на процессе, выполняемом с частью входного сигнала Sin изображения, показанного на Фиг.6(А), которая представляет край, где уровень (пиксельное значение) сигнала изображения изменяется в горизонтальном направлении.

Функционирование настоящего варианта в основном совпадает с первым вариантом. В частности, когда входной сигнал Sin изображения, показанный на Фиг.6(А) и представляющий край, введен в устройство 200 для совершенствования изображений согласно настоящему варианту, в качестве первого сигнала S1 создается сигнал, показанный на Фиг.5(С). В настоящем варианте первый сигнал S1 вводится в процессор 22 абсолютных значений, входящий в состав нелинейного процессора 102. Процессор 22 абсолютных значений создает из первого сигнала S1, показанного на Фиг.5(С), сигнал S22 абсолютных значений, аналогичный сигналу S12 на Фиг.6(В). В частности, когда первый сигнал S1 реализован в виде цепочки данных, представленных как X1, X2, X3,…, процессор S22 абсолютных значений создает цифровой сигнал, сформированный в виде цепочки данных представленных как |Х1|, |Х2|, |Х3|, …., в качестве сигнала S22 абсолютных значений. С другой стороны, квадратичный сигнал S12 представляет собой цифровой сигнал, сформированный в виде цепочки данных, представленных как X1², X2², X3²,…. Таким образом, квадратичный сигнал S12 и сигнал S22 абсолютных значений имеют в целом аналогичные формы, хотя они отличаются друг от друга по уровню сигала (Фиг.6(В)).

Таким образом, первый дифференцирующий блок 13 из сигнала S22 абсолютных значений, описанного выше, создает дифференциальный сигнал S23, который аналогичен первому дифференциальному сигналу S13, показанному на Фиг.6(С), причем в процессе дифференцирования абсолютного значения S22 удаляются постоянные составляющие.

Между тем, второй дифференцирующий блок 14 создает из входного сигнала Sin изображения второй дифференцированный сигнал S14, показанный на Фиг.6(D). Из этого второго дифференцированного сигнала S14 и вышеописанного первого дифференцированного сигнала S23 умножитель 15 создает второй сигнал S2, показанный на Фиг.6(Е). Второй сигнал S2 добавляется сумматором 16 к входному сигналу Sin изображения в качестве компенсационного сигнала для создания выходного сигнала Sout изображения, показанного на Фиг.6(F). Этот выходной сигнал Sout изображения имеет краевую часть, которая нарастает более резко, чем краевая часть (Фиг.5(D)) выходного сигнала изображения, создаваемого известным устройством для совершенствования изображений.

Как ясно следует из вышеприведенного описания, второй сигнал S2, выводимый в качестве компенсационного сигнала из нелинейного процессора 102, включающего в себя процессор 22 абсолютных значений, получают путем выполнения нелинейной обработки первого сигнала S1 (Фиг.5(С)), который выводится из фильтра HPF 11 в виде высокочастотного сигнала. Также второй сигнал S2 не содержит постоянные составляющие, поскольку они удалены первым дифференцирующим блоком 13. Кроме того, второй дифференцированный сигнал S14, полученный вторым дифференцирующим блоком 14, умножается на первый дифференцированный сигнал S23, в результате чего во втором сигнале S2 (Фиг.6(Е)) фактически сохраняются положительные и отрицательные знаки, как в первом сигнале (Фиг.5(С)). На основе нелинейности процесса, выполняемого с первым сигналом S1, и сохранения положительных и отрицательных знаков, обнаруженных в первом сигнале S1, выходной сигнал Sout изображения имеет краевую часть, нарастающую более круто (Фиг.6(F)), чем краевая часть (Фиг.5(D)) в выходном сигнале изображения известного устройства для совершенствования изображений, что обеспечивает более резкое изображение, чем изображения, усовершенствованные известными способами.

В настоящем варианте нелинейная характеристика процесса, выполняемого с первым сигналом S1, основана на обработке в процессоре 22 абсолютных значений. Путем обработки первого сигнала S1 процессор 22 абсолютных значений создает частотные компоненты с более высокими частотами, чем частота Найквиста fs/2 входного сигнала Sin изображения. В частности, когда абсолютное значение |sin х| тригонометрической функции sin х разлагается в ряд Фурье, появляется член, содержащий cos(2πx), и другие члены, соответствующие частотным компонентам с частотами, превышающими в два или боле раз x. Это означает, что сигнал S22 абсолютных значений, созданный процессором 22 абсолютных значений, содержит гармоники первого сигнала S1, включая высокочастотные компоненты входного сигнала Sin изображения. Таким образом, второй сигнал S2, который добавляют к входному сигналу Sin изображения в качестве компенсационного сигнала, содержит высокочастотные компоненты с частотами, превышающими частоту Найквиста fs/2.

Таким образом, настоящий вариант, как и первый вариант, обеспечивает более существенное улучшение качества изображений, чем известные устройства для совершенствования изображений, которые основаны на линейной обработке. Поскольку возможно обеспечить достаточное повышение резкости изображений при простой компоновке, показанной на Фиг.15, открывается возможность улучшить качество изображения не только для неподвижных изображений, но также и для движущихся изображений, отображаемых в режиме реального времени без существенного увеличения затрат. Кроме того, в случаях, когда входной сигнал Sin изображения, который подвергся процессам укрупнения изображения, настоящее изобретение обеспечивает значительное улучшение качества изображения путем достаточного повышения резкости изображения, которое уже было подвергнуто процессам укрупнения, по сравнению с известными устройствами для совершенствования изображений, которые не способны r компенсации высокочастотных диапазонов за частотой Найквиста fs/2.

Как и в первом варианте, в настоящем варианте также предпочтительно вдобавок к совершенствованию изображения в горизонтальном направлении выполнить операции для совершенствования изображения в вертикальном направлении. С этой целью предпочтительно, чтобы, как показано на Фиг.9, устройство 200 для совершенствования изображений включало блок 1100 обработки в горизонтальном направлении для совершенствования изображения в горизонтальном направлении и блок 1200 обработки в вертикальном направлении для совершенствования изображения в вертикальном направлении (см. фиг.9-11). Это также относится к другим вариантам, описываемым ниже. Также в тех случаях, когда объектом обработки является движущееся изображение, например, отображаемое в телевизионных приемниках, значение каждого пикселя со временем изменяется, так что предпочтительно предусмотреть блок 1300 обработки во времени для совершенствования изображения во времени. В частности, как показано на Фиг.12, устройство 200 для совершенствования изображений включает в себя, вдобавок к блоку 1100 обработки в горизонтальном направлении и блоку 1200 обработки в вертикальном направлении, описанным выше, блок 1300 обработки во времени (см. фиг.12-14). Это также применимо для других вариантов, которые описываются ниже.

3. Третий вариант

На Фиг.16 представлена блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно третьему варианту настоящего изобретения. Это устройство 300 для совершенствования изображений выполняет совершенствование изображения для повышения резкости изображения, представленного входным сигналом Sin изображения, который вводится извне в виде цифрового сигнала; причем устройство 300 включает в себя фильтр HPF 11, нелинейный процессор 302 и сумматор 16. Нелинейный процессор 302 включает в себя оператор 32 возведения в куб и ограничитель 33. Все остальные аспекты настоящего варианта, отличные от нелинейного процессора 302, идентичны аспектам в первом варианте (фиг.1-4), так что одинаковые детали и компоненты идентифицированы на этих фигурах одинаковыми ссылочными позициями, и их подробное описание далее не приводится.

В настоящем варианте фильтр HPF 11 выдает первый сигнал S1, который затем вводится в оператор 32 возведения в куб в нелинейном процессоре 302. Оператор 32 возведения в куб возводит в куб первый сигнал S1 и создает тем самым кубический сигнал S32, а именно, S32=S1³. В частности, поскольку первый сигнал S1 является цифровым сигналом (дискретным сигналом), первый сигнал S1 может быть выражен в виде цепочки данных X1, X2, X3, …. Затем кубический сигнал S32 выражается в виде цифрового сигнала, сформированного в виде цепочки данных X1³, X2³, X3³, …. Кубический сигнал S32 вводится в ограничитель 33.

Ограничитель 33 действует как регулятор амплитуды (уровня) кубического сигнала S32. В частности, регулятор умножает кубический сигнал S32 на константу α, которая удовлетворяет неравенству 0≤α<1, выполняя тем самым регулировку усиления сигнала, а затем выполняет отсечение, так что кубический сигнал S32, который подвергся регулировке усиления, имеет амплитуду, не превышающую заранее определенного верхнего предельного значения. Например, когда значение кубического сигнала S32 после регулировки усиления превышает 32, ограничитель 33 изменяет это значение на положительное или отрицательное значение 32 в зависимости от знака. Выходной сигнала ограничителя 33 выводится в качестве второго сигнала S2 из нелинейного процессора 302 и вводится в сумматор 16.

Сумматор 16 добавляет второй сигнал S2 в качестве компенсационного сигнала повышения резкости изображения к входному сигналу Sin изображения и создает тем самым выходной сигнал Sout изображения.

Далее описывается функционирование устройства 300 для совершенствования изображений согласно настоящему варианту, скомпонованному так, как было описано выше. Дальнейшее описание будет сфокусировано на процессе, выполняемом с частью входного сигнала Sin изображения, показанного на Фиг.17(А), которая представляет край, где уровень (пиксельное значение) сигнала изображения изменяется в горизонтальном направлении.

При вводе в устройство 300 для совершенствования изображений согласно настоящему варианту входного сигнала Sin изображения, показанного на Фиг.17(А), который представляет край, в качестве первого сигнала S1 создается сигнал, показанный на Фиг.17(В). В настоящем варианте первый сигнал S1 вводится в оператор 32 возведения в куб в нелинейном процессоре 102. Оператор 32 возведения в куб создает из первого сигнала S1 кубический сигнал S32, показанный на Фиг.17(С). В частности, первый сигнал S1 может быть выражен в виде цепочки данных x1, X2, X3, …. Затем кубический сигнал S32 выражают в виде цифрового сигнала, который сформирован в виде цепочки данных X1³, X2³, X3³, …. Таким образом, положительные и отрицательные знаки в первом сигнале S1 сохраняются в кубическом сигнале S32.

Кубический сигнал S32, описанный выше, подвергается регулировке усиления и отсечению для получения отрегулированной амплитуды, а затем выводится в качестве второго сигнала S2 из нелинейного процессора 302. Второй сигнал S2 добавляется в качестве компенсационного сигнала к входному сигналу Sin изображения с помощью сумматора 16, в результате чего создается выходной сигнал Sout изображения, показанный на Фиг.17(D). Выходной сигнал Sout изображения имеет краевую часть, которая нарастает более круто, чем краевая часть (Фиг.5(D)) выходного сигнала изображения, созданного известным устройством для совершенствования изображений.

Как ясно из вышеприведенного описания, второй сигнал S2, который добавляется к входному сигналу Sin изображения в качестве компенсационного сигнала, получают путем выполнения нелинейной обработки первого сигнала S1 (Фиг.17(В)), который выводится из фильтра HPF 11 в виде высокочастотного сигнала. Другими словами, второй сигнал S2 создается из первого сигнала S1 оператором 32 возведения в куб, и, в отличие от нелинейной обработки на основе оператора 12 возведения в квадрат, положительные и отрицательные знаки в первом сигнале S1 сохраняются во втором сигнале S2. На основе нелинейности процесса, выполняемого с первым сигналом S1 и сохранения положительных и отрицательных знаков, обнаруженных в первом сигнале S1, в настоящем варианте обеспечивается выходной сигнал Sout изображения, в котором краевая часть нарастает более круто (Фиг.17(D)), чем краевая часть (Фиг.5(D)) в выходном сигнале изображения из известного устройства для совершенствования изображений, и, следовательно, обеспечиваются более резкие изображения, чем изображения, улучшенные известным способом.

В настоящем изобретении нелинейная характеристика процесса, выполняемого с первым сигналом S1, основана на операторе 32 возведения в куб. А именно, в настоящем варианте, как и в первом варианте, первый сигнал S1, выводимый из фильтра HPF 11, содержит сигнал g(x) или высокочастотные компоненты сигнала g(x), заданные выражением (2), описанным ранее, а кубический сигнал S32, выводимый из оператора 32 возведения в куб, представляет собой сигнал, получаемый путем возведения в куб первого сигнала S1. Далее из определения функции (g(x))³ из выражения (2) следует, что каждый член в (g(x))³ может быть представлен одним из следующих выражений:

(i=±1, ±2, …, ±N; j=±1, ±2, …, ±N; k=±1, ±2, …, ±N).

Теперь из членов для i=j=k=N возьмем, например, следующие члены, которые выражаются формулами (5а) и 5(d). Используя формулы тригонометрических функций, эти члены можно преобразовать следующим образом:

Также из числа членов для i=j=k=-N возьмем следующие члены, которые выражаются формулами (5а) и (5d).

Используя формулы тригонометрических функций, эти члены можно преобразовать следующим образом:

Из выражений (6а), (6d), (7а) и (7d) понятно, что (g(x))³ содержит частотную компоненту с частотой, которая в 3N раз превышает базовую угловую частоту ω, и частотную компоненту с частотой, которая равна -3Nω. Также могут быть трансформированы другие члены в (g(x))³ путем использования формул тригонометрических функций, из которых далее следует, что (g(x))³ содержит различные частотные компоненты в диапазоне от -3N до 3N базовой угловой частоты ω.

Следовательно, (g(x))³ включает в себя высокочастотные компоненты с частотами до трех раз превышающими частоты частотных компонент, содержащихся в первом сигнале S1. Это означает, что кубический сигнал S32 содержит частотные компоненты, которые имеют значительно более высокие частоты, чем частота Найквиста fs/2, например, частотные компоненты с частотами до трех раз превышающими частотные компоненты, содержащиеся в первом сигнале. Следовательно, согласно настоящему варианту открывается возможность более значительного улучшения качества изображения, чем при использовании известного устройства для совершенствования изображений на основе линейной обработки. Также, поскольку можно обеспечить достаточное повышение резкости изображения при простой компоновке, показанной на Фиг.16, можно улучшить качество изображения не только для неподвижных изображений, но также и для движущихся изображений, отображаемых в режиме реального времени, без существенного увеличения затрат. Кроме того, в тех случаях, когда входной сигнал изображения обеспечивается сигналом изображения, который был подвергнут процессам укрупнения изображения, настоящий вариант обеспечивает значительное улучшение качества изображения путем достаточного повышения резкости изображения, которое уже подверглось процессам укрупнения, по сравнению с известными устройствами для совершенствования изображений, которые не способны компенсировать высокочастотные диапазоны за частотой Найквиста fs/2.

Здесь следует заметить, что в настоящем варианте оператор 32 возведения в куб используют для выполнения нелинейной обработки первого сигнала S1. В качестве альтернативы, оператор 32 возведения в куб можно заменить оператором возведения в пятую степень, который будет возводить первый сигнал S1 в пятую степень. В более общем случае оператор возведения в куб может быть заменен оператором возведения в степень, создающим сигнал, эквивалентный первому сигналу S1, возведенному в заранее определенную степень, где показатель степени равен трем или большему нечетному числу.

4. Четвертый вариант

На Фиг.18 представлена блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно четвертому варианту настоящего изобретения. Это устройство 400 для совершенствования изображений выполняет совершенствование изображения для повышения резкости изображения, представленного входным сигналом Sin изображения, который вводится извне в виде цифрового сигнала; и включает в себя фильтр HPF 11, нелинейный процессор 402 и сумматор 16. Нелинейный процессор 402 включает в себя оператор 12 возведения в квадрат, преобразователь 43 знака и ограничитель 33. Все другие аспекты настоящего варианта, кроме нелинейного процессора 402, идентичны аспектам в первом варианте (фиг.1-4). Также оператор 12 возведения в квадрат и ограничитель 33 в нелинейном процессоре 402 идентичны соответственно оператору 12 возведения в квадрат в первом варианте и ограничителю 33 в третьем варианте. Одинаковые детали и компоненты в настоящем варианте, идентичные первому или третьему варианту, идентифицированы одинаковыми ссылочными позициями без дальнейшего подробного описания.

В настоящем варианте фильтр HPF 11 выводит первый сигнал S1, который вводится в оператор 12 возведения в квадрат, входящий в нелинейный процессор 402. Оператор 12 возведения в квадрат возводит в квадрат первый сигнал S1 и тем самым создает квадратичный сигнал S12. Квадратичный сигнал S12 вводится в преобразователь 43 знака. Первый сигнал S1 также вводится в преобразователь 43 знака.

Преобразователь 43 знака выполняет процесс преобразования знака, восстанавливая знаки в квадратичном сигнале S12 путем сопоставления их с соответствующими знаками в первом сигнале S1, на основе информации в битах знака, содержащейся в первом сигнале S1, выдаваемом фильтром HPF 11. В частности, преобразователь 43 знака оставляет положительные и отрицательные знаки в квадратичном сигнале S12 без изменений, если они идентичны соответствующим аналогам в первом сигнале S1, но преобразует эти знаки в квадратичном сигнале S12 на противоположные, если они отличаются от соответствующих аналогов в первом сигнале S1. Сигнал, получаемый из преобразователя 43 знака, вводится в ограничитель 33 в качестве сигнала S43 преобразования знака. Как и ограничитель 33 в третьем варианте, ограничитель 33 в настоящем варианте выполняет регулировку амплитуды сигнала S43 преобразования знака, после чего отрегулированный сигнал выводится из нелинейного процессора 402 в качестве второго сигнала. Затем второй сигнал S2 вводится в сумматор 16 в качестве компенсационного сигнала.

Сумматор 16 добавляет второй сигнал S2 в качестве компенсационного сигнала повышения резкости изображения к входному сигналу Sin изображения и тем самым создает выходной сигнал Sout изображения.

Далее описывается функционирование устройства 400 для совершенствования изображений согласно настоящему варианту, скомпонованному так, как было описано выше. Описание будет сфокусировано на процессе, выполняемом с частью входного сигнала Sin изображения, показанного на Фиг.20(А), которая представляет край, где уровень (пиксельное значение) сигнала изображения изменяется в горизонтальном направлении.

Когда входной сигнал Sin изображения, показанный на Фиг.20(А), который представляет край, вводится в устройство 400 для совершенствования изображений согласно настоящему варианту, в качестве первого сигнала S1 создается сигнал, показанный на Фиг.20(B). В настоящем варианте первый сигнал S1 вводится в оператор 12 возведения в квадрат в нелинейном процессоре 402. Оператор 12 возведения в квадрат создает из первого сигнала S1 квадратичный сигнал S12, показанный на Фиг.20(С).

Квадратичный сигнал S12 преобразуется преобразователем 43 знака в сигнал S43 преобразования знака, показанный на Фиг.20(G). В сигнале S43 преобразования знака сохраняются положительные и отрицательные знаки, как в первом сигнале S1. Сигнал S43 преобразования знака также не содержит постоянные составляющие (Фиг.20(D)), поскольку он является сигналом, полученным сначала путем возведения в квадрат первого сигнала S1 (Фиг.20(С)), который не содержит постоянные составляющие, а затем выполнения процесса преобразования знака.

Сигнал S43 преобразования знака, описанный выше, подвергается регулировке амплитуды в ограничителе 33, а затем выводится в качестве второго сигнала S2 из нелинейного процессора 302. Второй сигнал S2 добавляется в качестве компенсационного сигнала к входному сигналу Sin изображения сумматором 16, в результате чего создается выходной сигнал Sout изображения, показанный на Фиг.20(Е). Выходной сигнал Sout изображения имеет краевую часть, которая нарастает более круто, чем краевая часть (Фиг.5(D)) выходного сигнала изображения, созданного известным устройством для совершенствования изображений.

Как ясно из вышеприведенного описания, второй сигнал S2, который добавляется к входному сигналу Sin изображения в качестве компенсационного сигнала, получают путем выполнения нелинейной обработки первого сигнала S1 (Фиг.20(В)), который выводится из фильтра HPF 11 в виде высокочастотного сигнала. Другими словами, второй сигнал S2 создается из первого сигнала S1 оператором 12 возведения в квадрат, а положительные и отрицательные знаки в первом сигнале S1 сохраняются во втором сигнале S2 преобразователем 43 знака. На основе нелинейности процесса, выполняемого с первым сигналом S1 и сохранения положительных и отрицательных знаков, обнаруженных в первом сигнале S1, в настоящем варианте обеспечивается выходной сигнал Sout изображения, в котором краевая часть нарастает более круто (Фиг.20(Е)), чем краевая часть (Фиг.5(D)) в выходном сигнале изображения из известного устройства для совершенствования изображений, и, следовательно, обеспечиваются более резкие изображения, чем изображения, улучшенные известным способом.

Также на основе процесса, реализуемого оператором 12 возведения в квадрат, второй сигнал S2 содержит частотные компоненты с более высокими частотами, чем частота Найквиста fs/2, которая представляет собой частоту Найквиста частоты дискретизации fs входного сигнала Sin изображения. Таким образом, настоящий вариант обеспечивает более значительное улучшение качества изображений, чем известные устройства для совершенствования изображений, которые основаны на линейной обработке. Поскольку можно обеспечить достаточное повышение резкости изображений при простой компоновке, показанной на Фиг.18, теперь можно улучшить качество изображения не только для неподвижных изображений, но также и для движущихся изображений, отображаемых в режиме реального времени, без существенного увеличения затрат. Кроме того, в тех случаях, когда входной сигнал изображения обеспечивается сигналом изображения, который был подвергнут процессам обработки, связанным с укрупнением изображения, настоящий вариант изобретения обеспечивает значительное улучшение качества изображения путем достаточного повышения резкости изображения, которое уже было подвергнуто процессам укрупнения, по сравнению с известными устройствами для совершенствования изображений, которые не способны обеспечить компенсацию высокочастотных диапазонов, расположенных за частотой Найквиста fs/2.

Здесь следует заметить, что в настоящем варианте для выполнения нелинейной обработки первого сигнала S1 используется оператор 12 возведения в квадрат. Как альтернатива, оператор 12 возведения в квадрат может быть заменен оператором возведения в четвертую степень, который возводит первый сигнал S1 в четвертую степень. В более общем случае, оператор возведения в квадрат может быть заменен оператором, который создает сигнал, эквивалентный первому сигналу S1, возведенному в заранее определенную степень, где показатель степени равен двум или большему четному числу.

5. Пятый вариант

На Фиг.19 представлена блок-схема, показывающая конфигурацию устройства для совершенствования изображений согласно пятому варианту настоящего изобретения. Это устройство 500 для совершенствования изображений выполняет совершенствование изображения для повышения резкости изображения, представленного входным сигналом Sin изображения, который вводится извне в виде цифрового сигнала; и включает в себя фильтр HPF 11, нелинейный процессор 502 и сумматор 16. Нелинейный процессор 502 включает в себя оператор 12 возведения в квадрат, дифференцирующий блок 13, преобразователь 43 знака и ограничитель 33. Все другие аспекты настоящего варианта, кроме нелинейного процессора 502, идентичны аспектам в первом варианте (фиг.1-4). Также оператор 12 возведения в квадрат и дифференцирующий блок 13 в нелинейном процессоре 502 идентичны оператору 12 возведения в квадрат и первому дифференцирующему блоку 13 в первом варианте, в то время как ограничитель 33 в нелинейном процессоре 502 идентичен ограничителю 33 в третьем варианте. Одинаковые детали и компоненты в настоящем варианте, идентичные первому или третьему варианту, идентифицированы одинаковыми ссылочными позициями без их дальнейшего подробного описания.

В настоящем варианте фильтр HPF 11 выводит первый сигнал S1, который вводится в оператор 12 возведения в квадрат, входящий в нелинейный процессор 502. Оператор 12 возведения в квадрат возводит в квадрат первый сигнал S1 и тем самым создает квадратичный сигнал S12. Квадратичный сигнал S12 вводится в дифференцирующий блок 13. Дифференцирующий блок 3 дифференцирует квадратичный сигнал S12 и создает тем самым, дифференцированный сигнал S13. Дифференцированный сигнал S13 вводится в преобразователь 43 знака. Первый сигнал S1 также вводится в преобразователь 43 знака.

Преобразователь 43 знака выполняет процесс преобразования знака, восстанавливая знаки в квадратичном сигнале S13 путем сопоставления их с соответствующими знаками в первом сигнале S1, на основе информации в битах знака, содержащейся в первом сигнале S1, выдаваемом фильтром HPF 11. В частности, преобразователь 43 знака оставляет положительные и отрицательные знаки в дифференцированном сигнале S13 без изменений, если они идентичны соответствующим аналогам в первом сигнале S1, но преобразует эти знаки в дифференцированном сигнале S13 на противоположные, если они отличаются от соответствующих аналогов в первом сигнале S1. Сигнал, получаемый из преобразователя 43 знака, вводится в ограничитель 33 в качестве сигнала S44 преобразования знака. Как и ограничитель 33 в третьем варианте, ограничитель 33 в настоящем варианте выполняет регулировку амплитуды сигнала S44 преобразования знака, после чего отрегулированный сигнал выводится из нелинейного процессора 502 в качестве второго сигнала S2. Затем второй сигнал S2 вводится в сумматор 16 в качестве компенсационного сигнала.

Далее описывается функционирование устройства 500 для совершенствования изображений согласно настоящему варианту, скомпонованному так, как было описано выше. Описание будет сфокусировано на процессе, выполняемом с частью входного сигнала Sin изображения, показанного на Фиг.21(А), которая представляет край, где уровень (пиксельное значение) сигнала изображения изменяется в горизонтальном направлении.

Когда входной сигнал Sin изображения, показанный на Фиг.21(А), который представляет край, вводится в устройство 500 для совершенствования изображений согласно настоящему варианту, в качестве первого сигнала S1 создается сигнал, показанный на Фиг.21(B). В настоящем варианте первый сигнал S1 вводится в оператор 12 возведения в квадрат в нелинейном процессоре 502. Оператор 12 возведения в квадрат создает из первого сигнала S1 квадратичный сигнал S12, показанный на Фиг.21(С).

Квадратичный сигнал S12 вводится в дифференцирующий блок 13, а дифференцирующий блок 13 создает дифференцированный сигнал S13, показанный на Фиг.21(D). Дифференцированный сигнал S13 не содержит постоянных составляющих, которые содержались в квадратичном сигнале S12. Дифференцированный сигнал S13 преобразуется преобразователем 43 знака в сигнал S44 преобразования знака, показанный на Фиг.21(E). Таким образом, в сигнале S44 преобразования знака сохраняются положительные и отрицательные знаки, как в первом сигнале S1.

Сигнал S43 преобразования знака, описанный выше, подвергается регулировке амплитуды в ограничителе 33, а затем выводится в качестве второго сигнала S2 из нелинейного процессора 302. Второй сигнал S2 добавляется в качестве компенсационного сигнала к входному сигналу Sin изображения сумматором 16, в результате чего создается выходной сигнал Sout изображения, показанный на Фиг.21(F). Выходной сигнал Sout изображения имеет краевую часть, которая нарастает более круто, чем краевая часть (Фиг.5(D)) выходного сигнала изображения, созданного известным устройством для совершенствования изображений.

Как ясно из вышеприведенного описания, второй сигнал S2, который добавляется к входному сигналу Sin изображения в качестве компенсационного сигнала, получают путем выполнения нелинейной обработки первого сигнала S1 (Фиг.21(В)), который выводится из фильтра HPF 11 в виде высокочастотного сигнала. Другими словами, второй сигнал S2 создается из первого сигнала S1 оператором 12 возведения в квадрат, причем он не содержит постоянные составляющие, поскольку они были удалены дифференцирующим блоком 13, и при этом имеет положительные и отрицательные знаки, соответствующие знакам в первом сигнале S1, обеспеченные преобразователем 43 знака. На основе нелинейности процесса, выполняемого с первым сигналом S1 и сохранения положительных и отрицательных знаков, обнаруженных в первом сигнале S1, в настоящем варианте обеспечивается выходной сигнал Sout изображения, в котором краевая часть нарастает более круто (Фиг.21(F)), чем краевая часть (Фиг.5(D)) в выходном сигнале изображения из известного устройства для совершенствования изображений, и, следовательно, обеспечиваются более резкие изображения, чем изображения, улучшенные известным способом.

Также на основе процесса, реализуемого оператором 12 возведения в квадрат, второй сигнал S2 содержит частотные компоненты с более высокими частотами, чем частота Найквиста fs/2, которая представляет собой частоту Найквиста частоты дискретизации fs входного сигнала Sin изображения. Таким образом, настоящий вариант обеспечивает более значительное улучшение качества изображений, чем известные устройства для совершенствования изображений, которые основаны на линейной обработке. Поскольку можно обеспечить достаточное повышение резкости изображений при простой компоновке, показанной на Фиг.19, теперь можно улучшить качество изображения не только для неподвижных изображений, но также и для движущихся изображений, отображаемых в режиме реального времени, без существенного увеличения затрат. Кроме того, в тех случаях, когда входной сигнал изображения обеспечивается сигналом изображения, который был подвергнут процессам обработки, связанным с укрупнением изображения, настоящий вариант изобретения обеспечивает значительное улучшение качества изображения путем достаточного повышения резкости изображения, которое уже было подвергнуто процессам укрупнения, по сравнению с известными устройствами для совершенствования изображений, которые не способны обеспечить компенсацию высокочастотных диапазонов, расположенных за частотой Найквиста fs/2.

В настоящем варианте для выполнения нелинейной обработки первого сигнала S1 используется оператор 12 возведения в квадрат. Как альтернатива, оператору 12 возведения в квадрат может быть использован процессор 22 абсолютного значения, который используется во втором варианте. Такая компоновка также обеспечивает аналогичное функционирование и такие же преимущества, как и настоящий вариант (см. Фиг.21).

В настоящем варианте оператор 12 возведения в квадрат обеспечен для выполнения нелинейного обработки первого сигнал S1. Вместо оператора 12 возведения в квадрат можно использовать оператор возведения в четвертую степень, который возводит первый сигнал S1 в четвертую степень. В более общем случае, оператор возведения в квадрат может быть заменен оператором, который создает сигнал, эквивалентный первому сигналу S1, возведенному в заранее определенную степень, где показатель степени равен двум или большему четному числу. Также в настоящем варианте для удаления постоянных составляющих, содержащихся в квадратичном сигнале S12, используется дифференцирующий блок 13. Как альтернатива, для этого можно использовать фильтр верхних частот. Кроме того, дифференцирующий блок 13 расположен последовательно перед преобразователем 43 знака, но вместо этого дифференцирующий блок 13 или фильтр HPF можно установить за преобразователем 43 знака.

6. Другие варианты

В вариантах, описанных далее, нелинейность в нелинейном процессоре основана на операции возведения в квадрат, операции возведения в куб (в более общем случае, операции возведения в степень, равную двум или большему четному числу, или трем или большему нечетному числу), либо на обработке для получения абсолютного значения. Однако для достижения такого же эффекта, как в описанных далее вариантах, можно использовать другие нелинейные операции.

Далее следует описание нелинейных операций, выполняемых нелинейными операционными блоками, где значение входного сигнала этих блоков представлено как x, значение выходного сигнала представлено как y, а процесс, выполняемый нелинейным операционным блоком, представлен функцией f(x); (y=f(x)). В настоящем изобретении ожжет быть использован нелинейный операционный блок, который выполняет процесс, представленный нелинейной функцией f(x), которая дает монотонно возрастающие значения нелинейным образом или при положительно-отрицательной симметрии. Используемый здесь термин «монотонное увеличение» означает монотонное увеличение в широком смысле этого. Также не обязательно, чтобы нелинейная функция f(x) давала монотонное увеличение для всех значений x, коль скоро эта функция показывает монотонное увеличение по меньшей мере в окрестности нуля. К тому же предпочтительно, чтобы нелинейная функция f(x) удовлетворяла соотношению f(x)>x по меньшей мере в заранее определенном диапазоне в окрестности нуля.

На Фиг.22 представлена примерная конфигурация, в которой устройство 600 для совершенствования изображений использует нелинейный операционный блок 62, который выполняет процесс, представленный вышеописанной нелинейной функцией f(x), которая дает монотонное симметричное возрастание в положительном - отрицательном направлениях. В другом примере, представленном на Фиг.23, в устройстве 700 для совершенствования изображений используется нелинейный операционный блок 62. Указанные устройства для совершенствования изображений способны добавлять высокочастотные компоненты, не содержащиеся во входном сигнале Sin изображения, то есть, частотные компоненты с более высокими частотами, чем частота Найквиста fs/2 исходного сигнала, и, следовательно, способны предоставить те же преимущества, которые обеспечиваются каждым из описанных до сих пор вариантов. Устройство 600 для совершенствования изображений на Фиг.22 совпадает с устройством 400 для совершенствования изображений согласно четвертому варианту, отличаясь лишь тем, что оператор 12 возведения в квадрат заменен нелинейным операционным блоком 62. Устройство 600 для совершенствования изображений на Фиг.22 также можно использовать в версиях четвертого варианта вместо устройства 400 для совершенствования изображений на Фиг.18. Устройство 700 для совершенствования изображений на Фиг.23 также совпадает с устройством 500 для совершенствования изображений согласно пятому варианту, показанному на Фиг.19, отличаясь лишь тем, что оператор 12 возведения в квадрат заменен нелинейным операционным блоком 62. Устройство 700 для совершенствования изображений также можно использовать в версиях пятого варианта вместо устройства 500 для совершенствования изображений на Фиг.19.

В компоновке на Фиг.22 или Фиг.23 используется нелинейный операционный блок 62, который выполняет процесс, представленный функцией f(x), то есть, нелинейной функцией, которая дает монотонное возрастание значений в широком смысле при положительно-отрицательной симметрии, предпочтительно в рамках соотношения f(x)>x. Одним из примеров указанной функции является функция f(x)=x²ⁿ (где n представляет натуральное число). Другие примеры включают в себя следующие функции f(x):

Функция f(x) согласно выражению (8) и функция f(x) согласно выражению (9) демонстрируют значительный рост в диапазоне x от 0 до 1, так как этот диапазон используется в устройстве для совершенствования изображений согласно настоящем варианту.

Если входной сигнал Sin изображения представляет собой 8-битовый цифровой сигнал, то пиксельное значение будет находиться в диапазоне от 0 до 255. Следовательно, при практическом использовании вышеуказанных функций пиксельное значение x нормализуют с использованием значения 255. Например, для функции согласно выражению (8) переменная x справа заменяется на x/255, и в то же время правая сторона умножается на 255. Другими словами, используют следующую функцию:

Функция согласно выражению (10) удовлетворяет условию f(x)>x. Если входной сигнал Sin изображения представляет собой 10-битовый цифровой сигнал, то нормализация будет выполнена с использованием значения 1023.

Если вновь обратиться к функции, заданной выражением (10), то сначала была нормализована функция, заданная выражением (8), а затем было выполнено умножение с использованием значения 255. Однако, значение для умножения не обязательно должно совпадать со значением, использованным для нормализации (в текущем примере это 255). Например, можно использовать функцию f(x)=100|x/255|^1/2, пока эта функция удовлетворяет условию f(x)>x.

Вышеописанный способ также позволяет использовать тригонометрическую функцию f(x), указанную ниже, в качестве нелинейной функции, представляющей процесс, выполняемый нелинейным операционным блоком 62:

7. Демонстрация с использованием реальных изображений

Чтобы продемонстрировать преимущества настоящего изобретения, процессы для совершенствования изображений согласно настоящему изобретению были выполнены с реальными изображениями. Далее описываются полученные результаты усовершенствования этих изображений.

На Фиг.24 показано исходное изображение, которое использовалось при демонстрации преимуществ настоящего изобретения. Из-за ограниченного пространства на сопроводительном чертеже это исходное изображение уменьшено по сравнению с его реальным размером. На Фиг.25 показано изображение, полученное путем отсечения верхней правой части исходного изображения, с последующим выполнением процесса укрупнения, состоящего в удвоении размера в горизонтальном и вертикальном направлениях. Это изображение было использовано в качестве цели для усовершенствований, и далее оно называется «целевым изображением». Целевое изображение не содержит частотные компоненты вблизи частоты Найквиста Fb/2=fs, являющейся частотой Найквиста частоты дискретизации Fb=2fs после процесса укрупнения (см. Фиг.8(А)). Здесь следует заметить, что Фиг.24 и Фиг.25 были выполнены с использованием способа псевдополутонового изображения исходя из возможных случаев, когда эти изображения смотрятся как печатные копии. Это также относится к Фиг.26 и Фиг.27, которые будут описаны ниже.

На Фиг.26(В) представлено изображение, полученное путем выполнения известного совершенствования изображений на основе линейной обработки объектного изображения. Для сравнения на Фиг.26(А) показано целевое изображение. Как было описано ранее, поскольку целевое изображение не содержит частотные компоненты вблизи частоты Найквиста Fb/2=fs частоты дискретизации Fb=2fs после процесса укрупнения (см. Фиг.8(А)), известный способ совершенствования изображений не может улучшить качество целевого изображения, и имеет место мало различимое отличие по резкости и сенсорной разрешающей способности между целевым изображением на Фиг.26(А) и изображением на Фиг.26(В).

На Фиг.27(А) представлено изображение, полученное путем выполнения совершенствования изображений согласно компоновке, показанной на Фиг.15, где используется процессор 22 абсолютных значений. Здесь в каждом направлении (вертикальном и горизонтальном) было выполнено одномерное совершенствование изображения для целевого объекта (см. Фиг.9). Изображение на Фиг.27(А) демонстрирует значительное повышение резкости или сенсорной разрешающей способности в основном в таких областях, как спинка стула и ее края, по сравнению с целевым изображением на Фиг.26(А), и в этом отношении изображение на Фиг.7(А) значительно отличается от изображения на Фиг.26(В). Таким образом, можно утверждать, что совершенствование изображений согласно компоновке на Фиг.15 способно значительно улучшить качество изображения путем достаточного повышения резкости укрупненных изображений по сравнению с известным способом совершенствования изображений, основанном на линейной обработке.

На Фиг.27(В) представлено изображение, полученное путем выполнения совершенствования изображений согласно компоновке, показанной на Фиг.16, где используется оператор 32 возведения в куб. Совершенствование изображения было выполнено для целевого изображения один раз в каждом из направлений (горизонтальном и вертикальном) (см. фиг.9). В этом случае совершенствования изображения входной сигнал Sin изображения представлял собой 8-битовый сигнал; значение константы α для регулировки усиления, использованной в ограничителе 33, было равно 0,03; а верхнее предельное значение для процесса отсечения составляло ±32. Сравнение изображения на Фиг.27(В) с изображением на Фиг.27(А) показывает, что изображение на Фиг.27(А) демонстрирует значительное улучшение изображения (резкость) в таких областях, как спинка стула и ее края, в то время как изображение на Фиг.27(В) демонстрирует значительное улучшение в таких областях как глаза и губы, где сигнал изображения имеет небольшие амплитуды. Таким образом, можно утверждать на основе сравнения двух компоновок на Фиг.15 и Фиг.16, что лучшие результаты можно получить, используя компоновку на Фиг.16, то есть, компоновку, содержащую оператор 32 возведения в куб, когда сигнал изображения имеет небольшие амплитуды, в то время как компоновка на Фиг.15, то есть, компоновка, содержащая процессор 22 абсолютных значений, дает лучшие результаты, когда сигнал изображения имеет большие амплитуды. С учетом этого обстоятельства предпочтительно использовать конфигурацию, которая включает в себя обе компоновки (на Фиг.15 и на Фиг.16), чтобы обеспечить улучшение качества путем повышения резкости всего изображения.

8. Другие версии

Предшествующее описание касалось различных вариантов настоящего изобретения. В то время как в первом, четвертом и пятом вариантах используется оператор 12 возведения в квадрат, во втором варианте используется процессор 22 абсолютных значений, а в третьем варианте используется оператор 32 возведения в куб для выполнения нелинейного процесса. В устройстве для совершенствования изображений согласно настоящему изобретению может использоваться множество или комбинация из вариантов первого по пятый либо различные их версии (фиг.9-14).

Также, хотя каждый из вариантов реализован в виде аппаратных средств (например, большая интегральная схема LSI), часть либо все эти компоновки могут быть реализованы программными средствами. Например, устройство для совершенствования изображений согласно настоящему изобретению может быть реализовано в виде программного обеспечения с использованием персонального компьютера, как показано на Фиг.28 (далее он обозначен как «PC») и выполнения программы (далее называемой «программа для совершенствования изображений») для выполнения любого из вариантов (первого, второго, третьего, четвертого и пятого), показанных на фигурах 1, 15, 16, 18 и 19 соответственно, или других вариантов, показанных на Фиг.22 и Фиг.23, либо их версий. Указанное устройство для совершенствования изображений, реализованное программными средствами, может обеспечить достаточное улучшение изображения при его использовании для неподвижных изображений, демонстрируя при этом те же преимущества, что и преимущества, обеспечиваемые вариантами, описанными ранее, при улучшении качества изображения путем повышения его резкости.

PC 800 является компьютером общего назначения и включает в себя центральный процессор, обозначенный как CPU 801, память 803, модем 805, блок 807 управления отображением, блок 809 входного интерфейса, накопитель 811 на жестком диске и накопитель 813 CD-ROM (память только для считывания на компакт-диске). Эти компоненты соединены шинами. Блок 809 входного интерфейса соединен с операционными устройствами 810, такими как клавиатура и мышь. Блок 807 управления отображением соединен с такими устройствами, как клавиатура и мышь. Блок 807 управления отображением соединен с устройством 815 отображения, таким как электронно-лучевая трубка (CRT) или жидкокристаллическое устройство отображения. Программа для совершенствования изображений, как правило, представлена на CD-ROM в виде программы, хранящейся на носителе записи. Другими словами, пользователь приобретает CD-ROM 850 как носитель записи для программы для совершенствования изображений, загружает носитель в накопитель 813 CD-ROM, считывает программу с CD-ROM 850 и устанавливает эту программу в накопителе 811 на жестком диске. В качестве альтернативы, программа для совершенствования изображений может быть получена через модем 805, который соединен с линией связи, а затем установлена в накопителе 811 на жестком диске. Кроме того, изготовители компьютеров могут установить программу для совершенствования изображений в накопителе 811 на жестком диске перед отгрузкой PC 800. Как только программа установлена в накопителе 811 на жестком диске, пользователь может выполнить на операционном устройстве 810 заранее определенную операцию для выполнения программы, после чего программа пересылается в память 803, запоминается в предварительном порядке, и выполняется процессором CPU 801, что позволяет компьютеру PC 800 функционировать в качестве устройства, которое выполняет эквивалентное совершенствование изображения согласно одному из вышеописанных вариантов или их версий. В устройстве для совершенствования изображений, реализованном программными средствами, как было описано выше, совершенствование изображения выполняется применительно к данным целевого изображения, являющимися данными, которые представляют изображение, подлежащее улучшению, и которые заранее запоминаются в накопителе 811 на жестком диске. При запуске программы для совершенствования изображений совершенствование изображений выполняется процессором CPU 801 применительно к данным целевого изображения на основе программы для совершенствования изображений, а затем создаются и запоминаются в накопителе 811 на жестком диске данные изображения, которые подверглись обработке (далее они называются «обработанные данные изображения»).

Предшествующее описание было посвящено совершенствованию изображений для улучшения качества изображений, например, совершенствование изображений для улучшения качества движущихся изображений для отображения в режиме реального времени в телевизионных (TV) приемниках. Однако настоящее изобретение не ограничивается вышеописанным усовершенствованием изображений. Настоящее изобретение также применимо к обработке сигналов для улучшения качества звука и к устройствам, которые выполняют обработку сигналов для улучшенного качества контента, содержащегося в звуке, и т.д. Также настоящее изобретение применимо к устройствам, которые выполняют обработку сигналов, которые принимаются через линию связи, для повышения качества этих сигналов. Указанные устройства обработки сигналов, предложенные в настоящем изобретении, выполняют нелинейную обработку для получения гармоник исходного сигнала. Таким образом, сигналы, созданные этими устройствами, содержат частотные компоненты с частотами, превышающими частоту Найквиста fs/2, которая представляет собой частоту Найквиста частоты дискретизации fs, используемой при получении дискретных сигналов из входного сигнала. Таким образом, эти устройства способны предложить более существенное улучшение качества сигнала (качество звука, качество изображения, и т.д.), чем улучшение, достигаемое с помощью известной обработки сигналов на основе линейной обработки. Также улучшение качества сигнала может быть достигнуто при использовании простой компоновки.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изобретение предназначено для применения в устройствах для совершенствования изображений, способах совершенствования изображений и программах для совершенствования изображений с целью повышения качества изображения посредством повышения его резкости. Например, настоящее изобретение применимо к устройствам для совершенствования изображений для повышения резкости движущихся изображений, отображаемых в режиме реального времени в телевизионных (TV) приемниках.

ОБОЗНАЧЕНИЯ НА ЧЕРТЕЖАХ

11, 11B, 11C - фильтры верхних частот (HPF)

12 - оператор возведения в квадрат (оператор возведения в степень)

13 - первый дифференцирующий блок

14 - второй дифференцирующий блок

15 - умножитель

16 - сумматор

22 - процессор абсолютных значений

32 - оператор возведения в куб (оператор возведения в степень)

33 - ограничитель

43 - преобразователь знака

62 - нелинейный операционный блок

100 - устройство для совершенствования изображений (первый вариант)

102 - нелинейный процессор

110, 110B, 110C - цифровые фильтры

132 - блок округления

133 - ограничитель

200 - устройство для совершенствования изображений (второй вариант)

202 - нелинейный процессор

300 - устройство для совершенствования изображений (третий вариант)

302 - нелинейный процессор

400 - устройство для совершенствования изображений (четвертый вариант)

402 - нелинейный процессор

500 - устройство для совершенствования изображений (пятый вариант)

502 - нелинейный процессор

Sin - входной сигнал изображения (входной сигнал)

Sout - выходной сигнал изображения

S1 - первый сигнал

S2 - второй сигнал

S12 - квадратичный сигнал (третий сигнал)

S13 - первый дифференцированный сигнал (четвертый сигнал)

S14 - второй дифференцированный сигнал (пятый сигнал)

S22 - сигнал абсолютного значения (третий сигнал)

S32 - кубический сигнал (третий сигнал).

Изобретение относится к обработке изображений. Техническим результатом является улучшение качества изображения путем достаточного повышения резкости изображения посредством соответствующей высокочастотной компенсации при простой компоновке, причем не только для неподвижных изображений, но также для движущихся изображений, даже если изображения уже подверглись процессам укрупнения изображения. Результат достигается тем, что фильтр HPF (11) выделяет высокочастотные компоненты из входного сигнала Sin изображения. Оператор (12) возведения в квадрат создает квадратичный сигнал S12 путем возведения в квадрат первого сигнала S1. Первый дифференцирующий блок (13) создает первый дифференцированный сигнал S13 путем дифференцирования квадратичного сигнала S12. Второй дифференцирующий блок (14) создает второй дифференцированный сигнал S14 путем дифференцирования входного сигнала Sin изображения. Умножитель (15) создает второй сигнал S2 путем умножения первого дифференцированного сигнала S13 на второй дифференцированный сигнал S14. Сумматор (16) создает выходной сигнал Sout изображения в качестве компенсационного сигнала путем добавления второго сигнала S2 к входному сигналу Sin изображения. 4 н. и 17 з.п. ф-лы, 28 ил.

1. Устройство для совершенствования изображений для повышения резкости изображения, представленного входным сигналом, содержащее:
секцию фильтра для формирования первого сигнала путем удаления из входного сигнала, который представляет изображение, по меньшей мере, постоянной составляющей частотных компонент, содержащихся во входном сигнале;
нелинейный процессор для формирования второго сигнала путем выполнения нелинейного процесса в отношении первого сигнала; и
секцию сумматора для добавления второго сигнала к входному сигналу;
при этом нелинейный процессор
формирует третий сигнал на основе первого сигнала, причем третий сигнал монотонно возрастает в широком смысле, нелинейно или при положительно-отрицательной симметрии относительно первого сигнала, по меньшей мере, в окрестности нуля, и
формирует второй сигнал на основе третьего сигнала, так что положительные и отрицательные знаки в первом сигнале, по существу, сохраняются во втором сигнале, когда второй сигнал не содержит постоянную составляющую.

2. Устройство для совершенствования изображений по п.1, в котором нелинейный процессор
формирует третий сигнал путем возведения первого сигнала в заранее определенную степень, где показатель степени равен двум или большему четному числу, и
формирует второй сигнал на основе третьего сигнала, так что положительные и отрицательные знаки в первом сигнале, по существу, сохраняются во втором сигнале.

3. Устройство для совершенствования изображений по п.2, в котором нелинейный процессор включает в себя:
оператор возведения в степень для формирования третьего сигнала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен двум или большему четному числу;
первый дифференцирующий блок для формирования четвертого сигнала путем дифференцирования третьего сигнала;
второй дифференцирующий блок для формирования пятого сигнала путем дифференцирования входного сигнала; и
умножитель для формирования второго сигнала на основе произведения четвертого сигнала и пятого сигнала.

4. Устройство для совершенствования изображений по п.2, в котором нелинейный процессор включает в себя:
оператор возведения в степень для формирования третьего сигнала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен двум или большему четному числу; и
преобразователь знака для изменения положительных или отрицательных знаков на противоположные в третьем сигнале на основе первого сигнала, если положительные или отрицательные знаки отличаются от соответствующих знаков в первом сигнале, для формирования второго сигнала на основе третьего сигнала.

5. Устройство для совершенствования изображений по п.2, в котором нелинейный процессор включает в себя:
оператор возведения в степень для формирования третьего сигнала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен двум или большему четному числу;
фильтр для формирования четвертого сигнала путем удаления постоянной составляющей из третьего сигнала; и
преобразователь знака для изменения положительных или отрицательных знаков на противоположные в четвертом сигнале на основе первого сигнала, если положительные или отрицательные знаки отличаются от соответствующих знаков в первом сигнале, для формирования второго сигнала на основе четвертого сигнала.

6. Устройство для совершенствования изображений по п.1, в котором нелинейный процессор
формирует в качестве третьего сигнала сигнал, представляющий абсолютное значение первого сигнала, и
формирует второй сигнал на основе третьего сигнала, так что положительные и отрицательные знаки в первом сигнале, по существу, сохраняются во втором сигнале.

7. Устройство для совершенствования изображений по п.6, в котором нелинейный процессор включает в себя:
процессор абсолютного значения для формирования в качестве третьего сигнала, представляющего абсолютное значение первого сигнала;
первый дифференцирующий блок для формирования четвертого сигнала путем дифференцирования третьего сигнала;
второй дифференцирующий блок для формирования пятого сигнала путем дифференцирования входного сигнала; и
умножитель для формирования второго сигнала на основе произведения четвертого сигнала и пятого сигнала.

8. Устройство для совершенствования изображений по п.6, в котором нелинейный процессор включает в себя:
процессор абсолютного значения для формирования в качестве третьего сигнала, представляющего абсолютное значение первого сигнала;
фильтр для формирования четвертого сигнала путем удаления постоянной составляющей из третьего сигнала; и
преобразователь знака для изменения положительных или отрицательных знаков на противоположные в четвертом сигнале на основе первого сигнала, если положительные или отрицательные знаки отличаются от соответствующих знаков в первом сигнале, для формирования второго сигнала на основе четвертого сигнала.

9. Устройство для совершенствования изображений по п.1, в котором нелинейный процессор формирует третий сигнал сначала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен трем или большему нечетному числу, а затем формирует второй сигнал на основе третьего сигнала.

10. Устройство для совершенствования изображений по п.9, в котором нелинейный процессор включает в себя:
оператор возведения в степень для формирования третьего сигнала путем возведения первого сигнала в заранее определенную степень, где показатель степени равен трем или большему нечетному числу; и
регулятор для формирования второго сигнала путем регулирования амплитуды третьего сигнала.

11. Устройство для совершенствования изображений по п.1, в котором нелинейный процессор формирует третий сигнал таким образом, что абсолютное значение третьего сигнала превышает абсолютное значение первого сигнала, по меньшей мере, в одном диапазоне в окрестности нуля.

12. Устройство для совершенствования изображений по п.1, в котором нелинейный процессор формирует третий сигнал на основе первого сигнала, причем третий сигнал монотонно возрастает в широком смысле, нелинейно или при положительно-отрицательной симметрии относительно первого сигнала, по меньшей мере, в диапазоне, где первый сигнал имеет амплитуду, не превышающую половину его максимальной амплитуды.

13. Устройство для совершенствования изображений по п.1, в котором секция фильтра включает в себя цифровой фильтр верхних частот с тремя или более отводами.

14. Устройство для совершенствования изображений по п.1, в котором нелинейный процессор включает в себя:
блок округления для замены значения части первого сигнала на нуль, если значение сигнала имеет абсолютное значение, меньшее заранее определенного нижнего предельного значения; и
ограничитель для замены значения части первого сигнала на заранее определенное значение замены, если сигнал имеет абсолютное значение, превышающее заранее определенное верхнее предельное значение, причем заранее определенное значение замены имеет абсолютное значение, не превышающее верхнее предельное значение.

15. Устройство для совершенствования изображений по п.1, в котором нелинейный процессор включает в себя регулятор для регулирования амплитуды второго сигнала.

16. Устройство для совершенствования изображений по п.1, в котором секция фильтра формирует первый сигнал путем, по меньшей мере, удаления из входного сигнала постоянной составляющей пространственных частотных компонент в горизонтальном направлении изображения, при этом нелинейный процессор формирует второй сигнал, так что второй сигнал не содержит постоянную составляющую пространственных частотных компонент в горизонтальном направлении изображения.

17. Устройство для совершенствования изображений по п.1, в котором секция фильтра формирует первый сигнал путем, по меньшей мере, удаления постоянной составляющей пространственных частотных компонент в вертикальном направлении изображения, при этом нелинейный процессор формирует второй сигнал, так что второй сигнал не содержит постоянную составляющую пространственных частотных компонент в вертикальном направлении изображения.

18. Устройство для совершенствования изображений по п.1, в котором изображение является движущимся изображением, при этом секция фильтра формирует первый сигнал путем удаления, по меньшей мере, постоянной составляющей частотных компонент при обработке изображения во времени, при этом нелинейный процессор формирует второй сигнал, так что второй сигнал не содержит постоянную составляющую частотных компонент при обработке изображения во времени.

19. Способ совершенствования изображений для повышения резкости изображения, представленного входным сигналом, содержащий:
этап фильтрации, на котором формируют первый сигнал путем удаления из входного сигнала, который представляет изображение, по меньшей мере, постоянной составляющей частотных компонент, содержащихся во входном сигнале;
этап нелинейной обработки, на котором формируют второй сигнал путем выполнения нелинейного процесса в отношении первого сигнала; и
этап добавления второго сигнала к входному сигналу;
причем этап нелинейной обработки включает в себя формирование третьего сигнала на основе первого сигнала, причем третий сигнал монотонно возрастает в широком смысле, нелинейно или при положительно-отрицательной симметрии относительно первого сигнала, по меньшей мере, в окрестности нуля, и
формирование второго сигнала на основе третьего сигнала, так что положительные и отрицательные знаки в первом сигнале, по существу, сохраняются во втором сигнале, когда второй сигнал не содержит постоянную составляющую.

20. Считываемый компьютером носитель записи, содержащий программу совершенствования изображений для повышения резкости изображения, представленного входным сигналом, причем программа предписывает компьютеру выполнять:
этап фильтрации, на котором формируется первый сигнал путем удаления из входного сигнала, который представляет изображение, по меньшей мере, постоянной составляющей частотных компонент, содержащихся во входном сигнале;
этап нелинейной обработки, на котором формируется второй сигнал путем выполнения нелинейного процесса в отношении первого сигнала; и
этап добавления второго сигнала к входному сигналу;
причем этап нелинейной обработки включает в себя:
формирование третьего сигнала на основе первого сигнала, причем третий сигнал монотонно возрастает в широком смысле, нелинейно или при положительно-отрицательной симметрии относительно первого сигнала, по меньшей мере, в окрестности нуля, и
формирование второго сигнала на основе третьего сигнала, так что положительные и отрицательные знаки в первом сигнале, по существу, сохраняются во втором сигнале, когда второй сигнал не содержит постоянную составляющую.

21. Устройство обработки сигналов для улучшения качества входного сигнала, содержащее:
секцию фильтра для формирования первого сигнала путем удаления из входного сигнала, по меньшей мере, постоянной составляющей частотных компонент, содержащихся во входном сигнале;
нелинейный процессор для формирования второго сигнала путем выполнения нелинейного процесса в отношении первого сигнала; и
секцию сумматора для добавления второго сигнала к входному сигналу;
при этом нелинейный процессор
формирует третий сигнал на основе первого сигнала, причем третий сигнал монотонно возрастает в широком смысле, нелинейно или при положительно-отрицательной симметрии относительно первого сигнала по меньшей мере в окрестности нуля, и
формирует второй сигнал на основе третьего сигнала, так что положительные и отрицательные знаки в первом сигнале, по существу, сохраняются во втором сигнале, когда второй сигнал не содержит постоянную составляющую.