Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству отображения изображений и способу отображения изображений устройства, а также к устройству обработки изображений и способу обработки изображений устройства, допускающим представление отображаемого видео высокой четкости посредством уменьшения размытости изображений движущихся объектов отображаемого видео вследствие эффекта интегрирования во времени датчика изображений.
Уровень техники
По сравнению с традиционными электронно-лучевыми трубками (CRT), главным образом используемыми для реализации движущихся изображений, LCD (жидкокристаллические дисплеи) имеют недостаток, так называемую размытость изображений движущихся объектов, которая является размыванием контура движущейся части, воспринимаемой просматривающим при отображении изображения с перемещением. Следует указать, что эта размытость изображений движущихся объектов является результатом работы самой системы LCD-дисплея (см., к примеру, подробное описание патента (Япония) номер 3295437, Hidekazu Ishiguro и Taiichiro Kurita, "Consideration on Motion Picture Quality of the Hold Type Display with the octuplerate CRT", IEICE Technical Report, Institute of Electronics, Information and Communication Engineers, EID96-4 (1996-06), стр.19-26).
Поскольку флуоресцентный материал сканируется посредством электронного луча, чтобы вызывать излучение света для отображения в CRT, световое излучение каждого пиксела является, по сути, импульсообразным, хотя небольшое послесвечение флуоресцентного материала существует. Это называется системой дисплея импульсного типа. С другой стороны, в случае LCD электрический заряд, накопленный посредством приложения электрического поля к жидкому кристаллу, сохраняется в относительно высокой пропорции до тех пор, пока не приложено следующее электрическое поле. В частности, в случае TFT-системы, поскольку TFT-переключатель располагается для каждой точки, конфигурирующей пиксел, и обычно каждый пиксел имеет дополнительную емкость, способность удерживать накопленный заряд является чрезвычайно высокой. Следовательно, световое излучение длится до тех пор, пока пикселы не перезаписаны посредством приложения электрического поля на основе информации изображений следующего кадра или поля (в дальнейшем в этом документе представленного посредством кадра). Это называется системой дисплея удерживающего типа.
Поскольку импульсная характеристика света отображения изображений имеет временной разброс в вышеупомянутой системе дисплея удерживающего типа, специальные частотные характеристики ухудшаются по мере того, как временно-частотные характеристики ухудшаются, и возникает размытость изображений движущихся объектов. Поскольку человеческий глаз может плавно следить за движущимся объектом, если время светового излучения является значительным, как в случае удерживающего типа, перемещение изображения выглядит прерывистым и неестественным вследствие эффектов интегрирования во времени.
Чтобы снижать размытость изображений движущихся объектов в вышеупомянутой системе дисплея удерживающего типа, применяется известная технология для преобразования частоты кадров (числа кадров) посредством интерполяции изображения между кадрами. Эта технология называется FRC (преобразователь частоты кадров), и она введена в практическое использование в жидкокристаллических дисплейных устройствах и т.д.
Традиционно известные способы преобразования частоты кадров включают в себя различные технологии, такие как простое многократное повторение считывания одного и того же кадра и интерполяция кадров с использованием линейной интерполяции между кадрами (см., к примеру, Tatsuro Yamauchi, TV Standards Conversion, Journal of the Institute of Television Engineers of Japan, издание 45, номер 12, стр.1534-1543 (1991)). Тем не менее, в случае обработки с интерполяцией кадров с использованием линейной интерполяции формируется неестественность движения (прерывистость, дрожание) вследствие преобразования частоты кадров и искажение в форме размытости изображений движущихся объектов, обусловленное системой дисплея удерживающего типа, не может быть в достаточной степени снижено, приводя к недостаточному качеству изображения.
Чтобы устранять эффекты прерывистости и т.д. и повышать качество движущихся изображений, предложена обработка интерполяции кадров с компенсацией движения с использованием векторов движения. Поскольку само движущееся изображение захватывается для того, чтобы компенсировать перемещение изображения в этом процессе, очень естественные движущиеся изображения могут быть получены без снижения разрешения и формирования прерывистости. Поскольку сигналы интерполированного изображения формируются с компенсацией движения, искажение в форме размытости изображений движущихся объектов, обусловленное вышеупомянутой системой дисплея удерживающего типа, может быть в достаточной степени снижено.
Вышеупомянутое подробное описание патента (Япония) номер 3295437 раскрывает технологию адаптивного к движению формирования интерполированных кадров, чтобы увеличивать частоту кадров отображаемого изображения для снижения ухудшения пространственно-частотных характеристик, вызывающих размытость изображений движущихся объектов. В этом случае, по меньшей мере, один сигнал интерполированного изображения, интерполированный между кадрами отображаемого изображения, создается адаптивно к движению из предыдущих и последующих кадров, и созданные сигналы интерполированного изображения интерполируются между кадрами и последовательно отображаются.
Фиг.1 - это блок-схема схематичной конфигурации управляющей схемы дисплея с FRC в традиционном жидкокристаллическом дисплейном устройстве, и на фиг.1 управляющая схема дисплея с FRC включает в себя FRC-модуль 100, который преобразует число кадров сигнала входного изображения посредством интерполяции сигналов изображения, подвергнутых обработке компенсации движения, между кадрами входного видеосигнала, жидкокристаллическую дисплейную панель 203 с активной матрицей, имеющую жидкокристаллический слой и электрод для приложения сигнала сканирования и сигнала данных к жидкокристаллическому слою, и модуль 204 возбуждения электродов для возбуждения электрода сканирования и электрода данных жидкокристаллической дисплейной панели 203 на основе сигнала изображения, подвергнутого преобразованию частоты кадров посредством FRC-модуля 100.
FRC-модуль 100 включает в себя модуль 101 обнаружения векторов движения, который обнаруживает информацию вектора движения из сигнала входного изображения, и модуль 102 формирования интерполированных кадров, который формирует интерполированные кадры на основе информации вектора движения, полученной посредством модуля 101 обнаружения векторов движения.
В вышеупомянутой конфигурации, например, модуль 101 обнаружения векторов движения может получать информацию вектора движения с использованием метода поблочного сравнения, градиентного метода и т.д. либо, если информация вектора движения включена в сигнал входного изображения в некоторой форме, эта информация может быть использована. Например, данные изображения, кодированные со сжатием с использованием формата MPEG, включают в себя информацию вектора движения движущегося изображения, вычисленного во время кодирования, и эта информация вектора движения может быть получена.
Фиг.2 - это схема для пояснения обработки с преобразованием частоты кадров посредством традиционной управляющей схемы дисплея с FRC, показанной на фиг.1. FRC-модуль 100 формирует интерполированные кадры (изображения серого цвета на фиг.2) между кадрами с обработкой компенсации движения с использованием информации вектора движения, выводимой из модуля 101 обнаружения векторов движения, и последовательно выводит формируемые сигналы интерполяции наряду с сигналами входных кадров, чтобы выполнять обработку для преобразования частоты кадров сигнала входного изображения с 60 кадров в секунду (60 Гц) до 120 кадров в секунду (120 Гц).
Фиг.3 - это схема для пояснения обработки формирования интерполированных кадров модуля 101 обнаружения векторов движения и модуля 102 формирования интерполированных кадров. Модуль 101 обнаружения векторов движения использует градиентный метод для того, чтобы обнаруживать вектор 205 движения, например, из кадра #1 и кадра #2, показанных на фиг.2. Модуль 101 обнаружения векторов движения получает вектор 205 движения посредством измерения направления и величины перемещения за 1/60 секунды между кадром #1 и кадром #2. Модуль 102 формирования интерполированных кадров затем использует полученный вектор 205 движения для того, чтобы выделять интерполяционный вектор 206 между кадром #1 и кадром #2. Интерполированный кадр 207 формируется посредством перемещения объекта (в данном случае автомобиля) с позиции кадра #1 в позицию через 1/120 секунды на основе интерполяционного вектора 206.
Посредством выполнения обработки интерполяции кадров с компенсацией движения с использованием информации вектора движения для того, чтобы увеличивать частоту кадров дисплея, таким образом, состояние дисплея LCD (системы дисплея удерживающего типа) может быть приведено ближе к состоянию дисплея CRT (системы дисплея импульсного типа) и может быть снижено ухудшение качества изображения, которое обусловлено размытостью изображений движущихся объектов, формируемой при отображении движущегося изображения.
При обработке интерполяции кадров с компенсацией движения важным является обнаруживать векторы движения для компенсации движения. Например, метод поблочного сравнения и градиентный метод предлагаются в качестве типичных технологий для обнаружения вектора движения. В градиентном методе вектор движения обнаруживается для каждого пиксела или небольшого блока между двумя последовательными кадрами, чтобы интерполировать каждый пиксел или небольшой блок интерполированного кадра между двумя кадрами. Изображение в произвольной позиции между двумя кадрами интерполируется в точно компенсированной позиции, чтобы преобразовывать число кадров.
Хотя ухудшение качества изображения вследствие размытости изображений движущихся объектов, вызываемой посредством дисплея удерживающего типа, может быть снижено посредством выполнения обработки интерполяции кадров с компенсацией движения, чтобы увеличивать частоту кадров дисплея, как указано выше, сигнал входного изображения может включать в себя размытости изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений (также называемые размытостью камеры), и качество изображения ухудшается за счет размытости изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений. Следовательно, например, в выложенной патентной публикации (Япония) номер 2002-373330 внесено предложение на предмет устройства обработки изображений, удаляющего размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений и увеличивающего чувствительное разрешение без получающихся в результате неестественных изображений. Традиционное устройство обработки изображений, описанное в выложенной патентной публикации (Япония) номер 2002-373330, далее описывается со ссылкой на фиг.4.
Фиг.4 - это функциональная блок-схема конфигурации традиционного устройства обработки изображений. Входное изображение, предоставленное в устройство обработки изображений, предоставляется в модуль 111 извлечения объектов, модуль 113 идентификации области, модуль 114 вычисления коэффициента смешения и модуль 115 разделения переднего плана/фона. Модуль 111 извлечения объектов приближенно извлекает изображаемый объект, соответствующий объекту переднего плана, включенному во входное изображение, и предоставляет извлеченный изображаемый объект в модуль 112 обнаружения движения. Например, модуль 111 извлечения объектов приближенно извлекает изображаемый объект, соответствующий объекту переднего плана, посредством обнаружения контура изображаемого объекта, соответствующего объекту переднего плана, включенному во входное изображение.
Модуль 111 извлечения объектов приближенно извлекает изображаемый объект, соответствующий фоновому объекту, включенному во входное изображение, и предоставляет извлеченный изображаемый объект в модуль 112 обнаружения движения. Например, модуль 111 извлечения объектов приближенно извлекает изображаемый объект, соответствующий фоновому объекту, из различия между входным изображением и изображаемым объектом, соответствующим извлеченному объекту переднего плана. Например, модуль 111 извлечения объектов может приближенно извлекать изображаемый объект, соответствующий объекту переднего плана, и изображаемый объект, соответствующий фоновому объекту, из различия между фоновым изображением, сохраненным в фоновом запоминающем устройстве, расположенным внутри, и входным изображением.
Модуль 112 обнаружения движения использует такие методы, как метод поблочного сравнения, градиентный метод, метод фазовой корреляции и поэлементный рекурсивный метод, для того чтобы вычислять вектор движения приближенно извлеченного изображаемого объекта, соответствующего объекту переднего плана, и предоставляет вычисленный вектор движения и информацию положения вектора движения (информацию, идентифицирующую позицию пиксела, соответствующего вектору движения) в модуль 113 идентификации области и модуль 116 удаления размытости изображений движущихся объектов. Вектор движения, выводимый посредством модуля 112 обнаружения движения, включает в себя информацию, соответствующую величине движения v. Например, модуль 112 обнаружения движения может выводить вектор движения каждого из изображаемых объектов в модуль 116 удаления размытости изображений движущихся объектов наряду с информацией положения пикселов, идентифицирующей пикселы для изображаемых объектов.
Величина движения v является значением, представляющим изменение в позиции изображения, соответствующего движущемуся объекту, на основе пикселного интервала. Например, если изображение объекта, соответствующего переднему плану, перемещается так, чтобы отображаться в позиции через четыре пиксела в следующем кадре, на основе определенного кадра, величина движения v изображения объекта, соответствующего переднему плану, представляется как четыре.
Модуль 113 идентификации области идентифицирует соответствующие пикселы входного изображения как область переднего плана, фоновую область и область смешения и предоставляет информацию (в дальнейшем в этом документе информацию области), служащую признаком того, какой именно из области переднего плана, фоновой области или области смешения принадлежит каждый из пикселов, в модуль 114 вычисления коэффициента смешения, модуль 115 разделения переднего плана/фона и модуль 116 удаления размытости изображений движущихся объектов.
Модуль 114 вычисления коэффициента смешения вычисляет коэффициент смешения (в дальнейшем в этом документе коэффициент смешения a), соответствующий пикселам, включенным в область смешения, на основе входного изображения и информации области, предоставленной из модуля 113 идентификации области, и предоставляет вычисленный коэффициент смешения в модуль 115 разделения переднего плана/фона. Коэффициент смешения a - это значение, служащее признаком доли компонента изображения (в дальнейшем в этом документе также называемого фоновым компонентом), соответствующего фоновым объектам.
Модуль 115 разделения переднего плана/фона разделяет входное изображение на частичное изображение переднего плана, состоящее только из компонентов изображения (в дальнейшем в этом документе также называемых компонентами переднего плана), соответствующих объектам переднего плана, и фоновое частичное изображение, состоящее только из фоновых компонентов, на основе информации области, предоставленной из модуля 113 идентификации области, и коэффициента смешения, предоставленного из модуля 114 вычисления коэффициента смешения, и предоставляет частичное изображение переднего плана в модуль 116 удаления размытости изображений движущихся объектов и фоновое частичное изображение в модуль 117 коррекции.
Модуль 116 удаления размытости изображений движущихся объектов определяет единицу обработки, служащую признаком одного или более пикселов, включенных в частичное изображение переднего плана, на основе величины движения v, известной из вектора движения и информации области. Единица обработки - это данные, которые указывают группу пикселов, которые должны быть обработаны для регулирования величины размытости изображений движущихся объектов. Модуль 116 удаления размытости изображений движущихся объектов удаляет размытость изображений движущихся объектов, включенную в частичное изображение переднего плана, на основе частичного изображения переднего плана, предоставленного из модуля 115 разделения переднего плана/фона, вектора движения и информации его положения, предоставленной из модуля 112 обнаружения движения, и единицы обработки и выводит частичное изображение переднего плана после удаления размытости изображений движущихся объектов в модуль 118 обработки изображений с удаленной размытостью изображений движущихся объектов.
Модуль 117 коррекции корректирует значение пиксела для пиксела, соответствующего области смешения в фоновом частичном изображении. Значение пиксела для пиксела, соответствующего области смешения в фоновом частичном изображении, вычисляется посредством удаления компонента переднего плана из значения пиксела для пиксела области смешения перед разделением. Следовательно, значение пиксела для пиксела, соответствующего области смешения в фоновом частичном изображении, уменьшается согласно коэффициенту смешения a по сравнению со значением пиксела для пиксела смежной фоновой области. Модуль 117 коррекции корректирует это снижение усиления, соответствующее коэффициенту смешения a значения пиксела для пиксела, соответствующего области смешения в фоновом частичном изображении, и предоставляет скорректированное фоновое частичное изображение в модуль 118 обработки изображений с удаленной размытостью изображений движущихся объектов.
Модуль 118 обработки изображений с удаленной размытостью изображений движущихся объектов применяет обработку выделения контуров на различном уровне выделения контуров к каждому из частичного изображения переднего плана после удаления размытости изображений движущихся объектов и скорректированного фонового частичного изображения. Для фонового частичного изображения, которое является неподвижным изображением, обработка выделения контуров выполняется для того, чтобы выделять контуры больше, чем частичное изображение переднего плана. Это предоставляет возможность увеличения воспринимаемого разрешения фонового частичного изображения без формирования неестественного ухудшения изображения в ходе применения обработки выделения контуров к изображению, включающему в себя шумы.
С другой стороны, для частичного изображения переднего плана обработка выделения контуров выполняется на нижнем уровне выделения контуров по сравнению с фоновым частичным изображением. Это предоставляет возможность уменьшения неестественного ухудшения изображения при одновременном повышении воспринимаемого разрешения, даже если частичное изображение переднего плана после удаления размытости изображений движущихся объектов включает в себя шумы.
Сущность изобретения
Проблемы, которые должны быть разрешены изобретением
Тем не менее, трудность состоит в том, что устройство обработки изображений, описанное в выложенной патентной публикации (Япония) номер 2002-373330, требует модуля 116 удаления размытости изображений движущихся объектов для удаления размытости изображений движущихся объектов, включенной в частичное изображение переднего плана, и модуля 117 коррекции, который корректирует пикселные значения для пикселов, соответствующих области смешения, что приводит к очень сложной обработке/структуре. Хотя это устройство обработки изображений позволяет удалять размытость изображений движущихся объектов, обусловленную эффектом интегрирования во времени датчика изображений, из изображения, имеющего объект переднего плана, перемещающийся относительно неподвижного фона, устройство обработки изображений не позволяет удалять размытость изображений движущихся объектов в других случаях, например, из изображения, имеющего не только движущееся изображение объекта переднего плана, но также и движущееся фоновое изображение. Непрактично, если требуемый эффект ограничен и получается только из определенного содержимого изображений, как указано выше.
Трудность также состоит в том, что устройство обработки изображений, описанное в выложенной патентной публикации (Япония) номер 2002-373330, не позволяет в достаточной степени повышать воспринимаемое разрешение частичного изображения переднего плана, поскольку уровень выделения контуров частичного изображения переднего плана задается ниже, так как неестественное ухудшение изображения вызывается повышением уровня выделения контуров, когда частичное изображение переднего плана после удаления размытости изображений движущихся объектов включает в себя шум.
Например, выложенная патентная публикация (Япония) номер 1-215185 раскрывает устройства, обнаруживающие движение объекта из сигнала входного изображения, чтобы варьировать величину компенсации контуров (уровень выделения контуров) для сигнала входного изображения в зависимости от результата обнаружения движения, как устройства, удаляющие размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений, с простой конфигурацией. Это значительно уменьшает размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений посредством повышения уровня выделения контуров для сигнала входного изображения в области, имеющей большую величину движения в сигнале входного изображения, и предоставляет возможность увеличения резкости отображаемого изображения и предотвращения ухудшения качества изображения (возрастания шумов в неподвижной области) вследствие чрезмерного выделения контуров.
Если обработка преобразования частоты кадров с компенсацией движения (обработка FRC) для уменьшения размытости изображений движущихся объектов, соответствующей системе дисплея удерживающего типа, описанной выше, комбинируется с обработкой выделения контуров, которая уменьшает размытость изображений движущихся объектов, соответствующую эффекту интегрирования во времени датчика изображений, поскольку обнаружение вектора движения в обработке FRC выполняется для сигнала изображения с выделенным контуром, если обработка FRC сконфигурирована выполняться, например, на следующей стадии обработки выделения контуров, которая уменьшает размытость изображений движущихся объектов, соответствующую эффекту интегрирования во времени датчика изображений, трудность состоит в том, что происходит ложное обнаружение вектора движения, когда векторное вычисление выполняется на основе гладкого градиента сигнала изображения, как, например, в градиентном методе.
Хотя обработка FRC, следовательно, предпочтительно конфигурируется так, чтобы выполняться на предыдущей стадии обработки выделения контуров, в этом случае возникает следующая проблема. Сигнал интерполированного изображения, формируемый посредством обработки FRC, зачастую имеет ухудшение изображения (исчезновение изображения), формируемое вследствие ложного обнаружения вектора движения и т.д., и если обработка выделения контуров, которая идентична обработке выделения контуров для сигнала входного изображения, выполняется для сигнала интерполированного изображения, включающего в себя это ухудшение изображения, ухудшение изображения имеет тенденцию выделяться и подчеркиваться.
Настоящее изобретение создано с учетом вышеупомянутых ситуаций, и, следовательно, задача настоящего изобретения заключается в том, чтобы предоставить устройство и способ отображения изображений, а также устройство и способ обработки изображений, допускающие реализацию отображаемого видео высокой четкости посредством одновременного уменьшения размытости изображений движущихся объектов, соответствующей системе дисплея удерживающего типа, и посредством уменьшения размытости изображений движущихся объектов отображаемого видео, соответствующей эффекту интегрирования во времени датчика изображений, при этом одновременно ограничивая ухудшение изображения.
Средство разрешения проблем
Первое изобретение настоящей заявки - это устройство отображения изображений, содержащее: средство преобразования частоты, которое преобразует несколько кадров или полей сигнала входного изображения посредством интерполяции сигнала интерполированного изображения, формируемого посредством выполнения обработки компенсации движения для сигнала входного изображения, на основе информации вектора движения между кадрами или полями сигнала входного изображения между кадрами или полями сигнала входного изображения, при этом сигнал входного изображения подвергается обработке выделения контуров на первом уровне выделения контуров, а сигнал интерполированного изображения подвергается обработке выделения контуров на втором уровне выделения контуров, ниже первого уровня выделения контуров или не подвергается обработке выделения контуров.
Второе изобретение настоящей заявки - это устройство отображения изображений, в котором обработка выделения контуров увеличивает величину выделения высокочастотного компонента сигнала изображения для области, имеющей большую величину движения в сигнале входного изображения.
Третье изобретение настоящей заявки - это устройство отображения изображений, в котором обработка выделения контуров расширяет частотный диапазон выделенного сигнала изображения для области, имеющей большую величину движения в сигнале входного изображения.
Четвертое изобретение настоящей заявки - это устройство отображения изображений, при этом устройство отображения изображений варьирует характеристики фильтра для выделения контуров сигнала изображения в зависимости от направления движения в сигнале входного изображения.
Пятое изобретение настоящей заявки - это устройство отображения изображений, в котором средство преобразования частоты кадров включает в себя модуль обнаружения векторов движения, который обнаруживает вектор движения между последовательными кадрами или полями, включенными в сигнал входного изображения, модуль выделения интерполяционных векторов, который выделяет интерполяционный вектор между кадрами или полями на основе обнаруженного вектора движения, модуль формирования интерполированного изображения, который формирует сигнал интерполированного изображения на основе выделенного интерполяционного вектора, и модуль интерполяции изображений, который интерполирует формируемый сигнал интерполированного изображения между кадрами или полями и получает величину движения/направление движения в сигнале входного изображения на основе вектора движения, обнаруженного посредством модуля обнаружения векторов движения.
Шестое изобретение настоящей заявки - это устройство отображения изображений, содержащее фильтр нижних частот для сглаживания вектора движения, обнаруженного посредством модуля обнаружения векторов движения.
Седьмое изобретение настоящей заявки - это устройство отображения изображений, в котором средство преобразования частоты кадров включает в себя модуль обнаружения векторов движения, который обнаруживает вектор движения между последовательными кадрами или полями, включенными в сигнал входного изображения, модуль выделения интерполяционных векторов, который выделяет интерполяционный вектор между кадрами или полями на основе обнаруженного вектора движения, модуль формирования интерполированного изображения, который формирует сигнал интерполированного изображения на основе выделенного интерполяционного вектора, и модуль интерполяции изображений, который интерполирует формируемый сигнал интерполированного изображения между кадрами или полями и получает величину движения/направление движения в сигнале входного изображения на основе интерполяционного вектора, выделяемого посредством модуля выделения интерполяционных векторов.
Восьмое изобретение настоящей заявки - это устройство отображения изображений, содержащее фильтр нижних частот для сглаживания интерполяционного вектора, выделяемый посредством модуля выделения интерполяционных векторов.
Девятое изобретение настоящей заявки - это устройство отображения изображений, в котором средство преобразования частоты кадров интерполирует множество сигналов интерполированного изображения между кадрами или полями сигнала входного изображения и варьирует уровень выделения контуров для каждого из сигналов интерполированного изображения в зависимости от временного расстояния из сигнала входного изображения.
Десятое изобретение настоящей заявки - это способ отображения изображений, содержащий: этап преобразования частоты кадров для преобразования нескольких кадров или полей сигнала входного изображения посредством интерполяции сигнала интерполированного изображения, формируемого посредством выполнения обработки компенсации движения для сигнала входного изображения, на основе информации вектора движения между кадрами или полями сигнала входного изображения между кадрами или полями сигнала входного изображения, при этом сигнал входного изображения подвергают обработке выделения контуров на первом уровне выделения контуров, а сигнал интерполированного изображения подвергают обработке выделения контуров на втором уровне выделения контуров, ниже первого уровня выделения контуров или не подвергают обработке выделения контуров.
Одиннадцатое изобретение настоящей заявки - это устройство обработки изображений, содержащее: средство преобразования частоты кадров, которое преобразует несколько кадров или полей сигнала входного изображения посредством интерполяции сигнала интерполированного изображения, формируемого посредством выполнения обработки компенсации движения для сигнала входного изображения, на основе информации вектора движения между кадрами или полями сигнала входного изображения между кадрами или полями сигнала входного изображения, при этом сигнал входного изображения подвергается обработке выделения контуров на первом уровне выделения контуров, а сигнал интерполированного изображения подвергается обработке выделения контуров на втором уровне выделения контуров, ниже первого уровня выделения контуров, или не подвергается обработке выделения контуров.
Двенадцатое изобретение настоящей заявки - это способ обработки изображений, содержащий: этап преобразования частоты кадров для преобразования нескольких кадров или полей сигнала входного изображения посредством интерполяции сигнала интерполированного изображения, формируемого посредством выполнения обработки компенсации движения для сигнала входного изображения, на основе информации вектора движения между кадрами или полями сигнала входного изображения между кадрами или полями сигнала входного изображения, при этом сигнал входного изображения подвергают обработке выделения контуров на первом уровне выделения контуров, а сигнал интерполированного изображения подвергают обработке выделения контуров на втором уровне выделения контуров, ниже первого уровня выделения контуров, или не подвергают обработке выделения контуров.
Преимущество изобретения
Согласно настоящему изобретению резкость отображаемых изображений может быть увеличена без заметного результирующего ухудшения изображения, вследствие обработки FRC, за счет задания уровня выделения контуров для сигнала интерполированного изображения ниже уровня выделения контуров для сигнала входного изображения.
Краткое описание чертежей
Фиг.1 - блок-схема схематичной конфигурации управляющей схемы дисплея с FRC в традиционном жидкокристаллическом дисплейном устройстве.
Фиг.2 - схема для пояснения обработки преобразования частоты кадров посредством традиционной возбуждающей схемы дисплея с FRC, показанной на фиг.1.
Фиг.3 - схема для пояснения обработки формирования интерполированных кадров модуля обнаружения векторов движения и модуля формирования интерполированных кадров.
Фиг.4 - функциональная блок-схема конфигурации традиционного устройства обработки изображений.
Фиг.5 - функциональная блок-схема схематичной конфигурации устройства обработки изображений, уменьшающего размытость изображений движущихся объектов для отображаемых изображений вследствие эффекта интегрирования во времени датчика изображений.
Фиг.6 - блок-схема примерной конфигурации модуля выделения контуров.
Фиг.7 - пояснительная схема работы примерной конфигурации модуля выделения контуров.
Фиг.8 - блок-схема другой примерной конфигурации модуля выделения контуров.
Фиг.9 - пояснительная схема работы другой примерной конфигурации модуля выделения контуров.
Фиг.10 - функциональная блок-схема схематичной конфигурации устройства обработки изображений согласно первому варианту осуществления настоящего изобретения.
Фиг.11 - схема для пояснения способа формирования сигнала интерполированного изображения, когда частота кадров преобразуется на множитель пять.
Фиг.12 - функциональная блок-схема схематичной конфигурации устройства обработки изображений согласно второму варианту осуществления настоящего изобретения.
Фиг.13 - блок-схема примерной конфигурации устройства обработки изображений согласно третьему варианту осуществления настоящего изобретения.
Фиг.14 - блок-схема примерной конфигурации устройства обработки изображений согласно четвертому варианту осуществления настоящего изобретения.
Пояснение номеров ссылок
1 - модуль обнаружения движения; 2 - модуль выделения контуров; 21 - фильтр верхних частот; 22 - модуль регулировки усиления; 23 - модуль суммирования; 24 - фильтр; 100 - FRC-модуль; 101 - модуль обнаружения векторов движения; 102 - модуль формирования интерполированных кадров; 103 - модуль выделения интерполяционных векторов; 104 - модуль преобразования временной оси; 105 - буфер кадров (FB); 106 - модуль выделения вектора исходных кадров; 107 - буфер кадров (FB); 111 - модуль извлечения объектов; 112 - модуль обнаружения движения; 113 - модуль идентификации области; 114 - модуль вычисления коэффициента смешения; 115 - модуль разделения переднего плана/фона; 116 - модуль удаления размытости изображений движущихся объектов; 117 - модуль коррекции; 118 - модуль обработки изображений с удаленной размытостью изображений движущихся объектов; 203 - жидкокристаллическая дисплейная панель; 204 - модуль возбуждения электродов; 205 - вектор движения; 206 - интерполяционный вектор; и 207 - интерполированный кадр.
Предпочтительный вариант осуществления изобретения
Далее описываются предпочтительные варианты осуществления устройства обработки изображений настоящего изобретения со ссылкой на прилагаемые чертежи, и модулям, которые идентичны модулям в вышеупомянутом традиционном примере, присвоены идентичные ссылки с номерами, и они не описываются. Хотя настоящее изобретение применимо к сигналам полей и сигналам интерполяционных полей или к сигналам кадров и сигналам интерполированных кадров, сигналы кадров и сигналы интерполированных кадров описываются как характерный пример, поскольку (поле и кадр) находятся в аналогичной взаимосвязи друг с другом.
Конфигурация модуля выделения контуров в устройстве обработки изображений настоящего изобретения сначала поясняется со ссылкой на фиг.5-9. Фиг.5 - это функциональная блок-схема схематичной конфигурации устройства обработки изображений, уменьшающего размытость изображений движущихся объектов отображаемых изображений вследствие эффекта интегрирования во времени датчика изображений; фиг.6 - это блок-схема примерной конфигурации модуля выделения контуров; фиг.7 - это пояснительная схема работы примерной конфигурации модуля выделения контуров; фиг.8 - это блок-схема другой примерной конфигурации модуля выделения контуров и фиг.9 - это пояснительная схема работы другой примерной конфигурации модуля выделения контуров.
Устройство обработки изображений, уменьшающее размытость изображений движущихся объектов отображаемых изображений вследствие эффекта интегрирования во времени датчика изображений, включает в себя модуль 1 обнаружения движения, который обнаруживает величину движения каждой из заранее определенных пикселных областей в сигнале входного изображения, и модуль 2 выделения контуров, который выделяет высокочастотный компонент сигнала входного изображения в зависимости от величин движения в сигнале входного изображения, обнаруженного посредством модуля 1 обнаружения движения, как показано на фиг.5.
Модуль 1 обнаружения движения может получать вектор движения для каждого пиксела или небольшого блока (к примеру, блока обнаружения, состоящего из пикселов 8×8) между двумя последовательными кадрами сигнала входного изображения с использованием метода поблочного сравнения, градиентного метода и т.д., или если информация вектора движения включена в сигнал входного изображения в некоторой форме, эта информация может быть использована. Например, данные изображения, кодированные со сжатием с использованием формата MPEG, включают в себя информацию вектора движения движущегося изображения, вычисленного во время кодирования, и эта информация вектора движения может быть получена.
Модуль 2 выделения контуров варьирует уровень и частотный диапазон выделения высокочастотного компонента сигнала входного изображения на основе вектора движения, обнаруженного посредством модуля 1 обнаружения движения, и информации положения для него, чтобы выполнять обработку выделения контуров для сигнала входного изображения. Модуль 2 выделения контуров может переключать уровень и частотный диапазон выделения высокочастотного компонента сигнала входного изображения в пределах экрана в зависимости от распределения величин движения изображения в пределах экрана сигнала входного изображения. Сигнал изображения, подвергнутый адаптивной к движению обработке увеличения резкости посредством модуля 2 выделения контуров, отображается и выводится посредством дисплейного устройства (не показано), такого как электронно-лучевая трубка или жидкокристаллическая дисплейная панель, сконфигурированного отдельным или интегрированным образом.
Поскольку высокочастотный компонент, более вероятно, ослабляется вследствие эффекта интегрирования во времени датчика изображений в области, имеющей большую величину движения в сигнале входного изображения, модуль 2 выделения контуров выполняет соответствующую обработку выделения контуров, чтобы компенсировать ослабленный высокочастотный компонент. Это уменьшает видимую размытость изображений движущихся объектов и может повышать резкость отображаемых изображений.
Фиг.6 иллюстрирует примерную конфигурацию модуля 2 выделения контуров. Сигнал входного изображения вводится в фильтр 21 верхних частот и сумматор 23. Фильтр 21 верхних частот извлекает компонент изображения, имеющий верхние частоты, т.е. удаляет компонент изображения, имеющий нижние частоты, из сигнала входного изображения на основе входного коэффициента фильтрации, чтобы формировать сигнал контурного изображения. Входной коэффициент фильтрации варьируется пошагово в зависимости от величин движения, обнаруженных посредством модуля 1 обнаружения движения. Когда коэффициент фильтрации варьируется, фильтр 21 верхних частот меняет частоту изображения, которое должно быть извлечено, частоту изображения, которое должно быть удалено, и усиление изображения, которое должно быть извлечено.
Сигнал контурного изображения, формируемый посредством фильтра 21 верхних частот, предоставляется в модуль 22 регулировки усиления. Модуль 22 регулировки усиления усиливает или ослабляет сигнал контурного изображения, предоставленный из фильтра 21 верхних частот, на основе входного коэффициента регулировки усиления. Входной коэффициент регулировки усиления варьируется пошагово в зависимости от величин движения, обнаруженных посредством модуля 1 обнаружения движения. Когда коэффициент регулировки усиления варьируется, модуль 22 регулировки усиления изменяет степень усиления (степень ослабления) сигнала контурного изображения.
Например, модуль 22 регулировки усиления усиливает сигнал контурного изображения, когда вводится коэффициент регулировки усиления, указывающий степень усиления в единицу или более, и ослабляет сигнал контурного изображения, когда вводится коэффициент регулировки усиления, указывающий степень усиления меньше единицы. Сигнал контурного изображения с усилением, регулируемым посредством модуля 22 регулировки усиления, предоставляется в модуль 23 суммирования. Модуль 23 суммирования суммирует сигнал входного изображения и отрегулированный по усилению сигнал контурного изображения, предоставленный из модуля 22 регулировки усиления, чтобы выводить суммированный сигнал изображения.
Модуль 2 выделения контуров, выполненный так, как описано выше, не выполняет обработку выделения контуров (отключает обработку выделения контуров, чтобы непосредственно выводить сигнал входного изображения) в области, где величина движения в сигнале входного изображения, например, равна нулю. Для области, имеющей меньшую величину движения в сигнале входного изображения, модуль 2 выделения контуров ограничивает частоту изображения, извлеченного посредством фильтра 21 верхних частот, до верхних частот и ограничивает степень усиления сигнала контурного изображения модуля 22 регулировки усиления до единицы, как показано на фиг.7(a). Для области, имеющей большую величину движения в сигнале входного изображения, модуль 2 выделения контуров расширяет частотный диапазон изображения, извлеченного посредством фильтра 21 верхних частот, до нижней стороны и задает степень усиления сигнала контурного изображения модуля 22 регулировки усиления равным больше, чем единица, как показано на фиг.7(b).
Поскольку высокочастотный компонент, вероятно, ослабляется вследствие эффекта интегрирования во времени датчика изображений в области, имеющей большую величину движения в сигнале входного изображения, видимая размытость изображений движущихся объектов может быть уменьшена, чтобы повышать резкость отображаемого изображения, посредством повышения уровня выделения контуров, чтобы компенсировать ослабленный высокочастотный компонент. Поскольку высокочастотный компонент имеет тенденцию ослабляться в более широком диапазоне в области, имеющей большую величину движения в сигнале входного изображения, видимая размытость изображений движущихся объектов может быть уменьшена, чтобы повышать резкость отображаемого изображения, посредством расширения выделенного частотного диапазона сигнала входного изображения.
Хотя пример модуля 2 выделения контуров имеет фильтр 21 верхних частот и модуль 22 регулировки усиления, по меньшей мере, одно из фильтра 21 верхних частот и модуля 22 регулировки усиления может быть включено. Обработка выделения контуров может не выполняться в области, где величина движения в сигнале входного изображения равна нулю, поскольку размытости изображений движущихся объектов (размытости камеры) не возникает.
Фиг.8 иллюстрирует другую примерную конфигурацию модуля 2 выделения контуров. В примере, показанном на фиг.8, модуль 2 выделения контуров составлен из фильтра 24. Фильтр 24 усиливает компонент, имеющий верхние частоты сигнала входного изображения, на основе входного коэффициента фильтрации, чтобы формировать сигнал изображения с выделенным контуром. Входной коэффициент фильтрации варьируется пошагово в зависимости от величин движения, обнаруженных посредством модуля 1 обнаружения движения. Когда коэффициент фильтрации варьируется, фильтр 24 изменяет усиление высокочастотного компонента сигнала входного изображения.
Например, сигналу входного изображения разрешается проходить без изменения (обработка выделения контуров отключается) в области, где величина движения в сигнале входного изображения равна нулю. Для области, имеющей меньшую величину движения в сигнале входного изображения, компонент, имеющий верхние частоты сигнала входного изображения, усиливается и удваивается, а компоненту, имеющему нижние частоты сигнала входного изображения, разрешается проходить без изменения, чтобы формировать сигнал изображения с выделенным контуром, как показано на фиг.9(a). Для области, имеющей большую величину движения в сигнале входного изображения, компонент, имеющий верхние частоты сигнала входного изображения, усиливается на множитель 2,5, а компоненту, имеющему нижние частоты сигнала входного изображения, разрешается проходить без изменения, чтобы формировать сигнал изображения с выделенным контуром, как показано на фиг.9(b).
Поскольку высокочастотный компонент, вероятно, ослабляется вследствие эффекта интегрирования во времени датчика изображений в области, имеющей большую величину движения в сигнале входного изображения, видимая размытость изображений движущихся объектов может быть уменьшена так, чтобы повышать резкость отображаемого изображения, посредством повышения уровня выделения контуров, чтобы компенсировать ослабленный высокочастотный компонент. С другой стороны, поскольку высокочастотный компонент, менее вероятно, ослабляется вследствие эффекта интегрирования во времени датчика изображений в области, имеющей меньшую величину движения в сигнале входного изображения, ухудшение качества изображения в частях контуров вследствие чрезмерного выделения контуров может быть предотвращено за счет снижения уровня выделения контуров. Поскольку размытости изображений движущихся объектов (размытости камеры) не возникает в области, где величина движения в сигнале входного изображения равна нулю, обработка выделения контуров может не выполняться. Само собой разумеется, что конфигурация модуля 2 выделения контуров из настоящего изобретения не ограничена вышеупомянутой конфигурацией.
Хотя способ изменения уровня выделения контуров в зависимости от величин движения в сигнале входного изображения описан для вышеприведенного примера устройства обработки изображений, характеристики фильтра, например, форма отвода фильтра может варьироваться в зависимости от направления движения в сигнале входного изображения помимо величин движения в сигнале входного изображения. Например, поскольку высокочастотный компонент не ослабляется вследствие эффекта интегрирования во времени датчика изображений в вертикальном направлении в сигнале изображения, имеющем только горизонтальные движения, желательно выполнять обработку фильтрации в горизонтальном направлении, и, таким образом, если вектор движения, обнаруженный из сигнала входного изображения, имеет только горизонтальный компонент, форма отвода фильтра 21 верхних частот по фиг.6 или фильтра 24 по фиг.8 переключается на одномерный горизонтальный отвод.
Аналогично, если вектор движения, обнаруженный из сигнала входного изображения, имеет только вертикальный компонент (если объект видео перемещается в вертикальном направлении), фильтр может быть переключен на фильтр с одномерной вертикальной формой отвода, или если вектор движения, обнаруженный из сигнала входного изображения, имеет горизонтальный компонент и вертикальный компонент (если видео перемещается в наклонном направлении), фильтр может быть переключен на фильтр с наклонной формой отвода. Посредством выполнения переключения на фильтр, имеющий такую форму отвода, как изотропная или анизотропная форма или эллиптическая форма, становится возможной более идеальная обработка при фильтрации.
Если вектор движения обнаруживается на основе блока обнаружения движения, состоящего, например, из пикселов 8×8 сигнала входного изображения, и обработка выделения контуров управляется на основе этого вектора движения, выполняется различная обработка выделения контуров для каждой из областей блока пикселов в 8×8, и поэтому на границах блоков могут возникать артефакты (ухудшение изображения). Способ для удаления этого нежелательного эффекта может включать в себя, например, предоставление фильтра нижних частот для вектора движения между модулем 1 обнаружения движения и модулем 2 выделения контуров, чтобы сглаживать вектор движения. Сглаживание изменения вектора движения в пределах экрана позволяет предотвращать артефакты на границах блоков, формируемых резким изменением обработки выделения контуров.
Хотя натуральные изображения, снимаемые посредством датчика изображений, имеющего эффект интегрирования во времени, включают в себя размытости изображений движущихся объектов (размытости камеры), описанные выше, анимационные изображения и изображения CG (компьютерная графика), в общем, не имеют размытости изображений движущихся объектов (размытости камеры), как описано выше. Если высокочастотный компонент чрезмерно выделяется в таком изображении, не включающем в себя размытости изображений движущихся объектов (размытости камеры), может возникать ухудшение изображения в контурной части. Следовательно, если вводится сигнал изображения, связанный с анимацией или CG, желательно уменьшать интенсивность вышеуказанной обработки уменьшения размытости изображений движущихся объектов (увеличения резкости) даже в области, имеющей большую величину движения в сигнале входного изображения.
Например, тип жанра, связанный с сигналом входного изображения, может быть определен на основе информации жанра, включенной в данные EPG (электронное расписание программ), выделенные и извлеченные из данных телевизионного вещания, и например, если определено то, что типом жанра сигнала входного изображения является анимация, модуль 2 выделения контуров может уменьшать уровень выделения высокочастотного компонента или сужать выделенный частотный диапазон, или управление может быть выполнено так, чтобы отключать обработку выделения контуров посредством модуля 2 выделения контуров даже в области, имеющей большую величину движения в сигнале входного изображения, так же, как в области, имеющей меньшую величину движения.
Аналогично, когда CG-изображение, к примеру, логотип программы, символы, такие как телоп и значок, комбинируются (перекрываются) с частью натурального изображения, желательно уменьшать интенсивность вышеописанной обработки уменьшения размытости изображений движущихся объектов (увеличения резкости) или не выполнять обработку для области, комбинированной с CG-изображением, даже если фоновое натуральное изображение имеет большую величину движения или если скорость перемещения CG-изображения является высокой. Например, позиция области, комбинированной (перекрытой) с CG-изображением, к примеру, логотипом программы, такими символами, как телоп и значок, обнаруживается из сигнала входного изображения, и модуль 2 выделения контуров может уменьшать уровень выделения высокочастотного компонента или сужать выделенный частотный диапазон, либо управление может быть выполнено так, чтобы отключать обработку выделения контуров посредством модуля 2 выделения контуров для области, комбинированной (перекрытой) с CG-изображением, аналогично области, имеющей меньшую величину движения или отсутствующее движение изображения.
Поскольку размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений варьируется в зависимости от времени экспонирования, т.е. скорости затвора датчика изображений во время съемки видео, желательно ослаблять интенсивность вышеописанной обработки уменьшения размытости изображений движущихся объектов (увеличения резкости), если скорость затвора во время съемки изображения сигнала входного изображения является высокой, т.е. время экспонирования является небольшим, даже когда величина движения в сигнале входного изображения, например, является большой. Следовательно, например, если информация, связанная со скоростью затвора во время съемки видео, добавлена в данные телевизионного вещания, информация, связанная со скоростью затвора, может быть выделена и получена из данных телевизионного вещания, чтобы переменно управлять уровнем выделения высокочастотного компонента посредством модуля 2 выделения контуров и/или выделенным частотным диапазоном, либо не выполнять обработку выделения контуров в зависимости от информации, связанной со скоростью затвора.
Когда видео снимается, видео может сниматься посредством фокусирования на всей части в пределах экрана формирования изображения или посредством фокусирования только на части в пределах экрана формирования изображения в соответствии с намерением оператора. При фокусировании только на части в пределах экрана формирования изображения видео снимается как намеренно размытое видео, кроме находящегося в фокусе объекта. Желательно уменьшать интенсивность вышеописанной обработки уменьшения размытости изображений движущихся объектов (увеличения резкости) или не выполнять обработку уменьшения размытости изображений движущихся объектов (увеличения резкости) для области, снимаемой так, чтобы она была намеренно размытой.
Когда видео снимается с фокусом только на части в пределах экрана формирования изображения, это, в общем, реализуется посредством уменьшения глубины резкости камеры. Глубина резкости определяется различными факторами, такими как F-число объектива камеры, расстояние между камерой и объектом и режимы настройки (диафрагма, усиление и электрическая ирисовая диафрагма) камеры. Например, факторы, уменьшающие глубину резкости, включают в себя уменьшение F-числа объектива камеры, уменьшение расстояния до объекта или раскрытие диафрагмы. Следовательно, если информация, связанная с данной глубиной резкости, добавляется в данные телевизионного вещания, например, как метаданные, информация, связанная с глубиной резкости, получается из данных телевизионного вещания, и состояние глубины резкости может быть определено так, чтобы переменно управлять уровнем выделения высокочастотного компонента посредством модуля 2 выделения контуров и/или выделенным частотным диапазоном, либо не выполнять обработку выделения контуров в зависимости от результата определения.
В блоке обнаружения вектора движения, например, частотный анализ, такой как DCT, может быть выполнен для того, чтобы проверять величину высокочастотного компонента, чтобы обнаруживать часть, перекрывающуюся с CG-изображением, или часть, имеющую меньшую размытость изображений движущихся объектов независимо от быстрого движения в изображении, снимаемом посредством камерой с быстрой скоростью затвора, как указано выше. Если определенный блок обнаружения движения имеет большую величину движения и небольшой высокочастотный компонент, он считается частью, в которой движение является быстрым, и высокочастотный компонент теряется за счет размытостей изображений движущихся объектов. Другими словами, она считается частью с сильной размытостью изображений движущихся объектов в изображении, снимаемом посредством камеры с медленной скоростью затвора, а не частью, перекрывающейся с CG-изображением, и частью, имеющей меньшую размытость изображений движущихся объектов в изображении, снимаемом посредством камеры с быстрой скоростью затвора. Следовательно, обработка выделения контуров может быть выполнена как обычно.
С другой стороны, если определенный блок обнаружения движения имеет большую величину движения и большой высокочастотный компонент, поскольку, как считается, это указывает перемещение части, перекрывающейся с CG-изображением, или части, имеющей меньшую размытость изображений движущихся объектов в изображении, снимаемом посредством камеры с быстрой скоростью затвора, может быть уменьшен уровень выделения контуров. Посредством объединенного анализа сигнала изображения и определения величины движения и величины высокочастотной части, как описано выше, может быть определена надлежащая интенсивность обработки уменьшения размытости изображений движущихся объектов.
Хотя вышеописанное устройство обработки изображений допускает реализацию отображаемого видео высокой четкости посредством уменьшения размытости изображений движущихся объектов отображаемого видео вследствие эффекта интегрирования во времени независимо от содержимого изображений, варианты осуществления настоящего изобретения далее описываются для устройства обработки изображений, предпочтительно применимого к устройствам отображения изображений, имеющим характеристики дисплея удерживающего типа, таким как жидкокристаллические дисплеи, органические EL-дисплеи и электрофоретические дисплеи, т.е. для устройства обработки изображений, допускающего реализацию отображаемого видео высокой четкости посредством уменьшения как размытости изображений движущихся объектов отображаемого видео вследствие эффекта интегрирования во времени датчика изображений, так и размытости изображений движущихся объектов вследствие характеристик дисплея удерживающего типа.
Первый вариант осуществления
Устройство обработки изображений согласно первому варианту осуществления настоящего изобретения описывается со ссылкой на фиг.10, и модулям, идентичным модулям из вышеозначенного устройства обработки изображений, присвоены идентичные ссылки с номерами, и они не описываются. Фиг.10 - это функциональная блок-схема схематичной конфигурации устройства обработки изображений согласно этому варианту осуществления.
Как показано на фиг.10, устройство обработки изображений этого варианта осуществления включает в себя FRC-модуль 100, который преобразует число кадров сигнала входного изображения посредством интерполяции сигналов изображения, подвергнутых обработке компенсации движения между кадрами или полями входного видеосигнала, и модуль 2 выделения контуров, который выделяет высокочастотный компонент сигнала изображения, преобразованного по числу кадров посредством FRC-модуля 100.
FRC-модуль 100 включает в себя модуль 101 обнаружения векторов движения, который обнаруживает вектор движения из сигнала входного изображения предыдущего кадра и сигнала входного изображения текущего кадра, модуль 103 выделения интерполяционных векторов, который оценивает векторы движения, обнаруженные посредством модуля 101 обнаружения векторов движения, чтобы выделять оптимальный интерполяционный вектор для интерполированного блока между кадрами на основе результата оценки, модуль 102 формирования интерполированных кадров, который формирует интерполированный кадр с использованием сигнала входного изображения предыдущего кадра и сигнала входного изображения текущего кадра на основе интерполяционного вектора, вводимого из модуля 103 выделения интерполяционных векторов, и модуль 104 преобразования временной оси, который поочередно выводит входные кадры и интерполированные кадры, чтобы выводить сигнал изображения, имеющий частоту кадров, удвоенную в сравнении с исходным сигналом входного изображения.
Модуль 2 выделения контуров варьирует уровень выделения высокочастотного компонента и выделенный частотный диапазон на основе вектора движения, обнаруженного посредством модуля 101 обнаружения векторов движения FRC-модуля 100, чтобы выполнять обработку выделения контуров для сигнала изображения. Модуль 101 обнаружения векторов движения по варианту осуществления соответствует модулю 1 обнаружения движения в устройстве обработки изображений, описанном со ссылкой на фиг.5, и поскольку высокочастотный компонент, более вероятно, ослабляется вследствие эффекта интегрирования во времени датчика изображений в области, имеющей большую величину движения в сигнале входного изображения, модуль 2 выделения контуров выполняет соответствующую обработку выделения контуров, чтобы компенсировать ослабленный высокочастотный компонент.
Сигнал изображения, подвергнутый адаптивной к движению обработке повышения резкости посредством модуля 2 выделения контуров, отображается и выводится посредством дисплейного устройства (не показано), такого как жидкокристаллическая дисплейная панель, сконфигурированного отдельным или интегрированным образом. Это дает возможность уменьшения видимой размытости изображений движущихся объектов, чтобы повышать резкость отображаемого изображения. В случае применения к устройствам отображения изображений, имеющим характеристики дисплея удерживающего типа, отображаемое видео высокой четкости может быть реализовано посредством уменьшения как размытости изображений движущихся объектов отображаемого видео вследствие эффекта интегрирования во времени датчика изображений, так и размытости изображений движущихся объектов вследствие характеристик дисплея удерживающего типа.
Хотя вариант осуществления выполнен с модулем 2 выделения контуров, выполняющим обработку выделения контуров как для сигнала входного изображения, так и для сигнала интерполированного изображения, формируемого посредством модуля 102 формирования интерполированных кадров FRC-модуля 100, это не является ограничением, и обработка выделения контуров может быть выполнена только для сигнала входного изображения. Это предоставляет возможность уменьшения объема обработки в модуле 2 выделения контуров.
Хотя вариант осуществления выполнен с модулем 2 выделения контуров, выполняющим обработку выделения контуров как для сигнала входного изображения, так и для сигнала интерполированного изображения, формируемого посредством модуля 102 формирования интерполированных кадров FRC-модуля 100, обработка выделения контуров для сигнала входного изображения может отличаться от обработки выделения контуров для сигнала интерполированного изображения.
Поскольку ухудшение изображения (исчезновение изображения) может возникать в сигнале интерполированного изображения вследствие ложного обнаружения вектора движения и т.д., и если обработка выделения контуров выполняется для этого ухудшенного интерполированного изображения, часть, имеющая ухудшение изображения, подвергается обработке выделения контуров, и ухудшение изображения акцентируется, размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения вследствие обработки преобразования частоты кадров с компенсацией движения, чтобы повышать резкость отображаемого изображения посредством задания уровня выделения контуров для сигнала интерполированного изображения ниже уровня выделения контуров для сигнала входного изображения (сигнала исходного изображения) или отключения обработки выделения контуров только для сигнала интерполированного изображения.
Например, посредством уменьшения частотного диапазона, выделяемого для сигнала интерполированного изображения, так, чтобы он был меньше частотного диапазона, выделяемого для сигнала входного изображения (сигнала исходного изображения), размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения вследствие обработки преобразования частоты кадров с компенсацией движения для того, чтобы повышать резкость отображаемого изображения.
Хотя FRC-модуль 100 по варианту осуществления описывается как модуль для преобразования частоты кадров сигнала входного изображения так, чтобы частота удваивалась, это не является ограничением, и FRC-модуль 100 может преобразовывать частоту кадров сигнала входного изображения на множитель 1,5 или 3, или если сигнал входного изображения формируется из изображения кинофильма, например, сигнала изображения с понижением 3-2, FRC-модуль 100 может преобразовывать частоту кадров до 120 Гц (в пятикратном размере) посредством извлечения сигнала основного изображения, соответствующего 24 Гц (выполнения так называемой обратной понижающей обработки 3-2), и интерполяции четырех сигналов интерполированного изображения между кадрами.
Если формируется множество сигналов интерполированного изображения, обработка выделения контуров может быть дифференцирована для каждого из множества интерполированных кадров. Например, если четыре интерполированных изображения формируются из однонаправленного исходного изображения, как показано на фиг.11(a), четвертое интерполированное изображение, удаленное во времени от исходного изображения, имеет более длинный вектор движения в сравнении с исходным изображением и вызывает большую ошибку вычисления во время обнаружения вектора движения, которая может формировать ухудшение изображения сигнала интерполированного изображения. В таком случае размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения, чтобы повышать резкость отображаемого изображения посредством уменьшения уровня выделения контуров для сигнала интерполированного изображения, удаленного во времени от сигнала исходного изображения, и повышения уровня выделения контуров для сигнала исходного изображения или сигнала интерполированного изображения, временно ближе к сигналу исходного изображения.
Если два изображения из первой половины этих четырех интерполированных изображений сформированы из предыдущего исходного изображения и два изображения из второй половины сформированы из следующего исходного изображения, как показано на фиг.11(b), или если интерполированные изображения сформированы посредством изменения коэффициента сложения весовых коэффициентов или коэффициента смешения в зависимости от расстояний от предыдущего и следующего исходных изображений, как показано на фиг.11(c), размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения, чтобы повышать резкость отображаемого изображения посредством уменьшения уровня выделения контуров для второго и третьего сигналов интерполированного изображения в центре вследствие временной удаленности от сигналов исходного изображения и посредством повышения уровня выделения контуров для сигнала исходного изображения или первого и четвертого сигналов интерполированного изображения, ближе к сигналам исходного изображения.
Как описано выше, устройство обработки изображений варианта осуществления допускает заметное уменьшение размытости изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений так, чтобы повышать резкость отображаемого изображения, и предотвращение ухудшения изображения вследствие чрезмерного выделения контуров посредством надлежащего управления обработкой выделения контуров модуля 2 выделения контуров в зависимости от величины движения в сигнале входного изображения, полученного от FRC-модуля 100.
Поскольку обработка выделения контуров выполняется на первом уровне выделения контуров для сигнала входного изображения, а для сигнала интерполированного изображения обработка выделения контуров выполняется на втором уровне выделения контуров ниже первого уровня выделения контуров, или обработка выделения контуров не выполняется, даже если ухудшение изображения возникает в сигнале интерполированного изображения, резкость отображаемого изображения может быть улучшена без заметного ухудшения изображения.
Желательно предотвращать артефакты, формируемые вследствие резкого изменения обработки выделения контуров в пределах экрана, посредством предоставления фильтра нижних частот для вектора движения между модулем 10 обнаружения векторов движения и модулем 2 выделения контуров, чтобы сглаживать изменение вектора движения в пределах экрана, как описано выше.
В случае этого варианта осуществления, поскольку обработка выделения контуров выполняется после обработки FRC, обработка обнаружения вектора движения в модуле 101 обнаружения векторов движения FRC-модуля 100 могут устойчиво работать без воздействия со стороны обработки выделения контуров. Поскольку информация вектора движения, формируемая посредством модуля 101 обнаружения векторов движения, используется непосредственно, этот вариант осуществления может быть реализован с простой конфигурацией по сравнению с третьим и четвертым вариантами осуществления, описанными позже.
Тем не менее, хотя исходное изображение и интерполированное изображение поочередно выводятся в сигнале выходного изображения FRC-модуля 100, модуль 2 выделения контуров непосредственно применяет информацию вектора движения, формируемую посредством FRC-модуля 100, как к исходному изображению, так и к интерполированному изображению, и, как результат, точная обработка выделения контуров может не выполняться для интерполированного изображения. Поскольку сигнал вектора движения, формируемый посредством FRC-модуля 100, имеет величину движения и положение, соответствующее сигналу входного изображения и не соответствующее сигналу интерполированного изображения, желательно выполнять обработку выделения контуров только для сигнала входного изображения (сигнала исходного изображения), если используется информация вектора движения, формируемая посредством FRC-модуля 100. Другие способы решения вышеописанной проблемы описываются далее как третий и четвертый варианты осуществления.
Второй вариант осуществления
Устройство обработки изображений согласно второму варианту осуществления настоящего изобретения описывается со ссылкой на фиг.12, и модулям, идентичным модулям из вышеозначенного устройства обработки изображений, присвоены идентичные ссылки с номерами, и они не описываются. Фиг.12 - это функциональная блок-схема схематичной конфигурации устройства обработки изображений согласно этому варианту осуществления.
Устройство обработки изображений этого варианта осуществления, аналогично первому варианту осуществления, включает в себя FRC-модуль 100, который преобразует число кадров сигнала входного изображения посредством интерполяции сигналов изображения, подвергнутых обработке компенсации движения между кадрами или полями входного видеосигнала, и модуль 2 выделения контуров, который выделяет высокочастотный компонент сигнала изображения, преобразованного по числу кадров посредством FRC-модуля 100. Хотя обработка выделения контуров модуля 2 выделения контуров управляется переменно на основе вектора движения, обнаруженного посредством модуля 101 обнаружения векторов движения в первом варианте осуществления, этот вариант осуществления выполнен с возможностью переменно управлять обработкой выделения контуров модуля 2 выделения контуров на основе интерполяционного вектора, оцененного/выделенного посредством модуля 103 выделения интерполяционных векторов.
Обработка выделения интерполяционного вектора далее описывается. Предполагается, что вектор движения, обнаруженный посредством модуля 101 обнаружения векторов движения, является вектором движения для сигнала n-1 входного изображения предыдущего кадра. Для каждого из блоков обнаружения вектора движения сигнала n-1 входного изображения вектор движения каждого из блоков обнаружения вектора движения указывает позицию, в которую блок переместился в сигнале n входного изображения следующего кадра. Например, если частота кадров удваивается, временная позиция интерполированного кадра - это промежуточная позиция между сигналом n-1 входного изображения и сигналом n входного изображения. Следовательно, выполняется обработка, чтобы получать то, к какому блоку интерполированного кадра прикрепляется каждый из векторов движения сигнала n-1 входного изображения, когда векторы движения переходят к временной позиции интерполированного кадра, и выделять векторы движения прикрепленных блоков. Это обработка выделения интерполяционных векторов для интерполированного кадра.
Интерполированные блоки, которым выделяются соответствующие интерполяционные векторы посредством модуля 103 выделения интерполяционных векторов, обычно задаются посредством дополнительного разделения блока обнаружения вектора движения для обнаружения вектора движения с помощью модуля 101 обнаружения векторов движения. Например, если блок обнаружения вектора движения имеет 8×8 пикселов, интерполированный блок задается так, чтобы иметь 2×4 пикселов, полученные посредством дополнительного разделения блока обнаружения вектора движения на восемь частей.
Модуль 103 выделения интерполяционных векторов выделяет более подходящий интерполяционный вектор интерполированному блоку посредством вычисления значения разности (называемого DFD (разность смещенных полей)) между информацией изображений обнаруженного блока и информацией изображений блока, указанного посредством вектора движения, из обнаруженного блока, чтобы оценивать точность вектора движения, полученного посредством модуля 101 обнаружения векторов движения. DFD - это индекс, служащий признаком степени точности варианта вектора, и меньшее значение DFD указывает, что обнаруженный блок лучше совпадает с блоком, указанным посредством вектора движения из обнаруженного блока, и что соответствующий вариант вектора является более подходящим.
Следовательно, поскольку уровень выделения высокочастотного компонента посредством модуля 2 выделения контуров и выделенный частотный диапазон варьируются на основе интерполяционного вектора, полученного посредством модуля 103 выделения интерполяционных векторов FRC-модуля 100 в этом варианте осуществления, обработка выделения контуров может быть выполнена более точно и корректно, по меньшей мере, для сигнала интерполированного изображения сигнала выходного изображения FRC-модуля 100.
Хотя вариант осуществления имеет такую конфигурацию, что модуль 2 выделения контуров выполняет обработку выделения контуров как для сигнала входного изображения, так и для сигнала интерполированного изображения, формируемого посредством модуля 102 формирования интерполированных кадров FRC-модуля 100, это не является ограничением, и обработка выделения контуров может быть выполнена только для сигнала входного изображения. Это предоставляет возможность уменьшения объема обработки в модуле 2 выделения контуров.
Хотя вариант осуществления имеет такую конфигурацию, что модуль 2 выделения контуров выполняет обработку выделения контуров как для сигнала входного изображения, так и для сигнала интерполированного изображения, формируемого посредством модуля 102 формирования интерполированных кадров FRC-модуля 100, обработка выделения контуров для сигнала входного изображения может отличаться от обработки выделения контуров для сигнала интерполированного изображения.
Поскольку ухудшение изображения (исчезновение изображения) может возникать в сигнале интерполированного изображения вследствие ложного обнаружения вектора движения и т.д., и если обработка выделения контуров выполняется для этого ухудшенного интерполированного изображения, часть, имеющая ухудшение изображения, подвергается обработке выделения контуров, и ухудшение изображения акцентируется, размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения вследствие обработки преобразования частоты кадров с компенсацией движения так, чтобы повышать резкость отображаемого изображения посредством задания уровня выделения контуров для сигнала интерполированного изображения ниже уровня выделения контуров для сигнала входного изображения (сигнала исходного изображения) или отключения обработки выделения контуров только для сигнала интерполированного изображения.
Например, посредством уменьшения частотного диапазона, который должен быть акцентирован для сигнала интерполированного изображения, так чтобы быть меньше частотного диапазона, который должен быть акцентирован для сигнала входного изображения (сигнала исходного изображения), размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения вследствие обработки преобразования частоты кадров с компенсацией движения, так чтобы повышать резкость отображаемого изображения.
Хотя FRC-модуль 100 по варианту осуществления описывается как модуль для преобразования частоты кадров сигнала входного изображения так, чтобы частота удваивалась, это не является ограничением, и FRC-модуль 100 может преобразовывать частоту кадров сигнала входного изображения на множитель 1,5 или 3, или если сигнал входного изображения формируется из изображения кинофильма, например, сигнал изображения с понижением 3-2, FRC-модуль 100 может преобразовывать частоту кадров до 120 Гц (в пятикратном размере) посредством извлечения сигнала основного изображения, соответствующего 24 Гц (выполнения так называемой обратной понижающей обработки 3-2), и интерполяции четырех сигналов интерполированного изображения между кадрами.
Если множество сигналов интерполированного изображения формируется, обработка выделения контуров может быть дифференцирована для каждого из множества интерполированных кадров. Например, если четыре интерполированных изображения формируются из однонаправленного исходного изображения, как показано на фиг.11(a), четвертое интерполированное изображение, удаленное во времени от исходного изображения, имеет более длинный вектор движения в сравнении с исходным изображением и вызывает большую ошибку вычисления во время обнаружения вектора движения, которая может формировать ухудшение изображения сигнала интерполированного изображения. В таком случае размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения, чтобы повышать резкость отображаемого изображения посредством уменьшения уровня выделения контуров для сигнала интерполированного изображения, удаленного во времени от сигнала исходного изображения, и повышения уровня выделения контуров для сигнала исходного изображения или сигнала интерполированного изображения, временно ближе к сигналу исходного изображения.
Если два изображения из первой половины этих четырех интерполированных изображений сформированы из предыдущего исходного изображения, и два изображения из второй половины сформированы из следующего исходного изображения, как показано на фиг.11(b), или если интерполированные изображения сформированы посредством изменения коэффициента сложения весовых коэффициентов или коэффициента смешения в зависимости от расстояний от предыдущего и следующего исходных изображений, как показано на фиг.11(c), размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения, чтобы повышать резкость отображаемого изображения посредством уменьшения уровня выделения контуров для второго и третьего сигналов интерполированного изображения в центре вследствие временной удаленности от сигналов исходного изображения и посредством повышения уровня выделения контуров для сигнала исходного изображения или первого и четвертого сигналов интерполированного изображения, ближе к сигналам исходного изображения.
Как описано выше, устройство обработки изображений варианта осуществления допускает заметное уменьшение размытости изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений, чтобы повышать резкость отображаемого изображения, и предотвращение ухудшения изображения вследствие чрезмерного выделения контуров посредством надлежащего управления обработкой выделения контуров модуля 2 выделения контуров в зависимости от величины движения в сигнале входного изображения, полученного посредством FRC-модуля 100.
Поскольку обработка выделения контуров выполняется на первом уровне выделения контуров для сигнала входного изображения, а для сигнала интерполированного изображения обработка выделения контуров выполняется на втором уровне выделения контуров ниже первого уровня выделения контуров, или обработка выделения контуров не выполняется, даже если ухудшение изображения возникает в сигнале интерполированного изображения, резкость отображаемого изображения может быть улучшена без заметного ухудшения изображения.
Желательно предотвращать артефакты, формируемые вследствие резкого изменения обработки выделения контуров в пределах экрана, посредством предоставления фильтра нижних частот для вектора движения между модулем 103 выделения векторов интерполяции и модулем 2 выделения контуров, чтобы сглаживать изменение вектора движения в пределах экрана.
В случае этого варианта осуществления обработка обнаружения вектора движения в модуле 101 обнаружения векторов движения FRC-модуля 100 может устойчиво выполняться без воздействия со стороны обработки выделения контуров. Поскольку информация вектора движения, выделяемая посредством модуля 103 выделения векторов интерполяции FRC-модуля 100, используется непосредственно, этот вариант осуществления может быть реализован с простой конфигурацией по сравнению с третьим и четвертым вариантами осуществления, описанными позже.
Тем не менее, хотя исходное изображение и интерполированное изображение поочередно выводятся в сигнале выходного изображения FRC-модуля 100, модуль 2 выделения контуров непосредственно применяет информацию вектора интерполяции, формируемую посредством FRC-модуля 100, как к исходному изображению, так и к интерполированному изображению, и, как результат, точная обработка выделения контуров может не выполняться для исходного изображения. Способы решения вышеописанной проблемы описываются далее как третий и четвертый варианты осуществления.
Третий вариант осуществления
Устройство обработки изображений согласно третьему варианту осуществления настоящего изобретения описывается со ссылкой на фиг.13, и модулям, идентичным модулям из вышеозначенного устройства обработки изображений, присвоены идентичные ссылки с номерами, и они не описываются. Фиг.13 - это блок-схема примерной конфигурации устройства обработки изображений согласно этому варианту осуществления.
На фиг.13 модуль 101 обнаружения векторов движения получает вектор движения для каждого из блоков обнаружения движения из сигнала n-1 входного изображения предыдущего кадра, задержанного посредством буфера кадров (FB) 105, и сигнала n входного изображения текущего кадра. Модуль 103 выделения интерполяционных векторов использует обнаруженный вектор движения для того, чтобы выделять соответствующий вектор выделения V для интерполированного кадра. Модуль 102 формирования интерполированных кадров использует выделенный вектор V для того, чтобы формировать и выводить изображение интерполированного кадра наряду с вектором V. Модуль 106 выделения вектора исходных кадров использует вектор движения, полученный посредством модуля 101 обнаружения векторов движения, для того, чтобы выделять соответствующий вектор V для исходного кадра, и выводит выделенный вектор V.
Выделение соответствующего вектора V для исходного кадра состоит в том, чтобы выполнять обработку, которая является идентичной обработке выделения векторов для интерполированного кадра, подробно описанной во втором варианте осуществления, также для исходного кадра. Хотя вектор движения, обнаруженный посредством модуля 101 обнаружения векторов движения, первоначально является вектором движения для сигнала n входного изображения, который является исходным кадром, он служит вектором для блока обнаружения вектора движения. Обработка, чтобы повторно выделять вектор движения для интерполированного блока, выполняется. Если интерполированный блок имеет такой же размер, как блок обнаружения вектора движения, вектор движения может использоваться без изменения. Если интерполированный блок меньше блока обнаружения вектора движения, выполняется повторное выделение.
Модуль 104 преобразования временной оси поочередно выводит интерполированные кадры, выводимые из модуля 102 формирования интерполированных кадров, и исходные кадры, чтобы выводить сигнал изображения, имеющий удвоенную частоту кадров в сравнении с исходным сигналом входного изображения, в модуль 2 выделения контуров. Модуль 104 преобразования временной оси выводит выделенный вектор V, выводимый из модуля 102 формирования интерполированных кадров, одновременно как вывод интерполированного кадра, и выводит выделенный вектор V, выводимый из модуля 106 выделения вектора исходных кадров, одновременно как вывод исходного кадра.
Модуль 2 выделения контуров выполняет обработку выделения контуров для сигнала изображения, имеющего преобразованную частоту кадров, на основе выделенного вектора V, выводимого из модуля 104 преобразования временной оси. Когда выделенный вектор V больше, уровень выделения контуров дополнительно увеличивается или выделенный частотный диапазон дополнительно расширяется, чтобы компенсировать высокочастотный компонент, ослабленный вследствие эффекта интегрирования во времени датчика изображений.
Хотя вариант осуществления имеет такую конфигурацию, что модуль 2 выделения контуров выполняет обработку выделения контуров как для сигнала интерполированного изображения, так и для сигнала входного изображения (сигнала исходного изображения), это не является ограничением, и обработка выделения контуров может быть выполнена только для сигнала входного изображения. Это предоставляет возможность уменьшения величины обработки в модуле 2 выделения контуров.
Хотя вариант осуществления имеет такую конфигурацию, что модуль 2 выделения контуров выполняет обработку выделения контуров как для сигнала входного изображения, так и для сигнала интерполированного изображения, формируемого посредством модуля 102 формирования интерполированных кадров FRC-модуля 100, обработка выделения контуров для сигнала входного изображения может отличаться от обработки выделения контуров для сигнала интерполированного изображения.
Поскольку ухудшение изображения (исчезновение изображения) может возникать в сигнале интерполированного изображения вследствие ложного обнаружения вектора движения и т.д., и если обработка выделения контуров выполняется для этого ухудшенного интерполированного изображения, часть, имеющая ухудшение изображения, подвергается обработке выделения контуров, и ухудшение изображения становится заметным, размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения вследствие обработки преобразования частоты кадров с компенсацией движения, чтобы повышать резкость отображаемого изображения посредством задания уровня выделения контуров для сигнала интерполированного изображения ниже уровня выделения контуров для сигнала входного изображения (сигнала исходного изображения) или отключения обработки выделения контуров только для сигнала интерполированного изображения.
Например, посредством уменьшения частотного диапазона, который должен быть акцентирован для сигнала интерполированного изображения, так чтобы быть меньше частотного диапазона, который должен быть акцентирован для сигнала входного изображения (сигнала исходного изображения), размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения вследствие обработки преобразования частоты кадров с компенсацией движения, чтобы повышать резкость отображаемого изображения.
Хотя FRC-модуль 100 по варианту осуществления описывается как модуль для преобразования частоты кадров сигнала входного изображения так, чтобы она удваивалась, это не является ограничением, и FRC-модуль 100 может преобразовывать частоту кадров сигнала входного изображения на множитель 1,5 или 3, или если сигнал входного изображения формируется из изображения кинофильма, например, сигнал изображения с понижением 3-2, FRC-модуль 100 может преобразовывать частоту кадров до 120 Гц (в пятикратном размере) посредством извлечения сигнала основного изображения, соответствующего 24 Гц (выполнения так называемой обратной понижающей обработки 3-2), и интерполяции четырех сигналов интерполированного изображения между кадрами.
Если множество сигналов интерполированного изображения формируется, обработка выделения контуров может быть дифференцирована для каждого из множества интерполированных кадров. Например, если четыре интерполированных изображения формируются из однонаправленного исходного изображения, как показано на фиг.11(a), четвертое интерполированное изображение, удаленное во времени от исходного изображения, имеет более длинный вектор движения в сравнении с исходным изображением и вызывает большую ошибку вычисления во время обнаружения вектора движения, которая может формировать ухудшение изображения сигнала интерполированного изображения. В таком случае размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения, чтобы повышать резкость отображаемого изображения посредством уменьшения уровня выделения контуров для сигнала интерполированного изображения, удаленного во времени от сигнала исходного изображения, и повышения уровня выделения контуров для сигнала исходного изображения или сигнала интерполированного изображения, временно ближе к сигналу исходного изображения.
Если два изображения из первой половины этих четырех интерполированных изображений сформированы из предыдущего исходного изображения и два изображения из второй половины сформированы из следующего исходного изображения, как показано на фиг.11(b), или если интерполированные изображения сформированы посредством изменения коэффициента сложения весовых коэффициентов или коэффициента смешения в зависимости от расстояний от предыдущего и следующего исходных изображений, как показано на фиг.11(c), размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения, чтобы повышать резкость отображаемого изображения посредством уменьшения уровня выделения контуров для второго и третьего сигналов интерполированного изображения в центре вследствие временной удаленности от сигналов исходного изображения и посредством повышения уровня выделения контуров для сигнала исходного изображения или первого и четвертого сигналов интерполированного изображения, ближе к сигналам исходного изображения.
Хотя вариант осуществления имеет такую конфигурацию, что модуль 101 обнаружения векторов движения обнаруживает вектор движения для исходного кадра n, модуль 106 выделения вектора исходных кадров выделяет вектор движения для исходного кадра n, и модуль 104 преобразования временной оси поочередно выводит интерполированный кадр и исходный кадр n, такая конфигурация, что вектор движения обнаруживается для исходного кадра n-1, модуль 106 выделения вектора исходных кадров выделяет вектор движения для исходного кадра n-1, и модуль 104 преобразования временной оси поочередно выводит исходный кадр n-1 и интерполированный кадр, может быть полезно использована.
Как описано выше, устройство обработки изображений варианта осуществления допускает видимое уменьшение размытости изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений, чтобы повышать резкость отображаемого изображения и предотвращение ухудшения изображения вследствие чрезмерного выделения контуров, поскольку соответствующая обработка выделения контуров выполняется для каждого из сигнала изображения интерполированного кадра и сигнала изображения исходного кадра в FRC-модуле 100 в зависимости от величины движения изображения.
Поскольку обработка выделения контуров выполняется на первом уровне выделения контуров для сигнала входного изображения, а для сигнала интерполированного изображения обработка выделения контуров выполняется на втором уровне выделения контуров ниже первого уровня выделения контуров или обработка выделения контуров не выполняется, даже если ухудшение изображения возникает в сигнале интерполированного изображения, резкость отображаемого изображения может быть улучшена без заметного ухудшения изображения.
В случае этого варианта осуществления обработка обнаружения вектора движения в модуле 101 обнаружения векторов движения FRC-модуля 100 может устойчиво выполняться без воздействия со стороны обработки выделения контуров. Поскольку обработка выделения контуров выполняется после того, как соответствующее выделение векторов выполнено для каждого из исходного кадра и интерполированного кадра, более точная обработка выделения контуров может быть выполнена по сравнению с первым и вторым вариантами осуществления.
Четвертый вариант осуществления
Устройство обработки изображений согласно четвертому варианту осуществления настоящего изобретения описывается со ссылкой на фиг.14, и модулям, идентичным модулям из вышеозначенного устройства обработки изображений, присвоены идентичные ссылки с номерами, и они не описываются. Фиг.14 - это блок-схема примерной конфигурации устройства обработки изображений согласно этому варианту осуществления.
Устройство обработки изображений по этому варианту осуществления аналогично устройству обработки изображений по третьему варианту осуществления, показанному на фиг.13. Отличия от третьего варианта осуществления заключаются в том, что модуль выделения контуров предоставляется в FRC-модуле 100 и расширяется до двух модулей 2A и 2B выделения контуров и что порядок модуля выделения контуров и модуля 104 преобразования временной оси меняется на противоположный.
Модуль 2A выделения контуров выполняет обработку выделения контуров для сигнала изображения интерполированного кадра на основе выделенного вектора V, выводимого из модуля 102 формирования интерполированных кадров. Модуль 2B выделения контуров выполняет обработку выделения контуров для сигнала изображения исходного кадра на основе выделенного вектора V, выводимого из модуля 106 выделения вектора исходных кадров. Когда выделенный вектор V больше, уровень выделения контуров дополнительно увеличивается или выделенный частотный диапазон дополнительно расширяется, чтобы компенсировать высокочастотный компонент, ослабленный вследствие эффекта интегрирования во времени датчика изображений.
Модуль 104 преобразования временной оси поочередно выводит интерполированные кадры, выводимые из модуля 2A выделения контуров, и исходные кадры, выводимые из модуля 2B выделения контуров, чтобы выводить сигнал изображения, имеющий удвоенную частоту кадров в сравнении с исходным сигналом входного изображения.
Хотя вариант осуществления имеет такую конфигурацию, что модуль 2A выделения контуров и модуль 2B выделения контуров выполняют обработку выделения контуров как для сигнала интерполированного изображения, так и для сигнала входного изображения (сигнала исходного изображения), это не является ограничением, и обработка выделения контуров может быть выполнена только для сигнала входного изображения. Например, поскольку ухудшение изображения может возникать в сигнале интерполированного изображения, формируемом посредством модуля 102 формирования интерполированных кадров, вследствие ложного обнаружения вектора движения и т.д., модуль 2A выделения контуров, выполняющий обработку выделения контуров для сигнала интерполированного изображения, может быть опущен. Конфигурация может быть упрощена за счет исключения модуля 2A выделения контуров, как указано выше.
Хотя вариант осуществления имеет такую конфигурацию, что модуль 2A выделения контуров и модуль 2B выделения контуров выполняют обработку выделения контуров как для сигнала входного изображения, так и для сигнала интерполированного изображения, формируемого посредством модуля 102 формирования интерполированных кадров FRC-модуля 100, обработка выделения контуров для сигнала входного изображения может отличаться от обработки выделения контуров для сигнала интерполированного изображения.
Поскольку ухудшение изображения (исчезновение изображения) может возникать в сигнале интерполированного изображения вследствие ложного обнаружения вектора движения и т.д., и если обработка выделения контуров выполняется для этого ухудшенного интерполированного изображения, часть, имеющая ухудшение изображения, подвергается обработке выделения контуров, и ухудшение изображения становится заметным, размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения вследствие обработки преобразования частоты кадров с компенсацией движения, чтобы повышать резкость отображаемого изображения посредством задания уровня выделения контуров для сигнала интерполированного изображения ниже уровня выделения контуров для сигнала входного изображения (сигнала исходного изображения) или отключения обработки выделения контуров только для сигнала интерполированного изображения.
Например, посредством уменьшения частотного диапазона, который должен быть акцентирован для сигнала интерполированного изображения, так чтобы быть меньше частотного диапазона, который должен быть акцентирован для сигнала входного изображения (сигнала исходного изображения), размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения вследствие обработки преобразования частоты кадров с компенсацией движения, чтобы повышать резкость отображаемого изображения.
Хотя FRC-модуль 100 по варианту осуществления описывается как модуль для преобразования частоты кадров сигнала входного изображения так, чтобы она удваивалась, это не является ограничением, и FRC-модуль 100 может преобразовывать частоту кадров сигнала входного изображения на множитель 1,5 или 3, или если сигнал входного изображения формируется из изображения кинофильма, например, сигнал изображения с понижением 3-2, FRC-модуль 100 может преобразовывать частоту кадров до 120 Гц (в пятикратном размере) посредством извлечения сигнала основного изображения, соответствующего 24 Гц (выполнения так называемой обратной понижающей обработки 3-2), и интерполяции четырех сигналов интерполированного изображения между кадрами.
Если множество сигналов интерполированного изображения формируется, обработка выделения контуров может быть дифференцирована для каждого из множества интерполированных кадров. Например, если четыре интерполированных изображения формируются из однонаправленного исходного изображения, как показано на фиг.11(a), четвертое интерполированное изображение, удаленное во времени от исходного изображения, имеет более длинный вектор движения в сравнении с исходным изображением и вызывает большую ошибку вычисления во время обнаружения вектора движения, которая может формировать ухудшение изображения сигнала интерполированного изображения. В таком случае размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения, чтобы повышать резкость отображаемого изображения посредством уменьшения уровня выделения контуров для сигнала интерполированного изображения, удаленного во времени от сигнала исходного изображения, и повышения уровня выделения контуров для сигнала исходного изображения или сигнала интерполированного изображения, временно ближе к сигналу исходного изображения.
Если два изображения из первой половины этих четырех интерполированных изображений сформированы из предыдущего исходного изображения и два изображения из второй половины сформированы из следующего исходного изображения, как показано на фиг.11(b), или если интерполированные изображения сформированы посредством изменения коэффициента сложения весовых коэффициентов или коэффициента смешения в зависимости от расстояний от предыдущего и следующего исходных изображений, как показано на фиг.11(c), размытость изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений может быть видимо уменьшена без заметного результирующего ухудшения изображения, чтобы повышать резкость отображаемого изображения посредством уменьшения уровня выделения контуров для второго и третьего сигналов интерполированного изображения в центре вследствие временной удаленности от сигналов исходного изображения и посредством повышения уровня выделения контуров для сигнала исходного изображения или первого и четвертого сигналов интерполированного изображения, ближе к сигналам исходного изображения.
Хотя вариант осуществления имеет такую конфигурацию, что модуль 101 обнаружения векторов движения обнаруживает вектор движения для исходного кадра n, модуль 106 выделения вектора исходных кадров выделяет вектор движения для исходного кадра n и модуль 2B выделения контуров выполняет обработку выделения контуров для исходного кадра n, такая конфигурация, что вектор движения обнаруживается для исходного кадра n-1, модуль 106 выделения вектора исходных кадров выделяет вектор движения для исходного кадра n-1 и модуль 2B выделения контуров выполняет обработку выделения контуров для исходного кадра n-1, может быть полезно использована.
Как описано выше, устройство обработки изображений варианта осуществления допускает видимое уменьшение размытости изображений движущихся объектов вследствие эффекта интегрирования во времени датчика изображений, чтобы повышать резкость отображаемого изображения, и предотвращение ухудшения изображения вследствие чрезмерного выделения контуров, поскольку соответствующая обработка выделения контуров выполняется для каждого из сигнала изображения интерполированного кадра и сигнала изображения исходного кадра в FRC-модуле 100 в зависимости от величины движения изображения.
Поскольку обработка выделения контуров выполняется на первом уровне выделения контуров для сигнала входного изображения, а для сигнала интерполированного изображения обработка выделения контуров выполняется на втором уровне выделения контуров ниже первого уровня выделения контуров или обработка выделения контуров не выполняется, даже если ухудшение изображения возникает в сигнале интерполированного изображения, резкость отображаемого изображения может быть улучшена без заметного ухудшения изображения.
В случае этого варианта осуществления обработка обнаружения вектора движения в модуле 101 обнаружения векторов движения FRC-модуля 100 может устойчиво выполняться без воздействия со стороны обработки выделения контуров. Поскольку обработка выделения контуров выполняется после того, как соответствующее выделение векторов выполнено для каждого из исходного кадра и интерполированного кадра, более точная обработка выделения контуров может быть выполнена по сравнению с первым и вторым вариантами осуществления. Поскольку два модуля выделения контуров, т.е. модуль 2A выделения контуров и модуль 2B выделения контуров, включены, обработка выделения контуров каждого модуля может быть только половиной обработки по сравнению с третьим вариантом осуществления.
Хотя примерные варианты осуществления устройства и способа обработки изображений по настоящему изобретению описаны в вышеприведенном описании, вышеприведенное описание должно предоставлять простое понимание программы обработки, выполненной с возможностью управлять компьютером, чтобы осуществлять способ обработки изображений, и носителя записи программы, который является машиночитаемым носителем записи, записывающим программу обработки.
Как описано выше, устройство обработки изображений по настоящему изобретению может быть выполнено интегрированно с устройством отображения изображений или может расположено быть отдельно от устройства отображения изображений. Дополнительно само собой разумеется, что устройство обработки изображений может быть расположено, например, в оборудовании вывода видеосигнала, таком как устройства воспроизведения для различных носителей записи.
Хотя способ и устройство, которые варьируют уровень выделения контуров для сигнала изображения в зависимости от величины движения в сигнале входного изображения, описаны в вышеприведенных вариантах осуществления, это не является ограничением настоящего изобретения, и очевидно, что настоящее изобретение применимо к способу и устройству, которые выполняют обработку выделения контуров на заранее определенном уровне выделения контуров. В этом случае, даже если ухудшение изображения возникает в сигнале интерполированного изображения, уровень выделения контуров для сигнала интерполированного изображения может быть задан ниже уровня выделения контуров для сигнала входного изображения, чтобы повышать резкость отображаемого изображения без заметного ухудшения изображения.
Изобретение относится к устройству и способу обработки и отображения изображений. Техническим результатом является отображение видео высокой четкости посредством уменьшения размытости изображений движущихся объектов отображаемого видео вследствие эффекта интегрирования во времени датчика изображений. Указанный технический результат достигается тем, что устройство содержит модуль (101) обнаружения вектора движения, который обнаруживает вектор движения в каждой заранее определенной области между кадрами сигнала вводимого изображения, и модуль (2) выделения контуров, который подчеркивает высокочастотный компонент сигнала вводимого изображения и сигнала интерполированного изображения, формируемого посредством модуля (100) преобразования частоты кадров (FRC-модуля), согласно величине движения сигнала вводимого изображения, обнаруженного посредством модуля (101) обнаружения вектора движения. Это компенсирует высокочастотный компонент, ослабленный посредством эффекта интегрирования во времени датчика изображений, чтобы уменьшать видимую размытость изображений движущихся объектов, чтобы повышать резкость отображаемого изображения. Посредством задания степени (уровня) выделения контуров сигнала интерполированного изображения как меньшей степени сигнала вводимого изображения резкость отображаемого изображения увеличивается без выделения ухудшения изображения сигнала интерполированного изображения. 4 н. и 8 з.п. ф-лы, 14 ил.
1. Устройство отображения изображений, содержащее средство преобразования частоты кадров, которое преобразует несколько кадров или полей сигнала входного изображения посредством интерполяции сигнала интерполированного изображения, формируемого посредством выполнения обработки компенсации движения для сигнала входного изображения, на основе информации вектора движения между кадрами или полями сигнала входного изображения между кадрами или полями сигнала входного изображения, жидкокристаллическую дисплейную панель для отображения данных изображения на основе сигнала изображения, подвергнутого преобразованию частоты кадров посредством средства преобразования частоты кадров, при этом сигнал входного изображения подвергается обработке выделения контуров на первом уровне выделения контуров, и сигнал интерполированного изображения подвергается обработке выделения контуров на втором уровне выделения контуров, ниже первого уровня выделения контуров, или только сигнал входного изображения подвергается обработке выделения контуров.
2. Устройство отображения изображений по п.1, в котором обработка выделения контуров увеличивает величину выделения высокочастотного компонента сигнала изображения для области, имеющей большую величину движения в сигнале входного изображения.
3. Устройство отображения изображений по п.1, в котором обработка выделения контуров расширяет частотный диапазон выделенного сигнала изображения для области, имеющей большую величину движения в сигнале входного изображения.
4. Устройство отображения изображений по п.1, которое варьирует характеристики фильтра для выделения контуров сигнала изображения в зависимости от направления движения сигнала входного изображения.
5. Устройство отображения изображений по п.2, в котором средство преобразования частоты кадров включает в себя модуль обнаружения векторов движения, который обнаруживает вектор движения между последовательными кадрами или полями, включенными в сигнал входного изображения, модуль выделения интерполяционных векторов, который выделяет интерполяционный вектор между кадрами или полями на основе обнаруженного вектора движения, модуль формирования интерполированного изображения, который формирует сигнал интерполированного изображения на основе выделенного интерполяционного вектора, и модуль интерполяции изображений, который интерполирует формируемый сигнал интерполированного изображения между кадрами или полями и получает величину движения/направление движения в сигнале входного изображения на основе вектора движения, обнаруженного посредством модуля обнаружения векторов движения,
6. Устройство отображения изображений по п.5, содержащее фильтр нижних частот для сглаживания вектора движения, обнаруженного посредством модуля обнаружения векторов движения.
7. Устройство отображения изображений по п.2, в котором средство преобразования частоты кадров включает в себя модуль обнаружения векторов движения, который обнаруживает вектор движения между последовательными кадрами или полями, включенными в сигнал входного изображения, модуль выделения интерполяционных векторов, который выделяет интерполяционный вектор между кадрами или полями на основе обнаруженного вектора движения, модуль формирования интерполированного изображения, который формирует сигнал интерполированного изображения на основе выделенного интерполяционного вектора, и модуль интерполяции изображений, который интерполирует формируемый сигнал интерполированного изображения между кадрами или полями и получает величину движения/направление движения в сигнале входного изображения на основе интерполяционного вектора, выделяемого посредством модуля выделения интерполяционных векторов.
8. Устройство отображения изображений по п.7, содержащее фильтр нижних частот для сглаживания интерполяционного вектора, выделяемого посредством модуля выделения интерполяционных векторов.
9. Устройство отображения изображений по любому из пп.1-8, в котором средство преобразования частоты кадров интерполирует множество сигналов интерполированного изображения между кадрами или полями сигнала входного изображения и варьирует уровень выделения контуров для каждого из сигналов интерполированного изображения в зависимости от временного расстояния от сигнала входного изображения.
10. Способ отображения изображений, содержащий этап преобразования частоты кадров для преобразования нескольких кадров или полей сигнала входного изображения посредством интерполяции сигнала интерполированного изображения, формируемого посредством выполнения обработки компенсации движения для сигнала входного изображения, на основе информации вектора движения между кадрами или полями сигнала входного изображения между кадрами или полями сигнала входного изображения, этап отображения данных изображения на основе сигнала изображения, подвергнутого преобразованию частоты кадров на этапе преобразования частоты кадров, при этом сигнал входного изображения подвергают обработке выделения контуров на первом уровне выделения контуров, и сигнал интерполированного изображения подвергают обработке выделения контуров на втором уровне выделения контуров, ниже первого уровня выделения контуров, или только сигнал входного изображения подвергают обработке выделения контуров.
11. Устройство обработки изображений, содержащее средство преобразования частоты кадров, которое преобразует несколько кадров или полей сигнала входного изображения посредством интерполяции сигнала интерполированного изображения, формируемого посредством выполнения обработки компенсации движения для сигнала входного изображения, на основе информации вектора движения между кадрами или полями сигнала входного изображения между кадрами или полями сигнала входного изображения, при этом сигнал входного изображения подвергается обработке выделения контуров на первом уровне выделения контуров, и сигнал интерполированного изображения подвергается обработке выделения контуров на втором уровне выделения контуров, ниже первого уровня выделения контуров, или только сигнал входного изображения подвергается обработке выделения контуров.
12. Способ обработки изображений, содержащий этап преобразования частоты кадров, на котором преобразуют несколько кадров или полей сигнала входного изображения посредством интерполяции сигнала интерполированного изображения, формируемого посредством выполнения обработки компенсации движения для сигнала входного изображения, на основе информации вектора движения между кадрами или полями сигнала входного изображения между кадрами или полями сигнала входного изображения, при этом сигнал входного изображения подвергают обработке выделения контуров на первом уровне выделения контуров, и сигнал интерполированного изображения подвергают обработке выделения контуров на втором уровне выделения контуров, ниже первого уровня выделения контуров, или только сигнал входного изображения подвергают обработке выделения контуров.
| Способ отбора проб поверхностного микрослоя жидкости и устройство для его осуществления | 1985 |
|
SU1357750A1 |
| US 4733300 A, 22.03.1988 | |||
| US 2005105617 A1, 19.05.2005 | |||
| US 5268759 A, 07.12.1993 | |||
| УСТРОЙСТВО ДЛЯ ПОДВЕСКИ ГРУЗА К НАПРАВЛЯЮЩИМ ПИЛОНА ЛЕТАТЕЛЬНОГО АППАРАТА | 1975 |
|
SU647919A1 |
| JP 2006332904 A, 07.12.2006 | |||
| JP 2005051460 A, 24.02.2005 | |||
| KR 20040070487 A, 11.08.2004 | |||
| JP 11069313 A, 09.03.1999 | |||
| JP 3190473 A, 20.08.1991 | |||
| ПРОЦЕССОР ИЗОБРАЖЕНИЙ | 1999 |
|
RU2222873C2 |
| Устройство интерполяции видеосигнала | 1987 |
|
SU1425872A1 |
| ЯН РИЧАРДСОН, | |||
