СПОСОБ ОПРЕДЕЛЕНИЯ И СГЛАЖИВАНИЯ СТУПЕНЧАТЫХ КРАЕВ НА ИЗОБРАЖЕНИИ Российский патент 2010 года по МПК G06K9/48 H04N1/409 H04N1/58 

Изобретение относится к способам обработки изображения, а именно к способам определения и сглаживания ступенчатых краев на цифровом изображении.

Ступенчатые края являются одним из искажений, которое часто возникает на цифровом изображении. Ступенчатыми краями называют ступенчатые линии по краям объектов на изображении там, где должны быть плавные контуры.

Чтобы удалить ступенчатые края, нужно сначала их обнаружить, а затем сгладить.

Существуют различные способы обнаружения и сглаживания ступенчатых краев цифрового изображения.

В патенте США №5351305 [1] предложен способ и устройство улучшения краев, в которых средство определения краев просматривает область вокруг каждого пикселя отфильтрованного изображения, чтобы определить среднеквадратичное отклонение величин пикселей. Большое отклонение означает край; тогда как однородность означает отсутствие края. Аналогично поступают и в направлении максимального отклонения ортогонально направлению края. Пиксели, которые являются добавочными к краю с меньшей величиной отклонения, заменяют соответствующим пикселем, который был отфильтрован непосредственно в направлении, наиболее близком к определенному направлению края. Однако обработка данным способом дает недостаточно качественный результат.

В патенте США №6608942 [2] описан способ и устройство улучшения ступенчатых краев. В способе определяют один или более краев, проходящих через выбранный пиксель изображения в зависимости от интенсивности данного пикселя и пикселей, окружающих его, положение одного или более краев выбранного пикселя и предопределенные градиенты между выбранным пикселем и пикселями, окружающими его, после чего к выбранному пикселю и пикселям, окружающим его, применяют адаптированную маску свертки, при этом величины коэффициентов маски свертки зависят от одного или более найденных краев. К достоинству данного способа можно отнести то, что он выполняется в реальном времени. К недостаткам следует отнести недостаточно качественную обработку и внесение артефактов в итоговое скорректированное изображение. Также к недостатку можно отнести то, что для того, чтобы данный способ работал в режиме реального времени, предъявляются повышенные требования к вычислительным ресурсам аппаратуры.

Наиболее близким к заявленному изобретению является способ сглаживания ступенчатого эффекта в изображениях, предложенный в патенте США №6674903 [3], в котором локальные градиенты для каждого текущего пикселя изображения определяют по четырем направлениям. Первое направление соответствует наибольшему из определенных локальных градиентов интенсивностей пикселей. Для сглаживания изображения во втором направлении, ортогональном первому направлению, величину интенсивности, т.е. яркости, пикселей меняют в соответствии с величиной пикселей, расположенных во втором направлении вокруг текущего пикселя. Данный способ выбран в качестве прототипа заявленного изобретения.

Недостатками способа прототипа являются его недостаточная функциональность, так как способ применим только для незашумленных изображений, вследствие большой чувствительности способа к шуму в изображении и недостаточное качество обработки изображения вследствие недостаточного уменьшения зубцов по краям объектов на изображении.

Задачей заявляемого изобретения является создание способа определения и сглаживания ступенчатых краев на изображении с расширенной функциональностью, а именно с возможностью обработки зашумленного изображения, увеличенным быстродействием в реальном времени и более высоким качеством коррекции ступенчатых краев, при котором не возникают артефакты в итоговом скорректированном изображении.

Поставленная задача решена путем создания способа определения и сглаживания ступенчатых краев на изображении, в котором сохраняют значения начальной интенсивности и координат пикселей изображения, после чего для каждого текущего пикселя изображения выполняют следующие операции:

- выбирают вокруг текущего пикселя первую область, состоящую из нескольких ближайших соседних пикселей изображения;

- выбирают две линии, одна из которых проходит горизонтально (далее упоминается как горизонтальная линия), а другая вертикально (далее упоминается как вертикальная линия) через текущий пиксель и пиксели первой области;

- определяют горизонтальный вспомогательный градиент вдоль горизонтальной линии первой области как разность между пикселем, расположенным слева от текущего пикселя, и пикселем, расположенным справа от текущего пикселя;

- определяют вертикальный вспомогательный градиент вдоль вертикальной линии первой области как разность между пикселем, расположенным сверху от текущего пикселя, и пикселем, расположенным снизу от текущего пикселя;

- определяют сумму абсолютных величин горизонтального и вертикального градиентов;

- определяют, что первая область не является высокочастотной, при этом проверяют выполнение условия, что минимум суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов меньше 10% максимума суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов и, в случае выполнения данного условия, первая область не является высокочастотной, и

- для каждого пикселя первой области определяют горизонтальный градиент вдоль горизонтальной линии первой области и вертикальный градиент вдоль выбранной вертикальной линии первой области;

- определяют первую корреляционную матрицу для горизонтальных градиентов и вертикальных градиентов первой области, а также собственные векторы θ_-, θ₊ и собственные величины λ_-, λ₊ первой корреляционной матрицы;

- определяют величину Power_hv по формуле

,

где n - число, задающее чувствительность к краю объекта в изображении;

- определяют направление Dir_hv края объекта в изображении как угол, под которым направлен собственный вектор первой корреляционной матрицы с меньшим значением собственной величины;

- выбирают две линии, одна из которых проходит под углом 45 градусов относительно горизонтального направления (далее упоминается как правая диагональ), а другая под углом 135 градусов относительно горизонтального направления (далее упоминается как левая диагональ) через текущий пиксель и пиксели выбранной области;

- для каждого пикселя первой области определяют праводиагональный градиент вдоль правой диагонали первой области и леводиагональный градиент вдоль левой диагонали первой области;

- определяют вторую корреляционную матрицу для праводиагональных градиентов и леводиагональных градиентов первой области, а также собственные векторы θ_d-, θ_d+ и собственные величины λ_d-, λ_d+ второй корреляционной матрицы;

- определяют величину Power_lr по формуле

,

где m - число, задающее чувствительность к краю объекта в изображении;

- определяют направление Dir_lr края объекта в изображении как угол, под которым направлен собственный вектор второй корреляционной матрицы с меньшим значением собственной величины;

- определяют величину Power как максимальное значение, выбранное из величин Power_hv и Power_lr;

- определяют, что конечным направлением Dir края объекта в немасштабированном изображении является Dir_lr, если Power_hv меньше Power_lr и значение Dir_lr находится в определенном диапазоне углов, иначе определяют, что конечным направлением Dir края объекта в изображении является Dir_hv;

- выбирают вокруг текущего пикселя и первой области вторую область, состоящую из нескольких соседних пикселей изображения, при этом размер второй области больше размера первой области;

- выполняют низкочастотную фильтрацию во второй области, в результате чего получают фильтрованную область и сохраняют ее;

- выбирают две линии, одна из которых проходит горизонтально, а другая вертикально через текущий пиксель и пиксели второй области;

- для каждого пикселя второй области определяют горизонтальный масштабированный градиент вдоль горизонтальной линии второй области и вертикальный масштабированный градиент вдоль вертикальной линии второй области;

- определяют третью корреляционную матрицу для горизонтальных масштабированных градиентов и вертикальных масштабированных градиентов второй области, а также собственные векторы θ_sc-, θ_sc+ и собственные величины

λ_sc-, λ_sc+ третьей корреляционной матрицы;

- определяют величину Power_hv_sc по формуле ,

где k - число, задающее чувствительность к краю объекта в изображении;

- определяют направление края Dir_hv_sc объекта в изображении как угол, под которым направлен собственный вектор третьей корреляционной матрицы с меньшим значением собственной величины;

- выбирают две линии, одна из которых проходит под углом 45 градусов относительно горизонтального направления (т.е. правая диагональ), а другая под углом 135 градусов относительно горизонтального направления (т.е. левая диагональ) через текущий пиксель и пиксели второй области;

- для каждого пикселя второй области определяют праводиагональный масштабированный градиент вдоль правой диагонали второй области и леводиагональный масштабированный градиент вдоль левой диагонали второй области;

- определяют четвертую корреляционную матрицу для праводиагональных масштабированных градиентов и леводиагональных масштабированных градиентов, а также собственные векторы θ_scd-, θ_scd+и собственные величины λ_scd-, λ_scd+четвертой корреляционной матрицы;

- определяют величину Power_lr_sc по формуле

где l - число, задающее чувствительность к краю объекта в изображении;

- определяют направление края Dir_lr_sc объекта в изображении как угол относительно горизонтальной оси, под которым направлен собственный вектор с меньшим значением собственной величины четвертой корреляционной матрицы;

- определяют величину Power_sc как максимальную из величин Power_hv_sc и Power_lr_sc;

- определяют направление края Dir_sc объекта в изображении как Dir_lr__sc, если Power_hv_sc меньше Power_lr_sc и Dir_lr_sc находится определенном диапазоне углов A_d_sc, иначе определяют, что Dir_sc равен Dir_hv_sc;

- определяют величину Power_edge как максимальную из величин Power и Power_sc;

- определяют направление края Dir_edge объекта в изображении равным Dir, если Power меньше Power_ sc, иначе определяют направление края Dir_edge равным Dir_sc;

- определяют коэффициент w как функцию, квазилинейно зависящую от Power_edge;

- определяют аппроксимированную интенсивность текущего пикселя по направлению Dir_edge как нормированную сумму следующих интенсивностей: интенсивностей пикселей, расположенных слева от текущего пикселя по направлению Dir_edge, начальной интенсивности текущего пикселя, умноженной на два, и интенсивностей пикселей, расположенных справа от текущего пикселя по направлению Dir_edge;

- определяют итоговую интенсивность текущего пикселя как взвешенную сумму начальной интенсивности текущего пикселя с коэффициентом (1-w) с аппроксимированной интенсивностью текущего пикселя по направлению Dir_edge с коэффициентом w.

Для функционирования способа важно, чтобы определяли горизонтальный градиент вдоль горизонтальной линии первой области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: абсолютной величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области, абсолютной величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области, абсолютной величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области.

Для функционирования способа важно, чтобы определяли вертикальный градиент вдоль вертикальной линии первой области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: абсолютной величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного сверху от текущего пикселя первой области, абсолютной величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного снизу от текущего пикселя первой области, абсолютной величины разности между интенсивностью пикселя, расположенного сверху от текущего пикселя первой области, и интенсивностью пикселя, расположенного снизу от текущего пикселя первой области.

Для функционирования способа важно, чтобы определяли праводиагональный градиент вдоль правой диагонали первой области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между значением интенсивности текущего пикселя первой области и значением интенсивности пикселя, расположенного слева от текущего пикселя первой области по правой диагонали, величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали.

Для функционирования способа важно, чтобы определяли леводиагональный градиент вдоль левой диагонали первой области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области по левой диагонали, величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали.

Для функционирования способа важно, чтобы определяли горизонтальный масштабированный градиент вдоль горизонтальной линии второй области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области, величины разности между интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области.

Для функционирования способа важно, чтобы определяли вертикальный масштабированный градиент вдоль вертикальной линии второй области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области, величины разности между интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области.

Для функционирования способа важно, чтобы определяли праводиагональный масштабированный градиент вдоль правой диагонали второй области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя и интенсивностью пикселя, расположенного слева от текущего пикселя через один пиксель по правой диагонали второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя через один пиксель по правой диагонали второй области, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по правой диагонали второй области.

Для функционирования способа важно, чтобы определяли леводиагональный масштабированный градиент вдоль левой диагонали второй области, в качестве которого выбирали максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель по левой диагонали второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области, величины разности между интенсивностью пикселя расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области.

Для функционирования способа важно, чтобы определяли аппроксимированную интенсивность текущего пикселя как взвешенную сумму интенсивностей, нормированную делением на четыре.

Для функционирования способа важно, чтобы диапазоны углов A_d_sc и A_d определяли экспериментальным путем.

Техническим результатом заявленного изобретения является расширение функциональности, увеличение быстродействия и повышение качества коррекции ступенчатых краев изображения за счет обработки изображения с использованием данных пикселей его отдельных областей, плавного изменения степени глубины фильтрации, что исключает эффект "рваных краев" при переключении между областями, определения градиентов с использованием пикселей областей, расположенных по горизонтали, вертикали и диагонали, а также масштабирования изображения для обработки больших по величине ступенчатых краев.

Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующим чертежом, на котором приведена схема пошагового выполнения способа определения и сглаживания ступенчатых краев на изображении, выполненного согласно изобретению.

Рассмотрим пошаговое выполнение заявленного способа.

Сначала сохраняют значения интенсивности и координат пикселей начального изображения. Затем для каждого текущего пикселя изображения выполняют следующие операции.

Выбирают вокруг текущего пикселя первую область, состоящую из нескольких ближайших соседних пикселей изображения. Определяют горизонтальный вспомогательный градиент вдоль выбранной горизонтальной линии первой области как разность между пикселем, расположенным слева от текущего пикселя, и пикселем, расположенным справа от текущего пикселя. Определяют вертикальный вспомогательный градиент вдоль выбранной вертикальной линии первой области как разность между пикселем, расположенным сверху от текущего пикселя, и пикселем, расположенным снизу от текущего пикселя. Определяют сумму абсолютных величин горизонтального и вертикального градиентов. Определяют, что первая область не является высокочастотной, при этом проверяют выполнение условия, что минимум суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов для определения меньше 10% максимума суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов и, в случае выполнения данного условия, первая область не является высокочастотной. Весь набор указанных операций обозначен на чертеже как Шаг 1.

Для каждого пикселя первой области определяют горизонтальный градиент вдоль горизонтальной линии первой области и вертикальный градиент вдоль выбранной вертикальной линии первой области (Шаг 2).

Определяют первую корреляционную матрицу для горизонтальных градиентов и вертикальных градиентов первой области, а также собственные векторы θ_-, θ₊ и собственные величины λ_-, λ₊ первой корреляционной матрицы.

Определяют величину Power_hv по формуле ,

где n - число, задающее чувствительность к краю объекта в изображении.

Определяют направление Dir_hv края объекта в изображении как угол, под которым направлен собственный вектор первой корреляционной матрицы с меньшим значением собственной величины (Шаг 3).

Для каждого пикселя первой области определяют праводиагональный градиент вдоль правой диагонали первой области и леводиагональный градиент вдоль левой диагонали первой области.

Праводиагональный градиент определяют вдоль правой диагонали первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величины разности между значением интенсивности текущего пикселя первой области и значением интенсивности пикселя, расположенного слева от текущего пикселя первой области по правой диагонали, величины разности между интенсивностью текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали.

Леводиагональный градиент определяют вдоль левой диагонали первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области по левой диагонали, величины разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали (Шаг 4).

Определяют вторую корреляционную матрицу для праводиагональных градиентов и леводиагональных градиентов первой области, а также собственные векторы θ_d-, θ_d+ и собственные величины λ_d-, λ_d+ второй корреляционной матрицы.

Определяют величину Power_lr по формуле

,

где m - число, задающее чувствительность к краю объекта в изображении.

Определяют направление Dir_lr края объекта в изображении как угол, под которым направлен собственный вектор второй корреляционной матрицы с меньшим значением собственной величины (Шаг 5).

Определяют величину Power как максимальное значение, выбранное из величин Power_hv и Power_lr.

Определяют, что конечным направлением Dir края объекта в немасштабированном изображении является Dir_lr, если Power_hv меньше Power_lr и значение Dir_lr находится в определенном диапазоне углов A_d, иначе определяют, что конечным направлением Dir края объекта в изображении является Dir_hv (Шаг 6).

Выбирают вокруг текущего пикселя и первой области вторую область, состоящую из нескольких соседних пикселей изображения, при этом размер второй области больше размера первой области.

Выполняют низкочастотную фильтрацию во второй области, получая фильтрованную область, и сохраняют ее (Шаг 7).

Для каждого пикселя фильтрованной области определяют горизонтальный масштабированный градиент и вертикальный масштабированный градиент.

В качестве горизонтального масштабированного градиента выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области, величины разности между интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области.

В качестве вертикального масштабированного градиента выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области, величины разности между интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области (Шаг 8).

Определяют третью корреляционную матрицу для горизонтальных масштабированных градиентов и вертикальных масштабированных градиентов второй области, а также собственные векторы θ_sc-, θ_sc- и собственные величины

λ_sc-, λ_sc+ третьей корреляционной матрицы.

Определяют величину Power_hv_sc по формуле

,

где k - число, задающее чувствительность к краю объекта в изображении.

Определяют направление края Dir_hv_sc объекта в изображении как угол, под которым направлен собственный вектор третьей корреляционной матрицы с меньшим значением собственной величины (Шаг 9).

Для каждого пикселя фильтрованной области определяют праводиагональный масштабированный градиент и леводиагональный масштабированный градиент.

В качестве праводиагонального масштабированного градиента выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя и интенсивностью пикселя, расположенного слева от текущего пикселя через один пиксель по правой диагонали второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя через один пиксель по правой диагонали второй области, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по правой диагонали второй области.

В качестве леводиагонального масштабированного градиента выбирают максимальную абсолютную величину из следующего набора величин: величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель по левой диагонали второй области, величины разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области, величины разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области (Шаг 10).

Определяют четвертую корреляционную матрицу для праводиагональных масштабированных градиентов и леводиагональных масштабированных градиентов, а также собственные векторы θ_scd-, θ_scd+ и собственные величины λ_scd-, λ_scd+ четвертой корреляционной матрицы.

Определяют величину Power_lr_sc по формуле ,

где l - число, задающее чувствительность к краю объекта в изображении.

Определяют направление края Dir_lr_sc объекта в изображении как угол относительно горизонтальной оси, под которым направлен собственный вектор с меньшим значением собственной величины четвертой корреляционной матрицы (Шаг 11).

Определяют величину Power_sc как максимальную из величин Power_hv_sc и Power_lr_sc.

Определяют направление края Dir_sc объекта в изображении как Dir_lr_sc, если Power_hv_sc меньше Power_lr_sc и Dir_lr_sc находится в определенном диапазоне углов A_d_sc, иначе определяют, что Dir_sc равен Dir_hv_sc (Шаг 12).

Определяют величину Power_edge как максимальную из величин Power и Power_sc.

Определяют направление края Dir_edge объекта в изображении равным Dir, если Power меньше Power_sc, иначе определяют направление края Dir_edge равеным Dir_sc (Шаг 13).

Определяют коэффициент w как функцию, квазилинейно зависящую от Power_edge (Шаг 14).

Определяют аппроксимированную интенсивность текущего пикселя по направлению Dir_edge - величину aprx_pix. Для этого выбранный пиксель аппроксимируют, используя матрицу 5×5 первой области изображения (При этом можно использовать и другие размеры матрицы в зависимости от предъявляемой точности аппроксимации).

В случае если Dir_edge совпадает с пикселями, расположенными на матрице 5×5 (Dir_edge is 0, , , , π), аппроксимация будет следующей:

aprx_pix=(in_pixel_-+2*in_pixel+in_pixel₊)/4,

где in_pixel₊ и in_pixel - соседние пиксели, расположенные на PCA_dir по обеим сторонам от in_pixel.

Если Dir_edge не совпадает с матрицей пикселей, используют аппроксимацию величин in_puxel₊ и in_pixel_- пикселями, лежащими на ближайших к данному направлению пикселями соответственно с одной и другой стороны по направлению Dir_edge.

in_pixel₊=w1*term1₊+w2*term₂₊

in_pixel_-=w1*term1_-+w2*term_2-

Здесь

term1₊ и term2₊ - взвешенные суммы пикселей, лежащих по одному направлению Dir_edge,

Term1_ и term2_ - взвешенные суммы пикселей, лежащих по другому направлению Dir_edge,

w1 - нормированный угол между Dir_edge и ближайшим направлением в сторону увеличения угла от Dir_edge, на котором расположены точки матрицы аппроксимации,

w2 - нормированный угол между Dir_edge и ближайшим направлением в сторону уменьшения угла от Dir_edge, на котором расположены точки матрицы для аппроксимации.

При этом коэффициент нормировки равен сумме w1+w2.

Результирующая аппроксимация текущего пикселя пикселями, расположенными в направлении Dir_edge, представляет собой комбинацию:

aprx_pix=w1*in_pixel₊+w2*in_pixel_-. (Шаг 15).

Определяют итоговую интенсивность Pixel текущего пикселя как взвешенную сумму начальной интенсивности текущего пикселя с коэффициентом (1-w) с аппроксимированной интенсивностью текущего пикселя по направлению Dir_edge с коэффициентом w

Pixel=aprx_pix*W_eval+in_pixel*(1-W_eval) (Шаг 16).

Заявленный способ может быть реализован в системе, состоящей из функциональных элементов.

Изобретение может применяться в промышленно изготавливаемых устройствах, которые работают с изображениями низкого разрешения на входе. Прежде всего это цифровые широковещательные устройства, в которых исходное изображение должно отображаться на экране более высокого разрешения. В этом случае поток данных исходного изображения необходимо интерполировать. Однако исходное изображение обычно имеет потенциально проблемные мнимые области, и, кроме того. интерполяция приводит к появлению ступенчатого эффекта. Поэтому потенциально проблемные области необходимо обнаружить и обработать специальным образом. Заявленный способ может применяться для нахождения таких областей.

Предложенный способ также может применяться для улучшения качества отображения на дисплеях мобильных устройств. Такие дисплеи, как правило, имеют низкое разрешение, поэтому в них значительно проявляется ступенчатый эффект.

Другое важное приложение заявленного способа это телевидение высокой четкости. Для получения потока данных для телевидения высокой четкости используют способы улучшения локального контраста и определения цвета, после выполнения которых увеличивается ступенчатый эффект в некоторых областях изображения. Предложенный способ может применяться для обнаружения таких потенциально плохих областей с целью предотвращения усиления эффекта ступенчатости.

Заявленный способ выполняется в реальном времени. Это означает, что время, которое требуется для обработки одного изображения, меньше времени смены изображений в видеопоследовательности изображений.

В способе не требуются данные пикселей всего изображения, чтобы определить, где находятся зубчатые области, поскольку единовременно обрабатывают области изображения размером в несколько пикселей.

Способ корректно обрабатывает высокочастотные области изображения, что используется для предотвращения мерцания.

Хотя указанный выше вариант выполнения изобретения был изложен с целью иллюстрации настоящего изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.

Изобретение относится к способам обработки изображения, и в частности к сглаживанию ступенчатых краев на цифровом изображении. Техническим результатом является увеличение быстродействия обработки зашумленного изображения в реальном времени и повышение качества коррекции ступенчатых краев. Предложен способ определения и сглаживания ступенчатых краев на изображении, в котором сохраняют значения начальной интенсивности и координат пикселей изображения; выбирают вокруг текущего пикселя первую область, состоящую из нескольких ближайших соседних пикселей изображения; выбирают две линии, одна из которых проходит горизонтально, а другая вертикально через текущий пиксель и пиксели первой области; определяют горизонтальный вспомогательный градиент вдоль горизонтальной линии первой области как разность между пикселем, расположенным слева от текущего пикселя, и пикселем, расположенным справа от текущего пикселя; определяют вертикальный вспомогательный градиент вдоль вертикальной линии первой области как разность между пикселем, расположенным сверху от текущего пикселя, и пикселем, расположенным снизу от текущего пикселя; определяют сумму абсолютных величин горизонтального и вертикального градиентов; определяют, что первая область не является высокочастотной, и для каждого пикселя первой области определяют горизонтальный градиент вдоль горизонтальной линии первой области и вертикальный градиент вдоль выбранной вертикальной линии первой области; определяют четыре корреляционных матрицы для соответствующих градиентов областей, а также собственные векторы θ_-, θ₊ и собственные величины λ_-, λ₊ корреляционной матрицы. Итоговую интенсивность текущего пикселя определяют как взвешенную сумму начальной интенсивности текущего пикселя с коэффициентом (1-w) с аппроксимированной интенсивностью текущего пикселя по направлению Dir_edge с коэффициентом w. 10 з.п. ф-лы, 1 ил.

1. Способ определения и сглаживания ступенчатых краев на изображении, в котором сохраняют значения начальной интенсивности и координат пикселей изображения, после чего для каждого текущего пикселя изображения выполняют следующие операции:
выбирают вокруг текущего пикселя первую область, состоящую из нескольких ближайших соседних пикселей изображения;
выбирают две линии, одна из которых проходит горизонтально, а другая вертикально через текущий пиксель и пиксели первой области;
определяют горизонтальный вспомогательный градиент вдоль горизонтальной линии первой области как разность между пикселем, расположенным слева от текущего пикселя, и пикселем, расположенным справа от текущего пикселя;
определяют вертикальный вспомогательный градиент вдоль вертикальной линии первой области как разность между пикселем, расположенным сверху от текущего пикселя, и пикселем, расположенным снизу от текущего пикселя;
определяют сумму абсолютных величин горизонтального и вертикального градиентов;
определяют, что первая область не является высокочастотной, при этом проверяют выполнение условия, что минимум суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов меньше 10% максимума суммы абсолютных величин горизонтального и вертикального вспомогательных градиентов и в случае выполнения данного условия первая область не является высокочастотной, и
для каждого пикселя первой области определяют горизонтальный градиент вдоль горизонтальной линии первой области и вертикальный градиент вдоль выбранной вертикальной линии первой области;
определяют первую корреляционную матрицу для горизонтальных градиентов и вертикальных градиентов первой области, а также собственные векторы θ_-, θ₊ и собственные величины λ_-, λ₊ первой корреляционной матрицы;
определяют величину Power_hv по формуле
где n - число, задающее чувствительность к краю объекта в изображении;
определяют направление Dir_hv края объекта в изображении как угол, под которым направлен собственный вектор первой корреляционной матрицы с меньшим значением собственной величины;
выбирают две линии, одна из которых проходит под углом 45° относительно горизонтального направления и далее идентифицируется как правая диагональ, а другая проходит под углом 135° относительно горизонтального направления и далее идентифицируется как левая диагональ, через текущий пиксель и пиксели выбранной области;
для каждого пикселя первой области определяют праводиагональный градиент вдоль правой диагонали первой области и леводиагональный градиент вдоль левой диагонали первой области;
определяют вторую корреляционную матрицу для праводиагональных градиентов и леводиагональных градиентов первой области, а также собственные векторы θ_d-, θ_d+ и собственные величины λ_d-, λ_d+ второй корреляционной матрицы;
определяют величину Power_lr по формуле
,
где m - число, задающее чувствительность к краю объекта в изображении;
определяют направление Dir_lr края объекта в изображении как угол, под которым направлен собственный вектор второй корреляционной матрицы с меньшим значением собственной величины;
определяют величину Power как максимальное значение, выбранное из величин Power_hv и Power_lr;
определяют, что конечным направлением Dir края объекта в немасштабированном изображении является Dir_lr, если Power_hv меньше Power_lr и значение Dir_lr находится в определенном диапазоне углов, иначе определяют, что конечным направлением Dir края объекта в изображении является Dir_hv;
выбирают вокруг текущего пикселя и первой области вторую область, состоящую из нескольких соседних пикселей изображения, при этом размер второй области больше размера первой области;
выполняют низкочастотную фильтрацию во второй области, получая фильтрованную область, и сохраняют ее;
выбирают две линии, одна из которых проходит горизонтально, а другая вертикально через текущий пиксель и пиксели второй области;
для каждого пикселя второй области определяют горизонтальный масштабированный градиент вдоль горизонтальной линии второй области и вертикальный масштабированный градиент вдоль вертикальной линии второй области;
определяют третью корреляционную матрицу для горизонтальных масштабированных градиентов и вертикальных масштабированных градиентов второй области, а также собственные векторы θ_sc-, θ_sc+ и собственные величины
λ_sc-, λ_sc+ третьей корреляционной матрицы;
определяют величину Power_hv_sc по формуле ,
где k - число, задающее чувствительность к краю объекта в изображении;
определяют направление края Dir_hv_sc объекта в изображении как угол, под которым направлен собственный вектор третьей корреляционной матрицы с меньшим значением собственной величины;
выбирают две линии, одна из которых проходит под углом 45° относительно горизонтального направления и далее идентифицируется как правая диагональ, а другая проходит под углом 135° относительно горизонтального направления и идентифицируется как левая диагональ, через текущий пиксель и пиксели второй области;
для каждого пикселя второй области определяют праводиагональный масштабированный градиент вдоль правой диагонали второй области и леводиагональный масштабированный градиент вдоль левой диагонали второй области;
определяют четвертую корреляционную матрицу для праводиагональных масштабированных градиентов и леводиагональных масштабированных градиентов, а также собственные векторы θ_scd-, θ_scd+ и собственные величины λ_scd-, λ_scd+ четвертой корреляционной матрицы;
определяют величину Power_lr_sc по формуле ,
где l - число, задающее чувствительность к краю объекта в изображении;
определяют направление края Dir_lr_sc объекта в изображении как угол относительно горизонтальной оси, под которым направлен собственный вектор с меньшим значением собственной величины четвертой корреляционной матрицы;
определяют величину Power_sc как максимальную из величин Power_hv_sc и Power_lr_sc;
определяют направление края Dir_sc объекта в изображении как Dir_lr_sc, если Power_hv_sc меньше Power_lr_sc и Dir_lr_sc находится в определенном диапазоне углов A_d_sc, иначе определяют, что Dir_sc равен Dir_hv_sc;
определяют величину Power_edge как максимальную из величин Power и Power sc;
определяют направление края Dir_edge объекта в изображении равным Dir, если Power меньше Power_sc, иначе определяют направление края Dir_edge равным Dir_sc;
определяют коэффициент w как функцию, квазилинейно зависящую от Power_edge;
определяют аппроксимированную интенсивность текущего пикселя по направлению Dir_edge как нормированную сумму следующих интенсивностей: интенсивностей пикселей, расположенных слева от текущего пикселя по направлению Dir_edge, начальной интенсивности текущего пикселя, умноженной на два, и интенсивностей пикселей, расположенных справа от текущего пикселя по направлению Dir_edge;
определяют итоговую интенсивность текущего пикселя как взвешенную сумму начальной интенсивности текущего пикселя с коэффициентом (1-w) с аппроксимированной интенсивностью текущего пикселя по направлению Dir_edge с коэффициентом w.

2. Способ по п.1, отличающийся тем, что определяют горизонтальный градиент вдоль горизонтальной линии первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: абсолютная величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области, абсолютная величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области, абсолютная величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области.

3. Способ по п.1, отличающийся тем, что определяют вертикальный градиент вдоль вертикальной линии первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: абсолютная величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного сверху от текущего пикселя первой области, абсолютная величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного снизу от текущего пикселя первой области, абсолютная величина разности между интенсивностью пикселя, расположенного сверху от текущего пикселя первой области и интенсивностью пикселя, расположенного снизу от текущего пикселя первой области.

4. Способ по п.1, отличающийся тем, что определяют праводиагональный градиент вдоль правой диагонали первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между значением интенсивности текущего пикселя первой области и значением интенсивности пикселя, расположенного слева от текущего пикселя первой области по правой диагонали, величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали, величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по правой диагонали.

5. Способ по п.1, отличающийся тем, что определяют леводиагональный градиент вдоль левой диагонали первой области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного слева от текущего пикселя первой области по левой диагонали, величина разности между интенсивностью текущего пикселя первой области и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали, величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя первой области, и интенсивностью пикселя, расположенного справа от текущего пикселя первой области по левой диагонали.

6. Способ по п.1, отличающийся тем, что определяют горизонтальный масштабированный градиент вдоль горизонтальной линии второй области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области, величина разности между интенсивностью пикселя, расположенного слева через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного справа через один пиксель от текущего пикселя второй области.

7. Способ по п.1, отличающийся тем, что определяют вертикальный масштабированный градиент вдоль вертикальной линии второй области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области, величина разности между интенсивностью пикселя, расположенного сверху через один пиксель от текущего пикселя второй области, и интенсивностью пикселя, расположенного снизу через один пиксель от текущего пикселя второй области.

8. Способ по п.1, отличающийся тем, что определяют праводиагональный масштабированный градиент вдоль правой диагонали второй области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя и интенсивностью пикселя, расположенного слева от текущего пикселя через один пиксель по правой диагонали второй области, величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя через один пиксель по правой диагонали второй области, величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивности пикселя, расположенного справа от текущего пикселя второй области через один пиксель по правой диагонали второй области.

9. Способ по п.1, отличающийся тем, что определяют леводиагональный масштабированный градиент вдоль левой диагонали второй области, в качестве которого выбирают максимальную абсолютную величину из следующего набора величин: величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель по левой диагонали второй области, величина разности между интенсивностью текущего пикселя второй области и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области, величина разности между интенсивностью пикселя, расположенного слева от текущего пикселя второй области через один пиксель, и интенсивностью пикселя, расположенного справа от текущего пикселя второй области через один пиксель по левой диагонали второй области.

10. Способ по п.1, отличающийся тем, что определяют аппроксимированную интенсивность текущего пикселя как взвешенную сумму интенсивностей, нормированную делением на четыре.

11. Способ по п.1, отличающийся тем, что диапазоны углов A_d_sc и A_d определяют экспериментальным путем.