СПОСОБ И УСТРОЙСТВО ДЛЯ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЯ Российский патент 2016 года по МПК G06T1/00 

Эта заявка основана на и по ней испрашивается приоритет согласно заявке на патент Китая № 201410187226.7, поданной 5 мая 2014 г., полное содержание которой включается в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее раскрытие относится, в общем, к области обработки изображений и, в частности, к способу и устройству сегментации изображения.

УРОВЕНЬ ТЕХНИКИ

В качестве основы анализа изображения, редактирования изображения, синтеза изображения и т.п. технология сегментации изображения может сегментировать передний план и задний план с изображения. Одним из важных предметов исследования в настоящее время является то, как быстро и автоматически сегментировать передний план и задний план с изображения.

В родственных способах сегментации изображения прежде всего принимаются пробная точка переднего плана и пробная точка заднего плана изображения, вручную выбранные пользователем; затем устанавливается вероятностная модель цвета переднего плана и заднего плана согласно пробной точке переднего плана, вручную выбранной пользователем; наконец, изображение сегментируется согласно вероятностной модели цвета переднего плана и заднего плана, таким образом, получая передний план и задний план после сегментации.

В процессе осуществления настоящего раскрытия обнаружено, что родственные технологии по меньшей мере имеют следующие недостатки: в стандартных способах сегментации изображения пользователю необходимо вручную и грубо выбрать пробную точку переднего плана и пробную точку заднего плана, таким образом, эффективность сегментации низка для сегментации большого количества изображений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее раскрытие обеспечивает способ и устройство сегментации изображения для решения той проблемы в родственных технологиях, что пользователю необходимо грубо и вручную выбрать пробную точку переднего плана и пробную точку заднего плана, и, таким образом, эффективность сегментации низка для сегментации большого количества изображений. Техническое решение является следующим:

Согласно первому аспекту вариантов осуществления настоящего раскрытия, обеспечен способ сегментации изображения, содержащий этапы, на которых:

устанавливается модель особенностей изображения;

пробная точка переднего плана и пробная точка заднего плана изображения получаются согласно модели особенностей;

модель классификации переднего плана и заднего плана устанавливается согласно модели особенностей, а также пробной точке переднего плана и пробной точке заднего плана; и

изображение сегментируется согласно предварительно определенному алгоритму разреза графа, и конкретным образом изображение сегментируется согласно предварительно определенному алгоритму разреза графа посредством модели классификации переднего плана и заднего плана и краевой информации, относящейся к пикселам.

Опционально, упомянутые пробная точка переднего плана и пробная точка заднего плана изображения получаются согласно модели особенностей, что содержит этапы, на которых:

значения особенностей пикселов на изображении вычисляются согласно модели особенностей;

значения особенностей пикселов нормализуются;

пикселы, нормализованные значения особенностей которых больше предварительно определенного порогового значения переднего плана, определяются в качестве пробной точки переднего плана; и

пикселы, нормализованные значения особенностей которых меньше предварительно определенного порогового значения заднего плана, определяются в качестве пробной точки заднего плана;

причем предварительно определенное пороговое значение переднего плана больше предварительно определенного порогового значения заднего плана, и нормализованные значения особенностей принадлежат к (0, 1).

Опционально, модель классификации переднего плана и заднего плана содержит модель классификации переднего плана и модель классификации заднего плана. И упомянутая модель классификации переднего плана и заднего плана устанавливается согласно модели особенностей, а также пробной точке переднего плана и пробной точке заднего плана, что содержит этапы, на которых:

вероятностная модель цвета переднего плана устанавливается согласно пробной точке переднего плана;

вероятностная модель цвета заднего плана устанавливается согласно пробной точке заднего плана;

модель классификации переднего плана получается путем умножения модели особенностей на вероятностную модель цвета переднего плана, и модель классификации переднего плана сконфигурирована для того, чтобы характеризовать пиксел в виде вероятности переднего плана;

модель классификации заднего плана получается путем умножения модели особенностей на вероятностную модель цвета заднего плана, и модель классификации заднего плана сконфигурирована для того, чтобы характеризовать пиксел в виде вероятности заднего плана.

Опционально, упомянутое изображение сегментируется согласно предварительно определенному алгоритму разреза графа, что содержит этапы, на которых:

подобие переднему плану каждого пиксела на изображении вычисляется посредством модели классификации переднего плана;

подобие заднему плану каждого пиксела на изображении вычисляется посредством модели классификации заднего плана;

получается подобие между смежными пикселами на изображении;

неориентированный граф, требуемый для предварительно определенного алгоритма разреза графа, строится посредством подобия переднему плану каждого пиксела, подобия заднему плану каждого пиксела и подобия между смежными пикселами; и

неориентированный граф сегментируется посредством предварительно определенного алгоритма разреза графа, таким образом, завершая сегментацию изображения.

Опционально, упомянутый неориентированный граф, требуемый для предварительно определенного алгоритма разреза графа, строится посредством подобия переднему плану каждого пиксела, подобия заднему плану каждого пиксела и подобия между смежными пикселами, что содержит этапы, на которых:

строится неориентированный граф, требуемый для предварительно определенного алгоритма разреза графа, причем неориентированный граф содержит первую границу между вершиной переднего плана, вершиной заднего плана, по меньшей мере одной пиксельной вершиной и двумя смежными пиксельными вершинами, вторую границу между пиксельной вершиной и вершиной заднего плана и третью границу между пиксельной вершиной и вершиной заднего плана, и пиксельные вершины в неориентированном графе соответствуют пикселам на изображении;

в отношении каждой второй границы подобие переднему плану пиксела, соответствующего пиксельной вершине, соединенной со второй границей, определяется в качестве весового значения второй границы;

в отношении каждой третьей границы подобие заднему плану пиксела, соответствующего пиксельной вершине, соединенной с третьей границей, определяется в качестве весового значения третьей границы; и

в отношении каждой первой границы подобие между двумя пикселами, соответствующими двум пиксельным вершинам, соединенным с первой границей, определяется в качестве весового значения первой границы.

Опционально, устанавливается упомянутая модель особенностей изображения, что содержит этапы, на которых:

пересегментация изображения выполняется посредством предварительно определенного алгоритма пересегментации, таким образом, получается по меньшей мере одна зона, и пикселы в одной и той же зоне имеют идентичные цветовые значения;

определяются цветовое значение и центр каждой из зон; и

модель особенностей устанавливается согласно цветовым значениям, соответствующим зонам и центрам зон.

Опционально, моделью особенностей является:

в которой, S_i1 - значение особенностей любого пиксела в зоне R_i, w(R_j) - количество пикселов в зоне R_j,

D_S(R_i,R_j) сконфигурировано для представления метрического значения разницы пространственной позиции между зоной R_i и зоной R_j, D_C(R_i,R_j) сконфигурировано для представления метрического значения разницы цвета между зоной R_i и зоной R_j, N - полное количество зон, полученных после пересегментации изображения, причем D_S(R_i,R_j) является: D_S(R_i,R_j)=exp(-(Центр(R_i)-Центр(R_j))²/σ_S ²),

Центр(R_i) - центр зоны R_i, Центр(R_j) - центр зоны R_j, когда все координаты пикселов на изображении нормализованы в [0,1], σ_S ²=0,4.

Опционально, устанавливается упомянутая модель особенностей изображения, что содержит этапы, на которых:

пикселы на изображении классифицируются согласно цветовым значениям пикселов, и пикселы с одним и тем же цветовым значением классифицируются в качестве одного и того же цветового типа; и

модель особенностей устанавливается согласно цветовому значению каждого цветового типа.

Опционально, моделью особенностей является:

в которой w(P_j) - количество пикселов в цветовом типе P_j, D_C(P_i,P_j) сконфигурировано для представления метрического значения разницы цвета между цветовым типом P_i и цветовым типом P_j.

Согласно второму аспекту вариантов осуществления настоящего раскрытия, обеспечено устройство сегментации изображения, содержащее:

первый модуль установления, сконфигурированный для установления модели особенностей изображения;

модуль получения пробы, сконфигурированный для получения пробной точки переднего плана и пробной точки заднего плана изображения согласно модели особенностей;

второй модуль установления, сконфигурированный для установления модели классификации переднего плана и заднего плана согласно модели особенностей, установленной первым модулем установления, а также пробной точке переднего плана и пробной точке заднего плана, полученным модулем получения пробы; и

модуль сегментации изображения, сконфигурированный для сегментации изображения согласно предварительно определенному алгоритму разреза графа, и конкретным образом изображение сегментируется согласно предварительно определенному алгоритму разреза графа посредством модели классификации переднего плана и заднего плана, установленной вторым модулем установления, и краевой информации, относящейся к пикселам.

Опционально, модуль получения пробы содержит:

первый блок вычисления, сконфигурированный для вычисления значений особенностей пикселов на изображении согласно модели особенностей;

блок нормализации, сконфигурированный для нормализации значений особенностей пикселов, вычисленных блоком вычисления;

первый блок определения, сконфигурированный для определения пикселов, значения особенностей которых, нормализованные блоком нормализации, больше предварительно определенного порогового значения переднего плана, в качестве пробной точки переднего плана; и

второй блок определения, сконфигурированный для определения пикселов, значения особенностей которых, нормализованные блоком нормализации, меньше предварительно определенного порогового значения заднего плана, в качестве пробной точки заднего плана;

причем предварительно определенное пороговое значение переднего плана больше предварительно определенного порогового значения заднего плана, и нормализованные значения особенностей принадлежат к (0, 1).

Опционально, модель классификации переднего плана и заднего плана содержит модель классификации переднего плана и модель классификации заднего плана, и второй модуль установления содержит:

первый блок установления, сконфигурированный для установления вероятностной модели цвета переднего плана согласно пробной точке переднего плана;

второй блок установления, сконфигурированный для установления вероятностной модели цвета заднего плана согласно пробной точке заднего плана;

первый блок умножения, сконфигурированный для умножения модели особенностей, установленной первым модулем установления, на вероятностную модель цвета переднего плана, установленную первым блоком установления, таким образом, получая модель классификации переднего плана, которая сконфигурирована для того, чтобы характеризовать пиксел в виде вероятности переднего плана; и

второй блок умножения, сконфигурированный для умножения модели особенностей, установленной первым модулем установления, на вероятностную модель цвета заднего плана, установленную вторым блоком установления, таким образом, получая модель классификации заднего плана, которая сконфигурирована для того, чтобы характеризовать пиксел в виде вероятности заднего плана.

Опционально, модуль сегментации изображения содержит:

второй блок вычисления, сконфигурированный для вычисления подобия переднему плану каждого пиксела на изображении посредством модели классификации переднего плана;

третий блок вычисления, сконфигурированный для вычисления подобия заднему плану каждого пиксела на изображении посредством модели классификации заднего плана;

блок получения, сконфигурированный для получения подобия между смежными пикселами на изображении;

блок построения, сконфигурированный для построения неориентированного графа, требуемого для предварительно определенного алгоритма разреза графа, посредством подобия переднему плану каждого пиксела, подобия заднему плану каждого пиксела и подобия между смежными пикселами; и

первый блок сегментации, сконфигурированный для сегментации неориентированного графа посредством предварительно определенного алгоритма разреза графа, таким образом, завершая сегментацию изображения.

Опционально, блок построения содержит:

подблок построения, сконфигурированный для построения неориентированного графа, требуемого для предварительно определенного алгоритма разреза графа, причем неориентированный граф содержит первую границу между вершиной переднего плана, вершиной заднего плана, по меньшей мере одной пиксельной вершиной и двумя смежными пиксельными вершинами, вторую границу между пиксельной вершиной и вершиной заднего плана и третью границу между пиксельной вершиной и вершиной заднего плана, и пиксельные вершины в неориентированном графе соответствуют пикселам на изображении;

первый подблок определения, сконфигурированный для того, чтобы, в отношении каждой второй границы, определять подобие переднему плану пиксела, соответствующего пиксельной вершине, соединенной со второй границей, в качестве весового значения второй границы;

второй подблок определения, сконфигурированный для того, чтобы, в отношении каждой третьей границы, определять подобие заднему плану пиксела, соответствующего пиксельной вершине, соединенной с третьей границей, в качестве весового значения третьей границы; и

третий подблок определения, сконфигурированный для того, чтобы, в отношении каждой первой границы, определять подобие между двумя пикселами, соответствующими двум пиксельным вершинам, соединенным с первой границей, в качестве весового значения первой границы.

Опционально, первый модуль построения содержит:

второй блок сегментации, сконфигурированный для проведения пересегментации изображения посредством предварительно определенного алгоритма пересегментации, таким образом, получая по меньшей мере одну зону, и пикселы в одной и той же зоне имеют идентичные цветовые значения;

четвертый блок определения, сконфигурированный для определения цветового значения и центра каждой из зон; и

третий блок установления, сконфигурированный для установления модели особенностей согласно цветовым значениям, соответствующим зонам и центрам зон.

Опционально, моделью особенностей является:

в которой, S_i1 - значение особенностей любого пиксела в зоне R_i, w(R_j) - количество пикселов в зоне R_j,

D_S(R_i,R_j) сконфигурировано для представления метрического значения разницы пространственной позиции между зоной R_i и зоной R_j, D_C(R_i,R_j) сконфигурировано для представления метрического значения разницы цвета между зоной R_i и зоной R_j, N - полное количество зон, полученных после пересегментации изображения, D_S(R_i,R_j)=exp(-(Центр(R_i)-Центр(R_j))²/σ_S ²),

Центр(R_i) - центр зоны R_i, Центр(R_j) - центр зоны R_j, когда все координаты пикселов на изображении нормализованы в [0,1], σ_S ²=0,4.

Опционально, первый модуль установления содержит:

блок классификации, сконфигурированный для классификации пикселов на изображении согласно цветовым значениям пикселов, и пикселы с одним и тем же цветовым значением классифицируются в качестве одного и того же цветового типа; и

четвертый блок установления, сконфигурированный для установления модели особенностей согласно цветовому значению каждого цветового типа.

Опционально, моделью особенностей является:

в которой w(P_j) - количество пикселов в цветовом типе P_j, D_C(P_i,P_j) сконфигурировано для представления метрического значения разницы цвета между цветовым типом P_i и цветовым типом P_j.

Согласно третьему аспекту вариантов осуществления настоящего раскрытия, обеспечено устройство сегментации изображения, содержащее:

процессор;

память, сконфигурированную для сохранения инструкций, исполняемых процессором;

причем процессор сконфигурирован для того, чтобы:

установить модель особенностей изображения;

получить пробную точку переднего плана и пробную точку заднего плана изображения согласно модели особенностей;

установить модель классификации переднего плана и заднего плана согласно модели особенностей, а также пробной точке переднего плана и пробной точке заднего плана; и

сегментировать изображение согласно предварительно определенному алгоритму разреза графа, и конкретным образом изображение сегментируется согласно предварительно определенному алгоритму разреза графа посредством модели классификации переднего плана и заднего плана и краевой информации, относящейся к пикселам.

Техническое решение согласно вариантам осуществления настоящего раскрытия может иметь следующие положительные эффекты:

Модель классификации переднего плана и заднего плана устанавливается путем автоматического определения пробной точки переднего плана и пробной точки заднего плана и путем комбинирования модели особенностей, а также пробной точки переднего плана и пробной точки заднего плана, и сегментация изображения достигается посредством модели классификации переднего плана и заднего плана; решается та проблема в родственных технологиях, что пользователю необходимо вручную и грубо выбрать пробную точку переднего плана и пробную точку заднего плана, и, таким образом, эффективность сегментации низка для сегментации большого количества изображений; осуществляется автоматический выбор проб, и улучшается точность классификации, поскольку она доступна для автоматического получения пробной точки переднего плана, и автоматическая пробная точка и трансцендентная модель особенностей комбинируются для установления модели классификации переднего плана и заднего плана.

Следует понимать, что и вышеприведенное общее описание, и последующее подробное описание являются только примерными и пояснительными и не ограничивают раскрытие.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Сопроводительные чертежи, которые включены в и составляют часть этого технического описания, иллюстрируют варианты осуществления, соответствующие изобретению, и вместе с описанием служат для объяснения принципов изобретения.

Фиг. 1 изображает блок-схему, показывающую способ сегментации изображения согласно примерному варианту осуществления.

Фиг. 2A изображает блок-схему, показывающую способ сегментации изображения согласно другому примерному варианту осуществления.

Фиг. 2В изображает блок-схему, показывающую, как установить модель особенностей изображения согласно примерному варианту осуществления.

Фиг. 2C изображает блок-схему, показывающую, как установить модель особенностей изображения согласно другому примерному варианту осуществления.

Фиг. 2D изображает блок-схему, показывающую, как построить неориентированный граф согласно примерному варианту осуществления.

Фиг. 2Е изображает схематичное представление, показывающее неориентированный граф согласно примерному варианту осуществления.

Фиг. 3 изображает структурную схему устройства сегментации изображения согласно примерному варианту осуществления.

Фиг. 4 изображает структурную схему устройства сегментации изображения согласно другому примерному варианту осуществления.

Фиг. 5 изображает структурную схему устройства сегментации изображения согласно дополнительному примерному варианту осуществления.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Далее будут подробно описаны примерные варианты осуществления, примеры которых иллюстрируются на сопроводительных чертежах. Последующее описание ссылается на сопроводительные чертежи, на которых одни и те же номера на различных чертежах представляют одни и те же или подобные элементы, если не указано обратное. Осуществления, изложенные в последующем описании примерных вариантов осуществления, не представляют всех осуществлений, согласующихся с изобретением. Вместо этого они являются всего лишь примерами устройств и способов, согласующихся с аспектами, относящимися к изобретению, перечисленными в прилагаемой формуле изобретения.

Электронным оборудованием здесь может быть интеллектуальный мобильный телефон, планшетный компьютер, интеллектуальный телевизор, устройство для чтения электронных книг, проигрыватель MP3 (аудиослой экспертной группы по движущемуся изображению III), проигрыватель MP4 (аудиослой экспертной группы по движущемуся изображению IV), компьютер-ноутбук, настольный компьютер и т. п.

Фиг. 1 изображает блок-схему, показывающую способ сегментации изображения согласно примерному варианту осуществления, как показано на фиг. 1, способ сегментации изображения применяется к электронному оборудованию и содержит следующие этапы:

На этапе 101 устанавливается модель особенностей изображения.

На этапе 102 пробная точка переднего плана и пробная точка заднего плана изображения получаются согласно модели особенностей.

На этапе 103 модель классификации переднего плана и заднего плана устанавливается согласно модели особенностей, а также пробной точке переднего плана и пробной точке заднего плана.

На этапе 104 изображение сегментируется согласно предварительно определенному алгоритму разреза графа, и конкретным образом изображение сегментируется согласно предварительно определенному алгоритму разреза графа посредством модели классификации переднего плана и заднего плана и краевой информации, относящейся к пикселам.

В завершение, в способе сегментации изображения согласно вариантам осуществления настоящего раскрытия модель классификации переднего плана и заднего плана устанавливается путем автоматического определения пробной точки переднего плана и пробной точки заднего плана и путем комбинирования модели особенностей и пробной точки переднего плана и пробной точки заднего плана, и сегментация изображения достигается посредством модели классификации переднего плана и заднего плана; решается та проблема в родственных технологиях, что пользователю необходимо вручную и грубо выбрать пробную точку переднего плана и пробную точку заднего плана, и, таким образом, эффективность сегментации низка для сегментации большого количества изображений; осуществляется автоматический выбор проб, и улучшается точность классификации, поскольку она доступна для автоматического получения пробной точки переднего плана, и автоматическая пробная точка и трансцендентная модель особенностей комбинируется для установления модели классификации переднего плана и заднего плана.

Фиг. 2A изображает блок-схему, показывающую способ сегментации изображения согласно другому примерному варианту осуществления, как показано на фиг. 2A, способ сегментации изображения применяется к электронному оборудованию и содержит следующие этапы:

На этапе 201 устанавливается модель особенностей изображения.

В практическом применении модель особенностей изображения может быть установлена множеством различных способов, в частности, следующим образом:

В первом способе, со ссылкой на фиг. 2В, блок-схема, показывающая, как установить модель особенностей изображения согласно примерному варианту осуществления, содержит:

На подэтапе 201a пересегментация изображения проводится посредством предварительно определенного алгоритма пересегментации, таким образом, получая по меньшей мере одну зону, и пикселы в одной и той же зоне имеют идентичные цветовые значения.

Пересегментация изображения означает сегментацию изображения на различные зоны, и пикселы в каждой из зон имеют одну и ту же или подобную характеристику, например, пикселы в конкретной зоне после пересегментации имеют одно и то же или приблизительное цветовое значение.

Алгоритм пересегментации, который задействуется здесь, является алгоритмом пересегментации на основе сдвига среднего. В практическом применении другие алгоритмы пересегментации могут быть использованы, такие как алгоритм пересегментации на основе "водораздела" и алгоритм пересегментации на основе ультрапиксельного выделения кластеров и т.д. Вариант осуществления не накладывает ограничений на алгоритмы пересегментации.

На подэтапе 201b определяются цветовое значение и центр каждой из зон;

Поскольку пикселы в зоне после пересегментации имеют одно и то же цветовое значение, существует возможность определить цветовое значение зоны, и центр зоны также может быть вычислен.

На подэтапе 201c модель особенностей устанавливается согласно цветовым значениям, соответствующим зонам и центрам зон.

Моделью особенностей, установленной согласно подэтапам 201a-201с, может быть:

в которой S_i1 - значение особенностей любого пиксела в зоне R_i, w(R_j) - количество пикселов в зоне R_j,

D_S(R_i,R_j) сконфигурировано для представления метрического значения разницы пространственной позиции между зоной R_i и зоной R_j, D_C(R_i,R_j) сконфигурировано для представления метрического значения разницы цвета между зоной R_i и зоной R_j,

N - полное количество зон, полученных после пересегментации изображения,

причем D_S(R_i,R_j) является: D_S(R_i,R_j)=exp(-(Центр(R_i)-Центр(R_j))²/σ_S ²)

Центр(R_i) - центр зоны R_i, Центр(R_j) - центр зоны R_j, когда все координаты пикселов на изображении нормализованы в [0,1], σ_S ²=0,4.

D_C(R_i,R_j) может быть представлено как евклидово расстояние между средним цветовым значением зоны R_i и средним цветовым значением зоны R_j. Среднее цветовое значение зоны получается путем деления суммы цветовых значений пикселов в зоне на полное количество пикселов в зоне. В идеальных условиях цветовые значения различных пикселов в зоне одни и те же, при этих условиях цветовым значением зоны является цветовое значение одного пиксела в ней. Однако в практическом применении цветовые значения различных пикселов в одной и той же зоне не совсем одни и те же. Обычно цветовые значения различных пикселов довольно приблизительны, при этих условиях среднее цветовое значение зоны получается путем деления суммы цветовых значений пикселов в зоне на полное количество пикселов в зоне.

Из композиции модели особенностей может быть известно, что модель особенностей может быть сконфигурирована для того, чтобы характеризовать, что значения особенностей пикселов в каждой из зон могут подвергаться влиянию других зон на изображении.

Во втором способе, со ссылкой на фиг. 2С, обеспечена блок-схема, показывающая, как установить модель особенностей изображения согласно другому примерному варианту осуществления, содержащая:

На подэтапе 201d пикселы на изображении классифицируются согласно цветовым значениям пикселов, и пикселы с одним и тем же цветовым значением классифицируются как один и тот же цветовой тип.

В практическом применении может быть установлено место хранения (например, очередь хранения или стек хранения и т. п.), соответствующее цветовому значению и сконфигурированное для хранения пикселов, количество мест хранения может быть 256*256*256, пикселы на изображении считываются успешно, и пикселы сохраняются в месте хранения, соответствующем цветовым значениям пикселов, таким образом, цветовые значения пикселов, сохраненные в каждом из мест хранения, одни и те же.

После того, как пикселы на изображении считываются, проводится статистика количества пикселов, сохраненных в каждом из мест хранения.

На подэтапе 201е модель особенностей устанавливается согласно цветовому значению каждого цветового типа.

Моделью особенностей, установленной согласно цветовому значению каждого цветового типа, является:

в которой w(P_j) - количество пикселов в цветовом типе P_j, D_C(P_i,P_j) сконфигурировано для представления метрического значения разницы цвета между цветовым типом P_i и цветовым типом P_j.

Следует пояснить, что в практическом применении после того, как пикселы на изображении классифицируются согласно подэтапу 201d, количество пикселов, соответствующих одному и тому же цветовому типу, может быть очень малым, цвет этих пикселов не имеет большого влияния на значения особенностей цвета других пикселов. Таким образом, в возможном осуществлении для того, чтобы уменьшить вычисленное количество, цветовые типы с большим количеством пикселов могут быть выбраны для установления модели особенностей.

На этапе 202 значения особенностей пикселов на изображении вычисляются согласно модели особенностей.

На этапе 203 значения особенностей пикселов нормализуются.

Обычно значения особенностей пикселов нормализованы в (0, 1).

На этапе 204 пикселы, нормализованные значения особенностей которых больше предварительно определенного порогового значения переднего плана, определяются в качестве пробной точки переднего плана.

Предварительно определенное пороговое значение переднего плана может быть установлено согласно фактической ситуации, когда значения особенностей пикселов нормализованы в (0, 1), например, предварительно определенное пороговое значение переднего плана может быть установлено как 0,8.

На этапе 205 пикселы, нормализованные значения особенностей которых меньше предварительно определенного порогового значения заднего плана, определяются в качестве пробной точки заднего плана.

Предварительно определенное пороговое значение переднего плана может быть установлено согласно фактической ситуации, когда значения особенностей пикселов нормализованы в (0, 1), например, предварительно определенное пороговое значение переднего плана может быть установлено как 0,25.

Обычно предварительно определенное пороговое значение переднего плана больше предварительно определенного порогового значения заднего плана.

Таким образом, пробная точка переднего плана и пробная точка заднего плана могут автоматически быть определены согласно установленной модели особенностей.

На этапе 206 вероятностная модель цвета переднего плана устанавливается согласно пробной точке переднего плана.

В практическом применении существует множество способов установления вероятностной модели цвета, например, вероятностная модель цвета может быть установлена посредством математического моделирования на основе статистики гистограммы или посредством модели гауссовых смесей. Если пробная точка для установления вероятностной модели цвета является пробной точкой переднего плана, полученная вероятностная модель цвета определяется как вероятностная модель цвета переднего плана.

На этапе 207 вероятностная модель цвета заднего плана установлена согласно пробной точке заднего плана.

Подобным образом, вероятностная модель цвета может быть установлена посредством математического моделирования на основе статистики гистограммы или посредством модели гауссовых смесей. Если пробная точка для установления вероятностной модели цвета является пробной точкой заднего плана, полученная вероятностная модель цвета определяется как вероятностная модель цвета заднего плана.

На этапе 208 модель классификации переднего плана получается путем умножения модели особенностей на вероятностную модель цвета переднего плана, и модель классификации переднего плана сконфигурирована для того, чтобы характеризовать пиксел в виде вероятности переднего плана.

Для того, чтобы улучшить точность в сегментации переднего плана изображения, модель классификации переднего плана может быть получена путем комбинации трансцендентной модели особенностей и улучшенной вероятностной модели цвета переднего плана, например, модель классификации переднего плана может быть получена путем умножения модели особенностей на вероятностную модель цвета переднего плана.

На этапе 209 модель классификации заднего плана получается путем умножения модели особенностей на вероятностную модель цвета заднего плана, и модель классификации заднего плана сконфигурирована для того, чтобы характеризовать пиксел в качестве вероятности заднего плана.

Подобным образом, для того, чтобы улучшить точность в сегментации заднего плана изображения, модель классификации заднего плана может быть получена путем комбинации трансцендентной модели особенностей и улучшенной вероятностной модели цвета заднего плана, например, модель классификации заднего плана может быть получена путем умножения модели особенностей на вероятностную модель цвета заднего плана.

На этапе 210 подобие переднему плану каждого пиксела на изображении вычисляется посредством модели классификации переднего плана.

Поскольку модель классификации переднего плана используется для того, чтобы характеризовать пиксел в виде вероятности переднего плана (т.е. подобия между пикселом и передним планом), модель классификации переднего плана может непосредственно использоваться для вычисления подобия переднему плану каждого пиксела на изображении.

На этапе 211 подобие заднему плану каждого пиксела на изображении вычисляется посредством модели классификации заднего плана.

Подобным образом, поскольку модель классификации заднего плана сконфигурирована для того, чтобы характеризовать пиксел в качестве вероятности заднего плана (т.е. подобия между пикселом и задним планом), модель классификации заднего плана может быть непосредственно сконфигурирована для вычисления подобия заднему плану каждого пиксела на изображении.

На этапе 212 получается подобие между смежными пикселами на изображении.

На этапе 213 неориентированный граф, требуемый для предварительно определенного алгоритма разреза графа, строится посредством подобия переднему плану каждого пиксела, подобия заднему плану каждого пиксела и подобия между смежными пикселами.

На фиг. 2D изображена блок-схема для построения неориентированного графа согласно примерному варианту осуществления, причем неориентированный граф, требуемый для предварительно определенного алгоритма разреза графа, строится посредством подобия переднему плану каждого пиксела, подобия заднему плану каждого пиксела и подобия между смежными пикселами, содержащая:

На подэтапе 213a строится неориентированный граф, требуемый для предварительно определенного алгоритма разреза графа, причем неориентированный граф содержит первую границу между вершиной переднего плана, вершиной заднего плана, по меньшей мере одной пиксельной вершиной и двумя смежными пиксельными вершинами, вторую границу между пиксельной вершиной и вершиной заднего плана и третью границу между пиксельной вершиной и вершиной заднего плана, и пиксельные вершины в неориентированном графе соответствуют пикселам на изображении.

Пиксельные вершины в неориентированном графе получаются путем отображения в пикселы на изображении, т.е. количество пикселов на изображении равно количеству пиксельных вершин в построенном неориентированном графе, причем каждый пиксел соответствует пиксельной вершине, и каждая пиксельная вершина соответствует пикселу.

На фиг. 2E изображено схематичное представление, показывающее неориентированный граф согласно примерному варианту осуществления, причем неориентированный граф содержит пиксельные вершины, которые соответствуют пикселам на изображении, в целях упрощения здесь показаны только девять пиксельных вершин. Неориентированный граф также содержит вершину переднего плана S и вершину заднего плана T, причем первая граница s1 сформирована путем соединения пиксельных вершин, вторая граница s2 сформирована путем соединения вершины переднего плана S с любой пиксельной вершиной, и третья граница s3 сформирована путем соединения вершины заднего плана Т с любой пиксельной вершиной.

На подэтапе 213b в отношении каждой второй границы подобие переднему плану пиксела, соответствующего пиксельной вершине, соединенной со второй границей, определяется в качестве весового значения второй границы.

Например, в отношении выбранной пиксельной вершины, пиксел, соответствующий пиксельной вершине, может быть определен, и подобие переднему плану пиксела понимается как весовое значение второй границы между пиксельной вершиной и вершиной переднего плана.

На подэтапе 213с, в отношении каждой третьей границы, подобие заднему плану пиксела, соответствующего пиксельной вершине, соединенной с третьей границей, определяется в качестве весового значения третьей границы.

Например, в отношении выбранной пиксельной вершины, пиксел, соответствующий пиксельной вершине, может быть определен, и подобие заднему плану пиксела понимается как весовое значение третьей границы между пиксельной вершиной и вершиной заднего плана.

На подэтапе 213d, в отношении каждой первой границы, подобие между двумя пикселами, соответствующими двум пиксельным вершинам, соединенным с первой границей, определяется в качестве весового значения первой границы.

На этапе 214 неориентированный граф сегментируется посредством предварительно определенного алгоритма разреза графа, таким образом, завершая сегментацию изображения.

Предварительно определенным алгоритмом разреза графа может быть алгоритм разреза графа, который сконфигурирован для сегментации изображения посредством вышеупомянутого неориентированного графа, построенного на этапе 213. Является достижимым для специалистов в данной области техники сегментировать неориентированный граф посредством алгоритма разреза графа, не поясняемого здесь.

В завершение, в способе сегментации изображения согласно вариантам осуществления настоящего раскрытия модель классификации переднего плана и заднего плана устанавливается путем автоматического определения пробной точки переднего плана и пробной точки заднего плана и путем комбинирования модели особенностей и пробной точки переднего плана и пробной точки заднего плана, и сегментация изображения достигается посредством модели классификации переднего плана и заднего плана; решается та проблема в родственных технологиях, что пользователю необходимо вручную и грубо выбрать пробную точку переднего плана и пробную точку заднего плана, и, таким образом, эффективность сегментации низка для сегментации большого количества изображений; осуществляется автоматический выбор проб, и улучшается точность классификации, поскольку она доступна для автоматического получения пробной точки переднего плана, и автоматическая пробная точка и трансцендентная модель особенностей комбинируется для установления модели классификации переднего плана и заднего плана.

Далее представлен вариант осуществления устройства в настоящем раскрытии, который может быть сконфигурирован для исполнения варианта осуществления способа в настоящем раскрытии. Просим ознакомиться с вариантом осуществления способа в настоящем раскрытии в отношении нераскрытых подробностей о варианте осуществления устройства в настоящем раскрытии.

Фиг. 3 изображает структурную схему, показывающую устройство сегментации изображения согласно примерному варианту осуществления, как показано на фиг. 3, причем устройство сегментации изображения применяется к электронному оборудованию, включающему в себя, но не ограниченному: первый модуль 302 установления, модуль 304 получения пробы, второй модуль 306 установления и модуль 308 сегментации изображения.

Первый модуль 302 установления сконфигурирован для установления модели особенностей изображения.

Модуль 304 получения пробы сконфигурирован для получения пробной точки переднего плана и пробной точки заднего плана изображения согласно модели особенностей.

Второй модуль 306 установления сконфигурирован для установления модели классификации переднего плана и заднего плана согласно модели особенностей, установленной первым модулем установления, а также пробной точке переднего плана и пробной точке заднего плана, полученным модулем получения пробы.

Модуль 308 сегментации изображения сконфигурирован для сегментации изображения согласно предварительно определенному алгоритму разреза графа, и конкретным образом изображение сегментируется согласно предварительно определенному алгоритму разреза графа посредством модели классификации переднего плана и заднего плана, установленной вторым модулем установления, и краевой информации, относящейся к пикселам.

В завершение, в устройстве сегментации изображения согласно вариантам осуществления настоящего раскрытия модель классификации переднего плана и заднего плана устанавливается путем автоматического определения пробной точки переднего плана и пробной точки заднего плана и путем комбинирования модели особенностей, и сегментация изображения достигается посредством модели классификации переднего плана и заднего плана; решается та проблема в родственных технологиях, что пользователю необходимо вручную и грубо выбрать пробную точку переднего плана и пробную точку заднего плана, и, таким образом, эффективность сегментации низка для сегментации большого количества изображений; осуществляется автоматический выбор проб, и улучшается точность классификации, поскольку она доступна для автоматического получения пробной точки переднего плана, и автоматическая пробная точка и трансцендентная модель особенностей комбинируется для установления модели классификации переднего плана и заднего плана.

Фиг. 4 изображает структурную схему, показывающую устройство сегментации изображения согласно другому примерному варианту осуществления, как показано на фиг. 4, причем устройство сегментации изображения применяется к электронному оборудованию, включающему в себя, но не ограниченному: первый модуль 402 установления, модуль 404 получения пробы, второй модуль 406 установления и модуль 408 сегментации изображения.

Первый модуль 402 установления сконфигурирован для установления модели особенностей изображения.

Модуль 404 получения пробы сконфигурирован для получения пробной точки переднего плана и пробной точки заднего плана изображения согласно модели особенностей.

Второй модуль 406 установления сконфигурирован для установления модели классификации переднего плана и заднего плана согласно модели особенностей, установленной первым модулем 402 установления, а также пробной точке переднего плана и пробной точке заднего плана, полученной модулем 404 получения пробы.

Модуль 408 сегментации изображения сконфигурирован для сегментации изображения согласно предварительно определенному алгоритму разреза графа, и конкретным образом изображение сегментируется согласно предварительно определенному алгоритму разреза графа посредством модели классификации переднего плана и заднего плана, установленной вторым модулем 406 установления, и краевой информации, относящейся к пикселам.

В первом возможном осуществлении в одном варианте осуществления, как показано на фиг. 4, модуль 404 получения пробы может содержать: первый блок 404a вычисления, блок 404b нормализации, первый блок 404с определения и второй блок 404d определения.

Первый блок 404a вычисления сконфигурирован для вычисления значений особенностей пикселов на изображении согласно модели особенностей.

Блок 404b нормализации сконфигурирован для нормализации значений особенностей пикселов, вычисленных первым блоком 404a вычисления.

Первый блок 404с определения сконфигурирован для определения пикселов, значения особенностей которых, нормализованные блоком 404b нормализации, больше предварительно определенного порогового значения переднего плана, в качестве пробной точки переднего плана.

Второй блок 404d определения сконфигурирован для определения пикселов, значения особенностей которых, нормализованные блоком 404b нормализации, меньше предварительно определенного порогового значения заднего плана, в качестве пробной точки заднего плана.

Причем предварительно определенное пороговое значение переднего плана больше предварительно определенного порогового значения заднего плана, и нормализованные значения особенностей принадлежат к (0, 1).

Во втором возможном осуществлении в одном варианте осуществления, как показано на фиг. 4, модель классификации переднего плана и заднего плана содержит модель классификации переднего плана и модель классификации заднего плана, и второй модуль установления 406 может содержать: первый блок 406a установления, второй блок 406b установления, первый блок 406с умножения и второй блок 406d умножения.

Первый блок 406a установления сконфигурирован для установления вероятностной модели цвета переднего плана согласно пробной точке переднего плана.

Второй блок 406b установления сконфигурирован для установления вероятностной модели цвета заднего плана согласно пробной точке заднего плана.

Первый блок 406с умножения сконфигурирован для умножения модели особенностей, установленной первым модулем 402 установления, на вероятностную модель цвета переднего плана, установленную первым блоком 406a установления, таким образом, получая модель классификации переднего плана, которая сконфигурирована для того, чтобы характеризовать пиксел в качестве вероятности переднего плана.

Второй блок 406d умножения сконфигурирован для умножения модели особенностей, установленной первым модулем 402 установления, на вероятностную модель цвета заднего плана, установленную вторым блоком 406b установления, таким образом, получая модель классификации заднего плана, которая сконфигурирована для того, чтобы характеризовать пиксел в качестве вероятности заднего плана.

В третьем возможном осуществлении в одном варианте осуществления, как показано на фиг. 4, модуль 408 сегментации изображения может содержать: второй блок 408a вычисления, третий блок 408b вычисления, блок 408с получения, блок 408d построения и первый блок 408е сегментации.

Второй блок 408a вычисления сконфигурирован для вычисления подобия переднему плану каждого пиксела на изображении посредством модели классификации переднего плана.

Третий блок 408b вычисления сконфигурирован для вычисления подобия заднему плану каждого пиксела на изображении посредством модели классификации заднего плана.

Блок 408с получения сконфигурирован для получения подобия между смежными пикселами на изображении.

Блок 408d построения сконфигурирован для построения неориентированного графа, требуемого для предварительно определенного алгоритма разреза графа, посредством подобия переднему плану каждого пиксела, подобия заднему плану каждого пиксела и подобия между смежными пикселами.

Первый блок 408е сегментации сконфигурирован для сегментации неориентированного графа посредством предварительно определенного алгоритма разреза графа, таким образом, завершая сегментацию изображения.

В четвертом возможном осуществлении в одном варианте осуществления, как показано на фиг. 4, блок 408d построения может содержать: подблок 408d построения, первый подблок 408d2 определения, второй подблок 408d3 определения и третий подблок 408d4 определения.

Подблок 408d1 построения сконфигурирован для построения неориентированного графа, требуемого для предварительно определенного алгоритма разреза графа, причем неориентированный граф содержит первую границу между вершиной переднего плана, вершиной заднего плана, по меньшей мере одной пиксельной вершиной и двумя смежными пиксельными вершинами, вторую границу между пиксельной вершиной и вершиной заднего плана и третью границу между пиксельной вершиной и вершиной заднего плана, и пиксельные вершины в неориентированном графе соответствуют пикселам на изображении.

Первый подблок 408d2 определения сконфигурирован для того, чтобы, в отношении каждой второй границы, определять подобие переднему плану пиксела, соответствующего пиксельной вершине, соединенной со второй границей, в качестве весового значения второй границы.

Второй подблок 408d3 определения сконфигурирован для того, чтобы, в отношении каждой третьей границы, определять подобие заднему плану пиксела, соответствующего пиксельной вершине, соединенной с третьей границей, в качестве весового значения третьей границы.

Третий подблок 408d4 определения сконфигурирован для того, чтобы, в отношении каждой первой границы, определять подобие между двумя пикселами, соответствующими двум пиксельным вершинам, соединенным с первой границей, в качестве весового значения первой границы.

В пятом возможном осуществлении в одном варианте осуществления, как показано на фиг. 4, первый модуль 402 установления может содержать: второй блок 402a сегментации, четвертый блок 402b определения и третий блок 402с установления.

Второй блок 402a сегментации сконфигурирован для проведения пересегментации изображения посредством предварительно определенного алгоритма пересегментации, таким образом, получая по меньшей мере одну зону, и пикселы в одной и той же зоне имеют идентичные цветовые значения.

Четвертый блок 402b определения сконфигурирован для определения цветового значения и центра каждой из зон.

Третий блок 402с установления сконфигурирован для установления модели особенностей согласно цветовым значениям, соответствующим зонам и центрам зон.

В шестом возможном осуществлении в одном варианте осуществления, как показано на фиг. 4, моделью особенностей является:

в которой S_i1 - значение особенностей любого пиксела в зоне R_i, w(R_j) - количество пикселов в зоне R_j,

D_S(R_i,R_j) сконфигурировано для представления метрического значения разницы пространственной позиции между зоной R_i и зоной R_j, D_C(R_i,R_j) сконфигурировано для представления метрического значения разницы цвета между зоной R_i и зоной R_j, N - полное количество зон, полученных после пересегментации изображения,

причем D_S(R_i,R_j) является: D_S(R_i,R_j)=exp(-(Центр(R_i)-Центр(R_j))²/σ_S ²)

Центр(R_i) - центр зоны R_i, Центр(R_j) - центр зоны R_j, когда все координаты пикселов на изображении нормализованы в [0,1], σ_S ²=0,4.

В седьмом возможном осуществлении в одном варианте осуществления, как показано на фиг. 4, первый модуль установления 402 может содержать: блок 402d классификации и четвертый блок 402е установления.

Блок 402d классификации сконфигурирован для классификации пикселов на изображении согласно цветовым значениям пикселов, и пикселы с одним и тем же цветовым значением классифицируются в качестве одного и того же цветового типа.

Четвертый блок 402е установления сконфигурирован для установления модели особенностей согласно цветовому значению каждого цветового типа.

В восьмом возможном осуществлении в одном варианте осуществления, как показано на фиг. 4, моделью особенностей является:

в которой w(P_j) - количество пикселов в цветовом типе P_j, D_C(P_i,P_j) сконфигурировано для представления метрического значения разницы цвета между цветовым типом P_i и цветовым типом P_j.

В завершение, в способе сегментации изображения согласно вариантам осуществления настоящего раскрытия модель классификации переднего плана и заднего плана устанавливается путем автоматического определения пробной точки переднего плана и пробной точки заднего плана и путем комбинирования модели особенностей, и сегментация изображения достигается посредством модели классификации переднего плана и заднего плана; решается та проблема в родственных технологиях, что пользователю необходимо вручную и грубо выбрать пробную точку переднего плана и пробную точку заднего плана, и, таким образом, эффективность сегментации низка для сегментации большого количества изображений; осуществляется автоматический выбор проб, и улучшается точность классификации, поскольку она доступна для автоматического получения пробной точки переднего плана, и автоматическая пробная точка и трансцендентная модель особенностей комбинируется для установления модели классификации переднего плана и заднего плана.

В отношении устройства в вышеупомянутом варианте осуществления, подробное описание конкретных осуществлений для исполнения операции модулей было выполнено в варианте осуществления способа, никакие подробные иллюстрации здесь выполняться не будут.

Фиг. 5 изображает структурную схему устройства 500 сегментации изображения согласно примерному варианту осуществления. Например, устройством 500 может быть мобильный телефон, компьютер, терминал цифрового широкого вещания, устройство приема/передачи сообщений, игровая приставка, планшетное устройство, медицинское устройство, тренажерная установка, PDA ("электронный помощник") и т. п.

Со ссылкой на фиг. 5, устройство 500 может содержать один или множество из следующих компонентов: процессорный компонент 502, память 504, компонент 506 источника питания, мультимедиа-компонент 508, аудиокомпонент 510, интерфейс 512 ввода-вывода (I/O), компонент 514 датчиков и компонент 516 связи.

Процессорный компонент 502 обычно управляет общей операцией устройства 500, например отображением, телефонным вызовом, передачей данных и операцией, ассоциированной с операцией камеры и операцией записи. Процессорный компонент 502 может содержать один или множество процессоров 518 для исполнения инструкций для выполнения этапов вышеописанного способа частично или полностью. Дополнительно, процессорный компонент 502 может содержать один или множество модулей для удобства взаимодействия между процессорным компонентом 502 и другими компонентами. Например, процессорный компонент 502 может содержать мультимедиа-компонент для удобства взаимодействия между мультимедиа-компонентом 508 и процессорным компонентом 502.

Память 504 сконфигурирована для сохранения данных различных типов для поддержки операции устройства 500. Примеры данных включают в себя любую прикладную программу или директиву подхода для операции устройства 500, включая контактные данные, данные телефонной книги, сообщения, картинки и видео и т.д. Память 504 может быть осуществлена энергозависимым или энергонезависимым устройством памяти любого типа или их комбинацией, например статическая оперативная память (SRAM), электрически стираемая программируемая постоянная память (EEPROM), стираемая программируемая постоянная память (EPROM), программируемая постоянная память (PROM), постоянная память (ROM), магнитная память, флэш-память, магнитный диск или оптический диск.

Компонент 506 источника питания обеспечивает мощность для компонентов устройства 500. Компонент 506 источника питания может содержать систему управления мощностью, один или множество источников питания и другие компоненты, ассоциированные с генерированием, управлением и распределением мощности устройства 500.

Мультимедиа-компонент 508 содержит экран между устройством 500 и пользователем и предназначен для обеспечения выходного интерфейса. В некоторых вариантах осуществления экран может содержать LCD (жидкокристаллический дисплей) и сенсорную панель (ТР). Если экран содержит сенсорную панель, экран может быть осуществлен как сенсорный экран для приема входного сигнала от пользователей. Сенсорная панель содержит один или множество датчиков касания для того, чтобы воспринимать жесты на сенсорной панели, например прикосновение и проведение пальцем и т.д. Датчик касания может не только воспринимать границу перемещения прикосновения или проведения пальцем, но также может обнаруживать продолжительность и давление, относящиеся к операции прикосновения или проведения пальцем. В некоторых вариантах осуществления мультимедиа-компонент 508 содержит направленную вперед камеру и/или направленную назад камеру. Когда устройство 500 находится в режиме операции, например режиме захвата или режиме видео, направленная вперед камера и/или направленная назад камера могут принимать внешние мультимедиа-данные. Каждая направленная вперед камера и направленная назад камера может быть системой фиксированных оптических линз или иметь фокусное расстояние и способность оптического приближения.

Аудиокомпонент 510 сконфигурирован для вывода и/или ввода аудиосигнала. Например, аудиокомпонент 510 содержит микрофон (MIC); когда устройство 500 находится в режиме операции, таком как режим вызова, режим записи и режим распознавания речи, микрофон сконфигурирован для приема внешнего аудиоасигнала. Принятый аудиосигнал может дополнительно сохраняться в памяти 504 или посылаться компонентом 516 связи. В некоторых вариантах осуществления аудиокомпонент 510 также содержит громкоговоритель для вывода аудиосигнала.

I/O-интерфейс 512 обеспечивает интерфейс для процессорного компонента 502 и периферийные интерфейсные компоненты, причем периферийными интерфейсными компонентами могут быть клавиатура, колесо для щелчков и кнопки и т.д. Эти кнопки могут включать в себя, но не ограничиваться: кнопку "в начало", кнопку громкости, кнопку запуска и кнопку блокирования.

Компонент 514 датчиков содержит один или множество датчиков для обеспечения устройства 500 оценкой состояния со всех аспектов. Например, компонент 514 датчиков может обнаруживать состояние включенности/выключенности устройства 500, относительное расположение компонентов, например, компонентами являются средство отображения и клавиатуры устройства 500; компонент 514 датчиков также может обнаруживать изменение позиции устройства 500 или его компонента, присутствие или отсутствие прикосновения пользователей на устройстве 500, направление или ускорение/замедление устройства 500 и колебание температуры устройства 500. Компонент 514 датчиков может также содержать средство обнаружения близости, которое сконфигурировано для обнаружения присутствия объектов поблизости в случае отсутствия физического прикосновения. Компонент 514 датчиков может также содержать оптический датчик, например CMOS или CCD-датчик изображений, для получения изображения. В некоторых вариантах осуществления компонент 514 датчиков может также содержать датчик ускорения, гиродатчик, магнитный датчик, датчик давления или датчик температуры.

Компонент 516 связи сконфигурирован для удобства проводной связи или проводной связи между устройством 500 и другим оборудованием. Устройство 500 доступно для доступа к беспроводной сети на основе стандартов связи, например WiFi, 2G или 3G или их комбинации. В одном примерном варианте осуществления компонент 516 связи принимает посредством канала широкого вещания сигнал широкого вещания или информацию, относящуюся к широкому вещанию, от внешних систем управления широкого вещания. В одном примерном варианте осуществления компонент 516 связи также содержит компонент связи ближнего поля (NFC) для обеспечения связи ближнего действия. Например, компонент NFC может быть осуществлен на основе технологии радиочастотной идентификации (RFID), технологии ассоциации передачи данных в инфракрасном диапазоне (IrDA), технологии сверхширокой полосы пропускания (UWB), технологии Bluetooth (ВТ) и других технологий.

В примерных вариантах осуществления устройство 500 может быть осуществлено одной или множеством специализированных интегрированных цепей (ASIC), процессорами цифровых сигналов (DSP), оборудованием цифровой обработки сигналов (DSPD), программируемыми логическими устройствами (PLD), программируемыми пользователем вентильными матрицами (FPGA), средствами управления, микроконтроллерами, микропроцессорами или другими электронными компонентами, сконфигурированными для исполнения вышеупомянутых способов.

В примерных вариантах осуществления также обеспечен некратковременный машиночитаемый носитель данных, содержащий инструкции, например память 504, содержащая инструкции, причем вышеупомянутые инструкции могут исполняться процессорами 518 устройства 500 для того, чтобы достигать вышеупомянутых способов. Например, некратковременным машиночитаемым носителем данных может быть ROM, оперативная память (RAM), CD-ROM, магнитная лента, гибкий диск и оптическое устройство хранения данных и т.д.

Другие варианты осуществления изобретения будут очевидны специалистам в данной области техники после рассмотрения технического описания и применения на практике изобретения, раскрываемого здесь. Эта заявка предназначена для охвата любых вариаций, использований или адаптаций изобретения, следующих его общим принципам и включающих в себя такие отклонения от настоящего раскрытия, которые относятся к известному или стандартному применению на практике в данной области техники. Предполагается, что техническое описание и примеры должны рассматриваться только в качестве примеров, причем реальные объем и сущность изобретения указаны последующей формулой.

Следует понимать, что настоящее изобретение не ограничивается точным построением, которое было описано выше и иллюстрируется на сопроводительных чертежах, и что различные модификации и изменения могут быть сделаны без выхода за пределы его объема. Предполагается, что объем изобретения должен ограничиваться только прилагаемой формулой изобретения.

Настоящее изобретение раскрывает способ и устройство сегментации изображения, относящиеся к области обработки изображений. Технический результат состоит в повышении эффективности сегментации большого количества изображений. Способ сегментации изображения содержит этапы, на которых: устанавливается модель особенностей изображения; пробная точка переднего плана и пробная точка заднего плана изображения получаются согласно модели особенностей; модель классификации переднего плана и заднего плана устанавливаются согласно модели особенностей, а также пробной точке переднего плана и пробной точке заднего плана; изображение сегментируется согласно предварительно определенному алгоритму разреза графа, и конкретным образом изображение сегментируется согласно предварительно определенному алгоритму разреза графа посредством модели классификации переднего плана и заднего плана и краевой информации, относящейся к пикселам. Модель классификации переднего плана и заднего плана устанавливается путем автоматического определения пробной точки переднего плана и пробной точки заднего плана и путем комбинации модели особенностей, и сегментация изображения достигается посредством модели классификации переднего плана и заднего плана. 3 н. и 16 з.п. ф-лы, 9 ил.

1. Способ сегментации изображения, содержащий этапы, на которых:
устанавливают модель особенностей изображения;
получают пробную точку переднего плана и пробную точку заднего плана изображения согласно модели особенностей;
устанавливают модель классификации переднего плана и заднего плана согласно модели особенностей, а также пробной точке переднего плана и пробной точке заднего плана;
сегментируют изображение согласно предварительно определенному алгоритму разреза графа, который сегментирует изображение посредством модели классификации переднего плана и заднего плана и краевой информации, относящейся к пикселам.

2. Способ по п. 1, в котором получение пробной точки переднего плана и пробной точки заднего плана изображения согласно модели особенностей содержит этапы, на которых:
вычисляют значения особенностей соответственных пикселов на изображении согласно модели особенностей;
нормализуют значения особенностей пикселов;
определяют пикселы, нормализованные значения особенностей которых больше предварительно определенного порогового значения переднего плана, в качестве пробной точки переднего плана; и
определяют пикселы, нормализованные значения особенностей которых меньше предварительно определенного порогового значения заднего плана, в качестве пробной точки заднего плана;
причем предварительно определенное пороговое значение переднего плана больше предварительно определенного порогового значения заднего плана, и нормализованные значения особенностей принадлежат к (0, 1).

3. Способ по п. 1, в котором модель классификации переднего плана и заднего плана содержит модель классификации переднего плана и модель классификации заднего плана, и упомянутое установление модели классификации переднего плана и заднего плана согласно модели особенностей, а также пробной точке переднего плана и пробной точке заднего плана, содержит этапы, на которых:
устанавливают вероятностную модель цвета переднего плана согласно пробной точке переднего плана;
устанавливают вероятностную модель цвета заднего плана согласно пробной точке заднего плана;
получают модель классификации переднего плана путем умножения модели особенностей на вероятностную модель цвета переднего плана, и причем модель классификации переднего плана конфигурируется для того, чтобы характеризовать пиксел в виде вероятности переднего плана; и
получают модель классификации заднего плана путем умножения модели особенностей на вероятностную модель цвета заднего плана, и причем модель классификации заднего плана конфигурируется для того, чтобы характеризовать пиксел в качестве вероятности заднего плана.

4. Способ по п. 3, в котором сегментация изображения согласно предварительно определенному алгоритму разреза графа содержит этапы, на которых:
вычисляют подобие переднему плану каждого пиксела на изображении посредством модели классификации переднего плана;
вычисляют подобие заднему плану каждого пиксела на изображении посредством модели классификации заднего плана;
получают подобие между смежными пикселами на изображении;
строят неориентированный граф, требуемый для предварительно определенного алгоритма разреза графа, посредством подобия переднему плану каждого пиксела, подобия заднему плану каждого пиксела и подобия между смежными пикселами; и
сегментируют неориентированный граф путем использования предварительно определенного алгоритма разреза графа, таким образом, завершая сегментацию изображения.

5. Способ по п. 4, в котором построение неориентированного графа, требуемого для предварительно определенного алгоритма разреза графа, посредством подобия переднему плану каждого пиксела, подобия заднему плану каждого пиксела и подобия между смежными пикселами содержит этапы, на которых:
строят неориентированный граф, требуемый для предварительно определенного алгоритма разреза графа, причем неориентированный
граф содержит первую границу между вершиной переднего плана, вершиной заднего плана, по меньшей мере одной пиксельной вершиной и двумя смежными пиксельными вершинами, вторую границу между пиксельной вершиной и вершиной переднего плана и третью границу между пиксельной вершиной и вершиной заднего плана, и пиксельные вершины в неориентированном графе соответствуют пикселам на изображении;
в отношении каждой второй границы определяют подобие переднему плану пиксела, соответствующего вершине пиксела, соединенной со второй границей, как весовое значение второй границы;
в отношении каждой третьей границы определяют подобие заднему плану пиксела, соответствующего вершине пиксела, соединенной с третьей границей, как весовое значение третьей границы; и
в отношении каждой первой границы определяют подобие между двумя пикселами, соответствующими двум вершинам пикселов, соединенным с первой границей, как весовое значение первой границы.

6. Способ по любому из пп. 1-5, в котором установление модели особенностей изображения содержит этапы, на которых:
проводят пересегментацию изображения посредством предварительно определенного алгоритма пересегментации, таким образом, получая по меньшей мере одну зону, и причем пикселы в одной и той же зоне имеют идентичные цветовые значения;
определяют цветовое значение и центр каждой из зон; и
устанавливают модель особенностей согласно цветовым значениям, соответствующим соответственным зонам и центрам соответственных зон.

7. Способ по п. 6, в котором моделью особенностей является:

в которой S_i1 - значение особенностей любого пиксела в зоне R_i, w(R_j) - количество пикселов в зоне R_j,
D_S(R_i,R_j) сконфигурировано для представления метрического значения разницы пространственной позиции между зоной R_i и зоной R_j, D_С(R_i,R_j) сконфигурировано для представления метрического значения разницы цвета между зоной R_i и зоной R_j, N - полное количество зон, полученных после пересегментации изображения, D_S(R_i,R_j)=exp(-(Центр(R_i)-Центр(R_j))²/σ_S ²),
Центр(R_i) - центр зоны R_i, Центр(R_j) - центр зоны R_j, когда все координаты пикселов на изображении нормализованы в [0,1], σ_S ²=0,4.

8. Способ по любому из пп. 1-5, в котором упомянутое установление модели особенностей изображения содержит этапы, на которых:
классифицируют пикселы на изображении согласно цветовым значениям пикселов, причем классифицируют пикселы с одним и тем же цветовым значением как один и тот же цветовой тип; и
устанавливают модель особенностей согласно цветовому значению каждого цветового типа.

9. Способ по п. 8, в котором моделью особенностей является:

в которой w(P_j) - количество пикселов в цветовом типе P_j, D_С(P_i,P_j) сконфигурировано для представления метрического значения разницы цвета между цветовым типом P_i и цветовым типом P_j.

10. Устройство сегментации изображения, содержащее:
первый модуль установления, сконфигурированный для установления модели особенностей изображения;
модуль получения пробы, сконфигурированный для получения пробной точки переднего плана и пробной точки заднего плана изображения согласно модели особенностей;
второй модуль установления, сконфигурированный для установления модели классификации переднего плана и заднего плана согласно модели особенностей, установленной первым модулем установления, а также пробной точке переднего плана и пробной точке заднего плана, полученным модулем получения пробы; и
модуль сегментации изображения, сконфигурированный для сегментации изображения согласно предварительно определенному алгоритму разреза графа, который сегментирует изображение посредством модели классификации переднего плана и заднего плана, установленной вторым модулем установления, и краевой информации, относящейся к пикселам.

11. Устройство по п. 10, в котором модуль получения пробы содержит:
первый блок вычисления, сконфигурированный для вычисления значений особенностей соответственных пикселов на изображении согласно модели особенностей;
блок нормализации, сконфигурированный для нормализации значений особенностей пикселов, вычисленных первым блоком вычисления;
первый блок определения, сконфигурированный для определения пикселов, значения особенностей которых, нормализованные блоком нормализации, больше предварительно определенного порогового значения переднего плана, в качестве пробной точки переднего плана; и
второй блок определения, сконфигурированный для определения пикселов, значения особенностей которых, нормализованные блоком нормализации, меньше предварительно определенного порогового значения заднего плана, в качестве пробной точки заднего плана;
причем предварительно определенное пороговое значение переднего плана больше предварительно определенного порогового значения заднего плана, и нормализованные значения особенностей принадлежат к (0, 1).

12. Устройство по п. 10, в котором модель классификации переднего плана и заднего плана содержит модель классификации переднего плана и модель классификации заднего плана, и второй модуль установления содержит:
первый блок установления, сконфигурированный для установления вероятностной модели цвета переднего плана согласно пробной точке переднего плана;
второй блок установления, сконфигурированный для установления вероятностной модели цвета заднего плана согласно пробной точке заднего плана;
первый блок умножения, сконфигурированный для умножения модели особенностей, установленной первым модулем установления, на вероятностную модель цвета переднего плана, установленную первым блоком установления, таким образом, получая модель классификации переднего плана, и модель классификации переднего плана сконфигурирована для того, чтобы характеризовать пиксел в виде вероятности переднего плана; и
второй блок умножения, сконфигурированный для умножения модели особенностей, установленной первым модулем установления, на вероятностную модель цвета заднего плана, установленную вторым блоком установления, таким образом, получая модель классификации заднего плана, и модель классификации заднего плана сконфигурирована для того, чтобы характеризовать пиксел в виде вероятности заднего плана.

13. Устройство по п. 12, в котором модуль сегментации изображения содержит:
второй блок вычисления, сконфигурированный для вычисления подобия переднему плану каждого пиксела на изображении посредством модели классификации переднего плана;
третий блок вычисления, сконфигурированный для вычисления подобия заднему плану каждого пиксела на изображении посредством модели классификации заднего плана;
блок получения, сконфигурированный для получения подобия между смежными пикселами на изображении;
блок построения, сконфигурированный для построения неориентированного графа, требуемого для предварительно определенного алгоритма разреза графа, посредством подобия переднему плану каждого пиксела, подобия заднему плану каждого пиксела и подобия между смежными пикселами; и
первый блок сегментации, сконфигурированный для сегментации неориентированного графа посредством предварительно определенного алгоритма разреза графа, таким образом, завершая сегментацию изображения.

14. Устройство по п. 13, в котором блок построения содержит:
подблок построения, сконфигурированный для построения неориентированного графа, требуемого для предварительно определенного алгоритма разреза графа, причем неориентированный граф содержит первую границу между вершиной переднего плана,
вершиной заднего плана, по меньшей мере одной пиксельной вершиной и двумя смежными пиксельными вершинами, вторую границу между пиксельной вершиной и вершиной переднего плана, и третью границу между пиксельной вершиной и вершиной заднего плана, и пиксельные вершины в неориентированном графе соответствуют пикселам на изображении;
первый подблок определения, сконфигурированный для того, чтобы, в отношении каждой второй границы, определять подобие переднему плану пиксела, соответствующего пиксельной вершине, соединенной со второй границей, в качестве весового значения второй границы;
второй подблок определения, сконфигурированный для того, чтобы, в отношении каждой третьей границы, определять подобие заднему плану пиксела, соответствующего пиксельной вершине, соединенной с третьей границей, в качестве весового значения третьей границы; и
третий подблок определения, сконфигурированный для того, чтобы, в отношении каждой первой границы, подобие между двумя пикселами, соответствующими двум пиксельным вершинам, соединенным с первой границей, определялось в качестве весового значения первой границы.

15. Устройство по любому из пп. 10-14, в котором первый модуль установления содержит:
второй блок сегментации, сконфигурированный для проведения пересегментации изображения посредством предварительно определенного алгоритма пересегментации, таким образом, получая по меньшей мере одну зону, и пикселы в одной и той же зоне имеют идентичные цветовые значения;
третий блок определения, сконфигурированный для определения цветового значения и центра каждой из зон; и
третий блок установления, сконфигурированный для установления модели особенностей согласно цветовым значениям, соответствующим соответственным зонам и центрам соответственных зон.

16. Устройство по п. 15, в котором моделью особенностей является

в которой S_i1 - значение особенностей любого пиксела в зоне R_i, w(R_j) - количество пикселов в зоне R_j,
D_S(R_i,R_j) сконфигурировано для представления метрического значения разницы пространственной позиции между зоной R_i и зоной R_j, D_С(R_i,R_j) сконфигурировано для представления метрического значения разницы цвета между зоной R_i и зоной R_j, N - полное количество зон, полученных после пересегментации изображения, D_S(R_i,R_j)=exp(-(Центр(R_i)-Центр(R_j))²/σ_S ²),
Центр(R_i) - центр зоны R_i, Центр(R_j) - центр зоны R_j, когда все координаты пикселов на изображении нормализованы в [0,1], σ_S ²=0,4.

17. Устройство по любому из пп. 10-14, в котором первый модуль установления содержит:
блок классификации, сконфигурированный для классификации пикселов на изображении согласно цветовым значениям пикселов, и классификации пикселов с одним и тем же цветовым значением в качестве одного и того же цветового типа; и
четвертый блок установления, сконфигурированный для установления модели особенностей согласно цветовому значению каждого цветового типа.

18. Способ по п. 17, в котором моделью особенностей является:

в которой w(P_j) - количество пикселов в цветовом типе P_j, D_С(P_i,P_j) сконфигурировано для представления метрического значения разницы цвета между цветовым типом P_i и цветовым типом P_j.

19. Устройство сегментации изображения, содержащее:
процессор;
память, сконфигурированную для сохранения инструкций, исполняемых процессором;
причем процессор сконфигурирован для выполнения этапов, на которых:
устанавливают модель особенностей изображения;
получают пробную точку переднего плана и пробную точку заднего плана изображения согласно модели особенностей;
устанавливают модель классификации переднего плана и заднего плана согласно модели особенностей, а также пробной точке переднего плана и пробной точке заднего плана;
сегментируют изображение согласно предварительно определенному алгоритму разреза графа, который сегментирует изображение посредством модели классификации переднего плана и заднего плана и краевой информации, относящейся к пикселам.