СПОСОБ (ВАРИАНТЫ) И СИСТЕМА СТАБИЛИЗАЦИИ ИЗОБРАЖЕНИЯ Российский патент 2007 года по МПК H04N5/232 H04N9/76 G06T5/00 

Настоящее изобретение относится к анализу телевизионных изображений и, в частности, к стабилизации изображения в телевизионных изображениях.

Уровень техники

В уровне техники стабилизация телевизионных изображений для снижения дрожания изображения, связанного с движением камеры, осуществляется либо системами с механической обратной связью, либо путем цифровой обработки сигнала. Известные способы цифровой обработки сигнала отличаются сложностью и часто основаны на оценке движения и векторном анализе. Эти способы предусматривают минимальное вмешательство в перемещение внутри изображения, и для ликвидации дрожания из-за движения камеры используют оценку перемещения групп пикселов.

Когда происходит движение объектов в пределах захваченных телевизионных изображений, в противоположность перемещению камеры, детали захваченного движущегося объекта обычно трудно различимы. Например, зачастую трудно прочесть номерной знак движущегося автомобиля при воспроизведении захваченных телевизионных изображений, что обусловлено сильным смещением автомобиля от кадра к кадру. В такой ситуации учет движения автомобиля улучшил бы различимость номерного знака.

Упомянутые традиционные способы стабилизации изображения не позволяют учесть такое движение, как движение автомобиля, чтобы сделать номерные знаки более различимыми, поскольку разработанные способы позволяют видеть движение в пределах последовательности телевизионных изображений, убирая только движение, обусловленное движением камеры.

Раскрытие изобретения

На примере варианта выполнения изобретения раскрывается способ стабилизации изображения для по крайней мере двух цифровых изображений. В этом варианте выполнения используются первое цифровое изображение, содержащее множество пикселов, и по крайней мере второе цифровое изображение, содержащее множество пикселов. Каждый пиксел имеет ассоциированный адрес для дисплея и представлен цветом. Диапазон согласования цветов задается либо пользователем системы, либо закладывается в системе. В пределах первого цифрового изображения выбирается пиксел. В предпочтительном варианте выполнения выбирается пиксел, представляющий элемент в пределах изображения, которое либо размыто из-за движения этого элемента, либо кажется дрожащим из-за движения камеры. Благодаря огромному числу имеющихся в распоряжении цветов пикселу, выбранному в первом изображении, в пределах интервала может быть найден соответствующий пиксел во втором изображении. Этот интервал обеспечивает компенсацию при изменении освещенности. Пиксел, выбранный в первом изображении, может быть подвергнут сравнению со всеми пикселами в пределах второго изображения. Каждый пиксел во втором изображении, находящийся в интервале согласования цвета, сохраняется, и производится выбор цвета пиксела, наиболее близкого к пикселу из первого изображения. Затем адреса пикселов во втором изображении изменяются таким образом, что адрес пиксела во втором изображении, наиболее близкого по цвету к пикселу из первого изображения, теперь имеет тот же адрес на дисплее, что и пиксел на первом изображении. После этого переставленное второе цифровое изображение направляется для хранения в память (запоминающее устройство).

В других вариантах выполнения область изображения в пределах второго изображения, в которой должен проводится поиск, может быть выбрана пользователем. В другом варианте выполнения для совмещения первого цифрового изображения и переставленного второго цифрового изображения точка совмещения может быть выбрана таким образом, что пиксел в первом цифровом изображении (кадре) совмещается с точкой совмещения и пиксел во втором цифровом изображении совмещается с точкой совмещения при выведении на экран дисплея.

Как только второе цифровое изображение сохранено, первое цифровое изображение и переставленное второе цифровое изображение могут быть последовательно выведены на дисплей, при этом перемещение элемента будет сведено к минимуму.

В другом варианте выполнения при определении значений цвета для выполнения сравнения в последовательности телевизионных изображений может быть использована интерполяция. В последовательности изображений выбираются начальное цифровое изображение и конечное цифровое изображение из последовательности с образованием подпоследовательности (изображений). Выбирается пиксел в начальном цифровом изображении и пиксел в конечном цифровом изображении. Выполняется линейная интерполяция между цветом пиксела в начальном цифровом изображении и цветом пиксела в конечном цифровом изображении таким образом, что определяется интерполированный цвет для каждого изображения между начальным цифровым изображением и конечным цифровым изображением. Для каждого интерполированного цвета, ассоциированного с изображением, внутри этого изображения (среди пикселов этого изображения) выполняется поиск пиксела в пределах заранее заданного интервала цветов. Когда пиксел найден, каждое изображение переставляется так, что адрес пиксела, имеющего интерполированный цвет, совмещается с адресом пиксела, выбранного в начальном изображении.

В некоторых вариантах выполнения интервал согласования цветов может быть равен нулю, то есть требуется точное согласование цвета. Чем больше число представляющих цветов, например, как в случае палитры в 16,7 млн. цветов (true color), тем выше вероятность того, что при достижении согласования пиксел в первом кадре будет иметь те же самые физические координаты, что и пиксел во втором кадре, имеющий тот же или очень похожий цвет. Если не удается найти цвет в изображении, находящийся в интервале согласования цвета, может быть по умолчанию использован стандартный способ перестановки изображения на основе данных об имеющихся тенденциях.

Данный способ может быть также реализован в компьютерной системе и выполнен на основе компьютерного программного продукта для использования компьютерной системой, в которой способ выполнен в читаемом компьютером коде. Кроме того, способ может быть выполнен в системе, которая включает интерфейс пользователя, процессор и ассоциативное запоминающее устройство. Процессор включает модуль интерфейса пользователя для приема сигналов от интерфейса пользователя. В такой конфигурации пользователь может направлять сигналы в процессор через интерфейс пользователя, давая указания, например, относительно подлежащей обработке видепоследовательности, интервала согласования цвета, выбора параметров пиксела, выбора позиций совмещения. Процессор включает также модуль локализации для определения в пределах второго кадра координат пиксела, ассоциированный цвет которого находится внутри цветового интервала цветов, ассоциированных пикселу, выбранному из первого кадра телевизионного изображения. Далее процессор содержит модуль перестановки для изменения адресации второго кадра телевизионного изображения с тем, чтобы адрес пиксела с найденными координатами из второго изображения совпадал с адресом выбранного пиксела из первого телевизионного кадра, а также модуль памяти для хранения второго кадра телевизионного изображения с измененными адресами.

Краткое описание чертежей

Признаки изобретения станут лучше понятны при ознакомлении с приведенным ниже подробным описанием и приложенными чертежами, где:

Фиг.1 представляет изображение, имеющее разрешающую способность 800×600 пикселов;

Фиг.2 представляет блок-схему, иллюстрирующую один из способов стабилизации изображения посредством согласования цвета, выполняемый совместно с компьютерной системой;

Фиг.3-6 показывают перестановку пикселов на экране;

Фиг.3 показывает первый кадр (цифровое изображение) с выбранным пикселом;

Фиг.4 показывает второй кадр с отмеченным пикселом, цвет которого находится в пределах цветового допуска пиксела, выбранного на Фиг.3;

Фиг.5 показывает второй кадр, показанный на Фиг.4, наложенный с повторным совмещением на первый кадр, показанный на Фиг.3;

Фиг.6 представляет блок-схему, иллюстрирующую другой вариант выполнения стабилизации изображения;

Фиг.7 представляет блок-схему, иллюстрирующую другой вариант выполнения стабилизации изображения с использованием согласования цвета и интерполяции;

Фиг.8 представляет выбор пикселов в начальном и конечном кадрах видеопоследовательности;

Фиг.9 представляет видеопоследовательность перед стабилизацией изображения, в которой все изображения совмещены;

Фиг.10 представляет видеопоследовательность, показанную на Фиг.9, после повторного совмещения; и

Фиг.11 представляет один из вариантов выполнения изобретения как системы.

Осуществление изобретения

В приведенном ниже описании термин "видеопоследовательность" подразумевает представление в цифровой форме последовательности сигналов изображений, которые могут быть последовательно воспроизведены на дисплее. Обычно видеопоследовательность содержит несколько кадров, каждый из которых воспроизводит отдельное изображение. Кадры, в свою очередь, могут быть также разделены, представляя собой совокупность пикселов. В приведенном описании термином "пиксел" обозначается одна точка изображения. Чем большее число пикселов содержится в изображении, тем выше разрешающая способность телевизионного изображения. Разрешающая способность изображения/кадра обычно выражается количеством пикселов по длине и ширине, например разрешающая способность 800×600 соответствует 800 пикселам по длине изображения и 600 пикселам по ширине изображения. С каждым пикселом ассоциирован адрес. В качестве примера на Фиг.1 представлено изображение с разрешающей способностью 800×600, и пиксел с адресом (200, 300) отмечен знаком X, а начало координат расположено в верхнем левом углу экрана. Показанный здесь кадр может представлять собой либо полное изображение, либо часть изображения, например поле, содержащее только половину полного изображения.

В представленном варианте реализации изобретения описывается способ стабилизации телевизионных изображений цифровой видеопоследовательности, где видеопоследовательность содержит несколько цифровых изображений/кадров. Стабилизация выполняется согласованием цвета выбранного пиксела в первом кадре путем поиска пиксела во втором кадре, цвет которого находится в пределах заданного цветового интервала. После этого второй кадр совмещается с первым кадром таким образом, что пиксел во втором кадре с согласованным цветом имеет тот же адрес пиксела, что и выбранный пиксел из первого кадра. После этого второй кадр сохраняется в памяти. Этот способ особенно эффективен при увеличении разрешающей способности и числа цветов, которые могут быть воспроизведены. По мере движения телевидения к формату ТВЧ, который имеет 16,7 млн. и более возможных значений для цветового кода пиксела, цветовой код пиксела становится все более уникальным, благодаря чему отслеживание цвета становится более эффективным средством совмещения изображений и обеспечения стабилизации изображений и учета движения в пределах изображений.

Способ стабилизации изображения посредством согласования цвета осуществляется с использованием компьютерной системы, где компьютерная система включает по крайней мере дисплей, устройство ввода, ассоциативное запоминающее устройство и процессор. Более подробно способ поясняется ниже со ссылкой на Фиг.2. Сначала цифровая последовательность на шаге 200 извлекается процессором компьютерной системы из ячейки памяти. Цветовой допуск либо задается заранее и доступен для процессора, либо делается запрос пользователю на ввод цветового допуска (шаг 210). Цветовой допуск представляет собой интервал, в пределах которого должно выполняться согласование цвета. Затем пользователю представляется первый кадр видеопоследовательности. Пользователь, на шаге 220, выбирает пиксел в пределах первого кадра. В предпочтительном варианте выполнения пиксел обладает отличающимся цветом, либо пиксел является частью объекта, который движется внутри видеопоследовательности и кажется смазанным при воспроизведении видеопоследовательности. После выбора пиксела процессор, на шаге 230, идентифицирует цвет, ассоциированный с пикселом. Затем процессор извлекает второй кадр и, на шаге 240, выполняет поиск по второму кадру с целью идентификации пиксела, имеющего тот же цвет в пределах цветового допуска, что и выбранный пиксел из первого кадра. Согласование цвета может быть выполнено либо использованием полного цвета пиксела, включая все цветовые компоненты, либо взвешиванием отдельных цветовых компонентов. Например, если видеопоследовательность представлена в цветовом пространстве RGB, для согласования цвета до полной идентичности (т.е. цветовой допуск, равный 0%) может потребоваться, чтобы величины каждого из компонентов R, G и В были одинаковыми. Цветовой допуск может выражаться процентным отклонением полного цвета. Например, цветовой допуск может составлять 0,005% в цветовом пространстве, включающем 16,7 миллиона цветов, либо цветовой допуск может требовать, чтобы каждый компонент цвета имел значение в определенном интервале, например, 10% от величины каждого из R, G и В компонентов в выбранном пикселе. Когда пиксел во втором кадре идентифицирован, адрес пиксела из второго кадра на шаге 250 совмещается с адресом выбранного пиксела из первого кадра. На Фиг.3-6 показана перестановка пикселов. На Фиг.3 показан первый кадр с выбранным пикселом, обозначенным знаком X, при его воспроизведении на экране дисплея. На Фиг.4 изображен второй кадр, где пиксел, согласующийся с выбранным пикселом из первого кадра, обозначен знаком О. На Фиг.5 показано, что изображенные на экране пикселы второго кадра переставлены, то есть их адреса изменены. После того как второй кадр сдвинут, и, таким образом, адреса всех пикселов этого кадра изменены, заново совмещенный второй кадр на шаге 260 направляется процессором для хранения в память. Этот процесс может быть повторен для каждого кадра видеопоследовательности. В таком варианте выполнения поиск цвета пиксела, выбранного из первого кадра, будет проводиться в каждом следующем кадре. Следует отметить, что значения некоторых пикселов в заново совмещенном втором кадре не будут представлены на дисплее, поскольку новые адреса этих пикселов оказываются за пределами адресов экрана дисплея. Далее, некоторые адреса для второго заново совмещенного кадра не будут иметь цветовые значения для таких пикселов. В одном из вариантов выполнения эти адреса пикселов сделаны черными. В других вариантах выполнения значения цветов могут быть по умолчанию назначены в соответствии с значениями цвета пикселов соседних адресов.

Дополнительные пояснения к описываемому способу можно дать, руководствуясь блок-схемой на Фиг.6. Как было показано выше, видеопоследовательность принимается процессором из ячейки памяти. Первый кадр представляется пользователю. Пользователь на шаге 401 определяет область поиска в пределах телевизионного кадра. Например, пользователь может воспользоваться устройством ввода, например мышью или световым пером, чтобы отметить область поиска графическим путем. В одном из вариантов выполнения областью поиска по умолчанию является полный телевизионный кадр. Выделение области поиска с размером меньшим, чем полное изображение, может иметь преимущество в случае изображений, где пользователь заинтересован в конкретном элементе изображения. Например, если имеется видеопоследовательность отъезжающего автомобиля, и пользователь хочет знать его номер, пользователь может выбрать подобласть телевизионного кадра. В приведенном примере пользователь должен определить, что выбранной подобластью изображения является номерной знак или часть автомобиля. Представленное на дисплее изображение после повторного совмещения может представлять собой либо полный телевизионный кадр, либо только выбранную подобласть кадра.

В видеопоследовательности, где движущийся объект, который требуется сделать неподвижным, движется через весь кадр, выбор подобласти изображения, например изображения номерного знака, должен выполняться в короткой последовательности кадров. Например, если полная последовательность содержит 120 полей телевизионного изображения (около 2 с), последовательность может быть разделена так, что использоваться будет только несколько кадров (например, 10 полей). Автомобиль и номерной знак могут быть использованы как подобласть изображения для целей сравнения, поскольку номерной знак автомобиля за 10 полей не сместится на много пикселов. Выбором подобласти увеличиваются шансы на то, что согласованные по цвету пикселы действительно будут представлять одну и ту же физическую точку.

Компьютерная система также предлагает пользователю, на шаге 402, установить цветовой допуск, представляющий, как было показано выше, предел погрешности согласования цвета. Пользователь может также, на шаге 403, указать точку совмещения, представляющую собой точку на экране дисплея, в которой следует совмещать пиксел, цвет которого в наибольшей степени соответствует отслеживаемому цвету. В одном из вариантов выполнения по умолчанию такой точкой является центр экрана дисплея, хотя могут быть выбраны и другие позиции на экране. Пользователь также, на шаге 404, указывает цвет, который должен отслеживаться. Это выполняется выбором пиксела на первом телевизионном кадре посредством устройства ввода пользователя.

Для каждого телевизионного кадра, полученного на шаге 420, значения цвета для каждого пиксела в области поиска сравниваются на шаге 430 со значениями цвета, выбранного для отслеживания цвета из первого телевизионного кадра. Если значения цвета в цветовом пространстве (например, R,G,B) пиксела находятся в пределах заданного допуска (шаг 440), пиксел считается согласованным. Пиксел, в котором сумма абсолютных величин отличий значений красного, зеленого и синего цветов от соответствующих значений компонентов отслеживаемого цвета минимальны, идентифицируется как точка согласования цвета. Если точка согласования цвета находится в пределах заданного допуска для каждого из значений в цветовом пространстве, ассоциированном с выбранным пикселом, на шаге 450 кадр сдвигается так, что пиксел, идентифицированный как имеющий наилучшее согласование цвета, помещается в точку совмещения на экране, а сдвинутый кадр записывается в память. Если точки с согласованием цвета найти не удается, то на шаге 460 изображение сдвигается в соответствии с установленным заранее правилом. Например, сдвиг может быть основан на результатах анализа прошлых сдвигов и усреднения сдвигов для определения того, каким образом совмещать кадр видеоданных. Например, изображение может быть сдвинуто в направлении Х на величину взвешенного усредненного значения выполненных ранее сдвигов в направлении X. Аналогично, сдвиг в направлении У может иметь величину, равную взвешенному среднему значению выполненных ранее сдвигов в направлении У.

В других вариантах выполнения изображение может сдвигаться в соответствии со следующей формулой:

xdiff = ((sx1-sx2) + (sx2-sx3) + (sx3-sx4))/3 *(sd);

ydiff = ((sy1-sy2) + (sy2-sy3) + (sy3-sy4))/3 * (sd); где

sx1 = предыдущий сдвиг по горизонтали; sy1 = предыдущий сдвиг по вертикали;

sx2 = сдвиг по горизонтали перед sx1; sy2 = сдвиг по вертикали перед sy1;

sx3 = сдвиг по горизонтали перед sx2; sy3 = сдвиг по вертикали перед

sy2;

sx4 = сдвиг по горизонтали перед sx3; sy4 = сдвиг по вертикали перед sy3; и

где sd представляет фактор замедления.

Затем, на шаге 460, кадр сдвигается на величину, определяемую следующими уравнениями:

Горизонтальный сдвиг = sx1 + xdiff;

Вертикальный сдвиг = sy1 + ydiff.

Затем, на шаге 460, сдвинутый кадр записывается в память телевизионных изображений.

Если, на шаге 470, установлено, что входной поток содержит еще изображения, на шаге 420 начинается обработка следующего кадра. Когда обработка всех кадров из входного потока закончена, операция по отслеживанию цвета завершена.

Когда все телевизионные кадры переставлены по результатам отслеживания цвета, последовательность кадров может быть последовательно во времени воспроизведена на дисплее, и при этом перемещение камеры или объекта будет уменьшено. Вместо воспроизведения последовательности кадров на дисплее может быть выполнено линейное усреднение телевизионных кадров для получения изображения с лучшим разрешением или части изображения. Например, номерной знак на движущемся автомобиле, неразличимый из-за дрожания, может стать различимым после того, как изображение будет стабилизировано. Даже если этого не происходит, можно выполнить линейное усреднение всех кадров для получения изображения с большим разрешением, в результате чего получится изображение более высокого качества, на котором номерной знак будет различим. Посредством прецизионного совмещения изображений с точностью до долей пиксела и усреднения нескольких изображений может быть получено изображение с более высоким разрешением. Это обусловлено тем, что при захвате нескольких изображений объекта изображение в каждом кадре представляет несколько отличающуюся часть объекта. Обычно для улучшения изображения требуется минимум три-пять кадров.

В другом варианте реализации изобретения совместно с согласованием цвета используется интерполяция (Фиг.7). В этом варианте выполнения видеопоследовательность поступает в компьютерную систему на шаге 500. Пользователю системы предоставлена возможность просматривать видеопоследовательность на экране дисплея и выбрать, на шаге 501, начальный кадр и конечный кадр. На шаге 502 в обоих кадрах, начальном и конечном, выбирается пиксел. В предпочтительном варианте выполнения пиксел в начальном кадре и конечном кадре представляет собой пиксел, являющийся частью объекта, для которого должна быть выполнена стабилизация изображения при движении. Например, может быть выбран пиксел из телевизионного изображения движущегося автомобиля. Пиксел, выбранный в конечном кадре, должен быть частью автомобиля, как это показано на Фиг.8. Затем на шаге 503 система выполняет интерполяцию между значением цвета в начальном кадре и значением цвета в конечном кадре. Может использоваться любой способ интерполяции, известный специалисту среднего уровня, например линейная, билинейная и бикубическая интерполяция. В результате интерполяции получаются интерполяционные значения для каждого кадра между начальным кадром и конечным кадром. Например, если имеется четыре кадра, интерполированная величина цвета будет определена для второго и третьего кадров. После того как значение цвета определено для каждого кадра между начальным и конечным кадрами, процессор, на шаге 504, начинает поиск этого значения цвета в каждом соответствующем кадре. Процессор может воспользоваться интервалом согласования цвета/цветовым допуском для определения координат пиксела соответствующего цвета. В одном из вариантов выполнения процессор осуществляет поиск первого пиксела, точно совпадающего по цвету, и не использует цветового допуска. В другом варианте выполнения каждый пиксел, цвет которого находится в пределах цветового допуска, сохраняется в памяти, и, на шаге 505, выполняются измерения разницы, как это было описано выше, пока не будет выявлен пиксел с наиболее близким цветом. Если пикселов, согласующихся по цвету, не находится, процессор на шаге 506 действует в соответствии с правилом, приведенным выше, либо иным, основанным на анализе тенденции или иного свойства видеопоследовательности. Когда пиксел выбран для каждого кадра, на шаге 507 производится повторное совмещение кадров, следующих за начальным кадром, включая конечный кадр. Для повторного совмещения требуется, чтобы ассоциированные адреса каждого пиксела были заново определены так, чтобы когда видеопоследовательность выводится на дисплей, координаты пиксела, выбранного в первом кадре, соответствовали пикселам в последующих кадрах, имеющих значение, согласованное по цвету. Например, как показано на Фиг.9, пиксел выбран в начальном кадре, в то время как остальные кадры совмещены, как при обычном воспроизведении. На Фиг.10 показаны телевизионные кадры, совмещенные заново так, что пикселы, согласованные по цвету, из всех кадров, следующих вслед за начальным, выводились в ту же точку экрана монитора, что и выбранный пиксел из начального кадра. В случае, если между начальным кадром и конечным кадром заключено меньше полной видеопоследовательности, этот процесс может быть повторен.

Способ стабилизации изображения может быть осуществлен в системе, представленной на Фиг.11. Система 800 включает устройство 801 ввода, например мышь, шаровой манипулятор, клавиатура и др., телевизионный дисплей 802 и процессор 803, имеющий ассоциированное (связанное с ним) запоминающее устройство 804. Процессор включает различные модули. Первый модуль - это модуль 803А интерфейса пользователя, который управляет приемом сигнала от устройства ввода пользователя. Пользователь может ввести запрос на выполнение стабилизации изображения на выбранной последовательности телевизионных изображений. Пользователь может посмотреть первый кадр видеопоследовательности и выбрать пиксел в пределах последовательности, при этом модуль 803А интерфейса пользователя принимает эту информацию и направляет информацию в модуль 803В локализации, в котором идентифицируется цвет выбранного пиксела, и принимает второй кадр видеоданных. Модуль 803В локализации осуществляет поиск по значениям данных второго кадра для идентификации пиксела, имеющего наиболее близкое соответствие по цвету пикселу, выбранному в первом кадре. Если не удается найти пиксел, цвет которого находится в цветовом интервале, модуль 803В локализации по умолчанию действует по установленной заранее формуле, например, приведенной выше. Если пиксел идентифицируется, координаты пиксела передаются в модуль 803С перестановки, который меняет адреса всех пикселов во втором кадре так, что обнаруженный пиксел во втором кадре получает новый адрес на дисплее, совпадающий с адресом на дисплее пиксела, выбранного в первом кадре. Информация об адресе вместе с соответствующими данными о цвете пиксела направляются в запоминающее устройство модулем 803D памяти.

Следует заметить, что блок-схемы используются в настоящем описании для иллюстрации различных особенностей изобретения и не должны рассматриваться как ограничивающие настоящее изобретение какой-либо конкретной логической последовательностью или выполнением логических операций. Описанная логическая схема может быть разделена на различные логические группы (например, программы, модули, функции или подпрограммы) без изменения общих результатов или какого-либо иного отклонения от истиной области притязаний изобретения. Зачастую логические элементы могли добавляться, модифицироваться, исключаться, выполняться в ином порядке или выполняться с использованием других логических структур (например, логических вентилей, циклических базисных элементов и иных логических структур) без изменения общих результатов или какого-либо иного отклонения от истиной области притязаний изобретения.

Настоящее изобретение может быть выполнено во многих различных формах, включая использование компьютерной программной логики для процессора (например, микропроцессора, микроконтроллера, процессора цифрового сигнала или компьютера общего назначения), программируемой логики для использования с программируемым логическим устройством (например, программируемой пользователем вентильной матрицы (FPGA) или иным программируемым логическим устройством), дискретных компонентов, интегральных схем (например, специализированных интегральных схем (ASIC)), либо любые иных средств, включая любые их комбинации, но и не ограничиваясь ими.

Компьютерная программная логика, выполняющая все или часть функций, описанных выше, может быть реализована в различных формах, например в форме исходного кода, в форме, исполняемой компьютером, и различных промежуточных формах (например, формах, генерируемых ассемблером, компилятором или устройством ввода позиций), не ограничиваясь только ими. Исходный код может включать последовательности команд компьютерных программ, реализованных на любом из различных языков программирования (например, объектная программа, язык ассемблера или язык высокого уровня, например Fortran, С, C++, JAVA или язык HTML) для использования с различными операционными системами или операционными средами. Исходный код может определять и использовать различные структуры данных и сообщений. Исходный код может быть в исполняемой компьютером форме (например, посредством интерпретирующей программы), либо исходный код может быть преобразован (например, посредством транслятора, ассемблера или компилятора) в код, исполняемый компьютером.

Компьютерная программа может быть записана в любой форме (например, в форме исходного кода, форме, исполняемой компьютером, либо промежуточной форме), либо постоянно, либо временно в среде запоминающего устройства, например полупроводникового запоминающего устройства (например, RAM, ROM, PROM, EEPROM или программируемая RAM с групповой перезаписью), в устройстве с магнитной памятью (например, дискета или несъемный диск), в оптическом запоминающем устройстве (например, CD-ROM), на PC-карте (например, карте ассоциации PCNCIA) или в другом запоминающем устройстве. Компьютерная программа может быть записана в любой форме в сигнале, который может передаваться к компьютеру с использованием различных способов связи, включая аналоговую связь, цифровую связь, оптическую связь, беспроводную связь, связь в сети и связь между сетями. Компьютерные программы могут распространяться в любой форме с использованием переносимой среды хранения с сопровождающей документацией в печатной или электронной форме (например, программы, упакованные в термоусадочную пленку, или магнитная лента), быть предустановленными в системе компьютера (например, в постоянной памяти системы или несъемном диске) или распространяться с сервера или электронной системы телеконференцсвязи по системе связи (например, Internet или Всемирной Сети).

Логические устройства (включая программируемую логику для использования с программируемыми логическими устройствами), выполняющие все или часть функций, описанных выше, могут быть разработаны с использованием традиционных методов вручную, либо могут быть разработаны, каптированы, смоделированы, либо представлены в виде электронного документа, с использованием различных инструментов, например автоматизированного проектирования (CAD), языка описания аппаратных средств (например, VHDL или AHDL), либо языка программирования программируемых логических устройств (например, PALASM, ABEL или CUPL).

Настоящее изобретение может быть выполнено в иных конкретных формах в пределах области притязаний изобретения. Описанные варианты выполнения не имеют ограничивающего характера и должны рассматриваться во всех отношениях только в качестве примера.

Изобретение относится к системам анализа телевизионных изображений и, в частности, к стабилизации изображения в телевизионных изображениях. Техническим результатом является собственно создание эффективного способа стабилизации изображения, достигаемого за счет того, что первое цифровое изображение и, по крайней мере, второе изображение имеет множество пикселов, а каждый пиксел имеет ассоциированный адрес для дисплея и представлен цветом. Пользователь системы задает интервал согласования цвета, либо система использует заранее определенный интервал согласования цвета, далее в первом цифровом изображении выбирают пиксел, например, представляющий элемент в изображении, который либо размыт из-за движения элемента или кажется дрожащим из-за движения камеры, и согласуют его в пределах интервала с пикселом из второго изображения. Интервал обеспечивает компенсацию, необходимую при изменении освещения. После выбора пиксела в первом изображении он может быть сопоставлен со всеми пикселами во втором изображении, причем каждый пиксел во втором изображении, согласующийся по цвету в пределах интервала согласования, сохраняется в памяти, и выбирается цвет пиксела, ближайший к пикселу из первого изображения. Затем производится изменение адресов пикселов во втором изображении так, что адрес пиксела, находящегося во втором изображении, наиболее близкий по цвету к пикселу в первом изображении, получает тот же адрес на дисплее, что и пиксел первого изображения, и полученное переставленное второе изображение направляется для хранения в память. 9 н. и 32 з.п. ф-лы, 11 ил.

1. Способ стабилизации изображения для первого цифрового изображения, имеющего группу пикселов, и по крайней мере второго изображения, имеющего группу пикселов, в котором каждый пиксел имеет адрес для дисплея и представлен цветом, отличающийся тем, что задают интервал согласования цвета, выбирают пиксел в пределах первого цифрового изображения и осуществляют идентификацию цвета, ассоциированного с выбранным пикселом в первом цифровом изображении, определяют координаты пиксела во втором изображении, имеющего цвет в пределах интервала согласования цвета для цвета, ассоциированного с пикселом из первого цифрового изображения, затем осуществляют перестановку второго изображения, при которой адрес пиксела во втором цифровом изображении совпадает с адресом указанного пиксела на первом цифровом изображении, и сохраняют переставленное второе цифровое изображение в памяти.2. Способ по п.1, отличающийся тем, что определение координат пиксела во втором изображении осуществляют в выбранной пользователем области этого изображения.3. Способ по п.1, отличающийся тем, что дополнительно задают точки совмещения, представляющие собой точки на экране дисплея, в которых следует совмещать пиксел, и осуществляют совмещение первого цифрового изображения и перестановку второго цифрового изображения, при которых пиксел первого цифрового изображения совмещен с точкой совмещения, а пиксел второго цифрового изображения совмещен с точкой совмещения при воспроизведении на экране дисплея.4. Способ по п.1, отличающийся тем, что дополнительно осуществляют последовательное представление на экране дисплея первого и переставленного второго цифровых изображений.5. Способ по п.1, отличающийся тем, что интервал согласования цвета предусматривает идентичность согласования цвета.6. Способ по п.1, отличающийся тем, что для представления цветов пиксела используют цветовое пространство, содержащее миллионы цветов.7. Способ по п.1, отличающийся тем, что при нахождении пиксела не в пределах интервала согласования цвета используют заранее заданную формулу для перестановки пикселов второго цифрового изображения.8. Способ по п.1, отличающийся тем, что дополнительно осуществляют прием сигнала, содержащего информацию, представляющую интервал согласования цвета.9. Способ стабилизации изображения для цифровой последовательности изображений, имеющей начальное цифровое изображение и конечное цифровое изображение, причем каждое изображение имеет группу пикселов, а каждый пиксел имеет адрес для дисплея и представлен цветом, отличающийся тем, что выбирают пиксел в начальном цифровом изображении и пиксел в конечном цифровом изображении, осуществляют линейную интерполяцию между цветом пиксела в начальном цифровом изображении и цветом пиксела в конечном цифровом изображении и определяют интерполированный цвет для каждого изображения между начальным цифровым изображением и конечным цифровым изображением, после чего для каждого интерполированного цвета, ассоциированного с одним из указанных изображений, осуществляют поиск пиксела среди пикселов этого изображения, имеющего интерполированный цвет в пределах заранее установленного интервала цветов, и осуществляют перестановку каждого изображения, находящегося между начальным цифровым изображением и конечным цифровым изображением, при которой адрес пиксела внутри этого изображения, имеющего интерполированный цвет, совпадает с адресом пиксела, выбранного в начальном изображении.10. Способ по п.9, отличающийся тем, что последовательность изображений выводят на экран дисплея.11. Способ по п.9, отличающийся тем, что определение координат пиксела во втором изображении осуществляют в выбранной пользователем области этого изображения.12. Способ по п.9, отличающийся тем, что дополнительно используют точки совмещения, представляющих собой точки на экране дисплея, в которых следует совмещать пиксел первого цифрового изображения и переставленного второго цифрового изображения.13. Способ по п.9, отличающийся тем, что заданный интервал цветов предусматривает идентичность согласования цвета.14. Способ по п.9, отличающийся тем, что цвета пиксела представляют в цветовом пространстве, имеющем миллионы цветов.15. Способ по п.9, отличающийся тем, что при нахождении пиксела не в пределах интервала согласования цвета используют заранее заданную формулу для перестановки пикселов второго цифрового изображения.16. Способ по п.9, отличающийся тем, что дополнительно осуществляют прием сигнала, содержащего информацию, представляющую интервал согласования цвета, который используют при осуществлении линейной интерполяции.17. Способ стабилизации изображения для последовательности представляемых на экране в текущий момент времени цифровых телевизионных изображений, каждое из которых содержит группу пикселов, причем каждый пиксел имеет свои координаты на дисплее, отличающийся тем, что принимают сигнал, содержащий информацию, представляющую цвет, ассоциированный с пикселом, содержащимся в первом изображении последовательности цифровых телевизионных изображений, осуществляют идентификацию пиксела в пределах второго изображения, имеющего значение цвета в пределах порогового интервала цвета, содержащегося в первом изображении, и осуществляют перестановку второго изображения, при которой пиксел во втором изображении, имеющий значение цвета в пределах порогового интервала, при воспроизведении в текущий момент времени на дисплее имеет те же координаты, что и пиксел из первого изображения.18. Способ по п.17, отличающийся тем, что дополнительно осуществляют прием сигнала, содержащего информацию, представляющую интервал согласования цвета, который используют при осуществлении указанной идентификации пиксела в пределах второго изображения.19. Способ стабилизации изображения для последовательности представляемых на экране в текущий момент времени цифровых телевизионных изображений, каждое из которых содержит группу пикселов, причем каждый пиксел имеет свои координаты на дисплее, отличающийся тем, что принимают сигнал, содержащий информацию, представляющую цвет, ассоциированный с пикселом, содержащимся в первом изображении последовательности цифровых телевизионных изображений, принимают сигнал, представляющий цвет, содержащийся в третьем цифровом изображении, затем осуществляют интерполяцию между цветом в первом цифровом телевизионном изображении и цветом в третьем цифровом телевизионном изображении и определяют цвет для поиска во втором цифровом телевизионном изображении, далее осуществляют идентификацию пиксела во втором цифровом телевизионном изображении, цветовое отличие которого от искомого цвета находится в пределах порогового интервала, осуществляют перестановку второго изображения, при которой пиксел во втором изображении, цветовое отличие которого от искомого цвета находится в пределах порогового интервала, при воспроизведении на экране дисплея имеет те же координаты, что и пиксел из первого изображения.20. Система стабилизации изображения видепоследовательности, имеющей ряд телевизионных кадров, отличающаяся тем, что она содержит интерфейс пользователя и процессор, причем процессор имеет модуль интерфейса пользователя для приема сигналов от интерфейса пользователя, в котором сигналы включают сигнал, представляющий выбор пиксела в первом телевизионном кадре, модуль локализации для определения координат пиксела во втором кадре, имеющем ассоциированный цвет в цветовом интервале цвета, ассоциированного с пикселом, выбранным из первого телевизионного кадра, модуль перестановки для изменения адреса второго телевизионного кадра, при которой адрес пиксела во втором кадре, координаты которого были определены, совпадает с адресом пиксела выбранного из первого телевизионного кадра, и модуль памяти для сохранения второго телевизионного кадра с измененными адресами.21. Система по п.20, отличающаяся тем, что она дополнительно содержит запоминающее устройство, связанное с процессором с возможностью направления в запоминающее устройство данных из модуля памяти.22. Машиночитаемый носитель, отличающийся тем, что он содержит записанную на нем компьютерную программу, содержащую компьютерный код для стабилизации изображения первого цифрового изображения, имеющего группу пикселов, и по крайней мере второго изображения, имеющего группу пикселов, в которых каждый пиксел имеет адрес для экрана дисплея и представлен цветом, причем компьютерный код содержит компьютерный код для задания интервала согласования цвета, компьютерный код для задания пиксела в первом цифровом изображении, компьютерный код для идентификации цвета, ассоциированного с выбранным пикселом в первом цифровом изображении, компьютерный код для определения координат пиксела во втором изображении, цвет которого находится в пределах интервала согласования цвета с цветом, ассоциированным с указанным пикселом из первого цифрового изображения, компьютерный код для перестановки второго изображения так, что адрес пиксела во втором цифровом изображении совпадает с адресом указанного пиксела в первом цифровом изображении, и компьютерный код для сохранения переставленного второго цифрового изображения в запоминающем устройстве.23. Машиночитаемый носитель по п.22, отличающийся тем, что компьютерный код для задания пиксела в первом цифровом изображении позволяет пользователю выбирать пиксел среди пикселей первого изображения.24. Машиночитаемый носитель по п.22, отличающийся тем, что он дополнительно содержит компьютерный код для обеспечения пользователю возможности выбора области изображения, используемой для определения координат пиксела во втором изображении.25. Машиночитаемый носитель по п.22, отличающийся тем, что он дополнительно содержит компьютерный код для обеспечения пользователю возможности задания точки совмещения первого цифрового изображения и переставленного второго цифрового изображения так, что пиксел первого цифрового изображения совмещен с точкой совмещения и пиксел во втором цифровом изображении совмещен с точкой совмещения при воспроизведении на экране дисплея.26. Машиночитаемый носитель по п.22, отличающийся тем, что он дополнительно содержит компьютерный код для последовательного представления на дисплее первого и переставленного второго цифровых изображений.27. Машиночитаемый носитель по п.22, отличающийся тем, что заданный интервал предусматривает идентичность согласования цвета.28. Машиночитаемый носитель по п.22, отличающийся тем, что цвета пиксела представлены в цветовом пространстве, имеющем миллионы цветов.29. Машиночитаемый носитель по п.22, отличающийся тем, что дополнительно содержит компьютерный код для использования заранее определенной формулы для перестановки пикселов второго цифрового изображения при нахождении пиксела не в пределах интервала согласования цвета.30. Машиночитаемый носитель по п.22, отличающийся тем, что он дополнительно содержит компьютерный код для приема сигнала, содержащего информацию, представляющую интервал согласования цвета.31. Машиночитаемый носитель, отличающийся тем, что он содержит читаемый компьютером код для стабилизации изображения цифровой последовательности изображений, в которой каждое изображение имеет группу пикселов, и в которых каждый пиксел имеет адрес для экрана дисплея и представлен цветом, причем читаемый компьютером код содержит компьютерный код, позволяющий пользователю выбирать начальное цифровое изображение и конечное цифровое изображение из последовательности, компьютерный код, позволяющий пользователю выбирать пиксел в начальном цифровом изображении и пиксел в конечном цифровом изображении, компьютерный код для интерполяции между цветом пиксела в начальном цифровом изображении и цветом пиксела в конечном цифровом изображении так, что интерполированный цвет определен для каждого изображения между начальным цифровым изображением и конечным цифровым изображением, компьютерный код для поиска в изображении пиксела, имеющего интерполированный цвет, находящийся в заданном интервале цветов для каждого интерполированного цвета, ассоциированного с изображением, компьютерный код для перестановки каждого изображения между начальным цифровым изображением и конечным цифровым изображением так, что адрес пиксела среди пикселов этого изображения, имеющего интерполированный цвет, совпадает с адресом пиксела, выбранного в начальном изображении.32. Машиночитаемый носитель по п.31, отличающийся тем, что он

дополнительно содержит компьютерный код для представления на дисплее последовательности изображений.