ОПРЕДЕЛЕНИЕ РЕПРЕЗЕНТАТИВНЫХ ИЗОБРАЖЕНИЙ ДЛЯ ВИДЕОИНФОРМАЦИИ Российский патент 2016 года по МПК G06K9/00 G11B27/28 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Объект настоящего изобретения относится к способу определения репрезентативного изображения, по меньшей мере, для одного фрагмента видеосъемки. Способ может использоваться, например, для помощи пользователю в обнаружении конкретного фрагмента видеоинформации в относительно большом объекте видеоинформации, таком как, например, кинофильм, запись видеотрансляции или персональная видеозапись. Другие объекты настоящего изобретения относятся к способу быстрого просмотра видеоинформации, к способу поиска видеоинформации в коллекции видеозаписей, к видеопроцессору; к носителю информации и к компьютерной программе.

УРОВЕНЬ ТЕХНИКИ

Определение репрезентативных изображений для видеоинформации может служить для различных целей. Например, репрезентативные изображения могут помогать пользователю при быстром просмотре видеоинформации для того, чтобы найти конкретный интересующий фрагмент. Например, интересующий фрагмент может быть связан с определенным событием, которое пользователь хочет показать семье или друзьям. В качестве другого примера, интересующий фрагмент может соответствовать тому месту, где был прерван просмотр видеозаписи пользователем. Обзор соответствующих фрагментов видеозаписи может включать в себя соответствующие репрезентативные изображения для соответствующих разделов. Такой визуальный обзор обычно позволяет пользователю удобно находить конкретный интересующий фрагмент. Репрезентативные изображения также могут помогать пользователю находить конкретную видеоинформацию в коллекции видеозаписей. Уже были предложены различные способы определения репрезентативных изображений для видеоинформации. В некоторых из этих способов изображения выбирают из сцен, которые содержат относительно много действий, для создания репрезентативных изображений.

В статье Чуанга И. и др. (Zhuang Y. et al.), имеющей название "Adaptive Key Frame Extraction Using Unsupervised Clustering", которая опубликована в сборнике Proceedings of the International Conference on Image Processing (ICIP'98), Volume 1, 1998, стр. 866, описан алгоритм извлечения ключевых кадров на основании неконтролируемой кластеризации. Фрагмент видеосъемки, содержащий N кадров, получают при помощи алгоритма обнаружения границы фрагмента съемки, где N - целое число. N кадров фрагмента видеосъемки собирают в М кластеров, где М - целое число. Каждый кластер имеет центр тяжести, который необходимо повторно вычислять, когда в кластер добавляют новое изображение. Для рассматриваемого кадра вычисляют меру подобия между этим кадром и центром тяжести каждого кластера. Для рассматриваемого кадра создают новый кластер в том случае, если все меры подобия, вычисленные таким образом для этого кадра, являются меньшими, чем пороговое значение. В противном случае рассматриваемый кадр приписывают уже существующему кластеру, а именно, кластеру, для которого мера подобия имеет самое высокое значение. Чем более высоким является пороговый параметр, тем больше количество М кластеров, которые будут получены. После того, как кластеры были сформированы, из каждого кластера, имеющего размер больший, чем средний размер кластеров, равный N/M, извлекают ключевой кадр. Ключевым кадром для кластера является кадр, ближайший к центру тяжести кластера.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Существует потребность в техническом решении, которое позволяет определять репрезентативное изображение для видеоинформации относительно быстрым и эффективным способом.

Согласно одному из объектов настоящего изобретения, в нем предложен способ определения репрезентативного изображения, по меньшей мере, для одного фрагмента видеосъемки, причем этот фрагмент съемки представляет собой непрерывную последовательность изображений, отображающих сцену на виде из конкретного местоположения. Способ содержит:

- операцию выборки фрагмента съемки, при которой из фрагмента съемки выбирают изображения для получения непрерывной последовательности выбранных изображений, равномерно распределенных по всему фрагменту съемки;

- операцию идентификации устойчивой части фрагмента съемки, при которой идентифицируют, по меньшей мере, одну непрерывную подпоследовательность выбранных изображений, удовлетворяющих заданному критерию подобия; и

- операцию назначения репрезентативного изображения, при которой выбирают изображение из непрерывной части фрагмента съемки, которая совпадает по времени с самой длинной непрерывной подпоследовательностью выбранных изображений, удовлетворяющих заданному критерию подобия, в силу чего выбранное изображение представляет собой репрезентативное изображение для фрагмента съемки.

Соответственно, репрезентативное изображение обеспечивает самая длинная непрерывная часть фрагмента съемки, которая является относительно устойчивой с точки зрения информационного содержимого изображения. Таким образом, репрезентативное изображение фактически берут из той части информационного содержимого, которая имеет относительно длительное время просмотра. В результате, существует относительно высокая вероятность того, что пользователь будет ассоциировать репрезентативное изображение с фрагментом съемки. Более того, репрезентативное изображение обычно имеет относительно хорошее качество вследствие устойчивости той части фрагмента съемки, из которой взяты репрезентативные изображения.

Другое преимущество настоящего изобретения относится к следующим аспектам. Определение репрезентативного изображения согласно настоящему изобретению может быть осуществлено посредством относительно малого количества сравнений изображений. Например, проверка критерия подобия для рассматриваемого изображения может быть выполнена путем сравнения этого изображения только лишь с одним другим изображением. Это отличается от алгоритма, описанного в упомянутой выше статье, в котором требуется сравнение изображений для каждого кластера и, кроме того, повторное вычисление центров тяжести кластеров. Сравнения изображений обычно требуют большого объема вычислений и, следовательно, являются относительно медленными. Таким образом, настоящее изобретение позволяет определять репрезентативное изображение относительно быстро благодаря уменьшенному количеству сравнений изображений, задействованных для этого.

Один из вариантов реализации настоящего изобретения предпочтительно включает в себя один или большее количество приведенных ниже дополнительных признаков, которые описаны в отдельных абзацах. Каждый из этих дополнительных признаков вносит вклад в относительно быстрое и эффективное определение репрезентативного изображения для видеоинформации.

При операции идентификации устойчивой части фрагмента съемки предпочтительно выполняют следующую последовательность операций для соответствующих выбранных изображений:

- операцию определения меры различия, при которой, по меньшей мере, одно свойство изображения в выбранном изображении сравнивают со свойством другого выбранного изображения согласно заданной схеме для определения меры различия для выбранного изображения; и

- операцию оценки меры различия, при которой выбранное изображение классифицируют как принадлежащее к непрерывной подпоследовательности выбранных изображений, удовлетворяющих критерию подобия, или как не принадлежащее к ней, в зависимости от того, является ли мера различия для выбранного изображения, соответственно, меньшей, чем пороговое значение, или нет.

Заданная схема может задавать то, что выбранное изображение сравнивают с непосредственно соседним выбранным изображением.

Заданная схема может задавать, что в том случае, если непосредственно предыдущее выбранное изображение принадлежит к непрерывной подпоследовательности выбранных изображений, удовлетворяющих критерию подобия, выбранное изображение сравнивают с тем выбранным изображением, с которого начинается эта непрерывная подпоследовательность выбранных изображений. Такая схема позволяет избежать медленного "дрейфа" информационного содержимого изображения в непрерывной подпоследовательности в том смысле, что информационное содержимое изображения медленно, но непременно изменяется по всей непрерывной подпоследовательности. Такой медленный дрейф может происходить в том случае, если заданная схема обеспечивает сравнение выбранного изображения только лишь с непосредственно соседним выбранным изображением.

При операции определения меры различия соответствующие различия свойств изображения предпочтительно объединяют в показатель различия, который представляет собой меру различия, причем соответствующие различия свойств изображения получают путем сравнения соответствующих свойств изображения в выбранном изображении с соответствующими свойствами, по меньшей мере, одного другого выбранного изображения.

При операции выборки фрагмента съемки предпочтительно выбирают одно изображение из каждой последовательности из N последовательных изображений, где N - целое число, большее 1. В варианте реализации с этой дополнительной функцией объем вычислений будет меньшим, чем в том варианте реализации, в котором выбирают все изображения фрагмента съемки. Фактически N представляет собой коэффициент подвыборки. Чем большим является N, тем меньшим является требуемый объем вычислений. Однако, чем большим является N, тем менее точно может быть идентифицирована самая длинная устойчивая часть во фрагменте съемки. Может быть найден адекватный компромисс между этими двумя аспектами.

При операции назначения репрезентативного изображения предпочтительно обеспечивают указатель длины для репрезентативного изображения, причем этот указатель длины отображает промежуток времени, охваченный непрерывной частью того фрагмента съемки, из которого выбрано репрезентативное изображение.

Предпочтительно способ может содержать:

- операцию установления соответствия фрагмента съемки, при которой этот фрагмент съемки ставят в соответствие, по меньшей мере, одному другому фрагменту съемки, который при сравнении с этим фрагментом съемки удовлетворяет критерию подобия фрагмента съемки; и

- операцию обновления указателя длины, при которой обновляют указатель длины для репрезентативного изображения фрагмента съемки путем добавления к нему соответствующих указателей длины для соответствующих репрезентативных изображений соответствующих других фрагментов съемки, которые были поставлены в соответствие этому фрагменту съемки. Эти дополнительные функции предпочтительно могут использоваться для определения репрезентативного изображения, когда в видеоинформации встречаются две или более чередующихся последовательностей аналогичных фрагментов съемки. Например, раздел видеоинформации может отображать диалог между двумя людьми A и B, в силу чего фрагменты съемки человека A и фрагменты съемки человека B встречаются поочередно в зависимости от того, кто из них говорит. Фактически можно считать, что раздел видеоинформации содержит один фрагмент съемки человека A и один фрагмент съемки человека B, которые чередуются несколько раз.

Согласно другому объекту настоящего изобретения, в нем предложен способ быстрого просмотра видеоинформации с использованием соответствующих репрезентативных изображений, которые были определены для соответствующих фрагментов съемки, содержащихся в видеоинформации, и соответствующих указателей длины для соответствующих репрезентативных изображений. Способ содержит:

- операцию задания разделов, при которой задают соответствующие разделы в видеоинформации, при этом, для соответствующих разделов в видеоинформации выполняют следующую операцию:

- операцию выбора репрезентативного изображения, при которой сравнивают соответствующие указатели длины для соответствующих репрезентативных изображений соответствующих фрагментов съемки в разделе, причем для создания репрезентативного изображения для раздела выбирают то репрезентативное изображение, которое имеет наибольший указатель длины.

Способ предпочтительно содержит операцию предоставления возможности навигации, при которой генерируют выводимое на экран изображение для навигации, которое содержит соответствующие репрезентативные изображения для соответствующих разделов видеоинформации, при этом, в соответствующих выбираемых областях, поставленных в соответствие соответствующим разделам, содержатся соответствующие репрезентативные изображения.

Согласно еще одному объекту настоящего изобретения, в нем предложен способ определения репрезентативного изображения для видеоинформации с использованием соответствующих репрезентативных изображений, которые были определены для соответствующих фрагментов съемки, содержащихся в видеоинформации, и соответствующих указателей длины для соответствующих репрезентативных изображений. Способ содержит операцию выбора репрезентативного изображения, при которой сравнивают соответствующие указатели длины для соответствующих репрезентативных изображений, при этом, для создания репрезентативного изображения для видеоинформации выбирают то репрезентативное изображение, которое имеет наибольший указатель длины.

Согласно еще одному объекту настоящего изобретения, в нем предложен способ поиска видеоинформации в коллекции видеозаписей с использованием соответствующих репрезентативных изображений, которые были выбраны для соответствующих видеозаписей в коллекции, а этот способ содержит:

- операцию поиска, при которой идентифицируют соответствующие видеозаписи из коллекции, которые удовлетворяют критерию поиска;

- операцию обработки результатов поиска, при которой из соответствующих видеозаписей, удовлетворяющих критерию поиска, идентифицируют те соответствующие видеозаписи, для которых соответствующие репрезентативные изображения удовлетворяют критерию подобия изображения; и

- операцию представления результатов поиска, при которой соответствующие видеозаписи, для которых соответствующие репрезентативные изображения, удовлетворяющие критерий подобия изображения, совместно указывают как один элемент результата поиска.

В подробном описании со ссылкой на чертежи проиллюстрировано изобретение, краткое изложение сущности которого приведено выше, а также дополнительные признаки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На Фиг. 1 изображена функциональная схема, на которой проиллюстрирован видеопроцессор, способный определять репрезентативные изображения для соответствующих фрагментов съемки, содержащихся в видеоинформации.

На Фиг. 2 изображена концептуальная схема, на которой проиллюстрированы различные операции, выполняемые видеопроцессором.

На Фиг. 3 изображена функциональная схема, на которой проиллюстрирован модуль идентификации устойчивой части фрагмента съемки, являющийся частью видеопроцессора.

На Фиг. 4 изображена концептуальная схема, на которой проиллюстрированы различные операции, выполняемые модулем идентификации устойчивой части фрагмента съемки.

На Фиг. 5 изображена функциональная схема, на которой проиллюстрирован видеобраузер, в котором используют результаты, полученные видеопроцессором.

На Фиг. 6 изображена концептуальная схема, на которой проиллюстрированы различные операции, выполняемые модулем выбора репрезентативного изображения.

На Фиг. 7 изображена концептуальная схема, на которой проиллюстрировано выводимое на экран изображение для навигации, которое содержит соответствующие репрезентативные изображения для соответствующих разделов.

На Фиг. 8 изображена функциональная схема, на которой проиллюстрирована система поиска видеоинформации, в которой используют результаты, полученные модулем выбора репрезентативного изображения.

ПОДРОБНОЕ ОПИСАНИЕ

На Фиг. 1 функционально проиллюстрирован видеопроцессор VPR. Видеопроцессор VPR содержит различные функциональные модули: модуль SHD обнаружения фрагмента съемки, модуль SHS выборки фрагмента съемки, модуль SPI идентификации устойчивой части фрагмента съемки и модуль RID назначения репрезентативного изображения. Видеопроцессор VPR связан с накопителем DSA для хранения данных, в котором хранится видеоинформация VD, по меньшей мере, частично и временно. Результаты обработки видеоинформации могут храниться в накопителе DSA для хранения данных в DSA устройства запоминающего устройства для данных совместно с видеоинформацией VD, как проиллюстрировано на Фиг. 1. Видеопроцессор VPR может являться частью, например, сервера видеоинформации, персонального мультимедийного устройства или персонального устройства связи.

Каждый из вышеупомянутых функциональных модулей может быть реализован посредством, например, набора команд, который был загружен в устройство выполнения команд. При такой программной реализации набор команд задает операции, выполняемые рассматриваемым функциональный модулем, который будет описан ниже. В этом отношении, Фиг. 1 может рассматриваться как отображающий, по меньшей мере, частично, способ, в котором функциональный модуль или комбинация функциональных модулей могут рассматриваться как отображающие операции способа. Например, модуль SHS выборки фрагмента съемки может рассматриваться как отображающий операцию выборки фрагмента съемки, модуль SPI идентификации устойчивой части фрагмента съемки может рассматриваться как отображающий операцию идентификации устойчивой части и т.д. Аналогичные комментарии применимы и к другим функциональным модулям, которые будут описаны ниже со ссылкой на другие чертежи.

Видеопроцессор VPR, по существу, функционирует следующим образом. Модуль SHD обнаружения фрагмента съемки обнаруживает различные фрагменты SH съемки, содержащиеся в видеоинформации VD. Фрагмент съемки представляет собой непрерывную последовательность изображений, отображающих сцену, видимую с конкретного местоположения. Модуль SHD обнаружения фрагмента съемки может функционировать обычным образом. Например, модуль SHD обнаружения фрагмента съемки может обнаруживать отрезки фрагменты съемки в видеоинформации VD. Относительно существенные изменения в относительно короткой последовательности следующих друг за другом изображений характеризуют отрезки фрагментов съемки. Отрезок фрагмента съемки может включать в себя спецэффект, такой как, например, например, постепенное исчезновение изображения. Отрезки фрагментов съемки могут быть обнаружены достаточно надежно путем применения надлежащего алгоритма и путем применения надлежащих параметров обнаружения отрезка фрагмента съемки. Существует обширная литература по этому вопросу. Фрагмент съемки обычно содержится между двумя последующими отрезками фрагментов съемки, первый из которых обозначает начало фрагмента съемки, а последней обозначает конец. Таким образом, модуль SHD обнаружения фрагмента съемки может обеспечивать маркеры SC отрезков фрагментов съемки, которые фактически делят видеоинформацию VD на соответствующие фрагменты SH съемки. Маркеры SC отрезков фрагментов съемки могут быть сохранены совместно с видеоинформацией VD.

Модуль SHS выборки фрагмента съемки выбирает фрагмент съемки, для которого необходимо определить репрезентативное изображение. Затем модуль SHS выборки фрагмента съемки выбирает изображения из этого фрагмента съемки для получения непрерывной последовательности выбранных изображений SI, которые равномерно распределены по фрагменту съемки. Например, модуль SHS выборки фрагмента съемки может выбирать одно изображение из каждой последовательности из N последовательных изображений во фрагменте съемки, где N - целое число, большее 1. Этот способ фактически представляет собой способ подвыборки видеоинформации с частотой выборки, равной N. Непрерывная последовательность выбранных изображений SI имеет частоту следования изображений в N раз более низкую, чем частота следования изображений в видеоинформации VD. Непрерывная последовательность выбранных изображений SI может быть временно сохранена, например, в накопителе DSA для хранения данных.

Модуль SPI идентификации устойчивой части фрагмента съемки идентифицирует одну или большее количество непрерывных подпоследовательностей SB выбранных изображений, удовлетворяющих заданному критерию подобия. Этот критерий подобия обычно является более строгим, чем критерии, обычно используемые для обнаружения отрезка фрагмента съемки. В противном случае модуль SPI идентификации устойчивой части фрагмента съемки может систематически идентифицировать все выбранные изображения из фрагмента съемки как принадлежащие к одной непрерывной подпоследовательности, удовлетворяющей заданному критерию подобия. Заданный критерий подобия может быть основан, например, на свойствах изображения, таких как, например, яркость, цветность, текстура края. Более подробно это будет рассмотрено ниже.

Модуль SPI идентификации устойчивой части фрагмента съемки может создавать выходные данные в виде маркеров SM подпоследовательностей. Маркеры SM подпоследовательностей указывают одну или большее количество непрерывных подпоследовательностей SB выбранных изображений, которые были идентифицированы как удовлетворяющие заданному критерию подобия. Например, маркер подпоследовательности может указывать порядковый номер выбранного изображения, которое обозначает начало подпоследовательности, или которое обозначает конец подпоследовательности. Маркер подпоследовательности, который имеет наименьший порядковый номер обычно, указывает начало первой подпоследовательности. Маркер подпоследовательности, который имеет порядковый номер на единицу больший, чем наименьший порядковый номер, обычно указывает конец первой подпоследовательности и т.д. Этот случай приведен просто в качестве примера. Вместо порядковых номеров могут использоваться указатели времени. В любом случае маркеры SM подпоследовательностей обеспечивают информацию о местоположении и информацию о длине непрерывных подпоследовательностей SB выбранных изображений, которые были идентифицированы.

Модуль RID назначения репрезентативного изображения определяет самую длинную непрерывную подпоследовательность выбранных изображений, удовлетворяющих заданному критерию подобия. Самая длинная непрерывная шаговая последовательность выбранных изображений может быть определена на основе маркеров SM подпоследовательностей, которые обеспечивает модуль SPI идентификации устойчивой части фрагмента съемки. Например, модуль RID назначения репрезентативного изображения может определять самую длинную непрерывную подпоследовательность путем сравнения соответствующих расстояний между соответствующим парами маркеров SM подпоследовательностей, которые разграничивают соответствующие подпоследовательности выбранных изображений SI, удовлетворяющих заданному критерию подобия. Самое длинное расстояние указывает самую длинную непрерывную подпоследовательность.

Модуль RID назначения репрезентативного изображения выбирает изображение из непрерывной части фрагмента съемки, которая совпадает по времени с вышеупомянутой самой длинной непрерывной подпоследовательностью выбранных изображений. Выбранное таким образом изображение представляет собой репрезентативное изображение RI для фрагмента съемки. Модуль RID назначения репрезентативного изображения может обеспечивать выходные данные в виде идентификатора IR репрезентативного изображения. Идентификатор IR репрезентативного изображения однозначно указывает репрезентативное изображение RI в видеоинформации VD, а также фрагмент съемки, к которому относится репрезентативное изображение RI.

Модуль RID назначения репрезентативного изображения может дополнительно обеспечивать указатель LI длины для репрезентативного изображения RI. Указатель LI длины отображает промежуток времени, охватываемый непрерывной частью фрагмента съемки, из которого выбрано репрезентативное изображение RI. Указатель LI длины может быть включен в состав идентификатора IR репрезентативного изображения.

Модуль RID назначения репрезентативного изображения может определять указатель LI длины на основе маркеров SM подпоследовательностей, которые указывают самую длинную подпоследовательность выбранных изображений, удовлетворяющих заданному критерию подобия. Например, предположим, что маркеры SM подпоследовательностей представлены в виде порядковых номеров выбранных кадров, которые разграничивают идентифицированные подпоследовательности. В этом случае разность между маркерами SM подпоследовательностей, которые указывают самую длинную подпоследовательность, соответствует количеству выбранных кадров, содержавших в самой длинной подпоследовательности. В том случае, если модуль SHS выборки фрагмента съемки применяет постоянную частоту выборки, то указателем LI длины может являться количество выбранных кадров. Количество выбранных кадров также может быть разделено на частоту кадров в последовательности выбранных кадров. Соответственно, получают длительность самой длинной подпоследовательности, которая может являться указателем LI длины.

Видеопроцессор VPR, проиллюстрированный на Фиг. 1, может определять соответствующие репрезентативные изображения RI для соответствующих фрагментов SH съемки, содержащихся в видеоинформации VD, описанным выше способом. Для этого модуль SHS выборки фрагмента съемки может последовательно выбирать соответствующие фрагменты SH съемки в видеоинформации VD. Затем модуль SHS выборки фрагмента съемки, модуль SPI идентификации устойчивой части фрагмента съемки и модуль RID назначения репрезентативного изображения выполняют описанные выше операции для текущего выбранного фрагмента съемки. Соответственно, в этом случае видеопроцессор VPR создает соответствующие идентификаторы IR репрезентативных изображений для соответствующих фрагментов SH съемки, которые фактически указывают соответствующие репрезентативные изображения RI. Кроме того, видеопроцессор VPR создает соответствующие указатели LI длины для соответствующих репрезентативных изображений RI. Соответствующие идентификаторы IR репрезентативных изображений, а также соответствующие указатели LI длины сохраняют совместно с видеоинформацией VD и с соответствующими маркерами SC отрезков фрагментов съемки, которые идентифицируют соответствующие фрагменты SH съемки в видеоинформации VD. Все эти данные могут совместно храниться в накопителе DSA для хранения данных, проиллюстрированном на Фиг. 1. В альтернативном варианте эти данные могут храниться в различных накопителях для хранения данных при условии существования какой-либо ссылки между различными типами данных, относящимися к видеоинформации VD.

На Фиг. 2 концептуально проиллюстрированы различные операции, выполняемые модулем SHS выборки фрагмента съемки, модулем SPI идентификации устойчивой части фрагмента съемки и модулем RID назначения репрезентативного изображения. Фиг. 2 содержит верхний горизонтальный участок, который отображает фрагмент SH съемки, содержащийся между двумя последующими маркерами SC_i, SC_i+1 отрезка фрагмента съемки. Относительно малые вертикальные линии отображают изображения в пределах фрагмента SH съемки. Изображения равномерно расположены на горизонтальной оси, отображающей время T. Фиг. 2 содержит нижний горизонтальный участок, имеющий аналогичную горизонтальную ось, на которой посредством относительно малых вертикальных линий отображены выбранные изображения SI из фрагмента съемки. Как проиллюстрировано на Фиг. 2 из каждой последовательности, состоящей из 4 последовательных изображений во фрагменте съемки, выбрано одно изображение. Выбранные изображения SI, представленные в нижнем горизонтальном участке Фиг. 2, пронумерованы от 1 до 12.

Выбранные изображения 2 и 3 составляют первую непрерывную подпоследовательность SB1 выбранных изображений, удовлетворяющих заданному критерию подобия. Первая непрерывная подпоследовательность SB1 имеет длину L1 из 2 выбранных изображений. Выбранные изображения 5, 6, 7, и 8 составляют вторую непрерывную подпоследовательность SB2 выбранных изображений, удовлетворяющих заданному критерию подобия. Вторая непрерывная подпоследовательность SB2 имеет длину L2 из 4 выбранных изображений. Выбранные изображения 9, 10, и 11 составляют третью непрерывную подпоследовательность SB3 выбранных изображений, удовлетворяющих заданному критерию подобия. Третья непрерывная подпоследовательность имеет длину L3 из 3 выбранных изображений.

В верхнем горизонтальном участке из Фиг. 2 указана непрерывная устойчивая часть SP фрагмента SH съемки. Эта непрерывная устойчивая часть SP совпадает по времени со второй непрерывной подпоследовательностью SB2 выбранных изображений, который является самой длинной непрерывной подпоследовательностью выбранных изображений, удовлетворяющих заданному критерию подобия. Таким образом, непрерывная устойчивая часть SP составляет самую длинную устойчивую часть фрагмента SH съемки. В данном случае термины "устойчивый" относятся к устойчивости информационного содержимого изображения; непрерывная устойчивая часть SP является относительно статичной в течение относительно длительной продолжительности.

Изображение выбирают из непрерывной устойчивой части SP фрагмента съемки, указанной на Фиг. 2, которая является самой длинной устойчивой частью фрагмента съемки. Изображение, выбранное из непрерывной устойчивой части SP фрагмента съемки, представляет собой репрезентативное изображение RI для рассматриваемого фрагмента съемки. В принципе, выбранным изображением может являться любое изображение в непрерывной устойчивой части SP фрагмента съемки. Это объясняется тем, что непрерывная устойчивая часть SP фрагмента съемки является относительно статичной, а это означает, что содержащиеся в ней изображения являются относительно похожими друг на друга. В противном случае выбранные изображения 5, 6, 7, и 8, которые составляют вторую подпоследовательность SB2, не удовлетворяли бы критерию подобия. На Фиг. 2 изображение, выбранное в качестве репрезентативного изображения RI расположено в центре непрерывной устойчивой части SP. Этот случай приведен просто в качестве примера. Для создания репрезентативного изображения RI также может быть выбрано любое иное изображение из непрерывной устойчивой части SP, например, первое изображение или последнее изображение. Репрезентативное изображение RI даже может быть выбрано случайным образом.

Репрезентативное изображение RI обычно имеет относительно хорошее качество. Это объясняется тем, что репрезентативное изображение RI выбрано из той части фрагмента съемки, которая является относительно устойчивой с точки зрения содержимого изображения. Например, в том случае, когда изображения были закодированы, потери при кодировании будут относительно умеренными в непрерывной устойчивой части SP фрагмента съемки, показанной на Фиг. 2, поскольку изображения в этой части являются относительно похожими друг на друга. Например, предположим, что изображения были закодированы согласно стандарту MPEG, который включает в себя оценку параметров движения и квантование. В этом случае оценка параметров движения для изображений в непрерывной устойчивой части SP, показанной на Фиг. 2, будет относительно точной. Остаток будет относительно малым. Кроме того, изображение находящееся в непрерывной устойчивой части SP, обычно подвергается умеренной степени квантования.

На Фиг. 3 функционально проиллюстрирован вариант реализации модуля SPI идентификации устойчивой части фрагмента съемки. Этот вариант реализации именуют модулем SPI идентификации устойчивой части фрагмента съемки по соображениям простоты. Модуль SPI идентификации устойчивой части фрагмента съемки содержит различные функциональные модули: модуль IPD определения свойств изображения, модуль IPC сравнения свойств изображения, модуль THC сравнения с пороговым значением и модуль SBI идентификации подпоследовательности. Для программной реализации Фиг. 3 может рассматриваться как, по меньшей мере, частично отображающий способ, в силу чего функциональный модуль или набор функциональных модулей может рассматриваться как операция способа.

Модуль SPI идентификации устойчивой части фрагмента съемки, проиллюстрированный на Фиг. 3, по существу, функционирует следующим образом. Модуль IPD определения свойств изображения определяет, по меньшей мере, одно свойство изображения из выбранного изображения. Таким образом, модуль IPD определения свойств изображения может обеспечить соответствующие наборы свойств изображения IP для соответствующих выбранных изображений SI. Набор свойств изображения IP может включать в себя, например, гистограмму яркости, гистограмму цветности, информацию о текстуре и информацию о крае. Свойство изображения может иметь вид информации, определенной в стандарте, известном как MPEG 7.

Модуль IPC сравнения свойств изображения сравнивает набор свойств изображения IP для рассматриваемого выбранного изображения с набором свойств другого выбранного изображения согласно заданной схеме SCH. Например, заданная схема SCH может предусматривать сравнение рассматриваемого выбранного изображения, с точки зрения свойств изображения, с выбранным изображением, которое непосредственно предшествует рассматриваемому выбранному изображению. В качестве другого примера, заданная схема SCH сначала может проверять, выполнено ли или нет следующее условие: выбранное изображение, которое непосредственно предшествует рассматриваемому изображению, принадлежит к непрерывной подпоследовательности выбранных изображений, удовлетворяющих критерию подобия. Рассматриваемое изображение сравнивают, с точки зрения свойств изображения IP, с выбранным изображением, с которого начинается эта непрерывная подпоследовательность выбранных изображений, если выполнено заданное выше условие.

Для любой заданной схемы SCH модуль IPC сравнения свойств изображения определяет набор различий в свойствах изображения для выбранного рассматриваемого изображения. Набор различий в свойствах изображения представляет собой результат сравнений свойств изображения, выполненных делаются согласно заданной схеме SCH. Модуль IPC сравнения свойств изображения предпочтительно объединяет различия в свойствах изображения для рассматриваемого выбранного изображения в показатель DM различия, который представляет собой одномерную меру различия. Таким образом, модуль IPC сравнения свойств изображения обеспечивает соответствующие показатели DM различия для соответствующих выбранных изображений SI. Показатель DM различия для выбранного изображения будет иметь относительно низкую величину в том случае, если выбранное изображение является относительно похожим на одно или на большее количество других выбранных изображений, с которыми сравнивают выбранное изображение согласно заданной схеме SCH. И, наоборот, показатель DM различия будет иметь относительно высокую величину в том случае, если изображения, которые сравнивают согласно заданной схеме SCH, являются весьма различными.

Модуль THC сравнения с пороговым значением сравнивает соответствующие показатели DM различия, которые обеспечивает модуль IPC сравнения свойств изображения, с пороговым значением TH. Это сравнение обеспечивает соответствующие решения SD относительно подобия для соответствующих выбранных изображений SI. Решение SD относительно подобия для выбранного изображения является положительным, если показатель DM различия для выбранного изображения является меньшим порогового значения TH. В противном случае решение SD относительно подобия является отрицательным. Фактически, решение SD относительно подобия указывает, является ли рассматриваемое выбранное изображение в достаточной мере похожим на одно или на большее количество других выбранных изображений, с которыми было сравнено выбранное изображение с точки зрения свойств изображения, или нет. В иной формулировке, решение SD относительно подобия указывает, удовлетворяют ли выбранные изображения, которые были сравнены, заданному критерию подобия или нет.

Модуль SBI идентификации подпоследовательности идентифицирует одну или большее количество подпоследовательностей SB выбранных изображений, удовлетворяющих заданному критерию подобия, на основании соответствующих решений SD относительно подобия, которые обеспечивает модуль THC сравнения с пороговым значением. Предположим, что положительное решение относительно подобия следует за отрицательным решением относительно подобия. В этом случае положительное решение относительно подобия означает начало подпоследовательности выбранных изображений, удовлетворяющих заданному критерию подобия. Эта подпоследовательность содержит, по меньшей мере, те выбранные изображения, на которых основано положительное решение относительно подобия. Кроме того, предположим, что за вышеупомянутым положительным решением относительно подобия следует еще одно положительное решение относительно подобия следует. В этом случае подпоследовательность фактически продолжают, и она дополнительно содержит те выбранные изображения, на которых основано это еще одно положительное решение относительно подобия. Подпоследовательность продолжают далее до тех пор, пока не будет иметь место отрицательное решение относительно подобия. В этом случае отрицательное решение относительно подобия означает конец подпоследовательности выбранных изображений. Новое положительное решение относительно подобия означает начало новой подпоследовательности выбранных изображений.

Пороговое значение TH, используемый для фактического преобразования показателей DM различия в решения SD относительно подобия, может являться критическим параметром. Пороговое значение TH представляет собой степень строгости заданного критерия подобия. В том случае, если пороговое значение TH является слишком высоким, может произойти то, что подпоследовательности SB выбранных изображений идентифицируются редко или даже вообще не идентифицируются. Наоборот, в том случае, если пороговое значение TH является слишком низким, может часто происходить то, что все выбранные изображения фрагмента съемки идентифицируют как принадлежащие к одной подпоследовательности, охватывающей весь фрагмент съемки. Надлежащий уровень порогового значения TH может быть определен, например, эмпирически.

Модуль SBI идентификации подпоследовательности обеспечивает выходные данные, которые соответствуют выходным данным из модуля SPI идентификации устойчивой части фрагмента съемки, который проиллюстрирован на Фиг. 1. А именно, модуль SBI идентификации подпоследовательности обеспечивает маркеры SM подпоследовательностей, указывающие одну или большее количество непрерывных подпоследовательностей SB выбранных изображений, которые были идентифицированы как удовлетворяющие заданному критерию подобия. Маркеры SM подпоследовательностей обеспечивают информацию о местоположении и информацию о длине идентифицированных непрерывных подпоследовательностей SB выбранных изображений.

На Фиг. 4 концептуально проиллюстрированы различные операции, выполняемые модулем SPI идентификации устойчивой части фрагмента съемки. Фиг. 4 содержит верхний горизонтальный участок, отображающий выбранные изображения SI фрагмента съемки, которые также проиллюстрированы на Фиг. 2. То есть, верхний горизонтальный участок из Фиг. 4 соответствует нижнему горизонтальному участку на Фиг. 2. Выбранные изображения SI, которые пронумерованные от 1 до 12, равномерно расположены на горизонтальной оси, отображающей время T. Фиг. 4 содержит средний горизонтальный участок, в котором указаны соответствующие показатели DM различия. Кроме того, Фиг. 4 содержит нижний горизонтальный участок, в котором указаны соответствующие решения SD относительно подобия.

Фиг. 4 представляет собой пример, в котором заданная схема SCH обеспечивает сравнение выбранного рассматриваемого изображения с непосредственно предыдущим выбранным изображением. На Фиг. 4 эти сравнения изображений проиллюстрированы слегка изогнутыми стрелками. Например, предположим, что рассматривается выбранное изображение 2. В этом случае выбранное изображение 2 сравнивают с выбранным изображением 1 с точки зрения свойств изображения. Это сравнение приводит к показателю DM2 различия. Показатель DM2 различия фактически истолковывается как отрицательное решение относительно подобия (-). Это объясняется тем, что показатель DM2 различия превышает вышеупомянутое пороговое значение TH. Теперь предположим, что рассматривается выбранное изображение 3. В этом случае выбранное изображение 3 сравнивают с выбранным изображением 2 с точки зрения свойств изображения. Это сравнение приводит к показателю DM3 различия, который истолковывается как положительное решение относительно подобия (+), поскольку показатель DM3 различия является более низким, чем пороговое значение TH.

На Фиг. 4 проиллюстрировано, что переход от отрицательного решения относительно подобия к положительному означает начало подпоследовательности SB выбранных изображений, удовлетворяющих заданному критерию подобия. Переход от положительного решения относительно подобия к отрицательному означает конец подпоследовательности SB. Подпоследовательность содержит выбранные изображения, на которых были основаны одно или большее количество последовательных положительных решений относительно подобия. Например, показателю DM3 различия, который истолковывается как положительное решение относительно подобия (+), предшествует показатель DM2 различия, который истолковывается как отрицательное решение относительно подобия (-). Это означает начало первой подпоследовательности SB1 выбранных изображений. После показателя DM3 различия следует показатель DM4 различия, который истолковывается как отрицательное решение относительно подобия (-). Это означает конец первой подпоследовательности SB1. Показатель DM3 различия основан на выбранных изображениях 2 и 3, которые, следовательно, образуют первую подпоследовательность SB1.

В качестве другого примера, показателю DM6 различия, который истолковывается как положительное решение относительно подобия (+), предшествует показатель DM5 различия, который истолковывается как отрицательное решение относительно подобия (-). Это означает начало второй подпоследовательности SB2 выбранных изображений. После показателя DM6 различия следуют показатели DM7 и DM8 различия, каждый из который одинаково истолковывается как положительное решение относительно подобия (+).Вторая подпоследовательность SB2 фактически продолжается. Показатель DM9 различия истолковывается как отрицательное решение относительно подобия (-). Это означает конец второй подпоследовательности SB2. Имеется три последовательных показателя DM6, DM7 и DM8 различия, которые истолковываются как три последовательных положительных решения относительно подобия (+). Эти три последовательных показателя DM6, DM7 и DM8 различия основаны на выбранных изображениях 5, 6, 7 и 8, которые являются последовательными, и, следовательно, образуют вторую подпоследовательность SB2.

На Фиг. 5 проиллюстрирован видеобраузер VBR. Видеобраузер VBR содержит модуль SDF определения раздела, модуль RIS выбора репрезентативного изображения, и модуль NAV, обеспечивающий возможность навигации. Эти дополнительные функциональные модули содержаться, например, в видеопроцессоре VPR, проиллюстрированном на Фиг. 1. В альтернативном варианте функциональные модули, проиллюстрированные на Фиг. 5, могут содержаться в другом видеопроцессоре. В любом случае, для программной реализации Фиг. 3 может рассматриваться как, по меньшей мере, частично отображающий способ, в силу чего функциональный модуль или комбинация функциональных модулей может рассматриваться как операция способа.

В видеобраузере VBR, проиллюстрированном на Фиг. 5 используют результаты, которые обеспечивает видеопроцессор VPR, проиллюстрированный на Фиг. 1. Эти результаты включают в себя соответствующие репрезентативные изображения RI, которые были определены для соответствующих фрагментов SH съемки в видеоинформации VD. Кроме того, эти результаты включают в себя соответствующие указатели LI длины для соответствующих репрезентативных изображений. Как упомянуто выше, эти результаты могут быть представлены в виде соответствующих идентификаторов IR репрезентативных изображений для соответствующих фрагментов SH съемки, которые фактически указывают соответствующие репрезентативные изображения. Соответствующие указатели LI длины могут быть включены в состав соответствующих идентификаторов IR репрезентативных изображений. Все эти данные могут храниться в накопителе DSA для хранения данных, который может соответствовать тому, который проиллюстрирован на чертеже Фиг. 1, или им может являться другой накопитель для хранения данных, в который были переданы данные.

Видеобраузер VBR, по существу, функционирует следующим образом. Модуль SDF определения раздела позволяет задавать соответствующие разделы SE в видеоинформации VD. Например, видеоинформация VD может быть фактически разделена на соответствующие разделы SE, охватывающие соответствующие последовательные промежутки времени заданной длины. В качестве еще одного примера, видеоинформация VD может быть разделена на соответствующие промежутки времени длительностью по 10 минут. Такое разделение может быть подходящим, например, в том случае, если видеоинформацией VD является кинофильм или запись телевещательной программы. Модуль SDF определения раздела может подразделять конкретный раздел на различные подразделы. Например, конкретный промежуток времени длительностью 10 минут может быть подразделен на соответствующие промежутки времени длительностью по 1 минуте.

В том случае, когда видеоинформация VD содержит персональные записи, соответствующие разделы SE могут быть заданы на основании даты и времени записи. Например, записи, которые были сделаны непосредственно одна за другой, наверняка являются взаимосвязанными и, следовательно, могут быть сгруппированы в раздел. Записи, которые были сделаны в один и тот же день, также могут быть сгруппированы в раздел. Эти записи могут относиться, например, к конкретному событию, такому как, например, день рождения, свадьба или однодневное путешествие для посещения конкретного места. Записи, которые были сделаны в следующие друг за другом дни, также могут быть сгруппированы в раздел. Эти записи могут относиться, например, к отпуску. Эти примеры демонстрируют, что разделы могут быть заданы на различных иерархических уровнях на основании даты и времени записи.

Модуль RIS выбора репрезентативного изображения извлекает соответствующие указатели LI длины для соответствующих репрезентативных изображений соответствующих фрагментов SH съемки в разделе SE. Модуль RIS выбора репрезентативного изображения сравнивает эти соответствующие указатели LI длины для определения наибольшего указателя длины LI_k=MAX. Затем модуль RIS выбора репрезентативного изображения выбирает репрезентативное изображение RI_k, имеющее этот наибольший указатель LI длины. Это выбранное репрезентативное изображение RI_k является репрезентативным изображением RI_SE для раздела. Модуль RIS выбора репрезентативного изображения может таким образом задавать соответствующие репрезентативные изображения для соответствующих заданных разделов видеоинформации VD.

На Фиг. 6 концептуально проиллюстрированы операции, выполняемые модулем RIS выбора репрезентативного изображения. Фиг. 6 содержит верхний горизонтальный участок, который отображает конкретный раздел SE в видеоинформации VD. Этот конкретный раздел SE содержит четыре соответствующих фрагмента SH1-SH4 съемки различной длины. Эти четыре соответствующих фрагмента SH1-SH4 съемки имеют четыре соответствующих репрезентативных изображения RI1-RI4. Четыре соответствующих представляющих изображения RI1-RI4 имеют четыре соответствующих указателя длины LI1-LI4. Они обозначены на нижнем горизонтальном участке Фиг. 6. Репрезентативное изображение RI3 фрагмента SH3 съемки имеет наибольший указатель длины LI3=5, хотя фрагмент SH3 съемки не является самым длинным из четырех соответствующих фрагментов SH1-SH4 съемки в разделе SE. Однако фрагмент SH3 съемки содержит более длинную непрерывную подпоследовательность выбранных изображений, удовлетворяющих заданному критерию подобия, чем любая другая непрерывная подпоследовательность в любом из других трех фрагментов SH1, SH2 и SH4 съемки. В иной формулировке, фрагмент SH3 съемки содержит самую длинную устойчивую часть видеоинформации из устойчивых частей видеоинформации, которые были идентифицированы в четырех соответствующих фрагментах SH1-SH4 съемки. Следовательно, репрезентативное изображение RI3 фрагмента SH3 съемки имеет наибольший указатель длины LI3=5 и, следовательно, выбрано для создания репрезентативного изображения RI_SE для раздела SE.

Модуль RIS выбора репрезентативного изображения может, содержать модуль SAM установления соответствия с фрагментом съемки и модуль LIU обновления указателя длины, но это не является обязательным условием. Эти модули могут предпочтительно использоваться для выбора репрезентативного изображения в разделе видеоинформации с двумя или с большим количеством чередующихся последовательностей аналогичных фрагментов съемки. Например, раздел видеоинформации может отображать диалог между двумя людьми A и B, в силу чего фрагменты съемки человека A и фрагменты съемки человека B встречаются поочередно в зависимости от того, кто из них говорит. Фактически можно считать, что раздел видеоинформации содержит один фрагмент съемки человека A и один фрагмент съемки человека B, которые чередуются несколько раз.

Модуль SAM установления соответствия с фрагментом съемки может сравнить фрагмент съемки с другим фрагментом съемки для проверки того, удовлетворяют ли этот и другой фрагмент съемки заданному критерию подобия, или нет. Критерий подобия фрагмента съемки может быть основан на свойствах изображения, идентичных тем, на которых основан критерий подобия изображения, который используется для идентификации непрерывных подпоследовательностей выбранных изображений, что рассмотрено выше со ссылкой на Фиг. 1 - Фиг. 4. Со ссылкой на чертеж Фиг. 3, в модуле IPD определения свойств изображения могут храниться соответствующие наборы свойств изображения IP, которые были определены. В таком случае модуль SAM установления соответствия с фрагментом съемки, проиллюстрированный на чертеже Фиг. 5, может использовать эти результаты для определения того, удовлетворяют ли два фрагмента съемки заданному критерию подобия, или нет. В том случае, когда два фрагмента съемки удовлетворяют заданному критерию подобия для фрагментов съемки, модуль SAM установления соответствия с фрагментом съемки сопоставляет эти два фрагмента съемки друг с другом. Аналогичным образом, модуль SAM установления соответствия с фрагментом съемки может ставить еще и другие фрагменты съемки в соответствие двум фрагментам съемки, которые были поставлены в соответствие друг другу.

Модуль LIU обновления указателя длины обновляет указатель LI длины для репрезентативного изображения RI фрагмента съемки, которое было поставлено в соответствие, по меньшей мере, одному другому фрагменту съемки. А именно, указатель LI длины обновляют путем добавления к нему соответствующих указателей длины для соответствующих репрезентативных изображений соответствующих других фрагментов съемки, которые были поставлены в соответствие фрагменту съемки. Более того, для соответствующих фрагментов съемки, которые были поставлены в соответствие друг другу, может быть сохранено одно репрезентативное изображение. Это одно репрезентативное изображение имеет указатель длины, который был обновлен так, как описано выше. В том случае, если указатель длины был обновлен, модуль RIS выбора репрезентативного изображения учитывает этот обновленный указатель длины для определения репрезентативного изображения RI_SE раздела.

Модуль NAV, обеспечивающий возможность навигации, генерирует выводимое на экран изображение NVS для навигации, содержащее соответствующие репрезентативные изображения RI, которые были выбраны для соответствующих разделов в видеоинформации VD. В выводимом на экран изображении NVS для навигации соответствующие репрезентативные изображения RI содержатся в соответствующих областях, поставленных в соответствие соответствующим разделам в видеоинформации VD. Соответствующие области могут дополнительно содержать текстовую информацию в дополнение к репрезентативному изображению. Текстовая информация может указывать, например, конкретный промежуток времени или дату и время записи, или оба этих параметра. В любом случае конкретный раздел может быть выбран путем выбора области, поставленной в соответствие конкретному разделу и содержащей его репрезентативное изображение. Этот выбор может быть произведен, например, посредством указателя на выводимом на экран изображении для навигации и компьютерного манипулятора типа "мышь". Затем модуль SDF определения раздела может разделять этот выбранный раздел на соответствующие подразделы, для которых модуль RIS выбора репрезентативного изображения может определять репрезентативные изображения описанным выше способом.

На Фиг. 7 проиллюстрирован пример выводимого на экран изображения NVS для навигации. В этом примере выводимое на экран изображение для навигации отображает пять соответствующих разделов SE1-SE5 в видеоинформации VD. Пять соответствующих разделов SE1-SE5 представлены посредством пяти репрезентативных изображений RI_SE1-RI_SE5, которые были выбраны описанным выше способом. Эти пять репрезентативных изображений RI_SE1-RI_SE5, содержатся в пяти соответствующих областях AE1-AE2, поставленных в соответствие пяти соответствующим разделам SE1-SE5. В этом примере выбран раздел SE3, который вызывает выделение яркостью области AE3, поставленной в соответствие этому разделу.

Модуль RIS выбора репрезентативного изображения, проиллюстрированный на Фиг. 6, также может служить для выбора репрезентативного изображения RI для всей видеоинформации VD. Для этого модуль RIS выбора репрезентативного изображения выполняет операции, аналогичные тем, которые описаны выше. А именно, модуль RIS выбора репрезентативного изображения извлекает соответствующие указатели LI длины для соответствующих репрезентативных изображений RI соответствующих фрагментов SH съемки во всей видеоинформации VD. Модуль RIS выбора репрезентативного изображения сравнивает эти соответствующие указатели LI длины для определения наибольшего указателя длины. Затем модуль RIS выбора репрезентативного изображения выбирает репрезентативное изображение, имеющее этот наибольший указатель длины. Это выбранное репрезентативное изображение представляет собой репрезентативное изображение для всей видеоинформации.

На Фиг. 8 проиллюстрирована система VSE поиска видеоинформации. Система VSE поиска видеоинформации содержит модуль SRCH поиска, модуль SRP обработки результатов поиска, и модуль SRI индикации результатов поиска. Система VSE поиска видеоинформации, соединенная с коллекцией видеозаписей VDC способом, обеспечивающим связь между ними. Как описано в предыдущем абзаце, для соответствующих видеозаписей VD_1-VD_N из коллекции были выбраны соответствующие репрезентативные изображения RI_{VD_1}-RIVD_{VD_N}.

Система VSE поиска видеоинформации, по существу, функционирует следующим образом. Модуль SRCH поиска принимает критерии CT поиска и, в ответ на это, идентифицирует соответствующие видеозаписи из коллекции, которые удовлетворяют критериям CT поиска. Модуль SRP обработки результатов поиска идентифицирует, среди соответствующих видеозаписей, удовлетворяющих критерию CT поиска, соответствующие видеозаписи, для которых соответствующие репрезентативные изображения удовлетворяют критерию подобия изображений. Этот критерий подобия изображений может быть основан на одном или на большем количестве свойств изображения, и, если это так, включает в себя операции, описанные выше применительно к модулю IPC сравнения свойств изображения, который проиллюстрирован на Фиг. 3. Критерий подобия изображения может быть относительно строгим. В том случае, если были идентифицированы соответствующие видеозаписи, которые являются, по меньшей мере, частично идентичными, репрезентативные изображения для этих соответствующих видеозаписей будут весьма похожими или даже идентичными. Это объясняется тем, что, как описано выше, репрезентативные изображения были выбраны из самых длинных подпоследовательностей изображений, которые, как было установлено, являются в достаточной мере похожими друг на друга.

Модуль SRI индикации результатов поиска указывает соответствующие видеозаписи, для которых соответствующие репрезентативные изображения удовлетворяют критерию подобия изображений, совместно как один элемент результата поиска. Соответствующие видеозаписи, которые указаны как один элемент результата поиска, обычно являются идентичными, по меньшей мере, частично. Указание соответствующих видеозаписей, которые являются, по меньшей мере, частично, идентичными, как одного элемента результата поиска помогает пользователю понять и оценить результаты поиска.

Приведенное выше подробное описание со ссылкой на чертежи является просто иллюстрацией настоящего изобретения и дополнительных отличительных признаков, которые изложены в формуле изобретения. Изобретение может быть реализовано многочисленными различными способами. Для иллюстрации этого приведено краткое описание некоторых альтернативных вариантов.

Например, видеопроцессор VPR, проиллюстрированный на Фиг. 1, может являться частью сервера видеоинформации, из которого могут быть загружены видеозаписи. В этом случае клиентская станция может загружать видеоинформацию из сервера видеоинформации вместе с маркерами отрезков фрагментов съемки и идентификаторами репрезентативных изображений, сгенерированными сервером видеоинформации. Видеобраузер VBR, проиллюстрированный на Фиг. 3, может являться частью клиентской станции, для обеспечения возможности удобного просмотра видеоинформации на основании идентификаторов репрезентативных изображений и, в частности, указателей длины, содержащихся в этих идентификаторах.

Существуют многочисленные способы выбора изображений из фрагмента съемки для получения непрерывной последовательности выбранных изображений, которые равномерно распределены по всему фрагменту съемки. Подвыборка является предпочтительной, но не обязательной. В принципе, могут быть выбраны все изображения из фрагмента съемки. В том случае, если применяют подвыборкау, выбранные изображения не обязательно должны быть расположены в точности на равном удалении друг от друга. Например, выбранные изображения могут быть расположены на сетке времени, имеющей небольшие неравномерности.

Существуют многочисленные способы идентификации непрерывной подпоследовательности выбранных изображений, удовлетворяющих заданному критерию подобия. Например, на первом этапе могут быть проанализированы все изображения для получения результатов анализа изображений, к которым может быть применен заданный критерий подобия на втором этапе. Более того, существуют многочисленные различные схемы сравнения выбранных изображений друг с другом. Например, выбранное изображение может быть сравнено с непосредственно предыдущим выбранным изображением, а также с более ранними предыдущими выбранными изображениями, которые, как было установлено, удовлетворяют заданному критерию подобия. Однако, такой подход требует большего объема вычислений, чем описанные выше. Кроме того, следует отметить, что заданный критерий подобия может включать в себя определение соответствующих показателей различия для соответствующих свойств изображения. В этом случае могут быть заданы соответствующие пороговые значения для соответствующих показателей различия для принятия соответствующих решений относительно частичного подобия. Соответствующее решение относительно частичного подобия фактически может быть сгруппировано в общее решение относительно подобия посредством, например, логической функции И.

Существуют многочисленные способы выбора репрезентативного изображения для фрагмента съемки из непрерывной устойчивой части фрагмента съемки, которая совпадает по времени с самой длинной непрерывной подпоследовательностью выбранных изображений, удовлетворяющих заданному критерию подобия. Репрезентативным изображением может являться одно из выбранных изображений в самой длинной непрерывной подпоследовательности. Репрезентативным изображением также может являться изображение, которое по времени расположено между двумя такими выбранными изображениями. Может использоваться любая конкретная схема выбора, поскольку в непрерывной устойчивой части фрагмента съемки, которая совпадает по времени с самой длинной непрерывной подпоследовательностью выбранных изображений, удовлетворяющих заданному критерию подобия, изображения являются весьма похожими. В принципе, изображение даже может быть выбрано случайным образом из непрерывной устойчивой части фрагмента съемки, совпадающей по времени с самой длинной непрерывной подпоследовательностью.

Следует понимать, что термин "изображение" истолковывается в широком смысле. Под этот термин подпадают данные любого типа, отображающие визуальную информацию. Например, этот термин является взаимозаменяемым с другими терминами, такими как, например, картина, кадр и поле.

В общем, существуют многочисленные различные способы реализации изобретения, в силу чего различные варианты реализации могут иметь различные топологии. В любой заданной топологии один модуль может выполнять несколько функций, или несколько модулей могут совместно выполнять одну функцию. В этом отношении, чертежи являются очень схематичными. Например, со ссылкой на Фиг. 3, модуль IPD определения свойств изображения и модуль IPC сравнения свойств изображения могут являться частью одного программного модуля.

Существуют многочисленные функции, которые могут быть реализованы посредством аппаратных средств или программного обеспечения, или их комбинации. Описание программной реализации не исключает аппаратную реализацию, и наоборот. Также возможны гибридные варианты реализации, которые содержат одну или большее количество специализированных схемы, а также один или большее количество соответствующим образом запрограммированных процессоров. Например, различные функции, описанные выше со ссылкой на чертежи, могут быть реализованы посредством одной или большего количества специализированных схем, в соответствии с чем конкретная топология схемы задает конкретную функцию.

Существуют многочисленные способы хранения и распределения набора команд, то есть, программы, которая позволяет идентифицировать репрезентативные изображения согласно настоящему изобретению. Например, программа может хранится на подходящем носителе информации, таком как, например, магнитный диск, оптический диск или запоминающая схема. Носитель информации, на котором хранится программа, может поставляться как отдельное изделие или вместе с другим изделием, которое может выполнять программу. Такой носитель информации также может являться частью изделия, который обеспечивает возможность выполнения программы. Программа также может быть распространена через сети связи, которые могут являться проводными, беспроводными или гибридными. Например, программа может быть распространена через сеть Интернет. Программа может быть сделана доступной для скачивания посредством сервера. Скачивание может являться платным.

Приведенные выше комментарии демонстрируют, что подробное описание со ссылкой на чертежи является иллюстрацией настоящего изобретения, а не ограничением. Существуют многочисленные альтернативные варианты, которые не выходят за пределы объема прилагаемой формулы изобретения. Любую ссылочную позицию в пункте формулы изобретения не следует истолковывать как ограничение пункта формулы изобретения. Слово "содержащий" не исключает наличия иных элементов или операций, чем те, которые перечислены в пункте формулы изобретения. Неопределенный артикль "a" или "an" перед элементом или операцией не исключают наличие множества таких элементов или операций. Сам факт того, что соответствующие зависимые пункты формулы изобретения определяют соответствующие дополнительные отличительные признаки, не исключает комбинаций дополнительных отличительных признаков, иных чем те, которые отражены в формуле изобретения.

Группа изобретений относится к области определения репрезентативного изображения, по меньшей мере, для одного фрагмента видеосъемки. Техническим результатом является повышение скорости определения репрезентативного изображения. Видеоинформация содержит по меньшей мере один фрагмент съемки (SH), представляющий собой непрерывную последовательность изображений, отображающих сцену на виде с конкретного местоположения. Из фрагмента съемки (SH) выбирают изображения для получения непрерывной последовательности выбранных изображений (SI), равномерно распределенных по всему фрагменту съемки. Идентифицируют, по меньшей мере, одну непрерывную подпоследовательность (SB1, SB2, SB3) выбранных изображений, удовлетворяющих заданному критерию подобия. Из непрерывной части (SP) фрагмента съемки, которая совпадает по времени с самой длинной непрерывной подпоследовательностью (SB2) выбранных изображений, удовлетворяющих заданному критерию подобия, выбирают изображение. Выбранное изображение представляет собой репрезентативное изображение (RI) для фрагмента съемки. 6 н. и 8 з.п. ф-лы, 8 ил.

1. Способ определения репрезентативного изображения (RI), по меньшей мере, для одного фрагмента съемки (SH) в видеоинформации (VD), причем этот фрагмент съемки представляет собой непрерывную последовательность изображений, отображающих сцену на виде из конкретного местоположения, содержащий:
- операцию выборки фрагмента съемки (SHS), при которой из фрагмента съемки выбирают изображения для получения непрерывной последовательности выбранных изображений (SI), равномерно распределенных по всему фрагменту съемки;
- операцию идентификации устойчивой части фрагмента съемки (SPI), при которой идентифицируют, по меньшей мере, одну непрерывную подпоследовательность (SB) выбранных изображений, удовлетворяющих заданному критерию подобия; и
- операцию назначения репрезентативного изображения (RID), которой выбирают изображение из непрерывной части (SP) фрагмента съемки, которая совпадает по времени с самой длинной непрерывной подпоследовательностью выбранных изображений, удовлетворяющих заданному критерию подобия, в силу чего выбранное изображение представляет собой репрезентативное изображение (RI) для фрагмента съемки.

2. Способ по п. 1, в котором при операции идентификации устойчивой части фрагмента съемки (SPI) выполняют следующую последовательность операций для соответствующих выбранных изображений:
- операцию определения меры различия (IPD, IPC), при которой, по меньшей мере, одно свойство изображения (IP) в выбранном изображении сравнивают со свойством другого выбранного изображения для определения меры, различия (DM) для выбранного изображения; и
- операцию оценки меры различия (SBI), при которой выбранное изображение классифицируют как принадлежащее к непрерывной подпоследовательности (SB) выбранных изображений, удовлетворяющих заданному критерию подобия, или как не принадлежащее к ней, в зависимости от того, является ли мера различия для выбранного изображения соответственно меньшей, чем пороговое значение (ТН), или нет.

3. Способ по п. 2, в котором выбранное изображение сравнивают с непосредственно соседним выбранным изображением.

4. Способ по п. 2, в котором в том случае, если непосредственно предыдущее выбранное изображение принадлежит к непрерывной подпоследовательности выбранных изображений, удовлетворяющих заданному критерию подобия, выбранное изображение сравнивают с тем выбранным изображением, с которого начинается эта непрерывная подпоследовательность выбранных изображений.

5. Способ по п. 2, в котором при операции определения меры различия (IPD, IPC) соответствующие различия свойств изображения объединяют в показатель различия (DM), который представляет собой меру различия, причем соответствующие различия свойств изображения получают путем сравнения соответствующих свойств изображения (IP) в выбранном изображении с соответствующими свойствами, по меньшей мере, одного другого выбранного изображения.

6. Способ по п. 1, в котором при операции выборки фрагмента съемки (SHS) выбирают одно изображение из каждой последовательности из N последовательных изображений, где N - целое число, большее 1.

7. Способ по п. 1, в котором при операции назначения репрезентативного изображения (RID) обеспечивают указатель длины (LI) для репрезентативного изображения (RI), причем этот указатель длины отображает промежуток времени, охваченный непрерывной частью (SP) того фрагмента съемки, из которого выбрано репрезентативное изображение.

8. Способ по п. 7, дополнительно содержащий:
- операцию установления соответствия фрагмента съемки (SAM), при которой этот фрагмент съемки ставят в соответствие, по меньшей мере, одному другому фрагменту съемки, который при сравнении с этим фрагментом съемки удовлетворяет критерию подобия фрагментов съемки; и
- операцию обновления указателя длины (LIU), при которой обновляют указатель длины (LI) для репрезентативного изображения (RI) фрагмента съемки путем добавления к нему соответствующих указателей длины для соответствующих репрезентативных изображений соответствующих других фрагментов съемки, которые были поставлены в соответствие этому фрагменту съемки.

9. Способ быстрого просмотра видеоинформации (VD), в котором используются результаты, полученные путем выполнения способа по п. 7, причем эти результаты содержат соответствующие репрезентативные изображения (RI), которые были определены для соответствующих фрагментов съемки (SH), содержащихся в видеоинформации, и соответствующие указатели длины (LI) для соответствующих репрезентативных изображений, содержащий:
- операцию задания разделов (SDF), при которой задают соответствующие разделы (SE) в видеоинформации, при этом для соответствующих разделов в видеоинформации выполняют следующую операцию:
- операцию выбора репрезентативного изображения (RIS), при которой сравнивают соответствующие указатели длины (LI1-LI4) для соответствующих репрезентативных изображений (RI1-RI4) соответствующих фрагментов съемки (SH1-SH4) в разделе (SE), причем для создания репрезентативного изображения (RI_SE) для раздела выбирают то репрезентативное изображение, которое имеет наибольший указатель длины.

10. Способ быстрого просмотра видеоинформации (VD) по п. 9, в котором для соответствующих разделов (SE1-SE5) видеоинформации были выбраны соответствующие репрезентативные изображения (RI_SE1-RI_SE5), дополнительно содержащий:
- операцию предоставления возможности навигации (NAV), при которой генерируют выводимое на экран изображение для навигации (NVS), которое содержит соответствующие репрезентативные изображения для соответствующих разделов видеоинформации, при этом в соответствующих выбираемых областях (АЕ1-АЕ5), поставленных в соответствие соответствующим разделам, содержатся соответствующие репрезентативные изображения.

11. Способ определения репрезентативного изображения для видеоинформации (VD), в котором используют результаты, полученные путем выполнения способа по п. 7, причем эти результаты содержат соответствующие репрезентативные изображения (RI), которые были определены для соответствующих фрагментов съемки (SH), содержащихся в видеоинформации, и соответствующие указатели длины (LI) для соответствующих репрезентативных изображений, содержащий:
- операцию выбора репрезентативного изображения (RIS), при которой сравнивают соответствующие указатели длины для соответствующих репрезентативных изображений, при этом для создания репрезентативного изображения для видеоинформации выбирают то репрезентативное изображение, которое имеет наибольший указатель длины.

12. Способ поиска видеоинформации (VD) в коллекции видеозаписей (VDC), в котором используют результаты, полученные путем выполнения способа по п. 11, причем эти результаты содержат соответствующие репрезентативные изображения (RI_{VD_1}-RI_{VD_N}) для соответствующих видеозаписей (VD_1-VD_N) в коллекции, содержащий:
- операцию поиска (SRCH), при которой идентифицируют соответствующие видеозаписи из коллекции, которые удовлетворяют критерию поиска;
- операцию обработки результатов поиска (SRP), при которой из соответствующих видеозаписей, удовлетворяющих критерию поиска, идентифицируют те соответствующие видеозаписи, для которых соответствующие репрезентативные изображения удовлетворяют критерию подобия изображения; и
- операцию представления результатов поиска (SRI), при которой соответствующие видеозаписи, для которых соответствующие репрезентативные изображения, удовлетворяющие критерию подобия изображений, совместно указывают как один элемент результата поиска.

13. Видеопроцессор (VPR), способный определять репрезентативное изображение (RI), по меньшей мере, для одного фрагмента съемки (SH) в видеоинформации (VD), причем этот фрагмент съемки представляет собой непрерывную последовательность изображений, отображающих сцену на виде из конкретного местоположения, содержащий:
модуль выборки фрагмента съемки (SHS), приспособленный для выбора изображений из фрагмента съемки для получения непрерывной последовательности выбранных изображений (SI), равномерно распределенных по всему фрагменту съемки;
модуль идентификации устойчивой части фрагмента съемки (SPI), приспособленный для идентификации, по меньшей мере, одной непрерывной подпоследовательности (SB) выбранных изображений, удовлетворяющих заданному критерию подобия; и
модуль назначения репрезентативного изображения (RID), приспособленный для выбора изображения из непрерывной части (SP) фрагмента съемки, которая совпадает по времени с самой длинной непрерывной подпоследовательностью выбранных изображений, удовлетворяющих заданному критерию подобия, в силу чего выбранное изображение представляет собой репрезентативное изображение (RI) для фрагмента съемки.

14. Носитель информации, на котором хранятся результаты, полученные путем выполнения способа по п. 7, причем эти результаты содержат соответствующие репрезентативные изображения (RI), которые были определены для соответствующих фрагментов съемки (SH), содержащихся в видеоинформации (VD), и соответствующие указатели длины (LI) для соответствующих репрезентативных изображений.