НАВИГАЦИЯ ПО ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ ЧЕРЕЗ МЕСТОПОЛОЖЕНИЕ ОБЪЕКТА Российский патент 2017 года по МПК G06F17/30 H04N21/472 G06F3/484 

Настоящее изобретение относится к способу осуществления навигации в последовательности изображений, например в фильме, и для воспроизведения данной последовательности изображений в интерактивном режиме, особенно для видеопоследовательностей, воспроизводимых на портативных устройствах, обеспечивающих возможность легкого взаимодействия с пользователем, а также относится к устройству для осуществления данного способа.

Для осуществления анализа видеопоследовательности существуют различные технологии. В уровне техники известна технология, называемая «сегментация объекта», используемая для производства пространственных сегментаций изображения, то есть границ объекта, на основе информации о цвете и текстуре. Объект быстро определяется пользователем, использующим технику сегментации объекта, просто посредством выбора одной или более точек внутри данного объекта. Известными алгоритмами сегментации объекта являются «разрез графа» и «водораздел». Другая техника называется «отслеживание объекта». После того, как объект был определен посредством его пространственной границы, осуществляется автоматическое отслеживание данного объекта в последующей последовательности изображений. Для отслеживания объекта объект обычно описывается посредством его цветового распределения. Известным алгоритмом для отслеживания объекта является «сдвиг среднего». Для увеличенной четкости и устойчивости некоторые алгоритмы опираются на структуру внешнего вида объекта. Известным дескриптором для отслеживания объекта является масштабно-инвариантная трансформация признаков (SIFT). Дополнительная техника называется «обнаружение объекта». Типовая техника обнаружения объекта для вычисления статистической модели внешнего вида назначенного к обнаружению объекта использует машинное обучение. Это требует наличия множества примеров объектов (проверка экспериментальными данными). Автоматическое обнаружение объекта выполняется на новых изображениях посредством использования моделей. Модели обычно опираются на SIFT-дескрипторы. Наиболее распространенные методы машинного обучения, используемые сегодня, включают в себя усиление и метод опорных векторов (SVM). В дополнение к этому специализированным приложением по обнаружению объекта является обнаружение лица. В этом случае используемые признаки обычно представляют собой параметры фильтра, более конкретно - параметры «вейвлета Хаара». Хорошо известное осуществление опирается на каскадные усиленные классификаторы, например Виолы-Джонса.

Пользователи, просматривающие видеосодержимое, такое как новости или документальные фильмы, могут хотеть взаимодействовать с видеопоследовательностью путем пропуска некоторого сегмента или непосредственного перехода к некоторой точке. Такая возможность является еще более желаемой при использовании устройства с сенсорным управлением, такого как планшетный компьютер, используемый для воспроизведения видеопоследовательности, которое облегчает взаимодействие с устройством отображения.

Для обеспечения возможности такой нелинейной навигации в некоторых системах доступны несколько средств. Первым примером является пропуск фиксированного интервала времени воспроизведения, например перемещение вперед по видеопоследовательности на 10 или 30 секунд. Вторым примером является переход к следующему отрезку или к следующей группе изображений (GOP). Эти два случая обеспечивают ограниченный семантический уровень лежащего в основе анализа. Механизм пропуска ориентируется по видеоданным, а не по содержанию фильма. Для пользователя не ясно, какое изображение отображается в конце перехода. Кроме того, длительность пропускаемого интервала является короткой.

Третий пример заключается в выполнении перехода к следующей сцене. Сцена представляет собой состоящую из серии кадров часть действия в одном местоположении в телевизионном шоу или в фильме. Когда осуществляется пропуск всей сцены, это означает в общем переход к части фильма, в которой начинается другое действие, в другом местоположении по фильму. Пропускаться может слишком длительная часть видеопоследовательности. Пользователь может желать осуществлять перемещение более мелкими этапами.

В некоторых системах, в которых доступен углубленный анализ видеопоследовательности, даже некоторые объекты или персонажи могут индексироваться. Пользователи могут затем осуществлять нажатия по этим объектам/лицам, когда те появляются на видеоизображении, и тогда система может осуществлять перемещение к точке, где эти персонажи появляются снова, или отображать дополнительную информацию по данному конкретному объекту. Этот способ опирается на определенное количество объектов, которые система может эффективно индексировать. В настоящее время существует сравнительно малое количество детекторов по сравнению с огромным разнообразием объектов, которые можно обнаружить, например, в стандартном новостном видеосюжете.

Задача настоящего изобретения состоит в создании способа навигации и устройства для осуществления данного способа, которые преодолевают вышеописанные ограничения и предлагают более удобную для пользователя и интуитивно понятную навигацию.

Согласно изобретению предложен способ осуществления навигации в последовательности изображений. Данный способ содержит этапы, на которых:

- отображают изображение на экране.

- выбирают первый объект отображенного изображения в первом положении в соответствии с первым вводом. Данный первый ввод представляет собой ввод от пользователя или ввод от какого-либо другого устройства, соединенного с устройством, осуществляющим способ.

- перемещают первый объект во второе положение в соответствии со вторым вводом. В альтернативном варианте первый объект обозначается посредством символа, например крестика, плюса или кружка, и вместо самого первого объекта перемещается этот символ. Второе положение представляет собой положение на экране, определенное посредством, например, координат. Один другой способ определения второго положения представляет собой определение положения первого объекта относительно по меньшей мере одного другого объекта в изображении.

- идентифицируют по меньшей мере одно изображение в последовательности изображений, где первый объект является расположенным близко ко второму положению.

- начинают воспроизведение последовательности изображений с одного из идентифицированных изображений. Воспроизведение начинается с первого изображения, идентифицированного как выполняющее условие того, что первый объект и второй объект расположены близко друг к другу. Одно другое решение заключается в том, что способ идентифицирует все изображения, удовлетворяющие этому условию, и пользователь выбирает одно из изображений, удовлетворяющее условию, чтобы начать воспроизведение с этого изображения. Одно дополнительное решение заключается в том, что в качестве стартовой точки для воспроизведения в последовательности изображений используется изображение, для которого расстояние между двумя объектами является наименьшим. Для определения расстояния между объектами используется, например, абсолютное значение. Одним из других способов определения, является ли объект расположенным близко к другому объекту, является использование только координат X или координат Y, или оценивание расстояния по направлению X и Y с использованием различных весовых коэффициентов.

Способ имеет преимущество, состоящее в том, что пользователь, просматривающий последовательность изображений, представляющую собой фильм или новостную программу, в процессе трансляции или записи осуществляет навигацию через последовательность изображений в соответствии с контентом изображений и не является зависимым от некоторой фиксированной структуры транслируемого потока, определяемой в основном техническими факторами. Навигация делается интуитивно понятной и более удобной для пользователя. В предпочтительном варианте способ выполняется в режиме реального времени, так что пользователь имеет ощущение фактического перемещения объекта. Посредством конкретного взаимодействия пользователь запрашивает точку во времени, когда обозначенный объект исчезает с экрана.

Первый ввод для выбора первого объекта представляет собой нажатие по объекту или очерчивание ограничивающего контура вокруг объекта. Таким образом, пользователь применяет широко известные способы ввода для интерфейса «человек-машина». Если существует индексация, пользователь также может выбирать объекты из базы данных посредством этого индекса.

Согласно изобретению этап перемещения первого объекта во второе положение в соответствии со вторым вводом включает в себя этапы, на которых:

- выбирают второй объект отображенного изображения в третьем положении в соответствии с дополнительным вводом,

- определяют целевое местоположение перемещения первого объекта относительно данного второго объекта,

- перемещают первый объект в целевое местоположение.

Этап идентификации дополнительно включает в себя этап, на котором идентифицируют по меньшей мере одно изображение в последовательности изображений, где относительное положение целевого местоположения первого объекта расположено близко к положению второго объекта.

Это имеет преимущество, состоящее в том, что пользователь может не только выбирать местоположение на экране, относящееся к физическим координатам экрана, но также может выбирать положение, где он ожидает увидеть объект по отношению к другим объектам в изображении. Например, в записанной футбольной игре первым объектом может быть мяч, и пользователь может перемещать мяч в направлении цели, поскольку он ожидает, что, когда мяч расположен близко к цели, имеет место сцена, в которой он (пользователь) может быть заинтересован, поскольку это может происходить непосредственно перед тем, как команда забивает гол или как игрок пробивает мяч над целью. Такой тип навигации посредством объекта является полностью независимым от координат экрана, но зависит от относительного расстояния двух объектов в изображении. Целевое местоположение первого объекта, расположенное близко к положению второго объекта, также включает в себя то, что второй объект находится точно в том же самом положении, что и целевое местоположение, или что второй объект перекрывает целевое местоположение перемещаемого первого объекта. Предпочтительно размер объектов и их изменение во времени рассматриваются как определяющие относительное положение двух объектов друг к другу. Дополнительная альтернатива заключается в том, что пользователь выбирает объект, например лицо, и затем увеличивает масштаб ограничивающего контура данного лица для определения размера лица. Впоследствии в последовательности изображений осуществляется поиск изображения, на котором лицо является отображенным в таком же размере или в размере, близком к данному размеру. Этот признак имеет преимущество в том, что, если, например, осуществляется воспроизведение интервью, и пользователю интересна речь конкретного человека, предполагается, что когда данный человек говорит, лицо этого человека отображается так, что занимает практически наибольшую часть экрана. Таким образом, преимущество данного изобретения заключается в том, что в наличии имеется простой способ перехода к части записи, где осуществляется интервьюирование конкретного человека. Выбор первого объекта и второго объекта не обязательно должен осуществляться в одном и том же самом изображении из последовательности изображений.

Дополнительный ввод для выбора второго объекта представляет собой нажатие по объекту или очерчивание ограничивающего контура вокруг объекта. Таким образом, пользователь применяет широко известные способы ввода для интерфейса «человек-машина». Если существует индексация, пользователь также может выбирать объекты, посредством этого индекса, из базы данных.

Для выбора объектов применяются: сегментация объекта, обнаружение объекта или обнаружение лица. Когда осуществляется обнаружение первого объекта, методы отслеживания объекта используются для отслеживания положения этого объекта в последующих изображениях из последовательности изображений. Также для выбора объекта применяется метод ключевых точек. Дополнительно для определения схожести объектов в различных изображениях в последовательности изображений используется описание по ключевым точкам. Для выбора, идентификации и отслеживания объекта используется комбинация вышеуказанных способов. Иерархическая сегментация создает дерево, чьи узлы и листья соответствуют гнездовым областям изображений. Эта сегментация выполняется заранее. Если пользователь выбирает объект посредством касания заданной точки изображения, выбирается наименьший узел, содержащий эту точку. Если от пользователя принимается дополнительное касание, узел, выбранный с помощью первого касания, рассматривается как родительский для узла, выбранного с помощью второго касания. Таким образом, соответствующая область рассматривается как определяющая объект.

В соответствии с данным изобретением для идентификации по меньшей мере одного изображения, где объект расположен близко ко второму положению, осуществляется анализ только части изображений из последовательности изображений. Эта назначенная к анализу часть представляет собой определенное количество изображений, следующих за фактическим изображением, то есть определенное количество изображений, представляющих определенное время воспроизведения после отображаемого в текущий момент изображения. Одним другим путем осуществления способа является анализ всех последующих изображений, начиная от отображаемого в текущий момент изображения, или всех предшествующих изображений до отображаемого в текущий момент изображения. Такое осуществление навигации в последовательности изображений является знакомым для пользователя способом, поскольку представляет собой навигацию в виде быстрой прокрутки вперед или быстрой прокрутки назад. В соответствии с одним другим осуществлением данного изобретения, для навигации на основе объекта осуществляется анализ только изображений I, или только изображений I и P, или всех изображений.

Данное изобретение также относится к устройству для навигации в последовательности изображений в соответствии с описанным выше способом.

Далее для лучшего понимания настоящее изобретение будет более подробно раскрыто в нижеследующем описании со ссылкой на чертежи. Следует понимать, что данное изобретение не ограничивается этим иллюстративным вариантом осуществления и что конкретные признаки могут также, в интересах целесообразности, комбинироваться и/или модифицироваться, не выходя за рамки объема настоящего изобретения.

Фиг. 1 демонстрирует устройство для воспроизведения последовательности изображений и для выполнения способа согласно изобретению.

фиг. 2 демонстрирует способ навигации согласно изобретению.

фиг. 3 демонстрирует блок-схему последовательности операций, иллюстрирующую способ согласно изобретению.

фиг. 4 демонстрирует первый пример навигации в соответствии со способом согласно изобретению.

фиг. 5 демонстрирует второй пример навигации в соответствии со способом согласно изобретению.

Фиг. 1 схематически изображает устройство воспроизведения для отображения последовательности изображений. Данное устройство воспроизведения включает в себя экран 1, ТВ-приемник, HDD-, DVD-, BD-плеер или подобное этому, в качестве источника 2 последовательности изображений, а также интерфейс 3 «человек-машина». Устройство воспроизведения может также представлять собой устройство, включающее в себя все функции, например планшетный компьютер, где экран также используется в качестве интерфейса «человек-машина» (сенсорного экрана), и присутствует жесткий диск или флэш-карта для хранения игрового фильма или документального фильма, а также устройство включает в себя широковещательное приемное устройство.

Фиг. 2 демонстрирует последовательность 100 изображений, например, игрового фильма, документального фильма или спортивного события, содержащую множество изображений. Изображение 101, отображающееся на экране в текущий момент, представляет собой точку начала для способа согласно изобретению. На первом этапе вид 11 на экране отображает это изображение 101. Выбор первого объекта 12 осуществляется в соответствии с первым вводом, принятым от интерфейса «человек-машина». Затем этот первый объект 12 или символ, представляющий этот первый объект, перемещается в какое-либо другое местоположение 13 на экране, например, посредством «перетаскивания» и «сбрасывания», в соответствии со вторым вводом, принятым посредством интерфейса «человек-машина». На виде 21 на экране проиллюстрировано новое местоположение 13 первого объекта 12. Затем способ идентифицирует по меньшей мере одно изображение 102 в последовательности 100 изображений, в котором первый объект 12 находится в местоположении 14, расположенном близко к местоположению 13, куда этот объект был перемещен. На этом изображении местоположение 14 находится на определенном расстоянии 15 от желаемого местоположения 13, обозначенного посредством движения «перетаскивания» и «сбрасывания». Это расстояние 15 используется в качестве измерителя для оценки, насколько близкими являются желаемое положение и положение в рассматриваемом изображении. Это проиллюстрировано на виде 31 на экране. После идентификации наилучшего изображения, в соответствии с запросом пользователя, осуществляется отображение этого изображения на виде 41 на экране. Данное изображение имеет определенное положение, продемонстрированное в качестве изображения 102, в последовательности 100 изображений. Воспроизведение последовательности 100 изображений осуществляется от этого определенного местоположения.

Фиг. 3 иллюстрирует этапы, выполняемые посредством способа. На первом этапе 200 осуществляется выбор объекта в отображенном изображении в соответствии с первым вводом. Данный ввод принимается от интерфейса «человек-машина». Предполагается, что описываемый процесс выбора выполняется в короткий промежуток времени. Это обеспечивает вероятность того, что внешний вид объекта не изменяется слишком сильно. В целях обнаружения выбранного объекта выполняется анализ изображения. Данное изображение текущего кадра анализируется, и извлекается интересующая точка, захватывающая набор присутствующих в изображении ключевых точек. Эти ключевые точки располагаются в месте, где присутствуют сильные градиенты. Эти ключевые точки извлекаются с описанием окружающей текстуры. Когда выбирается положение в изображении, осуществляется подбор ключевых точек вокруг этого положения. Радиус области, в которой осуществляется подбор ключевых точек, представляет собой параметр способа. Выбор ключевых точек осуществляется с помощью других способов, например, посредством пространственной сегментации. Набор извлеченных ключевых точек составляет описание выбранного объекта. После выбора первого объекта на этапе 210 объект перемещается во второе положение. Это перемещение выполняется в соответствии со вторым вводом, представляющим собой ввод от интерфейса «человек-машина». Перемещение реализуется как «перетаскивание» и «сбрасывание». Затем, на этапе 220, способ идентифицирует по меньшей мере одно изображение в последовательности изображений, в котором первый объект расположен близко ко второму положению, представляющему собой местоположение изображения, обозначенное пользователем. Схожесть объекта в различных изображениях осуществляется посредством сравнения набора ключевых точек. На этапе 230 способ переходит к идентифицированному изображению, и начинается воспроизведение.

Фиг. 4 демонстрирует пример применения способа при просмотре разговорного шоу, в котором множество людей обсуждают выбранную тему. Время воспроизведения всего шоу обозначается посредством стрелки t. В момент времени t1 на экране отображается первое изображение; изображение включает в себя три лица. Пользователю интересен человек, отображенный в левой части экрана, и он выбирает данного человека посредством очерчивания ограничивающего контура вокруг лица. Затем пользователь «перетаскивает» выбранный объект (лицо с причудливыми волосками) в середину экрана и в дополнение к этому увеличивает ограничивающий контур с целью обозначения того, что он желает видеть этого человека в середине экрана и крупным планом. Таким образом, в последовательности изображений осуществляется поиск изображения, выполняющего данное требование, это изображение обнаруживается в момент времени t2, и это изображение отображается, а воспроизведение начинается с этого момента времени t2.

Фиг. 5 демонстрирует пример применения способа при просмотре футбольной игры. В момент времени t1 демонстрируется сцена игры в середине поля. Присутствуют четыре игрока, один из них находится поблизости от мяча. Пользователь заинтересован в определенной ситуации, например, в следующем штрафном ударе. Таким образом, он с помощью ограничивающего контура выбирает мяч и отслеживает объект до одиннадцатиметровой отметки с целью обозначения того, что он желает увидеть сцену, где мяч находится точно в этой точке. В момент времени t2 это требование является выполненным. Отображается сцена, где мяч лежит на одиннадцатиметровой отметке, и игрок готовится пробить штрафной удар. Далее игра воспроизводится от этой сцены. Таким образом, пользователь имеет возможность удобным для себя способом осуществлять навигацию до следующей интересующей его сцены.

Изобретение относится к области навигации в последовательности изображений. Технический результат – обеспечение осуществления навигации в последовательности изображений в соответствии с контентом изображений. Способ навигации в последовательности изображений содержит этапы, на которых отображают изображение на экране; выбирают первый объект отображенного изображения в первом положении в соответствии с первым вводом; перемещают первый объект во второе положение в соответствии со вторым вводом; идентифицируют по меньшей мере одно изображение в последовательности изображений, где первый объект расположен близко ко второму положению, и начинают воспроизведение последовательности изображений с одного из идентифицированных изображений; причем на этапе перемещения первого объекта во второе положение выбирают второй объект отображенного изображения в третьем положении в соответствии с дополнительным вводом; определяют целевое положение перемещения первого объекта относительно данного второго объекта; перемещают первый объект в целевое положение. 2 н. и 10 з.п. ф-лы, 5 ил.

1. Способ навигации в последовательности изображений, содержащий этапы, на которых:

- отображают изображение на экране,

- выбирают первый объект отображенного изображения в первом положении в соответствии с первым вводом,

- перемещают первый объект во второе положение в соответствии со вторым вводом,

- идентифицируют по меньшей мере одно изображение в последовательности изображений, где первый объект расположен близко ко второму положению, и

- начинают воспроизведение последовательности изображений с одного из идентифицированных изображений, отличающийся тем, что

этап перемещения первого объекта во второе положение включает в себя этапы, на которых:

- выбирают второй объект отображенного изображения в третьем положении в соответствии с дополнительным вводом,

- определяют целевое положение перемещения первого объекта относительно данного второго объекта,

- перемещают первый объект в целевое положение, причем этап идентификации включает в себя этап, на котором идентифицируют по меньшей мере одно изображение в последовательности изображений, где относительное положение целевого положения первого объекта расположено близко к положению второго объекта.

2. Способ навигации по п. 1, в котором первый ввод для выбора первого объекта представляет собой одно из: нажатия по объекту, очерчивания ограничивающего контура вокруг объекта и выбора объекта посредством индекса.

3. Способ навигации по п. 1 или 2, в котором второе положение определяют посредством координат на экране, отличных от координат первого положения.

4. Способ навигации по п. 1 или 2, в котором второе положение определяют по отношению ко второму объекту.

5. Способ навигации по п. 1, в котором дополнительный ввод для выбора второго объекта представляет собой нажатие по объекту, очерчивание ограничивающего контура вокруг объекта или выбор объекта в индексе.

6. Способ навигации по п. 1, в котором объекты выбирают посредством сегментации объекта, обнаружения объекта или обнаружения лица.

7. Способ навигации по п. 1, в котором этап идентификации включает в себя этап, на котором осуществляют отслеживание объекта для определения положения первого объекта в изображении из последовательности изображений.

8. Способ навигации по п. 1, в котором для выбора объекта используют метод ключевых точек.

9. Способ навигации по п. 1, в котором для выбора объекта используют метод ключевых точек, а для определения подобия объектов в различных изображениях в последовательности изображений используют описание по ключевым точкам.

10. Способ навигации по п. 1, в котором анализируют только часть изображений из последовательности изображений для идентификации по меньшей мере одного изображения, где объект расположен близко ко второму положению.

11. Способ навигации по п. 10, в котором часть изображений из последовательности изображений представляет собой одно из определенного времени воспроизведения, начиная от отображаемого в текущий момент изображения, всех последующих изображений, начиная от отображаемого в текущий момент изображения, и всех предшествующих изображений до отображаемого в текущий момент изображения.

12. Устройство для навигации в последовательности изображений, причем устройство осуществляет способ по одному из пп. 1-11.