СПОСОБ И УСТРОЙСТВО ДЛЯ ВОСПРОИЗВЕДЕНИЯ ВСЕНАПРАВЛЕННОГО МЕДИА И МАШИНОЧИТАЕМЫЙ НОСИТЕЛЬ Российский патент 2023 года по МПК H04N21/6587 H04N21/81 H04N21/4725 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к области техники всенаправленного медиа и, более конкретно, к способу и оконечному устройству для воспроизведения всенаправленного медиа и машиночитаемому носителю данных.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

При воспроизведении всенаправленного медиаконтента с помощью головного дисплея и наушников визуализируются только те части медиа, которые соответствуют ориентации обзора пользователя, как если бы пользователь находился в том месте, где и когда медиа было захвачено. Одной из самых популярных форм приложений всенаправленного медиа является всенаправленное видео, также известное как 360-градусное видео. Всенаправленное видео обычно снимается несколькими камерами, которые охватывают до 360° сцены. По сравнению с традиционными форматами медиаприложений сквозная технология всенаправленного видео (от съемки до воспроизведения) легче фрагментируется благодаря различным технологиям захвата и проецирования видео.

Представленная выше информация, раскрытая в этом разделе, предназначена только для обеспечения понимания предпосылок создания изобретения и поэтому может содержать информацию, которая не является известным уровнем техники для специалиста в данной области техники.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение предоставляет способ и оконечное устройство для воспроизведения всенаправленного медиа и машиночитаемый носитель данных.

В первом аспекте настоящее изобретение предоставляет способ воспроизведения всенаправленного медиа, включающий: получение информации о циклическом воспроизведении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа и циклическое воспроизведение текущей точки обзора в соответствии с информацией о циклическом воспроизведении точки обзора.

В варианте осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора включает: максимальное количество циклов, время начала цикла и время активации цикла, при этом максимальное количество циклов сконфигурировано для указания максимального количества циклов, которое проигрыватель OMAF должен выполнить для текущей точки обзора, время начала сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, с которого должно возобновиться воспроизведение текущей точки обзора при выполнении цикла, а время активации цикла сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, в которое цикл должен быть инициирован.

В варианте осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора также содержит: целевую точку обзора, сконфигурированную для указания идентификатора целевой точки обзора для переключения точки обзора, которое должно произойти в конце воспроизведения текущей точки обзора при достижении максимального количества циклов, при этом способ также включает переключение на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

В варианте осуществления настоящего изобретения способ также включает: получение информации о переключении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа, при этом информация о переключении точки обзора содержит целевую точку обзора, сконфигурированную для указания целевой точки обзора, на которую переключают текущую точку обзора, и переключение на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

В варианте осуществления настоящего изобретения, если значение максимального количества установлено равным заранее заданному значению или если элемент максимального количества циклов отсутствует в информации о циклическом воспроизведении точки обзора, максимальное количество циклов является бесконечным.

В варианте осуществления настоящего изобретения, если время начала цикла отсутствует в информации о циклическом воспроизведении точки обзора, воспроизведение должно начинаться в начале временной шкалы всенаправленного медиа текущей точки обзора.

В варианте осуществления настоящего изобретения, если время активации цикла отсутствует в информации о циклическом воспроизведении точки обзора, цикл должен возникать в конце временной шкалы всенаправленного медиа текущей точки обзора.

В варианте осуществления настоящего изобретения информацию о циклическом воспроизведении точки обзора задают в виде структуры ISOBMFF.

Во втором аспекте настоящее изобретение предоставляет устройство для воспроизведения всенаправленного медиа, содержащее блок получения и блок воспроизведения. Блок получения сконфигурирован для получения информации о циклическом воспроизведении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа, а блок воспроизведения сконфигурирован для циклического воспроизведения текущей точки обзора в соответствии с информацией о циклическом воспроизведении точки обзора.

В варианте осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора включает: максимальное количество циклов, время начала цикла и время активации цикла, при этом максимальное количество циклов сконфигурировано для указания максимального количества циклов, которое проигрыватель OMAF должен выполнить для текущей точки обзора, время начала сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, с которого воспроизведение текущей точки обзора должно возобновиться при выполнении цикла, а время активации цикла сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, в которое цикл должен быть инициирован.

В варианте осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора также содержит: целевую точку обзора, сконфигурированную для указания идентификатора целевой точки обзора для переключения точки обзора, которое должно происходить в конце воспроизведения текущей точки обзора при достижении максимального количества циклов, а блок воспроизведения также сконфигурирован для переключения на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

В варианте осуществления настоящего изобретения блок получения также сконфигурирован для получения информации о переключении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа, причем информация о переключении точки обзора содержит: целевую точку обзора, сконфигурированную для указания точки обзора, на которую переключается текущая точка обзора, а блок воспроизведения также сконфигурирован для переключения на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

В варианте осуществления настоящего изобретения, если значение максимального количества установлено равным заранее заданному значению или если элемент максимального количества циклов отсутствует в информации о циклическом воспроизведении точки обзора, максимальное количество циклов является бесконечным.

В варианте осуществления настоящего изобретения, если время начала цикла отсутствует в информации о циклическом воспроизведении точки обзора, воспроизведение должно начинаться в начале временной шкалы всенаправленного медиа текущей точки обзора.

В варианте осуществления настоящего изобретения, если время активации цикла отсутствует в информации о циклическом воспроизведении точки обзора, цикл должен возникать в конце временной шкалы всенаправленного медиа текущей точки обзора.

В варианте осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора задается в виде структуры ISOBMFF.

В третьем аспекте настоящее изобретение предоставляет оконечное устройство, содержащее процессор и память. Память сконфигурирована для хранения инструкций, исполняемых процессором, при этом процессор сконфигурирован для выполнения этапов любого из способов, соответствующих указанному выше первому аспекту или описанных иным образом в этом документе.

В четвертом аспекте настоящее изобретение предоставляет машиночитаемый носитель данных с хранящимися на нем инструкциями, при исполнении которых процессором осуществляются этапы любого из способов согласно описанному выше первому аспекту.

Техническое решение, предлагаемое в вариантах осуществления настоящего изобретения, может обеспечивать следующие преимущества: предоставляется механизм для разрешения циклического воспроизведения точки обзора и задается информация о циклическом воспроизведении точки обзора.

Дополнительно, согласно другим вариантам осуществления изобретения, на основе задания новой структуры данных о циклическом воспроизведении точки обзора, во-первых, производитель контента может точно использовать фиксированное количество циклов вместо бесконечного количества, что позволяет производителю контента лучше управлять временной шкалой медиаконтента. Во-вторых, производитель контента может точно использовать время начала цикла вместо того, чтобы всегда возобновлять воспроизведение точки обзора с самого начала. Производитель контента может также точно использовать время активации цикла вместо того, чтобы всегда инициировать циклы в конце воспроизведения точки обзора, что позволяет, например, задать дополнительный контент (внутри точки обзора), который воспроизводится при достижении максимального количества циклов. Также для производителя контента упрощается плавный переход во время цикла, если можно задать границы самого цикла (время активации и время начала). Более того, производитель контента может также точно использовать другой эффект перехода, который должен произойти в конце воспроизведения точки обзора при достижении максимального количества циклов.

В этом разделе представлено краткое изложение различных вариантов или примеров осуществления изобретения, которое не является исчерпывающим раскрытием всего объема или всех признаков изобретения

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Для более ясного описания технических решений в вариантах осуществления настоящего изобретения ниже кратко представлены прилагаемые чертежи, необходимые для описания вариантов осуществления настоящего изобретения. Очевидно, что прилагаемые чертежи в последующем описании показывают просто некоторые варианты осуществления настоящего изобретения, и специалист в данной области техники может получить другие чертежи на основе этих чертежей без выполнения творческой работы.

Фиг. 1 схематически иллюстрирует пример приложения OMAF согласно возможному сценарию.

Фиг. 2 схематически иллюстрирует архитектуру системы для воспроизведения всенаправленного медиа согласно варианту осуществления настоящего изобретения.

Фиг. 3 схематически иллюстрирует блок-схему способа воспроизведения всенаправленного медиа согласно варианту осуществления настоящего изобретения.

Фиг. 4 схематически иллюстрирует блок-схему способа воспроизведения всенаправленного медиа согласно другому варианту осуществления настоящего изобретения.

Фиг. 5 схематически иллюстрирует блок-схему способа воспроизведения всенаправленного медиа согласно другому варианту осуществления настоящего изобретения.

Фиг. 6 схематически иллюстрирует структурную схему устройства для воспроизведения всенаправленного медиа согласно варианту осуществления настоящего изобретения.

Фиг. 7 схематически иллюстрирует структурную схему оконечного устройства в соответствии с вариантом осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Примеры осуществления изобретения теперь будут описаны более подробно со ссылкой на прилагаемые чертежи, на которых представлены примеры осуществления изобретения. Однако примеры осуществления изобретения могут быть реализованы во многих различных формах и не ограничиваются вариантами осуществления изобретения, изложенными в данном документе; скорее, эти варианты осуществления изобретения представлены для того, чтобы сделать описание исчерпывающим и полностью передать концепцию примеров осуществления изобретения специалистам в данной области техники. На чертежах толщина слоев и областей преувеличена для наглядности. Одинаковые ссылочные позиции на чертежах обозначают одинаковые элементы, поэтому их описание будет опущено.

Описанные признаки, конструкции и/или характеристики изобретения могут быть объединены любым подходящим образом в одном или более вариантах осуществления изобретения. В последующем описании раскрываются многочисленные конкретные детали, чтобы обеспечить полное понимание вариантов осуществления изобретения. Однако специалисту в соответствующей области техники понятно, что изобретение может быть осуществлено на практике без одной или более конкретных деталей или с помощью других способов, компонентов и т.д. В других случаях хорошо известные структуры, материалы или операции не показаны и не описаны подробно, чтобы не затенять аспекты изобретения.

При воспроизведении всенаправленного медиаконтента с помощью головного дисплея и наушников визуализируются только те части медиа, которые соответствуют ориентации обзора пользователя, как если бы пользователь находился в том месте, где и когда медиа было захвачено. Одной из самых популярных форм приложений всенаправленного медиа является всенаправленное видео, также известное как 360-градусное видео. Всенаправленное видео обычно снимается несколькими камерами, которые охватывают до 360° сцены. По сравнению с традиционными форматами медиаприложений сквозная технология всенаправленного видео (от съемки до воспроизведения) легче фрагментируется благодаря различным технологиям захвата и проецирования видео. Что касается захвата, то существует множество различных типов камер, способных снимать 360-градусное видео, а со стороны воспроизведения - множество различных устройств, способных воспроизводить 360-градусное видео с различными возможностями обработки. Чтобы избежать фрагментации всенаправленного медиаконтента и устройств, в стандарте OMAF (Omnidirectional MediA Format, формат всенаправленного медиа) указан стандартизированный формат для приложений всенаправленного медиа.

OMAF определяет медиаформат, который позволяет использовать приложения всенаправленного медиа, сфокусированные на 360-градусном видео, изображениях и аудио, а также связанном синхронизированном тексте.

С начала 2018 г. MPEG (Moving Picture Experts Group, группа экспертов по движущимся изображениям) инициировала новую техническую работу в этой области в преддверии новой версии спецификации OMAF.

В новой версии спецификации OMAF поддерживаются множество точек обзора в приложении сигнала OMAF. На основе множества точек обзора, предлагается новый сценарий с циклическим воспроизведением точек обзора в рамках одного OMAF.

Фиг. 1 схематически иллюстрирует пример приложения OMAF в соответствии с возможным сценарием рассказа. На фиг. 1 показано, что приложение OMAF построено на основе двух точек обзора А и В. Для задания циклов для точки обзора А используются следующие характеристики:

- Длительность точки обзора А составляет 60 секунд.

- Время начала цикла точки обзора А равно 10 секундам от начала медиа точки обзора А.

- Время активации точки обзора А установлено на 58 секундах от начала медиа точки обзора А.

- Максимальное количество циклов точки обзора А равно 3.

- Воспроизведение переходов к точке обзора В происходит после завершения воспроизведения точки обзора А.

На основе приведенной выше информации такое расположение точек обзора в возможном сценарии рассказа будет описано со ссылкой на фиг. 1.

Пользователь входит в темную комнату (например, точка обзора А). Через 10 секунд включается потолочное освещение, и пользователь может намного лучше видеть окружающую среду и может видеть две выходные двери. Через 30 секунд из одной из двух дверей раздается хлопающий звук, предполагающий, что пользователь может пройти через эту дверь.

Если пользователь смотрит в сторону этой двери, он может увидеть, что дверь захлопывается, что настоятельно предлагает ему пойти туда.

Если пользователь не смотрит в сторону этой двери, он может получить только намек на то, что в этом направлении что-то происходит. Часть точки обзора А между 10 и 58 секундами воспроизводится до трех раз, что дает пользователю три возможности лучше заметить захлопывающуюся дверь.

Если пользователь решает взаимодействовать с этой дверью, он переходит в другую комнату (например, другая точка обзора С).

Но если он с ней не взаимодействует, могут произойти следующие события: после трех циклов точки обзора А на 154-й секунде основной свет выключается, и через 2 секунды, на 156-й секунде, пользователь переходит в другую комнату через не захлопывающуюся дверь (например, точка обзора В).

Из вышеизложенного видно, что с точки зрения рассказа производители контента ожидают больше возможностей в отношении циклического воспроизведения некоторых точек обзора в приложении OMAF, так что можно воспроизвести одну или более точек обзора в приложении OMAF один или более раз.

Фиг. 2 схематически иллюстрирует архитектуру системы для воспроизведения всенаправленного медиа согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 2, система 10 может содержать: сервер 11 контента и оконечное устройство 12. Сервер 11 контента установлен, например, производителями контента или поставщиками контента. Сервер 11 контента может быть одиночным сервером или кластером распределенных серверов. Данные всенаправленного медиа с заранее заданным форматом файла медиаконтейнера хранятся на сервере 11 контента. В вариантах осуществления настоящего изобретения формат файла медиаконтейнера использует в качестве примера базовый формат медиафайлов ISO (ISOBMFF, ISO Base Media File Format), но настоящее изобретение не ограничивается этим.

Данные всенаправленного медиа могут быть получены, например, в соответствии со следующим процессом.

Реальная аудиовизуальная сцена захватывается аудиодатчиками, а также набором камер или камерой с несколькими объективами и датчиками. Результатом сбора данных является набор цифровых сигналов изображения/видео и аудио. Камеры/объективы обычно охватывают все направления вокруг центральной точки набора камер или камеры, отсюда и название "360-градусное видео".

Аудио может быть захвачено с использованием множества различных конфигураций микрофона и сохранено в виде множества различных форматов контента, включая сигналы на основе каналов, статические или динамические (то есть движущиеся в трехмерной сцене) сигналы объекта и сигналы на основе сцены (например, амбисоника более высокого порядка). Сигналы на основе канала обычно соответствуют одной из схем расположения громкоговорителей. В приложении всенаправленного медиа сигналы схемы расположения громкоговорителей воспроизводимой иммерсивной аудиопрограммы делают стереофоническими для представления через наушники.

Изображения одного и того же момента времени сшиваются, возможно поворачиваются, проецируются и преобразуются в упакованное изображение.

Для аудио процесс сшивания не требуется, так как захваченные сигналы по своей природе являются иммерсивными и всенаправленными.

Упакованные изображения кодируются в виде кодированных изображений или кодированного битового потока видеоданных. Захваченный звук кодируется в виде битового потока аудиоданных. Кодированные изображения, видео и/или аудио затем объединяются в последовательность сегмента инициализации и сегментов медиа для потоковой передачи в соответствии с вышеупомянутым форматом файла медиаконтейнера. Инкапсулятор файлов также включает в сегменты метаданные, такие как информация о проекции и об упаковке по областям, которая облегчает воспроизведение декодированных упакованных изображений.

Сегменты сохраняются на сервере 11 контента для доставки на оконечное устройство 12 с использованием механизма доставки. Механизмом доставки может быть, например, динамическая адаптивная потоковая передача через HTTP (DASH, dynamic adaptive streaming over HTTP) или передача медиа MPEG (MMT, MPEG media transport).

Оконечное устройство 12, как проигрыватель OMAF, может быть устройством, включающим головной дисплей или любой другой дисплей и наушники.

В оконечном устройстве 12 декапсулятор файлов обрабатывает принятые сегменты, извлекает кодированные битовые потоки и анализирует метаданные. Аудио, видео и/или изображения затем декодируются в декодированные сигналы. Декодированные упакованные изображения проецируются на экран головного дисплея или любого другого устройства отображения на основе текущей ориентации обзора или окна обзора и метаданных проекции, сферического охвата, поворота и упаковки по областям, извлеченных из файла. Аналогично, декодированный звук воспроизводится, например, через наушники, в соответствии с текущей ориентацией обзора. Текущая ориентация обзора определяется функцией отслеживания головы и, возможно, также функцией отслеживания взгляда. Помимо того, что средство отображения используется для отображения соответствующей части декодированных видео- и аудиосигналов, текущая ориентация обзора также может использоваться видео- и аудиодекодерами для оптимизации декодирования.

В вариантах осуществления настоящего изобретения, что касается варианта использования в реальном времени, кодированные изображения, видео и/или аудио также могут быть объединены в медиафайл для воспроизведения файла. Медиафайл также включает вышеупомянутые метаданные. В оконечном устройстве 12 файл, который вводит декапсулятор, идентичен медиафайлу. Декапсулятор файлов также обрабатывает файл, извлекает кодированные битовые потоки и анализирует метаданные. Процесс аналогичен описанному выше и не будет здесь повторяться.

В смежных областях техники текущий рабочий проект OMAF определяет точки обзора с помощью следующих структур ISOBMFF: ViewpointPosStruct(), ViewpointGlobalCoordinateSysRotationStruct(), ViewpointGroupStruct() и ViewpointEntry(). ViewpointPosStruct() определяет положение точки обзора в глобальной системе координат, возможно, также с информацией GPS. ViewpointGlobalCoordinateSysRotationStruct() определяет ориентацию точки обзора в глобальной системе координат. ViewpointGroupStruct() предоставляет информацию о группе точек обзора. ViewpointEntry() определяет viewpoint id, уникальный для каждой точки обзора.

Чтобы описать все характеристики циклически воспроизводимой точки обзора, варианты осуществления настоящего изобретения предлагают дополнительную структуру данных для задания информации о циклическом воспроизведении точки обзора, связанной с каждой отдельной точкой обзора, для которой существует циклическое воспроизведение. Таким образом, становится возможным описать приложение OMAF, в котором циклически воспроизводится часть контента VR (понимаемая как временной участок одной точки обзора).

Эта дополнительная структура данных включает элементы, которые являются характеристиками цикла, например, максимальное количество циклов, целевую точку обзора, время активации цикла и время начала цикла.

При этом элемент максимального количества циклов сконфигурирован для указания максимального количества циклов точки обзора. В вариантах осуществления настоящего изобретения допускаются бесконечные циклы. Например, элемент максимального количества циклов сконфигурирован для установки конкретного значения (например, -1), чтобы указать на бесконечные циклы. Опционально, отсутствие элемента максимального количества циклов сконфигурировано для указания на бесконечные циклы.

Элемент целевой точки обзора сконфигурирован для указания целевой точки обзора, на которую следует переключиться при достижении максимального количества циклов текущей точки обзора. Если количество циклов бесконечно, элемент целевой точки обзора будет отсутствовать.

В смежных областях техники была предложена новая структура данных для задания информации о переключении точек обзора (например, ViewpointSwitchingStruct(). Эта структура данных также включает элемент целевой точки обзора, который сконфигурирован для указания целевой точки обзора, на которую происходит переключение точки обзора. В вариантах осуществления настоящего изобретения, если наличие такой структуры данных позволяет определить информацию о переключении точки обзора, структура данных для задания информации о циклическом воспроизведении точки обзора не должна включать элемент целевой точки обзора.

Элемент времени активации цикла сконфигурирован для указания времени на временной шкале всенаправленного медиа, связанного с текущей точкой обзора, в которое должно произойти циклическое воспроизведение. Принимая сценарий, показанный на фиг. 1, в качестве примера, время активации цикла показано как loop_activation_time.

Элемент времени начала цикла сконфигурирован для указания времени на временной шкале всенаправленного медиа, связанного с текущей точкой обзора, на которое должно переключиться воспроизведение при возникновении цикла. Также принимая сценарий, показанный на фиг. 1, в качестве примера, время начала цикла показано как loop_start_time.

Следующая грамматика ISOBMFF является возможным вариантом осуществления настоящего изобретения.

Следующая семантика связана с возможным вариантом осуществления грамматики ISOBMFF, определенной выше:

- max_loops_flag, равный 1, указывает на то, что присутствует информация о максимальном количестве циклов.

- destination_viewpoint_flag, равный 1, указывает на то, что присутствует информация о целевой точке обзора.

- loop_activation_flag, равный 1, указывает на то, что присутствует информация о времени активации цикла.

- loop_start_flag, равный 1, указывает на то, что присутствует информация о времени начала цикла.

- max_loops указывает максимальное количество циклов, которое проигрыватель OMAF должен выполнить для текущей точки обзора. Если установлено значение -1, проигрыватель OMAF должен циклически воспроизводить текущую точку обзора бесконечно или до тех пор, пока взаимодействие пользователя с проигрывателем или контент VR не положит этому конец. Если max_loops_flag равен 0 и информация о max_loops не установлена, для max_loops должно быть установлено значение по умолчанию -1 (бесконечные циклы).

- destination_viewpoint_id указывает viewpoint id целевой точки обзора для переключения точки обзора, которое должно произойти в конце воспроизведения текущей точки обзора при достижении максимального количества циклов (max_loops).

- loop_activation time указывает время на временной шкале медиа текущей точки обзора, в которое цикл должен быть инициирован. Если loop_activation_time отсутствует, цикл должен возникать в конце временной шкалы медиа текущей точки обзора.

- loop_start_time указывает время на временной шкале медиа текущей точки обзора, с которого должно возобновиться воспроизведение текущей точки обзора при выполнении цикла. Если loop_start_time отсутствует, воспроизведение должно начинаться с начала временной шкалы медиа текущей точки обзора.

На основе определения новой структуры данных о циклическом воспроизведении точек обзора, во-первых, производитель контента может точно использовать фиксированное количество циклов вместо бесконечного количества, что позволяет производителю контента лучше управлять временной шкалой медиаконтента. Во-вторых, производитель контента может точно использовать время начала цикла вместо того, чтобы всегда возобновлять воспроизведение точки обзора с самого начала. Производитель контента может также точно использовать время активации для цикла вместо того, чтобы всегда инициировать циклы в конце воспроизведения точки обзора, что позволяет, например, задать дополнительный контент (внутри точки обзора), который воспроизводится при достижении максимального количества циклов. Плавный переход во время цикла также упрощается для производителя контента, если можно задать границы самого цикла (время активации и время начала). Кроме того, производитель контента может также точно использовать другой эффект перехода, который должен произойти в конце воспроизведения точки обзора при достижении максимального количества циклов.

Далее будет описан способ воспроизведения всенаправленного медиа, предусмотренный вариантами осуществления настоящего изобретения.

Фиг. 3 схематически иллюстрирует блок-схему способа воспроизведения всенаправленного медиа согласно варианту осуществления настоящего изобретения. Способ может применяться, например, в оконечном устройстве 12, показанном на фиг. 2.

Как показано на фиг. 3, способ 20 включает:

На этапе S202 оконечное устройство 12 в качестве проигрывателя OMAF получает информацию о циклическом воспроизведении точки обзора, связанную с текущей точкой обзора, из данных всенаправленного медиа.

Как упоминалось выше, если текущая точка обзора должна воспроизводиться множество раз, информация о циклическом воспроизведении точки обзора, связанная с текущей точкой обзора, должна быть включена в данные всенаправленного медиа. Затем проигрыватель OMAF может получить информацию о циклическом воспроизведении точки обзора, связанную с текущей точкой обзора, из данных всенаправленного медиа.

На этапе S204 оконечное устройство 12 циклически воспроизводит текущую точку обзора в соответствии с информацией о циклическом воспроизведении точки обзора.

В вариантах осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора может содержать: максимальное количество циклов, время начала цикла и время активации цикла. Максимальное количество циклов сконфигурировано для указания максимального количества циклов, которое проигрыватель OMAF должен выполнить для текущей точки обзора, время начала сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, с которого воспроизведение текущей точки обзора должно быть возобновлено при выполнении цикла, а время активации цикла сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, в которое цикл должен быть инициирован.

В вариантах осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора также содержит: целевую точку обзора, сконфигурированную для указания идентификатора целевой точки обзора для переключения точки обзора, которое должно произойти в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

Фиг. 4 схематически иллюстрирует блок-схему способа воспроизведения всенаправленного медиа в соответствии с другим вариантом осуществления настоящего изобретения. Если целевая точка обзора присутствует в информации о циклическом воспроизведении точки обзора, как показано на фиг. 4, способ 20 может также включать:

на этапе S306 оконечное устройство 12 переключается на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

В вариантах осуществления настоящего изобретения, как упомянуто выше, если задана информация о переключении точки обзора, связанная с текущей точкой обзора, OMAF-проигрыватель должен получить целевую точку обзора из информации о переключении точки обзора, чтобы определить целевую точку обзора для переключения текущей точки обзора. Информация о переключении точки обзора может быть задана в виде структуры ISOBMFF.

Фиг. 5 схематически иллюстрирует блок-схему способа воспроизведения всенаправленного медиа согласно другому варианту осуществления настоящего изобретения. Если информация о переключении точки обзора, связанная с текущей точкой обзора, задана, как показано на фиг. 5, способ 20 может также включать:

На этапе S406 оконечное устройство 12 получает информацию о переключении точки обзора, связанную с текущей точкой обзора, из данных всенаправленного медиа.

Информация о переключении точки обзора содержит: целевую точку обзора, сконфигурированную для указания целевой точки обзора, на которую переключают текущую точку обзора.

Следует отметить, что, как показано на фиг. 5, этот этап должен выполняться перед этапом S204. Это означает, что оконечное устройство 12 должно получить информацию о переключении точки обзора до циклического воспроизведения текущей точки обзора.

На этапе S408 оконечное устройство 12 переключается на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

В вариантах осуществления настоящего изобретения, если значение максимального количества установлено равным заранее заданному значению (например, -1) или если элемент максимального количества циклов отсутствует в информации о циклическом воспроизведении точки обзора, максимальное количество циклов бесконечно. То есть проигрыватель OMAF должен циклически воспроизводить текущую точку обзора бесконечно или до тех пор, пока взаимодействие пользователя с проигрывателем или контент VR не положит этому конец.

В вариантах осуществления настоящего изобретения, если время начала цикла отсутствует в информации о циклическом воспроизведении точки обзора, воспроизведение должно начинаться в начале временной шкалы всенаправленного медиа текущей точки обзора.

В вариантах осуществления настоящего изобретения, если время активации цикла отсутствует в информации о циклическом воспроизведении точки обзора, цикл должен возникать в конце временной шкалы всенаправленного медиа текущей точки обзора.

В вариантах осуществления настоящего изобретения информацию о циклическом воспроизведении точки обзора задают в виде структуры ISOBMFF, например вышеупомянутой структуры ISOBMFF ViewpointLoopingStruct().

Согласно способу воспроизведения всенаправленного медиа в приведенных выше вариантах осуществления настоящего изобретения, во-первых, производитель контента может точно использовать фиксированное количество циклов вместо бесконечного количества, что позволяет производителю контента лучше управлять временной шкалой медиаконтента. Во-вторых, производитель контента может точно использовать время начала цикла вместо того, чтобы всегда возобновлять воспроизведение точки обзора с самого начала. Производитель контента может также точно использовать время активации цикла вместо того, чтобы всегда инициировать циклы в конце воспроизведения точки обзора, что позволяет, например, задать дополнительный контент (внутри точки обзора), который воспроизводится при достижении максимального количества циклов. Плавный переход во время цикла также упрощается для производителя контента, если можно задать границы самого цикла (время активации и время начала). Кроме того, производитель контента может точно использовать другой эффект перехода, который должен произойти в конце воспроизведения точки обзора при достижении максимального количества циклов.

Далее будет представлено устройство для воспроизведения всенаправленного медиа, предусмотренное вариантом осуществления настоящего изобретения.

Фиг. 6 схематически иллюстрирует структурную схему устройства для воспроизведения всенаправленного медиа согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 6, устройство 30 содержит: блок 302 получения и блок 304 воспроизведения.

Блок 302 получения сконфигурирован для получения информации о циклическом воспроизведении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа.

Блок 304 воспроизведения выполнен с возможностью циклического воспроизведения текущей точки обзора в соответствии с информацией о циклическом воспроизведении точки обзора.

В вариантах осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора включает: максимальное количество циклов, время начала цикла и время активации цикла, при этом максимальное количество циклов сконфигурировано для указания максимального количества циклов, которое проигрыватель OMAF должен выполнить для текущей точки обзора, время начала сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, с которого воспроизведение текущей точки обзора должно быть возобновлено при выполнении цикла, а время активации цикла сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, в которое цикл должен быть инициирован.

В вариантах осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора также содержит: целевую точку обзора, сконфигурированную для указания идентификатора целевой точки обзора для переключения точки обзора, которое должно происходить в конце воспроизведения текущей точки обзора при достижении максимального количества циклов, а блок воспроизведения также сконфигурирован для переключения на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

В вариантах осуществления настоящего изобретения блок получения также сконфигурирован для получения информации о переключении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа, причем информация о переключении точки обзора содержит целевую точку обзора, сконфигурированную для указания целевой точки обзора, на которую переключается текущая точка обзора, а блок воспроизведения также сконфигурирован для переключения на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

В вариантах осуществления настоящего изобретения, если значение максимального количества установлено равным заранее заданному значению или если элемент максимального количества циклов отсутствует в информации о циклическом воспроизведении точки обзора, максимальное количество циклов является бесконечным.

В вариантах осуществления настоящего изобретения, если время начала цикла отсутствует в информации о циклическом воспроизведении точки обзора, воспроизведение должно начинаться в начале временной шкалы всенаправленного медиа текущей точки обзора.

В вариантах осуществления настоящего изобретения, если время активации цикла отсутствует в информации о циклическом воспроизведении точки обзора, цикл должен возникать в конце временной шкалы всенаправленного медиа текущей точки обзора.

В вариантах осуществления настоящего изобретения информация о циклическом воспроизведении точки обзора задается как структура ISOBMFF, например, вышеупомянутая структура ISOBMFF ViewpointLoopingStruct().

Согласно устройству для воспроизведения всенаправленного медиа в вышеупомянутых вариантах осуществления настоящего изобретения, во-первых, производитель контента может точно использовать фиксированное количество циклов вместо бесконечного количества, что позволяет производителю контента лучше управлять временной шкалой медиаконтента. Во-вторых, производитель контента может точно использовать время начала цикла вместо того, чтобы всегда возобновлять воспроизведение точки обзора с самого начала. Производитель контента может также точно использовать время активации цикла вместо того, чтобы всегда инициировать циклы в конце воспроизведения точки обзора, что позволяет, например, задать дополнительный контент (внутри точки обзора), который воспроизводится при достижении максимального количества циклов. Плавный переход во время цикла также упрощается для производителя контента, если можно задать границы самого цикла (время активации и время начала). Кроме того, производитель контента может точно использовать другой эффект перехода, который должен произойти в конце воспроизведения точки обзора при достижении максимального количества циклов.

Фиг. 7 схематично иллюстрирует структурную схему оконечного устройства согласно варианту осуществления настоящего изобретения. Например, оконечное устройство 500 может быть проигрывателем OMAF, игровой приставкой, мобильным телефоном и т.п.

Как показано на фиг. 7, оконечное устройство 500 может содержать один или более из следующих компонентов: компонент 502 обработки, память 504, компонент 506 питания, мультимедийный компонент 508, аудиокомпонент 510, интерфейс ввода/вывода (I/O) 512, измерительный компонент 514 и компонент 516 связи.

Компонент 502 обработки обычно управляет всеми операциями оконечного устройства 500, такими как операции, связанные с отображением, передачей данных, и операции записи. Компонент 502 обработки может включать один или более процессоров 520 для исполнения инструкций для осуществления всех или части этапов в вышеописанных способах. Кроме того, компонент 502 обработки может включать один или более модулей, которые обеспечивают взаимодействие между компонентом 502 обработки и другими компонентами. Например, компонент 502 обработки может включать мультимедийный модуль для обеспечения взаимодействия между мультимедийным компонентом 508 и компонентом 502 обработки.

Память 504 сконфигурирована для хранения различных типов данных для поддержки работы оконечного устройства 500. Примеры таких данных включают инструкции для любых приложений или способов, используемых на оконечном устройстве 500, контактные данные, данные телефонной книги, сообщения, изображения, видео и т.д. Память 504 может быть реализована с использованием любого типа энергозависимых или энергонезависимых запоминающих устройств, или их комбинации, например статической оперативной памяти (SRAM, static random access memory), электрически стираемой программируемой постоянной памяти (EEPROM, electrically erasable programmable read-only memory), стираемой программируемой постоянной памяти (EPROM, erasable programmable read-only memory), программируемой постоянной памяти (PROM, programmable read-only memory), постоянной памяти (ROM, read-only memory), магнитной памяти, флэш-памяти или магнитного или оптического диска.

Компонент 506 питания обеспечивает питание различных компонентов оконечного устройства 500. Компонент 506 питания может включать систему управления питанием, один или более источников питания и любые другие компоненты, связанные с генерацией, управлением и распределением питания в оконечном устройстве 500.

Мультимедийный компонент 508 может включать головной дисплей или любой другой дисплей, обеспечивающий выходной интерфейс между оконечным устройством 500 и пользователем. Кроме того, мультимедийный компонент 508 может включать экран, обеспечивающий выходной интерфейс между оконечным устройством 500 и пользователем. В некоторых вариантах осуществления изобретения экран может включать жидкокристаллический дисплей (LCD, liquid crystal display) и сенсорную панель (TP, touch panel). Если экран включает сенсорную панель, экран может быть выполнен как сенсорный экран для приема входных сигналов от пользователя. Сенсорная панель включает один или более датчиков касания для обнаружения касаний, скольжений и жестов на сенсорной панели. Датчики касания могут определять не только границу действия касания или скольжения, но также период времени и давление, связанное с действием касания или скольжения. В некоторых вариантах осуществления изобретения мультимедийный компонент 508 включает переднюю камеру и/или заднюю камеру. Передняя камера и задняя камера могут принимать внешние мультимедийные данные, когда оконечное устройство 500 находится в рабочем режиме, таком как режим фотографирования или видеосъемки. Как передняя, так и задняя камера может представлять собой систему с фиксированными оптическими линзами или может иметь возможность фокусировки и оптического масштабирования.

Аудиокомпонент 510 сконфигурирован для вывода и/или ввода аудиосигналов. Например, аудиокомпонент 510 включает наушники, сконфигурированные для приема внешнего аудиосигнала. Принятый аудиосигнал может быть далее сохранен в памяти 504 или передан через компонент 516 связи. В некоторых вариантах осуществления изобретения аудиокомпонент 510 также включает динамик для вывода аудиосигналов.

Интерфейс 512 ввода/вывода обеспечивает интерфейс между компонентом 502 обработки и модулями периферийного интерфейса, такими как клавиатура, колесико управления, кнопки и т.п.Кнопки могут включать, помимо прочего, кнопку "домой", кнопку регулировки громкости, кнопку запуска или кнопку блокировки.

Измерительный компонент 514 включает один или более датчиков для обеспечения оценки состояния различных аспектов оконечного устройства 500. Например, измерительный компонент 514 может обнаруживать открытое/закрытое состояние оконечного устройства 500, относительное расположение компонентов, например, дисплея и клавиатуры оконечного устройства 500, может обнаруживать изменение положения оконечного устройства 500 или компонента оконечного устройства 500, наличие или отсутствие контакта пользователя с оконечным устройством 500, ориентацию или ускорение/замедление оконечного устройства 500 и изменение температуры оконечного устройства 500. Измерительный компонент 514 может включать датчик приближения, сконфигурированный для обнаружения присутствия близлежащих объектов без физического контакта с ними. Измерительный компонент 514 может включать датчик света, такой как датчик изображения CMOS или CCD, для использования в приложениях формирования изображений. В некоторых вариантах осуществления изобретения измерительный компонент 514 может также включать акселерометр, гироскоп, магнитный датчик, датчик давления или датчик температуры.

Компонент 516 связи сконфигурирован для обеспечения проводной или беспроводной связи между оконечным устройством 500 и другими устройствами. Оконечное устройство 500 может получить доступ к беспроводной сети на основе стандарта связи, такого как WiFi, 2G или 3G, или 4G, или 5G, или их комбинации. В одном примере осуществления изобретения компонент 516 связи принимает широковещательный сигнал или связанную с широковещательной передачей информацию от внешней системы управления широковещательной передачей через широковещательный канал. В одном примере осуществления изобретения компонент 516 связи также включает модуль связи малого радиуса действия (NFC, near field communication) для обеспечения связи ближнего действия. Например, модуль NFC может быть реализован на основе технологии радиочастотной идентификации (RFID, radio frequency identification), технологии ассоциации передачи данных через инфракрасный порт (IrDA, infrared data association technology), технологии сверхширокополосной связи (UWB, ultra-wideband), технологии Bluetooth (ВТ) или других технологий.

В примерах осуществления изобретения оконечное устройство 500 может быть реализовано с помощью одной или более специализированных интегральных схем (ASIC, application specific integrated circuit), процессоров цифровых сигналов (DSP, digital signal processor), устройств цифровой обработки сигналов (DSPD, digital signal processing device), программируемых логических устройств (PLD, programmable logic device), программируемых пользователем вентильных матриц (FPGA, field programmable gate array), контроллеров, микроконтроллеров, микропроцессоров или других электронных компонентов для осуществления операций, выполняемых оконечным устройством в способе воспроизведения всенаправленного медиа, представленном в варианте осуществления изобретения, показанном на фиг. 3-5.

Также предлагается машиночитаемый носитель для хранения данных, при этом, когда инструкции на носителе исполняются процессором оконечного устройства, оконечное устройство выполняет соответствующие этапы способа воспроизведения всенаправленного медиа, представленного в варианте осуществления изобретения, показанном на фиг. 3-5.

Варианты осуществления изобретения были подробно показаны и описаны выше. Специалистам в данной области техники понятно, что изобретение не ограничено раскрытыми вариантами осуществления изобретения; предполагается, что все подходящие модификации и эквиваленты, которые соответствуют сущности и объему прилагаемой формулы изобретения, находятся в пределах объема изобретения.

Изобретение относится к области техники воспроизведения всенаправленного медиа. Технический результат заключается в предоставлении механизма для разрешения циклического воспроизведения точки обзора и обеспечении информации о циклическом воспроизведении точки обзора. Предложен способ воспроизведения всенаправленного медиа, оконечное устройство и машиночитаемый носитель данных. Всенаправленное видео обычно снимается несколькими камерами, которые охватывают до 360° сцены. Способ включает: получение информации о циклическом воспроизведении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа (S202) и циклическое воспроизведение текущей точки обзора в соответствии с информацией о циклическом воспроизведении точки обзора (S204). 3 н. и 12 з.п. ф-лы, 7 ил.

1. Способ воспроизведения всенаправленного медиа, включающий: получение информации о циклическом воспроизведении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа и циклическое воспроизведение текущей точки обзора в соответствии с информацией о циклическом воспроизведении точки обзора; причем информация о циклическом воспроизведении точки обзора содержит: максимальное количество циклов, время начала цикла и время активации цикла; при этом максимальное количество циклов сконфигурировано для указания максимального количества циклов, которое проигрыватель формата всенаправленного медиа (OMAF) должен выполнить для текущей точки обзора, время начала цикла сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, с которого должно возобновиться воспроизведение текущей точки обзора при выполнении цикла, а время активации цикла сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, в которое цикл должен быть инициирован.

2. Способ по п.1, в котором информация о циклическом воспроизведении точки обзора содержит: целевую точку обзора, сконфигурированную для указания идентификатора целевой точки обзора для переключения точки обзора, которое должно произойти в конце воспроизведения текущей точки обзора при достижении максимального количества циклов, и способ также включает: переключение на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

3. Способ по п.1, также включающий: получение информации о переключении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа, при этом информация о переключении точки обзора содержит: целевую точку обзора, сконфигурированную для указания целевой точки обзора, на которую переключают текущую точку обзора, и

переключение на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

4. Способ по п.2 или 3, в котором, если значение максимального количества установлено равным заранее заданному значению или если элемент максимального количества циклов отсутствует в информации о циклическом воспроизведении точки обзора, максимальное количество циклов бесконечно.

5. Способ по п.2 или 3, в котором, если время начала цикла отсутствует в информации о циклическом воспроизведении точки обзора, воспроизведение должно начинаться в начале временной шкалы всенаправленного медиа текущей точки обзора.

6. Способ по п.2 или 3, в котором, если время активации цикла отсутствует в информации о циклическом воспроизведении точки обзора, цикл должен возникать в конце временной шкалы всенаправленного медиа текущей точки обзора.

7. Способ по любому из пп.1-6, в котором информацию о циклическом воспроизведении точки обзора задают в виде структуры базового формата медиафайлов Международной организации по стандартизации (ISOBMFF).

8. Устройство для воспроизведения всенаправленного медиа, содержащее: блок получения, сконфигурированный для получения информации о циклическом воспроизведении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа, и блок воспроизведения, сконфигурированный для циклического воспроизведения текущей точки обзора в соответствии с информацией о циклическом воспроизведении точки обзора; причем информация о циклическом воспроизведении точки обзора содержит: максимальное количество циклов, время начала цикла и время активации цикла; при этом максимальное количество циклов сконфигурировано для указания максимального количества циклов, которое проигрыватель формата всенаправленного медиа (OMAF) должен выполнить для текущей точки обзора, время начала цикла сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, с которого должно возобновиться воспроизведение текущей точки обзора при выполнении цикла, а время активации цикла сконфигурировано для указания времени на временной шкале всенаправленного медиа текущей точки обзора, в которое цикл должен быть инициирован.

9. Устройство по п.8, в котором информация о циклическом воспроизведении точки обзора также содержит: целевую точку обзора, сконфигурированную для указания идентификатора целевой точки обзора для переключения точки обзора, которое должно произойти в конце воспроизведения текущей точки обзора при достижении максимального количества циклов, а блок воспроизведения сконфигурирован для переключения на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

10. Устройство по п.8, в котором блок получения сконфигурирован для получения информации о переключении точки обзора, связанной с текущей точкой обзора, из данных всенаправленного медиа, и информация о переключении точки обзора содержит: целевую точку обзора, сконфигурированную для указания целевой точки обзора, на которую переключается текущая точка обзора, а блок воспроизведения сконфигурирован для переключения на целевую точку обзора в конце воспроизведения текущей точки обзора при достижении максимального количества циклов.

11. Устройство по п.9 или 10, в котором, если значение максимального количества установлено равным заранее заданному значению или если элемент максимального количества циклов отсутствует в информации о циклическом воспроизведении точки обзора, максимальное количество циклов бесконечно.

12. Устройство по п.9 или 10, в котором, если время начала цикла отсутствует в информации о циклическом воспроизведении точки обзора, воспроизведение должно начинаться в начале временной шкалы всенаправленного медиа текущей точки обзора.

13. Устройство по п.9 или 10, в котором, если время активации цикла отсутствует в информации о циклическом воспроизведении точки обзора, цикл должен возникать в конце временной шкалы всенаправленного медиа текущей точки обзора.

14. Устройство по любому из пп.8-13, в котором информация о циклическом воспроизведении точки обзора задается в виде структуры базового формата медиафайлов Международной организации по стандартизации (ISOBMFF).

15. Оконечное устройство воспроизведения всенаправленного медиа, содержащее: процессор; память, сконфигурированную для хранения инструкций, исполняемых процессором, при этом процессор сконфигурирован для выполнения этапов способа по любому из пп.1-7.