Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству для обработки информации и способу обработки информации и, более конкретно, к устройству для обработки информации и способу обработки информации, которые способны надежно распознавать позицию изображения на экране, составленного из множества разделенных изображений, или позицию на экране разделенных изображений, совместимых с закодированными потоками.
Уровень техники
В последние годы OTT-V услуга (видео в интернете) стала основным направлением в оказании потоковых услуг в интернете. Один из способов, который начал широко использоваться в качестве фундаментальной технологии для OTT-V, является MPEG-DASH (экспертная группа по вопросам движущегося изображения - динамическое адаптивное потоковое вещание по HTTP (протокол передачи гипертекста)) (см., например, NPL 1).
Согласно протоколу MPEG-DASH сервер распределения обеспечивает кодированные потоки, имеющие разные скорости передачи битов для одного контента движущегося изображения, и терминальному устройству воспроизведения необходимо получить кодированные потоки, имеющие оптимальную скорость передачи битов, тем самым, реализуя распределение адаптивного потокового вещания.
MPEG-DASH SRD (описание пространственного соотношения) расширение определяет SRD, указывающее позицию на экране одной или нескольких отдельно кодированных областей, в которых контент движущегося изображения был разделен (см., например, NPLs 2 и 3). SRD позволяет реализовать ROI (область заинтересованности) функцию пространственной адаптации для выборочного получения закодированного потока изображения желаемых областей с использованием способа адаптации по скорости передачи для выборочного получения закодированных потоков, имеющих желаемые скорости передачи битов.
Изображения контента движущихся изображений включают в себя не только изображения, захваченные под углом обзора одной камерой, но и изображения цельной небесной сферы, где изображения, снятые горизонтально под углом 360° или вертикально около 180°, отображаются на 2D (двумерные) изображения (плоские изображения), и панорамные изображения, захваченные горизонтально под углом около 360°. Например, если изображение цельной небесной сферы должно быть разделено горизонтально на три или более областей, и области должны быть закодированы, то, поскольку эти области на обоих горизонтальных краях представляют собой смежные изображения, то они могут быть закодированы как одно изображение.
Однако, поскольку позиции областей на экране с обоих концов дискретны, то на экране объектов должно быть закодировано множество позиций. Следовательно, согласно MPEG-DASH, позиции на экране областей с обоих концов могут быть не описаны с использованием SRD. Другими словами, SRD не может описать позицию на экране изображения, состоящего из множества разделенных изображений, совместимых с закодированными потоками.
Согласно SRD, позиции на экране соответствующих областей и позиции на изображениях, совместимые с закодированными потоками, описываются как идентичные друг другу. Поэтому, если позиции на экране соответствующих областей и позиции на изображениях, совместимые с закодированными потоками, отличаются друг от друга, то позиции на экране соответствующих областей не могут быть описаны с использованием SRD. Другими словами, если позиции на экране соответствующих разделенных изображений, которые составляют изображение, и позиции на изображениях, совместимые с закодированными потоками, отличаются друг от друга, то SRD не может описать позиции на экране соответствующих разделенных изображений.
Список литературы
Патентная литература
[NPL 1]
MPEG-DASH (динамическое адаптивное потоковое вещание по HTTP) (URL: http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam -1)
[NPL 2]
«Текст описания пространственного соотношения ISO/IEC 23009-1: 2014 FDAM 2, Обобщенные URL параметры и другие расширения», N15217, MPEG111, Женева, февраль 2015 г.
[NPL 3]
«WD ISO/IEC 23009-3 2-е издание Руководство по внедрению AMD 1 DASH», N14629, MPEG109, Саппоро, июль 2014 г.
Раскрытие сущности изобретения
Техническая задача
Следовательно, требуется надежно описать позицию на экране изображения, состоящего из множества разделенных изображений, или позиции на экране разделенных изображений, совместимых с закодированными потоками, чтобы они могли быть распознаны.
Настоящее изобретение учитывает описанные выше обстоятельства и предназначено для надежного распознавания позиции на экране изображения, состоящего из множества разделенных изображений, или позиций на экране разделенных изображений, совместимых с закодированными потоками.
Решение технической задачи
Устройство для обработки информации в соответствии с первым аспектом настоящего изобретения представляет собой устройство для обработки информации, включающее в себя секцию установки, которая устанавливает позицию, выступающую за пределы экрана, в качестве позиции на экране изображения, состоящего из множества разделенных изображений, совместимых с закодированными потоками.
Способ обработки информации в соответствии с первым аспектом настоящего изобретения соответствует устройству для обработки информации в соответствии с первым аспектом настоящего изобретения.
Согласно первому аспекту настоящего изобретения позиция, выступающая за пределы экрана, устанавливается как позиция на экране изображения, состоящего из множества разделенных изображений, совместимых с закодированными потоками.
Устройство для обработки информации согласно второму аспекту настоящего изобретения представляет собой устройство для обработки информации, включающее в себя распределитель, который размещает изображение, полученное посредством декодирования закодированных потоков, на экране, на основании позиции, выступающей за пределы экрана, которое установлено как позиция на экране изображения, которое составлено из множества разделенных изображений, совместимых с закодированными потоками.
Способ обработки информации в соответствии со вторым аспектом настоящего изобретения соответствует устройству для обработки информации в соответствии со вторым аспектом настоящего раскрытия.
Согласно второму аспекту настоящего изобретения изображение, полученное посредством декодирования закодированных потоков, помещается на экран на основании позиции, выступающей за пределы экрана, которое устанавливается как позиция на экране изображения, которое составлено из множества разделенных изображений, совместимых с закодированными потоками.
Устройство для обработки информации в соответствии с третьим аспектом настоящего изобретения представляет собой устройство для обработки информации, включающее в себя секцию установки, которая устанавливает позицию на экране соответствующих разделенных изображений изображения, которое состоит из множества разделенных изображений, совместимых с закодированными потоками, в сочетании с позициями разделенных изображений на изображении.
Способ обработки информации в соответствии с третьим аспектом настоящего изобретения соответствует устройству для обработки информации в соответствии с третьим аспектом настоящего раскрытия.
Согласно третьему аспекту настоящего изобретения позиции на экране соответствующих разделенных изображений изображения, которые состоят из множества разделенных изображений, совместимых с закодированными потоками, устанавливаются в сочетании с позициями разделенных изображений на изображении.
Устройство для обработки информации в соответствии с четвертым аспектом настоящего изобретения представляет собой устройство для обработки информации, включающее в себя распределитель, который размещает разделенные изображения, полученные путем декодирования закодированных потоков, на экране, на основании позиций на экране разделенных изображений изображения, которое устанавливается в сочетании с позициями на изображении, которое составлено из множества разделенных изображений, совместимых с закодированными потоками.
Способ обработки информации в соответствии с четвертым аспектом настоящего изобретения соответствует устройству для обработки информации в соответствии с четвертым аспектом настоящего изобретения.
Согласно четвертому аспекту настоящего изобретения разделенные изображения, полученные декодированием закодированных потоков, помещаются на экран на основе позиций на экране разделенных изображений изображения, которые устанавливаются в сочетании с позициями на изображении, которое составлено из множества разделенных изображений, совместимых с закодированными потоками.
Устройство для обработки информации в соответствии с первым-четвертым аспектами может быть реализовано компьютером при выполнении программ.
Чтобы реализовать устройство для обработки информации в соответствии с аспектами с первого по четвертый, программы, которые должны выполняться компьютером, могут быть предоставлены путем передачи через среду передачи или записаны на носитель информации.
Полезные результаты изобретения
Согласно первому аспекту настоящего изобретения может быть установлена информация. В соответствии с первым аспектом настоящего изобретения, информация может быть установлена таким образом, чтобы иметь возможность надежно распознавать позицию на экране изображения, составленного из множества разделенных изображений, совместимых с закодированными потоками.
Согласно второму аспекту настоящего изобретения, может быть получена информация. Согласно второму аспекту настоящего изобретения можно надежно распознать позицию на экране изображения, составленного из множества разделенных изображений, совместимых с закодированными потоками.
Согласно третьему аспекту настоящего изобретения, может быть установлена информация. Согласно третьему аспекту настоящего изобретения, информация может быть установлена таким образом, чтобы иметь возможность надежно распознавать позиции на экране разделенных изображений изображения, совместимого с закодированными потоками.
Согласно четвертому аспекту настоящего изобретения может быть получена информация. Согласно четвертому аспекту настоящего изобретения, могут быть надежно распознаны позиции на экране разделенных изображений изображения, совместимого с закодированными потоками.
Описанные выше преимущества не обязательно являются ограничительными по своему характеру, но применимы любые из преимуществ, описанных в настоящем изобретении.
Краткое описание чертежей
Фиг. 1 представляет собой блок-схему, изображающую конфигурационный пример первого варианта осуществления системы обработки информации, к которой применяется настоящее изобретение.
Фиг. 2 представляет собой блок-схему, изображающую конфигурационный пример генератора файла изображения устройства для генерирования файла, изображенного на фиг. 1.
Фиг. 3 представляет собой схему, иллюстрирующую закодированный поток всего изображения небесной сферы.
Фиг. 4 представляет собой схему, иллюстрирующую пример определения SRD в первом варианте осуществления.
Фиг. 5 представляет собой схему, иллюстрирующую другой пример определения SRD в первом варианте осуществления.
Фиг. 6 представляет собой схему, изображающую SRD конечного изображения, описанного в MPD файле (описание представления медиа файлов).
Фиг. 7 представляет собой схему, иллюстрирующую пример определения SRD.
Фиг. 8 представляет собой схему, иллюстрирующую пример MPD файла в первом варианте осуществления.
Фиг. 9 представляет собой блок-схему алгоритма процесса кодирования генератора файла изображения, изображенного на фиг. 2.
Фиг. 10 представляет собой блок-схему, изображающую конфигурационный пример потокового проигрывателя, реализованный терминальным устройством воспроизведения движущегося изображения, изображенный на фиг. 1.
Фиг. 11 представляет собой блок-схему алгоритма процесса воспроизведения потокового проигрывателя, изображенного на фиг. 10.
Фиг. 12 представляет собой схему, изображающую пример сегмента структуры файла изображения конечного изображения во втором варианте осуществления системы обработки информации, к которой применяется настоящее изображение.
Фиг. 13 представляет собой схему, изображающую пример записи группы области плитки на фиг. 12.
Фиг. 14 представляет собой схему, изображающую пример MPD файла во втором варианте осуществления.
Фиг. 15 представляет собой схему, изображающую пример структуры дорожки.
Фиг. 16 представляет собой схему, изображающую другой пример leva-бокса во втором варианте осуществления.
Фиг. 17 представляет собой схему, изображающую другой пример MPD файла во втором варианте осуществления.
Фиг. 18 представляет собой схему-схему, изображающую конфигурационный пример третьего варианта осуществления системы обработки информации, к которой применяется настоящее изобретение.
Фиг. 19 представляет собой схему-схему, изображающую конфигурационный пример устройства генерирования файла, изображенного на фиг. 18.
Фиг. 20 представляет собой схему, изображающую пример мозаичного изображения.
Фиг. 21 представляет собой схему, изображающую пример sgpd-бокса и leva-бокса в третьем варианте осуществления.
Фиг. 22 представляет собой схему, изображающую первый пример MPD файла в третьем варианте осуществления.
Фиг. 23 представляет собой схему, изображающую второй пример MPD файла в третьем варианте осуществления.
Фиг. 24 представляет собой схему, изображающую пример экрана, на котором размещены изображения миниатюр.
Фиг. 25 представляет собой блок-схему алгоритма процесса генерации файла устройства генерации файлов, изображенного на фиг. 19.
Фиг. 26 представляет собой блок-схему, изображающую конфигурационный пример потокового проигрывателя, реализованного терминальным устройством воспроизведения движущегося изображения, изображенным на фиг. 18.
Фиг. 27 представляет собой схему, иллюстрирующую процесс воспроизведения потокового проигрывателя, изображенного на фиг. 26.
Фиг. 28 представляет собой блок-схему алгоритма процесса воспроизведения потокового проигрывателя, изображенного на фиг. 26.
Фиг. 29 представляет собой блок-схему, изображающую конфигурационный пример аппаратного обеспечения компьютера.
Описание вариантов осуществления
Далее приведено описание вариантов реализации (далее именуемые как «варианты осуществления») для осуществления настоящего изобретения. Описание будет приведено в следующем порядке.
1. Первый вариант осуществления: система обработки информации (фиг. 1-11)
2. Второй вариант осуществления: система обработки информации (фиг. 12-17)
3. Третий вариант осуществления: система обработки информации (фиг. 18-28)
4. Четвертый вариант осуществления: компьютер (фиг. 29)
Первый вариант осуществления
Конфигурационный пример первого варианта осуществления системы обработки информации
Фиг. 1 представляет собой блок-схему, изображающую конфигурационный пример первого варианта осуществления системы обработки информации, к которой применяется настоящее изобретение.
Система 10 обработки информации, изображенная на фиг. 1, включает в себя веб-сервер 12, подключенный к устройству 11 генерирования файлов, и терминальное устройство 14 воспроизведения движущегося изображения, веб-сервер 12 и терминальное устройство 14 воспроизведения движущегося изображения, соединены друг с другом через интернет 13.
В системе 10 обработки информации веб-сервер 12 распределяет закодированные потоки всего изображения небесной сферы как изображение контента движущегося изображения в терминальное устройство 14 воспроизведения движущегося изображения согласно процессу, эквивалентному MPEG-DASH.
В настоящем описании изображение всей небесной сферы относится к изображению в соответствии с эквидистантной цилиндрической проекцией для сфер, где изображение, захваченное горизонтально на 360° или вертикально на 180° (в дальнейшем называемое «всенаправленным изображением»), отображается на сферическую плоскость. Однако изображение всей небесной сферы может быть изображением, представляющим собой развертывание куба, где всенаправленное изображение отображается на куб.
Устройство 11 генерирования файлов (устройство для обработки информации) системы 10 обработки информации кодирует изображение всей небесной сферы с низким разрешением, чтобы генерировать закодированный поток с низким разрешением. Устройство 11 генерирования файлов также независимо кодирует изображения, разделенные из изображения всей небесной сферы с высоким разрешением, для генерации закодированных потоков с высоким разрешением, соответствующих разделенным изображениям. Устройство 11 генерирования файлов генерирует файлы изображений путем преобразования кодированного потока с низким разрешением и кодированных потоков с высоким разрешением в файлы, каждый на единицу времени, называемую «сегментом», ранжируя от нескольких до десяти секунд. Устройство 11 генерирования файлов загружает сгенерированные файлы изображений на веб-сервер 12.
Устройство 11 генерирования файлов (секции установки) также генерирует MPD файл (файл управления) для управления файлами изображений и т.д. Устройство 11 генерации файлов загружает MPD файл на веб-сервер 12.
Веб-сервер 12 хранит файлы изображений и MPD файл, загруженные из устройства 11 генерирования файлов. В ответ на запрос от терминального устройства 14 воспроизведения движущегося изображения веб-сервер 12 отправляет файлы изображений, MPD файл и т.д., которые сохранены на нем, в терминальное устройство 14 воспроизведения движущегося изображения.
Терминальное устройство 14 воспроизведения движущегося изображения выполняет программное обеспечение 21 для управления потоковыми данными (далее называемое «программным обеспечением управления»), программным обеспечением 22 для воспроизведения движущегося изображения и клиентским программным обеспечением 23 для доступа к HTTP (протокол передачи гипертекста) (далее именуется «программным обеспечением доступа ») и т.д.
Программное обеспечение 21 управления является программным обеспечением для управления потоком данных из веб-сервера 12. В частности, программное обеспечение 21 управления обеспечивает терминальному устройству 14 воспроизведения движущегося изображения получать MPD файл из веб-сервера 12.
На основании MPD файла, программное обеспечение 21 управления указывает программному обеспечению 23 доступа отправить запрос на отправку закодированных потоков, которые будут воспроизводиться, которые обозначены программным обеспечением 22 воспроизведения движущегося изображения.
Программное обеспечение 22 воспроизведения движущегося изображения является программным обеспечением для воспроизведения закодированных потоков, полученных из веб-сервера 12. В частности, программное обеспечение 22 воспроизведения движущегося изображения указывает кодированные потоки, которые должны быть воспроизведены, в программном обеспечении 21 управления. Кроме того, когда программное обеспечение 22 воспроизведения движущегося изображения принимает уведомление о начале приема потоков из программного обеспечения 23 доступа, программное обеспечение 22 воспроизведения движущегося изображения декодирует закодированные потоки, принятые терминальным устройством 14 воспроизведения движущегося изображения, в данные изображения. Программное обеспечение 22 воспроизведения движущегося изображения объединяет данные декодированного изображения и выводит комбинированные данные изображения.
Программное обеспечение 23 доступа является программным обеспечением для управления связью с веб-сервером 12 через Интернет 13 с использованием HTTP. В частности, в ответ на инструкцию из программного обеспечения 21 управления, программное обеспечение 23 доступа управляет терминальным устройством 14 воспроизведения движущегося изображения отправлять запрос на отправку закодированных потоков, которые будут воспроизведены, которые содержаться в файлах изображений. Программное обеспечение 23 доступа также управляет терминальным устройством 14 воспроизведения движущегося изображения начать прием закодированных потоков, которые отправляются с веб-сервера 12, в ответ на запрос, и поставляет уведомление о начале приема потоков в программное обеспечение 22 воспроизведения движущегося изображения.
Конфигурационный пример генератора файлов изображений
Фиг. 2 представляет собой блок-схему, изображающую конфигурационный пример генератора файла изображения для генерирования файлов изображений устройства 11 генерирования файлов, изображенного на фиг. 1.
Как показано на фиг. 2, генератор 150 файлов изображений включает в себя процессор 151 сшивания, процессор 152 отображения, понижающий преобразователь 153 разрешения, кодер 154, делитель 155, кодеры 156-1-156-4, запоминающее устройство 157 и генератор 158.
Процессор 151 сшивания выравнивает цвет и яркость всенаправленных изображений, поставленных с нескольких камер, не показаны, и присоединяет их при удалении наложений. Процессор 151 сшивания поставляет всенаправленное изображение, полученное в результате, в процессор 152 отображения.
Процессор 152 отображения отображает всенаправленное изображение, поставленное из процессора 151 сшивания, на сферу, тем самым, генерируя изображение всей небесной сферы. Процессор 152 отображения поставляет изображение всей небесной сферы в понижающий преобразователь 153 разрешения и делитель 155. Процессор 151 сшивания и процессор 152 отображения могут быть объединены друг с другом.
Понижающий преобразователь 153 разрешения уменьшает горизонтальное и вертикальное разрешения изображения всей небесной сферы, поставленного из процессора 152 отображения, на половину, тем самым, уменьшая разрешение изображения и генерируя изображение всей небесной сферы с низким разрешением. Понижающий преобразователь 153 разрешения поставляет изображение всей небесной сферы с низким разрешением на кодер 154.
Кодер 154 кодирует изображение всей небесной сферы с низким разрешением, поставляемое из понижающего преобразователя 153 разрешения, в соответствии с процессом кодирования, таким как AVC (усовершенствованное видеокодирование), HEV (высокоэффективное видеокодирование) и т.п., тем самым, генерируя закодированный поток с низким разрешением. Кодер 154 поставляет закодированный поток с низким разрешением в запоминающее устройство 157, которое записывает на нем поставленный кодированный поток с низким разрешением.
Делитель 155 делит изображение всей небесной сферы, поставленное в виде изображения всей небесной сферы высокого разрешения из процессора 152 отображения, в вертикальном направлении на три области и разделяет центральную область по горизонтали на три области, так что граница не находится по центру. Делитель 155 уменьшает разрешение верхней и нижней областей среди пяти разделенных областей, так что, например, разрешение по горизонтали уменьшается на половину.
Делитель 155 поставляет верхнее изображение с низким разрешением, которое представляет собой верхнюю область, разрешение которой было уменьшено, в кодер 156-1 и поставляет нижнее изображение с низким разрешением, которое представляет собой нижнюю область, разрешение которой было уменьшено, в кодер 156-2.
Делитель 155 объединяет левый край левой конечной центральной области с правым краем правой ее конечной области, тем самым, генерируя конечное изображение. Делитель 155 поставляет конечное изображение в кодер 156-3. Делитель 155 также поставляет центральную одну из центральной области в виде центрального изображения в кодер 156-4.
Кодеры 156-1-154-4 кодируют верхнее изображение с низким разрешением, нижнее изображение с низким разрешением, конечное изображение и центральное изображение, поставленное из делителя 155, в соответствии с процессом кодирования, таким как AVC, HEVC или т.п. Кодеры с 156-1 по 156-4 поставляют закодированные потоки, генерируемые как потоки с высоким разрешением, в запоминающее устройство 157, которое записывает на нем поставленные потоки с высоким разрешением.
Запоминающее устройство 157 записывает на нем один закодированный поток с низким разрешением, подаваемый от кодера 154, и четыре закодированных потока с высоким разрешением, поставленных из кодеров 156-1-156-4.
Генератор 158 считывает один кодированный поток с низким разрешением и четыре кодированных потока высокого разрешения из запоминающего устройства 157 и преобразует каждый из них в файлы каждый на сегмент. Генератор 158 передает файлы изображений, сформированные таким образом, на веб-сервер 12, изображенный на фиг. 1.
Описание закодированного потока изображения всей небесной сферы
Фиг. 3 представляет собой схему, иллюстрирующую закодированный поток изображения всей небесной сферы.
Если разрешение изображения 170 цельной небесной сферы составляет 4k (3840 пикселей × 2160 пикселей), как показано на фиг. 3, то горизонтальное разрешение изображения 161 цельной небесной сферы с низким разрешением составляет 1920 пикселей, что составляет половину горизонтального разрешения изображения 170 цельной небесной сферы, и вертикальное разрешение изображения 161 цельной небесной сферы с низким разрешением составляет 1080 пикселей, что составляет половину вертикального разрешения изображения 170 цельной небесной сферы, как показано на фиг. 3 в A. Изображение 161 цельной небесной сферы с низким разрешением кодируется так, как оно есть, генерируя один кодированный поток с низким разрешением.
Как показано на фиг. 3 в B, изображение 170 цельной небесной сферы разделяется вертикально на три области, и его центральная область разделяется горизонтально на три области, так что граница не лежит в центре O. В результате, изображение 170 цельной небесной сферы разделено в верхнее изображение 171 в качестве верхней области 3840 пикселей × 540 пикселей, нижнее изображение 172 в качестве нижней области 3840 пикселей × 540 пикселей, и центральная область составляет 3840 пикселей × 1080 пикселей. Центральная область 3840 пикселей × 1080 пикселей разделена на левое изображение 173-1 как левая область 960 пикселей × 1080 пикселей, правое изображение 173-2, как правая область 960 пикселей × 1080 пикселей и центральное изображение 174 как центральная область 1920 пикселей × 1080 пикселей.
Верхнее изображение 171 и нижнее изображение 172 имеют горизонтальное разрешение, уменьшенное на половину, генерируя верхнее изображение с низким разрешением и нижнее изображение с низким разрешением. Поскольку изображение цельной небесной сферы представляет собой изображение, которое распространяется горизонтально и вертикально на 360 градусов, то левое конечное изображение 173-1 и правое конечное изображение 173-2, которые обращены друг к другу, являются фактически непрерывными изображениями. Левый край левого конечного изображения 173-1 объединяется с правым краем правого конечного изображения 173-2, генерируя конечное изображение. Верхнее изображение с низким разрешением, нижнее изображение с низким разрешением, конечное изображение и центральное изображение 174 кодируются независимо друг от друга, генерируя четыре кодированных потока высокого разрешения.
Как правило, изображение 170 цельной небесной сферы генерируется так, что фронт изображения 170 цельной небесной сферы на позиции на изображении 170 цельной небесной сферы, которая расположена по центру поля зрения в стандартном направлении просмотра, лежит по центру O изображения 170 цельной небесной сферы.
В соответствии с процессом кодирования, таким как AVC, HEVC или тому подобное, когда информация сжимается посредством временной компенсации движения, когда объект перемещается по экрану, артефакты искажения сжатия распространяется между кадрами, сохраняя его в определенной форме. Однако если изображение на экране разделено и разделенные изображения кодируются независимо друг от друга, то, поскольку компенсация движения не выполняется через границы, уровень искажений сжатия имеет тенденцию к увеличению. В результате, движущееся изображение, состоящее из декодированных разделенных изображений, имеет полосу, сформированную в ней, где появление искажения сжатия изменяется на границах между разделенными изображениями. Известно, что это явление происходит между срезами AVC или плитками HEVC. Следовательно, качество изображения, вероятно, ухудшится на границах между верхним изображением с низким разрешением, нижним изображением с низким разрешением, конечным изображением и центральным изображением 174, которые были декодированы.
Следовательно, изображение 170 цельной небесной сферы разделено так, что граница не лежит по центру O всего изображения 170 цельной небесной сферы, что с высокой вероятностью может увидеть пользователь. В результате, качество изображения не ухудшается в центре O, которое с высокой вероятностью может увидеть пользователь, что делает ухудшение качества изображения ненавязчивым во всем изображении 170 цельной небесной сферы, которое было декодировано.
Левое конечное изображение 173-1 и правое конечное изображение 173-2 объединяются друг с другом и кодируются. Следовательно, если области конечных изображений и центральное изображение 174 одинаковы, то максимальные кодированные потоки с высоким разрешением изображения цельной небесной сферы с заданной точки просмотра, которые необходимы для отображения изображения цельной небесной сферы, являются двумя закодированными потоками высокого разрешения, как одного из верхнего изображения с низким разрешением, так и нижнего изображения с низким разрешением, и либо одного конечного изображения и центрального изображения 174, независимо от точки просмотра. Следовательно, количество потоков высокого разрешения, подлежащих декодированию с помощью терминального устройства 14 воспроизведения движущегося изображения, одинаково, независимо от точки просмотра.
Описание определения SRD в первом варианте осуществления
Фиг. 4 представляет собой схему, иллюстрирующую пример определения SRD в первом варианте осуществления.
SRD относится к информации, которая может быть описана в MPD файле, и представляет собой информацию, указывающую позицию на экране одной или нескольких отдельно кодированных областей, на которые было разделено изображение контента движущегося изображения.
В частности, SRD задается как <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2015" value = "source_id, object_x, object_y, object_width, object_height, total_width, total_height, spaces_set_id" />.
«source_id» относится к ID (идентификатору) контента движущегося изображения, соответствующего SRD. «оbject_x» и «object_y» относятся соответственно к горизонтальным и вертикальным координатам на экране верхнего левого угла области, соответствующей SRD. «оbject_width» и «object_height» относятся соответственно к горизонтальным и вертикальным размерам области, соответствующей SRD. «total_width» и «total_height» относятся соответственно к горизонтальным и вертикальным размерам экрана, на котором размещается область, соответствующая SRD. «spaces_set_id» относится к ID экрана, на котором размещается область, соответствующая SRD.
Как показано на фиг. 4, в соответствии с определением SRD в настоящем варианте осуществления, если изображение контента движущегося изображения представляет собой панорамное изображение (панорамное изображение) или изображение цельной небесной сферы (динамика небесной сферы), то сумма «object_x» и «оbject_width» может превышать «total_width», и сумма «object_y» и «object_height» может превышать «total_height».
Информация, указывающая на то, что изображение контента движущегося изображения представляет собой панорамное изображение (панорамное изображение) или изображение цельной небесной сферы (динамика небесной сферы), может быть описано в MPD файле. В этом случае, определение SRD в настоящем варианте осуществления изображено на фиг. 5.
Описание SRD конечного изображения
Фиг. 6 представляет собой схему, изображающую SRD конечного изображения, описанного в MPD файле.
Как описано выше со ссылкой на фиг. 4, в соответствии с SRD в первом варианте осуществления, если изображение контента движущегося изображения является изображением цельной небесной сферы, тогда сумма «object_x» и «object_width» может превышать «total_width».
Следовательно, устройство 11 генерирования файлов устанавливает позицию левого конечного изображения 173-1 на экране 180 с правой стороны правого конечного изображения 173-2, например. Как показано на фиг. 6, позиция левого конечного изображения 173-1 на экране 180 теперь выступает за пределы экрана 180. Однако позиции на экране 180 правого конечного изображения 173-2 и левого конечного изображения 173-1, которые составляют конечное изображение 173, воспроизводятся смежными. Следовательно, устройство 11 генерирования файлов может описывать позицию конечного изображения 173 на экране 180 с помощью SRD.
В частности, устройство 11 генерирования файла описывает горизонтальные и вертикальные координаты позиции на экране 180 верхнего левого угла правого конечного изображения 173-2 как «object_x» и «object_y» SRD конечного изображения 173, соответственно. Устройство 11 генерирования файла также описывает горизонтальные и вертикальные размеры конечного изображения 173 как «object_width» и «object_height» SRD конечного изображения 173 соответственно.
Устройство 11 генерирования файла также описывает горизонтальные и вертикальные размеры экрана 180 как «total_width» и «total_height» SRD конечного изображения 173 соответственно. Устройство 11 генерирования файла, таким образом, устанавливает позицию, выступающую из экрана 180, в качестве позиции конечного изображения 173 на экране 180.
В отличие от этого, если определение SRD ограничено, так что сумма «object_x» и «object_width» равна или меньше «total_width», и сумма «object_y» и «object_height» равна или меньше, чем « total_height ", как показано на фиг. 7, т.е. если позиция на экране области, соответствующей SRD, не должна выступать за пределы экрана, то позиция левого конечного изображения 173-1 на экране 180 не может быть установлена в правой части правого конечного изображения 173-2.
Следовательно, позиции на экране 180 правого конечного изображения 173-2 и левого конечного изображения 173-1, которые составляют конечное изображение 173, не смежны, и позиция на экране 180 как правого конечного изображения 173- 2, так и левого конечного изображения 173-1 должно быть описаны как позиция конечного изображения 173 на экране 180. Как следствие, позиция конечного изображения 173 на экране 180 не может быть описана посредством SRD.
Пример MPD файла
Фиг. 8 представляет собой схему, иллюстрирующую пример MPD файла, сгенерированного устройством 11 генерирования файла, изображенного на фиг. 1.
Как показано на фиг. 8, в MPD файле «AdaptationSet» описывается для каждого кодированного потока. Каждый «AdaptationSet» имеет SRD соответствующей области, описанной в нем, и «Representation», описанной в нем. «Representation» содержит информацию, такую как URL (унифицированный указатель ресурса) файла изображения соответствующего закодированного потока, описанного в нем.
В частности, первый «AdaptationSet» на фиг. 8 представляет собой «AdaptationSet» кодированного потока с низким разрешением изображения 161 цельной небесной сферы низкого разрешения изображения 170 цельной небесной сферы. Таким образом, первый «AdaptationSet» имеет <SupplementalProperty shemeIdUri=”urn:mpeg:dash:srd:2014" value=" 1,0,0,1920,1080,1920,1080,1 "/>, который представляет SRD изображения 161 цельной небесной сферы с низким разрешением. «Representation» первого «AdaptationSet» имеет URL «stream1.mp4» файла изображения кодированного потока с низким разрешением, описанного в нем.
Второй «AdaptationSet» на фиг. 8 представляет собой «AdaptationSet» кодированного потока с высоким разрешением верхнего изображения с высоким разрешением изображения 170 цельной небесной сферы. Таким образом, второй «AdaptationSet» имеет <SupplementalProperty shemeIdUri=”urn:mpeg:dash:srd:2014"value=" 1,0,0,3840,540,3840,2160,2 "/>, который представляет SRD верхнего изображения с низким разрешением, описанного в нем. «Representation» второго «AdaptationSet» имеет URL «stream2.mp4» файла изображения кодированного потока с высоким разрешением верхнего изображения с низким разрешением, описанного в нем.
Третий «AdaptationSet» на фиг. 8 представляет собой «AdaptationSet» кодированного потока высокого разрешения центрального изображения 174 изображения 170 цельной небесной сферы. Следовательно, третий «AdaptationSet» имеет <SupplementalProperty schemeIdUri=”urn:mpeg:dash:srd:2014”value="1,960,540,1920,1080,3840,2160,2"/>, который представляет SRD центрального изображения 174, описанного в нем. «Representation» третьего «AdaptationSet» имеет URL “stream3.mp4” файла изображения кодированного потока высокого разрешения центрального изображения 174, описанного в нем.
Четвертый «AdaptationSet» на фиг. 8 представляет собой «AdaptationSet» кодированного потока с высоким разрешением нижнего изображения с низким разрешением изображения 170 цельной небесной сферы. Следовательно, четвертый «AdaptationSet» имеет <SupplementalProperty schemeIdUri=”urn:mpeg:dash:srd:2014”value=" 1,0,1620,3840,540,3840,2160,2"/>, который представляет SRD нижнего изображения с низким разрешением, описанного в нем. «Representation» четвертого «AdaptationSet» имеет URL «stream4.mp4» файла изображения кодированного потока с высоким разрешением нижнего изображения с низким разрешением, описанного в нем.
Пятый «AdaptationSet» на фиг. 8 представляет собой «AdaptationSet» кодированного потока с высоким разрешением конечного изображения 173 изображения 170 цельной небесной сферы. Следовательно, пятый «AdaptationSet» имеет <SupplementalProperty schemeIdUri=«urn:mpeg:dash:srd:2014”value="1,2880,540,1920,1080,3840,2160,2"/>, который представляет SRD конечного изображения 173, описанного в нем. «Representation» пятого «AdaptationSet» имеет URL “stream5.mp4” файла изображения кодированного потока с высоким разрешением конечного изображения 173, описанного в нем.
Описание процесса генератора файлов изображений
Фиг. 9 представляет собой блок-схему алгоритма процесса кодирования генератора 150 файла изображения, изображенного на фиг. 2.
На этапе S11, изображенном на фиг. 9, процессор 151 сшивания выравнивает цвета и яркости всенаправленных изображений, поставляемые с нескольких камер, не показаны, и объединяет их при удалении наложений. Процессор 151 сшивания поставляет всенаправленное изображение, полученное в результате, процессору 152 отображения.
На этапе S12 процессор 152 отображения генерирует изображение 170 цельной небесной сферы из всенаправленного изображения, подаваемого из процессора 151 сшивания, и поставляет изображение 170 цельной небесной сферы в понижающий преобразователь 153 разрешения и делитель 155.
На этапе S13 понижающий преобразователь 153 разрешения уменьшает разрешение изображения 170 цельной небесной сферы, поставляемого из процессора 152 отображения, генерируя изображение 161 цельной небесной сферы с низким разрешением. Понижающий преобразователь 153 разрешения поставляет изображение 161 цельной небесной сферы с низким разрешением в кодер 154.
На этапе S14 кодер 154 кодирует изображение 161 цельной небесной сферы с низким разрешением, поставляемое из понижающего преобразователя 153 разрешения, тем самым, генерируя кодированный поток с низким разрешением. Кодер 154 поставляет закодированный поток с низким разрешением в запоминающее устройство 157.
На этапе S15 делитель 155 делит изображение 170 цельной небесной сферы, поставляемое из процессора 152 отображения, на верхнее изображение 171, нижнее изображение 172, левое конечное изображение 173-1, правое конечное изображение 173-2 и центральное изображение 174. Делитель 155 поставляет центральное изображение 174 в кодер 156-4.
На этапе S16 делитель 155 уменьшает разрешение верхнего изображения 171 и нижнего изображения 172 таким образом, что их горизонтальное разрешение уменьшается на половину. Делитель 155 поставляет верхнее изображение с низким разрешением, полученное в результате, в кодер 156-1, а также поставляет нижнее изображение с низким разрешением, которое представляет нижнюю область, разрешение которой было уменьшено, в кодере 156-2.
На этапе S17 делитель 155 объединяет левый край левого конечного изображения 173-1 с правым краем правого конечного изображения 173-2, тем самым, генерируя конечное изображение 173. Делитель 155 поставляет конечное изображение 173 в кодер 156-3.
На этапе S18 кодеры 156-1-156-4 кодируют верхнее изображение с низким разрешением, нижнее изображение с низким разрешением, конечное изображение 173 и центральное изображение 174, соответственно, поставленные из делителя 155. Кодеры 156-1-154-4 подают закодированные потоки, генерируемые в результате, в виде потоков высокого разрешения в запоминающее устройство 157.
На этапе S19 запоминающее устройство 157 записывает на него один кодированный поток с низким разрешением, подаваемый от кодера 154, и четыре кодированных потока с высоким разрешением, подаваемых от кодеров 156-1-156-4.
На этапе S20 генератор 158 считывает один кодированный поток с низким разрешением и четыре кодированных потока высокого разрешения из запоминающего устройства 157 и преобразует каждый из них в файлы на каждый сегмент, тем самым, генерируя файлы изображений. Генератор 158 передает файлы изображений на веб-сервер 12, изображенный на фиг. 1. Процесс кодирования теперь завершен.
Функциональный конфигурационный пример терминального устройства воспроизведения движущегося изображения
Фиг. 10 представляет собой блок-схему, изображающую конфигурационный пример потокового проигрывателя, который реализован терминальным устройством 14 воспроизведения движущегося изображения, изображенным на фиг. 1, когда он выполняет программное обеспечение 21 управления, программное обеспечение 22 воспроизведения движущегося изображения и программное обеспечение 23 доступа.
Потоковый проигрыватель 190, изображенный на фиг. 10, включает в себя MPD приемник 191, MPD процессор 192, загрузчик 193 файла изображения, декодеры с 194-1 по 194-3, распределитель 195, средство 196 визуализации и детектор 197 прямой видимости.
MPD приемник 191 потокового проигрывателя 190 получает MPD файл с веб-сервера 12 и поставляет MPD файл в MPD процессор 192.
На основании информации направления просмотра пользователя, поставленной от детектора 197 прямой видимости, MPD процессор 192 выбирает два из верхнее изображение 171, нижнее изображение 172, конечное изображение 173 и центральное изображение 174 в качестве выбранных изображений, которые могут быть находится в поле зрения пользователя. В частности, когда изображение 170 цельной небесной сферы отображается на сферическую плоскость, то MPD процессор 192 выбирает одно из верхнее изображение 171, нижнее изображение 172 и одно из конечное изображение 173 и центральное изображение 174, которое может быть, возможно, находиться в поле зрения пользователя, когда пользователь, который находится в сфере, смотрит в направлении просмотра, как выбранные изображения.
MPD процессор 192 извлекает информацию, такую как URL-адреса файлов изображений изображения 161 цельной небесной сферы низкого разрешения и выбранные изображения в сегментах, которые должны быть воспроизведены, из MPD файла, предоставленного из MPD приемника 191, и поставляет извлеченную информацию в загрузчик 193 файла изображения. MPD процессор 192 также извлекает SRDs изображения 161 цельной небесной сферы с низким разрешением и выбранные изображения в сегментах, которые должны воспроизводиться, из MPD файла, и поставляет извлеченные SRDs в распределитель 195.
Загрузчик 193 файла изображения запрашивает веб-сервер 12 поставить закодированные потоки файлов изображений, которые указаны URL-адресами, предоставленные из MPD процессора 192, и получает закодированные потоки. Загрузчик 193 файла изображения поставляет полученный кодированный поток с низким разрешением в декодер 194-1. Загрузчик 193 файла изображения также поставляет кодированный поток изображения с высоким разрешением одного из выбранных изображений в декодер 194-2 и поставляет кодированный поток с высоким разрешением другого выбранного изображения в декодер 194-3.
Декодер 194-1 декодирует кодированный поток с низким разрешением, поданный из загрузчика 193 файла изображения, согласно процессу, соответствующему процессу кодирования, такому как AVC, HEVC или тому подобное, и поставляет изображение 161 цельной небесной сферы с низким разрешением, полученное в результате процесса декодирования, в распределитель 195.
Декодеры 194-2 и 194-3 декодируют кодированные потоки с высоким разрешением выбранных изображений, подаваемых из загрузчика 193 файла изображения, в соответствии с процессом, соответствующим процессу кодирования, такому как AVC, HEVC или тому подобное. Декодеры 194-2 и 194-3 затем поставляют выбранные изображения, полученные в результате процесса декодирования, в распределитель 195.
Распределитель 195 помещает изображение 161 цельной небесной сферы с низким разрешением, поставленное из декодера 194-1, на экране, на основании SRD, подаваемого из MPD процессора 19. Затем распределитель 195 налагает выбранные изображения, поставленные из декодеров 194 -2 и 194-3, на экране, где изображение 161 цельной небесной сферы с низким разрешением было размещено, на основании SRD.
В частности, горизонтальный и вертикальный размеры экрана, на котором размещено изображение 161 цельной небесной сферы с низким разрешением, обозначенное SRD, составляют половину горизонтального и вертикального размеров экрана, на котором размещены выбранные изображения. Следовательно, распределитель 195 увеличивает вдвое горизонтальный и вертикальный размер экрана, на котором размещается изображение 161 цельной небесной сферы с низким разрешением, и накладывает на него выбранные изображения. Распределитель 195 отображает экран, на котором выбранные изображения были наложены на сферу, и поставляет сферическое изображение, полученное в результате, в средство 196 визуализации.
Средство 196 визуализации проецирует сферическое изображение, поданное из распределителя 195, в поле зрения пользователя, из детектора 197 прямой видимости, тем самым, генерируя изображение в поле просмотра пользователя. Затем средство 196 визуализации управляет устройством отображения, которое не изображено, для отображения сгенерированного изображения в качестве отображаемого изображения.
Детектор 197 прямой видимости определяет направление визирования пользователя. Направление визирования пользователя может быть обнаружено с помощью способа обнаружения, основанного на градиенте устройства, носимым пользователем, например. Детектор 197 прямой видимости поставляет обнаруженное направление визирования пользователя в MPD процессор 192.
Детектор 197 прямой видимости также обнаруживает позицию пользователя. Позиция пользователя может быть обнаружена с помощью способа обнаружения, основанного на захваченном изображении маркера или тому подобного, который добавляется, например, к устройству, носимому пользователем. Детектор 197 прямой видимости определяет поле просмотра пользователя на основании обнаруженной позиции пользователя и вектора прямой видимости и поставляет определенное поле просмотра пользователя в средство 196 визуализации 196.
Описание процесса работы терминального устройства воспроизведения движущегося изображения
Фиг. 11 представляет собой блок-схему последовательности операций процесса воспроизведения потокового проигрывателя 190, изображенного на фиг. 10.
На этапе S41, изображенном на фиг. 11, MPD приемник 191 потокового проигрывателя 190 получает MPD файл с веб-сервера 12 и поставляет полученный MPD файл в MPD процессор 192.
На этапе S42 MPD процессор 192 выбирает два из верхнее изображение 171, нижнее изображение 172, конечное изображение 173 и центральное изображение 174 в качестве выбранных изображений, которые могут быть находиться в поле просмотра пользователя, на основании направления визирования пользователя, подаваемого от детектора 197 прямой видимости.
На этапе S43 MPD процессор 192 извлекает информацию, такую как URL-адреса файлов изображений изображения 161 цельной небесной сферы с низким разрешением, и выбранные изображения в сегментах, которые должны быть воспроизведены, из MPD файла, поставленного из MPD приемника 191, и поставляет извлеченную информацию в загрузчик 193 файла изображения.
На этапе S44 MPD процессор 192 извлекает SRDs изображения 161 цельной небесной сферы с низким разрешением и выбранные изображения в сегментах, которые должны воспроизводиться, из MPD файла, и поставляет извлеченные SRDs в распределитель 195.
На этапе S45 загрузчик 193 файла изображений запрашивает веб-сервер 12 закодированные потоки файлов изображений, которые указаны URL-адресами, поставленные из MPD процессора 192, и получает закодированные потоки. Загрузчик 193 файла изображений поставляет полученный кодированный поток с низким разрешением в декодер 194-1. Загрузчик 193 файла изображений также поставляет кодированный поток изображения с высоким разрешением одного из выбранных изображений в декодер 194-2 и поставляет кодированный поток с высоким разрешением другого выбранного изображения в декодер 194-3.
На этапе S46 декодер 194-1 декодирует кодированный поток с низким разрешением, поставленный из загрузчика 193 файла изображения, и поставляет изображение 161 цельной небесной сферы с низким разрешением, полученное в результате процесса декодирования, в распределитель 195.
На этапе S47 декодеры 194-2 и 194-3 декодируют кодированные потоки с высоким разрешением выбранных изображений, подаваемых из загрузчика 193 файла изображений, и поставляет выбранные изображения, полученные в результате процесса декодирования, в распределитель 195.
На этапе S48 распределитель 195 помещает изображение 161 цельной небесной сферы с низким разрешением, поданное от декодера 194-1, на экране, на основании SRD, подаваемого из MPD процессора 192. Затем распределитель 195 налагает выбранные изображения, поставленные из декодеров 194-2 и 194-3, на экран. Распределитель 195 отображает экран, на котором выбранные изображения были наложены, на сферу, и поставляет сферическое изображение, полученное в результате, в средство 196 визуализации.
На этапе S49 средство 196 визуализации проецирует сферическое изображение, поданное из распределителя 195, в поле просмотра пользователя, подаваемого от детектора 197 прямой видимости, тем самым, генерируя изображение, которое должно отображаться. Затем средство 196 визуализации управляет устройством отображения, которое не показано, для отображения сгенерированного изображения в виде отображаемого изображения. Процесс воспроизведения завершен.
Второй вариант осуществления
Пример структуры сегмента файла изображения конечного изображения
Согласно второму варианту осуществления системы обработки изображений, к которой применяется настоящее изобретение, устанавливаются различные уровни (которые будут описаны более подробно позже) для кодированного потока левого конечного изображения 173-1 и закодированного потока правого конечного изображения 173-2, среди кодированных потоков конечного изображения 173. Как следствие, если SRD определяется, как показано на фиг. 7, то позиции левого конечного изображения 173-1 и правого конечного изображения 173-2 на экране 180 могут быть описаны с использованием SRD.
В частности, второй вариант осуществления системы обработки изображений, к которой применяется настоящее изобретение, является таким же, как и первый вариант осуществления, за исключением структуры сегмента файла изображения конечного изображения 173, сгенерированного устройством 11 генерирования файла, и MPD файла. Поэтому ниже будет описана только структура сегмента файла изображения конечного изображения 173 и MPD файл.
Фиг. 12 представляет собой схему, изображающую пример структуры сегмента файла изображения конечного изображения 173 во втором варианте осуществления системы обработки информации, к которой применяется настоящее изобретение.
Как показано на фиг. 12, в файле изображения конечного изображения 173 начальный сегмент включает в себя ftyp блок и moov блок. moov блок включает в себя stbl блок и mvex блок, размещенные в нем.
Последовательно описывается stbl блок, включающий в себя sgpd блок и т.д., размещенный там, где запись группы области плитки указывает позицию левого конечного изображения 173-1, как часть конечного изображения 173 на конечном изображении 173, и запись группы области плитки указывает позицию правого конечного изображения 173-2 на конечном изображении 173. Запись группы области плитки стандартизирована посредством HEVC Tile Track HEVC формата файла.
mvex блок включает в себя leva блок и т.д., размещенный там, где 1 задана как уровень для левого конечного изображения 173-1, соответствующего первой записи группы области плитки, и 2 устанавливается как уровень для правого конечного изображения 173-2, соответствующего второй записи группы области плитки.
leva блок устанавливает 1 как уровень для левого конечного изображения 173-1 и 2 как уровень для правого конечного изображения 173-2, последовательно описывая информацию уровня, соответствующего первой записи группы области плитки, и информации, соответствующего уровня второй записи группы плитки. Уровень функционирует как индекс, когда часть закодированного потока назначается из MPD файла.
leva блок имеет, описанный в нем, assignment_type, который указывает, является ли объект, для которого должен быть установлен уровень, закодированным потоком, размещенным на множестве дорожек, или нет, как информация каждого уровня. В примере, показанном на фиг. 12, закодированный поток конечного изображения 173 помещается на одну дорожку. Следовательно, assignment_type установлен на 0, указывающее, что объект, для которого должен быть установлен уровень, не является кодированным потоком, размещенным на множестве дорожек.
leva блок также имеет тип записи группы области плитки, соответствующий уровню, описанному в нем, в качестве информации каждого уровня. В примере, показанном на фиг. 12, «trif», представляющий тип записи группы области плитки, описанной в sgpd блоке, описывается как информация каждого уровня. Подробная информация о leva блоке приведена, например, в ISO/IEC 14496-12 ISO базовый формат медиафайла 4-ое издание, июль 2012 года.
Медиасегмент включает в себя один или несколько подсегментов, включающие в себя sidx блок, ssix блок и пары moof и mdat блоков. sidx блок размещена позиционная информация, которая указывает позицию каждого подсегмента в файле изображения. ssix блок включает в себя позиционную информацию закодированных потоков соответствующих уровней, помещенных в mdat блоки.
Подсегмент предоставляется на заданный период времени. mdat блоки имеют закодированные потоки, размещенные в них вместе, в течение заданного периода времени, и moof блоки содержат информацию управления этими закодированными потоками, размещенными в них.
Пример записи группы области плитки
Фиг. 13 представляет собой схему, изображающую пример записи группы области плитки на фиг. 12.
Запись группы области плитки последовательно описывает ID записи группы области плитки, горизонтальные и вертикальные координаты верхнего левого угла соответствующей области на изображении, соответствующем закодированному потоку, и также горизонтальные и вертикальные размеры изображения, соответствующего закодированному потоку.
Как показано на фиг. 13, конечное изображение 173 составлено из правого конечного изображения 173-2 960 пикселей × 1080 пикселей и левого конечного изображения 173-1 960 пикселей × 1080 пикселей, левый край которого объединен с правым краем правого концевого изображения 173-2. Таким образом, запись группы области плитки левого концевого изображения 173-1 представлена (1, 960, 0, 960, 1080), и запись группы области плитки правого концевого изображения 173-2 представлена (2, 0, 0, 960, 1080).
Пример MPD файла
Фиг. 14 представляет собой схему, изображающую пример MPD файла.
MPD файл, изображенный на фиг. 14, совпадает с MPD файлом, изображенным на фиг. 8, за исключением пятого “AdaptationSet”, который является “AdaptationSet” кодированного потока с высоким разрешением конечного изображения 173. Поэтому ниже будет описан только пятый “AdaptationSet”.
Пятый “AdaptationSet”, изображенный на фиг. 14, не имеет SRD конечного изображения 173, описанного в нем, но имеет “Representation”, описанное в нем. “Representation” имеет URL-адрес «stream5.mp4» файла изображения кодированного потока с высоким разрешением конечного изображения 173, описанного в нем. Поскольку для кодированного потока конечного изображения 173 установлен уровень, “SubRepresentation” на уровень, который может быть описан в “Representation”.
Поэтому “SubRepresentation” уровня «1» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1,2880,540,960,1080,3840,2160,2" />, который представляет SRD левого конечного изображения 173-1, описанного в нем. SRD левого конечного изображения 173-1, таким образом, устанавливается в связи с позицией на конечном изображении 173 левого конечного изображения 173-1, обозначенной позицией группы области плитки, соответствующей уровню «1».
«SubRepresentation» уровня «2» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1, 0, 540, 960, 1080, 3840,2160, 2" />, который представляет SRD правого конечного изображения 173-2, описанное в нем. SRD правого конечного изображения 173-2, таким образом, устанавливается в связи с позицией на конечном изображении 173 правого конечного изображения 173-2, обозначенной позицией группы области плитки, соответствующей уровню «2».
Согласно второму варианту осуществления, как описано выше, для левого конечного изображения 173-1 и правого конечного изображения 173-2 установлены разные уровни. Поэтому позиции на экране 180 левого конечного изображения 173-1 и правого конечного изображения 173-2, которые составляют конечное изображение 173, соответствующее закодированному потоку, могут быть описаны SRD.
Потоковый проигрыватель 190 помещает левое конечное изображение 173-1 на позицию, обозначенную записью группы области плитки, соответствующей уровню «1» декодированного конечного изображения 173, на экране 180 на основании SRD уровня «1», установленный в MPD файле. Потоковый проигрыватель 190 также помещает правое конечное изображение 173-2 на позицию, обозначенную записью группы области плитки, соответствующей уровню «2» декодированного конечного изображения 173, на экране 180 на основании SRD уровня "2" в MPD файле.
Согласно второму варианту осуществления кодированный поток конечного изображения 173 помещается на одну дорожку. Однако если левое конечное изображение 173-1 и правое конечное изображение 173-2 кодируются как разные плитки, в соответствии с процессом HEVC, тогда их соответствующие данные среза могут быть размещены на разных дорожках.
Пример структуры дорожки
Фиг. 15 представляет собой схему, изображающую пример структуры дорожки, где данные среза левого конечного изображения 173-1 и правого конечного изображения 173-2 размещаются на разных дорожках.
Если данные среза левого конечного изображения 173-1 и правого конечного изображения 173-2 размещены на разных дорожках, то три дорожки помещаются в файл изображения конечного изображения 173, как показано на фиг. 15.
Блок дорожки каждой дорожки имеет, размещенную в нем контрольную дорожку. Контрольная дорожка представляет собой контрольную информацию взаимодействия соответствующей дорожки с другой дорожкой. В частности, контрольная информация взаимодействия представляет собой идентификатор (далее именуемый как «ID дорожки»), присущий другой дорожке, к которой соответствующая дорожка имеет ссылочное отношение. Экземпляр каждой дорожки управляется записью экземпляра.
Дорожка, чей ID дорожки равен 1, является базовой дорожкой, которая не включает в себя данные среза кодированного потока конечного изображения 173. В частности, экземпляр базовой дорожки содержит наборы параметров, помещенные в ней, которые включают в себя VPS (набор параметров видео) SPS (набор параметров последовательности), SEI (информация о дополнительной оптимизации), PPS (набор параметров изображения) и т.д. закодированного потока конечного изображения 173. Экземпляр базовой дорожки также имеет выделители в блоке выборок других дорожек, чем базовая дорожка, помещенные в нем, в виде подвыборки. Выделитель включает в себя тип выделителя и информацию, указывающую позицию экземпляра соответствующей дорожки в файле и его размер.
Дорожка, чей ID дорожки равен 2, представляет собой дорожку, которая включает в себя данные среза левого конечного изображения 173-1 кодированного потока конечного изображения 173 в качестве выборки. Дорожка, чей ID дорожки равен 3, представляет собой дорожку, которая включает в себя данные среза правого конечного изображения 173-2 кодированного потока конечного изображения 173 в качестве выборки.
Пример leva блока
Структура сегмента файла изображения конечного изображения 173 в случае, когда данные среза левого конечного изображения 173-1 и правого конечного изображения 173-2 размещены на разных дорожках, совпадает со структурой сегмента, изображенной на фиг. , 12, за исключением leva блока. Поэтому ниже будет описан только leva блок.
Фиг. 16 представляет собой схему, изображающую пример leva блока файла изображения конечного изображения 173 в случае, когда данные среза левого конечного изображения 173-1 и правого конечного изображения 173-2 размещаются на разных дорожках.
Как показано на фиг. 16, leva блок файла изображения конечного изображения 173 в случае, когда данные среза левого конечного изображения 173-1 и правого конечного изображения 173-2 размещены на разных дорожках, имеют уровни «1» - «3» последовательно установленные для дорожек с идентификаторами дорожки «1» до «3».
leva блок, изображенный на фиг. 16, содержит идентификаторы дорожек, описанные в них, для дорожек, включающие в себя данные среза области в конечном изображении 173, для которых установлены уровни, в качестве информации соответствующих уровней. В примере, показанном на фиг. 16, идентификаторы дорожек «1», «2» и «3» описываются соответственно как информация уровней «1», «2» и «3».
На фиг. 16, данные среза кодированного потока конечного изображения 173 в качестве объекта, для которого должны быть установлены уровни, размещены на множестве дорожек. Следовательно, параметр assignment_type, включенный в состав информации уровня каждого уровня, равен 2 или 3, что указывает, что объект, для которого должны быть установлены уровни, является закодированным потоком, размещенным на множестве дорожек.
На фиг. 16, кроме того, нет записи группы области плитки, соответствующей уровню «1.». Таким образом, тип записи группы области плитки, включенный в состав информации уровня «1», является grouping_type «0», что указывает на отсутствие записи группы области плитки. Напротив, запись группы области плитки, соответствующая уровням «2» и «3», относится к записи группы области плитки, включенной в состав sgpd блока. Таким образом, тип записи группы области плитки, включенный в состав информации уровней «2» и «3», является “trif”, который является типом записи группы области плитки, включенной в состав sgpd блока.
Другой пример MPD файла
Фиг. 17 представляет собой схему, изображающую пример MPD файла, где данные среза левого конечного изображения 173-1 и правого конечного изображения 173-2 размещаются на разных дорожках.
MPD файл, изображенный на фиг. 17, является таким же, как MPD файл, изображенный на фиг. 14, за исключением элементов каждого «SubRepresentation» пятого “AdaptationSet”.
В частности, в MPD файле, показанном на фиг. 17, первое “SubRepresentation” пятого “AdaptationSet” является “SubRepresentation” уровня «2.». Поэтому уровень «2» описывается как элемент “SubRepresentation”.
Дорожка идентификатора дорожки «2», соответствующая уровню «2», имеет зависимое отношение к базовой дорожке идентификатора дорожки «1». Следовательно, dependencyLevel, представляющий уровень, соответствующий дорожке в зависимом отношении, который описывается как элемент “SubRepresentation”, установлен на «1».
Дорожка идентификатора дорожки «2», соответствующая уровню «2», является HEVC дорожкой плитки. Поэтому кодеки, представляющие тип кодирования, описанный как элемент “SubRepresentation”, устанавливаются на “hvt1.1.2.H93.B0”, который указывает HEVC дорожку плитки.
В MPD файле, изображенном на фиг. 17, второе “SubRepresentation” пятого “AdaptationSet” является “SubRepresentation” уровня «3.». Поэтому уровень «3» описывается как элемент “SubRepresentation”.
Дорожка идентификатора дорожки «3», соответствующий уровню «3», имеет зависимое отношение к базовой дорожке идентификатора дорожки «1.» Следовательно, dependencyLevel, описанный как элемент “SubRepresentation”, устанавливается на «1.».
Дорожка идентификатора дорожки «3», соответствующая уровню «3», является HEVC дорожкой плитки. Поэтому кодеки, описанные как элемент “SubRepresentation”, устанавливаются на “hvt1.1.2.H93.B0”.
Как описано выше, если левое конечное изображение 173-1 и правое конечное изображение 173-2 кодируются как разные плитки, тогда декодер 194-2 или декодер 194-3, изображенный на фиг. 10, может декодировать левое конечное изображение 173-1 и правое конечное изображение 173-2 независимо друг от друга. Если данные среза левого конечного изображения 173-1 и правого конечного изображения 173-2 размещены на разных дорожках, то либо один из данные среза левого конечного изображения 173-1 и правого конечного изображения 173-2 могут быть получены. Следовательно, MPD процессор 192 может выбирать только одно из левое конечное изображение 173-1 и правое конечное изображение 173-2 в качестве выбранного изображения.
В приведенном выше описании данные среза левого конечного изображения 173-1 и правого конечного изображения 173-2, которые кодируются как разные плитки, размещаются на разных дорожках. Однако они могут быть помещены на одну дорожку.
В первом и втором вариантах осуществления изображение контента движущегося изображения представляет собой изображение цельной небесной сферы. Однако это может быть панорамным изображением.
Третий вариант осуществления
Конфигурационный пример третьего варианта осуществления системы обработки информации
Фиг. 18 представляет собой блок-схему, изображающую конфигурационный пример третьего варианта осуществления системы обработки информации, к которой применяется настоящее изобретение.
Из конфигурационных деталей, изображенных на фиг. 18, те, которые идентичны конфигурационным деталям, изображенным на фиг. 1, обозначены одинаковыми ссылочными позициями. Избыточные описания будут опущены.
Конфигурация системы 210 обработки информации, изображенной на фиг. 18, отличается от конфигурации системы 10 обработки информации, изображенной на фиг. 1, в том, что устройство 211 генерирования файла предусмотрено вместо устройства 11 генерирования файла.
В системе 210 обработки информации веб-сервер 12 распределяет закодированные потоки мозаичного изображения в виде изображения контента движущегося изображения на терминальное устройство 14 воспроизведения движущегося изображения, согласно процессу, эквивалентному MPEG-DASH. Мозаичное изображение относится к изображению, составленному из миниатюрных изображений движущихся изображений из множества широковещательных программ.
Устройство 211 генерирования файла системы 210 обработки информации кодирует мозаичное изображение на множестве скоростей кодирования (скорости передачи битов), тем самым, генерируя закодированные потоки. Устройство 211 генерирования файлов генерирует файлы изображений путем преобразования кодированных потоков с соответствующими скоростями кодирования в файлы, каждый в единицу времени, называемый сегментом, в диапазоне от нескольких до десяти секунд. Устройство 211 генерации файлов загружает сгенерированные файлы изображений на веб-сервер 12.
Устройство 211 генерирования файла (секция установки) также генерирует MPD файл (файл управления) для управления файлами изображений и т.д. Устройство 211 генерирования файлов загружает MPD файл на веб-сервер 12.
Конфигурационный пример устройства генерации файлов
Фиг. 19 представляет собой блок-схему, изображающую конфигурационный пример устройства 211 генерирования файла, изображенного на фиг. 18.
Устройство 211 генерирования файла, изображенное на фиг. 19, включает в себя процессор 231 кодирования, генератор 232 файла изображения, MPD генератор 233 и процессор 234 загрузки сервера.
Процессор 231 кодирования устройства 211 генерирования файлов кодирует мозаичное изображение как изображение контента движущегося изображения с множеством скоростей кодирования, тем самым, генерируя закодированные потоки. Процессор 231 кодирования поставляет закодированные потоки с соответствующими скоростями кодирования в генератор 232 файла изображения.
Генератор 232 файла изображения преобразует закодированные потоки с соответствующими скоростями кодирования, поставленными из процессора 231 кодирования, в файлы каждого на сегмент, тем самым, генерируя файлы изображений. Генератор 232 файла изображения поставляет сгенерированные файлы изображений в MPD генератор 233.
MPD генератор 233 определяет URL-адрес и т.д. веб-сервера 12 для хранения файлов изображений, поставленных из генератора 232 файлов изображений. MPD генератор 233 затем генерирует MPD файл, содержащий URL-адреса и т.д. файлов изображений. MPD генератор 233 поставляет сгенерированный MPD файл и файлы изображений на процессор 234 загрузки сервера.
Процессор 234 загрузки сервера загружает файлы изображений и MPD файл, поставленные из MPD генератора 233, на веб-сервер 12, изображенный на фиг. 18.
Пример мозаичного изображения
Фиг. 20 представляет собой схему, изображающую пример мозаичного изображения.
В примере, показанном на фиг. 20, мозаичное изображение 250 составлено из изображения 251 верхней левой миниатюры, изображения 252 верхней правой миниатюры, изображения 253 нижней левой миниатюры и изображения 254 нижней правой миниатюры. Мозаичное изображение 250 имеет разрешение 2k (1920 пикселей × 1080 пикселей) и все миниатюрные изображения с 251 по 254 имеют разрешение 960 пикселей × 540 пикселей.
Пример sgpd блока и leva блока
Структура сегмента файлов изображений мозаичного изображения 250, изображенного на фиг. 20, которое генерируется устройством 211 генерирования файла, является таким же, как и структура сегмента, изображенная на фиг. 12, за исключением sgpd блока и leva блока. Поэтому ниже будет описаны только sgpd блок и leva блок.
Фиг. 21 представляет собой схему, изображающую пример sgpd блока и leva блока файлов изображений мозаичного изображения 250, изображенного на фиг. 20.
Так как мозаичное изображение 250 составлено из четырех миниатюрных изображений с 251 по 254, описаны четыре записи группы области плитки в sgpd блоке файлов изображений мозаичного изображения 250, как показано на фиг. 21.
В примере, показанном на фиг. 21, первая запись группы области плитки соответствует миниатюрному изображению 251 и равна (1,0,0,960,540). Вторая запись группы области плитки соответствует миниатюрному изображению 252 и равна (2,960,0,960,540). Третья запись группы области плитки соответствует миниатюрному изображению 253 и составляет (3,0,540,960,540). Четвертая запись группы области плитки соответствует миниатюрному изображению 254 и составляет (4 960 540 960 540).
leva блок содержит информацию о уровнях, соответствующие соответствующим записям группы области плитки, описанные здесь последовательно из информации уровня соответствующего первой записи группы области плитки. Уровень для миниатюрного изображения 251 устанавливается равным 1, уровень для миниатюрного изображения 252 устанавливается на 2, уровень для миниатюрного изображения 253 устанавливается на 3 и уровень для миниатюрного изображения 254 устанавливается на 4.
assignmtnt_type, описанный как информация каждого уровня установлена на 0, и тип записи группы области плитки имеет значение “trif”, которое представляет тип записи в группе области плитки, описанной в sgpd блоке.
Первый пример MPD файла
На фиг. 22 показана схема, изображающая первый пример MPD файла, соответствующий файлам изображения мозаичного изображения 250, которые генерируются устройством 211 генерирования файла, изображенного на фиг. 18.
Как показано на фиг. 22, в MPD файле “AdaptationSet” описывается для каждого кодированного потока. Каждый “AdaptationSet” имеет “Representation”, описанный в нем, и “Representation” имеет URL-адрес «stream.mp4» файлов изображений закодированных потоков мозаичного изображения 250, описанного в нем. Поскольку уровни установлены для закодированных потоков мозаичного изображения 250, «SubRepresentation» на уровень может быть описано в “Representation”.
Таким образом, «SubRepresentation» уровня «1» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1,0,0,960,540,1920,1080" />, который представляет SRD миниатюрного изображения 251, описанное в нем. SRD миниатюрного изображения 251, таким образом, устанавливается в соответствии с позицией на мозаичном изображении 250 миниатюрного изображения 251, обозначенным записью группы области плитки, соответствующей уровню «1».
«SubRepresentation» уровня «2» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1,960,0,960,540,1920,1080"/>, который представляет SRD миниатюрного изображения 252, описанного в нем. SRD миниатюрного изображения 252, таким образом, устанавливается в соответствии с позицией на мозаичном изображении 250 миниатюрного изображения 252, обозначенной записью группы области плитки, соответствующей уровню «2».
«SubRepresentation» уровня «3» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1,0 540,960,540,1920,1080"/>, который представляет SRD миниатюрного изображения 253, описанного в нем. SRD миниатюрного изображения 253, таким образом, устанавливается в соответствии с позицией на мозаичном изображении 250 миниатюрного изображения 253, обозначенной записью группы области плитки, соответствующей уровню «3».
«SubRepresentation» уровня «4» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1,960,540,960,540,1920,1080"/>, который представляет SRD миниатюрного изображения 254, описанного в нем. SRD миниатюрного изображения 254, таким образом, устанавливается в соответствии с позицией на мозаичном изображении 250 миниатюрного изображения 254, обозначенной записью группы области плитки, соответствующей уровню «4».
Как описано выше, в MPD файле, изображенном на фиг. 22, горизонтальные и вертикальные размеры мозаичного изображения 250, обозначенные записью группы области плитки, идентичны горизонтальным и вертикальным размерам экрана, обозначенного SRD. Горизонтальные и вертикальные координаты на мозаичном изображении 250, обозначенные записью группы области плитки, соответствующей каждому уровню, идентичны горизонтальным и вертикальным положениям на экране, обозначенным SRD, соответствующим уровню. Когда генерируется MPD файл, изображенный на фиг. 22, соответственно экран, на котором размещены миниатюрные изображения с 251 по 254, декодированные на основе SRD, идентичен мозаичному изображению 250.
«SubRepresentation» каждого уровня также имеет URL-адреса движущихся изображений, соответствующие миниатюрным изображениям с 251 по 254 уровня, описанного в нем. В частности, «SubRepresentation» уровня «1» имеет URL-адрес «http://example.com/a_service/my.mpd» движущегося изображения, соответствующий изображенному на нем миниатюрному изображению 251. «SubRepresentation» уровня «2» имеет URL-адрес «http://example.com/b_service/my.mpd» движущегося изображения, соответствующий изображенному на нем миниатюрному изображению 252.
«SubRepresentation» уровня «3» имеет URL-адрес «http://example.com/c_service/my.mpd» движущегося изображения, соответствующего изображенному на нем миниатюрному изображению 253. «SubRepresentation» уровня «4» имеет URL-адрес «http://example.com/d_service/my.mpd» движущегося изображения, соответствующего изображенному на нем миниатюрному изображению 254.
Второй пример MPD файла
Фиг. 23 представляет собой схему, изображающую второй пример MPD файла, соответствующего файлам изображения мозаичного изображения 250, которые генерируются устройством 211 генерирования файла, изображенного на фиг. 18.
MPD файл, изображенный на фиг. 23, отличается от MPD файла, изображенного на фиг. 22, только в отношении SRD, описанного в «SubRepresentation» каждого уровня.
В частности, в MPD файле, показанном на фиг. 23, «SubRepresentation» уровня «3» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1,0,0,960,540,1920,1080"/>, который представляет собой SRD миниатюрного изображения 253, описанной в нем.
«SubRepresentation» уровня «4» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1,960,0,960,540,1920,1080"/>, который представляет SRD миниатюрного изображения 254, описанного в нем.
«SubRepresentation» уровня «1» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1,0 540,960,540,1920,1080"/>, который представляет SRD миниатюрного изображения 251, описанного в нем.
«SubRepresentation» уровня «2» имеет <SupplementalProperty schemeIdUri = "urn: mpeg: dash: srd: 2014" value = "1,960,540,960,540,1920,1080"/>, который представляет SRD миниатюрного изображения 252, описанного в нем.
Как описано выше, в MPD файле, изображенном на фиг. 23, как и в MPD файле, изображенном на фиг. 22, горизонтальные и вертикальные размеры мозаичного изображения 250, обозначенные записью группы области плитки, идентичны горизонтальным и вертикальным размерам экрана, обозначенного SRD.
Тем не менее, горизонтальные и вертикальные координаты на мозаичном изображении 250, обозначенные записью группы области плитки, соответствующие каждому уровню, отличаются от горизонтальных и вертикальных позиций на экране, обозначенных SRD, соответствующих уровню. Когда генерируется MPD файл, изображенный на фиг. 23, экран, на котором размещены миниатюрные изображения с 251 по 254, декодированные на основе SRDs, отличается от мозаичного изображения 250.
Пример экрана, на котором размещены миниатюрные изображения
На фиг. 24 показана схема, изображающая пример экрана, на котором миниатюрные изображения с 251 по 254 декодируются на основе SRDs, описанные в MPD файле, изображенном на фиг. 23.
SRD миниатюрного изображения 251, описанного в MPD файле, изображенном на фиг. 23, указывает, что координаты верхнего левого угла миниатюрного изображения 251 на экране 270 составляют 1920 пикселей × 1080 пикселей (0,540). Следовательно, как показано на фиг. 24, миниатюрное изображение 251 помещается в нижнюю левую область экрана 270.
SRD миниатюрного изображения 252 указывает, что координаты верхнего левого угла миниатюрного изображения 252 на экране 270 являются (960, 540). Следовательно, как показано на фиг. 24, миниатюрное изображение 252 помещается в нижнюю правую область экрана 270.
SRD миниатюрного изображения 253 указывает, что координаты верхнего левого угла миниатюрного изображения 253 на экране 270 1920 пикселей × 1080 пикселей являются (0,0). Следовательно, как показано на фиг. 24, миниатюрное изображение 253 помещается в верхнюю левую область экрана 270.
SRD миниатюрного изображения 254 указывает, что координаты верхнего левого угла миниатюрного изображения 254 на экране 270 являются (960,0). Следовательно, как показано на фиг. 24, миниатюрное изображение 254 помещается в верхнюю правую область экрана 270.
Как описано выше, с учетом MPD файла, изображенного на фиг. 23, расположение миниатюрных изображений с 251 по 254 может быть изменено с расположения в мозаичном изображении 250, которое должно быть закодировано, в расположение на экране 270 во время отображения.
Описание процесса устройства генерирования файлов
Фиг. 25 представляет собой блок-схему алгоритма процесса генерирования файла устройства 211 генерирования файла, изображенного на фиг. 19.
На этапе S191, изображенном на фиг. 25, процессор 231 кодирования кодирует мозаичное изображение как изображение контента движущегося изображения с множеством скоростей кодирования, тем самым, генерируя закодированные потоки. Процессор 231 кодирования поставляет закодированные потоки с соответствующими скоростями кодирования в генератор 232 файла изображения.
На этапе S192 генератор 232 файла изображения преобразует закодированные потоки с соответствующими скоростями кодирования, поставленные из процессора 231 кодирования, в файлы каждый на сегмент, тем самым, генерируя файлы изображений. Генератор 232 файла изображения поставляет сгенерированные файлы изображений в MPD генератор 233.
На этапе S193 MPD генератор 233 генерирует MPD файл, содержащий URL-адреса и т.д. файлов изображений. MPD генератор 233 поставляет сгенерированный MPD файл и файлы изображений на процессор 234 загрузки сервера.
На этапе S194 процессор 234 загрузки сервера загружает файлы изображений и MPD файл, поставленные из MPD генератора 233, на веб-сервер 12. Теперь процесс заканчивается.
Функциональный конфигурационный пример терминального устройства воспроизведения движущегося изображения
Фиг. 26 представляет собой блок-схему, изображающую конфигурационный пример потокового плеера, реализованного терминальным устройством 14 воспроизведения движущегося изображения, изображенным на фиг. 18, когда он выполняет программное обеспечение 21 управления, программное обеспечение 22 воспроизведения движущегося изображения и программное обеспечение 23 доступа.
Из конфигурационных деталей, изображенных на фиг. 26, те, которые идентичны конфигурационным деталям, изображенным на фиг. 10, обозначены одинаковыми ссылочными позициями. Избыточные описания будут опущены.
Потоковый проигрыватель 290, изображенный на фиг. 26 включает в себя MPD устройство 191 получения, MPD процессор 292, загрузчик 293 файла изображения, декодер 294, контроллер 295 дисплея, акцептор 296 и устройство 297 получения движущегося изображения.
MPD процессор 292 потокового проигрывателя 290 извлекает информацию, такую как URL-адреса и т.д. файлов изображений сегментов, которые должны воспроизводиться, из MPD файла, поставленного из MPD устройства 191 получения, и поставляет извлеченную информацию в загрузчик 293 файла изображения. MPD процессор 292 также поставляет MPD файл в устройство 297 получения движущегося изображения. MPD процессор 292 извлекает SRDs разделенных изображений мозаичного изображения сегментов, которые будут воспроизводиться, из MPD файла, и поставляет извлеченные SRDs в контроллер 295 дисплея.
Загрузчик 293 файла изображения запрашивает веб-сервер 12 для закодированных потоков файлов изображений, которые указаны URL-адресами, поставленными из MPD процессора 292, и получает закодированные потоки. Загрузчик 293 файла изображения поставляет полученный кодированный поток в декодер 294.
Декодер 294 декодирует закодированные потоки, поставленные из загрузчика 293 файла изображения. Декодер 294 поставляет мозаичное изображение, полученное в результате процесса декодирования, в контроллер 295 дисплея.
Контроллер 295 дисплея (распределитель) помещает разделенные изображения мозаичного изображения, поставленные из декодера 294, на экране, на основании SRDs, поставленные из MPD процессора 292. Контроллер 295 дисплея накладывает курсор на экран, где помещаются разделенные изображения, и поставляет разделенные изображения наложенным курсором в устройство отображения, не показано, которое их отображает.
В ответ на инструкцию по увеличению заданной области экрана, поставленной из акцептора 296, контроллер 295 дисплея увеличивает размер частичного мозаичного изображения на экране, где размещается мозаичное изображение, которое включает в себя только миниатюрное изображение, содержащееся в области, до размера экрана. Контроллер 295 дисплея накладывает курсор на заданное миниатюрное изображение на экране, где размещается увеличенное частичное мозаичное изображение, и поставляет миниатюрное изображение с наложенным курсором в устройство отображения, которое не показано, которое их отображает.
Контроллер 295 дисплея поставляет движущееся изображение, поданное из устройства 297 получения движущегося изображения, которое соответствует одному из отображаемых миниатюрных изображений, в устройство отображения, которое не показано, которое отображает поставленное движущееся изображение.
Акцептор 296 принимает инструкцию от пользователя и т.д. и поставляет эту инструкцию в устройство 297 получения движущегося изображения или контроллер 295 дисплея.
В ответ на инструкцию относительно позиции, поставленной из акцептора 296, устройство 297 получения движущегося изображения получает URL-адрес движущегося изображения, соответствующего позиции из MPD файла, поставленного из MPD процессора 292. Устройство 297 получения движущегося изображения получает движущееся изображение с веб-сервера 12 или тому подобного на основании полученного URL-адреса и поставляет полученное движущееся изображение в контроллер 295 дисплея.
Краткое описание процесса воспроизведения
Фиг. 27 представляет собой схему, иллюстрирующую процесс воспроизведения потокового проигрывателя 290, изображенного на фиг. 26.
Как показано в левой части на фиг. 27, контроллер 295 дисплея помещает курсор 312 на заданное миниатюрное изображение 311 4 × 4 миниатюрных изображений 311, которые составляют мозаичное изображение 310, помещенное на экран, и управляет устройством отображения, которое не показано, для отображения заданного миниатюрного изображения 311.
В данный момент, пользователь дает команду увеличить размер желаемой области при просмотре экрана мозаичного изображения 310 с наложенным на него курсором 312. В примере, показанном на фиг. 27, пользователь дает команду на увеличение области 2 × 2 миниатюрных изображений 311 в верхней правой области экрана, на которой размещается мозаичное изображение 310.
В ответ на инструкцию увеличения размера, контроллер 295 дисплея увеличивает размер частичного мозаичного изображения 313, которое состоит только из миниатюрных изображений 311 размером 2 × 2 экрана, на котором размещается мозаичное изображение 310, до размера экрана. Затем, как показано в центральной части фиг. 27, контроллер 295 дисплея накладывает курсор 314 на заданное миниатюрное изображение 311 на экране, на котором размещено увеличенное частичное мозаичное изображение 313, и управляет устройством отображения, которое не показано, для отображения миниатюрного изображения 311.
В это время пользователь перемещает курсор 314 на желаемое миниатюрное изображение 311 и выполняет действие, такое как двойное касание или тому подобное, указывающее положение курсора 314. В примере, показанном на фиг. 27, пользователь указывает позицию верхнего правого миниатюрного изображения 311.
В ответ на инструкцию пользователя, устройство 297 получения движущегося изображения получает URL-адрес движущегося изображения, соответствующего SRD, который указывает позицию на экране мозаичного изображения 310, соответствующее позиции на указанном частичном мозаичном изображении 313, из MPD файла, в качестве URL движущегося изображения, соответствующего указанной позиции. Затем, основываясь на полученном URL-адресе, устройство 297 получения движущегося изображения получает движущееся изображение 315 от веб-сервера 12 или тому подобное и поставляет полученное движущееся изображение 315 в контроллер 295 дисплея. Как показано в правой части фиг. 27, контроллер 295 дисплея управляет устройством отображения, не показано, для отображения движущегося изображения 315.
Описание процесса терминального устройства воспроизведения движущегося изображения
Фиг. 28 представляет собой блок-схему алгоритма процесса воспроизведения потокового проигрывателя 290, изображенного на фиг. 26.
На этапе S211, изображенном на фиг. 28, MPD приемник 191 потокового проигрывателя 290 получает MPD файл с веб-сервера 12 и поставляет полученный MPD файл в MPD процессор 292.
На этапе S212 MPD процессор 292 извлекает информацию, такую как URL-адреса и т.д. файлов изображений сегментов, которые должны воспроизводиться, из MPD файла, поставленного из MPD приемника 191, и поставляет извлеченную информацию в загрузчик 293 файла изображения. MPD процессор 292 также поставляет MPD файл в устройство 297 получения движущегося изображения. MPD процессор 292 извлекает SRDs разделенных изображений мозаичного изображения сегментов, которые должны воспроизводиться, из MPD файла, и поставляет извлеченные SRDs в контроллер 295 дисплея.
На этапе S213 загрузчик 293 файла изображения запрашивает веб-сервер 12 для закодированных потоков файлов изображений, которые указаны URL-адресами, поставленные из MPD процессора 292, и получает закодированные потоки. Загрузчик 293 файла изображений поставляет полученный кодированный поток в декодер 294.
На этапе S214 декодер 294 декодирует закодированные потоки, поданные из загрузчика 293 файла изображения. Декодер 294 поставляет мозаичное изображение, полученное в результате процесса декодирования, в контроллер 295 дисплея.
На этапе S215 контроллер 295 дисплея помещает разделенные изображения мозаичного изображения из декодера 294 на экране на основании SRDs из MPD процессора 292, накладывает курсор или подобное на экран и поставляет разделенные изображения с наложенным курсором на устройство отображения, не показано, которое их отображает.
На этапе S216 акцептор 296 определяет, принял ли он инструкцию для увеличения определенной области экрана от пользователя или нет. Если акцептор 296 решает, что он не принял инструкцию на увеличение заданной области экрана от пользователя на этапе S216, тогда акцептор 296 ждет, пока он не примет инструкцию увеличить заданную область экрана.
Если акцептор 296 принимает решение, что он принял инструкцию на увеличение заданной области экрана от пользователя на этапе S216, то акцептор 296 поставляет инструкцию на увеличение в контроллер 295 дисплея. На этапе S217 в ответ на инструкцию на увеличение, подаваемую из акцептора 296, контроллер 295 дисплея увеличивает размер частичного мозаичного изображения на экране, где размещается мозаичное изображение, которое включает в себя только миниатюрное изображение, содержащееся в области, которую предлагается увеличить, вплоть до размера экрана.
На этапе S218 контроллер 295 дисплея накладывает курсор или подобное на заданное миниатюрное изображение на экране, где размещено увеличенное частичное мозаичное изображение, поставляет миниатюрное изображение с наложенным курсором в устройство отображения, которое не показано, для его отображения. В это время пользователь перемещает курсор на желаемое миниатюрное изображение и выполняет действие, такое как двойное нажатие или тому подобное, указывающее положение курсора на экране.
На этапе S219 акцептор 296 определяет, принял ли он инструкцию для позиции на экране от пользователя или нет. Если акцептор 296 решает, что он не принял инструкцию для позиции на экране на этапе S219, тогда акцептор 296 ждет, пока он не примет инструкцию для позиции на экране.
Если акцептор 296 принимает решение о том, что он принял инструкцию для позиции на экране на этапе S219, то акцептор 296 передает эту инструкцию в устройство 297 получения движущегося изображения. На этапе S220, в ответ на инструкцию от акцептора 296, устройство 297 получения движущегося изображения получает URL-адрес движущегося изображения, соответствующего указанной позиции, из MPD файла, предоставленного из MPD процессора 292.
На этапе S221 устройство 297 получения движущегося изображения получает движущееся изображение с веб-сервера 12 или тому подобное на основе полученного URL-адреса и поставляет полученное движущееся изображение в контроллер 295 дисплея.
На этапе S222 контроллер 295 дисплея поставляет движущееся изображение, поданное от устройства 297 получения движущегося изображения, на устройство отображения, которое не показано, которое отображает его. Процесс завершен.
В третьем варианте осуществления частичное мозаичное изображение отображается после отображения мозаичного изображения, и пользователь указывает позицию на частичном мозаичном изображении. Однако частичное мозаичное изображение может не отображаться, и позиция на мозаичном изображении может быть указана непосредственно пользователем.
Четвертый вариант осуществления
Описание компьютера, к которому применяется настоящее изобретение
Вышеупомянутая последовательность процессов может быть реализована в аппаратном или программном исполнении. Если последовательность процессов реализована в программном обеспечении, то программы устанавливаются на компьютер. Компьютер может быть компьютером, встроенным в специализированное оборудование или персональным компьютером общего назначения, который способен выполнять различные функции, посредством установки различных программ.
Фиг. 29 представляет собой блок-схему, изображающую конфигурационный пример аппаратного обеспечения компьютера, который выполняет вышеупомянутую последовательность процессов, основанную на программах.
Компьютер 900 включает в себя CPU (центральный процессор) 901, ROM (постоянное запоминающее устройство) 902 и RAM (память произвольного доступа) 903, которые соединены друг с другом шиной 904.
Интерфейс 905 ввода/вывода подключен к шине 904. К интерфейсу 905 ввода/вывода подключены блок 906 ввода, блок 907 вывода, блок 908 хранения, блок 909 связи и привод 910.
Блок 906 ввода включает в себя клавиатуру, мышь и микрофон и т.д. Блок 907 вывода включает в себя дисплей и динамик и т.д. Блок 908 хранения включает в себя жесткий диск и энергонезависимую память и т.д. Блок 909 связи включает в себя сетевой интерфейс и т.д. Привод 910 работает на съемном носителе 911, таком как магнитный диск, оптический диск, магнитооптический диск, полупроводниковая память и т.п.
В сконструированном таким образом компьютере 900, CPU 901 загружает программы, хранящиеся в блоке 908 хранения, например, через интерфейс 905 ввода/вывода и шину 904, в RAM 903 и выполняет программы для выполнения процессов, описанных выше.
Программы, запускаемые компьютером 900 (CPU 901), могут быть записаны и предоставлены съемным носителем 911 в качестве пакетного носителя или т.п., например. Программы также могут быть предоставлены через проводную или беспроводную среду передачи, такую как локальная сеть, интернет или цифровое спутниковое вещание.
В компьютере 900 программы могут быть установлены в блоке 908 хранения через интерфейс 905 ввода/вывода, когда съемный носитель 911 вставлен в привод 910. Программы также могут быть приняты блоком 909 связи через проводную или беспроводную среды передачи и устанавливается в блок 908 хранения. В альтернативном варианте программы могут быть предварительно установлены в ROM 902 или в блоке 908 хранения.
Программы, которые выполняются компьютером 900, могут быть программами, в которых процессы выполняются в хронологическом порядке в описанной выше последовательности, или могут быть программами, в которых процессы выполняются параллельно друг другу или в установленное время, как при вызове.
В настоящем описании термин «система» означает набор компонентов (устройство, модули (части) и т.п.) и не имеет значения, присутствуют ли все компоненты в одном корпусе или нет. Следовательно, как множество устройств, размещенных в одном корпусе и соединенных сетью, так и одно устройство, имеющее множество модулей, расположенных в одном корпусе, могут упоминаться как система.
Преимущества, упомянутые выше в настоящем описании, являются лишь иллюстративными, но не ограничивающими, не исключают других преимуществ.
Варианты осуществления настоящего изобретения не ограничены вышеприведенными вариантами осуществления и могут быть сделаны различные изменения без отхода от объема настоящего изобретения.
Настоящее изобретение может быть представлено в следующих конфигурациях:
(1) Устройство для обработки информации включает в себя:
секцию установки, которая устанавливает позицию, выступающую из экрана, в качестве позиции на экране изображения, составленного из множества разделенных изображений, совместимых с закодированными потоками.
(2) Устройство для обработки информации согласно (1), в котором множество разделенных изображений представляет собой изображения, обращенные друг к другу края которых, являются частью изображения цельной небесной сферы или панорамного изображения.
(3) Устройство для обработки информации согласно (1) или (2), в котором секция установки устанавливает позицию изображения на экране в файле управления для управления файлами закодированных потоков.
(4) Способ обработки информации включает в себя:
этап установки, который устанавливает позицию, выступающую из экрана, в качестве позиции на экране изображения, составленного из множества разделенных изображений, совместимых с закодированными потоками в устройстве для обработки информации.
(5) Устройство для обработки информации включает в себя:
распределитель, который помещает изображение, полученное декодированием закодированных потоков, на экране на основании позиции, выступающей из экрана, которая устанавливается в качестве позиции на экране изображения, которое составлено из множества разделенных изображений, совместимых с закодированными потоками.
(6) Устройство для обработки информации согласно (5), в котором множество разделенных изображений представляют собой изображения, обращенные друг к другу края которых являются частью изображения цельной небесной сферы или панорамного изображения.
(7) Устройство для обработки информации согласно (5) или (6), в котором позиция изображения на экране устанавливается в файле управления для управления файлами закодированных потоков.
(8) Способ обработки информации включает в себя:
этап распределения, который помещает изображение, полученное путем декодирования закодированных потоков на экране, на основании позиции, выступающей из экрана, которая устанавливается в качестве позиции на экране изображения, которое составлено из множества разделенных изображений, совместимых с закодированными потоками в устройстве для обработки информации.
(9) Устройство для обработки информации включает в себя:
секцию установки, которая устанавливает позиции на экране соответствующих разделенных изображений изображения, которое составлено из множества разделенных изображений, совместимых с закодированными потоками, в ассоциации с позициями разделенных изображений на изображении.
(10) Устройство для обработки информации согласно (9), в котором изображение является частью изображения цельной небесной сферы или панорамного изображения или мозаичного изображения.
(11) Устройство для обработки информации согласно (9) или (10), в котором закодированные потоки являются закодированными потоками, представляющими разделенные изображения, закодированные как разные плитки.
(12) Устройство для обработки информации согласно любому из (9) - (11), в котором секция установки устанавливает позицию изображения на экране в файле управления для управления файлами закодированных потоков.
(13) Способ обработки информации включает в себя:
этап установки, который устанавливает позиции на экране соответствующих разделенных изображений изображения, которое составлено из множества разделенных изображений, совместимых с закодированными потоками, в ассоциации с позициями разделенных изображений на изображении в устройстве для обработки информации.
(14) Устройство для обработки информации включает в себя:
распределитель, который помещает разделенные изображения, полученные путем декодирования закодированных потоков, на экране на основании позиций на экране разделенных изображений изображения, которые устанавливаются в ассоциации с позициями на изображении, которое составлено из множества разделенных изображений, совместимых с закодированными потоками.
(15) Устройство для обработки информации согласно (14), в котором изображение является частью изображения цельной небесной сферы или панорамного изображения или мозаичного изображения.
(16) Устройство для обработки информации согласно (14) или (15), в котором закодированные потоки являются закодированными потоками, представляющими разделенные изображения, закодированные как разные плитки.
(17) Устройство для обработки информации согласно любому из (14) - (16), в котором позиция изображения на экране устанавливается в файле управления для управления файлами закодированных потоков.
(18) Способ обработки информации включает в себя:
этап распределения, который помещает разделенные изображения, полученные путем декодирования закодированных потоков, на экране на основании позиций на экране разделенных изображений изображения, которые устанавливаются в ассоциации с позициями на изображении, которое составлено из множество разделенных изображений, совместимых с закодированными потоками в устройстве для обработки информации.
Список ссылочных позиций
11 - устройство генерирования файлов, 14 - терминальное устройство воспроизведения движущегося изображения, 170 - изображение цельной небесной сферы, 173-1 левое конечное изображение, 173-2 - правое конечное изображение, 180 - экран, 195 - распределитель, 211 - устройство генерирования файлов, 250 - мозаичное изображение, 251-254 - миниатюрное изображение.
Изобретение относится к устройству обработки информации. Техническим результатом является обеспечение надежности распознавания позиции изображения на экране, составленного из множества разделенных изображений, или позиции на экране разделенных изображений, совместимых с закодированными потоками. Указанный технический результат достигается тем, что позиция, выступающая из экрана, устанавливается как позиция на экране конечного изображения, которое составлено из левого изображения и правого изображения, совместимого с закодированными потоками. Изобретение применимо к устройству генерирования файлов и т.д. системы обработки информации, которая распределяет закодированные потоки изображения цельной небесной сферы как изображение контента движущегося изображения на терминальное устройство воспроизведения движущегося изображения в соответствии, например, с процессом, эквивалентным MPEG-DASH. 4 н. и 4 з.п. ф-лы, 29 ил. 
1. Устройство обработки информации, содержащее:
делитель, выполненный с возможностью делить изображение на множество разделенных изображений, включающих в себя первое конечное изображение и второе конечное изображение; и
секцию установки, выполненную с возможностью устанавливать позицию первого конечного изображения на экране с дальней стороны второго конечного изображения для генерирования непрерывного конечного изображения, которое выступает за пределы экрана; и описывать позицию непрерывного конечного изображения с помощью описания пространственного соотношения, причем набор положений множества разделенных изображений идентичен набору положений на экране.
2. Устройство обработки информации по п. 1, в котором изображение представляет собой изображение цельной небесной сферы или панорамное изображение,
при этом множество разделенных изображений представляют собой изображения, которые соответствуют частям непрерывных изображений, обращенным друг к другу, которые являются частью изображения цельной небесной сферы или панорамного изображения.
3. Устройство обработки информации п. 1, в котором секция установки выполнена с возможностью устанавливать описание пространственного соотношения в файле управления для управления файлами закодированных потоков.
4. Способ обработки информации, содержащий:
этап деления, на котором делят изображение на множество разделенных изображений, включающих в себя первое конечное изображение и второе конечное изображение; и
этап установки, на котором устанавливают позицию первого конечного изображения на экране с дальней стороны второго конечного изображения для генерирования непрерывного конечного изображения, которое выступает за пределы экрана; и описывают позицию непрерывного конечного изображения с помощью описания пространственного соотношения, причем набор положений множества разделенных изображений идентичен набору положений на экране.
5. Устройство обработки информации, содержащее:
распределитель, выполненный с возможностью помещать на экран изображение, полученное декодированием закодированных потоков, на основании непрерывного конечного изображения, которое выступает за пределы экрана, которое установлено в качестве позиции на экране изображения, которое составлено из множества разделенных изображений, причем набор положений множества разделенных изображений идентичен набору положений на экране.
6. Устройство обработки информации по п. 5, в котором изображение представляет собой изображение цельной небесной сферы или панорамное изображение,
при этом множество разделенных изображений представляют собой изображения, которые соответствуют частям непрерывных изображений, обращенным друг к другу, которые являются частью изображения цельной небесной сферы или панорамного изображения.
7. Устройство обработки информации по п. 5, в котором позиция на экране изображения на экране установлена в описании пространственного соотношения в файле управления для управления файлами закодированных потоков.
8. Способ обработки информации, содержащий:
этап распределения, на котором помещают изображение, полученное путем декодирования закодированных потоков на экране, на основании непрерывного конечного изображения, которое выступает за пределы экрана, которое установлено в качестве позиции на экране изображения, составленного из множества разделенных изображений, в устройстве обработки информации, причем набор положений множества разделенных изображений идентичен набору положений на экране.
| FRANCK DENOUAL et al., Interactive ROI streaming with DASH, ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO ISO/IEC JTC1/SC29/WG11, MPEG2013/M29232, Incheon, April 2013 | |||
| KING-TO NG et al., Data Compression and Transmission Aspects of Panoramic Videos, IEEE Transactions on Circuits and Systems for Video Technology, vol.15, N1, January |
