УСТРОЙСТВО СЕРВЕРА, УСТРОЙСТВО КЛИЕНТ, СПОСОБ РАСПРЕДЕЛЕНИЯ СОДЕРЖАНИЯ И КОМПЬЮТЕРНАЯ ПРОГРАММА Российский патент 2018 года по МПК H04N21/235 H04N21/262 

Область техники, к которой относится изобретение

Изобретение относится к устройству сервера, устройству клиенту, способу распределения содержания и компьютерной программе.

Уровень техники

В последние годы широко используется протокол передачи гипертекста (HTTP) для передачи содержания и МР4 в отношении к кодированию, для сжатия содержания. HTTP обеспечивает не только загрузку содержания, но также и его потоковую передачу по Интернет. Потоковая передача HTTP также принята в стандартах сетевой среды передачи данных, таких как "DLNA guidelines" (2006) и "Open IPTV Forum" (2009). Кроме того, МР4 (ISO/IEC-14496-12, 14) может использоваться не только в качестве формата для накопителя, но также и в качестве формата передачи, предназначенного, например, для загрузки и потоковой передачи данных.

Что касается потоковой передачи данных, известна технология потоковой передачи с адаптивная скоростью передачи битов, (ABS), как описано в непатентной литературе, представленной ниже. Технология ABS представляет собой технологию, в которой множество частей кодированных данных, имеющих одно и то же содержание, выраженное с различной скоростью передачи битов, сохраняют в сервере содержания таким образом, что клиент выбирает любую часть кодированных данных среди множества частей кодированных данных, в соответствии с полосой сети и воспроизводит кодированные данные.

В случае нормальной потоковой передачи, когда полоса сети становится меньше, чем скорость передачи батов, подача битов становится не соответствующей скорости потребления битов и данные, размещенные в буфере на стороне клиента, исчерпываются. В результате, клиент не может продолжать воспроизведение. В отличие от этого, в технологии ABS, данные воспроизведения переключают на кодированные данные с меньшей скоростью передачи битов, когда полоса пропускания становится уже. Таким образом, становится возможным предотвращать перерывы во время воспроизведения.

Кроме того, что касается области технологии ABS, также была предложена технология для исполнения перенаправления, состоящая в соответствующей смене сервера, служащего в качестве места назначения распределения, в то время как параметр добавляют на стороне сервера, и устройство клиент сохраняет этот параметр, как описано в Непатентной литературе 2.

Список литературы

Непатентная литература

Непатентная литература 1: MPEG-DASH (Dynamic Adaptive Streaming over HTTP) (URL: http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1).

Непатентная литература 2: m28354 Core Experiment on Parameters Insertion in Media Segment URL, MPEG#103, Geneva, 2013.

Сущность изобретения

Техническая задача

В технологии, предложенной в непатентной литературе 2, описанной выше, провайдер сетевых услуг изменяет файл списка воспроизведения (MPD), который включает в себя информацию скорости передачи битов и информацию доступа для каждой части кодированных данных. Однако, в технологии, предложенной в непатентной литературе 2, описанной выше, сервер обозначает параметр, и, таким образом, становится невозможным поддерживать вставку динамического параметра, который зависит от состояния клиента.

Поэтому, в настоящем раскрытии предложено новое и улучшенное устройство сервера, устройство клиент, способ распределения содержания и компьютерная программа, которые могут поддерживать вставку динамического параметра, который зависит от состояния клиента, когда содержание распределяют в устройство клиент, использующее технологию ABS, без изменения файла списка воспроизведения на стороне провайдера сетевых услуг.

Решение задачи

В соответствии с настоящим раскрытием предложено устройство сервера, включающее в себя: модуль накопителя, выполненный с возможностью сохранения определенного заданного определения для добавления параметра к адресу, определенному в информации доступа, для доступа к каждому из множества подсегментов, составляющих каждую часть кодированных данных, полученных путем кодирования того же содержания с разной скоростью передачи битов, или для доступа к каждому элементу, который должен быть получен путем запроса сервера, описанного в MPD; и модуль передачи данных, выполненный с возможностью передачи инструкция для добавления параметра к адресу, определенному в информации доступа, на основе заданного определения, сохраненного в модуле накопителя.

В соответствии с настоящим раскрытием предложено устройство клиент, включающее в себя: модуль накопителя, выполненный с возможностью сохранения заданного определения для добавления параметра к информации доступа для доступ к каждому из множества подсегментов, составляющих каждую часть кодированных данных, полученных путем кодирования одного и того же содержания с разной скоростью передачи битов, или для доступа к каждому элементу, который должен быть получен через запрос, передаваемый в сервер, описанный в MPD; и модуль передачи данных, выполненный с возможностью доступа к адресу, определенному в информации доступа, путем добавления параметра к адресу на основе заданного определения, сохраненного в модуле сохранения.

В соответствии с настоящим раскрытием, предусмотрен способ распределения содержания, включающий в себя: этап сохранения заданного определения, для добавления параметра к адресу, определенному в информации доступа, для доступа к каждому из множества подсегментов, составляющих каждую часть кодированных данных, полученных путем кодирования одного и того же содержания с разной скоростью передачи битов, или для доступа к каждому элементу, который должен быть получен через запрос, передаваемый на сервер, описанный в MPD; и этап передачи инструкции для добавления параметра к адресу, определенному в информации доступа, на основе заданного определения, сохраненного в модуле сохранения.

В соответствии с настоящим раскрытием, предусмотрена компьютерная программа, обеспечивающая выполнение компьютером: этапа сохранения заданного определения для добавления параметра к адресу, определенному в информации доступа, для доступа к каждому из множества подсегментов, составляющих каждую часть кодированных данных, полученных путем кодирования одного и того же содержания с разной скоростью передачи битов, или для доступа к каждому элементу, который должен быть получен, путем запроса, передаваемого на сервер, описанного в MPD; и этапа передачи инструкции для добавления параметра к адресу, определенному в информации доступа, на основе заданного определения, сохраненного в модуле сохранения.

Предпочтительные эффекты изобретения

В соответствии с настоящим раскрытием, описанным выше, возможно обеспечить новое и улучшенное устройство сервера, устройство клиента, способ распределения содержания и компьютерную программу, которые позволяют поддерживать вставку динамического параметра, который зависит от состояния клиента, когда содержание распределяют в устройство клиента, используя технологию ABS, без изменения файла списка воспроизведения на стороне провайдера сетевых услуг.

Краткое описание чертежей

На фиг. 1 показана описательная схема, поясняющая конфигурацию системы воспроизведения содержания, в соответствии с вариантом осуществления настоящего раскрытия.

На фиг. 2 показана описательная схема, поясняющая поток данных в системе воспроизведения содержания, в соответствии с настоящим вариантом выполнения.

На фиг. 3 показана описательная схема, поясняющая конкретный пример MPD.

На фиг. 4 показана схема функционального блока, поясняющая конфигурацию содержания сервера 10, в соответствии с настоящим вариантом выполнения.

На фиг. 5 показана схема функционального блока, поясняющая конфигурацию устройства 20 воспроизведения содержания, в соответствии с настоящим вариантом выполнения.

На фиг. 6 показана схема функционального блока, поясняющая конфигурацию содержания сервера 11, в соответствии с настоящим вариантом выполнения.

На фиг. 7 показана описательная схема, поясняющая содержание описания параметра.

На фиг. 8 показана описательная схема, поясняющая содержание описания параметра.

На фиг. 9 показана описательная схема, представляющая пример схемы MPD, который относится к описанию параметра.

На фиг. 10A показана схема последовательности, представляющая пример операции системы воспроизведения содержания, в соответствии с вариантом выполнения настоящего раскрытия.

На фиг. 10B показана схема последовательности, представляющая пример операции системы воспроизведения содержания, в соответствии с вариантом выполнения настоящего раскрытия.

На фиг. 11 показана описательная схема, представляющая пример схемы MPD, который относится к описанию параметра.

На фиг. 12 показана блок-схема, представляющая пример конфигурации аппаратного оборудования компьютера.

На фиг. 13 показана блок-схема, иллюстрирующая пример схемы кодирования многообзорного изображения.

На фиг. 14 показана блок-схема, иллюстрирующая пример конфигурации устройства кодирования многообзорного изображения, в котором применяется настоящее раскрытие.

На фиг. 15 показана блок-схема, иллюстрирующая пример конфигурации устройства декодирования многообзорного изображения, в котором применяется настоящее раскрытие.

На фиг. 16 показана блок-схема, иллюстрирующая пример схемы кодирования иерархического изображения.

На фиг. 17 показана схема для описания примера масштабируемого по пространству кодирования.

На фиг. 18 показана схема для описания примера масштабируемого по времени кодирования.

На фиг. 19 показана схема для описания примера кодирования, масштабируемого по отношению сигнал-шум.

На фиг. 20 показана блок-схема, иллюстрирующая пример конфигурации устройства кодирования иерархического изображения, в котором применяется настоящее раскрытие.

На фиг. 21 показана блок-схема, иллюстрирующая пример конфигурации устройства декодирования иерархического изображения, в котором применяется настоящее раскрытие.

На фиг. 22 показана блок-схема, иллюстрирующая пример схематической конфигурации телевизионного устройства, в котором применяется настоящее раскрытие.

На фиг. 23 показана блок-схема, иллюстрирующая пример схематической конфигурации мобильного телефона, в котором применяется настоящее раскрытие.

На фиг. 24 показана блок-схема, иллюстрирующая пример схематической конфигурации устройства записи и воспроизведения, в котором применяется настоящее раскрытие.

На фиг. 25 показана блок-схема, иллюстрирующая пример схематической конфигурации устройства формирования изображения, в котором применяется настоящее раскрытие.

На фиг. 26 показана блок-схема, представляющая пример использования масштабируемого кодирования.

На фиг. 27 показана блок-схема, представляющая другой пример использования масштабируемого кодирования.

На фиг. 28 показана блок-схема, представляющая еще один другой пример использования масштабируемого кодирования.

На фиг. 29 показан пример схематичной конфигурации видеонабора, к котором применяется настоящее раскрытие.

На фиг. 30 показан пример схематичной конфигурации видеопроцессора, в котором применяется настоящее раскрытие.

Подробное описание изобретения

Ниже предпочтительные варианты осуществления настоящего раскрытия будут подробно описаны со ссылкой на приложенные чертежи. Следует отметить, что, в этом описании и на чертежах, элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены теми же номерами ссылочных позиций, и повторное их пояснение исключено.

Кроме того, в данном описании и на чертежах, множество элементов, которые имеют, по существу, одинаковую функцию и структуру, можно различать по разным буквам алфавита, добавленным после одних и тех же номеров ссылочных позиций. Например, множество элементов, которые имеют, по существу, одинаковую функцию и структуру или логическое значение, различают, как устройства 20A, 20B и 20C воспроизведения содержания, если необходимо. Однако, когда нет необходимости различать каждый из множества элементов, которые имеют, по существу, одинаковую функцию и структуру, представлен только один и тот же номер ссылочной позиции. Например, когда нет необходимости, в частности, различать устройства 20A, 20B и 20C воспроизведения содержания, устройства воспроизведения содержания просто называются, как устройства 20 воспроизведения содержания.

Кроме того, настоящее раскрытие будет описано в соответствии с порядком пунктов, описанным ниже:

1. Общий обзор системы воспроизведения содержания.

2. Конфигурация сервера 10 содержания.

3. Конфигурация устройства 20 воспроизведения содержания.

4. Конфигурация сервера 11 содержания.

5. Информация URL в MPD.

6. Заключение.

1. Общий обзор системы воспроизведения содержания

Вначале, со ссылкой на фиг. 1-3, схематично будет описана система воспроизведения содержания, в соответствии с вариантом осуществления настоящего раскрытия.

Далее, со ссылкой на фиг. 1 и фиг. 2, вначале будет описана основная конфигурация, которая является общей в каждом варианте осуществления.

На фиг. 1 показана описательная схема, иллюстрирующая конфигурацию системы воспроизведения содержания, в соответствии с вариантом осуществления настоящего раскрытия. Как представлено на фиг. 1, система воспроизведения содержания, в соответствии с вариантом осуществления настоящего раскрытия, включает в себя серверы 10 и 11 содержания, сеть 12 и устройства 20 воспроизведения содержания (устройства клиенты).

Серверы 10 и 11 содержания и устройства 20 воспроизведения содержания соединены через сеть 12. Сеть 12 представляет собой кабельный или беспроводный путь передачи данных для информации, передаваемой из устройства, подключенного к сети 12.

Например, сеть 12 может включать в себя сети общего пользования, например, такие как Интернет, телефонная сеть и спутниковая сеть передачи данных, различные виды локальных вычислительных сетей (LAN), включая в себя Ethernet (зарегистрированный товарный знак), и глобальную вычислительную сеть (WAN). Кроме того, сеть 12 может включать в себя специализированную сеть, такую как виртуальная частная сеть на основе протокола Интернет (IP VPN).

Сервер 10 содержания кодирует данные содержания и генерирует, и сохраняет файл данных, включающий в себя кодированные данные и метаинформацию кодированных данных. Следует отметить, что, когда сервер 10 содержания генерирует файл данных формата МР4, кодированные данные соответствует "mdat", и метаинформация соответствует "moov".

Кроме того, данные содержания могут представлять собой, например, музыкальные данные, такие как музыка, лекции и радиопередачи, данные изображения, такие как кинофильмы, телевизионные программы, видеопрограммы, изображения, документы, рисунки, диаграммы, игры и программное обеспечение.

Здесь сервер 10 содержания, в соответствии с настоящим вариантом осуществления, генерирует множество файлов данных с разной скоростью передачи битов для одного и того же содержания. Кроме того, сервер 11 содержания, в соответствии с настоящим вариантом осуществления, передает информацию URL сервера 10 содержания, включающую в себя информацию параметра, который должен быть добавлен к URL устройствами 20 воспроизведения содержания для устройств 20 воспроизведения содержания, в ответ на запрос, для воспроизведения содержания из устройства 20 воспроизведения содержания. Далее этот предмет будет конкретно описан со ссылкой на фиг. 2.

На фиг. 2 показана описательная схема, иллюстрирующая поток данных в системе воспроизведения содержания, в соответствии с настоящим вариантом осуществления. Сервер 10 содержания кодирует одни и те же данные содержания с разной скоростью передачи битов, и генерирует файл А со скоростью 2 Мбит/с, файл В со скоростью 1,5 Мбит/с и файл С со скоростью 1 Мбит/с, например, как представлено на фиг. 2. Соответственно, файл А имеет высокую скорость передачи битов, файл В имеет стандартную скорость передачи битов, и файл С имеет низкую скорость передачи битов.

Кроме того, как представлено на фиг. 2, кодированные данные каждого файла разделяют на множество сегментов. Например, кодированные данные файла A разделяют на сегменты "A1", "A2", "A3" … и An. Кодированные данные файла B разделяют на сегменты "B1", "B2", "B3" … и "Bn". Кодированные данные файла С разделяют на сегменты "C1, "C2", "C3" … и "Cn".

Следует отметить, что каждый сегмент может быть составлен выборками конфигураций из одной или двух, или больше частей кодированных видеоданных и кодированных данных звука, которые начинаются с выборки синхронизации МР4 (IDR-изображения при кодировании видеоданных AVC/H.264) и могут быть воспроизведены независимо. Например, когда видеоданные со скоростью 30 кадров в секунду кодируют в виде группы изображений (GOP) с фиксированной длиной 15 кадров, каждый сегмент может представлять видеоизображение длительностью две секунды и кодированные данные звука, соответствующие 4 GOP, или кодированные данные для изображения и звука длительностью 10 секунд, соответствующие 20 GOP.

Кроме того, диапазон воспроизведения (диапазон положения по времени от начала содержания), составляющий сегмент с таким же порядком компоновки в каждом файле, является одинаковым. Например, диапазоны воспроизведения сегмента "A2", сегмента "B2" и сегмента "C2" являются одинаковыми, и когда каждый сегмент представляет собой кодированные данные длительностью две секунды, диапазон воспроизведения любого сегмента "A2", сегмента "B2" и сегмента "C2" составляет от двух секунд до четырех секунд содержания.

Сервер 10 содержания генерирует от файла А до файла С, составленных из такого множества сегментов, и сохраняет файл А - файл С. Затем сервер 10 содержания последовательно передает сегменты, составляющие разные файлы, в устройство 20 воспроизведения содержания, как представлено на фиг. 2, и устройство 20 воспроизведения содержания воспроизводит поток принятых сегментов.

Здесь сервер 10 содержания, в соответствии с настоящим вариантом осуществления, передает файл списка воспроизведения (ниже называется описанием представления мультимедийных данных (MPD), включающий в себя информацию скорости передачи битов и информацию о доступе каждых кодированных данных, в устройство 20 воспроизведения содержания. На основе MPD, устройство 20 воспроизведения содержания выбирает любую скорость передачи битов среди множества скоростей передачи битов и запрашивает сервер 10 содержания передать сегмент, соответствующий выбранной скорости передачи битов.

Хотя только один сервер 10 содержания представлен на фиг. 1, настоящее раскрытие, конечно, не ограничено этим.

На фиг. 3 показана описательная схема, представляющая конкретный пример MPD. Как представлено на фиг. 3, MPD включает в себя информацию доступа, относящуюся к множеству кодированных данных, имеющих разные значения скорости передачи битов (значения ширины полосы пропускания). Например, MPD представленное, на фиг. 3, обозначает присутствие кодированных данных 256 Кбит/с, 1,024 Мбит/с, 1,384 Мбит/с, 1,536 Мбит/с и 2.048 Мбит/с и включает в себя информацию доступа, относящуюся к каждым кодированным данным. Устройство 20 воспроизведения содержания может динамически изменять скорость передачи битов для кодированных данных, для воспроизведения потока этих данных на основе такого MPD.

Следует отметить, что, хотя на фиг. 1 представлен мобильный терминал, как пример устройства 20 воспроизведения содержания, устройство 20 воспроизведения содержания не ограничено этим примером. Например, устройство 20 воспроизведения содержания может представлять собой устройство обработки информации, такое как персональный компьютер (PC), домашнее устройство обработки изображения (устройство записи DVD, видеоустройство и т.д.), карманный персональный компьютер (PDA), домашнее игровое устройство и домашнее бытовое устройство. Кроме того, устройство 20 воспроизведения содержания может представлять собой устройство обработки информации, такое как сотовый телефон, система для персональных мобильных телефонов (PHS), портативное устройство воспроизведения музыки, портативный процессор изображения и портативное игровое устройство.

2. Конфигурация сервера 10 содержания

Выше, со ссылкой на фиг. 1-3 был представлен общий обзор системы воспроизведения содержания в соответствии с вариантом осуществления настоящего раскрытия. Далее, со ссылкой на фиг. 4, будет описана конфигурация сервера 10 содержания в соответствии с настоящим вариантом осуществления.

На фиг. 4 показана функциональная блок-схема, иллюстрирующая конфигурацию сервера 10 содержания, в соответствии с настоящим вариантом осуществления. Как представлено на фиг. 4, сервер 10 содержания, в соответствии с настоящим вариантом осуществления, включает в себя модуль 120 генерирования файла, модуль 130 сохранения и модуль 140 передачи данных.

Модуль 120 генерирования файла включает в себя кодер 122, который кодирует данные содержания и генерирует множество частей кодированных данных, имеющих одинаковое содержание, с разной скоростью передачи битов и описанным выше MPD. Например, когда генерируют кодированные данные со скоростью 256 Кбит/с, 1,024 Мбит/с, 1,384 Мбит/с, 1,536 Мбит/с и 2,048 Мбит/с, модуль 120 генерирования файла генерирует MPD, представленное на фиг. 3.

Модуль 130 накопителя сохраняет множество кодированных данных с разной скоростью передачи битов и MPD, которые генерирует модуль 120 генерирования файла. Модуль 130 накопителя может представлять собой носитель информации, такой как энергонезависимое запоминающее устройство, магнитный диск, оптический диск и магнитооптический (МО) диск. Энергонезависимое запоминающее устройство может быть представлено примером электрически стираемого программируемого постоянного запоминающего устройства (EEPROM) и стираемого программируемого постоянного запоминающего устройства (EPROM). Кроме того, магнитный диск может быть представлен, например, жестким диском и диском с магнитным рабочим телом в форме диска. Кроме того, оптический диск может быть представлен, например, компактным диском (CD), цифровым универсальным диском с возможностью записи (DVD-R) и диском Blu-ray (BD) (зарегистрированный товарный знак).

Модуль 140 передачи данных представляет собой интерфейс с устройством 20 воспроизведения содержания и выполняет обмен данными с устройством 20 воспроизведения содержания через сеть 12. Более конкретно, модуль 140 передачи данных имеет функцию сервера HTTP, которая выполняет обмен данными с устройством 20 воспроизведения содержания, в соответствии с HTTP. Например, модуль 140 передачи данных передает MPD в устройство 20 воспроизведения содержания, выделяет из модуля 130 накопителя кодированные данные, запрашиваемые на основе MPD устройством 20 воспроизведения содержания, в соответствии с HTTP, и передает эти кодированные данные в устройство 20 воспроизведения содержания, как ответ HTTP.

3. Конфигурация устройства 20 воспроизведения содержания

Выше была описана конфигурация сервера 10 содержания, в соответствии с настоящим вариантом осуществления. Далее конфигурация устройства 20 воспроизведения содержания, в соответствии с настоящим вариантом осуществления, будет описана со ссылкой на фиг. 5.

На фиг. 5 показана функциональная блок-схема, иллюстрирующая конфигурацию устройства 20 воспроизведения содержания, в соответствии с настоящим вариантом осуществления. Как представлено на фиг. 5, устройство 20 воспроизведения содержания, в соответствии с настоящим вариантом осуществления, включает в себя модуль 220 передачи данных, модуль 230 накопителя, модуль 240 воспроизведения, модуль 250 выбора и модуль 260 получения текущего положения.

Модуль 220 передачи данных (модуль передачи данных) представляет собой интерфейс с сервером 10 содержания, и запрашивает данные из сервера 10 содержания и получает данные из сервера 10 содержания. Более конкретно, модуль 220 передачи данных имеет функцию клиента HTTP, который выполняет обмен данными с устройством 20 воспроизведения содержания, в соответствии с HTTP. Например, модуль 220 передачи данных использует диапазон HTTP и, таким образом, может избирательно получать MPD или сегмент кодированных данных из сервера 10 содержания.

Модуль 230 накопителя сохраняет различного типа информацию в отношении воспроизведения содержания. Например, модуль 230 накопителя последовательно размещает в буферах сегменты, полученные модулем 220 передачи данных из сервера 10 содержания. Сегменты кодированных данных, размещенные в буфере модулем 230 накопителя, последовательно подают в модуль 240 воспроизведения, используя принцип "первый прибыл - первым обслужен" (FIFO).

Кроме того, на основе инструкции для добавления параметра к URL содержания, описанного в MPD, запрашиваемом из сервера 11 содержания, который будет описан ниже, модуль 230 накопителя сохраняет определение для доступа к URL путем добавления параметра к URL, используя модуль 220 передачи данных.

Модуль 240 воспроизведения последовательно воспроизводит сегменты, подаваемые из модуля 230 накопителя. А именно, модуль 240 воспроизведения выполняет, например, декодирование, D-A преобразование и получение сегментов.

Модуль 250 выбора последовательно выбирает, в том же самом содержании, сегменты кодированных данных, соответствующие определенным скоростям передачи битов, включенных в MPD, которое должно быть получено. Например, когда модуль 250 выбора последовательно выбирает сегменты "A1", "B2" и "A3", в соответствии с шириной полосы сети 12, модуль 220 передачи данных последовательно получает сегменты "A1", "B2" и "A3" из сервера 10 содержания, как представлено на фиг. 2.

Модуль 260 получения текущего положения получает текущее положение устройства 20 воспроизведения содержания, и может быть выполнен, как, например, модуль, который получает текущее положение, такой как приемник Глобальной системы навигации (GPS) и т.п. Кроме того, модуль 260 получения текущего положения может получать текущее положение устройства 20 воспроизведения содержания, используя беспроводную сеть.

4. Конфигурация сервера 11 содержания

На фиг. 6 показана иллюстративная схема, представляющая пример конфигурации сервера 11 содержания. Как показано на фиг. 6, сервер 11 содержания, в соответствии с настоящим вариантом осуществления, имеет модуль 310 накопителя и модуль 320 передачи данных.

Модуль 310 накопителя содержит информацию об URL MPD. Информацию об URL MPD передают из сервера 11 содержания в устройство 20 воспроизведения содержания в ответ на запрос из устройства 20 воспроизведения содержания, для воспроизведения содержания. Кроме того, при предоставлении информации URL MPD в устройство 20 воспроизведения содержания модуль 310 накопителя сохраняет информацию определения для добавления параметра к URL, описанную в MPD, используя устройство 20 воспроизведения содержания.

Модуль 320 передачи данных представляет собой интерфейс с устройством 20 воспроизведения содержания для обмена данными с устройством 20 воспроизведения содержания через сеть 12. То есть, модуль 320 передачи данных принимает запрос на информацию URL MPD из устройства 20 воспроизведения содержания, в котором запрашивается воспроизведение содержания, и передает информацию URL MPD в устройство 20 воспроизведения содержания. URL MPD, переданный из модуля 320 передачи данных, включает в себя информацию для добавления параметра устройством 20 воспроизведения содержания.

Параметры, которые должны быть добавлены к URL MPD устройством 20 воспроизведения содержания, могут быть установлены по-разному с информацией определения, совместно используемой сервером 11 содержания и устройством 20 воспроизведения содержания. В качестве примера, информация, такая как текущее положение устройства 20 воспроизведения содержания, ID пользователя для пользователя, который использует устройство 20 воспроизведения содержания, размер памяти устройства 20 воспроизведения содержания, емкость накопителя устройства 20 воспроизведения содержания и т.п. могут быть добавлены к URL MPD устройством 20 воспроизведения содержания.

5. Информация URL MPD

Далее будет описана информация URL MPD. В настоящем варианте осуществления, когда информацию URL MPD передают из сервера 11 содержания в устройство 20 воспроизведения содержания, положение информации определения для обеспечения добавления параметра устройством 20 воспроизведения содержания к URL добавляют в форме параметра запроса. В настоящем варианте осуществления информация определения будет называться "описанием параметра". Сервер 11 содержания передает информацию URL MPD из модуля 320 передачи данных в устройство 20 воспроизведения содержания, например, в следующей форме.

hppt://a.com/x.mpd? pd=URI-1, URI 2, URI 3

"a.com" представляет сервер, который содержит содержание, которое устройство 20 воспроизведения содержания должно воспроизвести, и "x.mpd" представляет MPD содержания. Кроме того, в параметре запроса "pd", унифицированные идентификаторы ресурса (URI) информации определения представлены в виде списка. URI информации определения могут быть представлены в виде списка с запятыми между ними, как описано выше. Пример представленный выше, представляет собой информацию URL для MPD, переданного из сервера 11 содержания в устройство 20 воспроизведения содержания, когда устройство 20 воспроизведения содержания добавляет параметр на основе трех частей информации определения.

Описание параметра сохраняют в модуле 310 накопителя, и оно может быть описано на языке описания сетевого приложения (WADL, <http://www.w3.org/Submission/wadl>), языке описания сетевой услуги (WSDL, <http://www.ibm.com/developerworks/webservices/library/ws-restwsdl/>), или на другом сетевом языке описания API. Следует отметить, что описание параметра может быть сохранено не только в модуле 310 накопителя, но также и в модуле 230 накопителя устройства 20 воспроизведения содержания. Когда описание параметра сохраняют в обоих модулях накопителя, можно предположить, что содержание в модулях накопителя синхронизировано, то есть, содержание в обоих модулях накопителя поддерживается одинаковым.

Конкретный пример будет описан ниже. Сервер 11 содержания передает информацию URL для MPD, показанного ниже, в устройство 20 воспроизведения содержания, в ответ на запрос на воспроизведение содержания из устройства 20 воспроизведения содержания.

http://а.com/x.mpd?pd=urn:prmDef-1

На фиг. 7 показана описательная схема, представляющая содержание "urn:prmDef-1", которое представляет собой описание параметра, обозначенное параметром запроса "pd" для URL, описанного выше.

На участке, заключенном в метке <param>, описано содержание определения описания параметра.

Элемент "name" представляет наименование параметра, который должен быть добавлен к URL содержания, описанного в MPD, устройством 20 воспроизведения содержания (параметр URL). В примере на фиг. 7 "location" обозначено в элементе "name".

Элемент "required" предусматривает, необходимо или нет описание параметра запроса в устройстве 20 воспроизведения содержания. В примере, показанном на фиг. 7, "true" обозначено в элементе "required" и обозначает, что описание этого параметра является необходимым.

Элемент "style" представляет форму параметра, который должен быть добавлен к URL содержания, описанного в MPD устройством 20 воспроизведения содержания. Форма параметра включает в себя параметр запроса, шаблон и т.п. В примере, показанном на фиг. 7, "query" обозначено в элементе "style", обозначающем, что параметр описан устройством 20 воспроизведения содержания в форме параметра запроса.

В части, ограниченной меткой <doc>, описана информация, относящаяся к описанию параметра. На фиг. 7 описание параметра представляет собой детали "location" (местоположение) параметра, обозначающие, что, например, устройство 20 воспроизведения содержания должно описывать текущее положение, полученное устройством 20 воспроизведения содержания, которое подало запрос, используя GPS и т.п.

Когда устройство 20 воспроизведения содержания приняло информацию URL для MPD, описанного выше, и получило MPD, устройство воспроизведения содержания добавляет параметр к URL для содержания, описанного в MPD, на основе содержания, показанного на фиг. 7. Например, если URL сегмента содержания, который представляет собой "<http://a.com/s.mp4>", включен в MPD (x.mpd), описанный выше, устройство 20 воспроизведения содержания добавляет параметр запроса к http://a.com/s.mp4, как показано ниже.

http://a.com/s.mp4?location=areaA

Другими словами, устройство 20 воспроизведения содержания обозначает информацию текущего положения, полученную модулем 260 получения текущего положения, в параметре "location", обращается к URL, описанному выше, используя модуль 220 передачи данных, и, таким образом, запрашивает содержание.

Путем определения описания параметра, как описано выше, сервер 11 содержания может обеспечить добавление устройством 20 воспроизведения содержания соответствующего параметра, в соответствии с исполнительной окружающей средой устройства 20 воспроизведения содержания. Например, путем установки текущего положения устройства 20 воспроизведения содержания, как описано выше, соответствующее перенаправление в сервер 10 содержания может быть выполнено, в соответствии с положением устройства 20 воспроизведения содержания. Кроме того, используя инструкцию из сервера 11 содержания для описания ID пользователя для пользователя устройства 20 воспроизведения содержания в параметре запроса, информация, в соответствии с ID пользователя, например, реклама и т.п., может быть предоставлена из сервера 10 содержания в устройство 20 воспроизведения содержания.

Кроме того, путем определения описания параметра, как описано выше, когда параметр требуется добавить в устройство 20 воспроизведения содержания, или параметр, который должен быть добавлен, требуется изменить, соответствующий параметр может быть добавлен устройством 20 воспроизведения содержания, в соответствии с исполнительной средой устройства 20 воспроизведения содержания, без изменения MPD.

Другой пример описания параметра будет представлен ниже. Сервер 11 содержания передает информацию URL для MPD, показанного ниже, в устройство 20 воспроизведения содержания, в соответствии с запросом на воспроизведение содержания из устройства 20 воспроизведения содержания.

http://a.com/x.mpd?pd=urn:prmDef

На фиг. 8 показана описательная схема, представляющая содержание "urn:prmDef", которое представляет собой описание параметра, обозначенного параметром "pd" запроса для URL, описанного выше. В x.mpd, который представляет собой MPD, обозначенным в описанном выше URL, предполагается, что в него должен быть включен URL сегмента для содержания, которое представляет собой "http.://a.com/seg".

Метка <resource> представляет собой метку для обозначения места расположения содержания, в соответствии с "http://a.com/seg," и элемент "path" представляет собой элемент для обозначения местоположения содержания. Пример на фиг. 8 обозначает, что содержание находится в местоположении "path {v1}/p-{v2}.mp4". Кроме того, "v1" и "v2" внутри фигурных скобок обозначают места, в которые должны быть вставлены параметры устройством 20 воспроизведения содержания.

Когда устройство 20 воспроизведения содержания обозначает "vov1", "vov2", "voqp1" и "voqp2" для параметров "v1", "v2", "qp1" и "qp2", предписанных в описании параметра, показанном на фиг. 8, соответственно, устройство 20 воспроизведения содержания обращается к следующему URL, используя модуль 220 передачи данных, для получения содержания.

http://a.com/seg/pathvov1/p-vov2.mp4?qp1=voqp1 &qp2=voqp2

Если принять, например, что информация о стране будет обозначена в "v1", информации о префектуре или штате в "v2", информация о городе в "qp1" и информация о поселке в "qp2", содержание, которое должно быть воспроизведено устройством 20 воспроизведения содержания, может изменяться в соответствии с положением устройства 20 воспроизведения содержания на основе описания параметра, показанного на фиг. 8.

На фиг. 9 показана описательная схема, представляющая пример MPD, выполненного с возможностью обращения к описанию параметра, описанному выше. В Непатентной литературе 2, описанной выше, предложено ввести элемент "parameter", обозначающий наименование параметра, который будет использоваться в качестве шаблона ("locationP" в примере на фиг. 9) для атрибута ID элемента "parameter", и ссылаясь на "EssentialProperty" (элемент, который обозначает дескриптор, который должен поддерживаться в целевом MPD) для атрибута "descriptorId". Однако, в Непатентной литературе 2 не предложено следующее определение.

Здесь следующее определение, используя представленное выше описание параметра, представляет MPD, показанное на фиг. 9. "urn:prmDef-1", обозначенный в элементе "schemeIdUri", представляет собой описание параметра, представленного на фиг. 7. Путем определения MPD, как описано выше, устройство 20 воспроизведения содержания может добавлять параметр к URL, описанному в MPD, может обращаться по адресу http://a.com/s.mp4? location=areaA, и может получать содержание. Путем использования стандартной схемы описания при описании параметра могут использоваться существующие рамки стандарта, и, таким образом, упрощается добавление функции, такой как подпись URL.

Последовательность обработки, описанная выше, будет описана более подробно ниже. На фиг. 10A и 10B показаны схемы последовательности, подробно представляющие описанную выше последовательность обработки. Схемы последовательности на фиг. 10A и 10B представляют операцию, в которой информацию URL MPD передают из сервера 11 содержания в устройство 20 воспроизведения содержания, и устройство 20 воспроизведения содержания получает содержание из сервера 10 содержания на основе URL MPD для воспроизведения полученного содержания.

Когда устройство 20 воспроизведения содержания пытается воспроизвести содержание, используя модуль 240 воспроизведения, устройство 20 воспроизведения содержания вначале получает URL для MPD из сервера 11 содержания (Этап S101). Получение на этапе S101 выполняется, например, модулем 240 воспроизведения через модуль 220 передачи данных. После получения URL для MPD из содержания 11 сервера, устройство 20 воспроизведения содержания затем определяет, присутствует или нет параметр URL в URL (Этап S102). Определение на этапе S102 может быть выполнено модулем 240 воспроизведения.

Когда на этапе S102 определяют, что параметр URL отсутствует в URL MPD, полученного на этапе S101, устройство 20 воспроизведения содержания запрашивает URL MPD в соответствии с http из сервера 11 содержания (Этап S103). Запрос на этапе S103 выполняется, например, модулем 240 воспроизведения, используя модуль 220 передачи данных. Когда устройство 20 воспроизведения содержания получает только URL "http://a.com/x.mpd" в описанном выше примере, например, устройство 20 воспроизведения содержания запрашивает "http://a.com/x.mpd" из сервера 11 содержания в форме запроса http.

Сервер 11 содержания, который принял запрос на URL MPD из устройства 20 воспроизведения содержания, определяет информацию состояния, которую требуется получить серверу из устройства 20 воспроизведения содержания, например, информацию о местоположении в описанном выше примере, и запрашивает соответствующее описание параметра, используя модуль 310 накопителя (Этап S104). Модуль 310 накопителя отвечает серверу 11 содержания, используя URI из соответствующего описания параметра (Этап S105). Применяя такую обработку в описанном выше примере, модуль 310 накопителя отвечает серверу 11 содержания, используя URI "urn:prmDef-1", в соответствии с запросом из сервера 11 содержания.

Сервер 11 содержания, который принял ответ из модуля 310 накопителя, добавляет параметр URL, который содержит URI описания параметра в URL MPD, и отвечает устройству 20 воспроизведения содержания, используя URL MPD, в котором был добавлен параметр URL, в соответствии с перенаправлением ответа http (Этап S106). Используя такую обработку в описанном выше примере, сервер 11 содержания отвечает устройству 20 воспроизведения содержания, используя URL MPD "<http://a.com/x.mpd? pd=urn:prmDef-1>", который был получен, путем добавления параметра URL"? pd=urn:prmDef-1" для URL http://a.com/x.mpd.

Когда получают информацию URL MPD из сервера 11 содержания (или когда параметр URL представляет собой URL MPD, полученного на этапе S101, как результат определения на этапе S102), устройство 20 воспроизведения содержания сохраняет URI, обозначенный в параметре URL, в модуле 230 накопителя (Этап S107). В описанном выше примере, устройство 20 воспроизведения содержания сохраняет, например, URI "urn:prmDef-1" в модуле 230 накопителя.

Затем устройство 20 воспроизведения содержания запрашивает URL MPD, к которому был добавлен параметр URL, в соответствии с http, из сервера 10 содержания (Этап S108). Применяя такую обработку в описанном выше примере, устройство 20 воспроизведения содержания запрашивает URL MPD "<http://a.com/x.mpd? pd=urn:prmDef-1>" из сервера 10 содержания в форме запроса http.

Сервер 10 содержания, который принял запрос из устройства 20 воспроизведения содержания, отвечает устройству 20 воспроизведения содержания, используя основное тело MPD (Этап S109).

Устройство 20 воспроизведения содержания, которое приняло передачу основного тела MPD из сервера 10 содержания, интерпретирует переданное MPD (Этап S110). Интерпретация MPD на этапе S110 может быть выполнена, например, модулем 240 воспроизведения. Устройство 20 воспроизведения содержания интерпретирует MPD, переданное из сервера 10 содержания, и определяет "AdaptationSet" или "Representation/SubRepresentation", как цель воспроизведения.

Когда "AdaptationSet" или "Representation/SubRepresentation" определяют, как цель воспроизведения через интерпретацию MPD, устройство 20 воспроизведения содержания выполняет обработку детектирования в отношении цели воспроизведения (Этап S111). Обработка детектирования на этапе S111 выполняется, например, модулем 240 воспроизведения. В частности, устройство 20 воспроизведения содержания детектирует имеет ли "AdaptationSet", или "Representation/SubRepresentation" "EssentialProperty", обозначено ли "EssentialProperty" значением атрибута "schemeIdUri" (например, urn:prmDef-1), и является ли интерпретация описания параметра, на которую будет сделана ссылка в URI, обозначенном в атрибуте "schemeIdUri", необходимой для обработки воспроизведения. Кроме того, устройство 20 воспроизведения содержания детектирует, стал ли URI таким URI, который обозначает вставку параметра URL.

После выполнения обработки детектирования для цели воспроизведения устройство 20 воспроизведения содержания запрашивает описание параметра в модуле 310 накопителя, используя URI (например, urn:prmDef-1), обозначенный параметром URL (Этап S112). Обработка запроса на этапе S112 выполняется, например, модулем 240 воспроизведения через модуль 220 передачи данных. Модуль 310 накопителя отвечает в устройстве 20 воспроизведения содержания, используя основное тело соответствующего описания параметра, описанного, например, в WADL (Этап S113).

После получения основного тела описания параметра из модуля 310 накопителя, устройство 20 воспроизведения содержания определяет способ конфигурации параметра URL и получает содержание, которое должно быть сохранено в параметре URL (Этап S114). Обработка на этапе S114 может быть выполнена, например, модулем 240 воспроизведения. Когда информацию местоположения сохраняют в параметре URL, например, устройство 20 воспроизведения содержания сохраняет информацию о текущем положении, полученную модулем 260 получения текущего положения в параметре URL.

После получения содержания, сохраненного в параметре URL, устройство 20 воспроизведения содержания генерирует URL сегмента, к которому был добавлен параметр URL, и запрашивает сегмент в соответствии с http из сервера 10 содержания (Этап S115). В частности, устройство 20 воспроизведения содержания генерирует URL сегмента, к которому был добавлен параметр URL, в соответствии с правилом, описанным в атрибуте "среда" элемента "SegmentTemplate". Например, если существует правило, что, например, параметр URL должен быть вставлен в положение "SubstitutionParameter", который представляет собой "locationP", окруженный символами "$", обозначенный номером 400 ссылочной позиции на фиг. 11, устройство 20 воспроизведения содержания генерирует URL сегмента, в котором был добавлен параметр URL, в соответствии с этим правилом. Из обработки на этапе S115 устройство 20 воспроизведения содержания генерирует URL сегмента "http://a.com/s.mp4? location=areaA."

Сервер 10 содержания, который принял запрос из устройства 20 воспроизведения содержания, интерпретирует параметр URL и отвечает устройству 20 воспроизведения содержания, используя основное тело оптимального сегмента (Этап S116). Устройство 20 воспроизведения содержания воспроизводит сегмент, принятый из сервера 10 содержания (Этап S117).

В результате выполнения последовательности обработки, описанной выше, используя серверы 10 и 11 содержания, устройство 20 воспроизведения содержания добавляет параметр к URL, описанному в MPD, обращается к адресу "http://a.com/s.mp4? location=areaA", генерируемому в результате обработки на этапе S115, и, таким образом, может получить содержание.

Первый вариант осуществления

Описание компьютера, в котором применяется настоящее раскрытие Последовательность обработки, описанная выше, может быть выполнена, используя аппаратные средства или программное средство. Когда последовательность обработки выполняется программным средством, программу, составляющую программное обеспечение, устанавливают в компьютере. Здесь компьютер включает в себя, например, компьютер, встроенный в специализированные аппаратные средства, персональный компьютер общего назначения, который может выполнять различные функции путем установки различных программ, и т.п.

На фиг. 12 показана блок-схема, иллюстрирующая пример конфигурации аппаратных средств компьютера, который выполняет описанную выше последовательность обработки, используя программу.

В компьютере центральное процессорное устройство (CPU) 201, постоянное запоминающее устройство (ROM) 202 и оперативное запоминающее устройство (RAM) 203 соединены с друг другом с помощью шины 204.

Шина 204 дополнительно соединена с интерфейсом 205 ввода и вывода. Интерфейс 205 ввода и вывода соединен с модулем 206 ввода, модулем 207 вывода, модулем 208 накопителя, модулем 209 передачи данных и приводом 210.

Модуль 206 ввода включает в себя клавиатуру, "мышь", микрофон и т.п. Модуль 207 вывода включает в себя дисплей, громкоговоритель и т.п. Модуль 208 накопителя включает в себя жесткий диск, энергонезависимое запоминающее устройство и т.п. Модуль 209 передачи данных включает в себя сетевой интерфейс и т.п. Привод 210 выполняет привод съемного носителя 211 информации, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

Последовательность обработки, описанная выше, выполняется в компьютере, который выполнен, как описано выше, когда CPU 201 загружает, например, программу, сохраненную в модуле 208 накопителя, в RAM 203, используя интерфейс 205 ввода и вывода, и шину 204 для выполнения.

Программа, выполняемая компьютером (CPU 201), может быть предоставлена путем ее записи на съемном носителе 211, используемом, например, как пакетный носитель, и т.п.Кроме того, программа может быть предоставлена через проводной или беспроводный носитель передачи данных, такой как локальная вычислительная сеть, Интернет или цифровая спутниковая широковещательная передача.

Программа может быть установлена в модуле 208 накопителя компьютера, используя интерфейс 205 ввода и вывода, путем загрузки съемного носителя 211 информации в привод 210. Кроме того, программа может быть принята модулем 209 передачи данных и может быть установлена в модуле 208 накопителя через кабельную или беспроводную среду передачи данных. Кроме того, программа может быть установлена заранее в ROM 202 или в модуле 208 накопителя.

Следует отметить, что программа, выполняемая компьютером, может представлять собой программу, которая выполняет обработку во временной последовательности, в порядке, описанном в настоящем описании, или может представлять собой программу, которая выполняет обработку параллельно или в необходимые моменты времени, по вызову и т.п.

Второй вариант осуществления

Применение для кодирования многообзорного изображения/декодирования многообзорного изображения

Последовательность обработки, описанная выше, может применяться для кодирования многообзорного изображения/декодирования многообзорного изображения. На фиг. 13 иллюстрируется пример схемы кодирования многообзорного изображения.

Как представлено на фиг. 13, многообзорное изображение включает в себя изображения, имеющие множество видов. Множество видов многообзорного изображения включают в себя основной вид, для которого выполняется кодирование/декодирование, используя только изображение его собственного вида, без использования изображений других видов и неосновных видов, для которых выполняется кодирование/декодирование, используя изображения других видов. В неосновном виде может использоваться изображение основного вида и может использоваться изображение другого неосновного вида.

Используя описанную выше конфигурацию может быть исключена передача избыточной информации, и количество информации (количество кодирования), которая должна быть передана, может быть уменьшено (то есть, может быть предотвращено ухудшение эффективности кодирования).

Устройство кодирования многообзорного изображения

На фиг. 14 показана схема, иллюстрирующая устройство кодирования многообзорного изображения, которое выполняет описанное выше кодирование многообзорного изображения. Как представлено на фиг. 14, устройство 600 кодирования многообзорного изображения имеет модуль 601 кодирования, другой модуль 602 кодирования и модуль 603 мультиплексирования.

Модуль 601 кодирования кодирует изображение основного вида для генерирования кодированного потока изображения основного вида. Модуль 602 кодирования кодирует изображение неосновного вида для генерирования кодированного потока изображения неосновного вида. Модуль 603 мультиплексирования мультиплексирует кодированный поток изображения основного вида, сгенерированный модулем 601 кодирования, и кодированный поток изображения неосновного вид, сгенерированный модулем 602 кодирования, для генерирования кодированного потока многообзорного изображения.

Устройство 10 кодирования (фиг. 20) может применяться для модуля 601 кодирования и модуля 602 кодирования устройства 600 кодирования многообзорного изображения. То есть, при кодировании каждого вида, может быть улучшено принятое по умолчанию отображение информации разрешения и уровня расширения. Кроме того, используя один и тот же флаг или параметр вместе (например, элемент синтаксиса, относящийся к обработке изображений, и т.п.), модуль 601 кодирования и модуль 602 кодирования могут выполнять кодирование (то есть, могут совместно использоваться флаг или параметр), и, таким образом, может быть предотвращено ухудшение эффективности кодирования.

Устройство декодирования многообзорного изображения

На фиг. 15 показана схема, иллюстрирующая устройство декодирования многообзорного изображения, которое выполняет описанное выше декодирование многообзорного изображения. Как представлено на фиг. 15, устройство 610 декодирования многообзорного изображения имеет модуль 611 обратного мультиплексирования, модуль 612 декодирования и другой модуль 613 декодирования.

Модуль 611 обратного мультиплексирования выполняет обратное мультиплексирование кодированного потока многообзорного изображения, полученного в результате мультиплексирования кодированного потока изображения основного вида и кодированного потока изображения неосновного вида, для выделения кодированного потока изображения основного вида и кодированного потока изображения неосновного вида. Модуль 612 декодирования декодирует кодированный поток изображения основного вида, выделенный модулем 611 обратного мультиплексирования, для получения изображения основного вида. Модуль 613 декодирования декодирует кодированный поток изображения неосновного вида, выделенный модулем 611 обратного мультиплексирования, для получения изображения неосновного вида.

Устройство 110 декодирования (фиг. 26) может применяться для модуля 612 декодирования и модуля 613 декодирования устройства 610 декодирования многообзорного изображения. То есть, принятое по умолчанию отображение информации разрешения и уровня расширения может быть улучшено. Кроме того, используя тот же флаг или параметр вместе (например, элемент синтаксиса, относящийся к обработке изображений, и т.п.), модуль 612 декодирования и модуль 613 декодирования могут выполнять декодирование (то есть, могут совместно использовать флаг или параметр), и, таким образом, может быть предотвращено ухудшение эффективности кодирования.

Третий вариант осуществления

Применение для кодирования иерархического изображения/декодирования иерархического изображения

Последовательность обработки, описанная выше, может применяться для кодирования иерархического изображения/декодирования иерархического изображения (масштабируемого кодирования/масштабируемого декодирования). На фиг. 16 иллюстрируется пример схемы кодирования иерархического изображения.

Кодирование иерархического изображения (масштабируемое кодирование) включает в себя разделение изображения на множество уровней (установленных иерархически) и представляет собой кодирование для каждого уровня таким образом, что данные изображения могут обладать масштабируемостью в отношении заданного параметра. Декодирование иерархического изображения (масштабируемое декодирование) представляет собой декодирование, которое соответствует кодированию иерархического изображения.

Как представлено на фиг. 16, при установлении иерархии изображения, одно изображение разделяют на множество изображений (уровней) в отношении заданного параметра, который обеспечивает масштабируемость. То есть, изображение с установленной иерархией (иерархическое изображение) включает в себя изображения с множеством иерархий (уровней), которые имеют разные значения заданного параметра. Множество уровней иерархического изображения построены на основном уровне, для которого выполняется кодирование/декодирование, используя только изображение его собственного уровня, без использования изображения других уровней и неосновных уровней (каждый из которых также называется уровнем расширения), для которого выполняется кодирование/декодирование, используя изображения других уровней. Неосновной уровень может использовать изображение основного уровня, или использовать изображение другого неосновного уровня.

В общем, неосновной уровень включает в себя данные другого изображения (дифференциальные данные) его собственного изображения и изображения другого уровня таким образом, чтобы была уменьшена избыточность. Когда одно изображение разделено, например, на две иерархии основного уровня и неосновного уровня (также называется уровнем расширения), получают изображение с более низким качеством, чем оригинальное изображение, при использовании только данных основного уровня, и путем комбинирования данных основного уровня и данных неосновного уровня, получают оригинальное изображение (то есть, изображение высокого качества).

В результате установления иерархий изображений, как описано выше, могут быть легко получены изображения с различными уровнями качества, в соответствии с ситуацией. Например, информация сжатия изображений, в соответствии с возможностями терминала или сети, может быть передана из сервера, без выполнения обработки транскодирования, как в случае, когда информацию сжатия изображений только основного уровня передают в терминал с низкими возможностями обработки, такой как мобильный телефон, для воспроизведения динамического изображения, имеющего низкое пространственное и временное разрешение или плохое качество изображения, или когда информацию сжатия изображений уровня расширения в дополнение к основному уровню передают в терминал с высокими возможностями обработки, такой как телевизионный приемник или персональный компьютер, для воспроизведения динамического изображения, имеющего высокое пространственное и временное разрешение или высокое качество изображения.

При описанной выше конфигурации может быть предотвращена передача избыточной информации, и количество информации (количество кодирования), которое должно быть передано, может быть уменьшено (то есть, может быть предотвращено ухудшение эффективности кодирования).

Масштабируемый параметр

Параметр, который обеспечивает масштабируемость при кодировании иерархического изображения/декодировании иерархического изображения (масштабируемое кодирование/масштабируемое декодирование), является произвольным. Например, пространственное разрешение, представленное на фиг. 17, может быть установлено, как параметр (пространственная масштабируемость). При пространственной масштабируемости каждый уровень имеет разное разрешение изображения. То есть, в этом случае, каждое изображение разделяют на две иерархии, включающие в себя основной уровень с более низким пространственным разрешением, чем у оригинального изображения, и уровень расширения, с использованием которого получают исходное пространственное разрешение, когда этот уровень комбинируют с основным уровнем, как представлено на фиг. 17. Количество иерархий, конечно, представляет собой пример, и изображение может быть разделено на любое количество иерархий.

Кроме того, в качестве параметра, который обеспечивает масштабируемость, как описано выше, например, также может быть принято временное разрешение (временная масштабируемость), как представлено на фиг. 18. При временной масштабируемости каждый уровень имеет разную частоту кадров. То есть, в этом случае, каждое изображение разделяют на две иерархии, включающие в себя основной уровень, который имеет более низкую частоту кадров, чем оригинальное динамическое изображение, и уровень расширения, из которого получают оригинальную частоту кадров, когда этот уровень комбинируют с основным уровнем, как представлено на фиг. 18. Количество иерархий, конечно, представляет собой пример, и изображение может быть разделено на любое количество иерархий.

Кроме того, в качестве другого параметра, который обеспечивает масштабируемость, как описано выше, например, может быть принято отношение сигнал-шум (SNR) (масштабируемость по SNR). При масштабируемости по SNR каждый уровень имеет разное отношение SN. То есть в этом случае, каждое изображение разделяют на две иерархии, включающие в себя основной уровень с более низким SNR, чем оригинальное изображение, и уровень расширения, из которого получают оригинальное значение SNR, когда этот уровень комбинируют с основным уровнем, как представлено на фиг. 19. Количество иерархий, конечно, представляет собой пример, и изображение может быть разделено на любое количество иерархий.

Любой параметр, который обеспечивает масштабируемость, может быть принят в дополнение к описанным выше примерам. Например, в качестве параметра, который обеспечивает масштабируемость, также может использоваться битовая глубина (масштабируемость по битовой глубине). При такой масштабируемости по битовой глубине каждый уровень имеет разную битовую глубину. В этом случае, например, основной уровень состоит из 8-битного изображения, и, путем добавления к нему уровня расширения, может быть получено 10-битное изображение.

Кроме того, в качестве параметра, который обеспечивает масштабируемость, также можно использовать формат цветности (масштабируемость по цветности). При такой масштабируемости по цветности каждый уровень имеет разный формат цветности. В этом случае, например, основной уровень состоит из компонентного изображения в формате 4:2:0, и, путем добавления к нему уровня расширения, может быть получено компонентное изображение в формате 4:2:2.

Устройство кодирования иерархического изображения

На фиг. 20 показана схема, иллюстрирующая устройство кодирования иерархического изображения, которое выполняет описанное выше кодирование иерархического изображения. Устройство 620 кодирования иерархического изображения имеет модуль 621 кодирования, другой модуль 622 кодирования и модуль 623 мультиплексирования, как представлено на фиг. 20.

Модуль 621 кодирования кодирует изображение основного уровня для генерирования кодированного потока изображения основного уровня. Модуль 622 кодирования кодирует изображение неосновного уровня для генерирования кодированного потока изображения неосновного уровня. Модуль 623 мультиплексирования мультиплексирует кодированный поток изображения основного уровня, сгенерированный модулем 621 кодирования, и кодированный поток изображения неосновного уровня, сгенерированный модулем 622 кодирования, для генерирования кодированного потока иерархического изображения.

Устройство 10 кодирования (фиг. 20) может применяться в модуле 621 кодирования и в модуле 622 кодирования устройства 620 кодирования иерархического изображения. То есть, принятое по умолчанию отображение информации разрешения и уровня расширения может быть улучшено. Кроме того, используя тот же флаг или параметр вместе (например, элемент синтаксиса, относящийся к обработке изображений, и т.п.), модуль 621 кодирования и модуль 622 кодирования могут выполнять управление обработкой фильтрации при прогнозирования внутри кадра (то есть, могут совместно использовать флаг или параметр), и, таким образом, можно предотвратить ухудшение эффективности кодирования.

Устройство декодирования иерархического изображения

На фиг. 21 показана схема, иллюстрирующая устройство декодирования иерархического изображения, которое выполняет описанное выше декодирование иерархического изображения. Устройство 630 декодирования иерархического изображения имеет модуль 631 обратного мультиплексирования, модуль 632 декодирования и другой модуль 633 декодирования, как представлено на фиг. 21.

Модуль 631 обратного мультиплексирования выполняет обратное мультиплексирование кодированного потока иерархического изображения, полученного путем мультиплексирования кодированного потока изображения основного уровня и кодированного потока изображения неосновного уровня для выделения кодированного потока изображения основного уровня и кодированного потока изображения неосновного уровня. Модуль 632 декодирования декодирует кодированный поток изображения основного уровня, выделенный модулем 631 обратного мультиплексирования, для получения изображения основного уровня. Модуль 633 декодирования декодирует кодированный поток изображения неосновного уровня, выделенный модулем 631 обратного мультиплексирования, для получения изображения неосновного уровня.

Устройство 110 декодирования (фиг. 26) может применяться для модуля 632 декодирования и модуля 633 декодирования устройства 630 декодирования иерархического изображения. То есть, принятое по умолчанию отображение информации разрешения и уровня расширения может быть улучшено. Кроме того, совместно используя тот же флаг или параметр (например, элемент синтаксиса, относящийся к обработке изображений, и т.п.), модуль 612 декодирования и модуль 613 декодирования могут выполнять декодирование (то есть, могут совместно использовать флаг или параметр), и, таким образом, может быть предотвращено ухудшение эффективности кодирования.

Четвертый вариант осуществления

Пример конфигурации телевизионного устройства

На фиг. 22 иллюстрируется схематичная конфигурация телевизионного устройства, в котором применяется настоящее раскрытие. Телевизионное устройство 900 имеет антенну 901, тюнер 902, демультиплексор 903, декодер 904, модуль 905 обработки видеосигнала, модуль 906 дисплея, модуль 907 обработки аудиосигнала, громкоговоритель 908 и модуль 909 внешнего интерфейса. Кроме того, телевизионное устройство 900 имеет модуль 910 управления, модуль 911 интерфейса пользователя и т.п.

Тюнер 902 настраивается на требуемый канал из сигнала широковещательной передачи, принятого антенной 901, для выполнения демодуляции и выводит полученный кодированный поток битов в демультиплексор 903.

Демультиплексор 903 выделяет видео- и аудиопакеты программы, просмотр которой требуется, из кодированного потока битов, и выводит данные выделенных пакетов в декодер 904. Кроме того, демультиплексор 903 подает пакет данных электронной программы передач (EPG) в модуль 910 управления. Следует отметить, что, когда выполняется скремблирование, такое скремблирование устраняют с помощью демультиплексора и т.п.

Декодер 904 выполняет обработку декодирования для пакетов и выводит видеоданные и аудиоданные, сгенерированные при обработке декодирования, в модуль 905 обработки видеосигнала и в модуль 907 обработки аудиосигнала, соответственно.

Модуль 905 обработки видеосигнала выполняет удаление шумов, обработку видеоданных, в соответствии с установками пользователя, и т.п. для видеоданных. Модуль 905 обработки видеосигнала генерирует видеоданные программы, которую требуется отображать в модуле 906 дисплея, данные изображения, полученные в результате обработки на основе приложения, подаваемого через сеть, и т.п. Кроме того, модуль 905 обработки видеосигнала генерирует видеоданные для отображения экрана меню, такого как для выбора элемента, и накладывает эти данные на видеоданные программы. Модуль 905 обработки видеосигнала генерирует сигнал управления на основе видеоданных, сгенерированных, как описано выше, для управления модулем 906 дисплея.

Модуль 906 дисплея выполняет управление устройствами дисплея (например, элементами жидкокристаллического дисплея) на основе сигнала управления из модуля 905 обработки видеосигнала для отображения видеоизображения программы и т.п.

Модуль 907 обработки аудиосигнала выполняет вывод звука путем выполнения заданной обработки, такой как удаление шумов для аудиоданных, выполнения обработки D-A преобразования или обработки усиления для обработанных аудиоданных, и подает эти данные в громкоговоритель 908.

Модуль 909 внешнего интерфейса представляет собой интерфейс для соединения внешнего устройства с сетью и выполняет передачу и прием данных, таких как видеоданные и аудиоданные.

Модуль 910 управления соединен с модулем 911 интерфейса пользователя. Модуль 911 интерфейса пользователя выполнен, как переключатель для манипуляций или модуль приема сигнала дистанционного управления, и подает сигнал операции в модуль 910 управления, в соответствии с операцией пользователя.

Модуль 910 управления выполнен с использованием центрального процессорного устройства (CPU), запоминающего устройства и т.п. В запоминающем устройстве содержатся программы, выполняемые CPU, различного рода данные, необходимые для выполнения CPU обработки, данные EPG, данные, полученные через сеть, и т.п. Программы, сохраненные в запоминающем устройстве, считывают и выполняют с помощью CPU в заданные моменты времени, такие как при включении телевизионного устройства 900. В результате выполнения программы, CPU управляет соответствующими модулями таким образом, что телевизионное устройство 900 работает в соответствии с операциями пользователя.

Следует отметить, что в телевизионном устройстве 900 шина 912 предусмотрена для соединения тюнера 902, демультиплексора 903, модуля 905 обработки видеосигнала, модуля 907 обработки аудиосигнала, модуля 909 внешнего интерфейса и т.п. с модулем 910 управления.

В декодере 904 телевизионного устройства, выполненном, как описано выше, предусмотрена функция устройства декодирования (способа декодирования), в соответствии с настоящей заявкой. По этой причине при обработке декодирования кодированного потока может быть улучшено принятое по умолчанию отображение информации разрешения и уровня расширения.

Пятый вариант осуществления

Пример конфигурации мобильного телефона

На фиг. 23 иллюстрируется схематичная конфигурация мобильного телефона, в котором применяется настоящее раскрытие. Мобильный телефон 920 имеет модуль 922 передачи данных, аудиокодек 923, модуль 926 камеры, модуль 927 обработки изображений, модуль 928 демультиплексирования, модуль 929 записи и воспроизведения, модуль 930 дисплея и модуль 931 управления. Составляющие элементы соединены друг с другом через шину 933.

Кроме того, антенна 921 соединена с модулем 922 передачи данных, и громкоговоритель 924, и микрофон 925 соединены с аудиокодеком 923. Кроме того, модуль 932 операций соединен с модулем 931 управления.

Мобильный телефон 920 выполняет различные операции, такие как передача и прием аудиосигналов, передача и прием электронной почты и данных изображения, съемка изображений, запись данных и т.п. в различных режимах, таких как режим голосового вызова, режим передачи данных и т.п.

В режиме голосового вызова аудиосигнал, генерируемый из микрофона 925, преобразуется в аудиоданные, или его сжимают с получением данных в аудиокодеке 923 и подают в модуль 922 передачи данных. Модуль 922 передачи данных выполняет обработку модуляции, обработку преобразования частоты и т.п. для аудиоданных, для генерирования сигнала передачи. Кроме того, модуль 922 передачи данных подает сигнал передачи в антенну 921 для передачи сигнала в базовую станцию, которая не представлена. Кроме того, модуль 922 передачи данных выполняет обработку усиления или обработку преобразования частоты и обработку демодуляции для принятого сигнала, который был принят через антенну 921, и подает полученные аудиоданные в аудиокодек 923. Аудиокодек 923 выполняет распаковку аудиоданных или преобразование в аналоговый аудиосигнал и выводит эти данные в громкоговоритель 924.

Кроме того, когда выполняют передачу почты в режиме передачи данных, модуль 931 управления принимает данные знаков, вводимые в результате выполнения операции в модуле 932 операций, и отображает вводимый знак в модуле 930 дисплея. Кроме того, модуль 931 управления генерирует данные почты на основе инструкции пользователя и т.п. из модуля 932 и подает эти данные в модуль 922 передачи данных. Модуль 922 передачи данных выполняет обработку модуляции или обработку преобразования частоты для данных почты, и передает полученный сигнал передачи через антенну 921. Кроме того, модуль 922 передачи данных выполняет усиление или обработку преобразования частоты и обработку демодуляции принятого сигнала, который был принят через антенну 921, для восстановления данных почты. Такие данные почты подают в модуль 930 дисплея, и отображают содержание почты.

Следует отметить, что мобильный телефон 920 также может обеспечить сохранение принятых данных почты на носителе информации, используя модуль 929 записи и воспроизведения. Носитель информации представляет собой произвольный носитель информации с возможностью перезаписи. Например, носитель информации представляет собой полупроводниковое запоминающее устройство, такое как RAM или встроенное запоминающее устройство типа флэш, или съемный носитель информации, такой как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство для универсальной последовательной шины (USB), или карту памяти.

Когда данные изображения передают в режиме передачи данных, данные изображения, генерируемые модулем 926 камеры, подают в модуль 927 обработки изображений. Модуль 927 обработки изображений выполняет обработку кодирования для данных изображения, для генерирования кодированных данных.

Модуль 928 демультиплексирования выполняет мультиплексирование кодированных данных, сгенерированных модулем 927 обработки изображений, и аудиоданных, подаваемых из аудиокодека 923 в заданной схеме, и подает эти данные в модуль 922 передачи данных. Модуль 922 передачи данных выполняет обработку модуляции, обработку преобразования частоты и т.п. для мультиплексированных данных и передает полученный сигнал передачи из антенны 921. Кроме того, модуль 922 передачи данных выполняет усиление или обработку преобразования частоты и обработку демодуляции для принятого сигнала, который был принят через антенну 921, для восстановления мультиплексированных данных. Эти мультиплексированные данные подают в модуль 928 демультиплексирования. Модуль 928 демультиплексирования выполняет демультиплексирование мультиплексированных данных и подает кодированные данные в модуль 927 обработки изображений и аудиоданные в аудиокодек 923. Модуль 927 обработки изображений выполняет обработку декодирования для кодированных данных, для генерирования данных изображения. Эти данные изображения подают в модуль 930 дисплея и выполняют отображение принятого изображения. Аудиокодек 923 преобразует аудиоданные в аналоговый аудиосигнал, и подает этот сигнал в громкоговоритель 924 для вывода принятого звука.

Модуль 927 обработки изображений устройства мобильного телефона, выполненный, как описано выше, используется как устройство кодирования и устройство декодирования (используя способ кодирования и способ декодирования) в соответствии с настоящей заявкой. По этой причине может быть улучшено принятое по умолчанию отображение информации о разрешении и об уровне расширения.

Шестой вариант осуществления

Пример конфигурации устройства записи и воспроизведения

На фиг. 24 иллюстрируется схематичная конфигурация устройства записи и воспроизведения, в котором применяется настоящее раскрытие. Устройство 940 записи и воспроизведения записывает, например, принятые аудиоданные и видеоданные программы широковещательной передачи на носителе записи и подает записанные данные пользователю в момент времени, установленный пользователем. Кроме того, устройство 940 записи и воспроизведения также может получать аудиоданные и видеоданные, например, из другого устройства и может записывать эти данные на носитель записи. Кроме того, путем декодирования и вывода аудиоданных и видеоданных, записанных на носителе записи, устройство 940 записи и воспроизведения может отображать изображения и выводить звуки в устройство монитора и т.п.

Устройство 940 записи и воспроизведения имеет тюнер 941, модуль 942 внешнего интерфейса, кодер 943, модуль 944 привода жесткого диска (HDD), привод 945 диска, селектор 946, декодер 947, модуль 948 отображения на экране (OSD), модуль 949 управления и модуль 950 интерфейса пользователя.

Тюнер 941 настраивается на требуемый канал сигнала широковещательной передачи, принятого через антенну, которая не представлена. Тюнер 941 выводит кодированный поток битов, полученный путем демодуляции принимаемого сигнала требуемого канала в селектор 946.

Модуль 942 внешнего интерфейса выполнен, как, по меньшей мере, один из интерфейса IEEE 1394, модуля сетевого интерфейса, интерфейса USB, интерфейса запоминающего устройства типа флэш и т.п. Модуль 942 внешнего интерфейса представляет собой интерфейс для подключения к внешнему устройству, сети, карте памяти и т.п. для приема данных, таких как видеоданные или аудиоданные, предназначенные для записи.

Кодер 943 кодирует видеоданные или аудиоданные, подаваемые из модуля 942 внешнего интерфейса в заданной схеме, когда данные не были кодированы, и выводит кодированный поток битов в селектор 946.

Модуль 944 HDD записывает данные содержания, содержащие видеоизображения и звуки, различные программы, другие типы данных и т.п. на встроенный жесткий диск и считывает такие данные с жесткого диска во время воспроизведения.

Привод 945 диска выполняет запись и воспроизведение сигнала для загруженного оптического диска. Оптический диск включает в себя, например, диск DVD (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW и т.п.), диск Blu-ray (зарегистрированный товарный знак) и т.п.

Селектор 946 выбирает любой кодированный поток битов из тюнера 941 или кодера 943 и подает этот кодированный поток битов в любой из модуля 944 HDD и привода 945 диска во время записи видеоизображения или звука. Кроме того, селектор 946 подает кодированный поток битов, выводимый из модуля 944 HDD или из привода 945 диска, в декодер 947 во время воспроизведения видеоизображения или звука.

Декодер 947 выполняет обработку декодирования для кодированного потока битов. Декодер 947 подает видеоданные, генерируемые в результате выполнения обработки декодирования, в модуль 948 OSD. Кроме того, декодер 947 выводит аудиоданные, сгенерированные в результате выполнения обработки декодирования.

Модуль 948 OSD генерирует видеоданные для отображения экрана меню для выбора элементов и т.п., и накладывает эти видеоданные на видеоданные, выводимые из декодера 947, для вывода.

Модуль 949 управления подключен к модулю 950 интерфейса пользователя. Модуль 950 интерфейса пользователя выполнен, как переключатель для манипулирования, модуль приема сигнала с дистанционным управлением и т.п., и подает сигнал операции в модуль 949 управления, в соответствии с операцией пользователя.

Модуль 949 управления выполнен с использованием CPU, запоминающего устройства и т.п. В запоминающем устройстве содержатся программы, выполняемые CPU, или различные виды данных, необходимые для CPU для выполнения обработки. Программа, сохраненная в запоминающем устройстве, считывается и выполняется CPU в заданные моменты времени, такие как при включении устройства 940 записи и воспроизведения и т.п. В результате выполнения программы CPU управляет соответствующими модулями таким образом, что устройство 940 записи и воспроизведения работает в соответствии с операцией пользователя.

Кодер 943 устройства записи и воспроизведения, выполненный, как описано выше, используется как устройство кодирования (используя способ кодирования), в соответствии с настоящей заявкой. По этой причине при кодировании кодированного потока может быть улучшено принятое по умолчанию отображение информации разрешения и уровня расширения. Кроме того, декодер 947 используется, как устройство декодирования (используя способ декодирования), в соответствии с настоящей заявкой. По этой причине, при декодировании кодированного потока, может быть улучшено принятое по умолчанию отображение информации разрешения и уровня расширения.

Седьмой вариант осуществления

Пример конфигурации устройства формирования изображения

На фиг. 25 иллюстрируется схематичная конфигурация устройства формирования изображения, в котором применяется настоящее раскрытие. Устройство 960 формирования изображения снимает изображение субъекта, обеспечивает отображение изображения субъекта в модуле дисплея или записывает изображение на носителе записи в форме данных изображения.

Устройство 960 формирования изображения имеет оптический блок 961, модуль 962 формирования изображения, модуль 963 обработки сигналов камеры, модуль 964 обработки данных изображения, модуль 965 дисплея, модуль 966 внешнего интерфейса, запоминающее устройство 967, привод 968 носителя информации, модуль 969 OSD и модуль 970 управления. Кроме того, модуль 971 интерфейса пользователя соединен с модулем 970 управления. Кроме того, модуль 964 обработки данных изображения, модуль 966 внешнего интерфейса, запоминающее устройство 967, привод 968 носителя информации, модуль 969 OSD, модуль 970 управления и т.п. соединены друг с другом через шину 972.

Оптический блок 961 выполнен с использованием объектива фокусирования, механизма диафрагмы и т.п. Оптический блок 961 обеспечивает формирование изображения субъекта на плоскости формирования изображения модуля 962 формирования изображения. Модуль 962 формирования изображения выполнен с использованием датчика изображения CCD или CMOS, и генерирует электрический сигнал в соответствии с оптическим изображением в результате фотоэлектрического преобразования и подает этот сигнал в модуль 963 обработки сигналов камеры.

Модуль 963 обработки сигналов камеры выполняет различную обработку сигнала камеры, такую как коррекция ступенчатости изображения, гамма-коррекция или коррекция цветов электрического сигнала, подаваемого из модуля 962 формирования изображения. Модуль 963 обработки сигналов камеры подает данные изображения, которые были получены после обработки сигнала камеры, в модуль 964 обработки данных изображения.

Модуль 964 обработки данных изображения выполняет обработку кодирования для данных изображения, подаваемых из модуля 963 обработки сигналов камеры. Модуль 964 обработки данных изображения подает кодированные данные, сгенерированные в результате выполнения обработки кодирования, в модуль 966 внешнего интерфейса или в привод 968 носителя информации. Кроме того, модуль 964 обработки данных изображения выполняет обработку декодирования для кодированных данных, подаваемых из модуля 966 внешнего интерфейса или из привода 968 носителя информации. Модуль 964 обработки данных изображения подает данные изображения, сгенерированные в результате выполнения обработки декодирования, в модуль 965 дисплея. Кроме того, модуль 964 обработки данных изображения выполняет обработку подачи данных изображения, подаваемых из модуля 963 обработки сигналов камеры, в модуль 965 дисплея, или накладывает данные для отображения, полученные из модуля 969 OSD, на данные изображения, и подает эти данные в модуль 965 дисплея.

Модуль 969 OSD генерирует данные для отображения, такие как экран меню или пиктограмма, состоящая из символа, знака или цифры, и выводит эти данные в модуль 964 обработки данных изображения.

Модуль 966 внешнего интерфейса выполнен так, как, например, разъем ввода и вывода USB и т.п., и соединяется с принтером, когда изображение следует напечатать. Кроме того, модуль 966 внешнего интерфейса соединяется с приводом, когда необходимо, соответственно, загрузить съемный носитель информации, такой как магнитный диск или оптический диск, и компьютерную программу, считанную с него, устанавливают, когда это необходимо. Кроме того, модуль 966 внешнего интерфейса имеет сетевой интерфейс, соединенный с заданной сетью, такой как LAN или Интернет. Модуль 970 управления может считывать кодированные данные из привода 968 носителя информации, в соответствии с инструкцией, поступившей через модуль 971 интерфейса пользователя, и может подавать эти данные в другое устройство, соединенное с модулем 966 внешнего интерфейса через сеть. Кроме того, модуль 970 управления может получать кодированные данные или данные изображения, подаваемые из другого устройства, через модуль 966 внешнего интерфейса, через сеть, или может подавать эти данные в модуль 964 обработки данных изображения.

В качестве носителя записи, привод которого осуществляется в приводе 968 носителя информации, например, можно использовать любой выполненный с возможностью считывания и перезаписи съемный носитель информации, такой как магнитный диск, магнитооптический диск, оптический диск или полупроводниковое запоминающее устройство. Кроме того, тип носителя записи, используемый съемным носителем информации, является произвольным, и он может представлять собой устройство, работающее на магнитной ленте, диск или карту памяти. Конечно, он может представлять собой бесконтактную карту с интегральной микросхемой (IC) и т.п.

Кроме того, привод 968 носителя информации и носитель записи могут быть интегрированы для конфигурирования стационарного носителя, такого как, например, встроенный привод жесткого диска, твердотельный привод (SSD) и т.п.

Модуль 970 управления выполнен с использованием CPU. Запоминающее устройство 967 содержит программы, выполняемые модулем 970 управления, или различные вида данные и т.п., необходимые для выполнения обработки модулем 970 управления. Программа, содержащаяся в запоминающем устройстве 967, считывается и выполняется модулем 970 управления в заданные моменты времени, такие во время включения устройства 960 формирования изображения. В результате выполнения программы модуль 970 управления управляет соответствующими модулями таким образом, что устройство 960 формирования изображения работает в соответствии с операцией пользователя.

Модуль 964 обработки данных изображения в устройстве формирования изображения, выполненный как описано выше, используется, как устройство кодирования и устройство декодирования (использует способ кодирования и способ декодирования), в соответствии с настоящей заявкой. По этой причине, при кодировании или декодировании кодированного потока, принятое по умолчанию преобразование информации разрешения и уровня расширения может быть улучшено.

Пример применения масштабируемого кодирования

Первая система

Далее будет описан пример конкретного использования данных, кодированных с масштабированием, которые представляют собой предмет масштабируемого кодирования (иерархического кодирования). Масштабируемое кодирование используется для выбора данных, которые должны быть переданы, как, например, в примере, представленном на фиг. 26.

В системе 1000 передачи данных, представленной на фиг. 26, сервер 1002 распределения считывает данные, кодированные с масштабированием, сохраненные в модуле 1001 накопителя данных, кодированных с масштабированием, и распределяет эти данные в устройство терминала, такое как персональный компьютер 1004, AV устройство 1005, планшетное устройство 1006, мобильный телефон 1007 и т.п. через сеть 1003.

В этом случае, сервер 1002 распределения выбирает и передает кодированные данные, имеющие качество, соответствующее возможностям среды передачи данных и т.п. устройства терминала. Даже если сервер 1002 распределения передает данные, имеющие чрезмерно высокое качество, устройство терминала может не быть способным получить изображение высокого качества и, таким образом, существует проблема такой передачи, связанная с задержкой или переполнением. Кроме того, использование ненужной полосы пропускания при передаче данных или ненужное увеличение нагрузки в устройстве терминала также представляют собой проблему. И, наоборот, если сервер 1002 распределения передает данные, имеющие чрезмерно низкое качество, существует проблема, связанная с тем, что устройство терминала не может получить изображение с требуемым качеством. По этой причине сервер 1002 распределения соответствующим образом считывает и передает данные, кодированные с масштабированием, сохраненные в модуле 1001 накопителя данных, кодированных с масштабированием, как кодированные данные, имеющее качество, соответствующее возможностям, среде передачи и т.п. устройства терминала.

Например, модуль 1001 накопителя данных, кодированных с масштабированием, содержит данные 1011, кодированные с масштабированием (BL+EL), для которых было выполнено масштабируемое кодирование. Данные 1011, кодированные с масштабированием (BL+EL), представляют собой кодированные данные, которые включают в себя как основной уровень, так и уровень расширения, и данные, из которых в результате декодирования могут быть получены, как изображение основного уровня, так и изображение уровня расширения.

Сервер 1002 распределения выбирает уровень, соответствующий возможностям среды передачи данных и т.п. устройства терминала, в которой передают данные, и считывает данные уровня. Например, сервер 1002 распределения считывает данные 1011, кодированные с масштабированием (BL+EL) высокого качества, из модуля 1001 накопителя данных, кодированных с масштабированием, и передает эти данные без изменения в персональный компьютер 1004 или в планшетное устройство 1006, имеющее высокие возможности обработки. С другой стороны, сервер 1002 распределения выделяет, например, данные основного уровня из данных 1011, кодированных с масштабированием (BL+EL), и передает эти данные, как данные того же содержания, что и данные 1011, кодированные с масштабированием (BL+EL), и как данные 1012, кодированные с масштабированием (BL), имеющие более низкое качество, чем данные 1011, кодированные с масштабированием (BL+EL), в AV устройство 1005 или в мобильный телефон 1007, имеющие низкие характеристики обработки.

Поскольку количество данных можно легко регулировать, используя такие данные, кодированные с масштабированием, как описано выше, возникновение задержки или переполнения можно предотвратить, и можно исключить ненужное увеличение нагрузки на устройстве терминала или в среде передачи данных. Кроме того, поскольку избыточность между уровнями уменьшена в данных 1011, кодированных с масштабированием (BL+EL), количество данных может быть уменьшено в большей степени, чем тогда, когда кодированные данные каждого уровня устанавливают, как индивидуальные данные. Таким образом, область сохранения модуля 1001 накопителя данных, кодированных с масштабированием, может использоваться более эффективно.

Следует отметить, что, поскольку различные устройства могут применяться, как устройства терминала, такие как персональный компьютер 1004 в мобильном телефоне 1007, каждое устройство имеет разные характеристики аппаратных средств. Кроме того, поскольку приложения, выполняемые устройствами терминала, также изменяются, характеристики программного обеспечения также изменяются. Кроме того, что касается сети 1003, используемой, как среда передачи данных, может применяться кабельная или беспроводная среда передачи данных, такая как Интернет или локальная вычислительная сеть (LAN) или все линии цепи передачи данных, которые включают в себя оба типа передачи данных, и их характеристики передачи данных также меняются. Кроме того, существует проблема изменения рабочих характеристик, в соответствии с другими типами передачи данных.

Таким образом, сервер 1002 распределения может устанавливать сообщение с устройством терминала, используемым, как место назначения для передачи данных, перед началом передачи данных, для получения информации, относящейся к возможностям устройства терминала, такой как рабочая характеристика аппаратных средств устройства терминала или рабочая характеристика приложения (программного обеспечения), выполняемого устройством терминала, и информацию, относящуюся к среде передачи данных, такую как доступная ширина полосы пропускания и т.п. сети 1003. Таким образом, сервер 1002 распределения может устанавливать выбор соответствующего уровня на основе полученной информации.

Следует отметить, что устройства терминала могут быть установлены на выделение уровней. Например, персональный компьютер 1004 может быть установлен на декодирование передаваемых данных 1011, кодированных с масштабированием (BL+EL), для отображения изображения основного уровня или для отображения изображения уровня расширения. Кроме того, например, персональный компьютер 1004 может быть установлен на выделение данных 1012, кодированных с масштабированием (BL) основного уровня из переданных данных 1011, кодированных с масштабированием (BL+EL), для сохранения этих данных, для передачи этих данных в другое устройство, или для декодирования и отображения изображения основного уровня.

Количество модулей накопителя данных 1001, кодированных с масштабированием сервера 1002 распределения, сети 1003 и устройства терминала, конечно, является произвольным. Кроме того, хотя пример, в котором сервер 1002 распределения передает данные в устройства терминала, был описан выше, пример использования не ограничен этим. Любая система может применяться в системе 1000 передачи данных, если только она представляет собой систему, в которой выбран соответствующий уровень и был передан в соответствии с возможностью, средой передачи данных и т.п. устройства терминала, когда кодированные данные, для которых было выполнено масштабируемое кодирование, передают в устройство терминала. Вторая система

Кроме того, масштабируемое кодирование используется для передачи через множество сред передачи данных, как, например, в примере, представленном на фиг. 27.

В системе 1100 передачи данных, представленной на фиг. 27, станция 1101 широковещательной передачи данных передает данные 1121, кодированные с масштабированием (BL) основного уровня, используя наземную широковещательную передачу 1111. Кроме того, станция 1101 широковещательной передачи передает (например, формирует пакеты и передает) данные 1122, кодированные с масштабированием (EL) уровня расширения через произвольную сеть 1112, включающую в себя кабельную или беспроводную сеть передачи данных, или обе сети передачи данных.

Устройство 1102 терминала имеет функцию приема наземной широковещательной передачи 1111, передаваемой в режиме широковещательной передачи станцией 1101 широковещательной передачи, и, таким образом, принимает данные 1121, кодированные с масштабированием (BL) основного уровня, переданные через наземную широковещательную передачу 1111. Кроме того, устройство 1102 терминала дополнительно имеет функцию передачи данных, представляющую собой передачу через сеть 1112, и, таким образом, принимает данные 1122, кодированные с масштабирование (EL) уровня расширения, переданные через сеть 1112.

Устройство 1102 терминала декодирует данные 1121, кодированные с масштабированием (BL) основного уровня, полученные в результате наземной широковещательной передачи 1111, для получения, сохранения или передачи изображения основного уровня в другое устройство.

Кроме того, в соответствии с инструкцией пользователя и т.п., например, устройство 1102 терминала комбинирует данные 1121, кодированные с масштабированием (BL) основного уровня, полученные в результате наземной широковещательной передачи 1111, и данные 1122, кодированные с масштабированием (EL) уровня расширения, полученные через сеть 1112, для получения данных, кодированных с масштабированием (BL+EL), и декодирует эти комбинированные данные, для получения, сохранения или передачи изображения уровня расширения в другое устройство.

Как описано выше, данные, кодированные с масштабированием, могут быть переданы, например, через разные среды передачи данных для каждого уровня. Таким образом, нагрузка может быть распределена, и может быть исключено возникновение задержки или переполнения.

Кроме того, среду передачи данных, которую требуется использовать для передачи, можно выбрать для каждого уровня, в соответствии с ситуацией. Например, данные 1121, кодированные с масштабированием (BL), с относительно большим объемом данных могут быть переданы через среду передачи данных, имеющую широкую полосу пропускания, и данные 1122, кодированные с масштабированием (EL) уровня расширения с относительно малым количеством данных, могут быть переданы через среду передачи данных, имеющую узкую ширину полосы пропускания. Кроме того, среда передачи данных, в которой должны быть переданы данные 1122, кодированные с масштабированием (EL) уровня расширения, может быть установлена с возможностью переключения на сеть 1112 или на наземную широковещательную передачу 1111, в соответствии с доступной полосой пропускания сети 1112. То же самое, конечно, относится к данным любого уровня.

В результате выполнения управления, как описано выше, можно дополнительно предотвратить увеличение нагрузки при передаче данных.

Конечно, количество уровней является произвольным, и количество сред передачи данных, используемых при передаче, также является произвольным. Кроме того, количество устройств 1102 терминала, используемых, как место назначения распределения данных, является произвольным. Кроме того, хотя пример широковещательной передачи из станции 1101 широковещательной передачи был описан выше, пример использования не ограничен этим. Любая система может применяться в качестве системы 1100 передачи данных, если она представляет собой систему, в которой кодированные данные, для которых было выполнено масштабированное кодирование, разделяют на множество частей по модулям уровней и передают через множество линий.

Третья система

Кроме того, масштабируемое кодирование используется при сохранении кодированных данных, как, например, в примере, представленном на фиг. 28.

В системе 1200 формирования изображений, представленной на фиг. 28, устройство 1201 формирования изображения выполняет масштабируемое кодирование данных изображения, полученное в результате съемки изображения субъекта 1211, и подает эти данные в устройство 1202 накопитель данных, кодированных с масштабированием, как данные 1221, кодированные с масштабированием (BL+EL).

Устройство 1202 накопитель данных, кодированных с масштабированием, сохраняет данные 1221, кодированные с масштабированием (BL+EL), переданные из устройства 1201 формирования изображения, с качеством, определенным в соответствии с ситуацией. Например, в нормальное время устройство 1202 накопитель данных, кодированных с масштабированием, выделяет данные основного уровня из данных 1221, кодированных с масштабированием (BL+EL), и сохраняет эти данные, как данные 1222, кодированные с масштабированием (BL) основного уровня с низким качеством и малым количеством данных. С другой стороны, например, в случаях, заслуживающих внимания, устройство 1202 накопитель данных, кодированных с масштабированием, сохраняют данные 1221, кодированные с масштабированием (BL+EL) с высоким качеством и с большим объемом данных в том виде, как они есть.

Поскольку устройство 1202 накопитель данных, кодированных с масштабированием, может сохранять изображения с высоким качеством только, когда это необходимо в соответствии с установками, описанными выше, увеличение объема данных может быть предотвращено, и эффективность использования области сохранения может быть улучшена при подавлении снижения ценности изображений, связанного с деградацией качества изображения.

Предполагается, что устройство 1201 формирования изображения, может представлять собой, например, камеру наблюдения. Когда цель наблюдения (например, злоумышленник) не попадает в снятое изображение (в нормальных случаях), существует высокая вероятность того, что содержание снятого изображения является неважным, и, таким образом, приоритет устанавливают для уменьшения объема данных, и данные изображения (данные, кодированные с масштабированием) сохраняют с низким качеством. С другой стороны, когда цель наблюдения попадает в снятое изображение, как субъект 1211 (в случаях, заслуживающих внимания), существует высокая вероятность, что содержание снятого изображения является важным, и, таким образом, приоритет устанавливают для качества изображения, и данные изображения (данные, кодированные с масштабированием) сохраняют с высоким качеством.

Следует отметить, что нормальные случаи и случаи, заслуживающие внимания, могут быть определены, например, устройством 1202 накопителем данных, кодированных с масштабированием, путем анализа изображения. Кроме того, они могут быть определены устройством 1201 формирования изображения, и результат определения мог быть передан в устройство 1202 накопитель данных, кодированных с масштабированием.

Следует отметить, что критерий определения нормальных случаев и случаев, заслуживающих внимания, является произвольным, и содержание изображения, используемое, как критерий для определения, является произвольным. Другое условие, кроме содержания изображения, конечно, может быть установлено, как критерий для определения. Например, состояния могут переключаться в соответствии с размером, формой колебаний и т.п. или записанным звуком, или могут переключаться через заданные интервалы, или могут переключаться в соответствии с инструкцией, поступающей снаружи, такой как инструкция пользователя.

Кроме того, хотя пример, в котором переключают два состояния, такие как нормальный случай и случай, заслуживающий внимания, был описан выше, количество состояний является произвольным, и можно переключаться между тремя или больше состояниями, например, нормальным случаем, случаем заслуживающим незначительного внимания, случаем, заслуживающим внимания, случаем, заслуживающим особого внимания и т.п. Однако, верхний предел количества состояний, между которыми следует выполнять переключение, зависит от количества уровней данных, кодированных с масштабированием.

Кроме того, устройство 1201 формирования изображения может определять количество уровней при масштабируемом кодировании в соответствии с состояниями. Например, в нормальных случаях, устройство 1201 формирования изображения может генерировать данные 1222, кодированные с масштабированием (BL) основного уровня с низким качеством и малым количеством данных и может подавать эти данные в устройство 1202 накопитель данных, кодированных с масштабированием. Кроме того, в случаях, заслуживающих внимания, например, устройство 1201 формирования изображения может генерировать данные 1221, кодированные с масштабированием (BL+EL) основного уровня с высоким качеством и большим объемом данных и подавать эти данные в устройство 1202 накопитель данных, кодированных с масштабированием.

Хотя камера наблюдения была использована в качестве примера в представленном выше описании, применение системы 1200 формирования изображений является произвольным и не ограничено камерой наблюдения.

Восьмой вариант осуществления

Другие примеры

Хотя примеры устройств, систем и т.п., в которых применяется настоящее раскрытие, были описаны выше, настоящее раскрытие не ограничено этим, и может быть воплощено в любой конфигурации, установленной в устройствах или устройствах, составляющих системы, например, в процессорах в форме систем в модулях больших интегральных схем (LSI), в которых используется множество процессоров, в модулях, в которых используется множество модулей, в наборах, полученных путем дополнительного добавления других функций к этим модулям (то есть, частичная конфигурация устройств), и т.п.

Пример конфигурации видеонабора

Пример, в котором настоящее раскрытие воплощено, как набор, будет описан со ссылкой на фиг. 29. На фиг. 29 иллюстрируется пример схематичной конфигурации видеонабора, в котором применяется настоящее раскрытие.

Поскольку, в последние годы, электронные устройства постепенно становятся многофункциональными, когда некоторые конфигурации каждого устройства предварительно подготавливают для продажи, поставки и т.п. на этапе разработки и производства, возникают не только случаи, в которых такое устройство конфигурируют, как имеющее одну функцию, но также возникает множество случаев, в которых множество конфигураций, имеющих соответствующие функции, комбинируют и воплощают, как один набор с множеством функций.

Видеонабор 1300, представленный на фиг. 29, выполнен так, чтобы он был многофункциональным, как описано выше, путем комбинирования устройств, имеющих функции кодирования и декодирования (которые могут иметь любую одну или обе из функций) изображений, используя устройства, имеющие другие функции, родственные с представленными выше функциями.

Как представлено на фиг. 29, видеонабор 1300 имеет группу модулей, включающую в себя видеомодуль 1311, внешнее запоминающее устройство 1312, модуль 1313 администрирования питанием, модуль 1314 входной обработки и т.п., и устройства, имеющие соответствующие функции, такие как модуль 1321 соединения, камеру 1322, сенсор 1323 и т.п.

Модуль выполнен в форме компонента, в котором собраны несколько родственных составляющих функций для получения связанной функции. Конкретная физическая конфигурация является произвольной; однако, учитывается, что она представляет собой интегрирование, в котором, например, множество процессоров, каждый из которых имеет функции, элементов электронных схем, таких как резистор и конденсатор, и другие устройства расположены на печатной плате. Кроме того, при изготовлении нового модуля путем комбинирования модуля с другим модулем, также учитываются процессор и т.п.

В примере на фиг. 29 видеомодуль 1311 представляет собой комбинацию конфигураций с функциями, относящимися к обработке изображений, и имеет процессор приложения, видеопроцессор, широкополосный модем 1333 и RF модуль 1334.

Процессор представляет собой полупроводниковую микросхему, интегрированную с использованием конфигурации, имеющей заданную функцию, в которой используется система на кристалле (SoC), и которая также называется, например, системной большой интегральной схемой (LSI) и т.п. Конфигурация, имеющая, заданную функцию, может представлять собой логическую схему (аппаратную конфигурацию), может представлять собой, в дополнение к CPU, ROM и RAM, программу, которая выполняется, используя эти элементы (программная конфигурация), или может представлять собой комбинацию обеих конфигураций. Например, процессор может иметь логическую схему, CPU, ROM, RAM и т.п. и может реализовать некоторые функции с логической схемой (аппаратная конфигурация), или может реализовать другие функции с помощью программы, выполняемой CPU (программная конфигурация).

Процессор 1331 приложения на фиг. 29 представляет собой процессор, который выполняет приложение, относящееся к обработке изображений. Приложение, выполняемое процессором 1331 приложения, может не только выполнять арифметическую обработку, но также может управлять внутренней и внешней конфигурацией для видеомодуля 1311, например, видеопроцессора 1332, когда это необходимо, для реализации заданных функций.

Видеопроцессор 1332 представляет собой процессор, имеющий функцию, относящуюся к (одному или обоим из них) кодированию и декодированию изображений.

Широкополосный модем 1333 представляет собой процессор (или модуль), который выполняет обработку, относящуюся к проводной или беспроводной (или к обеим из них) широкополосной передачи данных, выполняемой через широкополосную линию, такую как Интернет, или сеть общественных телефонных линий. Например, широкополосный модем 1333 преобразует данные (цифровой сигнал), которые должны быть переданы в аналоговый сигнал, путем выполнения цифровой модуляции и т.п., или преобразует принятый аналоговый сигнал в данные (цифровой сигнал) путем выполнения демодуляции. Например, широкополосный модем 1333 может в цифровой форме модулировать/демодулировать произвольную информацию, такую как данные изображения, которые должны быть обработаны в видеопроцессоре 1332, поток, полученный путем кодирования данных изображения, программу приложения или данные установки.

RF модуль 1334 представляет собой модуль, который выполняет преобразование частоты, модуляцию и демодуляцию, усиление, обработку фильтрации и т.п. для радиочастотного (RF) сигнала, передаваемого и принимаемого через антенну. Например, RF модуль 1334 генерирует радиосигнал путем выполнения преобразования частоты и т.п. для сигнала в основной полосе пропускания, генерируемого широкополосным модемом 1333. Кроме того, RF модуль 1334, например, генерирует сигнал в основной полосе пропускания путем выполнения преобразования по частоте и т.п. для RF сигнала, принятого через модуль 1314 входной обработки.

Следует отметить, что, как обозначено пунктирной линией 1341 на фиг. 29, процессор 1331 приложения и видеопроцессор 1332 могут быть интегрированы так, что они составляют один процессор.

Внешняя память 1312 представляет собой модуль, который предусмотрен снаружи от видеомодуля 1311, имеющего устройство накопитель, используемое видеомодулем 1311. Устройство накопитель во внешней памяти 1312 может быть реализовано с использованием любой физической конфигурации, но обычно используется, когда сохраняют большие объемы данных, такие как данные изображения в модулях кадров, и, таким образом, желательно реализовать устройство накопитель с относительно недорогостоящей полупроводниковой памятью с высокой емкостью, например, в виде динамического оперативного запоминающего устройства (DRAM).

Модуль 1313 администрирования питанием администрирует и управляет подачей питания в видеомодуль 1311 (каждый составляющий элемент внутри видеомодуля 1311).

Модуль 1314 входной обработки представляет собой модуль, который обеспечивает для RF модуля 1334 функцию входной обработки (используется, как конечная схема передачи и приема на стороне антенны). Модуль 1314 входной обработки имеет, например, антенный модуль 1351, фильтр 1352 и модуль 1353 усиления, как представлено на фиг. 21.

Антенный модуль 1351 выполнен с антенной, которая передает и принимает беспроводные сигналы, и ее периферийными устройствами. Антенный модуль 1351 передает сигнал, подаваемый из модуля 1353 усиления, как RF сигнал, и подает принятый радиосигнал в фильтр 1352, как электрический сигнал (RF сигнал). Фильтр 1352 выполняет обработку фильтрации и т.п. для RF сигнала, принятого через антенный модуль 1351, и подает обработанный RF сигнал в RF модуль 1334. Модуль 1353 усиления усиливает RF сигнал, подаваемый из RF модуля 1334, и подает этот сигнал в антенный модуль 1351.

Модуль 1321 соединения представляет собой модуль, имеющий функцию, относящуюся к соединению с внешними устройствами. Физическая конфигурация модуля 1321 соединения является произвольной. Модуль 1321 соединения имеет, например, конфигурацию с функцией передачи данных других, чем в соответствии со стандартом передачи данных, которому соответствует широкополосный модем 1333, внешний разъем ввода и вывода и т.п.

Например, модуль 1321 соединения может иметь функцию соединения, которая основана на стандарте беспроводной передачи данных, таком как Bluetooth (зарегистрированный товарный знак), IEEE 802.11 (например, Wireless Fidelity (Wi-Fi; зарегистрированный товарный знак), передачи данных в ближнем поле (NFC) или посредством Ассоциации передачи данных в инфракрасном диапазоне (IrDA), антенну, которая передает и принимает сигналы на основе стандарта, и т.п. Кроме того, модуль 1321 соединения может иметь, например, модуль, имеющий функцию передачи данных на основе стандарта проводной передачи данных, такого как универсальная последовательная шина (usb), или мультимедийный интерфейс высокой четкости (HDMI; зарегистрированный товарный знак), или разъем на основе стандарта. Кроме того, модуль 1321 соединения может иметь, например, другую функцию передачи данных (сигнала), такую разъем аналогового входа и выхода, и т.п.

Следует отметить, что модуль 1321 соединения может быть установлен так, чтобы он включал в себя устройство, используемое, как место назначения передачи данных (сигнала). Например, модуль 1321 соединения может быть установлен так, чтобы он имел привод (включающий в себя привод не только съемного носителя информации, но также и жесткого диска, твердотельный привод (SSD), подключаемый по сети накопитель (NAS), и т.п.), который считывает данные с носителя записи и записывает данные на носитель записи, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство. Кроме того, модуль 1321 соединения может быть установлен так, чтобы он имел устройство вывода изображения или звука (монитор, громкоговоритель и т.п.).

Камера 1322 представляет собой модуль, имеющий функцию съемки субъекта и получения данных изображения субъекта. Данные изображения, получаемые при съемке с помощью камеры 1322, например, подают и кодируют с помощью видеопроцессора 1332.

Датчик 1323 представляет собой модуль, имеющий произвольные функции определения, такие, как, например, датчик звука, ультразвуковой датчик, датчик света, датчик освещенности, инфракрасный датчик, датчик изображения, датчик вращения, датчик угла, датчик угловой скорости, датчик скорости, датчик ускорения, датчик наклона, датчик магнитной идентификации, датчик ударов, датчик температуры и т.п. Данные, детектируемые датчиком 1323 подают, например, в процессор 1331 приложения и используются приложением и т.п.

Конфигурации, описанные выше как модули, могут быть реализованы как процессоры или, наоборот, конфигурации, описанные как процессоры, могут быть реализованы как модули.

В видеонаборе 1300, используя конфигурацию, описанную выше, настоящее раскрытие может применяться для видеопроцессора 1332, как будет описано ниже. Таким образом, видеонабор 1300 может быть воплощен, как набор, в котором применяется настоящее раскрытие.

Пример конфигурации видеопроцессора

На фиг. 30 иллюстрируется пример схематичной конфигурации видеопроцессора 1332 (фиг. 29), в котором применяется настоящее раскрытие.

В примере на фиг. 30 видеопроцессор 1332 имеет функцию приема входного видеосигнала и аудиосигнала и кодирования этих сигналов в заданной схеме, используя функцию декодирования кодируемых видеоданных и аудиоданных, и вывода видеосигнала и аудиосигнала для воспроизведения.

Как представлено на фиг. 30, видеопроцессор 1332 имеет модуль 1401 обработки входных видеоданных, первый модуль 1402 увеличения и уменьшения изображения, второй модуль 1403 увеличения и уменьшения изображения, модуль 1404 обработки выходных видеоданных, запоминающее устройство 1405 кадра и модуль 1406 управления памятью. Кроме того, видеопроцессор 1332 имеет механизм 1407 кодирования/декодирования, буферы 1408А и 1408В элементарного потока видеоданных (ES) и буферы 1409A и 1409B аудиоданных ES. Кроме того, видеопроцессор 1332 имеет аудиокодер 1410, аудиодекодер 1411, мультиплексор (MUX) 1412, демультиплексор (DMUX) 1413 и буфер 1414 потока.

Модуль 1401 обработки входных видеоданных получает видеосигнал, вводимый, например, из модуля 1321 соединения (фиг. 29), и преобразует этот сигнал в цифровые данные изображения. Первый модуль 1402 увеличения и уменьшения изображения выполняет преобразование формата, обработку увеличения или уменьшения изображения и т.п. для данных изображения. Второй модуль 1403 увеличения и уменьшения изображения выполняет обработку увеличения или уменьшения изображения для данных изображения, в соответствии с форматом назначения, в котором выводят данные через модуль 1404 обработки выходных видеоданных, или выполняет преобразование формата, обработку увеличения или уменьшения изображения и т.п. таким же образом, как и первый модуль 1402 увеличения и уменьшения изображения. Модуль 1404 обработки выходных видеоданных выполняет преобразование формата, преобразование в аналоговый сигнал и т.п. данных изображения и выводит эти данные, например, в модуль 1321 соединения (фиг. 29), как воспроизводимый видеосигнал.

Запоминающее устройство 1405 кадра представляет собой запоминающее устройство для данных изображения, совместно используемых модулем 1401 обработки входных видеоданных, первым модулем 1402 увеличения и уменьшения изображения, вторым модулем 1403 увеличения и уменьшения изображения, модулем 1404 обработки выходных видеоданных, и механизмом 1407 кодирования/декодирования. Запоминающее устройство 1405 кадра реализовано, как полупроводниковое запоминающее устройство, например, DRAM и т.п.

Модуль 1406 управления памятью принимает сигнал синхронизации из механизма 1407 кодирования/декодирования и управляет доступом к запоминающему устройству 1405 кадра для записи и считывания, в соответствии с планом доступа к запоминающему устройству 1405 кадра, который записан в таблице 1406A администрирования доступом. Таблица 1406A администрирования доступом обновляется модулем 1406 управления памятью, в соответствии с обработкой, выполняемой механизмом 1407 кодирования/декодирования, первым модулем 1402 увеличения и уменьшения изображения, вторым модулем 1403 увеличения и уменьшения изображения и т.п.

Механизм 1407 кодирования/декодирования выполняет обработку кодирования данных изображения и обработку декодирования видеопотока, который представляет собой данные, полученные в результате кодирования данных изображения. Например, механизм 1407 кодирования/декодирования кодирует данные изображения, считанные из запоминающего устройства 1405 кадра, и последовательно записывает данные в буфер ES видеоданных 1408A, как поток видеоданных. Кроме того, например, механизм 1407 кодирования/декодирования последовательно считывает видеопотоки из буфера 1408B видеоданных ES, и последовательно записывает эти данные в запоминающее устройство 1405 кадра как данные изображения. Механизм 1407 кодирования/декодирования использует запоминающее устройство 1405 кадра, как рабочую область для такого кодирования и декодирования. Кроме того, механизм 1407 кодирования/декодирования выводит сигнал синхронизации в модуль 1406 управления памятью в моменты времени, в которые, например, начинается обработка в каждом микроблоке.

Буфер 1408A ES видеоданных размещает в буфере поток видеоданных, генерируемый механизмом 1407 кодирования/декодирования, и подает этот поток в мультиплексор (MUX) 1412. Буфер 1408B видеоданных ES размещает в буфере поток видеоданных, подаваемых из демультиплексора (DMUX) 1413, и подает этот поток в механизм 1407 кодирования/декодирования.

Буфер 1409A аудиоданных ES размещает в буфере аудиопоток, генерируемый аудиокодером 1410, и подает этот поток в мультиплексор (MUX) 1412. Буфер 1409B аудиоданных ES размещает в буфере аудиопоток, подаваемый из демультиплексора (DMUX) 1413, и подает этот поток в аудио декодер 1411.

Аудиокодер 1410, например, преобразует в цифровую форму аудиосигнал, подаваемый, например, из модуля 1321 соединения (фиг. 29) и т.п., и кодирует этот сигнал в заданной схеме, например, в аудиосхеме MPEG, в схеме AudioCode номер 3 (АС3) и т.п. Аудиокодер 1410 последовательно записывает потоки аудиоданных, которые представляют собой данные, полученные в результате кодирования звуковых сигналов, в буфер 1409A ES аудиоданных. Аудиодекодер 1411 декодирует поток аудиоданных, подаваемый из буфера 1409B ES аудиоданных, выполняет преобразование в аналоговый сигнал, например, и подает этот сигнал, например, в модуль 1321 соединения (фиг. 29) и т.п., как воспроизводимый аудиосигнал.

Мультиплексор (MUX) 1412 мультиплексирует поток видеоданных и поток аудиоданных. Способ для такого мультиплексирования (то есть, формат потока битов, генерируемого в результате мультиплексирования), является произвольным. Кроме того, во время мультиплексирования, мультиплексор (MUX) 1412 также может добавить заданную информацию заголовка и т.п. к потоку битов. То есть, мультиплексор (MUX) 1412 может преобразовывать формат потока путем мультиплексирования. В результате мультиплексирования потока видеоданных и потока аудиоданных, например, мультиплексор (MUX) 1412 преобразует эти потоки в транспортный поток, который представляет собой поток битов в формате для транспортирования. Кроме того, путем мультиплексирования потока видеоданных и потока аудиоданных, например, мультиплексор (MUX) 1412 преобразует потоки в данные формата файла для записи (данные файла).

Демультиплексор (DMUX) 1413 демультиплексирует поток битов, полученный в результате мультиплексирования потока видеоданных и потока аудиоданных, используя способ, который соответствует мультиплексированию, выполняемому мультиплексором (MUX) 1412. То есть, демультиплексор (DMUX) 1413 выделяет поток видеоданных и поток аудиоданных из потока битов, считываемого из буфера 1414 потока (разделяет поток битов на поток видеоданных и поток аудиоданных). Демультиплексор (DMUX) 1413 может преобразовывать формат потока путем демультиплексирования (обратного преобразования для преобразования, выполняемого мультиплексором (MUX) 1412). Например, демультиплексор (DMUX), 1413 может получать транспортный поток, подаваемый, например, из модуля 1321 соединения, широкополосного модема 1333 и т.п. (все из которых представлены на фиг. 29) через буфер 1414 потока и преобразовывать этот поток в поток видеоданных и поток аудиоданных путем демультиплексирования. Кроме того, например, демультиплексор (DMUX) 1413 может получать данные файла, считываемые с различных носителей записи, используя, например, модуль 1321 соединения (фиг. 29) через буфер 1414 потока, и преобразовывать эти данные в поток видеоданных и поток аудиоданных путем демультиплексирования.

Буфер 1414 потока размещает в буфере потоки битов. Например, буфер 1414 потока размещает в буфере транспортный поток, подаваемый из мультиплексора (MUX) 1412, и подает этот поток, например, в модуль 1321 соединения, широкополосный модем 1333 (оба из которых показаны на фиг. 29) и т.п. в заданные моменты времени или на основе запроса, поступающего снаружи и т.п.

Кроме того, например, буфер 1414 потока размещает в буфере данные файла, подаваемые из мультиплексора (MUX) 1412, и подает эти данные, например, в модуль 1321 соединения (фиг. 29) и т.п. в заданные моменты времени или на основе запроса, поступающего снаружи, и т.п., для обеспечения записи данных на любом из различного рода носителей записи.

Кроме того, буфер 1414 потока размещает в буфере транспортный поток, полученный, например, через модуль 1321 соединения, широкополосный модем 1333 (оба из которых показаны на фиг. 29), и т.п., и подает этот поток в демультиплексор (DMUX) 1413 в заданные моменты времени или на основе запроса, поступающего снаружи, и т.п.

Кроме того, буфер 1414 потока размещает в буфере данные файла, считываемые из любого из различного рода носителей записи, например, через модуль 1321 соединения (фиг. 29) и т.п., и подает эти данные в демультиплексор (DMUX) 1413 в заданные моменты времени или на основе запроса, поступающего снаружи и т.п.

Далее будет описан пример операции видеопроцессора 1332, имеющего такую конфигурацию. Например, видеосигнал, поступающий в видеопроцессор 1332 из модуля 1321 соединения (фиг. 29) и т.п., преобразуется в цифровые данные изображения, в заданном формате, таком как формат YCbCr 4:2:2 в модуле 1401 обработки ввода видеоданных, и последовательно записывается в запоминающем устройстве 1405 кадра. Эти цифровые данные изображения считываются первым модулем 1402 увеличения и уменьшения изображения или вторым модулем 1403 увеличения и уменьшения изображения, для них выполняют преобразование формата и обработку увеличения или уменьшения в заданном формате, таком как формат YCbCr 4:2:0, и затем их снова записывают в запоминающее устройство 1405 кадра. Данные изображения кодируют, используя механизм 1407 кодирования/декодирования, и записывают в буфер 1408А видеоданных ES, как поток видеоданных.

Кроме того, аудиосигнал, поступающий в видеопроцессор 1332 из модуля 1321 соединения (фиг. 29), кодируют, используя аудиокодер 1410, и затем записывают в буфер 1409А аудиоданных ES, как поток аудиоданных.

Поток видеоданных из буфера 1408А видеоданных ES и поток аудиоданных из буфера 1409А аудиоданных ES считывают и мультиплексируют, используя мультиплексор (MUX) 1412 для преобразования в транспортный поток, данные файла и т.п. Транспортный поток, генерируемый мультиплексором (MUX) 1412, размещают в буфере, в буфере потока 1414, и затем выводят во внешнюю сеть через, например, модуль 1321 соединения, широкополосный модем 1333 (оба из которых представлены на фиг. 29) и т.п. Кроме того, данные файла, генерируемые мультиплексором (MUX) 1412, размещают в буфере, таком как буфер 1414 потока, и выводят, например, в модуль 1321 соединения (фиг. 29) для записи на любом из различных видов носителей записи.

Кроме того, транспортный поток, подаваемый в видеопроцессор 1332 из внешней сети через, например, модуль 1321 соединения, широкополосный модем 1333 (оба из которых показаны на фиг. 29) и т.п. помещают в буфер 1414 потока и затем демультиплексируют, используя демультиплексор (DMUX) 1413. Кроме того, например, данные файла, считанные из любого из различных видов носителей записи через модуль 1321 соединения (фиг. 29) и подаваемые в видеопроцессор 1332, размещают в буфере, в таком, как буфер 1414 потока, и затем демультиплексируют, используя демультиплексор (DMUX) 1413. То есть, транспортный поток или данные файла, подаваемые в видеопроцессор 1332, разделяют на поток видеоданных и поток аудиоданных, используя демультиплексор (DMUX) 1413.

Поток аудиоданных подают в аудиодекодер 1411 через буфер 1409B аудиоданных ES для декодирования, и воспроизводят аудиосигнал. Кроме того, поток видеоданных записывают в буфер 1408B видеоданных ES, затем последовательно считывают механизмом 1407 кодирования/декодирования для декодирования и записывают в запоминающее устройство 1405 кадра. Декодированные данные изображения подвергают обработке увеличения и уменьшения, используя второй модуль 1403 увеличения и уменьшения изображения, и записывают в запоминающее устройство 1405 кадра. Затем декодированные данные изображения считывают, используя модуль 1404 обработки выходных видеоданных, выполняют для них преобразование формата в заданный формат, такой как формат YCbCr 4:2:2, и затем дополнительно преобразуют в аналоговый сигнал, и видеосигнал воспроизводят для вывода.

Следует отметить, что механизм 1407 кодирования/декодирования, в соответствии с настоящим раскрытием (то есть, функции устройства кодирования изображения и устройства декодирования изображения, в соответствии с каждым вариантом осуществления, описанным выше) может быть реализован в форме аппаратных средств, таких как логическая схема, в форме программного обеспечения, таком как встроенная программное обеспечение, или в обеих этих формах.

6. Заключение

Сервер 11 содержания, в соответствии с вариантом осуществления настоящего раскрытия, описанным выше, передает информацию URL MPD в устройство 20 воспроизведения содержания, которое запросило воспроизведение содержания. В это время сервер 11 содержания передает информацию об URL MPD в устройство 20 воспроизведения содержания путем добавления параметра запроса, в котором обозначена информация определения, обеспечивающая добавление устройством 20 воспроизведения содержания параметра в конце URL MPD.

После получения MPD, устройство 20 воспроизведения содержания может обращаться к информации определения, обозначенной сервером 11 содержания, и добавлять параметр в URL сегмента содержания, обозначенного в MPD. Затем возможно предоставление содержания или перенаправление сервера 10 содержания, в соответствии с вариантом осуществления устройства 20 воспроизведения содержания, благодаря устройству 20 воспроизведения содержания, которое добавляет параметр.

Когда требуется добавить параметр, используя устройство 20 воспроизведения содержания, или параметр, который должен быть добавлен, желательно изменить, сервер 11 содержания, в соответствии с вариантом осуществления настоящего раскрытия, описанного выше, может обеспечивать добавление устройством 20 воспроизведения содержания соответствующего параметра, в соответствии с исполнительной средой устройства 20 воспроизведения содержания, без изменения MPD.

Также возможно сгенерировать компьютерную программу для выполнения функций, эквивалентных описанным выше элементам сервера 10 содержания и устройства 20 воспроизведения содержания в аппаратных средствах, таких как центральное процессорное устройство (CPU), ROM и оперативное запоминающее устройство (RAM), предусмотренных в сервере 10 содержания и в устройстве 20 воспроизведения содержания. Кроме того, также предусмотрен носитель информации, который содержит компьютерную программу.

Предпочтительные варианты осуществления настоящего раскрытия были описаны выше со ссылкой на приложенные чертежи, в то время, как настоящее раскрытие, конечно, не ограничено представленными выше примерами. Специалист в данной области техники может обнаружить различные изменения и модификации в пределах объема приложенной формулы изобретения, и при этом следует понимать, что все они, естественно, попадают в пределы технического объема настоящего раскрытия.

Кроме того, настоящая технология также может быть выполнена так, как представлено ниже.

(1). Устройство сервера, включающее в себя:

модуль накопителя, выполненный с возможностью сохранения определенного заданного определения для добавления параметра к адресу, определенному в информации доступа, для доступа к каждому из множества подсегментов, составляющих каждую часть кодированных данных, полученных путем кодирования того же содержания с разной скоростью передачи битов, или для доступа к каждому элементу, который должен быть получен путем запроса сервера, описанного в MPD; и

модуль передачи данных, выполненный с возможностью передачи инструкция для добавления параметра к адресу, определенному в информации доступа, на основе заданного определения, сохраненного в модуле накопителя.

(2). Устройство клиент, включающее в себя:

модуль накопителя, выполненный с возможностью сохранения заданного определения для добавления параметра к информации доступа для доступ к каждому из множества подсегментов, составляющих каждую часть кодированных данных, полученных путем кодирования одного и того же содержания с разной скоростью передачи битов, или для доступа к каждому элементу, который должен быть получен через запрос, передаваемый в сервер, описанный в MPD; и

модуль передачи данных, выполненный с возможностью доступа к адресу, определенному в информации доступа, путем добавления параметра к адресу на основе заданного определения, сохраненного в модуле сохранения.

(3). Способ распространения содержания, распределения содержания, включающий в себя:

этап сохранения заданного определения, для добавления параметра к адресу, определенному в информации доступа, для доступа к каждому из множества подсегментов, составляющих каждую часть кодированных данных, полученных путем кодирования одного и того же содержания с разной скоростью передачи битов, или для доступа к каждому элементу, который должен быть получен через запрос, передаваемый на сервер, описанный в MPD; и

этап передачи инструкции для добавления параметра к адресу, определенному в информации доступа, на основе заданного определения, сохраненного в модуле сохранения.

(4). Компьютерная программа, обеспечивающая выполнение компьютером:

этапа сохранения заданного определения для добавления параметра к адресу, определенному в информации доступа, для доступа к каждому из множества подсегментов, составляющих каждую часть кодированных данных, полученных путем кодирования одного и того же содержания с разной скоростью передачи битов, или для доступа к каждому элементу, который должен быть получен, путем запроса, передаваемого на сервер, описанного в MPD; и

этапа передачи инструкции для добавления параметра к адресу, определенному в информации доступа, на основе заданного определения, сохраненного в модуле сохранения.

Список номеров ссылочных позиций

10, 11 сервер содержания 12 сеть 20 устройство воспроизведения содержания 120 модуль генерирования файла 122 кодер 130 модуль накопителя 140 модуль передачи данных 220 модуль передачи данных 230 модуль накопителя 240 модуль воспроизведения 250 модуль выбора 260 модуль получения текущего положения 310 модуль накопителя 320 модуль передачи данных

Изобретение относится к области техники распределения содержания, в частности, используя протокол передачи гипертекста (HTTP) для передачи содержания и МР4 в отношении к кодированию, для сжатия содержания. Технический результат заключается в обеспечении поддержки вставки динамического параметра, который зависит от состояния устройства клиента, когда содержание распределяют в устройство клиент, используя технологию адаптивной скорости передачи битов (ABS), без изменения файла списка воспроизведения на стороне провайдера сетевых услуг. Предложен сервер, содержащий: модуль накопителя, выполненный с возможностью сохранения определенного заданного определения для добавления параметра к адресу, определенному в информации доступа, для доступа к каждому из множества подсегментов, составляющих каждую часть кодированных данных, полученных путем кодирования того же содержания с разной скоростью передачи битов, или для доступа к каждому элементу, который должен быть получен путем запроса сервера, описанного в файле списка воспроизведения (MPD); и модуль передачи данных, выполненный с возможностью передачи инструкции для добавления параметра к адресу, определенному в информации доступа, на основе заданного определения, сохраненного в модуле накопителя. 3 н. и 8 з.п. ф-лы, 30 ил.

1. Устройство сервера, содержащее:

схему, выполненную с возможностью:

генерировать унифицированный указатель ресурса (URL) путем добавления параметра URL, который хранит информации для доступа к описанию параметра, к URL описания представления мультимедийных данных (MPD),

передавать в устройство клиент сгенерированный URL;

передавать в устройство клиент MPD на основании запроса устройства клиента, сформированного на основании сгенерированного URL;

передавать описание параметра в устройство клиент на основании запроса устройства клиент, сформированного на основании информации для доступа к описанию параметра в переданном MPD; и

передавать необходимый сегмент содержания в устройство клиент без изменения MPD на основании полученного от устройства клиента URL сегмента, к которому был добавлен параметр URL, сгенерированного на основании описания параметра.

2. Устройство сервера по п. 1, в котором MPD включает информацию для доступа к каждому из множества сегментов содержания.

3. Устройство сервера по п. 1, в котором содержание представляет собой кодированные данные, полученные кодированием одинакового содержания с различной скоростью передачи битов.

4. Устройство сервера по п. 2, в котором информация для доступа к каждому из множества сегментов содержания включает информацию URL.

5. Устройство сервера по п. 1, в котором описание параметра, используется для добавления информации местоположения устройства клиента в URL для доступа к каждому из множества сегментов.

6. Способ доступа к содержанию, содержащий:

генерирование унифицированного указателя ресурса (URL) путем добавления параметра URL, который хранит информации для доступа к описанию параметра, к URL описания представления мультимедийных данных (MPD);

передачу в устройство клиент сгенерированного URL;

передачу в устройство клиент MPD на основании запроса устройства клиента, сформированного на основании сгенерированного URL;

передачу описания параметра в устройство клиент на основании запроса устройства клиент, сформированного на основании информации для доступа к описанию параметра в переданном MPD; и

передачу необходимого сегмента содержания в устройство клиент без изменения MPD на основании полученного от устройства клиента URL сегмента, к которому был добавлен параметр URL, сгенерированного на основании описания параметра.

7. Способ по п. 6, в котором MPD включает информацию для доступа к каждому из множества сегментов содержания.

8. Способ по п. 6, в котором содержание представляет собой кодированные данные, полученные кодированием одинакового содержания с различной скоростью передачи битов.

9. Способ по п. 8, в котором информация для доступа к каждому из множества сегментов содержания включает информацию URL.

10. Способ по п. 6, в котором описание параметра используется для добавления информации местоположения устройства клиента в URL для доступа к каждому из множества сегментов.

11. Постоянный считываемый компьютером носитель записи, содержащий записанную на нем программу, которая при выполнении компьютером побуждает этот компьютер выполнять способ по любому из пп. 6-10.