УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ЗАПРОСА СОДЕРЖАНИЯ И КОМПЬЮТЕРНАЯ ПРОГРАММА Российский патент 2021 года по МПК H04N21/437 H04N21/6587 

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству обработки информации, способу запроса содержания и компьютерной программе.

Уровень техники

В последние годы широко используются протокол передачи гипертекста (HTTP) для передачи содержания и формат MP4, который относится к кодированию со сжатием содержания. HTTP позволяет обеспечить не только загрузку содержания, но также и их потоковую передачу по Интернет. Потоковая передача HTTP также принята в стандартах сетевых сред передачи данных, таких как "Рекомендации DLNA" (2006) и "Открытый форум IPTV " (2009). Более того, MP4 (ISO/IEC-14496-12, 14) можно использовать не только в качестве формата хранения, но также, например, в качестве формата передачи для загрузки и потоковой передачи.

Что касается потоковой передачи, то известна технология потоковой передачи с адаптивной скоростью передачи битов (ABS), как описано ниже в непатентной литературе. Технология ABS представляет собой технологию, в которой множество частей кодированных данных, имеющих одинаковое содержание, отправляемое с различными скоростями передачи битов, хранится на сервере содержания для того, чтобы, клиент мог выбрать любую часть кодированных данных среди множества частей кодированных данных в соответствии с полосой пропускания сети и воспроизвести кодированные данные.

В случае нормальной потоковой передачи, когда полоса пропускания сети становится ниже скорости передачи битов, передача данных становится невозможной в связи с ограничением уровня электропотребления, и истощается буферизация данных по стороне клиента. В результате, клиент не может продолжить воспроизведение. Напротив, в технологии ABS данные воспроизведения переключаются на кодированные данные с низкой скоростью передачи битов том случае, когда полоса пропускания становится узкой. Таким образом, можно подавлять прерывания во время воспроизведения.

В рамках данной технологии ABS была предложена технология удаленного управления сетевой камерой на стороне клиента, которая описана ниже со ссылкой на непатентную литературу 2. В дополнение, в рамках технологии ABS была также предложена технология, описанная в непатентной литературе 3, предназначенная для выполнения перенаправления соответствующего изменения сервера, который служит в качестве места назначения распределения, когда на стороне сервера добавляется параметр, и клиент сохраняет параметр.

Перечень цитируемой литературы

Непатентная литература

Непатентная литература 1: MPEG-DASH (Dynamic Adaptive Streaming over HTTP) (URL: http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

Непатентная литература 2: m28017 DASH: Device/Server Specific Representation in MPD (CE-URLPARAM), MPEG#103, Geneva, 2013

Непатентная литература 3: m28354 Core Experiment on Parameters Insertion in Media Segment URL, MPEG#103, Geneva, 2013

Раскрытие изобретения

Техническая задача

Когда технология ABS используется в приложении, в котором клиент осуществляет удаленное управление устройством так, как при дистанционном управлении сетевой камерой, увеличивается количество информации, описанной в виде метаинформации, так как управление становится более детальным. В том случае, когда количество информации, описанной в виде метаинформации, увеличивается, ее способность к восстановлению, соответственно, ухудшается.

Таким образом, настоящее раскрытие позволяет выполнить новое и улучшенное устройство обработки информации, способ запроса содержания и компьютерную программу, в которой поддерживается ее работоспособность во избежание увеличения количества метаинформации в том случае, когда клиент осуществляет дистанционное управление устройством с использованием технологии ABS.

Решение технической задачи

Согласно настоящему раскрытию выполнено устройство обработки информации, включающее в себя: блок памяти, выполненный с возможностью хранения заданного определения для добавления параметра к информация о доступе для обеспечения доступа к каждому из множества подсегментов, образующих каждую часть кодированных данных, полученных посредством кодирования того же самого содержания с различной скоростью передачи битов, или для доступа к каждому элементу, который будет получен через запрос к серверу, описанный в MPD; и блок связи, выполненный с возможностью доступа к адресу, определенному в информации о доступе, путем назначения параметра на основании заданного определения, которое хранится в блоке памяти. Адрес, определенный в информации о доступе, представляет собой адрес для управления устройством, которое отображает содержание.

Согласно настоящему раскрытию выполнен способ запроса содержания, включающий в себя этапы, на которых: сохраняют заданное определение для добавления параметра к информация о доступе для обеспечения доступа к каждому из множества подсегментов, образующих каждую часть кодированных данных, полученных посредством кодирования того же самого содержания с различной скоростью передачи битов, или для доступа к каждому элементу, получаемому через запрос к серверу, описанный в MPD; и назначают параметр на основании заданного определения, хранящегося в блоке памяти, и обеспечения доступа к адресу, определенному в информации о доступе. Адрес, определенный в информации о доступе, представляет собой адрес для управления устройством, которое отображает содержание.

Согласно настоящему раскрытию выполнена компьютерная программа, вызывающая выполнение компьютером этапом, на которых: сохраняют заданное определение для добавления параметра к информация о доступе для обеспечения доступа к каждому из множества подсегментов, образующих каждую часть кодированных данных, полученных посредством кодирования того же самого содержания с различной скоростью передачи битов, или для доступа к каждому элементу, получаемому через запрос к серверу, описанному в MPD; и назначают параметр на основании заданного определения, хранящегося в блоке памяти, и обеспечивают доступ к адресу, определенному в информации о доступе. Адрес, определенный в информации о доступе, представляет собой адрес для управления устройством, которое отображает содержание.

Преимущественные эффекты изобретения

Согласно настоящему раскрытию, описанному выше, можно выполнить новое и улучшенное устройство обработки информации, способ запроса содержания и компьютерную программу с возможностью поддержки ее работоспособности во избежание увеличения количества метаинформации в случае, когда клиент осуществляет дистанционное управление устройством с использованием технологии ABS.

Краткое описание чертежей

На фиг. 1 показана наглядная схема, иллюстрирующая конфигурацию системы воспроизведения содержания согласно варианту осуществления настоящего раскрытия.

На фиг. 2 показана наглядная схема, иллюстрирующая поток данных в системе воспроизведения содержания согласно настоящему варианту осуществления.

На фиг. 3 показана наглядная схема, иллюстрирующая конкретный пример MPD.

На фиг. 4 показана функциональная схема, иллюстрирующая конфигурацию сервера 10 содержания согласно настоящему варианту осуществления.

На фиг. 5 показана функциональная схема, иллюстрирующая конфигурацию устройства 20 воспроизведения содержания согласно настоящему варианту осуществления.

На фиг. 6 показана функциональная схема, иллюстрирующая конфигурацию сервера 13 содержания согласно настоящему варианту осуществления.

На фиг. 7 представлена наглядная схема, показывающая содержание описания параметра.

На фиг. 8 представлена наглядная схема, показывающая содержание описания параметра.

На фиг. 9 представлена наглядная схема, показывающая пример MPD, который относится к описанию параметра.

На фиг. 10A показана блок-схема последовательности операций, показывающая пример работы системы воспроизведения содержания согласно варианту осуществления настоящего раскрытия.

На фиг. 10B показана блок-схема последовательности операций, показывающая пример работы системы воспроизведения содержания согласно варианту осуществления настоящего раскрытия.

На фиг. 11 показана блок-схема, иллюстрирующая пример аппаратной конфигурации компьютера.

На фиг. 12 показана схема, иллюстрирующая пример схемы кодирования многопроекционного изображения.

На фиг. 13 показана схема, иллюстрирующая пример конфигурации устройства кодирования многопроекционного изображения, к которому применимо настоящее изобретение.

На фиг. 14 показана схема, иллюстрирующая пример конфигурации декодера многопроекционного изображения, к которому применимо настоящее изобретение.

На фиг. 15 показана схема, иллюстрирующая пример схемы кодирования иерархического изображения.

На фиг. 16 показана схема для описания примера кодирования с пространственным масштабированием.

На фиг. 17 показана схема для описания примера кодирования с временным масштабированием.

На фиг. 18 показана схема для описания примера кодирования с масштабированием отношения сигнал/шум.

На фиг. 19 показана схема, иллюстрирующая пример конфигурации устройства кодирования иерархического изображения, к которому применимо настоящее изобретение.

На фиг. 20 показана схема, иллюстрирующая пример конфигурации декодера иерархического изображения, к которому применимо настоящее изобретение.

На фиг. 21 показана схема, иллюстрирующая пример схематичной конфигурации телевизионного устройства, к которому применимо настоящее изобретение.

На фиг. 22 показана схема, иллюстрирующая пример схематичной конфигурации мобильного телефона, к которому применимо настоящее изобретение.

На фиг. 23 показана схема, иллюстрирующая пример схематичной конфигурации устройства записи и воспроизведения, к которому применимо настоящее изобретение.

На фиг. 24 показана схема, иллюстрирующая пример схематичной конфигурации устройства формирования изображения, к которому применимо настоящее изобретение.

На фиг. 25 показана блок-схема, иллюстрирующая пример использования кодирования с масштабированием.

На фиг. 26 показана блок-схема, иллюстрирующая другой пример использования кодирования с масштабированием.

На фиг. 27 показана блок-схема, иллюстрирующая еще один пример использования кодирования с масштабированием.

Фиг. 28 иллюстрирует пример схематичной конфигурации видеосистемы, к которой применимо настоящее изобретение.

Фиг. 29 иллюстрирует пример схематичной конфигурации видеопроцессора, к которому применимо настоящее изобретение.

Осуществление изобретения

Далее, со ссылкой на прилагаемые чертежи, будут подробно описаны предпочтительные варианты осуществления настоящего изобретения. Следует отметить, что в данном описании и на чертежах элементы, которые имеют по существу одинаковые функциональное назначение и конструкцию, обозначены одинаковыми ссылочными позициями, и их повторное описание будет опущено.

Более того, в этом описании и на чертежах множество элементов, которые имеют по существу одинаковые функциональное назначение и конструкцию, можно различить путем использования различных буквенных обозначений после одинаковых ссылочных позиций. Например, множество элементов, которые имеют по существу одинаковые функциональное назначение и конструкцию или логическое назначение различаются при необходимости так, как устройства 20А, 20B и 20C воспроизведения содержания. Однако, если нет необходимости различать каждый из множества элементов, которые имеют по существу одинаковые функциональное назначение и конструкцию, используется только один и тот же ссылочный знак. Например, если нет необходимости, в частности, различать устройства 20А, 20B и 20C воспроизведения содержания, то устройства воспроизведения содержания упоминаются просто как устройства 20 воспроизведения содержания.

Более того, описание настоящего раскрытия будет представлено ниже в следующем порядке.

1. Обзор системы воспроизведения содержания

2. Конфигурация сервера 10 содержания

3. Конфигурация устройства 20 воспроизведения содержания

4. Конфигурация сервера 13 содержания

5. Конфигурация MPD

6. Заключение

1. Обзор системы воспроизведения содержания

Сначала будет описана система воспроизведения содержания, схематично показанная на фиг. 1 - фиг. 3, согласно варианту осуществления настоящего раскрытия.

Далее, со ссылкой на фиг. 1 и фиг. 2, будет описана базовая конфигурация, которая является общей для каждого варианта осуществления.

На фиг. 1 показана наглядная схема, иллюстрирующая конфигурацию системы воспроизведения содержания согласно варианту осуществления настоящего раскрытия. Как показано на фиг. 1, система воспроизведения содержания согласно варианту осуществления настоящего раскрытия включает в себя серверы 10 и 13 содержания, сетевая камера 11, сеть 12 и устройства 20 воспроизведения содержания (клиентские устройства).

Сервер 10 содержания и устройства 20 воспроизведения содержания соединены через сеть 12. Сеть 12 представляет собой проводной или беспроводной канал передачи информации, передаваемой из устройства, подключенного к сети 12.

Например, сеть 12 может включать в себя сети общего пользования, такие как Интернет, телефонная сеть и сеть спутниковой связи, различные виды локальных сетей (LAN), включая Ethernet (зарегистрированный торговый знак) и региональную вычислительную сеть (WAN), например. Более того, сеть 12 может включать в себя выделенную сеть, такую как виртуальная частная сеть на основе Интернет-протокола (VPN IP).

Сервер 10 содержания кодирует данные содержания и генерирует и сохраняет файл данных, включающий в себя кодированные данные и метаинформацию кодированных данных. Следует отметить, что, когда сервер 10 содержания генерирует файл данных в формате MP4, кодированные данные соответствуют "mdat", и метаинформация соответствует "moov".

Более того, данные содержания могут представлять собой музыкальные данные, такие как музыка, лекции и радиопередачи, данные изображения, такие как фильмы, телевизионные программы, видео программы, картинки, документы, чертежи, схемы, игры и программное обеспечение, например. В дополнение, данные содержания могут представлять собой видео, захваченное сетевой камерой 11. Сервер 10 содержания может управлять сетевой камерой 11 согласно запросу, поступающему из устройства 20 воспроизведения содержания.

В данном случае, сервер 10 содержания согласно настоящему варианту осуществления генерирует множество файлов данных с различными скоростями передачи битов, которые относятся к одному и тому же содержанию. В дополнение, сервер 13 содержания согласно настоящему варианту осуществления передает информацию URL сервера 10 содержания, включая информацию параметра, которая должна быть добавлена в URL с помощью устройств 20 воспроизведения содержания в устройства 20 воспроизведения содержания в ответ на запрос воспроизводить содержание из устройства 20 воспроизведения содержания. Этот аспект будет подробно описан ниже со ссылкой на фиг. 2.

На фиг. 2 показана наглядная схема, иллюстрирующая поток данных в системе воспроизведения содержания согласно настоящему варианту осуществления. Сервер 10 содержания кодирует одинаковые данные содержания с различными скоростями передачи битов и генерирует файл A со скоростью передачи битов 2 Мбит/с, файл B со скоростью передачи битов 1,5 Мбит/с и файл C со скоростью передачи битов1 Мбит/с, например, как показано на фиг. 2. По отношению друг к другу, файл A имеет высокую скорость передачи битов, файл B имеет стандартную скорость передачи битов, и файл C имеет низкую скорость передачи битов.

Более того, как показано на фиг. 2, кодированные данные каждого файла разделены на множество сегментов. Например, кодированные данные файла разделены на сегменты "A1", "A2", "A3"... и "An". Кодированные данные файла B разделены на сегменты "B1", "B2", "B3"... и "Bn". Кодированные данные файла C разделены на сегменты "C1", "C2", "C3"... и "Cn".

Следует отметить, что каждый сегмент может быть образован с помощью конфигурационных выборок из одного, или двух или более частей кодированных видеоданных и кодированных звуковых данных, которые начинаются с синхронизации выборки MP4 (IDR-изображения при видеокодировании AVC/H.264) и можно воспроизвести независимым образом. Например, когда видеоданные кодируются со скоростью 30 кадров в секунду в группе изображений (GOP) с фиксированной длиной 15 кадров, каждый сегмент может представлять собой двухсекундное видео и звуковые кодированные данные, соответствующие 4 GOP, или 10-секундное видео и звуковые кодированные данные, соответствующие 20 GOP.

Более того, диапазон воспроизведения (диапазон временной позиции от заголовка содержания) с помощью сегмента с одинаковым порядком размещения в каждом файле является одинаковым. Например, диапазоны воспроизведения сегмента "A2", сегмента "B2" и сегмента "C2" являются одинаковыми, и когда каждый сегмент представляет собой двухсекундные кодированные данные, диапазон воспроизведения любого из сегмента "A2", сегмента "B2" и сегмента "C2" составляет две секунды – четыре секунды содержания.

Сервер 10 содержания генерирует файл A – файл C, образованные с помощью такого множества сегментов, и сохраняет файл A – файл C. Затем сервер 10 содержания последовательно передает сегменты, образующие различные файлы в устройство 20 воспроизведения содержания, как показано на фиг. 2, и устройство 20 воспроизведения содержания воспроизводит принятые сегменты в режиме потоковой передачи.

В данном случае, сервер 10 содержания согласно настоящему варианту осуществления передает файл списка воспроизведения (который в дальнейшем упоминается как дескриптор представления мультимедиа (MPD)), включающий в себя информацию о скорости передачи битов и информацию доступа обо всех кодированных данных в устройство 20 воспроизведения содержания. На основании MPD устройство 20 воспроизведения содержания выбирает любую скорость передачи битов среди множества скоростей передачи битов и передает запрос в сервер 10 содержания для передачи сегмента, соответствующего выбранной скорости передачи битов.

Хотя на фиг. 1 показан только один сервер 10, само собой разумеется, что настоящее раскрытие не ограничивается им.

На фиг. 3 показана наглядная схема, иллюстрирующая конкретный пример MPD. Как показано на фиг. 3, MPD включает в себя информацию о доступе, которая относится к множеству кодированных данных, имеющих различные скорости передачи битов (полосу пропускания). Например, MPD, показанный на фиг. 3, показывает наличие кодированных данных 256 Кбит/с, 1,024 Мбит/с, 1,384 Мбит/с, 1,536 Мбит/с и 2,048 Мбит/с и включает в себя информацию о доступе, которую относится к каждым кодированным данным. Устройство 20 воспроизведения содержания динамически изменяет скорость передачи битов кодированных данных, которые будут воспроизводиться в режиме потоковой передачи на основании такого MPD.

Следует отметить, что хотя фиг. 1 иллюстрирует мобильный терминал в качестве примера устройства 20 воспроизведения содержания, устройство 20 воспроизведения содержания не ограничивается таким примером. Например, устройство 20 воспроизведения содержания представлять собой устройство обработки информации, такое как персональный компьютер (PC), бытовой процессор изображений (DVD-видеомагнитофон, видео приставка и т.д.), персональный цифровой помощник (PDA), бытовая игровая машина и бытовой электроприбор. Более того, устройство 20 воспроизведения содержания может представлять собой устройство обработки информации, такое как сотовый телефон, персональная система портативного телефона (PHS), портативное устройство для воспроизведения музыки, портативный процессор для обработки изображений и портативная игровая вычислительная машина.

2. Конфигурация сервера 10 содержания

Выше, со ссылкой на фиг. 1 - фиг. 3, была описана система воспроизведения содержания согласно варианту осуществления настоящего раскрытия. Далее, со ссылкой на фиг. 4, будет описана конфигурация сервера 10 содержания согласно настоящему варианту осуществления.

На фиг. 4 показана функциональная схема, иллюстрирующая конфигурацию сервера 10 содержания согласно настоящему варианту осуществления. Как показано на фиг. 4, сервер 10 содержания согласно настоящему варианту осуществления включает в себя блок 120 генерирования файлов, блок 130 памяти и блок 140 связи.

Блок 120 генерирования файлов включает в себя кодер 122, который кодирует данные содержания и генерирует множество частей кодированных данных, имеющих одинаковые содержания с различными скоростями передачи битов и вышеописанный MPD. Например, после генерирования кодированных данных 256 Кбит/с, 1,024 Мбит/с, 1,384 Мбит/с, 1,536 Мбит/с и 2,048 Мбит/с, блок 120 генерирования файлов генерирует MPD, показанный на фиг. 3.

Блок 130 памяти хранит множество кодированных данных с различными скоростями передачи битов и MPD, которые генерируются с помощью блока 120 генерирования файлов. Блок 130 памяти может представлять собой носитель информации, такой как энергонезависимая память, магнитный диск, оптический диск и магнитооптический диск (MO). В качестве примера энергонезависимой памяти показана электрически-стираемое программируемое постоянное запоминающее устройство (EEPROM) и стираемое программируемое постоянное запоминающее устройство (EPROM). Более того, в качестве примера магнитного диска представлены жесткий диск и магнитный диск в форме диска. Более того, в качестве примера оптического диска представлены компакт-диск (CD), записывающий цифровой универсальный диск (DVD-R) и диск Blu-ray (BD) (зарегистрированный торговый знак).

Блок 140 связи представляет собой интерфейс с устройством 20 воспроизведения содержания и выполняет связь с устройством 20 воспроизведения содержания через сеть 12. Чтобы быть конкретным, блок 140 связи имеет функцию как сервер HTTP, который выполняет связь с устройством 20 воспроизведения содержания в соответствии с HTTP. Например, блок 140 связи передает MPD в устройство 20 воспроизведения содержания, извлекает из блока 130 памяти, кодированные данные, запрошенные на основании MPD устройством 20 воспроизведения содержания в соответствии с HTTP и передает кодированные данные в устройство 20 воспроизведения содержания в качестве ответа HTTP.

3. Конфигурация устройства 20 воспроизведения содержания

Выше была описана конфигурация сервера 10 содержания согласно настоящему варианту осуществления. Далее, со ссылкой на фиг. 5, будет описана конфигурация устройства 20 воспроизведения содержания согласно настоящему варианту осуществления.

На фиг. 5 показана функциональная схема, иллюстрирующая конфигурацию устройства 20 воспроизведения содержания согласно настоящему варианту осуществления. Как показано на фиг. 5, устройство 20 воспроизведения содержания согласно настоящему варианту осуществления включает в себя блок 220 связи, блок 230 памяти, блок 240 воспроизведения и блок 250 выбора.

Блок 220 связи (блок связи) представляет собой интерфейс с сервером 10 содержания и запрашивает данные из сервера 10 содержания и получает данные из сервера 10 содержания. Чтобы быть конкретным, блок 220 связи имеет функцию как клиент HTTP, который выполняет связь с устройством 20 воспроизведения содержания в соответствии с HTTP. Например, блок 220 связи использует диапазон HTTP и, таким образом, может избирательно получать MPD или сегмент кодированных данных из сервера 10 содержания.

Блок 230 памяти хранит различные типы информации, относящиеся к воспроизведению содержания. Например, блок 230 памяти последовательно буферизирует сегменты, полученные с помощью блока 220 связи из сервера 10 содержания. Сегменты кодированных данных, буферизованных блоком 230 памяти, последовательно подаются в блок 240 воспроизведения, который работает по принципу "первый вошел - первый вышел" (FIFO).

В дополнение, блок 230 памяти сохраняет информацию определения для получения видео, захваченного с помощью сетевой камеры 11, путем инструктирования сетевой камеры 11 относительно направления и увеличения. Информация определения, удерживаемая блоком 230 памяти, будет подробно описана ниже.

Блок 240 воспроизведения последовательно воспроизводит сегменты, поданные из блока 230 памяти. Более конкретно, блок 240 воспроизведения выполняет, например, декодирование, цифро-аналоговое преобразование и рендеринг (визуальное представление) сегментов.

Блок 250 выбора последовательно выбирает одинаковые содержания, сегменты кодированных данных, соответствующих некоторым скоростям передачи битов, включенным в MPD, которые должны быть получены. Например, когда блок 250 выбора последовательно выбирает сегменты "A1", "B2" и "A3" в соответствии с полосой пропускания сети 12, блок 220 связи последовательно получает сегменты "A1", "B2" и "A3" из сервера 10 содержания, как показано на фиг. 2.

Устройство 20 воспроизведения содержания согласно настоящему варианту осуществления управляет сетевой камерой 11 для получения видео, захваченного сетевой камерой 11 с назначенного направления или с помощью назначенного увеличения из сервера 10 содержания. Затем устройство 20 воспроизведения содержания использует технологию ABS, раскрытую в непатентной литературе 1, при управлении сетевой камерой 11.

4. Конфигурация сервера 13 содержания

На фиг. 6 показана наглядная схема, иллюстрирующая пример конфигурации сервера 13 содержания. Как показано на фиг. 6, сервер 13 содержания согласно настоящему варианту осуществления имеет блок 310 хранения и блок 320 связи.

Блок 310 хранения хранит информацию URL MPD. Информация URL MPD передается из сервера 13 содержания в устройство 20 воспроизведения содержания в ответ на запрос из устройства 20 воспроизведения содержания для воспроизведения содержания. В дополнение, при предоставлении информации об URL MPD в устройство 20 воспроизведения содержания блок 310 хранения сохраняет информацию определения для добавления параметра в URL, описанный в MPD устройством 20 воспроизведения содержания.

Блок 320 связи представляет собой интерфейс с устройством 20 воспроизведения содержания для поддержания связи с устройством 20 воспроизведения содержания через сеть 12. То есть блок 320 связи принимает запрос для информации об URL MPD из устройства 20 воспроизведения содержания, которое посылает запрос о воспроизведении содержания и передает информацию об URL MPD в устройство 20 воспроизведения содержания. URL MPD, переданный из блока 320 связи, включает в себя информацию для добавления параметра с помощью устройства 20 воспроизведения содержания.

Параметр, который будет добавляться в URL MPD с помощью устройства 20 воспроизведения содержания, можно установить различным образом с помощью информации определения, совместно используемой сервером 13 содержания и устройством 20 воспроизведения содержания. В качестве примера, информация, так как текущее положение устройства 20 воспроизведения содержания, ID пользователя, который использует устройство 20 воспроизведения содержания, емкость памяти устройства 20 воспроизведения содержания, ёмкость запоминающего устройства 20 воспроизведения содержания и т.п., можно добавить URL MPD с помощью устройства 20 воспроизведения содержания.

4. Конфигурация MPD

Далее будет описана конфигурация MPD согласно настоящему варианту осуществления изобретения. В непатентной литературе 2, описанной выше, предложен способ назначения атрибута угла панорамирования "pan_range", атрибута угла наклона "tilt_range" и атрибута увеличения масштаба изображения "zoom_range" в элементе "SegmentTemplate", содержание которого раскрыто в Разделе 5.3.9.4.2 непатентной литературы 1, описанной выше, для того, чтобы управлять сетевой камерой относительно клиента.

Однако, когда такие параметры назначены в MPD, как описано выше, количество содержания MPD становится больше, так как управление сетевой камерой становится более детальным. Когда количество информации, описанной в MPD, становится больше, восстанавливаемость MPD, соответственно, ухудшается.

Таким образом, в настоящем варианте осуществления, вместо добавления атрибутов "pan_range", "tilt_range", "zoom_range" в элемент "SegmentTemplate", содержание которого раскрыто в Разделе 5.3.9.4.2 непатентной литературы 1, описанной выше, добавлен только атрибут "pd". Атрибут "pd" представляет собой атрибут для назначения одного или более URI информации определения для управления сетевой камерой 11. Информация определения, назначенная атрибутом "pd" элемента "SegmentTemplate", также упоминается как описание параметра. Описание параметра можно представить, например, на языке описания веб-приложения (WADL, http://www.w3.org/Submission/wadl/), на языке описания Веб-служб (WSDL, http://www.ibm.com/developerworks/webservices/library/ws-restwsdl/) или на другом языке описания Веб-приложения. Информацию определения можно хранить в блоке 310 хранения или блоке 230 памяти. Когда описание параметра хранится как в блоке 310 хранения, так и в блоке 230 памяти, следует предполагать, что содержание блоков памяти синхронизировано, то есть, содержание обоих блоков памяти поддерживается одинаковым.

Ниже будет описан пример, в котором URL для получения видео, захваченного сетевой камерой 11, описывается как "http://cdn1.example.com/camera1/" в MPD, назначается как "schemeIdUri=’urn:PanAngleDef’" в элементе "EssentialProperty" тега <AdaptationSEt> MPD и назначается как "urn:PanAngleDef" в качестве описания параметра в атрибуте "pd" элемента "SegmentTemplate".

На фиг. 7 представлена наглядная схема, показывающая содержание "urn:PanAngleDef", которая представляет собой описание параметра, упомянутое выше. Это описание параметра представляет собой информацию определения для назначения угла панорамирования сетевой камеры 11.

Тег <resource> представляет собой тег для назначения позиции видео, захваченного сетевой камерой 11, и позиция описывается в элементе "path". В примере, показанном на фиг. 6, он описан как "pan-{degree}". Путем установки значения на "degree" и отправки запроса в сервер 10 содержания, устройство 20 воспроизведения содержания может назначить угол панорамирования сетевой камеры 11.

На участке, который содержит в себе тег <param>, описывается содержание определения описания параметра.

Элемент "name" обозначает название параметра для управления сетевой камерой 11 из устройства 20 воспроизведения содержания. В элементе "name" из примера, показанного на фиг. 7, назначается параметр "degree" для назначения угла панорамирования сетевой камеры 11.

Элемент "required" предусматривает, требуется или нет описание параметра запроса в устройстве 20 воспроизведения содержания. В примере, показанном на фиг. 7, "true" назначается в элементе "required", который указывает на то, что требуется описание этого параметра.

Элемент "style" назначает форму параметра, который будет добавляться в URL MPD устройством 20 воспроизведения содержания. Форма параметра включает в себя параметр запроса, шаблон и т.п. В примере, показанном на фиг. 7, "template" назначается в элементе "style", который указывает на то, что параметр описывается устройством 20 воспроизведения содержания в виде шаблона.

На участке, который содержит в себе тег <doc>, описывается информация относящаяся к описанию параметра. Описание параметра (фиг. 7) представляет собой детали, относящиеся к параметру "degree", который указывает назначение максимального значения, минимального значения и значения приращения угла панорамирования.

Устройство 20 воспроизведения содержания добавляет параметр на основании содержания, показанного на фиг. 7. Например, при запросе видео, захваченного с направления, угол панорамирования которого составляет 40 градусов, устройство 20 воспроизведения содержания назначает URL "http://cdn1.example.com/camera1/pan-40" и осуществляет доступ к URL из блока 220 связи. Сервер 10 содержания может назначать угол панорамирования сетевой камеры 11, равный 40 градусам, на основании запроса, сделанного из устройства 20 воспроизведения содержания и передать видео, захваченное сетевой камерой 11, в устройство 20 воспроизведения содержания.

Ниже представлен другой пример. Ниже будет описан пример, в котором URL для получения видео, захваченного сетевой камерой 11, описывается как "http://cdn1.example.com/camera1/" в MPD, назначается как "schemeIdUri=’urn:ZoomScaleDef’" в элементе "EssentialProperty" тега <AdaptationSet> MPD и назначается как "urn:ZoomScaleDef" в качестве описания параметра в атрибуте "pd" элемента "SegmentTemplate".

На фиг. 8 представлена наглядная схема, показывающая содержание "urn:ZoomScaleDef", которое представляет собой описание параметра, упомянутого выше. Это описание параметра представляет собой информацию определения для назначения увеличения масштаба сетевой камеры 11.

Например, при запросе видео с помощью увеличения масштаба в 3 раза, устройство 20 воспроизведения содержания назначает URL как "http://cdn1.example.com/camera1/zoom-3" и осуществляет доступ к URL из блока 220 связи. Сервер 10 содержания может назначить увеличение масштаба сетевой камеры 11 в 3 раза на основании запроса из устройства 20 воспроизведения содержания, и передавать видео, захваченное сетевой камерой 11 в устройство 20 воспроизведения содержания.

На фиг. 9 представлена наглядная схема, показывающая пример MPD, выполненного с возможностью обращения к описанию параметра, описанного выше. В непатентной литературе 3, описанной выше, предложено ввести элемент "parameter", который назначает имя параметра, который будет использоваться в качестве шаблона ("angle" в примере, показанном фиг. 9) для атрибута id элемента "parameter", и относящийся к "EssentialProperty" (элемент которого назначает дескриптор, который будет поддерживаться в целевом MPD) для атрибута "descriptorId". Однако в непатентной литературе 2 не предложено следующее определение.

В данном случае, следующее определение, использующее вышеописанное описание параметра, представляет собой MPD, показанный на фиг. 9. "urn:PanAngleDef", который назначается в элементе "schemeIdUri", представляет собой описание параметра, показанное на фиг. 7. Путем определения MPD, как описано выше, устройство 20 воспроизведения содержания может получить доступ к адресу "http://cdn1.example.com/camera1/pan-40" и получить содержание. Используя стандартную схему описания в описании параметра, можно использовать существующий стандартный подход, и, таким образом, облегчается добавление функции, такой как подписание URL.

Ряд процессов, описанных выше, будет описан более подробно. На фиг. 10А и 10B показаны блок-схемы последовательностей операций, подробно показывающих вышеописанный ряд процессов. Блок-схемы последовательностей операций, представленные на фиг. 10А и 10B, показывают последовательностей операций, в которой информация о URL MPD передается из сервера 13 содержания в устройство 20 воспроизведения содержания, и устройство 20 воспроизведения содержания получает содержание из сетевой камеры 11 на основании URL MPD для воспроизведения видео, захваченного сетевой камерой 11.

Когда устройства 20 воспроизведения содержания пытается воспроизвести содержание, с использованием блока 240 воспроизведения, устройство 20 воспроизведения содержания сначала получает URL MPD из сервера 11 содержания (этап S101). Получение на этапе S101 выполняется, например, с помощью блока 240 воспроизведения через блок 220 связи. После получения URL MPD из сервера 13 содержания устройство 20 воспроизведения содержания определяет, то это или нет MPD, которое содержит ссылку на параметр URL (этап S102). Это определение на этапе S102 можно выполнить с помощью блока 240 воспроизведения. MPD, который содержит ссылку на параметр URL, к относится к MPD, который включает в себя параметр, например, "urn:PanAngleDef", показанный на фиг. 9.

Когда на этапе S102 определяется, что URL MPD, полученный на этапе S101, не является MPD, который содержит ссылку на параметр URL, устройство 20 воспроизведения содержания запрашивает URL MPD в соответствии с http из сервера 13 содержания (этап S103). Запрос на этапе S103 исполняется, например, блоком 240 воспроизведения с использованием блока 220 связи. Когда в вышеописанном примере устройство 20 воспроизведения содержания получает только URL "http://a.com/x.mpd", например, устройство 20 воспроизведения содержания запрашивает "http://a.com/x.mpd" из сервера 13 содержания в виде http-запроса.

Сервер 13 содержания, который принял запрос для URL MPD из устройства 20 воспроизведения содержания, принимает решение относительно информации состояния, что сервер желает получить из устройства 20 воспроизведения содержания, например, информацию об угле сетевой камеры 11 в вышеописанном примере, и запрашивает соответствующее описание параметра с использованием блока 310 хранения (этап S104). Блок 310 хранения предоставляет ответ с URI соответствующего описания параметра (этап S105). Применяя этот процесс к вышеописанному примеру, блок 310 хранения предоставляет ответ с URI "urn: PanAngleDef" согласно запросу, полученному из сервера 10 содержания.

Сервер 10 содержания, который принял ответ из блока 310 хранения, помещает URI (urn:PanAngleDef) описания параметра в MPD. В дополнение, сервер 10 содержания обновляет MPD путем добавления атрибута "pd" элемента "SgmentTemplate" (например, предположительно y.mpd) и предоставляет ответ устройству 20 воспроизведения содержания с URL (http://a.com/y.mpd) MPD, показывающего обновленное MPD в соответствии с http-response-redirect (этап S106).

Устройство 20 воспроизведения содержания, которое приняло ответ из сервера 13 содержания, запрашивает URL с обновленным MPD из сервера 10 содержания в соответствии с http (этап S107). Согласно примеру, описанному выше, устройство 20 воспроизведения содержания запрашивает URL MPD "http://a.com/y.mpd" из сервера 10 содержания в виде http-запроса.

Сервер 10 содержания, который принял запрос из устройства 20 воспроизведения содержания, предоставляет ответ в устройство 20 воспроизведения содержания с основным телом MPD (этап S108).

Когда основное тело MPD передается из сервера 10 содержания (или находится посредством определения на этапе S102, что оно представляет собой MPD, который содержит ссылку на параметр URL, полученный на этапе S101), устройство 20 воспроизведения содержания, в которое было передано основное тело MPD из сервера 10 содержания, интерпретирует переданный MPD (этап S109). Интерпретация MPD на этапе S109 может быть исполнена, например, блоком 240 воспроизведения. Устройство 20 воспроизведения содержания интерпретирует MPD, переданное из сервера 10 содержания, и принимает решение относительно "AdaptationSet" или "Representation/SubRepresentation" в качестве цели воспроизведения.

После принятия решения относительно "AdaptationSet" или "Representation/SubRepresentation" в качестве цели воспроизведения посредством интерпретации MPD, устройство 20 воспроизведения содержания выполняет процесс обнаружения по отношению к цели воспроизведения (этап S110). Процесс обнаружения на этапе S110 выполняется, например, блоком 240 воспроизведения. В частности, устройство 20 воспроизведения содержания обнаруживает, имеет ли "AdaptationSet" или "Representation/SubRepresentation" "EssentialProperty", назначила ли команда "EssentialProperty" значение атрибута "schemeIdUri" (например, urn: PanAngleDef), и необходима ли интерпретация описания параметра, который будет относиться к URI, назначенного в атрибуте "schemeIdUri" для процесса воспроизведения. В дополнение, устройство 20 воспроизведения содержания обнаруживает, стал ли URI URI с признаком вставки параметра URL.

При выполнении процесса обнаружения в отношении цели воспроизведения устройство 20 воспроизведения содержания затем сохраняет URI (этап S111). В частности, устройство 20 воспроизведения содержания сохраняет URI (urn:PanAngleDef), назначенный в атрибуте "pd" элемента "SegmentTemplate". Этот процесс сохранения URI выполняется, например, блоком 240 воспроизведения.

После того, сохранения URI на этапе S111, устройство 20 воспроизведения содержания запрашивает описание параметра в блоке 310 хранения с использованием URI (например, urn: PanAngleDef), назначенный параметром URL (этап S112). Процесс запроса на этапе S112 выполняется, например, блоком 240 воспроизведения через блок 220 связи. Блок 310 хранения предоставляет ответ в устройство 20 воспроизведения содержания с основным телом соответствующего описания параметра, описанного, например, в WADL (этап S113).

После получения основного тела описания параметра из блока 310 хранения, устройство 20 воспроизведения содержания принимает решение относительно способа конфигурирования параметров и получает содержание, которое будет сохранено в параметре (этап S114). Процесс на этапе S114 может быть выполнен, например, блоком 240 воспроизведения. Когда параметр угла сетевой камеры 11 сохранен в параметре, например, устройство 20 воспроизведения содержания сохраняет значение угла сетевой камеры 11 в параметре в процессе диалога с пользователем или т.п.

После получения содержания, которое хранится в параметре, устройство 20 воспроизведения содержания генерирует URL сегмента, в который был добавлен параметр, и запрашивает сегмент в соответствии с http из сервера 10 содержания (этап S115). В частности, устройство 20 воспроизведения содержания генерирует URL сегмента, в который был добавлен параметр URL согласно правилу, описанному в атрибуте "media" элемента "SegmentTemplate". Например, если действует правило, что, параметр, который будет вставляться в часть "SubstitutionParameter", которая представляет собой "angle", окруженный символами "$", показанными на фиг. 9, например, то устройство 20 воспроизведения содержания генерирует URL сегмента, в который был добавлен параметр согласно правилу. В ходе процесса на этапе S115 устройство 20 воспроизведения содержания генерирует URL сегмента "http://cdn1.example.com/camera1/pan-40".

Сервер 10 содержания, который принял запрос из устройства 20 воспроизведения содержания, интерпретирует параметр URL и передает ответ в устройство 20 воспроизведения содержания с основным телом оптимального сегмента (этап S116). Устройство 20 воспроизведения содержания воспроизводит сегмент, принятый из сервера 10 содержания (этап S117).

При исполнении вышеописанного ряда процессов с помощью сервера 10 содержания, устройство 20 воспроизведения содержания добавляет параметр в URL, описанный в MPD, получает доступ к адресу "http://cdn1.example.com/camera1/pan-40", для получения видео, захваченного сетевой камерой 11, обращенной в направлении под углом 40 градусов, и тем самым можно воспроизвести полученное видео.

Первый вариант осуществления

Описание компьютера, к которому применимо настоящее изобретение

Ряд процессов, описанных выше, может быть исполнен аппаратными средствами или программным обеспечением. Когда ряд процессов исполняется программным обеспечением, программа, входящая в состав программного обеспечения, устанавливается на компьютере. В данном случае компьютер включает в себя компьютер, входящий в состав специализированных аппаратных средств, персональный компьютер общего назначения, который, например, может исполнять различные функции путем установки различных программ и т.п.

На фиг. 11 показана блок-схема, иллюстрирующая пример аппаратной конфигурации компьютера, который исполняет вышеописанный ряд процессов с использованием программы.

В компьютере центральное процессорное устройство (CPU) 201, постоянное запоминающее устройство (ROM) 202 и оперативное запоминающее устройство (RAM) 203 соединены друг с другом с помощью шины 204.

Шина 204 дополнительно соединена с интерфейсом 205 ввода и вывода. Интерфейс 205 ввода и вывода соединен с блоком 206 ввода, блоком 207 вывода, блоком 208 хранения, блоком 209 связи и диском 210.

Блок 206 ввода включает в себя клавиатуру, мышь, микрофон и т.п. Блок 207 вывода включает в себя устройство отображения, громкоговоритель и т.п. Блок памяти 208 включает в себя жесткий диск, энергонезависимую память и т.п. Блок 209 связи включает в себя сетевой интерфейс и т.п. Дисковод 210 приводит в действие съемный носитель 211, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковую память.

Ряды процессов, описанных выше, выполняется в компьютере, сконфигурированном так, как описано выше, когда CPU 201 загружает, например, программу, которая сохраняется в блоке 208 хранения в RAM 203, через интерфейс 205 ввода и вывода и шину 204 для исполнения.

Программу, исполняемую компьютером (CPU 201), можно предоставить путем записи на съемный носитель 211, который служит, например, в качестве упакованного носителя информации или т.п. В дополнение, программу можно предоставить через проводную или беспроводную среду передачи, такую как локальная вычислительная сеть, Интернет или спутниковое цифровое широковещание.

Программу можно установить в блоке 208 хранения компьютера с использованием интерфейса 205 ввода и вывода путем загрузки съемного носителя 211 в дисковод 210. В дополнение, программу можно принять с помощью блока 209 связи и установить в блок 208 хранения через проводную или беспроводную среду передачи. Кроме того, программу можно установить заранее в ROM 202 или в блоке 208 хранения.

Следует отметить, что программа, исполняемая компьютером, можно представлять собой программу, которая выполняет процесс во временной последовательности в порядке, описанном в данном описании, или может представлять собой программу, которая выполняет процесс параллельно или при необходимости с временной синхронизацией при их запуске или т.п.

Второй вариант осуществления

Приложение для кодирования многопроекционного изображения/декодирования многопроекционного изображения

Ряд процессов, описанных выше, можно применить к кодированию многопроекционного изображения/декодированию многопроекционного изображения. Фиг. 12 иллюстрирует пример схемы кодирования многопроекционного изображения.

Как показано на фиг. 12, многопроекционное изображение включает в себя изображения, имеющее множество проекций. Множество видов многопроекционного изображения включает в себя основную проекцию, для которой кодирование/декодирование выполняется с использованием только изображения своей собственной проекции без использования изображений других проекций, и неосновные проекции, для которых кодирование/декодирование выполняется с использованием изображений других проекций. В неосновной проекции можно использовать изображении основной проекции, и можно использовать изображение другой неосновной проекции.

С помощью вышеупомянутой конфигурации можно предотвратить передачу избыточной информации, и можно уменьшить количество информации (количество кодирования), которая будет передаваться (то есть можно подавить снижение эффективности кодирования).

Устройство кодирования многопроекционного изображения

На фиг. 13 показана схема, иллюстрирующая устройство кодирования многопроекционного изображения, которое выполняет вышеописанное кодирование многопроекционного изображения. Как показано на фиг. 13, устройство 600 кодирования многопроекционного изображения имеет блок 601 кодирования, другой блок 602 кодирования и блок 603 мультиплексирования.

Блок 601 кодирования кодирует изображение основного вида для генерирования кодированного потока изображения основного вида. Блок 602 кодирования кодирует изображение неосновного вида для генерирования кодированного потока изображения неосновного вида. Блок 603 мультиплексирования мультиплексирует кодированный поток изображения основного вида, сгенерированный блоком 601 кодирования, и кодированный поток изображения неосновной проекции, сгенерированной блоком 602 кодирования для генерирования кодированного потока многопроекционного изображения.

Устройство 10 кодирования (фиг. 19) можно применять в блоке 601 кодирования и блоке 602 кодирования устройства 600 кодирования многопроекционного изображения. То есть при кодировании каждой проекции можно улучшить отображение по умолчанию информации о разрешении и улучшающего слоя. В дополнение, используя вместе один и тот же флаг или параметр (например, элемент синтаксиса, относящийся к обработке изображений или т.п.), блок 601 кодирования и блок 602 кодирования могут выполнять кодирование (то есть могут совместно использовать флаг или параметр), и таким образом можно подавить снижение эффективности кодирования.

Устройство декодирования многопроекционного изображения

На фиг. 14 показана схема, иллюстрирующая декодер многопроекционного изображения, который выполняет вышеописанное декодирование многопроекционного изображения. Как показано на фиг. 14, устройство 610 декодирования многопроекционного изображения имеет блок 611 инверсного мультиплексирования, блок 612 декодирования и другой блок 613 декодирования.

Блок 611 инверсного мультиплексирования инверсно мультиплексирует кодированный поток многопроекционного изображения, полученный в ходе мультиплексирования кодированного потока изображения основной проекции и кодированного потока изображения неосновной проекции, чтобы извлечь кодированный поток изображения основной проекции и кодированный поток изображения неосновной проекции. Блок 612 декодирования декодирует кодированный поток изображения основной проекции, извлеченной блоком 611 инверсного мультиплексирования, чтобы получить изображение основной проекции. Блок 613 декодирования декодирует кодированный поток изображений неосновной проекции, извлеченной блоком 611 инверсного мультиплексирования, чтобы получить изображение неосновной проекции.

Устройство 110 декодирования (фиг. 25) можно применить в блоке 612 декодирования и блоке 613 декодирования устройства 610 декодирования многопроекционного изображения. То есть можно улучшить отображение по умолчанию информации о разрешении и улучшающего слоя. В дополнение, используя один и тот же флаг или параметр вместе (например, элемент синтаксиса, относящийся к обработке изображений и т.п.), блок 612 декодирования и блок 613 декодирования могут выполнить декодирование (то есть могут совместно использовать флаг или параметр), и таким образом можно подавить снижение эффективности кодирования.

Третий вариант осуществления

Приложение для кодирования иерархического изображения/декодирования иерархического изображения

Ряд процессов, описанных выше, можно применить к кодированию иерархического изображения/декодированию иерархического изображения (кодированию с масштабированием/декодированию с масштабированием). Фиг. 15 иллюстрирует пример схемы иерархического кодирования изображения.

Кодирование иерархического изображения (кодирование с масштабированием) включает в себя деление изображения на множество слоев (иерархически упорядоченных) и выполнение кодирования для каждого слоя таким образом, чтобы данные изображения можно было масштабировать по отношению к предварительно определенному параметру. Декодирование иерархического изображения (декодирование с масштабированием) представляет собой декодирование, которое соответствует кодированию иерархического изображения.

Как показано на фиг. 15, при иерархизации изображения одно изображение разбивается на множество изображений (слоев) по отношению к предварительно определенному параметру, который несет в себе масштабируемость. То есть иерархизированное изображение (иерархическое изображение) включает в себя изображение с множеством иерархий (слоев), которые имеют различные значения предварительно определенного параметра. Множество слоев иерархического изображения образовано основным слоем, для которого кодирование/декодирование выполняется с использованием только изображения своего собственного слоя без использования изображений других слоев и неосновных слоев (каждый из которых, упоминается также как улучшающий слой), для которых кодирование/декодирование выполняется с использованием изображений других слоев. Неосновной слой может использовать изображение основного слоя или может использовать изображение другого неосновного слоя.

В общем, неосновной слой включает в себя данные дифференциального изображения (дифференциальные данные) своего собственного изображения и изображения другого слоя с тем, чтобы уменьшить избыточность. Когда одно изображение разделено на две иерархии: основной слой и неосновной слой (который также упоминается как улучшающий слой), например, изображение с более низким качеством, чем первоначальное изображение, получается только с помощью данных основного слоя, и за счет объединения данных основного слоя и данных неосновного слоя получается первоначальное изображение (то есть высококачественное изображение).

Путем иерархизации изображения, как описано выше, можно легко получить изображения с различными уровнями качества в зависимости от ситуации. Например, информацию о сжатии изображения согласно пропускной способности терминала или сети можно передать из сервера без выполнения процесса транскодирования тогда, когда информация о сжатии изображения, касающаяся только основного слоя, передается в терминал с низкой производительностью обработки, такой как мобильный телефон с возможностью воспроизведения динамического изображения, имеющего низкое пространственное и временное разрешение или плохое качество изображения, или когда информация о сжатии изображения, касающаяся улучшающего слоя в дополнение к основному слою, передается в терминал с высокой производительностью обработки, такой как телевизор или персональный компьютер с возможностью воспроизведения динамического изображения, имеющий высокое пространственное и временное разрешение или высокое качество изображения.

С помощью вышеупомянутой конфигурации можно подавить передачу избыточной информации, и можно уменьшить количество информации (количество кодирования), которая будет передаваться (то есть можно подавить снижение эффективности кодирования).

Масштабируемый параметр

Параметр, который несет в себе масштабируемость при кодировании иерархического изображения/декодировании иерархического изображения (при кодировании с масштабированием/декодировании с масштабированием), является произвольным. Например, пространственное разрешение, показанное на фиг. 16, можно установить на параметр (пространственную масштабируемость). При пространственной масштабируемости каждый слой имеет различное разрешение изображения. То есть в этом случае каждая картинка разбивается на две иерархии, включая основной слой с более низким пространственным разрешением, чем первоначальное изображение, и улучшающий слой, из которого получается первоначальное пространственное разрешение тогда, когда слой объединен с основным слоем, как показано на фиг. 16. Конечно, число иерархий является примером, и изображение можно разбить на любое число иерархий.

В дополнение, в качестве параметра, который несет в себе масштабируемость, как описано выше, например, можно также принять на вооружение временное разрешение (временную масштабируемость), как показано на фиг. 17. При временной масштабируемости каждый слой имеет различную частоту кадров. То есть в этом случае, каждая картинка разбивается на две иерархии, включая основной слой с более низкой частотой кадров, чем первоначальное динамическое изображение и улучшающий слой, из которого получается первоначальная частота кадров, когда слой объединяется с основным слоем, как показано на фиг. 17. Конечно, число иерархий является примером, и изображение можно разбить на любое число иерархий.

Кроме того, в качестве другого параметра, который несет в себе масштабируемость, как описано выше, например, отношение сигнал/шум (SNR), можно принять масштабируемость SNR. При масштабируемости SNR каждый слой имеет различное отношение SN. То есть в этом случае, каждая картинка разбивается на две иерархии, включая основной слой, с SNR, более низким, чем у первоначального изображения и улучшающего слоя, из которого получается первоначальное SNR, когда слой объединяется с основным слоем как показано на фиг. 18. Конечно, число иерархий является примером, и изображение можно разбить на любое число иерархий.

Любой параметр, который несет в себе масштабируемость, можно принять на вооружение в дополнение к вышеописанным примерам. Например, в качестве параметра, который несет в себе масштабируемость, можно использовать битовую глубину (масштабируемость битовой глубины). При этой масштабируемости битовой глубины каждый слой имеет различную битовую глубину. В этом случае, например, основной слой состоит из 8-битового изображения, и за счет добавления в него улучшающего слоя можно получить 10-битовое изображение.

В дополнение, в качестве параметра, который несет в себе масштабируемость, можно также использовать формат цветности (масштабируемость цветности). При этой масштабируемости цветности каждый слой имеет различный формат цветности. В этом случае, например, основной слой состоит из компонентного изображения в формате 4:2:0, и за счет добавления в него улучшающего слоя можно получить компонентное изображение в формате 4:2:2.

Устройство кодирования иерархического изображения

На фиг. 19 показана схема, иллюстрирующая устройство кодирования иерархического изображения, которое выполняет вышеописанное кодирование иерархического изображения. Устройство 620 кодирования иерархического изображения имеет блок 621 кодирования, другой блок 622 кодирования и блок 623 мультиплексирования, как показано на фиг. 19.

Блок 621 кодирования кодирует изображение основного слоя для генерирования кодированного потока изображения основного слоя. Блок 622 кодирования кодирует изображение неосновного слоя для генерирования кодированного потока изображения неосновного слоя. Блок 623 мультиплексирования мультиплексирует кодированный поток изображения основного слоя, сгенерированный блоком 621 кодирования, и кодированный поток изображения неосновного слоя, сгенерированный блоком 622 кодирования, чтобы сгенерировать кодированный поток иерархического изображения.

Устройство 10 кодирования (фиг. 19) можно применить в блоке 621 кодирования и в блоке 622 кодирования устройства 620 кодирования иерархического изображения. То есть можно улучшить отображение по умолчанию информации о разрешении и улучшающего слоя. В дополнение, используя вместе одинаковый флаг или параметр (например, элемент синтаксиса, относящийся к обработке изображений или т.п.), блок 621 кодирования и блок 622 кодирования могут выполнять управление процессом фильтрации интра-предсказания (то есть могут совместно использовать флаг или параметр), и, таким образом, можно подавить снижение эффективности кодирования.

Устройство декодирования иерархического изображения

На фиг. 20 показана схема, иллюстрирующая устройство декодирования иерархического изображения, которое выполняет вышеописанное декодирование иерархического изображения. Устройство 630 декодирования иерархического изображения имеет блок 631 инверсного мультиплексирования, блок 632 декодирования и другой блок 633 декодирования, как показано на фиг. 20.

Блок 631 инверсного мультиплексирования инверсно мультиплексирует кодированный поток иерархического изображения, полученный в результате мультиплексирования кодированного потока изображения основного слоя и кодированного потока изображения неосновного слоя, чтобы извлечь кодированный поток изображения основного слоя и кодированный поток изображения неосновного слоя. Блок 632 декодирования декодирует кодированный поток изображения основного слоя, извлеченный блоком 631 инверсного мультиплексирования, для получения изображения основного слоя. Блок 633 декодирования декодирует кодированный поток изображения неосновного слоя, извлеченный блоком 631 инверсного мультиплексирования, для получения изображения неосновного слоя.

Устройство 110 декодирования (фиг. 25) можно применить в блоке 632 декодирования и блоке 633 декодирования устройства 630 декодирования иерархического изображения. То есть можно улучшить отображение по умолчанию информации о разрешении и улучшающего слоя. В дополнение, используя вместе одинаковый флаг или параметр (например, элемент синтаксиса, относящийся к обработке изображений или т.п.), блок 612 декодирования и блок 613 декодирования могут выполнять декодирование (то есть могут совместно использовать флаг или параметр), и таким образом можно предотвратить снижение эффективности кодирования.

Четвертый вариант осуществления

Пример конфигурации телевизионного устройства

Фиг. 21 иллюстрирует схематичную конфигурацию телевизионного устройства, к которому применимо настоящее изобретение. Телевизионное устройство 900 имеет антенну 901, тюнер 902, демультиплексор 903, декодер 904, блок 905 обработки видеосигнала, блок 906 отображения, блок 907 обработки аудиосигнала, громкоговоритель 908 и блок 909 внешнего интерфейса. Кроме того, телевизионное устройство 900 имеет блок 910 управления, блок 911 пользовательского интерфейса и т.п.

Тюнер 902 настраивается на желаемый канал из широковещательного сигнала, принимаемого антенной 901, для выполнения демодуляции и выводит полученный кодированный битовый поток в демультиплексор 903.

Демультиплексор 903 извлекает видео- и аудиопакеты программы, предназначенные для просмотра, из кодированного потока битов и выводит данные извлеченных пакетов в декодер 904. В дополнение, демультиплексор 903 подает пакеты данных электронного путеводителя по программам телевидения?? (EPG) в блок 910 управления. Следует отметить, что при выполнении скремблирования скремблирование отменяется демультиплексором и т.п.

Декодер 904 выполняет процесс декодирования пакетов и выводит видеоданные и аудиоданные, выработанные в процессе декодирования, в блок 905 обработки видеосигнала и в блок 907 обработки аудиосигнала, соответственно.

Блок 905 обработки видеосигнала выполняет удаление шумов из видеоданных, обработку видеоданных согласно установке пользователя и т.п. Блок 905 обработки видеосигнала генерирует видеоданные программы, которая будет отображаться на экране блока 906 отображения, данные изображения от процесса на основании приложения, подаваемого через сеть и т.п. В дополнение, блок 905 обработки видеосигнала генерирует видеоданные для отображения экрана меню, например для выбора элемента, и накладывает данные на видеоданные программы. Блок 905 обработки видеосигнала генерирует сигнал возбуждения на основании видеоданных, сгенерированных так, как описано выше, для возбуждения блока 906 отображения.

Блок 906 отображения возбуждает устройства отображения (например, элементы жидкокристаллического дисплея) на основании сигнала возбуждения, поступающего из блока 905 обработки видеосигнала, для отображения программы и т.п.

Блок 907 обработки аудиосигнала выполняет вывод аудио в ходе выполнения предварительно определенного процесса, такого как удаление шумов из аудиоданных, выполнения процесса цифро-аналогового преобразования или процесса усиления над обработанными аудиоданными и подает данные в громкоговоритель 908.

Блок 909 внешнего интерфейса представляет собой интерфейс для соединения внешнего устройства с сетью и выполняет передачу и прием данных, таких как видеоданные и аудиоданные.

Блок 910 управления соединен с блоком 911 пользовательского интерфейса. Блок 911 пользовательского интерфейса сконфигурирован как управляемый переключатель или дистанционно управляемый блок приема сигналов и подает рабочий сигнал в блок 910 управления согласно операции пользователя.

Блок 910 управления сконфигурирован с использованием центрального процессорного устройства (CPU), памяти и т.п. Память хранит программы, исполняемые CPU, различные виды данных, необходимых для CPU, которое выполняет обработку данных, данные EPG, данные, полученные через сеть и т.п. Программы, хранящиеся в памяти, считываются и исполняются CPU с использованием предварительно определенной временной синхронизации, например, при включении телевизионного устройства 900. При исполнении программ, ЦП управляет соответствующими блоками таким образом, чтобы телевизионное устройство 900 работало согласно пользовательским операциям.

Следует отметить, что в телевизионном устройстве 900 предусмотрена шина 912 для соединения тюнера 902, демультиплексора 903, блока 905 обработки видеосигнала, блока 907 обработки аудиосигнала, блок 909 внешнего интерфейса и т.п. с блоком 910 управления.

Декодер 904 телевизионного устройства, сконфигурированный так, как описано выше, выполнен с функцией устройства декодирования (способа декодирования) данной заявки. По этой причине, в процессе декодирования кодированного потока, можно улучшить отображение по умолчанию информации о разрешении и улучшающего слоя.

Пятый вариант осуществления

Пример конфигурации мобильного телефона

Фиг. 22 иллюстрирует схематичную конфигурацию мобильного телефона, к которому применимо настоящее изобретение. Мобильный телефон 920 имеет блок 922 связи, аудиокодек 923, блок 926 камеры, блок 927 обработки изображения, блок 928 демультиплексирования, блок 929 воспроизведения и записи, блок 930 отображения и блок 931 управления. Составляющие элементы соединены друг с другом с помощью шины 933.

В дополнение, антенна 921 соединена с блоком 922 связи, и громкоговоритель 924 и микрофон 925 соединены с аудиокодеком 923. Кроме того, операционный блок 932 соединен с блоком 931 управления.

Мобильный телефон 920 выполняет различные операции, такие как передача и прием аудиосигналов, передача и прием электронных писем и данных изображения, захват изображений, запись данных и т.п. в различных режимах, таких как режим речевого вызова, режим передачи данных и т.п.

В режиме речевого вызова аудиосигнал, генерируемый микрофоном 925, преобразуется в аудиоданные или сжимается в данные аудиокодеком 923 и подается в блок 922 связи. Блок 922 связи выполняет процесс модуляции, процесс преобразования частоты и т.п. над аудиоданными для генерирования сигнала передачи. Кроме того, блок 922 связи подает сигнал передачи в антенну 921 для передачи сигнала в базовую станцию, которая не показана. В дополнение, блок 922 связи выполняет усиление или процесс преобразования частоты и процесс демодуляции над принимаемым сигналом, который принимает антенна 921, и подает полученные аудиоданные в аудиокодек 923. Аудиокодек 923 выполняет распаковку аудиоданных или преобразование в аналоговый аудиосигнал и выводит данные в громкоговоритель 924.

В дополнение, когда передача электронной почты выполняется в режиме передачи данных, блок 931 управления принимает ввод символьных данных посредством операции операционного блока 932 и отображает введенный символ на дисплее 930. Кроме того, блок 931 управления генерирует данные электронной почты на основании инструкции пользователя и т.п., поступающей из операционного блока 932, и подает данные в блок 922 связи. Блок 922 связи выполняет процесс модуляции или процесс преобразования частоты над данными электронной почты и передает полученный сигнал передачи из антенны 921. В дополнение, блок 922 связи выполняет усиление или процесс преобразования частоты и процесс демодуляции над принятым сигналом, который принимает антенна 921, для восстановления данных электронных почты. Эти данные электронной почты подаются в блок 930 отображения, и содержание почты отображается на нем.

Следует отметить, что мобильный телефон 920 позволяет также сохранять принятые данные электронной почты на носителе с использованием блока 929 воспроизведения и записи. Носитель информации представляет собой произвольный перезаписываемый носитель информации. Например, носитель информации представляет собой полупроводниковой памятью, такую как RAM или встроенную флэш-память, или съемный носитель, такой как жесткий диск, магнитный диск, оптический диск магнитооптический диск, оптический диск, память универсальной последовательной шины (USB) или карту памяти.

Когда данные изображения передаются в режиме связи, данные изображения, сгенерированные блоком 926 камеры, подаются в блок 927 обработки изображения. Блок 927 обработки изображения выполняет процесс кодирования над данными изображения для генерирования кодированных данных.

Блок 928 демультиплексирования мультиплексирует кодированные данные, сгенерированные блоком 927 обработки изображения, и аудиоданные, поданные из аудиокодека 923, в предварительно определенной схеме и подает данные в блок 922 связи. Блок 922 связи выполняет процесс модуляции, процесс преобразования частоты и т.п. над мультиплексированными данными и передает полученный сигнал передачи из антенны 921. В дополнение, блок 922 связи выполняет усиление или процесс преобразования частоты и процесс демодуляции над сигналом, принятым с помощью антенны 921, для восстановления мультиплексированных данных. Эти мультиплексированные данные подаются в блок 928 демультиплексирования. Блок 928 демультиплексирования демультиплексирует мультиплексированные данные и подает кодированные данные в блок 927 обработки изображения и аудиоданные в аудиокодек 923. Блок 927 обработки изображения выполняет процесс декодирования кодированных данных для генерирования данных изображения. Эти данные изображения подаются в блок 930 отображения, и выполняется отображение принятого изображения. Аудиокодек 923 преобразует аудиоданные в аналоговый аудиосигнал и подает сигнал в громкоговоритель 924 для вывода принятого звука.

Блок 927 обработки изображения устройства мобильного телефона, сконфигурированного так, как описано выше, служит в качестве устройства кодирования и устройства декодирования (используя способ кодирования и способ декодирования) настоящей заявки. Поэтому может улучшить отображение по умолчанию информации о разрешении и улучшающего слоя.

Шестой вариант осуществления

Пример конфигурации устройства записи и воспроизведения

Фиг. 23 иллюстрирует схематичную конфигурацию устройства записи и воспроизведения, к которому применимо настоящее изобретение. Устройство 940 записи и воспроизведения записывает, например, принятые аудиоданные и видеоданные широковещательной программы на носитель записи и подает записанные данные пользователю с таймированием, инструктированным пользователем. В дополнение, устройство 940 записи и воспроизведения может также получать аудиоданные и видеоданные, например, из другого устройства и записывать данные на носитель записи. Кроме того, путем декодирования и вывода аудиоданных и видеоданных, записанных на носителе записи, устройство 940 записи и воспроизведения может отображать изображение выводить звуки из устройства контроля или т.п.

Устройство 940 записи и воспроизведения имеет тюнер 941, блок 942 внешнего интерфейса, кодер 943, блок 944 накопителя на жестком диске (HDD), дисковод 945, селектор 946, декодер 947, блок 948 наэкранного дисплея (OSD), блок 949 управления и блок 950 пользовательского интерфейса.

Тюнер 941 настраивается на желаемый канал из широковещательного сигнала, принимаемого с помощью антенны, которая не показана. Тюнер 941 выводит кодированный битовый поток, полученный путем демодуляции принятого сигнала желаемого канала, в селектор 946.

Блок 942 внешнего интерфейса сконфигурирован по меньшей мере как один из интерфейса IEEE 1394, блока сетевого интерфейса, интерфейса USB, интерфейс флэш-памяти и т.п. Блок 942 внешнего интерфейса представляет собой интерфейс для подсоединения к внешнему устройству, сети, карте памяти или т.п., для приема данных, таких как видеоданные или аудиоданные, предназначенные для записи.

Кодер 943 кодирует видеоданные или аудиоданные, подаваемые из блока 942 внешнего интерфейса в предварительно определенной схеме, когда данные не были кодированными, и выводят кодированный битовый поток в селектор 946.

Блок 944 HDD записывает данные содержания видео и звука, различные программы, другие типы данных и т.п. на встроенный жесткий диск, и считывает такие данные с жесткого диска во время воспроизведения.

Дисковод 945 выполняет запись и воспроизведение сигнала для загруженного оптического диска. Оптический диск включает в себя, например, DVD-диск (DVD-видео, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW и т.п.), Blu-ray (зарегистрированный торговый знак) диск и т.п.

Селектор 946 выбирает любой кодированный битовый поток от тюнера 941 или кодера 943 и подает кодированный битовый поток в любой из блока 944 HDD и дисковода 945 во время записи видео или звука. В дополнение, селектор 946 подает кодированный видеопоток, выводимый из блока 944 HDD или дисковода 945, в декодер 947 во время воспроизведения видео или звука.

Декодер 947 выполняет процесс декодирования над кодированным битовым потоком. Декодер 947 подает видеоданные, сгенерированные в ходе выполнения процесса декодирования, в блок 948 OSD. В дополнение, декодер 947 выводит аудиоданные, сгенерированные в ходе выполнения процесса декодирования.

Блок 948 OSD генерирует видеоданные для отображения экрана меню для выбора элементов или т.п. и накладывает видеоданные на видеоданные, выводимые из декодера 947 для вывода.

Блок 949 управления соединен с блоком 950 пользовательского интерфейса. Блок 950 пользовательского интерфейса сконфигурирован как управляемый переключатель, дистанционно управляемый блок приема сигнала и т.п. и подает рабочий сигнал в блок 949 управления согласно операции пользователя.

Блок 949 управления конфигурируется с использованием CPU, памяти и т.п. Программа хранит программу, исполняемую CPU, или различные виды данных, необходимые для CPU для выполнения процессов. Программа, которая хранится в памяти, считывается и исполняется CPU с предварительно определенным таймированием, например, во время настройки устройства 940 записи и воспроизведения или т.п. В ходе выполнения программы CPU управляет соответствующими блоками таким образом, чтобы устройство 940 записи и воспроизведения работало согласно операции пользователя.

Кодер 943 устройства записи и воспроизведения, сконфигурированного так, как описано выше, служит в качестве устройства кодирования (использующего способ кодирования) настоящей заявки. Поэтому в кодировании кодированного потока, можно улучшить отображение по умолчанию информации о разрешении и улучшающего слоя. В дополнение, декодер 947 служит в качестве устройства декодирования (используя способ декодирования) настоящей заявки. По этой причине при декодировании кодированного потока можно улучшить отображение по умолчанию информации о разрешении и улучшающего слоя.

Седьмой вариант осуществления

Пример конфигурации устройства формирования изображения

Фиг. 24 иллюстрирует схематичную конфигурацию устройства формирования изображения, к которому применимо настоящее изобретение. Устройство 960 формирования изображения захватывает изображение предмета, побуждает изображение предмета отображаться на экране блока отображения или записывает изображение на носителе записи в виде данных изображения.

Устройство 960 формирования изображения имеет оптический блок 961, блок 962 формирования изображения, блок 963 обработки сигналов камеры, блок 964 обработки данных изображения, блок 965 отображения, блок 966 внешнего интерфейса, блок 967 памяти, накопитель 968 носителя информации, блок 969 OSD и блок 970 управления. В дополнение, блок 971 пользовательского интерфейса соединен с блоком 970 управления. Кроме того, блок 964 обработки данных изображения, блок 966 внешнего интерфейса, блок 967 памяти, накопитель 968 носителя информации, блок 969 OSD, блок 970 управления и т.п. соединены друг с другом через шину 972.

Оптический блок 961 конфигурируется с использованием фокусирующей линзы, механизма апертуры и т.п. Оптический блок 961 побуждает оптическое изображение предмета формироваться на плоскости изображения блока 962 формирования изображения. Блок 962 формирования изображения конфигурируется с использованием CCD или CMOS-датчика изображения, генерирует электрический сигнал согласно оптическому изображению путем фотоэлектрического преобразования и подают сигнал в блок 963 обработки сигналов камеры.

Блок 963 обработки сигналов камеры выполняет различные процессы обработки сигналов камеры, такие как коррекция изгиба характеристики передачи уровней яркости, гамма-коррекция или коррекция цвета, над электрическим сигналом, подаваемым из блока 962 формирования изображения. Блок 963 обработки сигналов камеры подает данные изображения, которые были подвергнуты обработке сигналов камеры, в блок 964 обработки данных изображения.

Блок 964 обработки данных изображения выполняет процесс кодирования над данными изображения, поданными из блока 963 обработки сигналов камеры. Блок 964 обработки данных изображения подает кодированные данные, сгенерированные в ходе выполнения процесса кодирования, в блок 966 внешнего интерфейса или накопитель 968 носителя информации. В дополнение, блок 964 обработки данных изображения выполняет процесс декодирования над кодированными данными, поданными из блока 966 внешнего интерфейса или накопителя 968 носителя информации. Блок 964 обработки данных изображения подает данные изображения, сгенерированные в ходе выполнения процесса декодирования, в блок 965 отображения. В дополнение, блок 964 обработки данных изображения выполняет процесс подачи данных изображения, поданных из блока 963 обработки сигналов камеры, в блок 965 отображения или накладывает данные для отображения, полученного из блока 969 OSD, на данные изображения и подает данные в блок 965 отображения.

Блок 969 OSD генерирует данные для отображения, такого как экран меню или пиктограмма, состоящая из символа, знака или фигуры, и выводит данные в блок 964 обработки данных изображения.

Блок 966 внешнего интерфейса сконфигурирован, например, как терминал ввода и вывода USB и т.п., и подключен к принтеру. В дополнение, блок 966 внешнего интерфейса соединяется с накопителем, когда это необходимо, для соответствующей загрузки съемного носителя, такого как магнитный диск или оптический диск, и при необходимости считывает с него и устанавливает компьютерную программу. Кроме того, блок 966 внешнего интерфейса имеет, сетевой интерфейс, подсоединенный к предварительно определенной сети, такой как LAN или Интернет. Блок 970 управления позволяет считывать кодированные данные с накопителя 968 носителя информации согласно инструкции, подаваемой из блока 971 пользовательского интерфейса, и подавать данные в другое устройство, соединенное с блоком 966 внешнего интерфейса через сеть. В дополнение, блок 970 управления может получать кодированные данные или данные изображения, которые подаются из другого устройства через блок 966 внешнего интерфейса, через сеть или может подавать данные в блок 964 обработки данных изображения.

В качестве носителя записи, приводимого в действие накопитель 968 носителя информации, можно использовать, например, любой считываемый и записываемый съемный носитель информации, такой как магнитный диск, магнитооптический диск, оптический диск или полупроводниковую память. В дополнение, тип носителя записи, который служит в качестве съемного носителя, является произвольным, и он может представлять собой устройство на основе магнитной ленты, диск или карту памяти. Конечно, он может представлять собой карту с бесконтактной интегральной схемой (IC) или т.п.

В дополнение, накопитель 968 носителя информации и носитель записи можно выполнить как единое целое для конфигурирования непортативного носителя записи типа, например, встроенного жесткого диска, твердотельного диска (SSD) и т.п.

Блок 970 управления конфигурируется с использованием CPU. Блок 967 памяти хранит программы, исполняемые блоком 970 управления, или различные виды данных и т.п., необходимые для того, чтобы блок 970 управления выполнял процессы. Программа, которая хранится в блоке 967 памяти, считывается и исполняется блоком 970 управления при предопределенном таймировании, например, при настройке устройства 960 формирования изображения. В ходе исполнения программы блок 970 управления управляет соответствующими блоками таким образом, чтобы устройство 960 формирования изображения работало согласно операции пользователя.

Блок 964 обработки данных изображения устройства формирования изображения, сконфигурированного так, как описано выше, служит в качестве устройства кодирования и устройства декодирования (в которых используется способ кодирования и способ декодирования) настоящей заявки. Поэтому при кодировании или декодировании кодированного потока можно улучшить отображение по умолчанию информации о разрешении и улучшающего слоя.

Пример приложения кодирования с масштабированием

Первая система

Далее будет описан пример конкретного использования масштабируемых кодированных данных, которые подвергаются кодированию с масштабированием (иерархическому кодированию). Кодирование с масштабированием используется для того, чтобы выбрать данные, предназначенные для передачи, например, как в примере, показанном на фиг. 25.

В системе 1000 передачи данных, показанной на фиг. 25, сервер 1002 распределения считывает масштабируемые кодированные данные, которые хранятся в блоке 1001 хранения масштабируемых кодированных данных, и распределяет данные в оконечное устройство, такое как персональный компьютер 1004, аудиовизуальное устройство 1005, планшетное устройство 1006, мобильный телефон 1007 и т.п. через сеть 1003.

В этом случае сервер 1002 распределения выбирает и передает в оконечное устройство кодированные данные, имеющие надлежащее качество для производительности, среды связи или т.п. Даже в том случае, если сервер 1002 распределения передает данные, необязательно имеющие высокое качество, оконечное устройство не сможет получать высококачественное изображение, и, таким образом, существует проблема, связанная с такой передачей, вызывающей задержку или перегрузку. В дополнение, занятие излишней полосы пропускания линии связи или излишнее увеличение нагрузки на оконечное устройство также является проблемой. С другой стороны, если сервер 1002 распределения передает данные, имеющие излишне низкое качество, существует проблема, связанная с отказом оконечного устройства получать изображение надлежащего качества. По этой причине сервер 1002 распределения считывает и передает соответствующим образом масштабируемые кодированные данные, которые хранятся в блоке 1001 хранения масштабируемых кодированных данных в качестве кодированных данных, имеющих надлежащее качество для пропускной способности, окружающей среды связи или т.п. оконечного устройства.

Например, блок 1001 хранения масштабируемых кодированных данных хранит масштабируемые кодированные данные (BL+EL) 1011, которые были подвергнуты кодированию с масштабированием. Масштабируемые кодированные данные (BL+EL) 1011 представляют собой кодированные данные, которые включает в себя как основной слой, так и улучшающий слой, и данные, из которых как изображение основного слоя, так и изображение улучшающего слоя можно получить путем декодирования.

Сервер 1002 распределения выбирает соответствующий слой для пропускной способности, среды связи или т.п. оконечного устройства, в которое передается данные, и которое считывает данные слоя. Например, сервер 1002 распределения считывает высококачественные масштабируемые кодированные данные (BL+EL) 1011 из блока 1001 хранения масштабируемых кодированных данных и передает данные без изменения в персональный компьютер 1004 или планшетное устройство 1006, имеющее высокие возможности обработки. С другой стороны, сервер 1002 распределения извлекает, например, данные основного слоя из масштабируемых кодированных данных (BL+EL) 1011 и передает данные в виде данных того же самого содержания, как и масштабируемые кодированные данные (BL+EL) 1011 и как масштабируемые кодированные данные (BL) 1012, имеющие более низкое качество по сравнению с масштабируемыми кодированными данными (BL+EL) 1011, в аудиовизуальное устройство AV 1005 или мобильный телефон 1007, имеющий низкую производительность обработки.

Так как количество данных можно легко отрегулировать, используя такие масштабируемые кодированные данные, как описано выше, можно подавить возникновение задержки или перегрузки и можно подавить излишнее увеличение нагрузки на оконечное устройство или среду связи. В дополнение, так как в масштабируемых кодированных данных (BL+EL) 1011 уменьшается избыточность между слоями, количество данных можно уменьшить больше, чем при установке кодированных данных каждого слоя в виде отдельных данных. Таким образом, можно более эффективно использовать область хранения блока 1001 хранения масштабируемых кодированных данных.

Следует отметить, что различные устройства можно применить в виде оконечных устройств, таких как персональный компьютер 1004 – мобильный телефон 1007, каждое из этих устройств имеет различную производительность аппаратных средств. В дополнение, так как приложения, исполняемые оконечными устройствами также варьируются, также варьируется и производительность программного обеспечения. Кроме того, для сети 1003, которая служит в качестве среды связи, можно применить проводную или беспроводную среду связи, такую как Интернет или локальная вычислительная сеть (LAN) или все линии цепочки связи, которые включают в себя оба типа связи, и их характеристики передачи данных варьируются. Кроме того, существует проблема, связанная с изменением производительности согласно другим типам связи.

Таким образом, сервер 1002 распределения перед началом передачи данных может устанавливать связь с оконечным устройством, которое служит в качестве места назначения передачи данных, чтобы получить информацию относительно производительности оконечного устройства, такой как производительность аппаратных средств, оконечного устройства или возможности приложения (программного обеспечения), которое будет исполняться оконечным устройством, и информацию относительно среды связи, такой как доступная полоса пропускания или т.п. сети 1003. Таким образом, сервер 1002 распределения можно установить с возможностью выбора соответствующего слоя на основании полученной информации.

Следует отметить, что оконечные устройства можно установить с возможностью извлечения слоев. Например, персональный компьютер 1004 можно установить с возможностью декодирования переданных масштабируемых кодированных данных (BL+EL) 1011 для отображения изображения основного слоя или для отображения изображения улучшающего слоя. В дополнение, например, персональный компьютер 1004 можно установить с возможностью извлечения масштабируемых кодированных данных (BL) 1012 основного слоя из переданных масштабируемых кодированных данных (BL+EL) 1011 для сохранения данных, для передачи данных в другое устройство или для декодирования и отображения изображения основного слоя.

Конечно, число всех блоков 1001 хранения масштабируемых кодированных данных, серверов 1002 распределения, сетей 1003 и оконечных устройств является произвольным. В дополнение, хотя был описан пример, в котором сервер 1002 распределения передает данные в оконечные устройства, пример использования этим не ограничивается. В системе 1000 связи можно применять любую систему до тех пор, пока она будет представлять систему, в которой соответствующий слой выбирается и передается согласно производительности, среде связи или т.п. оконечного устройства, когда кодированные данные, которые подверглись кодированию с масштабированием, передаются в оконечное устройство.

Вторая система

В дополнение, кодирование с масштабированием используется для передачи через множество сред связи, например, как в примере, показанном на фиг. 26.

В системе 1100 передачи данных, показанной на фиг. 26, широковещательная станция 1101 передает масштабируемые кодированные данные (BL) 1121 основного слоя посредством наземного широковещания 1111. В дополнение, широковещательная станция 1101 передает (например, пакетизирует и передает) масштабируемые кодированные данные (EL) 1122 улучшающего слоя через произвольную сеть 1112, включающую в себя проводную или беспроводную сеть связи или обе сети связи.

Оконечное устройство 1102 имеет функцию приёма наземного широковещания 1111, осуществляющего широковещание с помощью широковещательной станции 1101 и, таким образом, принимает масштабируемые кодированные данные (BL) 1121 основного слоя, переданного посредством наземного широковещания 1111. В дополнение, оконечное устройство 1102 дополнительно имеет функцию связи, поддерживающей связь через сеть 1112, и, таким образом, принимает масштабируемые кодированные данные (EL) 1122 улучшающего слоя, переданные через сеть 1112.

Оконечное устройство 1102 декодирует масштабируемые кодированные данные (BL) 1121 основного слоя, полученные из наземного широковещания 1111, для получения, хранения или передачи изображения основного слоя в другое устройство.

В дополнение, согласно инструкции пользователя или т.п., например, оконечное устройство 1102 комбинирует масштабируемые кодированные данные (BL) 1121 основного слоя, полученные посредством наземного широковещания 1111, и масштабируемые кодированные данные (EL) 1122 улучшающего слоя, полученные через сеть 1112, чтобы получить масштабируемые кодированные данные (BL+EL), и декодирует комбинированные данные для получения, хранения или передачи изображения улучшающего слоя в другое устройство.

Как описано выше, масштабированные кодированные данные можно передавать, например, через различную среду связи для каждого слоя. Таким образом, можно распределить нагрузку и можно подавить возникновение задержки или перегрузку.

В дополнение, среду связи, которая будет использоваться при передаче, можно выбрать для каждого слоя в соответствии с ситуацией. Например, масштабируемые кодированные данные (BL) 1121 с относительно большим количеством данных можно передать через среду связи, имеющую широкую полосу пропускания, и масштабируемые кодированные данные (EL) 1122 улучшающего слоя с относительно маленьким количеством данных можно передать через среду связи, имеющую узкую полосу пропускания. В дополнение, среду связи, в которой должны передаваться масштабируемые кодированные данные (EL) 1122 улучшающего слоя, можно установить с возможностью переключения на сеть 1112 или на наземное широковещание 1111 согласно имеющейся полосе пропускания сети 1112. Конечно, то же самое применимо к данным любого слоя.

В ходе выполнения управления, как описано выше, можно дополнительно предотвратить увеличение нагрузки при передаче данных.

Конечно, число слоев является произвольным и число сред связи, используемых при передаче, также является произвольным. В дополнение, число оконечных устройств 1102, которые служат в качестве мест назначения распределения данных, является произвольным. Кроме того, хотя выше был описан пример широковещания из широковещательной станции 1101, пример использования не ограничивается этим. В системе 1100 передачи данных можно применять любую систему до тех пор, пока она представляет собой систему, в которой кодированные данные, которые подверглись кодированию с масштабированием, разделены на множество частей в блоках слоев и передаются через множество линий связи.

Третья система

В дополнение, кодирование с масштабированием используется при хранении кодированных данных, например, как в примере, показанном на фиг. 27.

В системе 1200 формирования изображения, показанной на фиг. 27, устройство 1201 формирования изображения выполняет кодирование с масштабированием над данными изображения, полученными путем захвата изображения предмета 1211, и подает данные в устройство 1202 хранения масштабируемых кодированных данных в виде масштабируемых кодированных данных (BL+EL) 1221.

Устройство 1202 хранения масштабируемых кодированных данных сохраняет масштабируемые кодированные данные (BL+EL) 1221, поданные из устройства 1201 формирования изображения с качеством, разрешенным согласно ситуации. Например, обычно устройство 1202 хранения масштабируемых кодированных данных извлекает данные основного слоя из масштабируемых кодированных данных (BL+EL) 1221, и сохраняет данные в качестве масштабируемых кодированных данных (BL) 1222 основного слоя с низким качеством и маленьким количеством данных. С другой стороны, например, в особых случаях устройство 1202 хранения масштабируемых кодированных данных сохраняет масштабируемые кодированные данные (BL+EL) 1221 с высоким качеством и большим количеством данных без изменений.

Так как устройство 1202 хранения масштабируемых кодированных данных может сохранять изображения с высоким качеством только тогда, когда необходимы установки, описанные выше, можно подавить увеличение количества данных, и можно повысить эффективность использования области хранения при подавлении увеличения значения изображений, вызванных ухудшением качества изображения.

Предлагается, что устройством 1201 формирования изображения будет, например, камера наблюдения. Когда цель наблюдения (например, злоумышленник) не включена в захваченное изображение (в нормальных случаях), существует высокая вероятность того, что содержание захваченного изображения будет маловажным, и, таким образом, уменьшение количества данных является приоритетным, и данные изображения (масштабируемые кодированные данные) сохраняются с низким качеством. С другой стороны, когда цель наблюдения включена в захваченное изображение в виде предмета 1211 (в особых случаях), существует высокая вероятность того, что содержание захваченного изображения будет важным, и, таким образом, качество изображения является приоритетным, и данные изображения (масштабируемые кодированные данные) сохраняются с высоким качеством.

Следует отметить, что нормальные случаи и особые случаи можно определить с помощью, например, устройства 1202 хранения масштабируемых кодированных данных в ходе анализа изображения. В дополнение, их можно определить устройства 1201 формирования изображения и результат определения можно передать в устройство 1202 хранения масштабируемых кодированных данных.

Следует отметить, что критерий определения нормальных случаев и особых случаев является произвольным, и содержание изображения, которое служит в качестве критерия определения, является произвольным. Конечно, условие, которое отличается от содержания изображения, можно установить в качестве критерия для определения. Например, состояния можно переключать согласно размеру, форме волны и т.п., или записанный звук можно переключать через предварительно определенные интервалы, или можно переключать согласно инструкции, поступающей снаружи, такой как инструкция пользователя.

В дополнение, хотя выше был описан пример, в котором переключаются два состояния: нормальный случай и особый случай, число состояний является произвольным, и можно осуществлять переключение для трех или более состояний, например, нормальный случай, почти нормальный случай, особый случай, чрезвычайно особый случай и т.п. Однако верхний предел числа состояний, которые будут переключаться, зависит от количества слоев масштабируемых кодированных данных.

В дополнение устройство 1201 формирования изображения может принимать решение относительно количества масштабируемых кодированных слоев согласно состояниям. Например, в нормальных случаях устройство 1201 формирования изображения может вырабатывать масштабируемые кодированные данные (BL) 1222 основного слоя с низким качеством и маленьким количеством данных и подавать данные в устройство 1202 хранения масштабируемых кодированных данных. В дополнение, в особых случаях, например, устройство 1201 формирования изображения может вырабатывать масштабируемые кодированные данные (BL+EL) 1221 основного слоя с высоким качеством и большим количеством данных и подавать данные в устройство 1202 хранения масштабируемых кодированных данных.

Хотя камера наблюдения в приведенном выше описании была показана в качестве примера, применение системы 1200 формирования изображения является произвольным и не ограничивается камерой наблюдения.

Восьмой вариант осуществления

Другие примеры

Хотя выше были описаны примеры устройств, систем и т.п., к которым применимо настоящее раскрытия, настоящее раскрытие не ограничивается этим, и его можно реализовать в виде любой конфигурации, установленной в устройствах или устройствах, образующих системы, например, в процессорах в виде системной большой интегральной схемы (LSI), модулях, которые используют множество процессоров, блоках, которые используют множество модулей, наборах, полученных путем дополнительного добавления других функций в блоки (то есть в виде частичной конфигурации устройств) и т.п.

Пример конфигурации видеосистемы

Пример, в котором настоящее раскрытие реализовано в виде набора, будет описан со ссылкой на фиг. 28. Фиг. 28 иллюстрирует пример схематичной конфигурации видеосистемы, к которой применимо настоящее изобретение.

Так как в последние годы электронные устройства постепенно становятся многофункциональными, когда на стадии разработки и изготовления некоторые конфигурации каждого устройства подготавливаются для продажи, технического обеспечения и т.п., существуют не только случаи, в которых такое устройство сконфигурировано таким образом, чтобы иметь одну функцию, но также существует много случаев, в которых многочисленные конфигурации, имеющие соответствующие функции, объединены и реализованы в виде одного набора с множеством функций.

Видеосистема 1300, показанная на фиг. 28, выполнена с возможностью быть многофункциональной, как описано выше, путем объединения устройств, имеющих функции кодирования и декодирования (которые могут иметь одну или обе функции) изображений с устройствами, имеющими другие функции, относящиеся к вышеизложенным функциям.

Как показано на фиг. 28, видеосистема 1300 имеет группу модулей, включающую в себя видеомодуль 1311, внешнюю память 1312, модуль 1313 управления питанием, модуль 1314 высокочастотного тракта и т.п. и устройства, имеющие соответствующие функции, такие как блок 1321 связи, камера 1322, датчик 1323 и т.п.

Модуль имеет форму компонента, в котором несколько компонентных функций, связанных с ним, собраны для обеспечения связующей функции. Специфическая физическая конфигурация является произвольной; однако предусмотрена интеграция, в которой, например, многочисленные процессоры, каждый из которых имеет функциональные возможности, элементы электронной схемы, такие как резистор и конденсатор, и другие устройства располагаются на печатной плате. В дополнение, предусмотрено также изготовление нового модуля путем объединения модуля с другим модулем, процессором и т.п.

В примере, показанном на фиг. 28, видеомодуль 1311 является комбинацией конфигураций с функциями, относящимися к обработке изображений, и имеет процессор приложений, видеопроцессор, широкополосный модем 1333 и модуль 1334 РЧ.

Процессор представляет собой полупроводниковый кристалл, интегрированный с конфигурацией, имеющей предварительно определенные функции и использующей систему на чипе (SoC), и упоминается также как, например, системная большая интегральная схема (LSI) и т.п. Конфигурация, имеющая предварительно определенную функцию, может представлять собой логическую схему (конфигурацию аппаратных средств), может представлять собой, наряду с CPU, ROM и RAM, программу, которая исполняется с помощью элементов (конфигурации программного обеспечения) или может представлять собой комбинацию обеих конфигураций. Например, процессор может иметь логическую схему, CPU, ROM, RAM и т.п. и может осуществлять некоторые функции с помощью логической схемы (конфигурацией аппаратных средств), или может осуществлять другие функции с помощью программы, исполняемой CPU (с помощью конфигурации программного обеспечения).

Процессор 1331 приложений, показанный на фиг. 28, представляет собой процессор, который исполняет приложение, относящееся к обработке изображений. Приложение, исполненное процессором 1331 приложений, позволяет не только выполнять арифметический процесс, но позволяет также управлять конфигурацией, внутренней и внешней по отношению к видеомодулю 1311, при необходимости, например, к видеопроцессору 1332 для того, чтобы реализовать предварительно определенные функции.

Видеопроцессор 1332 представляет собой процессор, имеющий функцию, относящуюся к (одному или обоим) кодированию и декодированию изображений.

Широкополосный модем 1333 представляет собой процессор (или модуль), который выполняет процесс, относящийся к проводной или беспроводной (или одновременно и к тому и к другому) широкополосной связи, поддерживаемой через широкополосную линию связи, такую как Интернет или телефонная сеть общего пользования. Например, широкополосный модем 1333 преобразует данные (цифровой сигнал), которые будут передаваться, в аналоговый сигнал путем выполнения цифровой модуляции или т.п. или преобразует принятый аналоговый сигнал в данные (цифровой сигнал) путем выполнения демодуляции. Например, широкополосный модем 1333 может модулировать/демодулировать цифровой сигнал с произвольной информацией, такой как данные изображения, которые будут обрабатываться видеопроцессором 1332, поток, полученный путем кодирования данных изображения, прикладная программа или установочные данные.

Модуль 1334 RF представляет собой модуль, который выполняет преобразование частоты, модуляцию и демодуляцию, усиление, процесс фильтрации и т.п. над радиочастотным (RF) сигналом, который передается и принимается через антенну. Например, модуль 1334 RF генерирует радиочастотный сигнал в ходе выполнения преобразования частоты и т.п. основополосного сигнала, который генерируется широкополосным модемом 1333. В дополнение, модуль 1334 RF генерирует, например, основополосный сигнал в ходе выполнения преобразования частоты и т.п. радиочастотного сигнала, который принимается через модуль 1314 высокочастотного тракта.

Следует отметить, что, как показано пунктирной линией 1341 на фиг. 28, процессор 1331 приложений и видеопроцессор 1332 можно выполнить как единое целое для образования одного процессора.

Внешняя память 1312 представляет собой модуль, который выполнен снаружи видеомодуля 1311, имеющего запоминающее устройство, используемое видеомодулем 1311. Запоминающее устройство внешней памяти 1312 можно реализовать с помощью любой физической конфигурации, но обычно используется тогда, когда сохраняется большое количество данных, таких как данные изображения в блоках кадров, и, таким образом, желательно реализовать запоминающее устройство с относительно недорогой полупроводниковой памятью с высокой емкостью, например, динамическое оперативное запоминающее устройство (DRAM).

Модуль 1313 управления питанием управляет подачей питания в модуль 1311 видео (каждый составляющий элемент в модуле 1311 видео).

Модуль 1314 высокочастотного тракта представляет собой модуль, который предоставляет модуль 1334 RF с функцией высокочастотного тракта (служит в качестве схемы передающего и приемного конца на стороне антенны). Модуль 1314 высокочастотного тракта имеет, например, антенный блок 1351, фильтр 1352 и блок 1353 усиления, как показано на фиг. 20.

Антенный блок 1351 сконфигурирован в виде антенны, которая передает и принимает радиосигналы, и её периферийных устройств. Антенный блок 1351 передает сигнал, поданный из блока 1353 усиления, в виде радиосигнала и подает принятый радиосигнал в фильтр 1352 в виде электрического сигнала (радиочастотного сигнала). Фильтр 1352 выполняет процесс фильтрации и т.п. над радиочастотным сигналом, принимаемым через антенный блок 1351, и подает обработанный радиочастотный сигнал в модуль 1334 РЧ. Блок 1353 усиления усиливает радиочастотный сигнал, поданный из модуля 1334 РЧ, и подает сигнал в антенный блок 1351.

Блок 1321 связи представляет собой модуль, имеющий функцию, относящуюся к подсоединению снаружи. Физическая конфигурация блока 1321 связи является произвольной. Блок 1321 связи, который имеет, например, конфигурацию с функцией связи, которая отличается от функции стандарта связи, которому соответствует широкополосный модем 1333, внешний терминал ввода и вывода и т.п.

Например, блок 1321 связи может иметь функцию поддержания связи, которая базируется на стандарте беспроводной связи, таком как Bluetooth (зарегистрированный торговый знак), IEEE 802.11 (например, Wireless Fidelity (Wi-Fi; зарегистрированный торговый знак), связь с малым радиусом действия (NFC) или Ассоциация по средствам передачи данных в инфракрасном диапазоне (IrDA), антенну, которая передает и принимает сигналы на основании стандарта и т.п. В дополнение, блок 1321 связи может иметь, например, модуль, имеющий функцию передачи на основании стандарта проводной связи, такой как универсальная последовательная шина (USB) или высококачественный мультимедийный интерфейс (HDMI; зарегистрированный торговый знак), или терминал, основанный на стандарте. Кроме того, блок 1321 связи может иметь, например, другую функцию передачи данных (сигнала) терминала аналогового ввода и вывода и т.п.

Следует отметить, что можно установить блок 1321 связи, который включает в себя устройство, которое служит в качестве места назначения передачи данных (сигнала). Например, блок 1321 связи, который можно установить, имеет накопитель (в том числе накопитель не только на основе съемного носителя, но также и на основе жесткого диска, твердотельный накопитель (SSD), сетевое устройство хранения данных (NAS) и т.п.), который считывает и записывает данные по отношению к носителю записи, такому как магнитный диск, оптический диск, магнитооптический диск или полупроводниковая память. В дополнение, блок 1321 связи, который можно установить, имеет блок вывода изображение или аудиосигнала (монитор, громкоговоритель и т.п.).

Камера 1322 представляет собой модуль, имеющий функцию захвата предмета и получения данных изображения предмета. Данные изображения, полученные путем захвата камерой 1322, например, подаются в и кодируются с помощью видеопроцессора 1332.

Датчик 1323 представляет собой модуль, имеющий произвольно выбранные функции восприятия, например, датчика звука, датчика ультразвука, светочувствительного датчика, датчика освещённости, датчика инфракрасного излучения, формирователя изображения, датчика вращения, датчика угла, датчика угловой скорости, датчика скорости, датчика ускорения, датчика наклона, магнитного идентификационного датчика, датчика удара, датчика температуры и т.п. Данные, обнаруженные датчиком 1323 подаются, например, в процессор 1331 приложений и используются приложением и т.п.

Конфигурации, описанные как вышеупомянутые модули, можно реализовать как процессоры, или, с другой стороны, конфигурации, описанные как процессоры можно реализовать как модули.

В видеосистеме 1300 с конфигурацией, описанной выше, настоящее раскрытие можно применить к видеопроцессору 1332, который будет описан ниже. Таким образом, видеосистему 1300 можно реализовать в виде набора, к которому применимо настоящее раскрытие.

Пример конфигурации видеопроцессора

Фиг. 29 иллюстрирует пример схематичной конфигурации видеопроцессора 1332 (фиг. 28), к которому применимо настоящее изобретение.

В примере, показанном на фиг. 29, видеопроцессор 1332 имеет функцию приёма входного видеосигнала и входного аудиосигнала и кодирования сигналов в предварительно определенной схеме и функцию декодирования кодированных видеоданных и аудиоданных и вывода видеосигнала и аудиосигнала для воспроизведения.

Как показано на фиг. 29, видеопроцессор 1332 имеет блок 1401 обработки входного видеосигнала, первый блок 1402 увеличения и уменьшения изображения, второй блок 1403 увеличения и уменьшения изображения, блок 1404 обработки выходного видеосигнала, память 1405 кадров и блок 1406 управления памятью. В дополнение, видеопроцессор 1332 имеет механизм 1407 кодирования/декодирования, буферы 1408А и 1408B элементарных потоков (ES) видеоданных и буфер 1409А и 1409B ES-аудиоданных. Кроме того, видеопроцессор 1332 имеет аудиокодер 1410, аудиодекодер 1411, мультиплексор (MUX) 1412, демультиплексор (DMUX) 1413 и буфер 1414 потоковых данных.

Блок 1401 обработки входного видеосигнала получает видеосигнал, подаваемый, например, из блока 1321 связи (фиг. 28), и преобразует сигнал в данные цифрового изображения. Первый блок 1402 увеличения и уменьшения изображения выполняет преобразование формата, процесс увеличения или уменьшения изображения или т.п. над данными изображения. Второй блок 1403 увеличения и уменьшения изображения выполняет процесс увеличения или уменьшения изображения над данными изображения согласно формату места назначения, куда выводятся данные через блок 1404 обработки выходного видеосигнала, или выполняет преобразование формата, процесс увеличения или уменьшения изображения или т.п. таким же способом, как и первый блок 1402 увеличения и уменьшения изображения. Блок 1404 обработки выходного видеосигнала выполняет формат преобразования, преобразование в аналоговый сигнал или т.п. над данными изображения, и выводит данные, например, в блок 1321 связи (фиг. 28) в виде воспроизведенного видеосигнала.

Память 1405 кадров представляет собой память для данных изображения, совместно используемых блоком 1401 обработки входного видеосигнала, первым блоком 1402 увеличения и уменьшения изображения, вторым блоком 1403 увеличения и уменьшения изображения, блоком 1404 обработки выходного видеосигнала и механизмом 1407 кодирования/декодирования. Память 1405 кадров реализована в виде полупроводниковой памяти, например, DRAM или т.п.

Блок 1406 управления памятью принимает сигнал синхронизации из механизма 1407 кодирования/декодирования и управляет доступом к памяти 1405 кадров для записи и считывания согласно распределению доступа к памяти 1405 кадров, в которой записана в таблице 1406A управления доступом. Таблица 1406A управления доступом обновляется с помощью блока 1406 управления памятью согласно процессам, исполняемым в механизме 1407 кодирования/декодирования, первом блоке 1402 увеличения и уменьшения изображения, втором блоке 1403 увеличения и уменьшения изображения и т.п.

Механизм 1407 кодирования/декодирования выполняет процесс кодирования данных изображения и процесс декодирования видеопотока, который представляет собой данные, полученные путем кодирования данных изображения. Например, механизм кодирования/декодирования 1407 кодирует данные изображения, считанные из памяти 1405 кадров, и последовательно записывает данные в буфере 1408А ES-видеоданных в качестве видеопотоков. В дополнение, например, механизм 1407 кодирования/декодирования последовательно считывает видеопотоки из буфера 1408B ES-видеоданных в виде данных изображения и последовательно записывает данные в память 1405 кадров как данные изображения. Механизм 1407 кодирования/декодирования использует память 1405 кадров в качестве рабочей зоны для такого кодирования и декодирования. В дополнение, механизм 1407 кодирования/декодирования выводит сигнал синхронизации в блок 1406 управления памятью при таймировании, при котором, например, запускается процесс над каждым микроблоком.

Буфер 1408А ES-видеоданных буферизует видеопоток, выработанный с помощью механизма 1407 кодирования/декодирования, и подает поток в мультиплексор (MUX) 1412. Буфер 1408B ES-видеоданных буферизует видеопоток, поданный из демультиплексора (DMUX) 1413, и подает поток в механизм 1407 кодирования/декодирования.

Буфер 1409А ES-аудиоданных буферизует аудиопоток, выработанный аудиокодером 1410, и подает поток в мультиплексор (MUX) 1412. Буфер 1409B ES-аудиоданных буферизует аудиопоток, поданный из демультиплексора (DMUX) 1413, и подает поток в аудиодекодер 1411.

Аудиокодер 1410, например, преобразует в цифровой форме аудиосигнала, подаваемый, например, из блока 1321 связи (фиг. 28) или т.п., и кодирует сигнал в предварительно определенной схеме, например, схеме аудио MPEG, схеме номер 3 AudioCode (AC3) или т.п. Аудиокодер 1410 последовательно записывает аудиопотоки, которые представляют собой данные, полученные в ходе кодирования аудиосигналов в буфере 1409А ES-аудиоданных. Аудиодекодер 1411 декодирует аудиопоток, подаваемый из буфера 1409B ES-аудиоданных, выполняет преобразование в аналоговый сигнал, например, и подает сигнал, например, в блок 1321 связи (фиг. 28) или т.п. в виде воспроизведенного аудиосигнала.

Мультиплексор (MUX) 1412 мультиплексирует видеопоток и аудиопоток. Способ для этого мультиплексирования (например, формат битового потока, выработанного в ходе мультиплексирования) является произвольным. В дополнение, во время мультиплексирования мультиплексор (MUX) 1412 может также добавлять предварительно определенную информацию о заголовке или т.п. в битовый поток. То есть мультиплексор (MUX) 1412 может преобразовывать формат потока посредством мультиплексирования. Путем мультиплексирования видеопотока и аудиопотока, например, мультиплексор (MUX) 1412 преобразует потоки в транспортный поток, который представляет собой битовый поток в формате, предназначенном для транспорта. В дополнение, путем мультиплексирования видеопотока и аудиопотока, например, мультиплексор (MUX) 1412 преобразует потоки в данные в формате файла для записи (данных файла).

Демультиплексор (DMUX) 1413 демультиплексирует битовый поток, полученный путем мультиплексирования, видеопотока и аудиопотока с использованием способа, который соответствует мультиплексированию, выполняемому с помощью мультиплексора (MUX) 1412. То есть демультиплексор (DMUX) 1413 извлекает видеопоток и аудиопоток из битового потока, считанного из потокового буфера 1414 (разделяет битовый поток на видеопоток и аудиопоток). Демультиплексор (DMUX) 1413 может преобразовать формат потока посредством демультиплексирования (инверсное преобразование для преобразования с помощью мультиплексора (MUX) 1412). Например, демультиплексор (DMUX) 1413 может получить транспортный поток, подаваемый, например, из блока 1321 связи, широкополосного модема 1333 или т.п. (каждый из которых показан на фиг. 28) через потоковый буфер 1414 и преобразует поток в видеопоток и аудиопоток посредством демультиплексирования. В дополнение, например, демультиплексор (DMUX) 1413 может получить данные файла, считанные с различных носителей записи, например, с помощью блока 1321 связи (фиг. 28) через потоковый буфер 1414, и преобразует данные в видеопоток и аудиопоток посредством демультиплексирования.

Потоковый буфер 1414 буферизует битовые потоки. Например, потоковый буфер 1414 буферизует транспортный поток, подаваемый из мультиплексора (MUX) 1412, и подает поток, например, в блок 1321 связи, широкополосный модем 1333 (каждый из которых показан на фиг. 28) или т.п. при предварительно определенном таймировании или на основании запроса извне или т.п.

В дополнение, например, потоковый буфер 1414 буферизует данные файла, подаваемые из мультиплексора (MUX) 1412, и подает данные, например, в блок 1321 связи (фиг. 28) или т.п., при предварительно определенном таймировании или на основании запроса извне или т.п., чтобы заставить данные записываться на любой из различных видов носителей записи.

Кроме того, потоковый буфер 1414 буферизует транспортный поток, полученный, например, через блок 1321 связи, широкополосный модем 1333 (каждый из которых показан на фиг. 28) или т.п., и подает поток в демультиплексор (DMUX) 1413 при предварительно определенном таймировании или на основании запроса извне или т.п.

В дополнение, потоковый буфер 1414 буферизует данные файла, считанные из различных видов носителей записи, например, через блок 1321 связи (фиг. 28) или т.п., и подает данные в демультиплексор (DMUX) 1413 при предварительно определенном таймировании или на основании запроса извне или т.п.

Далее будет описан пример работы видеопроцессора 1332, имеющего эту конфигурацию. Например, видеосигнал, введенный в видеопроцессор 1332 из блока 1321 связи (фиг. 28) и т.п., преобразуется в данные цифрового изображения в предварительно определенном формате, таком как формат YCbCr 4:2:2, в блоке 1401 обработки входного видеосигнала, и последовательно записываются в память 1405 кадров. Эти данные цифрового изображения считываются первым блоком 1402 увеличения и уменьшения изображения или вторым блоком 1403 увеличения и уменьшения изображения, подвергаются преобразованию формата и процессу увеличения или уменьшения в предварительно определенном формате, таком как формат YCbCr 4:2:0, и затем записываются снова в память 1405 кадров. Эти данные изображения кодируются механизмом 1407 кодирования/декодирования и записываются в буфер 1408А ES-видеоданных как видеопоток.

В дополнение, аудиосигнал, подаваемый в видеопроцессор 1332 из блока 1321 связи (фиг. 28), кодируется аудиокодером 1410 и затем записывается в буфер 1409А ES-аудиоданных как аудиопоток.

Видеопоток буфера 1408А ES-видеоданных и аудиопоток буфера 1409А ES-аудиоданных считываются и мультиплексируются с помощью мультиплексора (MUX) 1412 для дальнейшего преобразования в транспортный поток, данные файла или т.п. Транспортный поток, выработанный мультиплексором (MUX) 1412 буферизуется в потоковом буфере 1414 и затем выводится во внешнюю сеть, например, через блок 1321 связи, широкополосный модем 1333 (каждый из которых показан на фиг. 28) или т.п. В дополнение, данные файла, выработанные мультиплексором (MUX) 1412, буферизуются в потоковом буфере 1414 и выводятся, например, в блок 1321 связи (фиг. 28) для дальнейшей записи в любом из различных видов носителей записи.

В дополнение, транспортный поток, подаваемый на вход видеопроцессора 1332 из внешней сети, например, через блок 1321 связи, широкополосный модем 1333 (каждый из которых показан на фиг. 28) или т.п. буферизуется в потоковом буфере 1414 и затем демультиплексируется демультиплексором (DMUX) 1413. В дополнение, например, данные файла, которые считываются из любого из различных видов носителей записи с помощью блока 1321 связи (фиг. 28) и выводятся в видеопроцессор 1332, буферизуются в потоковом буфере 1414 и затем демультиплексируются демультиплексором (DMUX) 1413. То есть транспортный поток или данные файла, которые подаются в видеопроцессор 1332 разделяются на видеопоток и аудиопоток демультиплексором (DMUX) 1413.

Аудиопоток подается в аудиодекодер 1411 через буфер 1409B ES-аудиоданных, который будет декодировать, и затем воспроизводится аудиосигнал. В дополнение, видеопоток записывается в буфер 1408B ES-видеоданных, затем последовательно считывается механизмом 1407 кодирования/декодирования, который будет декодировать, и записывается в память 1405 кадров. Декодированные данные изображения подвергаются процессу увеличению и уменьшению с помощью второго блока 1403 увеличения и уменьшения изображения и записываются в память 1405 кадров. Затем декодированные данные изображения считываются блоком 1404 обработки выходного видеосигнала, подвергаются преобразованию формата в предварительно определенном формате, таком как формат YCbCr 4:2:2, и дополнительно преобразуются в аналоговый сигнал, и видеосигнал воспроизводится в качестве выходного сигнала.

Следует отметить, что механизм 1407 кодирования/декодирования настоящего раскрытия (то есть функции устройства кодирования изображения и устройства декодирования изображения согласно каждому варианту осуществления, описанному выше) можно реализовать в виде аппаратных средств, таких как логическая схема, в виде программного обеспечения, такого как встроенная программа или в обеих формах.

5. Заключение

В варианте осуществления настоящего раскрытия, описанного выше, атрибут для назначения одного или более URI информации определения с целью дистанционного управления сетевой камерой 11 добавляется в элемент "SegmentTemplate", раскрытый в непатентной литературе 1. Путем добавления атрибута в элемент "SegmentTemplate", можно динамическим образом назначить запрашиваемый URL сегмента устройству 20 воспроизведения содержания, который служит в качестве клиента.

За счет обеспечения динамического назначения запрашиваемого URL сегмента в устройстве 20 воспроизведения содержания, которое служит в качестве клиента, вариант осуществления настоящего раскрытия позволяет сжать MPD в большей степени, чем в способе, предложенном в непатентной литературе 2, описанной выше. В дополнение, за счет обеспечения информации определения (описание параметра), на которую будет дана ссылаться из MPD, вариант осуществления настоящего раскрытия позволяет дополнительно уменьшить накладные расходы на техническое обслуживание, когда схема MPD расширяется отдельным образом согласно условию применения по сравнению со способом, предложенным в непатентной литературе 2, описанной выше.

Кроме того, можно также сгенерировать компьютерную программу для использования функций, эквивалентных вышеописанных элементам сервера 10 содержания и устройства 20 воспроизведения содержания на аппаратных средствах, таких как центральное процессорное устройство (CPU), ROM и оперативное запоминающее устройство (RAM), предусмотренное в сервере 10 содержания и устройстве 20 воспроизведения содержания. Кроме того, также предусмотрен носитель информации, на котором хранится компьютерная программа.

Предпочтительные варианты осуществления настоящего раскрытия были описаны выше со ссылкой на сопроводительные чертежи, причем настоящее раскрытие, конечно, не ограничено приведенными выше примерами. Специалисты в данной области техники могут найти различные изменения и модификации в пределах объема прилагаемой формулы изобретения и должны понимать, что они естественным образом подпадают под технический объем настоящего изобретения.

Кроме того, настоящую технологию можно также выполнить следующим образом.

(1) Устройство обработки информации, включающее в себя:

блок памяти, выполненный с возможностью хранения заданного определения для добавления параметра к информации о доступе для обеспечения доступа к каждому из множества подсегментов, образующих каждую часть кодированных данных, полученных посредством кодирования того же самого содержания с различной скоростью передачи битов, или для доступа к каждому элементу, получаемому через запрос к серверу, описанный в MPD; и

блок связи, выполненный с возможностью доступа к адресу, определенному в информации о доступе, путем назначения параметра на основании заданного определения, хранящегося в блоке памяти, при этом

адрес, определенный в информации о доступе, представляет собой адрес для управления устройством, выполненным с возможностью отображения содержания.

(2) Способ запроса содержания, включающий в себя этапы, на которых:

сохраняют заданное определение для добавления параметра к информация о доступе для обеспечения доступа к каждому из множества подсегментов, образующих каждую часть кодированных данных, полученных путем кодирования того же самого содержания с различной скоростью передачи битов, или для доступа к каждому элементу, который будет получен через запрос к серверу, описанный в MPD; и

назначают параметр на основании заданного определения, хранящегося в блоке памяти, и обеспечивают доступ к адресу, определенному в информации о доступе, при этом

адрес, определенный в информации о доступе, представляет собой адрес для управления устройством, выполненным с возможностью отображения содержания.

(3) Компьютерная программа, вызывающая выполнение компьютером этапов, на которых:

сохраняют заданное определение для добавления параметра к информация о доступе для обеспечения доступа к каждому из множества подсегментов, образующих каждую часть кодированных данных, полученных посредством кодирования того же самого содержания с различной скоростью передачи битов, или для доступа к каждому элементу, полученному через запрос к серверу, описанный в MPD; и

назначают параметр на основании заданного определения, хранящегося в блоке памяти, и обеспечивают доступ к адресу, определенному в информации о доступе, при этом

адрес, определенный в информации о доступе, представляет собой адрес для управления устройством, выполненным с возможностью отображения содержания.

Перечень ссылочных позиций

10, 13 – сервер содержания

11 – сетевая камера

12 – сеть

20 – устройство воспроизведения содержания

120 – блок генерирования файла

122 – кодер

130 – блок памяти

140 – блок связи

220 – блок связи

230 – блок памяти

240 – блок воспроизведения

250 – блок выбора

Изобретение относится к устройству обработки информации. Технический результат заключается в снижении количества метаинформации, когда клиент осуществляет дистанционное управление устройством с использованием технологии потоковой передачи с адаптивной скоростью передачи битов (ABS). Предложено устройство обработки информации, включающее: блок памяти, выполненный с возможностью хранения заданного определения для добавления параметра к информация о доступе для обеспечения доступа к каждому из множества подсегментов, образующих каждую часть кодированных данных, полученных посредством кодирования того же самого содержания с различной скоростью передачи битов, или для доступа к каждому элементу, получаемому посредством запроса к серверу, описанному в дескрипторе представления мультимедиа (MPD); и блок связи, выполненный с возможностью доступа к адресу, определенному в информации о доступе, посредством назначения параметра на основании заданного определения, хранящегося в блоке памяти. Адрес, определенный в информации о доступе, представляет собой адрес для управления устройством, отображающим содержание. 3 н. и 5 з.п. ф-лы, 29 ил.

1. Устройство обработки информации, содержащее схему, выполненную с возможностью:

хранения информации определения отдельно от дескриптора представления мультимедиа (MPD); причем

информация определения содержит параметр унифицированного указателя ресурса (URL) для клиентского устройства для добавления к URL, описанному в MPD, атрибутом для обеспечения доступа к каждому из множества подсегментов, образующих каждую часть кодированных данных, полученных посредством кодирования одного и того же содержания с различной скоростью передачи битов;

передачи указанной информации определения;

приема URL, к которому, клиентским устройством, добавлен параметр URL на основе информации определения; и

передачи подсегмента на основе принятого URL, к которому, клиентским устройством, добавлен параметр URL.

2. Устройство обработки информации по п. 1, в котором дескриптор представления мультимедиа принимается от сервера содержания посредством протокола передачи гипертекста (HTTP).

3. Устройство обработки информации по п. 1 или 2, в котором схема дополнительно выполнена с возможностью, в ответ на передачу дескриптора представления мультимедиа без атрибута, генерирования MPD с добавлением атрибута на основе запроса от клиентского устройства; и передачи сгенерированного MPD только на указанное клиентское устройство.

4. Устройство обработки информации по п. 1, в котором подсегмент передается, от сервера содержания, посредством HTTP.

5. Устройство обработки информации по п. 1 или 3, в котором атрибут хранится в AdaptationSet в MPD.

6. Устройство обработки информации по п. 1 или 3, в котором атрибут хранится в EssentialProperty в AdaptationSet.

7. Способ передачи содержания, содержащий этапы на которых:

сохраняют информацию определения отдельно от MPD; причем

информация определения содержит параметр URL для клиентского устройства для добавления к URL, описанному в MPD, атрибутом для обеспечения доступа к каждому из множества подсегментов, образующих каждую часть кодированных данных, полученных посредством кодирования одного и того же содержания с различной скоростью передачи битов;

передают указанную информацию определения;

принимают URL, к которому, клиентским устройством, добавлен параметр URL на основе информации определения; и

передают подсегмент на основе принятого URL, к которому, клиентским устройством, добавлен параметр URL.

8. Носитель информации, хранящий компьютерную программу, вызывающую выполнение компьютером этапов способа по п. 7.