УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ Российский патент 2012 года по МПК H04N1/41 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки информации и, более конкретно, к устройству и способу обработки информации, которые позволяют передавать данные изображения с высоким качеством и малой задержкой в самых разных ситуациях.

Уровень техники

В последнее время произошло значительное техническое развитие домашних цифровых видеоустройств, и, в качестве одного примера этого развития, произошло увеличение разрешающей способности видеоизображения. Однако можно сказать, что соединения между устройствами, такими как записывающие видеокамеры, которые снимают видеоизображения, с использованием камер, устройства, которые записывают и воспроизводят телевизионные программы (устройства записи DVD (ЦУД, цифровой универсальный диск), устройства записи BD (диск Blue-Ray) и т.п.), игровые устройства и телевизионные приемники требуют дальнейшего усовершенствования.

В стандарте MPEG-2 (Экспертная группа по вопросам движущегося изображения, фаза 2) используют во время сжатия, например, движущиеся изображения HDDV (ТВЧ, телевидение высокой четкости) BS (широковещательной спутниковой передачи) цифровой широковещательной передачи с чередованием. Стандарт MPEG-2 также используют во всех программных средствах DVD. Видеопотоки, сжатые с использованием MPEG-2, записывают в программных средствах DVD.

Кроме того, AVC (РКВ, расширенное кодирование видеоданных), которое имеет в два раза больший коэффициент сжатия, чем MPEG-2, начали использовать в записывающих видеокамерах в последние годы, благодаря его эффективности сжатия. Что касается также устройств записи BD, продукты, в которых установлены кодеры РКВ и которые обеспечивают запись в течение длительного времени, стали доступны на рынке. В отличие от этого, HDMI (МИВЧ, мультимедийный интерфейс высокой четкости) становится промышленным стандартом в качестве интерфейса, который соединяет цифровые устройства. Например, в Патентном документе 1 описаны подробности стандарта МИВЧ.

МИВЧ представляет собой интерфейс для цифровых домашних устройств. МИВЧ устанавливают в AV (АВ, аудио/видео) домашних устройствах, путем добавления функции передачи аудиоданных, функции защиты авторского права (функция предотвращения несанкционированного копирования цифрового содержания или тому подобное), и функция передачи хроматических данных для DVI (ЦВИ, цифровой видеоинтерфейс), который представляет собой стандарт соединения между PC (ПК, персональный компьютер) и дисплеем. Спецификация МИВЧ 1.0 была установлена в декабре 2002 г.

МИВЧ передает несжатые цифровые аудио- и видеоданные, и имеет преимущество, состоящее в том, что при этом не происходит какое-либо ухудшение качества изображения/качества звука. МИВЧ в настоящее время стандартизован для полной спецификации телевидения высокой четкости (full HD (полный набор характеристик телевидения высокой четкости): разрешающая способность по горизонтали 1920 пикселей × разрешающая способность по вертикали 1080 строк). Поскольку видео- и аудиоданные можно передавать без сжатия из проигрывателя на сторону телевизора, специализированные микросхемы или программное средство, такое как декодер, не требуются. Кроме того, обеспечивается интеллектуальная функция, с помощью которой соединенные устройства могут распознавать друг друга.

Кроме того, поскольку видео/аудио/сигналы управления передают по одному кабелю, существует преимущество, состоящее в том, что провода между АВ устройствами можно упростить. Поскольку может быть передан сигнал управления и т.п., АВ устройства могут легко работать совместно друг с другом.

Патентный документ 1: WO 2002/078336

Сущность изобретения

Техническая задача

Однако также следует рассмотреть случай, в котором передача данных осуществляется с использованием другой сети, кроме МИВЧ, в качестве линии передачи. В этом случае, при использовании обычного способа, становится трудным передавать данные изображения с высоким качеством и малой задержкой. Кроме того, поскольку разрешающая способность на стороне приемника отличается для разных устройств, в зависимости от партнера по обмену данными, может быть трудным передавать данные изображения с высоким качеством и малой задержкой, используя обычный способ.

Настоящее изобретение предложено с учетом таких обычных обстоятельств и позволяет передавать данные изображения с высоким качеством и малой задержкой в более разнообразных ситуациях.

Техническое решение

Аспект настоящего изобретения направлен на устройство обработки информации, включающее в себя: средство выбора, предназначенное для выбора, следует или нет кодировать данные изображения, предназначенные для передачи; средство фильтрации, предназначенное для выполнения, в случае, когда было выбрано с помощью средства выбора кодировать данные изображения, обработки разложения данных изображения с последовательными приращениями по полосе частот и генерирования подполос, включающих в себя данные коэффициента, с последовательными приращениями, равными полосе частот, с размером последовательного приращения, равным блоку строк, включающему в себя данные изображения, эквивалентные количеству строк, необходимых для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, для компонентов с самой низкой частотой; средство изменения порядка, предназначенное для изменения порядка данных коэффициента, которые сгенерированы средством фильтрации в порядке от компонентов высокой частоты к компонентам низкой частоты, на порядок от компонентов низкой частоты к компонентам высокой частоты; средство кодирования, предназначенное для кодирования данных коэффициента, порядок которых был изменен средством изменения порядка; и средство передачи, предназначенное для передачи кодированных данных, сгенерированных в результате кодирования данных коэффициента, с использованием средства кодирования, в другое устройство обработки информации через линию передачи.

Средство выбора может выбирать, следует или нет кодировать данные изображения, в зависимости от того, превышает или нет скорость передачи битов, разрешенная для передачи по линии передачи, скорость передачи битов данных изображения.

Устройство обработки информации может дополнительно включать в себя средство получения, предназначенное для получения из другого устройства обработки информации, информации, относящейся к рабочим характеристикам другого устройства обработки информации.

Средство передачи может передавать заданные кодированные данные в другое устройство обработки информации. Средство получения может получать информацию, обозначающую результат приема и декодирования кодированных данных в другом устройстве обработки информации. Средство выбора может выбирать, следует или нет кодировать данные изображения, на основе информации, обозначающей результат приема и декодирования кодированных данных, которые были получены средством получения.

Средство получения может получать информацию о времени задержки при обработке декодирования другого устройства обработки информации. Средство кодирования может устанавливать время задержки при обработке кодирования на основе информации времени задержки, которая была получена средством получения.

Средство получения может получать информацию о разрешающей способности данных изображения в другом устройстве обработки информации. Средство кодирования может устанавливать разрешающую способность кодируемых данных, которые должны быть сгенерированы, на основе информации о разрешающей способности, которая была получена средством получения.

В случае, когда формат данных изображения, предназначенных для кодирования, составляет 4:2:0, средство фильтрации может уменьшать количество разложений компонента цветности данных изображения, так, чтобы оно было на единицу меньше, чем количество разложений компонента яркости данных изображения.

Кроме того, аспект настоящего изобретения направлен на способ обработки информации, в котором: средство выбора выбирает, следует или нет кодировать данные изображения, предназначенные для передачи; средство фильтрации выполняет, в случае, когда выбирают кодировать данные изображения, обработку разложения данных изображения с последовательными приращениями полосы частот и генерирования подполос, включающих в себя данные коэффициента с последовательными приращениями полосы частот, в приращениях размером блок строк, включающих в себя данные изображения, эквивалентные количеству строк, необходимых для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, компонента самой нижней частоты; средство изменения порядка изменяет порядок данных коэффициента, которые были сгенерированы в порядке от компонентов высокой частоты к компонентам низкой частоты, на порядок от компонентов низкой частоты к компонентам высокой частоты; средство кодирования кодирует данные коэффициента после изменения порядка; и средство передачи передает кодированные данные, сгенерированные в результате кодирования данных коэффициента, в другое устройство обработки информации через линию передачи.

В одном аспекте настоящего изобретения, выбирают, следует или нет кодировать данные изображения, предназначенные для передачи. Когда выбирают, что следует кодировать данные изображения, обработку разложения данных изображения с последовательным приращением полосы частот и генерирования подполос, включающих в себя данные коэффициента с последовательными приращениями полосы частот, выполняют с последовательными приращениями размером блок строк, включающим в себя данные изображения, эквивалентные количеству строк, необходимому для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, компонентов с самой низкой частотой. Порядок данных коэффициента, которые были сгенерированы от компонентов высокой частоты к компонентам низкой частоты, изменяют на порядок от компонентов низкой частоты к компонентам высокой частоты. Данные коэффициента с измененным порядком кодируют. Кодированные данные, сгенерированные в результате кодирования данных коэффициента, передают в другое устройство обработки информации через линию передачи.

Предпочтительные эффекты

В соответствии с настоящим изобретением, можно передавать данные изображения. В частности, данные изображения могут быть переданы с высоким качеством и низкой задержкой в более разнообразных ситуациях.

Краткое описание чертежей

На фиг.1 показана блок-схема, представляющая примерную конфигурацию системы передачи, в которой применяется настоящее изобретение.

На фиг.2 показана блок-схема, представляющая примерную структуру модуля кодирования по фиг.1.

На фиг.3 показана схема, описывающую структуру вейвлет-преобразования.

Фиг.4 включает в себя схему, описывающую структуру вейвлет-преобразования.

На фиг.5 показана схема, представляющая пример, в котором выполняют подъем с использованием фильтра 5×3.

На фиг.6 представлена схема, изображающая структуру последовательности операций, выполняемых при вейвлет-преобразовании и обратном вейвлет-преобразовании.

На фиг.7 показана блок-схема, представляющая примерную структуру модуля декодирования по фиг.1.

На фиг.8 показана блок-схема последовательности операций, предназначенная для описания примерного потока обработки передачи.

На фиг.9 показана блок-схема последовательности операций, предназначенная для описания примерного потока обработки кодирования.

На фиг.10 показана блок-схема последовательности операций, предназначенная для описания примерного потока обработки приема.

На фиг.11 показана схема, представляющая пример параллельной работы, выполняемой отдельными элементами модуля кодирования и модуля декодирования.

На фиг.12 показана схема, представляющая примерную структуру данных У-РДИД.

На фиг.13 показана схема, представляющая пример видеоданных в области Video Short.

На фиг.14 показана схема, представляющая примерную структуру данных в области специфичной для поставщика.

На фиг.15 показана блок-схема, представляющая примерные структуры модулей передачи данных.

На фиг.16 показана блок-схема, представляющая примерные структуры передатчика МИВЧ и приемника МИВЧ.

На фиг.17 показана схема, представляющая структуру данных передачи TMDS (ДПМП, дифференциальная передача сигналов с минимизацией перепадов уровней).

На фиг.18 показана схема, представляющая компоновку (тип А) выводов для разъема МИВЧ.

На фиг.19 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности обработки согласования.

На фиг.20 показана блок-схема последовательности операций, предназначенная для описания другой примерной последовательности обработки передачи.

На фиг.21 показана схема, представляющая примерные структуры участков компонента яркости и компонента цветности.

Фиг.22 включает в себя схемы, представляющие другие примерные структуры участков компонента яркости и компонента цветности.

На фиг.23 показана блок-схема последовательности операций для описания другой примерной последовательности обработки кодирования.

На фиг.24 показана схема, представляющая примерную конфигурацию системы обработки информации, в которой применяется настоящее изобретение.

Пояснение номеров ссылочных позиций

100 система передачи, 101 устройство передачи, 102 устройство приема, 103 линия передачи, 111 модуль управления, 112 модуль переключения, 113 модуль кодирования, 114 модуль передачи данных, 121 модуль управления, 122 модуль передачи данных, 123 модуль переключения, 124 модуль декодирования, 125 модуль переключения, 151 модуль вейвлет-преобразования, 152 модуль буфера промежуточного расчета, 153 модуль буфера изменения порядка коэффициента, 154 модуль изменения порядка коэффициента, 155 модуль энтропийного кодирования, 161 модуль энтропийного декодирования, 162 модуль буфера коэффициента, 163 модуль обратного вейвлет-преобразования, 211 передатчик МИВЧ, 212 приемник МИВЧ, 213 DDC (КОД, канал отображения данных), 214 СЕС

Подробное описание изобретения

Ниже будут описаны варианты воплощения настоящего изобретения.

На фиг.1 показана блок-схема, представляющая примерную конфигурацию системы передачи, в которой применяется настоящее изобретение.

На фиг.1 представлена система 100 передачи, которая представляет собой систему, передающую данные изображения из устройства 101 передачи в устройство 102 приема через линию 103 передачи. Устройство 101 передачи и устройство 102 приема обмениваются данными изображения в основной полосе пропускания или кодированными данными, генерируемыми в результате кодирования данных изображения через линию 103 передачи. Когда выполняют обмен кодированными данными, устройство 101 передачи генерирует кодированные данные путем кодирования входных данных изображения в основной полосе пропускания, используя заданный способ, и передает их в устройство 102 приема. Устройство 102 приема принимает кодированные данные, декодирует принятые кодированные данные, используя способ декодирования, соответствующий способу кодирования, выполняемому устройством 101 передачи, для генерирования данных изображения в основной полосе пропускания (декодированное изображение), и выводит данные изображения в основной полосе пропускания.

В качестве альтернативы, когда передают данные изображения в основной полосе пропускания, устройство 101 передачи передает входные данные изображения в основной полосе пропускания, как если бы они были данными в основной полосе пропускания, в устройство 102 приема. Когда устройство 102 приема принимает данные изображения в основной полосе пропускания, устройство 102 приема выводит их наружу, как если бы они представляли собой данные в основной полосе пропускания.

Устройство 101 передачи и устройство 102 приема соответствующим образом выбирают, в соответствии с ситуацией, следует или нет передавать закодированные данные или данные изображения в основной полосе пропускания. В соответствии с этим, система 100 передачи может передавать данные изображения с высоким качеством и малой задержкой в более разнообразных ситуациях.

Как показано на фиг.1, устройство 101 передачи включает в себя модуль 111 управления, модуль 112 переключения, модуль 113 кодирования и модуль 114 переключения.

Модуль 111 управления управляет работой модуля 112 переключения, модуля 113 кодирования и модуля 114 передачи. Модуль 112 переключения переключает место назначения соединения, выбирая, таким образом, следует ли передавать входные данные изображения в основной полосе пропускания в модуль 113 кодирования или в модуль 114 передачи данных. Модуль 113 кодирования кодирует данные изображения в основной полосе пропускания, переданные из модуля 112 переключения, используя заданный способ, для генерирования кодированных данных. Модуль 113 кодирования передает сгенерированные кодированные данные в модуль 114 передачи данных. Модуль 114 передачи данных передает данные изображения в основной полосе пропускания, переданные из модуля 112 переключения, или кодированные данные, переданные из модуля 113 кодирования в устройство 102 приема через линию 103 передачи, используя способ, основанный на стандарте линии 103 передачи.

Например, когда передают данные изображения в основной полосе пропускания, модуль 111 управления управляет модулем 112 переключения для подачи входных данных изображения в основной полосе пропускания в модуль 114 передачи данных. Кроме того, модуль 111 управления управляет модулем 114 передачи данных для передачи данных изображения в основной полосе пропускания в устройство 102 приема через линию 103 передачи, используя способ, основанный на стандарте линии 103 передачи.

В качестве альтернативы, например, во время передачи кодированных данных, модуль 111 управления управляет модулем 112 переключения для подачи входных данных изображения в основной полосе пропускания в модуль 113 кодирования. Модуль 111 управления управляет модулем 113 кодирования для кодирования данных изображения в основной полосе пропускания и подачи сгенерированных, кодированных данных в модуль 114 передачи данных. Кроме того, модуль 111 управления управляет модулем 114 передачи данных для передачи кодированных данных в устройство 102 приема через линию 103 передачи, используя способ, основанный на стандарте линии 103 передачи.

Кроме того, как показано на фиг.1, устройство 102 приема включает в себя модуль 121 управления, модуль 122 передачи данных, модуль 123 переключения, модуль 124 декодирования и модуль 125 переключения.

Модуль 121 управления управляет работой модуля 112 переключения, модуля 122 передачи данных, модуля 123 переключения, модуля 124 декодирования и модуля 125 переключения. Модуль 122 передачи данных получает данные изображения в основной полосе пропускания или кодированные данные, которые были переданы из устройства 101 передачи через линию 103 передачи и передает в модуль 123 переключения. Модуль 123 переключения переключает место назначения соединения, подавая, таким образом, передаваемые данные изображения в основной полосе пропускания в модуль 125 переключения. В качестве альтернативы, модуль 123 переключения переключает место назначения соединения, подавая, таким образом, передаваемые кодируемые данные в модуль 124 декодирования. Модуль 124 декодирования декодирует кодированные данные, передаваемые из модуля 123 переключения, используя заданный способ декодирования, соответствующий способу кодирования, выполняемому модулем 113 кодирования, для генерирования данных изображения в основной полосе пропускания (восстановленное изображение).

Модуль 125 переключения переключает место назначения соединения, выводя, таким образом, данные изображения в основной полосе пропускания, переданные из модуля 123 переключения или модуля 124 декодирования, наружу из устройства 102 приема.

Например, когда передают данные изображения в основной полосе пропускания, модуль 121 управления управляет модулем 122 передачи данных для приема данных изображения в основной полосе пропускания и подачи данных изображения в основной полосе в модуль 123 переключения. Модуль 121 управления управляет модулем 123 переключения для подачи данных изображения в основной полосе пропускания в модуль 125 переключения. Кроме того, модуль 121 управления управляет модулем 125 переключения для вывода данных изображения в основной полосе пропускания наружу из устройства 102 приема.

В качестве альтернативы, например, при передаче кодированных данных, модуль 121 управления управляет модулем 122 передачи данных для приема кодированных данных, переданных из устройства 101 передачи и подачи их в модуль 123 переключения. Кроме того, модуль 121 управления управляет местом назначения соединения модуля 123 переключения, подавая, таким образом, передаваемые кодированные данные в модуль 124 декодирования. Кроме того, модуль 121 управления управляет модулем 124 декодирования для декодирования кодированных данных и подачи сгенерированного изображения в основной полосе пропускания в модуль 125 переключения. Кроме того, модуль 121 управления управляет источником соединения модуля 125 переключения для вывода данных изображения в основной полосе пропускания, переданных из модуля 124 декодирования наружу из устройства 102 приема.

На фиг.2 показана блок-схема, представляющая подробную примерную структуру модуля 113 кодирования в устройстве 101 передачи. Как показано на фиг.2, модуль 113 кодирования включает в себя функции модуля 151 вейвлет-преобразования, модуля 152 буфера промежуточного расчета, модуля 153 буфера изменения порядка коэффициента, модуля 154 изменения порядка коэффициента и модуля 155 энтропийного кодирования.

Данные изображения, подаваемые в модуль 113 кодирования, временно накапливают в модуле 152 буфера промежуточных расчетов через модуль 151 вейвлет-преобразования. Модуль 151 вейвлет-преобразования применяет вейвлет-преобразование к данным изображения, накопленным в модуле 152 буфера промежуточных расчетов. То есть, модуль 151 вейвлет-преобразования считывает данные изображения из модуля 152 буфера промежуточных расчетов, применяет обработку фильтрации к данным изображения, используя фильтр анализа, для генерирования данных коэффициента компонентов низкой частоты и компонентов высокой частоты, и сохраняет сгенерированные данные коэффициента в модуле 152 буфера промежуточных расчетов. Модуль 151 вейвлет-преобразования включает в себя фильтр горизонтального анализа и фильтр вертикального анализа и выполняет обработку фильтрации анализа, как в горизонтальном направлении экрана, так и в вертикальном направлении экрана, по группе элементов данных изображения. Модуль 151 вейвлет-преобразования снова считывает данные коэффициента компонентов низкой частоты, которые сохранены в модуле 152 буфера промежуточных расчетов, и применяет обработку фильтрации, используя фильтры анализа, к считываемым данным коэффициента, используя фильтры анализа, для дополнительного генерирования данных коэффициента компонентов высокой частоты и компонентов низкой частоты. Сгенерированные данные коэффициента сохраняют в модуле 152 буфера промежуточного расчета.

Когда уровень разложения достигает заданного уровня в результате повторения этой обработки, модуль 151 вейвлет-преобразования считывает данные коэффициента из модуля 152 буфера промежуточных расчетов и записывает считанные данные коэффициента в модуль 153 буфера изменения порядка коэффициента.

Модуль 154 изменения порядка коэффициента считывает элементы данных коэффициента, записанные в модуле 153 буфера изменения порядка коэффициента, в заданном порядке и передает считанные данные коэффициента в модуль 155 энтропийного кодирования. Модуль 155 энтропийного кодирования квантует переданные в него данные коэффициента, используя заданный способ, и выполняет кодирование квантованных данных коэффициента, используя заданную систему энтропийного кодирования, такую как кодирование Хаффмана или арифметическое кодирование. Модуль 155 энтропийного кодирования выводит сгенерированные кодированные данные за пределы модуля 113 кодирования.

Далее, со ссылкой на фиг.2, будет более подробно описана обработка, выполняемая модулем 151 вейвлет-преобразования. Вначале описана структура вейвлет-преобразования. При вейвлет-преобразовании данных изображения, как схематично показано на фиг.3, рекурсивно выполняют обработку разделения данных изображения на полосу высокой пространственной частоты и полосу низкой пространственной частоты по данным в полосе низкой пространственной частоты, которые получают в результате разделения. Благодаря переносу данных, таким образом, из полосы низкой пространственной частоты в меньшую область, обеспечивается эффективное сжатие и кодирование.

Следует отметить, что фиг.3 соответствует примеру в случае, когда обработка разделения области компонента самой низкой частоты данных изображения на область L компонентов низкой частоты и область Н компонентов высокой частоты повторяется три раза, и уровень разложения, обозначающий общее количество разделенных уровней, равен 3. На фиг.3 "L" и "Н" представляют собой компоненты низкой частоты и компоненты высокой частоты, соответственно. Порядок "L" и "Н" обозначает, что первый обозначает полосу, полученную в результате разделения в горизонтальном направлении, и последний обозначает полосу, подученную в результате разделения в вертикальном направлении. Кроме того, цифра перед "L" и "Н" обозначает уровень этой области. Уровень компонентов низкой частоты представлен меньшими цифрами. Максимальное значение этого уровня обозначает уровень разделения (количество разделений) во время вейвлет-преобразования.

Кроме того, как можно видеть из примера по фиг.3, обработку выполняют этап за этапом из нижней правой области в верхнюю левую область на экране, и, таким образом, выполняют управление низкочастотными компонентами. Таким образом, в примере по фиг.3, нижняя правая область на экране используется как область 3HH, включающая в себя наименьшее количество компонентов низкой частоты (включающая в себя наибольшее количество компонентов высокой частоты). Верхнюю левую область, полученную в результате разделения экрана на четыре области, дополнительно разделяют на четыре области, и среди этих четырех областей верхнюю левую область дополнительно разделяют на четыре области. Область в самом верхнем левом углу используется как область 0LL, включающая в себя наибольшее количество компонентов низкой частоты.

Преобразование и разделение неоднократно выполняют для компонентов низкой частоты, поскольку энергия изображения сконцентрирована в компонентах низкой частоты. Это можно понять из того факта, что по мере изменения уровня разложения из состояния, в котором уровень разложения = 1, пример чего показан в позиции А на фиг.4, в состояние, в котором уровень разложения = 3, пример чего показан в позиции В на фиг.4, формируются подполосы, как показано в позиции В на фиг.4. Например, уровень разложения вейвлет-преобразования по фиг.3 равен 3, и, в результате, формируются десять подполос.

В модуле 151 вейвлет-преобразования обычно используют набор фильтров, составленный из фильтра низкой частоты и фильтра высокой частоты, для выполнения описанной выше обработки. Следует отметить, что цифровой фильтр обычно имеет импульсный отклик с множеством длин отводов, то есть, коэффициентов фильтра, и, соответственно, необходимо заранее помещать в буфер такое количество элементов данных входного изображения или данных коэффициента, которое необходимо для выполнения обработки фильтрации. Кроме того, как в случае, когда выполняют вейвлет-преобразование за множество этапов, необходимо размещать в буфер такое количество коэффициентов вейвлет-преобразования, сгенерированных на предыдущих этапах, которое требуется для выполнения обработки фильтрации.

В качестве конкретного примера такого вейвлет-преобразования будет описан способ с использованием фильтра 5×3. Такой способ использования фильтра 5×3 принят также в соответствии со стандартом JPEG 2000 для неподвижного изображения и представляет собой отличный способ, поскольку он может выполнять вейвлет-преобразование, используя малое количество отводов фильтра.

Импульсный отклик фильтра 5×3 (представление Z преобразования) состоит, как обозначено Уравнением (2) и Уравнением (3), приведенными ниже, из фильтра H₀(z) низкой частоты и фильтра H₁(z) высокой частоты.

В соответствии с этими уравнением (1) и уравнением (2) можно непосредственно рассчитать коэффициенты компонентов низкой частоты и компонентов высокой частоты. Здесь расчеты, связанные с обработкой фильтрации, можно уменьшить, используя технологию подъема.

Далее будет более конкретно описан данный способ вейвлет-преобразования. На фиг.5 показан пример, в котором выполняют обработку фильтрации на основе подъема, используя фильтр 5×3, вплоть до уровня разложения = 2. Следует отметить, что на фиг.5 участок, обозначенный как фильтры анализа, с левой стороны чертежа, включает в себя фильтры модуля 151 вейвлет-преобразования. Кроме того, участок, обозначенный как фильтры комбинирования с правой стороны чертежа, включает в себя фильтры модуля обратного вейвлет-преобразования в модуле декодирования, описанном ниже.

Следует отметить, что в следующем описании, предполагается, что, например, в устройстве отображения или тому подобное, одна строка получается в результате сканирования пикселей с левого конца в правый конец экрана, при этом пиксель в верхнем левом углу экрана используется как головной, и один экран формируют путем выполнения сканирования от верхнего конца к нижнему концу экрана на основе от строки к строке.

На фиг.5 в самой левой колонке показаны данные пикселя, расположенные в соответствующих положениях в строке оригинальных данных изображения, расположенных в вертикальном направлении. Таким образом, обработку фильтрации в модуле 151 вейвлет-преобразования выполняют путем вертикального сканирования пикселей по экрану, используя вертикальный фильтр. В первой-третьей колонках с левого конца показана обработка фильтрации на уровне разложения = 1, и в четвертой-шестой колонках показана обработка фильтрации на уровне разложения = 2. Во второй колонке с левого конца показан выход компонента высокой частоты на основе пикселей оригинальных данных изображения с левого конца, и в третьей колонке с левого конца показан выход компонента низкой частоты на основе оригинальных данных изображения и выход компонента высокой частоты. Что касается обработки фильтрации на уровне разложения = 2, как показано в четвертой колонке - шестой колонке с левого конца, обработку выполняют по выходу обработки фильтрации на уровне разложения = 1.

При обработке фильтрации на уровне разложения = 1, так же, как и при обработке фильтрации на первом этапе, данные коэффициента компонентов высокой частоты рассчитывают на основе пикселей данных оригинального изображения; и, как обработку фильтрации на втором этапе, данные коэффициента компонентов низкой частоты рассчитывают на основе данных коэффициента компонентов высокой частоты, которые были рассчитаны при обработке фильтрации на первом этапе, и пикселей данных оригинального изображения. Примерная обработка фильтрации на уровне разложения = 1 показана в первой колонке-третьей колонке с левой стороны (сторона фильтра анализа) на фиг.5. Данные рассчитанного коэффициента компонентов высокой частоты сохраняют в модуле 153 буфера изменения порядка коэффициента, фиг.2. Кроме того, рассчитанные данные коэффициента компонентов низкой частоты сохраняют в модуле 152 буфера промежуточных расчетов по фиг.2.

На фиг.5 показан модуль 153 буфера изменения порядка коэффициента в положениях, окруженных штрихпунктирными линиями, и модуль 152 буфера промежуточных расчетов показан как части, окруженные пунктирными линиями.

Обработку фильтрации на уровне разложения = 2 выполняют на основе результата обработки фильтрации на уровне разложения = 1, который содержится в модуле 151 буфера промежуточных расчетов. При обработке фильтрации на уровне разложения = 2 данные коэффициента, рассчитанные как коэффициенты компонентов низкой частоты при обработке фильтрации на уровне разложения = 1, рассматривают как данные коэффициента, включающие в себя компоненты низкой частоты и компоненты высокой частоты, и выполняют обработку фильтрации, аналогичную обработке, выполняемой на уровне разложения = 1. Данные коэффициента компонентов высокой частоты и данные коэффициента компонентов низкой частоты, рассчитанные при обработке фильтрации на уровне разложения = 2, сохраняют в модуле 153 буфера изменения порядка коэффициента.

Модуль 151 вейвлет-преобразования выполняет обработку фильтрации, как описано выше, как в горизонтальном направлении, так и в вертикальном направлении экрана. Например, вначале модуль 151 вейвлет-преобразования выполняет обработку фильтрации на уровне разложения = 1 в горизонтальном направлении и сохраняет сгенерированные данные коэффициента компонентов высокой частоты и компонентов низкой частоты в модуле 152 буфера промежуточных расчетов. Затем модуль 151 вейвлет-преобразования выполняет обработку фильтрации на уровне разложения = 1 в вертикальном направлении по данным коэффициента, сохраненным в модуле 152 буфера промежуточных расчетов. При обработке на уровне разложения = 1 в горизонтальном и вертикальном направлениях формируют четыре области, область НН и область HL, основанные на соответствующих элементах данных коэффициента, полученных путем дальнейшего разложения компонентов высокой частоты на компоненты высокой частоты и компоненты низкой частоты, и область LH и область LL, основанные на соответствующих элементах данных коэффициента, полученных путем дальнейшего разложения компонентов низкой частоты на компоненты высокой частоты и компоненты низкой частоты.

Затем, на уровне разложения = 2 выполняют обработку фильтрации как в горизонтальном направлении, так и в вертикальном направлении данных коэффициента для компонентов низкой частоты, генерируемых на уровне разложения = 1. Таким образом, на уровне разложения = 2 область LL, разделенную и сформированную на уровне разложения = 1, дополнительно разделяют на четыре области, и область НН, область HL, область LH и область LL дополнительно формируют в области LL.

Модуль 151 вейвлет-преобразования выполнен с возможностью проведения обработки фильтрации, на основе многократного последовательного вейвлет-преобразования, путем последовательного разделения обработки фильтрации на обработку в каждой из групп по несколько строк в вертикальном направлении экрана. В примере, показанном на фиг.5, в качестве первой обработки, которая представляет собой обработку, начинающуюся с первой строки на экране, выполняют обработку фильтрации по семи строкам. В качестве второй обработки, которая представляет собой обработку, начинающуюся с восьмой строки и далее, выполняют обработку фильтрации с приращением по четыре строки. Такое количество строк основано на количестве строк, требуемых для генерирования компонентов с самой низкой частотой, эквивалентных одной строке, после разложения на компоненты высокой частоты и компоненты низкой частоты.

Следует отметить, что ниже группа строк, которая включает в себя другие подпопосы, необходимая для генерирования компонентов самой низкой частоты, эквивалентных одной строке (данные коэффициента, эквивалентные одной строке подполос для компонентов самой низкой частоты), будет называться участком (или блоком строк). Строка, упомянутая здесь, обозначает данные пикселя для данных коэффициента, эквивалентных одной строке, сформированной в изображении (кадр или поле), соответствующем данным изображения перед вейвлет-преобразованием, или в каждой подполосе. Таким образом, участок (блок строк) обозначает в данных оригинального изображения, перед вейвлет-преобразованием группу данных пикселей, эквивалентную множеству строк, необходимых для генерирования данных коэффициента, эквивалентных одной строке подполос компонентов самой низкой частоты после вейвлет-преобразования или группу данных коэффициента каждой из подполос, полученных путем выполнения вейвлет-преобразования этой группы данных пикселей.

В соответствии с фиг.5, коэффициент С5, полученный как результат выполнения обработки фильтрации на уровне разложения = 2, рассчитывают на основе коэффициента С4, и коэффициента C_a, который сохранен в модуле 152 буфера промежуточных расчетов, и коэффициент С4 рассчитывают на основе коэффициента С_а, коэффициента C_b и коэффициента C_c, которые сохранены в модуле 152 буфера промежуточных расчетов. Кроме того, коэффициент С_с рассчитывают на основе коэффициента С2 и коэффициента C3, которые сохранены в модуле 153 буфера изменения порядка коэффициента и данных пикселя пятой строки. Кроме того, коэффициент C3 рассчитывают на основе данных пикселя пятой строки - седьмой строки. В соответствии с этим, для получения коэффициента С5 компонентов низкой частоты на уровне разложения = 2, необходимы данные пикселя первой строки - седьмой строки.

В отличие от этого, при второй обработке фильтрации и после нее можно использовать данные коэффициента, уже рассчитанные при обработке (обработках) фильтрации до настоящего времени и сохраненные в модуле 153 буфера изменения порядка коэффициента, и, следовательно, количество требуемых строк можно поддерживать малым.

Таким образом, в соответствии с фиг.5, среди коэффициентов компонентов низкой частоты, полученных в результате обработки фильтрации, на уровне разложения = 2, коэффициент С9, который представляет собой следующий коэффициент для коэффициента С5, рассчитывают на основе коэффициента С4, коэффициента С8 и коэффициента C_c, которые сохранены в модуле 152 буфера промежуточных расчетов. Коэффициент С4 уже был рассчитан в результате выполнения описанной выше первой обработки фильтрации и сохранен в модуле 153 буфера изменения порядка коэффициента. Аналогично коэффициент С_с был уже рассчитан в описанной выше первой обработке фильтрации и сохранен в модуле 152 буфера промежуточных расчетов. В соответствии с этим, в данной второй обработке фильтрации, только обработку фильтрации для расчета коэффициента С8 выполняют в первый раз. Такую новую обработку фильтрации выполняют путем дополнительного использования восьмой строки - одиннадцатой строки.

Поскольку во второй обработке фильтрации и далее можно использовать данные, рассчитанные при выполненной до сих пор обработке (обработках) фильтрации и сохраненные в модуле 152 буфера промежуточных расчетов и в модуле 153 буфера изменения порядка коэффициента, каждую обработку требуется выполнять только с приращением равным четырем строкам.

Следует отметить, что, когда количество строк на экране не соответствует количеству строк для кодирования, строки оригинальных данных изображения копируют с использованием заданного способа таким образом, что количество строк становится идентичным количеству строк для кодирования, и затем выполняют обработку фильтрации.

В соответствии с этим, обработку фильтрации для получения такого количества элементов данных коэффициента, эквивалентных одной строке для компонентов самой низкой частоты, выполняют множество раз последовательно для строк всего экрана (на основе от участка к участку), обеспечивая, таким образом, возможность получения декодированного изображения с малой задержкой, когда передают кодированные данные.

Далее со ссылкой на фиг.2 будет описана обработка, выполняемая модулем 154 изменения порядка коэффициента. Как было описано выше, элементы данных коэффициента, рассчитанные в модуле 151 вейвлет-преобразования, сохраняют в модуле 153 буфера изменения порядка коэффициента, из которого изменяют порядок считывания, выполняемого модулем 154 изменения порядка коэффициента, и передают в модуль 155 энтропийного кодирования в единицах кодирования.

Как уже было описано выше, при вейвлет-преобразовании коэффициенты генерируют со стороны компонента высокой частоты на сторону компонента низкой частоты. В примере, показанном на фиг.5, в первый момент времени коэффициент С1, коэффициент С2 и коэффициент C3 компонентов высокой частоты последовательно генерируют при обработке фильтрации на уровне 1 разложения, на основе данных пикселей оригинального изображения. После этого выполняют обработку фильтрации на уровне разложения = 2 по данным коэффициента для компонентов низкой частоты, которые были получены при обработке фильтрации на уровне разложения = 1, и в соответствии с этим последовательно генерируют коэффициент С4 и коэффициент С5 компонентов низкой частоты. Таким образом, в первый момент времени данные коэффициента генерируют в следующем порядке: коэффициент С1, коэффициент С2, коэффициент С3, коэффициент С4 и коэффициент С5. Порядок генерирования данных коэффициента всегда становится таким порядком (порядок от высокой частоты к низкой частоте), учитывая принцип вейвлет-прсобразования.

В отличие от этого, на стороне декодирования, для немедленного выполнения декодирования с малой задержкой, необходимо выполнять генерирование и вывод изображения, начиная с компонентов низкой частоты. Поэтому желательно изменять порядок данных коэффициента, генерируемых на стороне кодирования от стороны компонента самой низкой частоты в направлении стороны компонента высокой частоты, и передавать данные коэффициента с измененным порядком на сторону декодирования.

Далее приведено более конкретное описание, используя пример, показанный на фиг.5. С правой стороны фиг.5 показана сторона фильтра комбинирования, предназначенного для выполнения обратного вейвлет-преобразования. Первую обработку комбинирования, включающую в себя первую строку выходных данных изображения (обработка обратного вейвлет-преобразования) на стороне декодирования, выполняют, используя коэффициент С4 и коэффициент С5 компонентов с самой низкой частотой, которые генерируют при первой обработке фильтрации на стороне кодирования, и коэффициент С1.

Таким образом, при первой обработке комбинирования данные коэффициента поступают в порядке: коэффициент С5, коэффициент С4 и коэффициент С1 со стороны кодирования на сторону декодирования, и, на стороне декодирования, используя обработку на уровне комбинирования = 2, которая представляет собой обработку комбинирования, которая соответствует уровню разложения = 2, выполняют обработку комбинирования по коэффициенту С5 и коэффициенту С4 для генерирования коэффициента C_f, и коэффициент C_f сохраняют в буфере. Затем, используя обработку на уровне комбинирования = 1, которая представляет собой обработку комбинирования, соответствующую уровню разложения = 1, выполняют обработку комбинирования по этому коэффициенту C_f и коэффициенту С1, для вывода первой строки.

Таким образом, при первой обработке комбинирования, порядок данных коэффициента, сгенерированных в порядке: коэффициент С1, коэффициент С2, коэффициент C₃, коэффициент С4 и коэффициент С5 на стороне кодирования и сохраненных в модуле 153 буфера изменения порядка коэффициентов, изменяют на порядок коэффициент С5, коэффициент С4, коэффициент С1, … и передают на сторону декодирования.

Следует отметить, что на стороне фильтра комбинирования, показанной с правой стороны на фиг.5, для коэффициента, переданного со стороны кодирования, номер коэффициента на стороне кодирования представлен в круглых скобках, и порядок строк фильтров комбинирования представлен за пределами круглых скобок. Например, коэффициент С1(5) обозначает, что он представляет собой коэффициент С5 на сторонне фильтра анализа, с левой стороны на фиг.5, и представляет собой первую строку на стороне фильтра комбинирования.

Обработка комбинирования на стороне декодирования данных коэффициента, генерируемых во второй обработке фильтрации и после этого на стороне кодирования, может быть выполнена, используя данные коэффициента, скомбинированные во время предыдущей обработки комбинирования или переданные со стороны кодирования. В примере по фиг.5 для второй обработки комбинирования на стороне декодирования, которую выполняют, используя коэффициент С8 и коэффициент С9 компонентов низкой частоты, которые сгенерированы при второй обработке фильтрации на стороне кодирования, дополнительно требуется сгенерировать коэффициент С2 и коэффициент С3, в первой обработке фильтрации на стороне кодирования, и при этом декодируют вторую-пятую строки.

Таким образом, при второй обработке комбинирования данные коэффициента передают в порядке: коэффициент С9, коэффициент С8, коэффициент С2 и коэффициент С3 со стороны кодирования на сторону декодирования. На стороне декодирования, при обработке, выполняемой на уровне комбинирования = 2, коэффициент C_q генерируют, используя коэффициент С8 и коэффициент С9, и коэффициент С4, которые передают со стороны кодирования во время первой обработки комбинирования, и коэффициент C_g сохраняют в буфере. Используя этот коэффициент C_g, описанный выше коэффициент С4 и коэффициент C_f, сгенерированный при первой обработке комбинирования, сохраняют в буфере, и коэффициент C_h генерируют и сохраняют в буфере.

Затем при обработке, выполняемой на уровне комбинирования = 1, выполняют обработку комбинирования, используя коэффициент C_g и коэффициент C_h, сгенерированные при обработке на уровне комбинирования = 2, и сохраненные в буфере, и коэффициент С2 (показан как коэффициент С6 (2) в фильтрах комбинирования), и коэффициент С3 (показан как коэффициент С7 (3) в фильтрах комбинирования), переданный со стороны кодирования, и декодируют вторую - пятую строки.

В соответствии с этим, при второй обработке комбинирования порядок данных коэффициента, сгенерированных в порядке: коэффициент С2, коэффициент С3, (коэффициент С4, коэффициент С5), коэффициент С6, коэффициент С7, коэффициент С8 и коэффициент С9 на стороне кодирования, изменяют на порядок: коэффициент С9, коэффициент С8, коэффициент С2, коэффициент С3, … и передают на сторону декодирования.

В ходе третьей обработки комбинирования и также после нее аналогично изменяют порядок данных коэффициента, сохраненных в модуле 152 буфера изменения порядка коэффициента в заданном порядке, и передают на сторону декодирования, и строки декодируют по четыре строки одновременно.

Следует отметить, что при обработке комбинирования на стороне декодирования, соответствующей обработке фильтрации, включающей в себя строку нижней стороны на экране модуля кодирования (ниже называется, как в последний раз), все данные коэффициента, сгенерированные при обработке, выполненной до сих пор, сохраненные в буфере, выводят, и, следовательно, количество выходных строк увеличивается. В примере, показанном на фиг.5, выводят восемь строк в последний раз.

Следует отметить, что обработку изменения порядка данных коэффициента, используя модуль 153 изменения порядка коэффициента, выполняют, например, путем установки считываемых адресов в момент времени считывания в заданном порядке данных коэффициента, сохраненных в модуле 152 буфера изменения порядка коэффициента.

Описанная выше обработка будет более конкретно описана, используя фиг.5. Фиг.5 соответствует примеру, в котором обработку фильтрации, основанную на вейвлет-преобразовании, применяют к уровню разложения = 2, используя фильтр 5×3. В модуле 151 вейвлет-преобразования, как показано в примере А на фиг.6, выполняют первую обработку фильтрации, как в горизонтальном, так и в вертикальном направлениях первой строки - седьмой строки данных входного изображения (In-1 в позиции А на фиг.6).

При обработке на уровне разложения = 1, при первой обработке фильтрации, генерируют элементы данных коэффициента, эквивалентные трем строкам, коэффициента С1, коэффициента С2 и коэффициента С3, и, как показано в примере в позиции В на фиг.6, соответственно, их разлагают в области НН, области HL и области LH, которые сформированы на уровне 1 разложения (WT-1 в позиции В на фиг.6).

Кроме того, формируют область LL на уровне разложения = 1 при следующем разделении на четыре области с целью фильтрации на уровне разложения = 2 в горизонтальном и вертикальном направлениях. Что касается коэффициента С5 и коэффициента С4, сгенерированных на уровне разложения = 2, в области LL на уровне разложения = 1, одну строку, основанную на коэффициенте С5, располагают в области LL, и одну строку на основе коэффициент С4 располагают в каждой из области НН, области HL и области LH.

При обработке второй фильтрации и далее, используя модуль 151 вейвлет-преобразования, выполняют обработку фильтрации с последовательным приращением по четыре строки (In-2… в позиции А на фиг.6). Данные коэффициента каждых двух строк генерируют на уровне разложения = 1 (WT-2 в позиции В на фиг.6), и данные коэффициента каждой одной строки генерируют на уровне разложения = 2.

Во второй раз, в примере, показанном на фиг.5, элементы данных коэффициента, эквивалентные двум строкам, коэффициент С6 и коэффициент С7, генерируют при обработке фильтрации на уровне разложения = 1, и, как показано в примере В на фиг.6, располагают, начиная со следующего элемента данных коэффициента, генерируемых при первой обработке фильтрации, в области НН, области HL и области LH, сформированных на уровне 1 разложения. Аналогично, в области LL, которая основана на уровне разложения = 1, коэффициент С9, который эквивалентен одной строке и сгенерирован в ходе обработки фильтрации на уровне разложения = 2, располагают в области LL, и коэффициент С8, эквивалентный одной строке, располагают в каждой из области НН, области HL и области LH.

Как показано в позиции В на фиг.6, когда данные вейвлет-преобразования декодируют, как показано в примере в позиции С на фиг.6, выводят первую строку, выполняя первую обработку комбинирования на стороне декодирования (Out-1 в позиции С на фиг.6), которая соответствует первой обработке фильтрации на основе первой строки - седьмой строки на стороне кодирования.

После этого четыре строки выводят одновременно на стороне декодирования (Out-2… в позиции С на фиг.6) для второй через один, перед последними обработками фильтрации на стороне кодирования. После этого выводят восемь строк на стороне декодирования, которые соответствуют последней обработке фильтрации на стороне кодирования.

Элементы данных коэффициента, сгенерированных со стороны компонента высокой частоты на сторону компонента низкой частоты в модуле 151 вейвлет-преобразования, последовательно сохраняют в модуле 153 буфера изменения порядка коэффициента. Когда накапливают такое количество данных коэффициента, которое требуется для обеспечения описанного выше изменения порядка данных коэффициента, в модуле 153 буфера изменения порядка коэффициента, модуль 154 изменения порядка коэффициента изменяет порядок элементов данных коэффициента в порядке элементов, требуемых при обработке комбинирования, и считывает элементы данных коэффициента из модуля 153 буфера изменения порядка коэффициента. Считанные элементы данных коэффициента последовательно передают в модуль 155 энтропийного кодирования.

Модуль 155 энтропийного кодирования последовательно кодирует подаваемые в него данные коэффициента и выводит сгенерированные кодированные данные наружу из модуля 113 кодирования.

На фиг.7 показана блок-схема, представляющая примерную структуру модуля 124 декодирования по фиг.1.

Как показано на фиг.7, модуль 124 декодирования включает в себя функции модуля 161 энтропийного декодирования, модуля 162 буфера коэффициента и модуля 163 обратного вейвлет-преобразования.

Модуль 161 энтропийного декодирования декодирует подаваемые в него кодированные данные, используя способ декодирования, соответствующий способу кодирования, выполненному модулем 155 энтропийного кодирования (фиг.2), для получения данных коэффициента. Сгенерированные данные коэффициента сохраняют в модуле 162 буфера коэффициента. Модуль 163 обратного вейвлет-преобразования использует данные коэффициента, сохраненные в модуле 162 буфера коэффициента, для выполнения комбинированной обработки фильтрации (обратное вейвлет-преобразование) используя фильтры комбинирования, и снова сохраняет результат обработки фильтрации в модуле 162 буфера коэффициента. Когда модуль 163 обратного вейвлет-преобразования повторяет эту обработку в соответствии с уровнем разложения и получает декодированные данные изображения (выходные данные изображения), модуль 163 обратного вейвлет-преобразования выводит их наружу.

Далее со ссылкой на блок-схему последовательности операций, показанную на фиг.8, будет описана примерная последовательность обработки передачи, выполняемая устройством 101 передачи по фиг.1.

Когда начинается обработка передачи, на этапе S101, модуль 111 управления получает информацию о линии 103 передачи, то есть, информацию, обозначающую работу в качестве линии 103 сети (или кабеля), подключенного к линии 103 передачи к модулю 114 передачи данных, из модуля 114 передачи данных. Например, когда была подключена сеть (или кабель), характеристики которой известны, это может быть информация, обозначающая тип сети (или кабеля).

Следует отметить, что, когда модуль 114 передачи данных может быть подключен только к одному специфичному типу сети (или кабелю), необходимо только, чтобы модуль 114 передачи данных предоставлял информацию, относящуюся к заданной сети (или кабелю) в модуль 111 управления. Когда модуль 114 передачи данных имеет множество типов портов и его можно подключать к множеству типов сетей (или кабелей), модуль 114 передачи данных идентифицирует подключенную в данный момент времени линию 103 передачи и обеспечивает информацию, относящуюся к этой линии 103 передачи.

Когда модуль 111 управления получает информацию о линии 103 передачи, модуль 111 управления определяет на этапе S102, превышает или нет скорость передачи битов данных изображения разрешенную для передачи скорость передачи битов в линии 103 передачи, то есть, максимальную скорость передачи битов, при которой можно осуществлять передачу. Когда определяют, что скорость передачи битов данных изображения, предназначенных для передачи, выше, и, таким образом, невозможно передать данные изображения, в том виде, как они есть, как данные основной полосы пропускания, модуль 111 управления переводит обработку на этап S103.

На этапе S103, модуль 111 управления подает входные данные изображения в модуль 113 кодирования и управляет модулем 112 переключения для кодирования данных изображения в модуле 113 кодирования. На этапе S104, под управлением модуля 111 управления, модуль 113 кодирования кодирует данные изображения в основной полосе пропускания, переданные через модуль 112 переключения, для генерирования кодированных данных, и уменьшает скорость передачи битов данных, предназначенных для передачи. На этапе S105, модуль 114 передачи данных передает кодированные данные, которые получают в результате кодирования, выполненного модулем 113 кодирования, в устройство 102 приема через линию 103 передачи, и заканчивают обработку передачи.

В качестве альтернативы, когда определяют на этапе S102, что скорость передачи битов данных изображения, предназначенных для передачи, ниже, чем разрешенная для передачи скорость передачи битов, данные изображения могут быть переданы, как данные в основной полосе пропускания. В соответствии с этим, модуль 111 управления переводит обработку на этап S106 и управляет модулем 112 переключения, так, чтобы не подавать входные данные изображения в модуль 113 кодирования. Под его управлением, модуль 112 переключения подает входные данные изображения в основной полосе пропускания в модуль 114 передачи данных. На этапе S107, модуль 114 передачи данных передает данные изображения в основной полосе пропускания, которые были поданы из модуля 112 переключения, в устройство 102 приема через линию 103 передачи, и заканчивает обработку передачи.

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.9, будет описана примерная последовательность обработки кодирования, выполняемая на этапе S104 по фиг.8.

Когда начинается обработка кодирования, модуль 151 вейвлет-преобразования в модуле 113 кодирования инициализирует на этапе S121 номер А участка, предназначенного для обработки. Например, номер А устанавливают равным "1". Когда установка будет закончена, модуль 151 вейвлет-преобразования получает на этапе S122 данные изображения, эквивалентные количеству строк (то есть, один участок), требуемому для генерирования А-ой строки сверху в подполосах самой нижней частоты. На этапе S123 модуль 151 вейвлет-преобразования выполняет для этих данных изображения обработку фильтрации вертикального анализа, состоящую в выполнении фильтрации анализа данных изображения, расположенных в вертикальном направлении экрана, и, на этапе S124, выполняет обработку фильтрации горизонтального анализа, состоящую в выполнении обработки фильтрации анализа данных изображения, расположенных в горизонтальном направлении экрана.

На этапе S125 модуль 151 вейвлет-преобразования определяет, были или нет выполнены обработки фильтрации анализа до конечного уровня. Когда определяют, что уровень разложения не достиг конечного уровня, обработка возвращается на этап S123, и обработки фильтрации анализа на этапе S123 и на этапе S124 повторяют для текущего уровня разложения.

Когда на этапе S5 определяют, что обработки фильтрации анализа были выполнены, вплоть до конечного уровня, обработка переходит на этап S126.

На этапе S126 модуль 154 изменения порядка коэффициента изменяет порядок коэффициенты участка А (А-ый участок от верхней части изображения (кадр или поле)) на порядок от низкой частоты к высокой частоте. На этапе S127 модуль 55 энтропийного кодирования выполняет энтропийное кодирование коэффициентов с последовательным приращением по одной строке.

На этапе S128, модуль 151 вейвлет-преобразования выполняет последовательное приращение величины номера А на "1" для получения следующего участка для обработки. На этапе S129 определяют, существует или нет необработанная входная строка изображения в изображении (кадре или поле), предназначенном для обработки. Когда определяют, что существует необработанная входная строка изображения, обработка возвращается на этап S122, и обработку после этого повторяют по новому участку, предназначенному для обработки.

Как отмечено выше, обработку на этапе S122 - этапе S129 выполняют повторно, и каждый участок кодируют. После этого, когда на этапе S129 определяют, что не существует необработанных входных строк изображения, обработку кодирования этого изображения заканчивают. Новая обработка кодирования начинается для следующего изображения.

Поскольку модуль 151 вейвлет-преобразования последовательно выполняет обработку фильтрации вертикального анализа и обработку фильтрации горизонтального анализа, таким образом, с последовательными приращениями участка, вплоть до конечного уровня, по сравнению с обычным способом, количество данных, которое требуется содержать (размещать в буфере), в один момент времени (одновременно), мало, и объем памяти буфера, который следует подготовить, можно существенно уменьшить. Кроме того, поскольку обработку анализа фильтрации выполняют вплоть до конечного уровня, такие обработки, как изменение порядка коэффициентов и энтропийное кодирование можно выполнять на последующих этапах (то есть, изменение порядка коэффициентов и энтропийное кодирование можно выполнять с последовательными приращениями, равными одному участку). Поэтому, время задержки может быть существенно уменьшено, по сравнению со способом выполнения вейвлет-преобразования по всему экрану.

Кроме того, как отмечено выше, на основе скорости передачи битов данных изображения, предназначенных для передачи, и разрешенной для передачи скорости передачи битов линии 103 передачи, устройство 101 передачи может определять, следует или нет сжимать данные изображения. В соответствии с этим, устройство 101 передачи может предотвращать ненужное сжатие данных изображения или передачу данных изображения без обработки, как данные изображения в основной полосе пропускания, со скоростью передачи битов, при которой нельзя выполнить передачу. Поэтому устройство 101 передачи может передавать данные изображения с высоким качеством и малой задержкой в более разнообразных ситуациях.

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.10, будет описана примерная последовательность обработки приема, выполняемой устройством 102 приема по фиг.1.

Когда начинается обработка приема, на этапе S141, модулем 122 передачи данных управляют с помощью модуля 121 управления, и он принимает данные, переданные из устройства 101 передачи. На этапе S142 модуль 122 передачи данных определяет, являются или нет принятые данные кодированными данными. Когда определяют, что принятые данные являются кодированными данными, модуль 122 передачи данных передает обработку на этап S143.

На этапе S143 модуль 161 энтропийного декодирования в модуле 124 декодирования выполняет энтропийное декодирование кодированных данных. На этапе S144 модуль 163 обратного вейвлет-преобразования выполняет фильтрацию вертикального комбинирования данных коэффициента. На этапе S145 модуль 163 обратного вейвлет-преобразования выполняет фильтрацию горизонтального комбинирования данных коэффициента. На этапе S145 модуль 163 обратного вейвлет-преобразования определяет, была или нет закончена фильтрация комбинирования, вплоть до уровня 1. Когда определяют, что фильтрация комбинирования не была закончена, обработка возвращается на этап S144, и фильтрацию комбинирования продолжают. Когда определяют, что фильтрация комбинирования была закончена, вплоть до уровня 1, обработка переходит на этап S147.

В качестве альтернативы, когда на этапе S142 определяют, что принятые данные представляют собой данные изображения в основной полосе пропускания, модуль 122 передачи данных переводит обработку на этап S147.

На этапе S147 модуль 121 управления определяет, следует ли закончить обработку приема. Когда определяют, что не следует закончить обработку приема, обработка возвращается на этап S141, и обработку после этого повторяют. В качестве альтернативы, когда на этапе S147 определяют, что обработку приема следует закончить, модуль 121 управления прекращает обработку приема.

Как отмечено выше, устройство 102 приема может принимать данные и выполнять обработку декодирования в соответствии с необходимостью. Поэтому, устройство 102 приема может передавать данные изображения с высоким качеством и малой задержкой в более разнообразных ситуациях.

Различные обработки, как описано выше, могут соответствующим образом выполняться параллельно, как показано на фиг.11 в качестве примера.

На фиг.11 показана схема, представляющая структуру примера параллельной работы отдельных элементов обработки, выполняемой отдельными модулями модуля 113 кодирования, показанного на фиг.2, и модуля 124 декодирования, показанного на фиг.7. Эта фиг.11 соответствует фиг.5 и фиг.6, описанным выше. Первое вейвлет-преобразование WT-1 (позиция В на фиг.11) применяют к входу In-1 (позиция А на фиг.11) данных изображения и в модуле 151 вейвлет-преобразования (фиг.2). Как было описано со ссылкой на фиг.5, такое первое вейвлет-преобразование WT-1 начинают в момент времени, в который вводят первые три строки и генерируют коэффициент С1. Таким образом, возникает задержка, эквивалентная трем строкам, от момента ввода данных изображения In-1, до начала вейвлет-преобразования WT-1.

Сгенерированные данные коэффициента сохраняют в модуле 153 буфера изменения порядка коэффициента (фиг.2). После этого, вейвлет-преобразование применяют к входным данным изображения, и, когда первая обработка будет закончена, обработка непосредственно переходит ко второму вейвлет-преобразованию WT-2.

Параллельно вводу данных изображения In-2 для второго вейвлет-преобразования WT-2, и обработке второго вейвлет-преобразования WT-2, выполняют изменение порядка Ord-1 трех из коэффициента С1, коэффициента С4 и коэффициента С5, с помощью модуля 154 изменения порядка коэффициента (фиг.2) (позиция С на фиг.11).

Следует отметить, что задержка от завершения вейвлет-преобразования WT-1, до начала изменения порядка Ord-1 представляет собой задержку, основанную на конфигурации устройства или системы, такую как задержка, связанная с передачей сигнала управления для инструктирования модуля 154 изменения порядка коэффициента выполнить обработку изменения порядка, задержка, требуемая для начала обработки, выполненной модулем 154 изменения порядка коэффициента, в ответ на сигнал управления, и задержка, требуемая для обработки программы, и представляет собой не существенную задержку при обработке кодирования.

Элементы данных коэффициента считывают из модуля 153 буфера изменения порядка коэффициента, в порядке, в котором они были закончены, во время изменения порядка, и передают в модуль 155 энтропийного кодирования (фиг.2), и выполняют их энтропийное кодирование ЕС-1, (позиция D на фиг.11). Такое энтропийное кодирование ЕС-1 может начинаться без ожидания завершения изменения порядка всех трех коэффициентов: коэффициента С1, коэффициента С4 и коэффициента С5. Например, в момент времени, в который изменение порядка одной строки на основе коэффициента С5, который выводят первым, заканчивается, может быть начато энтропийное кодирование коэффициента С5. В этом случае задержка от начала обработки изменения порядка Ord-1 до начала обработки энтропийного кодирования ЕС-1 эквивалентна одной строке.

Заданную обработку сигналов применяют к кодированным данным, для которых было закончено энтропийное кодирование ЕС-1, выполненное модулем 155 энтропийного кодирования, и затем передают в модуль 124 декодирования (фиг.7) (позиция Е на фиг.11).

Как отмечено выше, после ввода данных изображения, эквивалентных семи строкам, в соответствии с первой обработкой, элементы данных изображения до строки нижнего конца экрана последовательно вводят в модуль 113 кодирования. В соответствии с вводом In-n (n равняется 2 или больше) данных изображения, модуль 113 кодирования выполняет вейвлет-преобразование WT-n, изменяя порядок Ord-n и порядок энтропийного кодирования ЕС-n каждые четыре строки, как описано выше. Изменение порядка Ord и порядка энтропийного кодирования ЕС (ЭК) в модуле 113 кодирования, в ответ на последнюю обработку, выполняют по шести строкам. Эту обработку выполняют параллельно в модуле 113 кодирования, как представлено в позиции А на фиг.11 - в позиции D на фиг.11.

Кодированные данные, которые были кодированы при выполнении энтропийного кодирования ЕС-1 с помощью модуля 113 кодирования, передают в модуль 124 декодирования. Модуль 161 энтропийного декодирования (фиг.7) в модуле 124 декодирования последовательно выполняет декодирование iEC-1 энтропийного кодирования кодированных данных, которые были кодированы с использованием энтропийного кодирования ЕС-1, которые были переданы в него, и восстанавливает данные коэффициента (позиция F на фиг.11). Элементы восстановленных данных коэффициента последовательно сохраняют в модуле 162 буфера. Когда такое количество элементов данных коэффициента, которое требуется для выполнения обратного вейвлет-преобразования, сохраняют в модуле 162 буфера, модуль 163 обратного вейвлет-преобразования считывает данные коэффициента из модуля 162 буфера и выполняет обратное вейвлет-преобразование iWT-1, используя считанные данные коэффициента (позиция G на фиг.11).

Как было описано со ссылкой на фиг.5, обратное вейвлет-преобразование iWT-1, выполняемое модулем 163 обратного вейвлет-преобразования, может начинаться в момент времени, в который коэффициент С4 и коэффициент С5 сохраняют в модуле 162 буфера. Поэтому задержка от момента начала декодирования iEC-1, выполняемого модулем 161 энтропийного декодирования, до начала обратного вейвлет-преобразования iWT-1, выполняемого модулем 163 обратного вейвлет-преобразования, эквивалентна двум строкам.

Когда обратное вейвлет-преобразование iWT-1, эквивалентное трем строкам первого вейвлет-преобразования, заканчивают в модуле 163 обратного вейвлет-преобразования, выход Out-1 данных изображения, генерируемых при обратном вейвлет-преобразовании iWT-1, выполняют (позиция Н на фиг.11). Через выход Out-1, как было описано, используя фиг.5 и фиг.6, выводят данные изображения первой строки.

Последовательно вводу данных кодированного коэффициента, эквивалентных трем строкам первой обработки, выполняемой модулем 113 кодирования, элементы данных коэффициента, кодированных при энтропийном кодировании ЕС-n (n равно 2 или больше), последовательно вводят в модуль 124 декодирования. Модуль 124 декодирования выполняет энтропийное декодирование iEC-n и обратное вейвлет-преобразование iWT-n вводимых данных коэффициента через каждые четыре строки, и последовательно выполняет вывод Out-n данных изображения, восстановленных при обратном вейвлет-преобразовании iWT-n, как было описано выше. Энтропийное декодирование iEC и обратное вейвлет-преобразование iWT, в ответ на выполненное в последний раз модулем 113 кодирования, выполняют по шести строкам, и на выход Out выводит восемь строк. Эту обработку выполняют параллельно в модуле 124 декодирования, как представлено в позиции F на фиг.11 - позиции Н на фиг.11.

В результате выполнения отдельной обработки в модуле 113 кодирования и модуле 124 декодирования параллельно, в порядке от верхнего участка до нижнего участка экрана, как было описано выше, обработку сжатия изображения и обработку декодирования изображения можно выполнять с меньшей задержкой.

Как показано на фиг.11, рассчитывают время задержки от ввода изображения до вывода изображения, в случае, когда выполняют вейвлет-преобразование вплоть до уровня разложения = 2, используя фильтр 5×3. Время задержки от момента ввода данных изображения первой строки в модуль 113 кодирования, до момента, когда данные изображения первой строки выводят из модуля 124 декодирования, представляет собой общую сумму следующих отдельных элементов. Следует отметить, что здесь исключена задержка, которая отличается в зависимости от конфигурации системы, такая, как задержка при передаче строки, или задержка, связанная с фактическим временем обработки каждого модуля устройства.

(1) Задержка D_WT от первой вводимой строки до завершения вейвлет-преобразования WT-1, которое эквивалентно семи строкам

(2) Время D_Ord, связанное с изменением порядка подсчета Ord-1, эквивалентным трем строкам

(3) Время D_EC, связанное с энтропийным кодированием ЕС-1, эквивалентным трем строкам

(4) Время D_iEC, связанное с энтропийным декодированием iEC-1, эквивалентным трем строкам

(5) Время D_iWT, связанное с обратным вейвлет-преобразованием iWT-1, эквивалентным трем строкам

Со ссылкой на фиг.11 сделана попытка расчета времени задержки каждого из отдельных элементов, описанных выше. Задержка D_WT в пункте (1) представляет собой время, эквивалентное десяти строкам. Каждый раз, когда D_Ord в пункте (2) представляет собой время D_EC в пункте (3), время D_iEC в пункте (4) и время D_iWT в пункте (5), представляет собой время, эквивалентное трем строкам. Кроме того, энтропийное кодирование ЕС-1 может начинаться в модуле 121 кодирования, через одну строку после начала изменения порядка Ord-1. Аналогично, обратное вейвлет-преобразование iWT-1 может начинаться в модуле 36 декодирования, через две строки после начала энтропийного декодирования iEC-1. Кроме того, энтропийное декодирование iEC-1 может начинать обработку в момент времени, в который кодирование, эквивалентное одной строке, заканчивается при энтропийном кодировании ЕС-1.

Поэтому, в примере, показанном на фиг.11, время задержки от ввода данных изображения первой строки в модуль 113 кодирования, до вывода данных изображения первой строки из модуля 124 декодирования эквивалентно 10+1+1+2+3=17 строкам.

Рассмотрим время задержки, используя более конкретный пример. В случае, когда входные данные изображения представляют собой видеосигнал с чередованием, на основе HDTV (телевидение высокой четкости, ТВВЧ), например, один кадр конфигурируют с возможностью разрешения 1920 пикселей × 1080 строк, и одно поле состоит из 1920 пикселей × 540 строк. Поэтому, когда предполагается, что частота кадров равна 30 Гц, 540 строк, используемых как одно поле, вводят в модуль 113 кодирования в течение времени 16,67 мс (=1 секунда/60 полей).

Поэтому время задержки, связанное с вводом данных изображения, эквивалентных семи строкам, составляет 0,216 мс (=16,67 мс × 7/540 строк), которое представляет собой очень короткое время, например, относительно времени обновления одного поля. Кроме того, что касается общей суммы описанной выше задержки D_WT в пункте (1), времени D_Ord в пункте (2), времени D_EC в пункте (3), времени D_iEC в пункте (4) и времени D_iWT в пункте (5), количество строк, которое требуется обработать, также мало, и, соответственно, время задержки будет значительно уменьшено.

Выше было описано, что кодированием данных изображения управляют на основе взаимосвязи высокая/низкая между разрешенной для передачи скоростью передачи битов в линии 103 передачи и скоростью передачи битов данных изображения, предназначенных для передачи. В качестве альтернативы, например, путем фактического измерения полосы пропускания линии 103 передачи между устройством 101 передачи и устройством 102 приема перед передачей данных изображения, можно управлять решением, следует или нет кодировать данные изображения в устройстве 101 передачи, не используя разрешенную для передачи скорость передачи битов в линии 103 передачи, в качестве стандарта, но используя фактически разрешенную для передачи скорость передачи битов (измеряемое значение) в данный момент времени.

Следует отметить, что, с целью осуществления этого, требуется, чтобы проект линии 103 передачи поддерживал обмен информацией между устройством 101 передачи и устройством 102 приема перед передачей данных изображения. Кроме того, при условии, что данные изображения должны быть кодированы, измеренное значение может использоваться как скорость передачи битов для кодированных данных. Таким образом, устройство 101 передачи может выполнять кодирование данных изображения, используя измеренное значение, в качестве целевой скорости передачи битов. Например, когда линия 103 передачи совместно используется с другой системой или тому подобное, доступная полоса пропускания линии 103 передачи может изменяться в соответствии со временем или ситуацией. Когда такая доступная полоса пропускания является узкой, скорость передачи битов ограничивается низким значением. Когда доступная полоса пропускания имеет, например, некоторый запас, скорость передачи битов увеличивается. Управляя скоростью передачи битов кодированных данных в соответствии с доступной полосой пропускания линии 103 передачи, система 100 передачи данных может передавать данные изображения с высоким качеством и малой задержкой в более разнообразных ситуациях.

Кроме того, используя функцию обмена информацией между устройством 101 передачи и устройством 102 приема, перед передачей данных изображения, устройство 102 приема может предоставлять информацию, относящуюся к работе (включая в себя смысл "фактически требуемой работы") устройства 102 приема в устройство 101 передачи. Например, устройство 101 передачи может управлять решением, следует или нет кодировать данные изображения в зависимости от того, имеет или нет устройство 102 приема модуль 124 декодирования, соответствующий модулю 113 кодирования.

Кроме того, в случае предположения, что устройство 101 передачи кодирует данные изображения и передает кодированные данные изображения в устройство 102 приема, устройство 101 передачи может выполнять параметры настройки обработки кодирования, такие как разрешающая способность, скорость передачи битов и время задержки, на основе информации, относящейся к рабочим характеристикам устройства 102 приема.

Например, в некоторых случаях предусматривается, что разрешающая способность изображения во время вывода из устройства 102 приема ниже, чем разрешающая способность изображения во время ввода в устройство 101 передачи, например, как в случае низкой разрешающей способности изображения, которое отображают в устройстве дисплея, которое отображает изображение, выведенное из устройства 102 приема. В таком случае, когда кодированные данные для изображения с высокой разрешающей способностью выводят из устройства 101 приема, не только будет напрасно занятой полоса линии 103 передачи, но также и ненужная нагрузка будет приложена к устройству 102 приема, что не имеет смысла. Кроме того, например, когда имеется ограничение по времени задержки во всей системе 100 передачи, в зависимости от времени задержки в процессе декодирования, предусматривается, что необходимо ограничить допустимое время задержки при обработке кодирования.

Поэтому, когда информацию, относящуюся к рабочей характеристике устройства 102 приема, поставляют в устройство 101 передачи перед передачей данных изображения, и устройство 101 передачи выполняет установки обработки кодирования на основе этой информации, устройство 101 передачи может более соответствующим образом выполнять обработку кодирования. Таким образом, система 100 передачи может передавать данные изображения с высоким качеством и малой задержкой в более разнообразных ситуациях.

МИВЧ представляет собой пример линии 103 передачи, имеющей функцию согласования между устройством 101 передачи и устройством 102 приема, перед передачей таких данных изображения. Далее будет описана МИВЧ. В следующем описании предполагается, что линия 103 передачи представляет собой кабель МИВЧ (также может называться кабелем 103 МИВЧ).

Модуль 114 передачи данных (модуль передачи МИВЧ) устройства 101 передачи считывает через кабель 103 МИВЧ из модуля 122 передачи данных (модуль приема МИВЧ) устройства 102 приема, E-EDID (У-РДИД, улучшенные расширенные данные идентификации дисплея) модуля 122 передачи данных через КОД (канал данных дисплея). Данные У-РДИД включают в себя информацию, относящуюся к работе устройства 102 приема, такую как разрешающая способность, обрабатываемая устройством 102 приема, время задержки при обработке декодирования, глубина в битах и частота кадров.

На фиг.12 показана примерная структура данных У-РДИД. Такие данные У-РДИД состоят из основного блока и расширенного блока. В заголовке основного блока размещены данные, которые представлены как "E-EDID 1.3 основная структура" и которые определены в стандарте E-EDID 1.3. После этого помещена информация о времени, которая представлена как "Предпочтительное время" и предназначена для сохранения совместимости с известным РДИД, и информация о времени, которая представлена как "2-ая информация времени", отличается от "Предпочтительного времени", и предназначена для поддержания совместимости с известным РДИД.

Также в основном блоке, после "2-ого момента времени", последовательно размещены информация, которая представлена как "НАЗВАНИЕ монитора" и обозначает название устройства дисплея, и информация, которая представлена как "Ограничения диапазона монитора" и обозначает количество отображаемых пикселей, при соотношении размеров 4:3 и при соотношении размеров 16:9.

В начале расширенного блока помещена информация, которая представлена как "Назначение громкоговорителя" и относится к тому, как размещены левый и правый громкоговорители. После этого, последовательно размещены данные, которые представлены как данные "VIDEO SHORT" (короткая видеозапись), и описывают информацию, такую как размер (разрешающая способность) изображения, пригодного для отображения, скорость следования кадров, информация, обозначающая, является ли режим режимом с чередованием или прогрессивным режимом, и соотношение размеров, данные, которые представлены как "AUDIO SHORT" (короткая аудиозапись), и описывают информацию, такую как схема кодека аудиоданных, которые могут быть воспроизведены, частота выборки, полоса среза и количество битов кодека, и информация, которая представлена как "Назначение громкоговорителя", и относится к левому и правому громкоговорителям.

Также в расширенном блоке, после "Назначения громкоговорителя", расположены данные, которые представлены как "Специфичный для поставщика", и уникально идентифицированы для каждого изготовителя, информация о времени, которая представлена как "3-е время" и предназначена для поддержки совместимости с известным РДИД, и информация о времени, которая представлена как "4-ое время", и предназначена для поддержания совместимости с известным РДИД.

На фиг.13 показан пример видеоданных в области VIDEO SHORT. От байта №1 до байта №L в области VIDEO SHORT, среди форматов видеосигнала, определенных стандартом, называемым СЕА (АПЭ, Ассоциация потребителей бытовых электронных устройств) - 861-D, формат, который может обрабатываться устройством 102 приема, представлен как комбинация разрешающей способности, частоты кадров и соотношения размеров.

На фиг.14 показана примерная структура данных в области, специфичной для поставщика. В этой области, специфичной для поставщика предусмотрены 0-ый блок - N-й блок, которые представляют собой блоки размером 1 байт.

В 0-м блоке, размещенном в начале данных, представленных как "Специфичный для поставщика", помещен заголовок, который представлен как "Код (=3) тега, специфичный для поставщика", и обозначает область данных для данных "Специфичных для поставщика", и информация, которая представлена как "Длина (=N)" и обозначает длину данных "Специфичных для поставщика".

Кроме того, в первом блоке - третьем блоке размещена информация, представленная как "24-битный идентификатор регистрации IEEE (0×000 С03), первый младший значащий бит" и обозначает количество "0×000 С03", зарегистрированных для МИВЧ(R). Кроме того, в четвертом блоке и пятом блоке размещены элементы информации, представленные как "А", "В", "С" и "D", соответственно, и обозначают физические адреса 24-битного устройства-потребителя.

В шестом блоке размещены флаг, который представлен как "Поддерживает АI" и обозначает функцию, поддерживаемую устройством-потребителем, элементы информации, которые представлены как "DC-48BIT", "DC-36BIT", и "DC-30BIT", соответственно, и определяют количество битов на пиксель, флаг, который представлен как " DC-Y444" и обозначает, поддерживает ли устройство-потребитель передачу изображения YCbCr 4:4:4, и флаг, который представлен как "DVI-Dual" и обозначает, поддерживает ли устройство-потребитель двойной ЦВИ (цифровой визуальный интерфейс).

Кроме того, в седьмом блоке размещена информация, которая представлена как "Max-TMDS-Clock" и обозначает максимальную тактовую частоту пикселя ДПМП (дифференциальная передача сигналов с минимизацией перепадов уровней). Кроме того, в восьмом блоке помещен флаг, который представлен как "Задержка", и обозначает наличие/отсутствие информации о задержке видео- и аудиоданных. Кроме того, в девятом блоке размещены данные о времени задержки, которые представлены как "Задержка видеоданных" и представляют собой прогрессивные видеоданные. В десятом блоке размещены данные о времени задержки, которые представлены как "Задержка аудиоданных" и представляют собой аудиоданные, сопровождающие прогрессивные видеоданные. Кроме того, в одиннадцатом блоке помещены данные о времени задержки, которые представлены как "Задержка видеоданных с чередованием" и представляют собой видеоданные с чередованием. В двенадцатом блоке помещены данные времени задержки, которые представлены как "Задержка аудиоданных с чередованием" и представляют собой аудиоданные, сопровождающие видеоданные с чередованием.

Например, устанавливая флаг "Задержка" в восьмом блоке и записывая данные о фактическом времени задержки в девятом блоке "Задержка видеоданных", время задержки модуля 124 декодирования может быть предоставлено в модуль 113 кодирования. Кроме того, в случае, когда изображение находится в формате с чередованием, данные о фактическом времени задержки могут быть записаны в одиннадцатый блок "Задержка видеоданных с чередованием".

Далее будут описаны модуль 114 передачи данных (модуль передачи МИВЧ) устройства 101 передачи и модуль 122 передачи данных (модуль приема МИВЧ) устройства 102 приема. На фиг.15 показана блок-схема, представляющая подробные примерные структуры модуля 114 передачи данных и модуля 122 передачи данных.

Устройство 114 передачи данных, который представляет собой модуль передачи МИВЧ, однонаправленно передает эффективный участок изображения, который представляет собой участок, полученный путем исключения участка гашения обратного хода луча строчной развертки и участка гашения обратного хода луча кадровой развертки из участка от одного сигнала вертикальной синхронизации до следующего сигнала вертикальной синхронизации (ниже также называется активным видео участком в соответствии с необходимостью), дифференциальный сигнал, соответствующий данным пикселя изображения, эквивалентного одному несжатому экрану, используя множество каналов, в модуль 122 передачи данных, который представляет собой модуль приема МИВЧ. Кроме того, на участке гашения обратного хода луча строчной развертки или на участке гашения обратного хода луча вертикальной развертки, модуль 114 передачи данных, по меньшей мере, однонаправленно передает дифференциальные сигналы, соответствующие аудиоданным, сопровождающим изображение, данным управления и другим вспомогательным данным, используя множество каналов, в модуль 122 передачи данных.

Таким образом, модуль 114 передачи данных включает в себя передатчик 211 МИВЧ. Передатчик 211 МИВЧ преобразует, например, кодированные данные в соответствующий дифференциальный сигнал и последовательно однонаправленно передает этот дифференциальный сигнал, используя три канала №0, №1 и №2 ДПМП, которые представляют собой множество каналов, в модуль 122 передачи данных, соединенный с ним через кабель 103 МИВЧ.

Кроме того, передатчик 211 МИВЧ преобразует аудиоданные, сопровождающие кодированные данные, и дополнительно, необходимые данные управления, другие вспомогательные данные и т.п., в соответствующие дифференциальные сигналы, и последовательно однонаправлено передает эти дифференциальные сигналы, используя три канала №0, №1 и №2 ДПМП, в модуль 122 передачи данных, соединенный с ним через кабель 103 МИВЧ.

Кроме того, передатчик 211 МИВЧ передает тактовую частоту пикселя, синхронизированную с данными пикселя, которые требуется передать, используя три канала №0, №1 и №2 ДПМП, используя канал тактовой частоты ДПМП, в модуль 122 передачи данных, соединенный с ним, через кабель 103 МИВЧ. Здесь, по одному каналу №1 ДПМП (i=0, 1, 2), например, передают данные размером 10 бит, во время одного периода тактовой частоты пикселя.

На участке активных видеоданных модуль 122 передачи данных принимает дифференциальный сигнал, соответствующий данным пикселя, которые были однонаправленно переданы, используя множество каналов, из модуля 114 передачи данных. Кроме того, на участке гашения обратного хода луча строчной развертки или на участке гашения обратного хода луча кадровой развертки модуль 122 передачи данных принимает дифференциальные сигналы, соответствующие аудиоданным и данным управления, которые были однонаправленно переданы, используя множество каналов из модуля 114 передачи данных.

То есть, модуль 122 передачи данных включает в себя приемник 212 МИВЧ. Приемник 212 МИВЧ принимает дифференциальный сигнал, соответствующий данным пикселя, и дифференциальные сигналы, соответствующие аудиоданным и данным управления, которые были однонаправленно переданы с использованием каналов №0, №1 и №2 ДПМП из модуля 114 передачи данных, соединенного с ним через кабель 103 МИВЧ, синхронно с блоком пикселя, который также был передан из модуля 114 передачи данных, используя канал синхронизации ДПМП.

Каналы передачи в системе МИВЧ, включающей в себя модуль 114 передачи данных и модуль 122 передачи данных включают в себя, помимо трех каналов №0-№2 ДПМП, которые используются в качестве каналов передачи, для последовательной однонаправленной передачи кодированных данных и аудиоданных из модуля 114 передачи данных в модуль 122 передачи данных, синхронно с тактовой частотой пикселя, и канал синхронизации ДПМП, используемый как канал передачи, по которому передают тактовую частоту пикселя, каналы передачи, называемые КОД (Канал данных отображения) 213 и линию 214 СЕС.

КОД 213 состоит из двух линий сигнала, которые включены в кабель 103 МИВЧ и которые не показаны в чертежах. КОД 213 используется модулем 114 передачи данных, чтобы считывать У-РДИД из модуля 122 передачи данных, подключенного к нему через кабель 103 МИВЧ.

Таким образом, модуль 122 передачи данных включает в себя, помимо приемника 212 МИВЧ, ROM (ПЗУ, постоянное запоминающее устройство) 215 РДИД, в котором сохранены данные У-РДИД, представляющие информацию рабочих характеристик, относящихся к рабочим характеристикам (конфигурация/возможности) его самого.

Модуль 114 передачи данных считывает У-РДИД из модуля 122 передачи данных через КОД 213 из модуля 122 передачи данных, подключенного к нему через кабель 103 МИВЧ, и на основе этих У-РДИД распознает, например, формат (профиль) изображения, поддерживаемого электронным устройством, включающим в себя модуль 122 передачи данных, такой как RGB, YCbCr 4:4:4, YCbCr 4:2:2 или YCbCr 4:2:0.

Линия 214 СЕС состоит из одной линии сигнала, которая включена в кабель 103 МИВЧ и которая не показана на чертежах. Строка 214 СЕС используется для выполнения двусторонней передачи данных управления между модулем 114 передачи данных и модулем 122 передачи данных.

Кроме того, кабель 103 МИВЧ включает в себя линию 216, которая должна быть соединена с выводом, называемым HPD (ДОП, детектирование оперативного подключения). Устройство источника может детектировать соединение устройства потребителя, используя эту линию 216. Кроме того, кабель 103 МИВЧ включает в себя линию 217, используемую для подачи питания от устройства источника в устройство-потребитель. Далее, кабель 103 МИВЧ включает в себя зарезервированную линию 218 для расширения.

На фиг.16 показаны примерные структуры передатчика 211 МИВЧ и приемника 212 МИВЧ по фиг.15.

Передатчик 211 МИВЧ включает в себя три кодера/параллельно-последовательных преобразователей 211А, 211В и 211C, соответствующих трем каналам №0, №1 и №2 ДПМП, соответственно. Каждый из кодеров/параллельно-последовательных преобразователей 211А, 211В и 211С кодирует данные изображения, вспомогательные данные и данные управления, передаваемые в них, преобразует переданные данные из параллельных данных в последовательные данные и передает последовательные данные как дифференциальные сигналы. Здесь, когда данные изображения имеют, например, три компонента R (красный), G (зеленый) и В (синий), компонент В подают в кодер/параллельно-последовательный преобразователь 211А; компонент G подают в кодер/параллельно-последовательный преобразователь 211В; и компонент R подают в кодер/параллельно-последовательный преобразователь 211С.

Кроме того, вспомогательные данные включают в себя, например, аудиоданные и пакеты управления. Пакеты управления подают в, например, кодер/параллельно-последовательный преобразователь 211А, и аудиоданные подают в кодеры/параллельно-последовательные преобразователи 211В и 211C.

Далее, данные управления включает в себя 1-битовый сигнал вертикальной синхронизации (VSYNC), 1-битовый сигнал горизонтальной синхронизации (HSYNC) и 1-битовые контрольные биты CTL0, CTL1, CTL2 и CTL3. Сигнал вертикальной синхронизации и сигнал горизонтальной синхронизации подают в кодер/параллельно-последовательный преобразователь 211А. Биты CTL0 и CTL1 управления подают в кодер/параллельно-последовательный преобразователь 211В, и служебные биты CTL2 и CTL3 подают в кодер/параллельно-последовательный преобразователь 211C.

Кодер/параллельно-последовательный преобразователь 211А передает компонент В данных изображения, сигнал вертикальной синхронизации, сигнал горизонтальной синхронизации и вспомогательные данные, которые поступают в него, с разделением по времени. То есть кодер/параллельно-последовательный преобразователь 211А рассматривает компонент В изображения, подаваемый в него, как параллельные данные с последовательными приращениями по восемь бит, которые представляют собой фиксированное количество битов. Кроме того, кодер/параллельно-последовательный преобразователь 211А кодирует параллельные данные, преобразует кодированные параллельные данные в последовательные данные, и передает эти последовательные данные, используя канал №0 ДПМП.

Кроме того, кодер/параллельно-последовательный преобразователь 211А кодирует 2-битные параллельные данные сигнала вертикальной синхронизации и сигнала горизонтальной синхронизации, подаваемое в него, преобразует кодированные параллельные данные в последовательные данные, и передает эти последовательные данные, используя канал №0 ДПМП. Кроме того, кодер/параллельно-последовательный преобразователь 211А рассматривает вспомогательные данные, поданные в него, как параллельные данные с последовательными приращениями по четыре бита. Затем, кодер/параллельно-последовательный преобразователь 211А кодирует параллельные данные, преобразует кодированные параллельные данные в последовательные данные, и передает последовательные данные, используя канал №0 ДПМП.

Кодер/параллельно-последовательный преобразователь 211В передает компонент G данных изображения, биты CTL0 и CTL1 управления, и вспомогательные данные, которые поступают в него, с разделением по времени. То есть кодер/параллельно-последовательный преобразователь 211В рассматривает компонент G данных изображения, подаваемых в него, как параллельные данные с последовательными приращениями по восемь битов, которые представляют собой фиксированное количество битов. Кроме того, кодер/параллельно-последовательный преобразователь 211В кодирует параллельные данные, преобразует кодированные параллельные данные в последовательные данные, и передает эти последовательные данные, используя канал №1 ДПМП.

Кроме того, кодер/параллельно-последовательный преобразователь 211В кодирует 2-х битные параллельные данные битов CTL0 и CTL1 управления, подаваемых в него, преобразует кодированные параллельные данные в последовательные данные, и передает последовательные данные, используя канал №1 ДПМП. Кроме того, кодер/параллельно-последовательный преобразователь 211В рассматривает вспомогательные данные, подаваемые его, как параллельные данные с последовательным приращением по четыре бита. Затем кодер/параллельно-последовательный преобразователь 211В кодирует параллельные данные, преобразует эти кодированные параллельные данные в последовательные данные, и подает последовательные данные, используя канал №1 ДПМП.

Кодер/параллельно-последовательный преобразователь 211С передает компонент R данных изображения, биты CTL2 и CTL3 управления, и вспомогательные данные, которые поступают в него, с разделением по времени. То есть кодер/параллельно-последовательный преобразователь 211С рассматривает компонент R данных изображения, подаваемых в него, как параллельные данные с последовательным приращением по восемь битов, которые представляют собой фиксированное количество битов. Кроме того, кодер/параллельно-последовательный преобразователь 211С кодирует параллельные данные, преобразует эти кодированные параллельные данные в последовательные данные, и передает последовательные данные, используя канал №2 ДПМП.

Кроме того, кодер/параллельно-последовательный преобразователь 211C кодирует 2-х битовые параллельные данные битов CTL2 и CTL3 управления, подаваемых в него, преобразует кодированные параллельные данные в последовательные данные, и передает последовательные данные, используя канал №2 ДПМП. Кроме того, кодер/параллельно-последовательный преобразователь 211С рассматривает вспомогательные данные, подаваемые в него, как параллельные данные с приращениями четыре бита. Затем кодер/параллельно-последовательный преобразователь 211С кодирует параллельные данные, преобразует кодированные параллельные данные в последовательные данные, и передает последовательные данные, используя канал №2 ДПМП.

Приемник 212 МИВЧ включает в себя три восстановителя/декодера 212А, 212В и 212С, соответствующие трем каналам №0, №1 и №2 ДПМП, соответственно. Затем восстановители/декодеры 212А, 212В и 212С принимают данные изображения, вспомогательные данные и данные управления, переданные как дифференциальные сигналы, используя каналы №0, №1 и №2 ДПМП, соответственно. Кроме того, каждый из восстановителей/декодеров 212А, 212В и 212С преобразует данные изображения, вспомогательные данные и данные управления из последовательных данных в параллельные данные, декодирует параллельные данные и выводит декодированные параллельные данные.

То есть восстановитель/декодер 212А принимает компонент В данных изображения, сигналы вертикальной синхронизации, сигнал горизонтальной синхронизации и вспомогательные данные, которые передают как дифференциальные сигналы, используя канал №0 ДПМП. Затем восстановитель/декодер 212А преобразует компонент В данных изображения, сигнал вертикальной синхронизации, сигнал горизонтальной синхронизации и вспомогательные данные из последовательных данных в параллельные данные, декодирует параллельные данные и выводит декодированные параллельные данные.

Восстановитель/декодер 212В принимает компонент G данных изображения, преобразует биты CTL0 и CTL1 управления и вспомогательные данные, которые передают как дифференциальные сигналы, используя канал №1 ДПМП. Затем восстановитель/декодер 212В преобразует компонент G данных изображения, биты CTL0 и CTL1 управления, и вспомогательные данные из последовательных данных в параллельные данные, декодирует параллельные данные и выводит декодированные параллельные данные.

Восстановитель/декодер 212С принимает компонент R данных изображения, биты CTL2 и CTL3 управления, и вспомогательные данные, которые передают как дифференциальные сигналы, используя канал №2 ДПМП. Затем, восстановитель/декодер 212С преобразует компонент R данных изображения, биты CTL2 и CTL3 управления, и вспомогательные данные из последовательных данных в параллельные данные, декодирует параллельные данные и выводит декодированные параллельные данные.

На фиг.17 показан пример участка передачи (периода), в который передают различные элементы данных передачи, используя три канала №0, №1 и №2 ДПМП в МИВЧ. Следует отметить, что на фиг.17 показаны участки различных элементов данных передачи, в случае, когда передают прогрессивное изображение, имеющее 720×480 пикселей (ширина × высота), используя каналы №0, №1 и №2 ДПМП.

В видеополе, в котором передают данные передачи, используя три канала №0, №1 и №2 ДПМП в МИВЧ, в соответствии с типом данных передачи, существуют три типа участков: участки видеоданных (период VideoData), отдельные участки данных (отдельный период данных), и участки управления (период управления).

Здесь участок видеополя представляет собой участок от активного фронта сигнала вертикальной синхронизации до активного фронта следующего сигнала вертикальной синхронизации. Участок видеополя может быть разделен на участки активного видеополя (Активные видеоданные), которые представляют собой участки, полученные путем исключения из периода (гашения обратного хода луча строчной развертки), периода гашения обратного хода луча кадровой развертки (verticalblanking), и участка видеополя, период гашения обратного хода луча строчной развертки и период гашения обратного хода луча кадровой развертки.

Участки видеоданных назначены активным видеоучасткам. На участках видеоданных передают данные активных пикселей, эквивалентные 720 пикселей × 480 строк, составляют данные изображения, эквивалентные одному несжатому экрану, или данные, полученные в результате их сжатия.

Отдельные участки данных и участки управления назначают периодам гашения обратного хода луча строчной развертки и периодам гашения обратного хода луча кадровой развертки. На отдельных участках данных и на участках управления передают вспомогательные данные.

То есть отдельные участки данных назначают участкам периода гашения обратного хода луча строчной развертки и периодам гашения обратного хода луча кадровой развертки. На отдельных участках данных, передают вспомогательные данные, данные, которые не относятся к управлению, такие как пакет аудиоданных.

Участки управления назначают другим участкам периода гашения обратного хода луча строчной развертки и периода гашения обратного хода луча кадровой развертки. На участках управления и вспомогательных данных передают данные, которые относятся к управлению, такие как сигнал вертикальной синхронизации, сигнал горизонтальной синхронизации и пакет управления.

Здесь в текущем МИВЧ частота синхронизации пикселей, передаваемых, используя канал синхронизации ДПМП, составляет например 165 МГц. В этом случае скорость передачи отдельного участка данных приблизительно составляет 500 Мбит/с.

На фиг.18 показана компоновка выводов разъемов 101 и 201 МИВЧ. Такая компоновка выводов представляет собой пример типа А (Туре-А).

Две линии, которые представляют собой дифференциальные линии, через которые передают ДПМП Data#i+ и ДПМП Data#i-, которые представляют собой дифференциальные сигналы канала №1 ДПМП, соединены с выводами, которым назначены ДПМП Data#i+ (выводы, номера выводов, которых равны 1, 4 и 7), и выводами, которым назначены ДПМП Data#i- (выводы, номера выводов, которых составляют 3, 6, и 9).

Кроме того, линия 214 СЕС, через которую подают сигнал СЕС, который представляет собой данные управления, соединена с выводом, номер вывода которого равен 13. Вывод, номер вывода которого равен 14, представляет собой пустой (зарезервированный) вывод. Кроме того, линия, через которую передают сигнал SDA (последовательные данные, ПД, SerialData), такой как У-РДИД, подключена к выводу, номер вывода которого равен 16. Линия, через которую передают сигнал SCL (ПТЧ, последовательная тактовая частота), которая представляет собой сигнал синхронизации, используемый для включения синхронизации во время передачи/приема сигнала ПД, подключена к выводу, номер вывода которого равен 15. Описанный выше КОД 213 состоит из линии, через которую передают сигнал ПД и линии, через которую передают сигнал ПТЧ.

Кроме того, как было описано выше, линия 216 для устройства источника, которая предназначена для детектирования соединения устройства-потребителя соединена с выводом, номер вывода которого представляет собой 19. Кроме того, как было описано выше, линия 217 подачи питания соединена с выводом с номером вывода 18.

Далее со ссылкой на блок-схему последовательности операции, показанную на фиг.19, будет описана примерная последовательность обработки согласования, выполняемой между передающим устройством 101 и приемным устройством 102 передачи данных изображения (кодированных данных).

Когда начинается обработка согласования, модуль 114 передачи данных в устройстве 101 передачи передает на этапе S201 пустые данные (кодированные данные) с заданной скоростью R передачи битов в устройство 102 приема через линию 103 передачи. На этапе S211 модуль 122 передачи данных в устройстве 102 приема принимает пустые данные. На этапе S212 модуль 124 декодирования в устройстве 102 декодирует пустые данные. На этапе S213 модуль 122 передачи данных передает информацию согласования, включающую в себя результат декодирования пустых данных, и информацию, относящуюся к устройству 102 приема, такую как наличие/отсутствие декодера, разрешающая способность, скорость передачи битов и время задержки, в устройство 101 передачи через линию 103 передачи.

Когда модуль 114 передачи данных принимает информацию согласования на этапе S202, модуль 111 управления определяет на этапе S203, был или нет прием пустых данных неудачным (то есть было или нет неудачным декодирование пустых данных). Когда определяют, что прием (декодирование) был успешным, модуль 111 управления переводит обработку на этап S204, на котором установку скорости R передачи битов последовательно увеличивают на AR, проводит обработку, обратную этапу S201, и инициирует модуль 114 передачи данных снова передать пустые данные с новой скоростью R передачи битов.

Модуль 111 управления повторяет предыдущую обработку и увеличивает скорость R передачи битов до тех пор, пока устройство 102 приема не примет успешно и декодирует пустые данные. Затем, когда определяют на этапе S203 на основе информации согласования, что устройство 102 приема неудачно приняло и декодировало пустые данные, модуль 111 управления переводит обработку на этапе S205, рассматривает предыдущую скорость R передачи битов (максимальное значение скорости R передачи битов, при которой устройство 102 приема успешно приняло и декодировало пустые данные), как конечную скорость передачи битов, и прекращает обработку согласования.

Далее со ссылкой на блок-схему последовательности операции, показанную на фиг.20, будет описана примерная последовательность обработки передачи, выполняемой устройством 101 передачи после выполнения предыдущей обработки согласования. Следует отметить, что в приведенном здесь описании предполагается, что кодированные данные, генерируемые данными кодирования изображения с использованием устройства 101 передачи, должны быть переданы в устройство 102 приема. Естественно, что как было описано выше, управление в отношении того, следует или нет выполнять кодирование, может быть комбинировано со следующей обработкой.

Когда начинается обработка передачи на этапе S231, модуль 111 управления получает информацию согласования из модуля 114 передачи данных. На этапе S232, модуль 111 управления устанавливает целевое значение скорости передачи битов при обработке кодирования, выполняемой модулем 113 кодирования, на основе информации максимальной скорости передачи битов, при которой устройство 102 (модуль 124 декодирования) может выполнять обработку, которая включена в информацию согласования, или фактическую максимальную скорость передачи битов, которая представляет собой результат измерения, проводимого во время описанной выше обработки согласования. Например, модуль 111 управления может предпочтительно устанавливать фактически измеренную максимальную скорость передачи битов как целевую скорость передачи битов. В качестве альтернативы максимальной скорости передачи битов, при которой устройство 102 приема (модуль 124 декодирования) может выполнять обработку, и фактической максимальной скорости передачи битов, модуль 111 управления может устанавливать скорость с меньшим значением в качестве целевой скорости передачи битов.

На этапе S233, модуль 111 управления устанавливает разрешающую способность при обработке кодирования, выполняемой модулем 113 кодирования на основе информации согласования. Поскольку кодированные данные располагаются с последовательными приращениями компонента частоты, путем выполнения обработки кодирования, такого как описан выше, модуль 113 кодирования может легко передавать кодированные данные с требуемой разрешающей способностью просто путем выделения и передачи необходимой части в соответствии с установкой разрешающей способностью.

Кроме того, на этапе S234, модуль 111 управления устанавливает время задержки при обработке кодирования, выполняемой модулем 113 кодирования на основе информации согласования.

Когда различные установки заканчивают, на этапе S235 модуль 113 кодирования кодирует данные изображения на основе описанных выше установок для генерирования кодируемых данных в соответствии с установкой. Модуль 114 передачи данных передает эти кодированные данные в устройство 102 приема через линию 103 передачи. Когда передача всех данных будет закончена, обработку передачи прекращают.

Путем выполнения обработки согласования и обработки передачи, как описано выше, система 100 передачи может передавать данные изображения с высоким качеством и низкой задержкой в более разнообразных ситуациях.

Следует отметить, что, когда формат данных изображения, которые должны быть переданы, представляет собой формат YCbCr 4:2:0, размер в вертикальном направлении компонента (С) цветности равен половине размера компонента (Y) яркости. Когда модуль 151 вейвлет-преобразования, в модуле 113 кодирования выполняют преобразование, как было описано выше, номер разложения становится идентичным компоненту (Y) яркости и компоненту (С) цветности.

В это время, как описано выше, поскольку размер в вертикальном направлении компонента (С) цветности составляет половину размера компонента (Y) яркости, например, как показано на фиг.21, количество участков компонента (С) цветности может отличаться от количества участков компонента (Y) яркости. Буквой А на фиг.21 обозначена примерная структура участков в компоненте (Y) яркости, и буквой В на фиг.21 показана примерная структура участков компонента (С) цветности. Позициями Y-P0 - Y-P10 в позиции А на фиг.21 индивидуально обозначены участки компонента (Y) яркости, и позициями С-Р0 - С-Р5 в позиции В на фиг.21 индивидуально представлены участки компонента (С) цветности. Цифрами с левой и с правой сторон буквы А на фиг.21 и буквы В на фиг.21 в каждом случае обозначено количество строк.

В примере А на фиг.21, количество участков компонента (Y) яркости составляет "11". Количество участков соответствующего ему компонента (С) цветности, составляет "5", как показано в позиции В на фиг.21. То есть, положения изображений соответствующих участков с одинаковыми номерами компонента (Y) яркости и компонента (С) цветности, могут отличаться друг от друга. В соответствии с этим, когда положения изображений, соответствующих одинаково пронумерованным участкам компонента (Y) яркости и компонента (С) цветности отличаются друг от друга, может стать трудным управлять скоростью с малой задержкой на основе от участка к участку. Для управления скоростью, необходимо определить, какие участки находятся в одинаковых положениях на изображении у компонента (Y) яркости и компонента (С) цветности.

Поэтому, как было описано выше, в случае, когда формат данных изображения, предназначенный для передачи, представляет собой формат YCbCr 4:2:0, и размер в вертикальном направлении компонента (С) цветности составляет половину размера компонента (Y) яркости, модуль 113 кодирования (модуль 151 вейвлет-преобразования) может уменьшить число разложений вейвлет-преобразования компонента (С) цветности так, чтобы оно составляло число меньше, чем число разложений компонента (Y) яркости.

На фиг.22 показана схема, представляющая примерную структуру участков каждого компонента в случае, когда число разложений вейвлет-преобразования компонента (С) цветности представляет собой число, меньшее, чем число разложений компонента (Y) яркости. В позиции А на фиг.22 показана примерная структура участков компонента (Y) яркости, и в позиции В на фиг.22 показана примерная структура участков компонента (С) цветности. В позициях Y-P0 - Y-P10 в позиции А на фиг.22 индивидуально представлены участки компонента (Y) яркости, и в позициях С-Р0 - С-Р10 в позиции В полосы на фиг.22 индивидуально представлены участки компонента (С) цветности. Цифрами с левой и с правой сторон от буквы А на фиг.22 и от буквы В на фиг.22, в каждом случае обозначено количество строк.

Как показано на фиг.22, путем выполнения вейвлет-преобразования таким образом, количество строк одного участка компонента (Y) яркости становится равным 16 (исключая верхние и нижние концы изображений). В отличие от этого, количество строк одного участка компонента (С) цветности становится равным 8 (исключая верхние и нижние концы изображения). В соответствии с этим, компонент (С) цветности и компонент (Y) яркости имеют, по существу, одинаковое количество участков. В соответствии с этим, положения изображений, соответствующих участкам с одинаковыми номерами компонента (Y) яркости и компонента (С) цветности, по существу, соответствуют друг другу, и, следовательно, на каждом участке, разность в изображении между компонентом (Y) яркости и компонентом (С) цветности становится меньше, чем в случае по фиг.21. Модуль 113 кодирования может более просто выполнять управление скоростью с малой задержкой с приращениями, равными размеру участка.

Примерная последовательность обработки кодирования в таком случае будет описана со ссылкой на блок-схему последовательности операции, показанную на фиг.23.

Когда начинается обработка кодирования на этапе S301, модуль 151 вейвлет-преобразования в модуле 113 кодирования определяет, представляет ли собой формат данных изображения, предназначенных для кодирования, формат 4:2:0. Когда определяют, что формат представляет собой формат 4:2:0, обработка переходит на этап S302, и установку числа разложений компонента (С) цветности уменьшают на единицу, по сравнению с установкой числа разложения компонента (Y) яркости. Когда обработка, выполняемая на этапе S302, заканчивается, модуль 151 вейвлет-преобразования переводит обработку на этап S303. В качестве альтернативы, когда на этапе S301 определяют, что формат данных изображения, предназначенный для кодирования, не является форматом 4:2:0, модуль 151 вейвлет-преобразования пропускает обработку на этапе S302 и переходит к обработке на этапе S302.

Обработку на этапе S303 - этапе S311 выполняют аналогично обработке на соответствующих этапе S121 - этапе S129 на фиг.9. То есть модуль 151 вейвлет-преобразования, выполняет, в принципе, аналогичную обработку по компоненту (Y) яркости и компоненту (С) цветности за исключением того, что отличаются номера разложений.

Как описано выше, модуль 113 кодирования может легко выполнять управление скоростью, даже в случае, когда формат данных изображения, предназначенных для кодирования, представляет собой формат 4:2:0. В соответствии с этим, система 100 передачи может передавать данные изображения с высоким качеством и низкой задержкой в более разнообразных ситуациях.

Описанная выше последовательность обработки может быть выполнена с использованием аппаратных средств или могут быть выполнены на основе программных средств. Когда данные последовательности обработки требуется выполнить с помощью программных средств, программу, которая конфигурирует программное средство, устанавливают с носителя записи программы в компьютер, встроенный в специализированный аппаратные средства, общий персональный компьютер, например, компьютер, который может выполнять различные функции, используя различные программы, установленные в нем, или устройство обработки информации в системе обработки информации, состоящей из множества устройств.

На фиг.24 показана блок-схема, представляющая примерную конфигурацию системы обработки информации, которая выполняет описанную выше последовательность обработки на основе программы.

Как показано на фиг.24, система 300 обработки информации представляет собой систему, выполненную с устройством 301 обработки информации, устройством 303 сохранения, подключенным к устройству 301 обработки информации, с использованием шины 302 PCI, VTR 304-1 - VTR 304-S, которые представляют собой множество устройств записи на видеоленту (VTR, УЗЛ), мышью 305, клавиатурой 306 и контроллером 307 операций для обеспечения возможности для пользователя ввода операций в это устройство, и представляет собой систему, которая выполняет обработку кодирования изображения, обработку декодирования изображения и т.п., как описано выше на основе установленной программы.

Например, устройство 301 обработки информации в системе 300 обработки информации может сохранять кодированные данные, полученные путем кодирования содержания движущегося изображения, сохраненного в устройстве 303 сохранения большой емкости, состоящего из РАID (избыточный массив независимых дисков, ИМНД) в устройстве 303 сохранения, сохраняет в устройстве 303 сохранения декодированные данных изображения (содержание движущегося изображения), полученные в результате декодирования кодированных данных, сохраненных в устройстве 303 сохранения, и сохраняет кодированные данные и декодированные данные изображения на видеоленте через УЗЛ 304-1 - УЗЛ 304-S. Кроме того, устройство 301 обработки информации выполнено с возможностью ввода содержания движущегося изображения, записанного на видеолентах, установленных в УЗЛ 304-1 - УЗЛ 304-S в устройство 303 сохранения. В связи с этим, устройство 301 обработки информации может кодировать содержание движущегося изображения.

Устройство 301 обработки информации имеет микропроцессор 401, GPU (модуль обработки графики, МОГ) 402, XDR (повышенная скорость передачи данных, ПСП) - ОЗУ 403, южный мост 404, HDD (привод жесткого диска, ПЖД) 405, интерфейс 906 USB (универсальная последовательная шина, УПШ) ((I/F) И/Ф УПШ) и кодек 407 ввода/вывода звука.

МОГ 902 соединен с микропроцессором 401 через выделенную шину 411. ПСП-ОЗУ 403 соединено с микропроцессором 401 через выделенную шину 412. Южный мост 404 соединен с контроллером 444 I/O (ввода/вывода, В/В) микропроцессора 401 через выделенную шину. Также с южным мостом 404 соединен ПЖД 405, интерфейс 406 УПШ и кодек 407 ввода/вывода звука. Громкоговоритель 421 соединен с кодеком 407 ввода/вывода звука. Кроме того, дисплей 422 соединен с МОГ 402.

Кроме того, также к южному мосту 404 присоединена мышь 305, клавиатура 306, УЗЛ 304-1 - УЗЛ 304-S, устройство 303 сохранения и контроллер 307 операций, через шину 302 PCI (межсоединение периферийных компонентов, МПК).

Мышь 305 и клавиатура 306 принимают операции, вводимые пользователем, и передают сигналы, обозначающие содержание этих операций, введенных пользователем, в микропроцессор 401 через шину 302 МПК и южный мост 404. Устройство 303 сохранения и УЗЛ 304-1 - УЗЛ 304-S выполнены с возможностью записи или воспроизведения заданных данных.

Кроме того, к шине 302 МПК подключают, в соответствии с необходимостью, привод 308, в который соответствующим образом устанавливают съемный носитель 311, такой как магнитный диск, оптический диск, магнитооптический диск, или полупроводниковое запоминающее устройство, и компьютерную программу, считываемую с него, устанавливают на ПЖД 405, в соответствии с необходимостью.

Микропроцессор 401 выполнен с использованием многоядерной конфигурации, в которой ядро 441 основного ЦПУ общего назначения, которое выполняет основные программы, такие как OS (операционная система, ОС), ядро 442-1 вспомогательного ЦПУ - ядро 442-8 вспомогательного ЦПУ, которые представляют собой множество (восемь в данном случае) процессоров обработки сигналов типа RISC (компьютер с сокращенным набором команд, КСНК), подключенных к основному ядру 441 ЦПУ через внутреннюю шину 445, контроллер 443 запоминающего устройства, который выполняет управление запоминающим устройством ПСП-ОЗУ 403, имеющим, например, емкость 256 [Мбайт], и контроллер 444 ввода/вывода (ввода/вывода), который управляет вводом и выводом данных с южным мостом 404, интегрированы в одной микросхеме, и реализуют частоту выполнения операций, например, 4 [ГГц].

Во время активации микропроцессор 401 считывает необходимые прикладные программы, сохраненные в ПЖД 405, на основе программы управления, сохраненной в ПЖД 405, разворачивает прикладные программы в ПСП-ОЗУ 303, и последовательно выполняет необходимые обработки управления на основе прикладных программ и операций оператора.

Кроме того, в результате выполнения программных средств, микропроцессор 401 может, например, реализовать описанную выше обработку кодирования и обработку декодирования, подавать кодированные потоки, полученные в результате кодирования, через южный мост 404 в ПЖД 405 для сохранения и выполнять передачу данных видеоизображения, воспроизводимого из содержания движущегося изображения, полученного в результате декодирования, в ЦПУ 402 для отображения на дисплее 422.

В то время как способ использования каждого ядра ЦПУ в микропроцессоре 401 является произвольным, например, основное ядро 441 ЦПУ может выполнять обработку, связанную с управлением обработки кодирования изображения и обработки декодирования изображения, и может управлять восемью ядрами: ядром 442-1 вспомогательного ЦПУ - ядром 442-8 вспомогательного ЦПУ, для выполнения обработки, такой как вейвлет-преобразование, изменение порядка коэффициентов, энтропийное кодирование, энтропийное декодирование, обратное вейвлет-преобразование, квантование и устранение квантования, одновременно и параллельно, как описано, например, со ссылкой на фиг.11. В связи с этим, когда ядро 441 основного ЦПУ выполнено с возможностью назначения обработки каждому из восьми ядер: ядра 442-1 вспомогательного ЦПУ - ядра 442-8 вспомогательного ЦПУ на основе от участка к участку, обработку кодирования и обработку декодирования выполняют одновременно и параллельно на основе от участка к участку, как было описано выше. Таким образом, эффективность обработки кодирования и обработки декодирования может быть улучшена, время задержки общей обработки может быть уменьшено, и, кроме того, время обработки, нагрузка и емкость памяти, необходимая для обработки, могут быть уменьшены. Само собой разумеется, что каждая обработка может быть выполнена с использованием также других способов.

Например, некоторые из восьми ядер: ядра 442-1 вспомогательного ЦПУ - ядра 442-8 вспомогательного ЦПУ микропроцессора 401 могут быть выполнены с возможностью выполнения обработки кодирования, и остальные могут быть выполнены с возможностью выполнения обработки декодирования одновременно и параллельно.

Кроме того, например, когда независимый кодер или декодер, или устройство обработки ко дека подключены к шине 302 МПК, восемь ядер: ядро 442-1 вспомогательного ЦПУ - ядро 442-8 вспомогательного ЦПУ микропроцессора 401 могут быть установлены с возможностью управления обработкой, выполняемой этими устройствами через южный мост 404 и шину 302 МПК. Кроме того, когда множество таких устройств подключены, или когда эти устройства включают в себя множество декодеров или кодеров, восемь ядер: ядро 442-1 вспомогательного ЦПУ - ядро 442-8 вспомогательного ЦПУ микропроцессора 401 могут быть выполнены с возможностью управления обработкой, выполняемой множеством декодеров или кодеров в режиме совместного использования.

В это время ядро 441 основного ЦПУ управляет работой восемью ядер: ядро 442-1 вспомогательного ЦПУ - ядро 442-8 вспомогательного ЦПУ, назначает обработку для отдельных ядер вспомогательного ЦПУ и получает результаты обработки. Кроме того, ядро 441 основного ЦПУ выполняет другую обработку, помимо выполняемой этими ядрами вспомогательных ЦПУ. Например, ядро 441 основного ЦПУ принимает команды, передаваемые с помощью мыши 305, клавиатуры 306 или из контроллера 307 операций через южный мост 404, и выполняет различную обработку в ответ на эти команды.

МОГ 402 управляет функциями выполнения, кроме тех, которые относятся к обработке конечного получения, например, вставляет текстуры, перемещая видеоизображение, воспроизводимое из содержания движущегося изображения, предназначенного для отображения на дисплее 422, выполняя обработку расчета преобразования координат при одновременном отображении множества видеоизображений, воспроизводимых из содержания движущегося изображения и неподвижных изображений для содержания неподвижного изображения на дисплее 422, обработку увеличения/уменьшения видеоизображения, воспроизводимого из содержания движущегося изображения, и неподвижного изображения для содержания неподвижного изображения, и т.д., устраняя, таким образом, нагрузку по обработке микропроцессора 401.

Под управлением микропроцессора 401, МОГ 402 применяет заданную обработку сигналов к данным видеоизображения, подаваемого содержания движущегося изображения, и к данным изображения содержания неподвижного изображения, передает данные видеоизображения и данные изображения, полученные в результате этой обработки, в дисплей 422 и отображает сигналы изображения на дисплее 422.

Теперь видеоизображения, воспроизводимые из множества элементов содержания движущегося изображения, декодированных одновременно и параллельно восьмью ядрами: ядром 442-1 вспомогательного ЦПУ - ядром 442-8 вспомогательного ЦПУ микропроцессора 401, передают в виде данных в МОГ 402 через шину 411. Скорость передачи в данном случае составляет, например, максимум 30 [Гбайт/с], и, соответственно, даже сложные воспроизводимые видеоизображения со специальными эффектами можно быстро и плавно воспроизводить.

Кроме того, микропроцессор 401 применяет обработку смешивания звука для аудиоданных, видеоданных изображения и аудиоданных содержания движущегося изображения, и передает отредактированные аудиоданные, полученные в результате этой обработки, в громкоговоритель 421 через южный мост 404 и кодек 407 ввода/вывода звука, выводя, таким образом, звук, на основе аудиосигналов через громкоговоритель 421.

Когда описанную выше последовательность обработки выполняют с помощью программных средств, программу, конфигурирующую программное средство, устанавливают через сеть или с носителя записи.

Такой носитель записи выполнен, например, как показано на фиг.24, не только со съемным носителем 311, на котором записана программа и который распространяется отдельно от основного устройства для распространения программы пользователям, таким как магнитный диск (включая в себя гибкий диск), оптический диск (включая в себя CD-ROM и DVD), магнитооптический диск (включая в себя MD) или полупроводниковое запоминающее устройство, но также в виде ПЖД 405, устройства 303 накопителя, и т.п., на которые записана программа и которые распространяют пользователю в состоянии, в котором их заранее встраивают в основной корпус устройства. Само собой разумеется, что носитель записи также может представлять собой полупроводниковое запоминающее устройство, такое как ПЗУ или запоминающее устройство типа флэш.

Выше было описано, что микропроцессор 401 выполнен на основе восьми ядер вспомогательного ЦПУ. Однако настоящее изобретение не ограничивается этим. Количество ядер вспомогательного ЦПУ является произвольным. Кроме того, микропроцессор 401 не обязательно должен быть выполнен на основе множества ядер, таких как ядро основного ЦПУ, и ядер вспомогательного ЦПУ и микропроцессор 401 может быть выполнен с использованием ЦПУ, который выполнен с одним ядром (одноядерный). Кроме того, вместо микропроцессора 401, можно использовать множество ЦПУ, или можно использовать множество устройств обработки информации (то есть программа, которая выполняет обработку в соответствии с настоящим изобретением, выполняется во множестве устройств, работающих совместно друг с другом).

Этапы, описывающие программу, записанную на носителе записи в настоящем описании, могут, конечно, включать в себя обработку, выполняемую во временной последовательности в соответствии с описанным порядком, но также включают в себя обработку, выполняемую не обязательно во временной последовательности, но параллельно или по отдельности.

Кроме того, система в настоящем описании полностью относится к оборудованию, составленному из множества устройств (аппаратов).

Следует отметить, что структура, описанная выше, как одно устройство, может быть разделена так, что она будет выполнена как множество устройств. И, наоборот, структуры, описанные выше как представляющие собой множество устройств, могут быть объединены так, что они будут выполнены как одно устройство. Кроме того, само собой разумеется, структуры отдельных устройств могут быть добавлены к другим структурам, кроме описанных выше. Кроме того, часть структуры одного устройства может быть включена в структуру другого устройства, если только структура и работа всей системы будет, по существу, той же.

Промышленная применимость

Настоящее изобретение, описанное выше, предназначено для выполнения передачи данных с высоким качеством и малой задержкой, в самых разнообразных ситуациях, и его можно применять в различных устройствах или системах, если только они сжимают, кодируют и передают изображения и, в месте назначения передачи, декодируют сжатое и кодированные данные, и выводят изображения. Настоящее изобретение, в частности, пригодно для применения в устройствах или в системах, в которых требуется обеспечивать короткую задержку от момента времени сжатия изображения и кодирования, до декодирования и вывода.

Например, настоящее изобретение пригодно для использования в вариантах применения, связанных с удаленным медицинским анализом, таких как управление манипулятором типа "главный-подчиненный", с одновременным просмотром видеоизображения, снимаемого видеокамерой, и при выполнении медицинского лечения. Кроме того, настоящее изобретение пригодно для использования в таких системах, которые кодируют и передают изображения, и декодируют, и отображают или записывают изображения в станциях широковещательной передачи и т.п.

Кроме того, настоящее изобретение можно применять в системах, которые выполняют распределение широковещательных передач с прямой трансляцией видеоизображений, системах, которые обеспечивают возможность интерактивной связи между студентами и преподавателями в образовательных учреждениях, и т.п.

Кроме того, настоящее изобретение можно применять для передачи данных изображения, снятых мобильным терминалом, имеющим функцию съемки изображения, таким как терминал типа мобильного телефона с функцией камеры, системы видеоконференции, системы, включающие в себя камеры слежения, и устройство записи, которое записывает видеоизображение, снятое камерами слежения, и т.п.

Изобретение относится к средствам обработки информации. Техническим результатом является обеспечение возможности передавать данные с высоким качеством и низкой задержкой в различных типах линий передачи. Результат достигается тем, что модуль 111 управления получает информацию согласования, включающую в себя скорость передачи битов, разрешенную для передачи в линии передачи 103, которая определена в стандартной информации, относящейся к устройству приема, или измеренное значение скорости передачи битов, разрешенной для передачи, управляет, следует или нет кодировать данные изображения и передавать кодированные данные изображения, и выполняет установки при кодировании, такие как разрешающая способность, скорость передачи битов и время задержки. Кроме того, модуль 113 кодирования управляет количеством разложений компонента цветности в соответствии с форматом данных изображения, предназначенных для кодирования. 2 н. и 6 з.п. ф-лы, 24 ил.

1. Устройство обработки информации, содержащее:
средство выбора, предназначенное для выбора, следует или нет кодировать данные изображения, предназначенные для передачи;
средство фильтрации, предназначенное для выполнения в случае, когда было выбрано с помощью средства выбора кодировать данные изображения, обработки разложения данных изображения с последовательными приращениями по полосе частот и генерирования подполос, включающих в себя данные коэффициента, с последовательными приращениями, равными полосе частот, с размером последовательного приращения, равным блоку строк, включающему в себя данные изображения, эквивалентные количеству строк, необходимых для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, для компонентов с самой низкой частотой;
средство изменения порядка, предназначенное для изменения порядка данных коэффициента, которые сгенерированы средством фильтрации в порядке от компонентов высокой частоты к компонентам низкой частоты, на порядок от компонентов низкой частоты к компонентам высокой частоты;
средство кодирования, предназначенное для кодирования данных коэффициента, порядок которых был изменен средством изменения порядка; и
средство передачи, предназначенное для передачи кодированных данных, сгенерированных в результате кодирования данных коэффициента, с использованием средства кодирования, в другое устройство обработки информации через линию передачи.

2. Устройство обработки информации по п.1,
в котором средство выбора выбирает, следует или нет кодировать данные изображения в зависимости от того, превышает или нет скорость передачи битов разрешенная для передачи по линии передачи скорость передачи битов данных изображения.

3. Устройство обработки информации по п.1, дополнительно содержащее:
средство получения, предназначенное для получения из другого устройства обработки информации, относящейся к рабочим характеристикам другого устройства обработки информации.

4. Устройство обработки информации по п.3,
в котором средство передачи передает заданные кодированные данные в другое устройство обработки информации, в котором средство получения получает информацию, обозначающую результат приема и декодирования кодированных данных в другом устройстве обработки информации, и в котором средство выбора выбирает, следует или нет кодировать данные изображения на основе информации, обозначающей результат приема и декодирования кодированных данных, которые были получены средством получения.

5. Устройство обработки информации по п.3, в котором средство получения получает информацию о времени задержки при обработке декодирования другого устройства обработки информации, и в котором средство кодирования устанавливает время задержки при обработке кодирования на основе информации времени задержки, которая была получена средством получения.

6. Устройство обработки информации по п.3, в котором средство получения получает информацию о разрешающей способности данных изображения в другом устройстве обработки информации, и в котором средство кодирования устанавливает разрешающую способность кодированных данных, которые должны быть сгенерированы, на основе информации о разрешающей способности, которая была получена средством получения.

7. Устройство обработки информации по п.1, в котором в случае, когда формат данных изображения, предназначенных для кодирования, составляет 4:2:0, средство фильтрации уменьшает количество разложений компонента цветности данных изображения так, чтобы оно было на единицу меньше, чем количество разложений компонента яркости данных изображения.

8. Способ обработки информации устройства обработки информации, в котором устройство обработки информации включает в себя средство выбора, средство фильтрации, средство изменения порядка, средство кодирования и средство передачи, и в котором средство выбора выбирает, следует или нет кодировать данные изображения, предназначенные для передачи, в котором средство фильтрации выполняет в случае, когда выбирают кодировать данные изображения, обработку разложения данных изображения с последовательными приращениями полосы частот и генерирования подполос, включающих в себя данные коэффициента, с последовательными приращениями полосы частот в приращениях размером блок строк, включающих в себя данные изображения, эквивалентные количеству строк, необходимых для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, компонента самой нижней частоты, в котором средство изменения порядка изменяет порядок данных коэффициента, которые были сгенерированы в порядке от компонентов высокой частоты к компонентам низкой частоты, на порядок от компонентов низкой частоты к компонентам высокой частоты, в котором средство кодирования кодирует данные коэффициента после изменения порядка, и в котором средство передачи передает кодированные данные, сгенерированные в результате кодирования данных коэффициента, в другое устройство обработки информации через линию передачи.