МАСШТАБИРУЕМЫЙ ИНФОРМАЦИОННЫЙ СИГНАЛ, УСТРОЙСТВО И СПОСОБ ДЛЯ КОДИРОВАНИЯ МАСШТАБИРУЕМОГО ИНФОРМАЦИОННОГО КОНТЕНТА, УСТРОЙСТВО И СПОСОБ ДЛЯ ИСПРАВЛЕНИЯ ОШИБОК МАСШТАБИРУЕМОГО ИНФОРМАЦИОННОГО СИГНАЛА Российский патент 2012 года по МПК G06F11/08 

ОБЛАСТЬ ТЕХНИКИ

Настоящая заявка относится к информационным сигналам, таким как мультимедийные сигналы, кодированию информационного контента и исправлению ошибок в подобных информационных сигналах.

ПРЕДПОСЫЛКИ

При медийном обмене происходит потеря информации из-за ошибок передачи по многим каналам передачи без должного качества предоставляемых услуг (QoS). Одним из примеров мультимедийного потока является видеобитстрим. В силу пространственной и временной структурной зависимости таких современных видеокодеков, как H.264/AVC или, в особенности, масштабируемого расширения H.264/AVC (SVC) [A1], воздействие потерь на качество декодированного видеосигнала в основном зависит от того, какие составляющие битстрима затронуты. В однонаправленных каналах для борьбы с этими потерями используются технологии упреждающей коррекции ошибок (FEC). Для разрешения этой проблемы было предложено множество схем защиты, в частности неравномерной защиты от ошибок (UEP) [A5] или передачи по приоритету кодирования (PET) [B3]. Оба подхода больше обеспечивают защиту нижних и более важных уровней.

Но впервые в [А2] было признано, что при защите всех зависимых уровней усилению защиты нижних уровней могут способствовать также символы избыточности верхних уровней.

Это может быть очень эффективно для протоколов одновременной передачи многоуровневого масштабируемого видеопотока, например, при многоуровневой групповой передаче [А6].

Рассмотрению подлежат различные структуры зависимости. Одной из важных структур зависимости является алгоритм компенсации движения, в котором используется эталонная „картинка” для предсказания другого изображения. Если эталонный образ или часть такого эталонного образа утрачены, дефект затрагивает и производные изображения и их компоненты. Поэтому в последовательности производных друг от друга изображений первые изображения наиболее важны. Потеря в какой-то момент, как правило, так или иначе затрагивает все последующие изображения.

Следовательно, в такой цепи зависимости необходимо сохранить как можно больше образов.

Еще одна совокупность взаимозависимых структур представлена в видеокодеке SVC, где базовый уровень служит репером для уровня оптимизации.

Этот уровень оптимизации является опорным для следующего уровня усовершенствования, и так далее.

Пусть l будет идентификатором уровня в последовательности от 0 до L-1,

где l=0 - базовый уровень,

l=1 идентифицирует первый уровень усовершенствования со ссылкой на базовый уровень.

В видеокодеке SVC потеря любого уровня х делает неприемлемыми результаты декодирования для всех уровней l>х, сформированных с опорой на х.

В силу этого для корректного формирования любого уровня <1 должен быть задан порядок очередности, если требуется определенное качество, представленное как некоторая величина l.

Для улучшения передачи мультимедийного контента по каналам, не обеспечивающим должное качество прохождения, может быть применена упреждающая коррекция ошибок (FEC).

Независимая защита с использованием современных FEC-методик оптимизации уровней не принимает во внимание взаимозависимость уровней.

Обычно при такой схеме для числа k исходных символов генерируется ряд избыточных символов р=n-k.

Предположим, удаленный на максимальное расстояние (MDS) корректирующий FEC-код применен так, что перекрывается любое число утраченных символов, меньшее или равное р.

Даже при более сильной защите важных нижних уровней (что известно также как неравномерная защита от погрешностей) путем прямого исправления ошибок (FEC) (введением большего количества избыточных символов) нет гарантии, что в любой сбойной ситуации относительно более защищенные уровни будут иметь большую вероятность правильной реконструкции, чем менее защищенные уровни.

При потере нижнего уровня более высокие усовершенствованные уровни не могут быть декодированы из-за пропущенных ссылок, как показано на фигуре 19.

В этом примере уровень 1 в момент t потерян из-за искажения при передаче („ошибка”), следовательно, уровни с l>1 не могут быть декодированы. Успешно принятая FEC-защита верхних уровней оказывается бесполезной.

КРАТКИЙ ОБЗОР

В силу сказанного целью настоящего изобретения является создание протокола упреждающей коррекции ошибок, который обеспечил бы более эффективную и/или надежную защиту масштабируемых информационных сигналов.

При осуществлении концепции изобретения многомерно масштабируемый информационный сигнал, компоненты которого представляют информационный контент в различных констелляциях уровней [см. пояснения к фиг.6] в их многомерных сочетаниях, формируют таким образом, что, по меньшей мере, первая из множества компонент, несущих содержательную часть информации (контент) на уровне первого из множества измерений, более высоком, чем уровень начального измерения, где появляется вторая из множества компонент, несущих контент информации, перекрывает эту вторую компоненту, по меньшей мере, третья из множества компонент, отличная от первой компоненты, представляющая контент информации на уровне второго из множества измерений, более высоком, чем уровень второго измерения, где появляется четвертая из множества компонент, несущих контент информации, перекрывает этот четвертый элемент, при этом информационный сигнал в каждой из различных констелляций защищен протоколом FEC путем введения избыточной информации, ассоциированной таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты, несущей контент информации в соответствующей констелляции, избыточная информация, соотнесенная с констелляцией, в которой первая компонента представляет информационный контент, находится в зависимости от этой первой компоненты, включая тот ее фрагмент, который перекрывает вторую компоненту, и избыточная информация, соотнесенная с констелляцией, в которой третья компонента представляет информационный контент, находится в зависимости от этой третьей компоненты, включая тот ее фрагмент, который перекрывает четвертую компоненту.

При реализации концепции изобретения процесс кодирования содержательной части информации в информационный сигнал, многомерно масштабируемый таким образом, что его компоненты представляют контент информации в разных констелляциях многомерных уровней, включает в себя:

выработку множественности компонент таким образом, чтобы, по меньшей мере, первая из множества компонент, несущих контент информации на уровне первого из множества измерений, более высоком, чем уровень начального измерения, где появляется вторая из множества компонент, представляющих контент информации, перекрывала эту вторую компоненту; и чтобы, по меньшей мере, третья из множества компонент, отличная от первой компоненты, несущая информационный контент на уровне второго из множества измерений, более высоком, чем уровень второго измерения, где появляется четвертая из множества компонент, представляющая контент информации, перекрывала эту четвертую компоненту; и защиту информационного сигнала протоколом коррекции ошибок FEC путем соотнесения избыточной информации с каждой из различных констелляций таким образом, чтобы каждый элемент избыточной информации находился в зависимости от соответствующей компоненты, несущей содержательную часть информации в соответствующей констелляции; избыточная информация, ассоциированная с констелляцией, где первая компонента представляет информационный контент, находилась в зависимости от этой первой компоненты, включая тот ее фрагмент, который перекрывает вторую компоненту, и избыточная информация, ассоциированная с констелляцией, в которой третья компонента представляет информационный контент, находилась в зависимости от этой третьей компоненты, включая тот ее фрагмент, который перекрывает четвертую компоненту.

Кроме того, при осуществлении изобретения формируют информационный сигнал, представляющий содержательную часть информации и масштабируемый так, что его составляющие обозначают моменты времени различных уровней качества контента информации, причем, по меньшей мере, первая из множества компонент, несущая контент информации на первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет контент информации, перекрывает эту вторую компоненту; и информационный сигнал защищен протоколом FEC на каждом из различных уровней благодаря избыточной информации, ассоциированной таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты, представляющей содержательную часть информации на соответствующем уровне, и избыточная информация, соотнесенная с первым уровнем, находится в зависимости от первой компоненты, включая тот ее фрагмент, который перекрывает вторую компоненту.

Далее, при реализации изобретения процедура кодирования полезного содержания информации в информационный сигнал, несущий это содержание и масштабируемый таким образом, что его составляющие обозначают моменты времени различных уровней качества контента информации, включает в себя выработку множества компонент, при которой, по меньшей мере, первая из множества компонент, представляющая контент информации на первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет контент информации, перекрывает этот второй элемент; и защиту информационного сигнала с использованием протокола FEC путем соотнесения избыточной информации с каждым из различных уровней таким образом, чтобы каждый элемент избыточной информации находился в зависимости от соответствующей компоненты, представляющей контент информации на соответствующем уровне, и избыточная информация, ассоциированная с первым уровнем, находилась в зависимости от первой компоненты, включая тот ее фрагмент, который перекрывает вторую компоненту.

В соответствии с целью изобретения его конструктивное исполнение представляет собой устройство для коррекции ошибок информационного сигнала, масштабируемого таким образом, что его составляющие представляют контент информации различных уровней качества, характеризующееся тем, что, по меньшей мере, первая из множества компонент, представляющих информационный контент в первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет информационный контент, перекрывает эту вторую компоненту; характеризующееся также тем, что информационный сигнал защищен протоколом FEC на каждом из различных уровней благодаря избыточной информации, ассоциированной таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты, несущей контент информации на соответствующем уровне, и избыточная информация, ассоциированная с первым уровнем, находится в зависимости от первой компоненты, включая тот ее фрагмент, который перекрывает вторую компоненту; и выполняющее перечисленные ниже операции.

Исправление ошибки информационного сигнала в составе второй компоненты с использованием избыточной информации, ассоциированной с первым и вторым уровнями и фрагментом первой компоненты, не пересекающейся со второй компонентой; и извлечение информационного контента во втором качественном уровне из второй, откорректированной, компоненты с исключением фрагмента первой компоненты.

Реализация изобретения предусматривает, что информационный сигнал, представляющий трехмерный и/или звуковой информационный контент и масштабируемый таким образом, что компоненты этого сигнала представляют информационный контент разных уровней качества, формируют так, что, по меньшей мере, первая из множества компонент, представляющих информационный контент в первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет информационный контент, перекрывает эту вторую компоненту; информационный сигнал защищен протоколом FEC на каждом из различных уровней благодаря избыточной информации, ассоциированной таким образом, что каждый элемент избыточной информации находился в зависимости от соответствующей компоненты, представляющей контент информации на соответствующем уровне, и избыточная информация, ассоциированная с первым уровнем, находится в зависимости от первой компоненты, включая тот ее фрагмент, который перекрывает вторую компоненту. Конструктивное исполнение изобретения рассчитано на выполнение процедуры кодирования трехмерной и/или звуковой полезной информации в информационный сигнал, представляющий трехмерный и/или звуковой контент информации и масштабируемый таким образом, что компоненты этого сигнала представляют трехмерный и/или звуковой контент информации разных уровней качества, при этом данная процедура включает в себя перечисленные ниже операции, выработку множества компонент, при которой, по меньшей мере, первая из множества компонент, представляющая контент информации на первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет контент информации, перекрывает этот второй элемент; и защиту информационного сигнала с использованием протокола FEC путем соотнесения избыточной информации с каждым из различных уровней таким образом, чтобы каждый элемент избыточной информации находился в зависимости от соответствующей компоненты, представляющей контент информации на соответствующем уровне, и избыточная информация, ассоциированная с первым уровнем, находилась в зависимости от первой компоненты, включая тот ее фрагмент, который перекрывает вторую компоненту.

Настоящее изобретение основывается, кроме прочего, на принципе, при котором более эффективная и/или надежная защита масштабируемого информационного сигнала обеспечивается за счет взаимосвязи множества компонент различных уровней в составе информационного сигнала при его защите с использованием протокола FEC.

В частности, компоненты информационного сигнала, несущие информационный контент на более высоком уровне, должны быть соотнесены с избыточной информацией, которая находится в зависимости не только от этой части данной компоненты, не пересекающейся с соответствующей перекрывающей компонентой более низкого уровня. Предпочтительнее, чтобы избыточная информация находилась в зависимости также от последнего фрагмента, увеличивая вероятность успешного устранения искажений в составляющей более низкого уровня на принимающей стороне.

Далее, вероятность исправления ошибки возрастает при применении вышеупомянутого принципа по более чем одному измерению масштабируемости многомерно масштабируемого информационного сигнала. Другими словами, вероятность безошибочной реконструкции информационного контента на любом из возможных качественных уровней может быть повышена без обязательного увеличения объема избыточной информации. Если сформулировать иначе, обеспечивается возможность сохранения вероятности качественного восстановления даже при уменьшении объема избыточной информации в составе информационного сигнала.

КРАТКОЕ ОПИСАНИЕ РИСУНКОВ

Далее дается подробное описание конструктивных решений, в контексте прилагаемых фигур, где на фиг.1a-1с схематично проиллюстрированы примеры двухмерного масштабирования информационных сигналов;

на фиг.2 дана принципиальная схема конструктивного решения устройства кодирования;

на фиг.3 представлена блок-схема осуществления способа исправления ошибок;

на фиг.4 дана блок-схема дальнейшей реализации способа исправления ошибок;

на фиг.5 показана схема реализуемых взаимосвязей между различными уровнями многоуровневого информационного сигнала, с одной стороны, и зависимость избыточной информации от разных составляющих, с другой стороны;

на фиг.6 схематически проиллюстрирован пример кодирования при двухуровневой FEC-защите с использованием кода, исключающего ИЛИ (XOR);

на фиг.7 схематически проиллюстрирован пример многоуровневой FEC-защиты при L уровнях зависимости;

на фиг.8 схематически проиллюстрирован пример декодирования при двухуровневой FEC-защите с использованием кода, исключающего ИЛИ (XOR);

на фиг.9 схематически проиллюстрирован пример структуры зависимости сигнала видеокодека SVC;

на фиг.10 схематически проиллюстрирован пример осуществления декодирования констелляций с многоуровневой FEC-защитой и многомерными структурами зависимости;

на фиг.11 схематически проиллюстрирован пример информационного сигнала с пакетом ошибок;

на фиг.12 приведен пример порождающей матрицы для многоуровневого LT-кодирования [с применением кода преобразования Луби],

на фиг.13 показан возможный вариант матрицы предкодирования для многоуровневого систематического RAPTOR-кода [= RAPid TORnado - разновидность т.н. „фонтанных” кодов],

на фиг.14 приведен пример порождающей матрицы GLT LT-кодирования;

на фиг.15 показана матрица предкодирования GpSys raptor-кодов;

на фиг.16 показан возможный вариант многослойной матрицы LT-кодирования GLT0 и GlayeredLT (1) для двух уровней зависимости;

на фиг.17 показан возможный вариант многослойной матрицы предкодирования GpSys (0) и GlayeredpSys (1) для двух уровней зависимости;

на фиг.18 представлена гистограмма использования кода RAPTOR с k=1200 исходных символов и n=20 кодирующих символов размерностью t=48 байт; и

на фиг.19 дана схема уровней корректировки, не подлежащих декодированию из-за потери опорных ссылок в нижних уровнях.

ПОДРОБНОЕ ОПИСАНИЕ

Подробное описание вариантов осуществления изобретения начинается с представления возможных вариантов информационных сигналов с двухмерной масштабируемостью на фиг.1а-1с.

Далее, со ссылкой на эти примеры информационных сигналов представлены конструктивные решения по защите информационного сигнала на стороне кодера и возможности исправления ошибок на принимающей стороне с опорой на фиг.2-4.

При этом технические решения, описываемые далее в контексте фиг.2-18, не ограничиваются двухмерно масштабируемыми информационными сигналами.

Скорее, информационный сигнал может иметь или больше двух размерностей масштабирования, или только одно измерение масштабируемости. Описываемые на фигурах 1-4 примеры информационных сигналов не ограничены каким-либо конкретным приложением, как то видео, аудио или т.п.

В целом, представленные конструктивные решения применимы ко многим типам информационных сигналов, обладающих мастшабируемостью, что ниже описано подробнее. Соответственно, несмотря на то что последующее обсуждение в рамках фиг.5-18 иногда сосредотачивается на масштабируемом видеокодировании, большинство рассматриваемых аспектов применимы также к другим видам информационных сигналов.

Более того, описываемая в контексте фиг.1-4 мастшабируемость информационного сигнала относится к способности нести информационный контент различных уровней качества.

В сущности, масштабируемый информационный сигнал, таким образом, может рассматриваться как многоуровневый информационный сигнал, у которого каждый уровень соответствует определенному уровню качества представления.

Поэтому далее в описании фиг.5-18 ссылка на некоторые принципы, обозначенные в фиг.1-4, делается как на „многоуровневую FEC”.

На фиг.1а приведен пример информационного сигнала, масштабируемого таким образом, что его компоненты представляют информационный контент других уровней качества.

Информационный сигнал 10 показан слева на фиг.1а. В частности, информационный сигнал отображен в виде прямоугольника. Площадь, ограничиваемая прямоугольником, должна соответствовать объему данных, содержащихся в информационном сигнале.

Однако, несмотря на то что информационный сигнал 10 отображен как двухмерная область, структура данных информационного сигнала не должна ограничиваться подобным представлением. Скорее, информационный сигнал может представлять собой линейный поток данных в пакетированном или непакетированном формате. Двухмерное отображение информационного сигнала 10 на фиг.1а использовано только для более наглядного пояснения того, как информационный сигнал 10 обеспечивает масштабируемое представление информационного контента по двум векторам масштабируемости.

В частности, на фиг.1 отображены четыре разные составляющие информационного сигнала 10. Первая составляющая показана сплошной линией 10, которая заключает в себе весь информационный сигнал в целом. Другие три элемента - 10а, 10b и 10с - представляют собой подкомпоненты информационного сигнала 10. Каждая из подкомпонент 10а-10с позволяет реконструировать представление содержавшейся в сигнале информации, хотя уровень качества по сравнению с полным информационным сигналом 10 будет снижен.

Так, подкомпонента 10а воспроизводит информационный контент на уровне 0 по первому вектору масштабируемости 12.

Этот уровень ниже, чем уровень 1 по вектору масштабируемости 12, по которому информационный сигнал 10 представляет содержание информации в целом.

Аналогично подкомпонента 10b дает возможность воссоздать информационный контент на уровне 0 по второму вектору масштабируемости 14, который ниже уровня 1, на котором отражено содержание информации при ее восстановлении на основании полного информационного сигнала.

Подобно тому, как соотносятся между собой полный сигнал, с одной стороны, и подкомпоненты 10а и 10b, с другой стороны, подэлемент 10с позволяет восстановить содержимое данных на уровне, ниже того, который может быть достигнут при использовании любой из подкомпонент 10а и 10b по любому из двух векторов масштабируемости 12 и 14.

Таким образом, как видно на фиг.1а, полный информационный сигнал дает возможность реконструкции информационного контента на более высоком уровне 1 по обоим векторам масштабируемости 12 и 14, в то время как подэлемент 10с позволяет лишь восстановить содержание информации на низшем уровне 0 в обоих направлениях масштабирования 12 и 14.

Другие подкомпоненты 10а и 10b являются промежуточными, поскольку они могут способствовать восстановлению содержимого данных на более высоком уровне 1 по одной из осей масштабирования 12 и 14 и на более низком уровне по второй из осей масштабирования 12 и 14, как показано справа на фиг.1а.

На фиг.1а видно, что подэлемент 10с перекрывается обеими подкомпонентами 10а и 10b. Благодаря этому данные более низкого качества в рамках подэлемента 10с „повторно используются” в компонентах более высоких уровней 10а, 10b и 10 соответственно для совершенствования этих данных более низкого качества при реконструкции информационного контента на верхних уровнях по любому из векторов масштабируемости 12 и 14, совпадающих с элементом 10с. Вследствие этого данные подкомпоненты 10с можно считать более важными, чем данные за ее пределами 10с. В частности, если содержимое подэлемента 10с будет так или иначе повреждено, информационный контент не сможет быть правильно восстановлен даже в низшей констелляции уровней по обеим координатам 12 и 14.

Это также справедливо и для более высоких уровней в силу их зависимости от данных внутри подкомпоненты 10с. Однако потеря данных вне компоненты 10с не препятствует реконструкции содержимого информации, по меньшей мере, в низшей констелляции 00. В завершение следует отметить, что каждая из вышеупомянутых подкомпонент 10 и 10а-10с может индивидуально представлять декодируемые составляющие информационного сигнала, поскольку каждая подкомпонента независима для восстановления содержания информации в соответствующей констелляции качества и не требует никаких данных вне соответствующей подкомпоненты.

Кроме того, следует сказать, что любая потеря данных внутри соответствующей подкомпоненты 10, 10а, 10b и 10с приводит к искажениям при реконструкции информационного контента в отличие от констелляции качества соответствующей подкомпоненты. В примере на фиг.1а информационный сигнал 10 имел двухмерную масштабируемость таким образом, что для каждого уровня, на котором информационный контент мог быть реконструирован в одном направлении, обеспечивалась полная масштабируемость в другом направлении.

Однако это не обязательно всегда так. В частности, на фиг.1b приведен пример информационного сигнала, где количество уровней по вектору масштабируемости 12 отличается от количества уровней по другому вектору масштабируемости 14. Поясняя подробнее, в то время как на фиг.1а четыре компоненты 10 и 10а-10с соответствовали четырем точкам констелляции 10, 01, 00 и 11, изображенным на графике справа, информационный сигнал на фиг.1b имеет пять компонент, соответствующих точкам констелляции 00, 01, 02, 11 и 12, изображенным справа на фиг.1b.

Несмотря на то что на фиг.1b каждая точка констелляции на верхнем уровне по второму вектору масштабируемости 14 имеет соответствующую точку констелляции на том же уровне по первому вектору масштабируемости 12, на нижнем уровне 0 второго вектора масштабируемости 14 в этом нет необходимости.

На фиг.1с, в частности, приведен пример, где наименьшая подкомпонента, представляющая контент информации на уровне 0 по обоим векторам масштабируемости 12 и 14, то есть в констелляции 00, является единственной составляющей, создающей уровень 0 по первой оси координат 12.

Так же, точка констелляции 11 является единственной точкой констелляции на уровне 1 по первому вектору масштабируемости 12. Из примеров на фигурах 1а-1с понятно, что пересечение между составляющими высокого уровня, например, 10, 10а и 10b на фиг.1а, с одной стороны, и компонентом нижнего уровня 10с, с другой стороны, не обязательно должно быть равным для каждой из этих составляющих высокого уровня.

Как показано на фиг.1с, например, часто само пересечение может не быть элементом множества компонент информационного сигнала.

Кроме того, видно, что компонента уровня, более низкого, чем уровень другой компоненты, по меньшей мере, по одному из направлений масштабирования, не обязательно должна быть подэлементом, входящим в последнюю компоненту, как это отображено на фиг.1а-1с относительно наименьшей составляющей.

Чаще совмещение высокоуровневых компонент с составляющими более низкого уровня может быть таким, при котором составляющая нижнего уровня только частично перекрывается соответствующей высокоуровневой компонентой.

В конструктивных решениях, проиллюстрированных ниже на фиг.2-4, отмеченная выше зависимость между составляющими масштабируемого информационного сигнала используется при FEC-защите информационного сигнала и выполнении протокола упреждающей коррекции ошибок в принятых вариантах информационного сигнала, соответственно.

Как правило, компоненты верхнего уровня, то есть компоненты, представляющие контент информации на более высоком уровне, по меньшей мере, по одному из направлений масштабирования, связаны с соответствующей избыточной информацией, которая зависит не только от фрагмента компоненты, не пересекающейся с компонентами более низкого уровня, но и от части, которая имеет участки наложения с компонентами такого типа.

На фиг.2 представлено устройство 20 для кодирования информационного контента. Устройство 20 имеет вход 22 для приема информационного контента и выход 24 для защищенного масштабируемого информационного сигнала. Устройство 20 включает в себя формирователь компонент 26, генерирующий составляющие информационного сигнала, устройство FEC-защиты 28 для защиты с применением протокола прямой коррекции информационного сигнала и мультиплексор (MUX) 30, которые последовательно соединены в указанном порядке между входом 22 и выходом 24.

Формирователь компонент 26 кодирует содержимое информации 22 в масштабируемые данные, образующие информационный сигнал, показанный на фиг.1а-1с, в незащищенном формате.

В частности, формирователь компонент 26 может выполнять компрессию информационного контента 22 с потерями для формирования данных компоненты низшего порядка или низшего уровня 32а, например х00.

Для этого формирователь компонент 26, например, снижает качество информационного контента 22, после чего кодирует информационный контент с потерей в качестве. В таком случае формирователь компонент 26 может дополнить эту компоненту низшего уровня 32а данными непересекающейся компоненты высокого уровня 32b, которые в сочетании с данными компоненты низшего порядка 32а позволяют повысить восстановимость на некоторых уровнях и масштабируемость в одном или нескольких направлениях. Для простоты объяснения на выходе формирователя компонент 26 показаны только четыре компоненты, которые для примера имеют конфигурацию как на фиг.1а.

Однако в отличие от фиг.1а-1с данные компонент на выходе формирователя 26 не должны перекрываться.

Это означает, что информация компоненты х01 на выходе формирователя 26 должна включать в себя только часть данных, необходимых для констелляции х01 и не пересекающихся с данными компоненты более низкого уровня х00, то есть - часть данных, обозначенных в верхнем правом углу прямоугольника 10 на фиг.1а.

Аналогично информация компоненты констелляции х10 на выходе формирователя 26 должна содержать только данные из той части, составляющей 10b на фиг.1а, которая не перекрывает составляющую нижнего уровня 10с.

И информация компоненты высшего уровня х11 на выходе формирователя 26 должна, в свою очередь, включать в себя только те данные информационного сигнала фиг.1а-1с, которые не содержатся ни в одной из подкомпонент.

Затем совокупность незащищенных непересекающихся компонент защищается протоколом FEC с помощью устройства FEC-защиты 28.

Устройство FEC-защиты 28, в частности, содержит множество модулей 28a-d, каждый из которых уникально ассоциирован с одной из других компонент, выводимых формирователем 26, или одним из других уровней качества, которому соответствуют эти компоненты.

Каждый модуль 28a-d выполняет FEC-защиту данных соответствующих компонент. Однако кроме соответствующих данных непересекающихся компонент каждый модуль 28a-d получает данные компонент более низкого уровня, дополняющих или необходимых для соответствующего уровня качества.

Например, модуль 28b соотнесен с констелляцией качества х01 и получает данные непересекающейся компоненты х01, выводимой формирователем компонент 26 вместе с данными компоненты низшего уровня 32а. Таким же путем модуль 28d получает полные данные составляющей 10а (фиг.1а). Подобным образом каждый модуль 28a-d осуществляет FEC-защиту полной информации, необходимой для реконструкции информационного контента на соответствующем уровне качества, для которого предназначены данные соотнесенных компонент конкретного модуля. Иначе говоря, каждый из модулей 28a-d, фактически, объединен в комплекс с одним из различных уровней качества или констелляций качества, благодаря чему незащищенный информационный сигнал, выводимый формирователем компонент 26, обладает масштабируемостью, а каждый из этих модулей выполняет FEC-защиту всей информации, дополняющей или необходимой для соответствующего уровня качества или констелляции качества.

Следовательно, избыточная информация, которую, например, модуль 28b соотносит с данными компоненты высокого уровня х01, и зависит, и защищает данные компонент более низкого уровня, в частности 32а. Каждый модуль 28a-d выводит соответствующие данные непересекающихся компонент вместе с соответствующей избыточной информацией, полученной с помощью протокола FEC-защиты. Примеры защиты с помощью протокола прямой коррекции ошибок FEC, используемой устройством FEC-защиты 28, описаны ниже более подробно, тем не менее, следует отметить, что устройство FEC-защиты 28 и его модули 28a-d могут применять, например, систематический код для генерации избыточной информации.

Однако модули FEC 28a-d могут также задействовать несистематический код, когда они кодируют принимаемую информацию, используя данные компонент нижнего уровня для создания кодовых слов, представляющих соответствующие данные компонент, ассоциированных с соответствующим модулем, перемешанные в случайном порядке с избыточной информацией.

Пример такого несистематического кода дан ниже в виде LT-кода.

Мультиплексор 30 получает защищенные компоненты от устройства FEC-защиты 28 и мультиплексирует их в защищенный информационный сигнал 24, обладающий такой же масштабируемостью, что и незащищенный информационный сигнал на выходе генератора составляющих 26, но в защищенном виде. Каждая из этих защищенных непересекающихся компонент верхнего уровня имеет избыточную информацию, которая защищает также защищенные непересекающиеся компоненты более низких уровней.

При этом различные перекрывающиеся части защищенного информационного сигнала на выходе 24, которые дают возможность реконструкции на разных уровнях, могут быть индивидуально декодированы, что обеспечивает воссоздание информационного контента на соответствующем уровне без запроса какой-либо информации из остаточной части защищенного информационного сигнала. Защищенный информационный сигнал 24 может быть упорядочен по временным кадрам в виде потока данных, в котором каждая защищенная непересекающаяся компонента может принять постоянную составляющую этого потока данных таким образом, что определенная избыточная информация будет приближена к соответствующей непересекающейся компоненте.

Сформированный по такому принципу устройством 20 защищенный информационный сигнал может быть откорректирован на стороне приема способом, показанным на фиг.3. Способ на фиг.3 начинают с шага 50, на котором составляющую какого-либо уровня выделяют из защищенного информационного сигнала вместе с сопутствующей избыточной информацией. Например, в первом временном кадре 50 из защищенного информационного сигнала выделяют защищенную компоненту низшего уровня, то есть - составляющую 10с на фиг.1а в сочетании с ассоциированной избыточной информацией.

Затем, на шаге 52, в выделенной компоненте на основании сопутствующей избыточной информации выполняют прямое обнаружение или исправление ошибок (FED/FEC). Эффективность упреждающей коррекции ошибок на шаге 52 зависит от серьезности ошибок, содержащихся в данных, выделенных на шаге 50. На шаге 54 проверяют, была упреждающая коррекция ошибок на шаге 52 успешной или нет. Если нет, переходят на шаг 56, где проверяют, доступна ли в высокоуровневых компонентах дополнительная избыточная информация, которая защищает выделенную компоненту или зависит от нее. Например, если выделенной на текущий момент составляющей является 10с на фиг.1а, проверка на шаге 56 определит, что избыточная информация составляющих 10а и 10b также защищает составляющую 10с. Если дополнительная избыточная информация существует, на шаге 58 предпринимают повторную попытку упреждающей коррекции ошибок с использованием дополнительной избыточной информации и компонент более высокого уровня, идентифицированных на шаге 56. После этого на шаге 54 повторяют операцию проверки. Если, на шаге 56 определено, что дополнительная избыточная информация отсутствует, то операция исправления ошибок дала сбой, и процедура завершается ошибкой на шаге 60. Однако повторная условная операция 58 повышает вероятность успешного исправления ошибок выделенной компоненты. Если проверка на шаге 54 определяет, что исправление ошибок прошло успешно, переходят на шаг 62 процедуры, где проверяют, есть ли требование более высокого уровня качества, предъявляемое, например, пользователем или настройкой по умолчанию на приемнике. Если да, процедуру продолжают шагом 50, то есть выделяют компоненту следующего уровня. Разумеется, такая выборка может быть ограничена непересекающимися фрагментами компоненты следующего уровня, то есть частью компоненты следующего уровня, не пересекающейся с предшествующими составляющими, выделенными ранее. Более того, выборка уже могла быть сделана на шаге 58, поэтому повторный отбор может быть пропущен. При этом, если контроль на шаге 62 показал, что верхний уровень не требуется, на шаге 64 информационный контент извлекают из выделенной и окончательно откорректированной с помощью протокола прямого исправления ошибок компоненты необходимого уровня, после чего процедуру успешно завершают на шаге 66. В соответствии с фиг.3 исправление ошибок компоненты более низкого уровня, прежде всего, ограничивается ассоциированной избыточной информацией. Говоря иначе, первую попытку предпринимают с целью исправления ошибок этой составляющей с помощью только ассоциированной с ней избыточной информации. Только в случае сбоя дополнительно привлекается избыточная информация составляющих более высоких уровней.

Безусловно, при упрощенном подходе, показанном на фиг.4, избыточная информация высокоуровневых составляющих может быть привлечена немедленно для обнаружения и исправления ошибок низкоуровневых компонент. На фиг.4 представлен такой алгоритм. На шаге 70 ошибка информационного сигнала внутри компоненты запрашиваемого уровня исправлена с помощью избыточной информации, ассоциированной с запрашиваемым уровнем в сочетании с избыточной информацией, соотнесенной с более высокими уровнями и частью высокоуровневых компонент, непересекающихся с компонентой запрашиваемого уровня. Например, чтобы исправить ошибки внутри составляющей 10с на фиг.1а, на шаге 70, коррекцию выполняют с использованием не только избыточной информации, ассоциированной с составляющей 10с, но также и с избыточной информацией, соотнесенной с составляющей 10а и/или 10b в области, соответствующей их более высокому уровню, где отсутствует наложение на низкоуровневую составляющую 10с. После этого, на шаге 72, информационный контент на запрашиваемом уровне выводят из исправленной составляющей, исключая ту часть составляющих высокого уровня, которая не накладывалась на компоненту запрашиваемого уровня. Перед описанием размещенных ниже рисунков следует обратить внимание на то, что масштабируемый информационный сигнал, применимый к конструктивным решениям фиг.2-4, способен иметь масштабируемость по большему числу измерений, чем используется или принято для обеспечения данных FEC. Формулируя иначе, система зависимости информационного сигнала, принимаемая при формировании данных FEC, предполагает только ограниченное подмножество измерений масштабируемости информационного сигнала. При ссылке, например, на фиг.1а-1с многоуровневый FEC, описанный выше и - более подробно - ниже, должен быть ограничен только до одного из двух измерений 12 и 14. Вышеупомянутые варианты реализации описывались без каких-либо ограничений в области приложения, например видеокодирования и т.п. Кроме того, подробно не был рассмотрен вид упреждающей коррекции ошибок, используемый при защите индивидуальных уровней качества.

То же относится к видам масштабируемости или разнообразию возможностей многомерности масштабируемости. Примеры всех таких условий могут быть взяты из представленных ниже вариантов осуществления, при описании которых время от времени будут делаться ссылки на какую-либо из фиг.1-4. В частности, приведенные ниже конструктивные решения иллюстрируются иногда при обращении к мультимедийным потокам, в особенности - видеобитстримам. В описываемых ниже реализациях, кроме того, применяется многоуровневая коррекция ошибок с упреждением, кратко затронутая выше в связи с FEC-защитой, которая построена каскадно для каждого верхнего уровня масштабируемого видеокодека. Однако, несмотря на то что представленные ниже технические решения относятся, главным образом, к масштабируемому кодированию видеосигнала, такие решения могут также иметь приложение в любой области представления данных, включая масштабируемое аудио, данные компьютерной графики и описания сцен, где подмножество данных зависит от правильности другого подмножества данных.

На фиг.5 приведен пример структурной зависимости мультимедийного потока. Мультимедийный поток упорядочен в последовательность временных кадров 0, t и 2t, как показано на фиг.5. Мультимедийный поток имеет многоуровневую структуру. Так, мультимедийный поток имеет L уровней зависимости. Представим, что самый нижний уровень зависимости 0 соответствует уровню 0 по оси 14 на фиг.1b, а уровень зависимости 1 соответствует уровню 1 вдоль этой же оси, уровень зависимости 2 соответствует уровню 2. Как видно на фиг.5, символы избыточности для уровня корректировки вычислены по исходным символам всех нижележащих опорных уровней, что схематически отражено построением FEC. Дополнительная защита нижних уровней обеспечивается без наращивания общего количества избыточных символов FEC всего мультимедийного потока, то есть - для всех уровней. Двунаправленные стрелки на фиг.5 показывают, какие уровни используются для генерации избыточных символов FEC. Для данного примера максимальное число уровней зависимости - L. Избыточные символы FEC для самого нижнего уровня Layer 0 (FEC 0) сгенерированы некоей техникой кодирования FEC Т.

Символы FEC 1 (уровень 1) генерируются по исходным символам уровня 0 и уровня 1, тогда как символы FEC 2 (уровень 2) генерируются по исходным символам уровня 0, уровня 1 и уровня 2 и так далее до FEC L-1, который генерируется по всем уровням от 0 до L-1.

Символы FEC могут генерироваться модулями, показанными на фиг.2. Символы FEC 0 могут независимо использоваться для декодирования схемы FEC Т. Уровень 1 может быть откорректирован только в сочетании с уровнем 0. Избыточные символы обоих уровней используются совокупно для восстановления уровня 1 и уровня 0 одновременно. Если потерянные символы не превышают сумму переданных символов FEC 0 и FEC 1, оба уровня могут быть реконструированы, то есть преодолеть потерю символов в базовом уровне, большую, чем число избыточных символов базового уровня FEC 0, можно, если на уровне 1 сохранилось достаточно избыточных символов FEC 1 для восстановления обоих уровней. Сумма всех передаваемых символов n1 уровня 1 и всех передаваемых символов n2 уровня 2 должна быть выше или равна k1+k2.

Таким образом, многоуровневый FEC на фиг.5 использует существующие зависимости в битстриме, чтобы генерировать исчерпывающий для уровня набор символов избыточности или равенства в верхних уровнях с 1>0, вычисляя избыточные символы для уровня корректировки по исходным символам всех нижележащих опорных уровней, как отображено построением FEC в примере на фиг.5, где двойные стрелки показывают, какие уровни используются для генерации избыточных символов FEC для соответствующего уровня.

Как было описано, мультимедийный битстрим разбивается на L уровней зависимости, при этом избыточные символы (FEC 0) самых нижних уровней l=0 могут быть сгенерированы, предположим, техникой кодирования FEC Т.

Символы FEC 1 (уровень 1) могут генерироваться по исходным символам уровня 0 и уровня 1. Кроме того, символы FEC 2 (уровень 2) могут генерироваться по исходным символам уровня 0, уровня 1 и уровня 2 и так далее до FEC L-1, который генерируется по исходным символам всех нижележащих уровней от 0 до L-1.

Как пример алгоритма кодирования и декодирования символов FEC возьмем код XOR по двум уровням в битовом выражении при n-k=2 битах избыточности (где k - число исходных/незащищенных битов, a n - число защищенных битов, включая полезные данные и избыточность). Однако следует отметить, что защита многоуровневого FEC, описанная выше, может использоваться с любыми другими протоколами FEC, например, использующими комбинации XOR для генерирования избыточных символов. Символы уровня 0, например, генерируются с использованием некоторой техники FEC.

Биты информации XOR k-битного вектора I0={i00…, i0k-1} избыточные символы (здесь биты) Р0={р01…, p0n-k}. Чтобы образовать систематическое кодовое слово, Р0 образует цепь с I0, монтируя кодовое слово С0., далее иногда называемое Constellation 0 (Констелляцией 0). В примерах на фиг.5 и фиг.3 n-k=2 было использовано для наглядности пояснений.

Биты в наборе Р1 уровня зависимости 1 вычислены в Констелляции 1 по исходным символам уровня зависимости 1 и нижележащего уровня 0, то есть в комбинации с исходными символами уровня 0, от которого зависит уровень 1. Следовательно, вектор избыточности Р1 является XOR-комбинацией I0 и I1. Систематическое кодовое слово С1 является конкатенацией [цепочкой] исходных битов I1 и Р1.

Фиг.6 отображает кодирование двух уровней зависимости с таким многоуровневым FEC. Благодаря дополнительным XOR-комбинациям, используемым в подходе многоуровневого FEC, избыточные символы (биты) разных уровней могут быть скомбинированы для исправления стираний исходных символов всех уровней, входящих в Констелляции. Если L - количество уровней зависимости, то фиг.7 отображает все возможные Констелляции кодирования и декодирования от 0 до L-1 в зависимости от количества имеющихся уровней L. Если на уровне 0 есть ошибки, каждая Констелляция может быть использована для их исправления (см. шаг 70). Для снижения вычислительной сложности для исправления ошибок можно использовать самую нижнюю Констелляцию 0 (см. фиг.6). Если результат отсутствует (шаг 54), проверяется следующая Констелляция 1 (шаг 58) и так далее. Если результата нет также после последней Констелляции L-1, ошибки уровня 0 не могут быть исправлены (шаг 60).

С другой стороны, если уровень 0 может быть восстановлен, данные могут быть использованы для декодирования верхних Констелляций, но без усиления защиты в силу действия связей XOR от нижних уровней к верхним. Формулируя иначе, если уровень 0 может быть реконструирован, данные Констелляции 1 могут быть использованы для реконструкции уровня 1. Процесс декодирования данных, закодированных в примере на фиг.6, отображен на фиг.8. Если p1=n1-k1 - количество символов избыточности или равенства на уровне 1, а е1 - количество потерянных символов на уровне 1, и каждый избыточный символ способен исправить один потерянный символ из переданных символов уровня 1 и всех более нижних уровней, то уровни могут быть декодированы, если:

Констелляция 0 для 1 уровня:

p₀≥е₀

Констелляция 1 для 2 последовательных уровней:

p₀+p₁≥e₀+е₁ if (p₁≥e₁)

Констелляция 2 для 3 последовательных уровней:

р₀+р₁+p₂≥e₀₊e₁+e₂ if (p₂≥e₂)&(p₂+p₁≥e₂+e₁)

Констелляция L-1 для L-1 последовательных уровней:

Количество символов равенства р+0 для уровня 0 в каждой констелляции может быть вычислен следующим образом:

Констелляция 0:

p+₀=p₀

Констелляция 1:

p+₀=p₀+(p₁-e₁) if (p₁≥e₁)

Констелляция 2:

p+₀=p₀+(p₂-e₂)+(p₁-e₁) if (p₂≥e₂)&(p₂+p₁≥e₂+e₁)

Констелляция L-1:

Повышение защиты уровней корректировки 1>0 может быть декодировано таким же образом, при том что защита нижних уровней не может использоваться, а успешное декодирование нижних уровней является обязательным требованием.

На фиг.8 дан пример декодирования с двумя уровнями. Предположим, например, что использованные кодировщиком комбинации XOR известны на приемнике.

Стирания могут быть исправлены следующим образом. Предположим, R0=(0??? 1) - полученное кодовое слово для уровня 0, a R1=(11011) - для уровня 1. Символ "?" замещает потерянный бит. В Констелляции 0 способ и устройство (шаг 52) делают попытку декодировать уровень 0 с помощью битов проверки на четность FEC 0. Исправлен может быть только бит i02, а другой бит i01 не может быть исправлен из-за недостаточности битов четности. На следующем шаге (шаг 58) делается попытка декодировать Констелляцию 1, комбинируя FEC 0 и FEC 1. Путем сцепления с верхними уровнями потерянный бит может быть исправлен, и оба уровня могут быть успешно декодированы (шаг 64). Описанный таким образом многоуровневый FEC вносит дополнительные зависимости в биты проверки на четность верхних уровней. Однако в силу межуровневых зависимостей правильно полученные верхние усовершенствованные уровни бесполезны без правильных нижних уровней.

Далее представлены реализации для многомерного многоуровневого FED с масштабируемыми мультимедийными потоками. Когда описанный выше многоуровневый FEC расширяется за счет введения различных видов параллельного кодирования разнообразных разнонаправленно масштабируемых мультимедийных источников, далее это будет называться многомерной многоуровневой FEC (MDL FEC). Благодаря допускам по масштабируемости, существующим в современных стандартах по масштабируемым мультимедийным средам, таких как SVC [А1] [A3] [А4], зависимости внутри мультимедийного потока могут иметь многомерную масштабируемость. Например, для мультимедийного потока стандарта SVC качество ОСШ (отношения сигнал - шум), частота кадров, как и разрешающая способность декодируемого видео, могут быть изменены одновременно путем добавления или удаления уровней.

Фиг.9 иллюстрирует возможную структуру зависимости видеокодека SVC, в соответствии с которой видеосигнал способен обеспечить временное разрешение, четырехуровневую масштабируемость, битрейт или четыре уровня масштабируемости ОСШ [отношения сигнал - шум] и пространственную масштабируемость в три уровня. Автономные блоки отображают непересекающиеся компоненты сигнала видеокодека SVC, а стрелки между ними указывают от компонент высокого уровня до компонент более низких уровней, от которых зависят первые. Иными словами, многоуровневый FEC может использоваться в сфере многомерных структурированных взаимозависимостей. Избыточные символы могут быть образованы по всем уровням зависимости. Обозначим LD количество уровней масштабируемых измерений D [многомерной D масштабируемости].

Фиг.10 иллюстрирует вариант констелляции MDL FEC при D=3. При этом возможно любое количество измерений D>3, как и любое количество измерений D, меньшее чем D=2.

На фиг.10 для наглядного подтверждения базовый уровень включен во все построения FEC. Это отвечает конструктивным решениям на фиг.1а-1с. Следовательно, существует множество путей успешного исправления ошибок. MDL FEC на фиг.10 построена таким образом, что все измерения, охватываемые пространством многомерной масштабируемости, включены в процесс образования избыточных символов, то есть для каждой L-мерной Констелляции {D0,…, DL-1} исходные символы всех Констелляций с d<DL, с 0≤1≤L-1 используются для формирования избыточных символов. Это обеспечивает рост вероятности восстановления Констелляции {d0…, dL-1} на пути сквозь многомерное пространство масштабируемости без наращивания числа избыточных символов. Если, например, в базовом уровне обнаружена ошибка, последующие констелляции, начиная с Констелляции 000, тестируются на необходимость коррекции. Если Констелляция 000 оказывается неработоспособной, задействуются констелляции с двумя следующими уровнями с Констелляцией 100, 010, 001 используются и так далее, как показано на фиг.10.

Пересылка масштабируемых мультимедийных потоков с использованием MDL FEC может обеспечить преимущества. В некоторых сценариях, например, неравномерной защиты от ошибок [А5] или многоуровневой многоадресной передачи [А6] значение имеет раздельная передача уровней.

В таких случаях MDL FEC увеличивает вероятность декодирования для нижних уровней измерений.

На фиг.11 приведен пример двух зависимых уровней с многоуровневым FEC. Как видно, в нижнем уровне должен появиться пакет ошибок. Если нижний уровень затронут таким пакетом ошибок, целостные более высокие усовершенствованные уровни могут быть дополнительно задействованы для декодирования нижележащих уровней без добавления избыточных символов. Вышеупомянутый вариант реализации может быть использован с LT-кодами (сравните [А7]) с расширением матрицы кодирования и декодирования, как изображено справа на фиг.12. SSs - исходные символы незащищенного информационного сигнала на выходе, например, формирователя компонент 26 на фиг.2, a ESs - символы кодирования, вводимые, например, в выходной защищенный информационный сигнал на выходе 24 на фиг.2. Кодирующие символы вычисляются операцией XOR при расположении всех SSs в одну линию с 1 в матрице кодирования на фиг.12. На фиг.12 слева показана порождающая матрица, которая может быть включена в алгоритм на фиг.19, в соответствии с которым каждая из непересекающихся компонент уровня должна быть отдельно защищена с помощью FEC. Как таковая, матрица слева показана только с целью сравнения. Порождающая матрица справа показывает, что символы уровней 0 и 1 объединены для получения кодирующих символов ES для формирования защищенных данных непересекающихся уровней уровня 1, и что символы уровней 0, 1 и 2 объединены для получения кодирующих символов ES для формирования защищенных данных непересекающихся уровней уровня 2. В действительности, порождающая матрица на фиг.12 могла быть реализована устройством FEC-защиты 28 на фиг.2, где каждый модуль от 28а до 28d соответствует любой из линий этой порождающей матрицы, обозначенных справа "уровень 0", "уровень 1" или "уровень n". В частности, модуль уровня n должен представлять разные суммы или другие комбинации между кодовыми словами km внутри компонент уровня m при 0≤m<n, которые обозначены в матрице на фиг.12 как „l”, для образования закодированных кодовых слов nn, при nn>mn, представляющих как избыточную, так и полезную информацию компоненты уровня n в несистематическом виде.

В описанных выше версиях осуществления могут быть применены даже несистематические и систематические Raptor-коды (сравнить [А8]) с расширением матрицы кодирования и декодирования, как изображено на фиг.12, и расширением матрицы дополнительного предкодирования, как показано на фиг.13 (для систематического кодирования), где вновь, слева, помещена вероятная матрица предкодирования, которую можно задействовать в алгоритме фиг.19, в соответствии с которым каждая из непересекающихся компонент уровня должна быть отдельно защищена протоколом FEC, тогда как левая матрица может использоваться при выполнении многоуровневого FEC с помощью Raptor-кодов. В качестве предупреждения следует заметить, что предположительное количество уровней на фиг.13 - 2, тогда как на фиг.12 количество уровней - 3. Как можно заметить, с помощью матрицы предкодирования на фиг.13 предварительно кодируются символы верхнего уровня путем комбинирования их с символами нижнего уровня. Тщательно задавая комбинаторную часть матрицы предварительного кодирования (нижняя левая часть правой матрицы на фиг.13), получаем систематический код, применяя правую матрицу на фиг.12. Как видно, установке подлежит только участок А1* комбинаторной области матрицы на фиг.13, при этом остальная часть может быть установлена на нуль. Далее, вышеупомянутые варианты реализации могут использоваться с LDPC-кодами (см. [А9]) с расширенной матрицей четности, подобной расширенной матрице кодирования LT-кода, или с линейными блоковыми кодами (см., например [А2]). Варианты конструкции, описанные выше, могут быть объединены с масштабируемыми мультимедийными кодеками. Масштабируемые мультимедийные кодеки могут быть, например, масштабируемыми видео- и аудиокодеками и могут быть совмещены с масштабируемыми мультимедийными кодеками с одномерной или многомерной структурой зависимости. В последнем случае многомерная структура зависимости может быть принята для формирования MDL FEC, как описано выше.

В целом вышеупомянутые технические решения могут применяться для обеспечения защиты любого вида данных, в том числе компьютерной графики, описания сцены, метаданных, семантических данных, где ценность одного подмножества данных зависит от полноценности другого подмножества данных. Подробное обсуждение реализации с применением кодов „rateless” будет предварено кратким обзором rateless-кодов, где отдельное внимание уделено коду преобразования Луби [Лаби] (Luby Transform code) и коду Raptor. Как иллюстрация практического применения, вновь будет привлечено масштабируемое видеокодирование. Будет объяснено распространение действия кодов rateless на многоуровневую FEC с выборочным представлением результатов. Rateless [„бесскоростные”] или фонтанные коды - это синонимы, они являются кодами исправления ошибок, применяемыми, большей частью, в средах передачи с пакетными потерями. Теоретически можно произвести бесконечное число n кодирующих символов (ESs) от ограниченного числа k исходных символов (SSs) с низкой сложностью благодаря разреженным матрицам кодирования. Для успешного декодирования количество полученных символов должно быть больше, чем k+λ, где λ замещает „оверхэд” [„overhead” = снижение вычислительной сложности за счет увеличения числа кодовых символов] декодирования, который составляет от 3% до 5% от первоначальных исходных символов k в зависимости от используемой техники FEC Т. Трудность в конструировании rateless-кодов лежит в разработке алгоритма с целью выработать теоретически бесконечное число уникальных наборов XOR комбинаций Р, обеспечивающих баланс между необходимым числом исходных символов при обеспечении низкой плотности матрицы, влияющими на величину λ, с одной стороны, и вычислительной сложностью, с другой стороны. Впервые практическое решение проблемы кода rateless было предложено в 2002 г. Майклом Лаби в коде преобразования Лаби (LT) [Luby Transform] [A7].

Первые входные данные делят на k символов SSs, каждый размерностью t. Генерирование кодирующих символов выполняется вычислением для каждого Ei отличной XOR-комбинации d исходных символов, определяемых набором Pi, где количество включенных исходных символов d называется степенью. Каждый набор Pi случайно генерируется от соответствующего распределения степени, где i обозначает уникальный идентификационный номер (ESI), который используется как произвольное начальное число для генератора псевдослучайных чисел. Идентификационный номер ESI передается на декодер вместе с кодирующим символом. Разные векторы XOR-комбинаций Р0…Pn-1 строят матрицу LT-кодирования GLT, которая изображена на фиг.14. Каждый кодирующий символ Ei матричной строки и номер ESI i генерируется операцией XOR, при этом все исходные символы К - с Булевской переменной 1 в комбинационном наборе Pi. Полная операция кодирования может быть также выражена как:

На принимающей стороне Pi комбинаций XOR может быть восстановлено с использованием ESIs irec ∈ {0,…,n-1} успешно полученных кодирующих символов Ei. Если XOR-наборы полученных кодирующих символов имеют, как минимум, k успешно полученных линейных независимых XOR-комбинаций, k исходных символов могут быть восстановлены решением завершающей системы уравнений.

Коды Raptor предложены в [В7]. При их использовании сокращается трудоемкость кодирования благодаря введению дополнительного предварительного кода так, чтобы ограничение по охвату исходных символов для LT-кодирования было смягчено, и порождающая матрица GLT приобрела большую разреженность и меньшую степень d. Кодирование выполняется аналогично коду LT, но с использованием предварительно закодированных символов F вместо исходных символов К в качестве источника для LT-кодирования. Символы F вычисляются с помощью дополнительной FEC, генерируемой порождающей матрицей Gp по s χ k, где s - количество символов четности Dp. Символы четности вычисляются по уравнению 2.

Конечные кодирующие символы Е вычисляются с использованием предкодовых символов F=[DpK] в качестве источника для порождающей матрицы GLT по уравнению 1.

В большинстве систем передачи данных желателен прямой доступ к оригинальной информации. В силу этого в [В8] и [А8] выдвигается системная версия кода Raptor, в которой исходные символы вводятся в кодирующие символы. Генерация предварительного кода немного изменена. В целях компенсации операций XOR с исходными символами в коде LT порождающая матрица GLT также введена в генерацию предкода.

На фигуре 15 показана систематическая матрица предкодирования GpSys. Ограничение, вносимое GLT, ведет к тому, что LT-кодирование первых k символов предкодирования F0,…, Fk-1 дает в результате оригинальные исходные символы К и потому - систематический код. Если Is обозначает единичную матрицу s×s, матрица предкодирования GpSys определяется как:

Затем могут быть вычислены символы предкодирования Fsys решением системы уравнений, построенной на ряде ограничений, что показано на фиг.15:

Систематические raptor-символы E [0:n-1] вычисляются с использованием предкодовых символов Fsys в качестве источника для порождающей матрицы GLT по уравнению 1. На основании описанных выше процедур ниже приведен возможный способ конструирования многоуровневых кодов rateless. В частности, для приложения протокола многоуровневого FEC к систематическим кодам Raptor необходимо матрицы кодирования и предкодирования, GLT и GpSys, модифицировать под уровни зависимости 1>0, следуя алгоритму многоуровневого FEC. Дано первое расширение матрицы LT-кодирования.

Стандартная матрица LT-кодирования GLT имеет размерность k×n. Чтобы распространить область действия операции XOR на нижние уровни и сохранить скорость кода постоянной, GLTm должна быть расширена для уровня m, при том, что kl - количество исходных символов для уровня 1, до матрицы вида .

Чтобы расширить матрицу кодирования GLT1 уровня 1, типичная матрица может быть сцеплена с матрицами кодирования для нижних уровней с построением многослойной матрицы кодирования GLayeredLT (I):

Следуя данной процедуре, стандартные протоколы LT-кодирования можно использовать для интеллектуального распределения степени. Во избежание двойных XOR-комбинаций Pi в одном уровне генерируются сцепленные матрицы кодирования

нижних уровней l<m с помощью неиспользованных идентификационных номеров ESI. Это возможно благодаря теоретически неограниченному количеству кодирующих символов.

На фиг.16 показаны многослойные матрицы LT-кодирования GLT0 и GLayeredLT(l) для двух произвольных уровней. Следует обратить внимание на то, что предлагаемое расширение может быть применено ко множеству уровней. Кодирующие символы уровня 1=0 сгенерированы стандартным путем. Соотнесенная матрица кодирования GLT0 соответствует матрице, изображенной на фиг.6, и каждая строка состоит из наборов XOR-операций Р0…, Pn0-1, выполненных с использованием номеров ESI i=0…, n0-1 в качестве случайного начального числа. Для генерации кодирующих символов уровня l=1 стандартная матрица G_LT1 сцепляется с матрицей , где каждый набор Pi операции XOR строится с использованием последовательных неиспользованных идентификационных номеров ESI i=n0…n0+n1-1.

Кодирующие символы многоуровневого FEC для уровня l=1 вычислены с помощью:

Кодирующие символы уровня 1 представляют комбинацию XOR обоих уровней и могут помочь в декодировании нижележащего уровня l=0 при выполнении протокола многоуровневого FEC, описанного выше.

Благодаря расширению матрицы LT-кодирования код Raptor больше не является систематическим. Свойства систематического кода могут быть восстановлены путем добавления матрице предкодирования GpSys дополнительных ограничительных условий. Систематическому коду необходимо, чтобы предварительным кодом было гарантировано, что кодирующие символы, генерируемые при многоуровневом LT-кодировании, содержали оригинальные исходные символы.

Согласно уравнению 3 видоизмененная многослойная матрица предкодирования GLayeredpSys(1) уровня 1 определяется как:

Введение GLayeredLT(l) вместо GLT компенсирует расширение матрицы LT-кодирования.

На фиг.17 изображена многослойная матрица предварительного кодирования для двух уровней, где

Предкодовые символы FSys0 вычисляются стандартным методом, в то время как предкодовые символы уровня 1 Fsysl вычисляются путем решения многоуровневого процесса создания ограничений 8.

В завершение генерируются закодированные символы многоуровневого систематического Raptor согласно уравнению 6 при:

Кодирующие символы уровня 1 представляют собой комбинацию XOR в кодировке rateless уровня 0 и 1, тогда как первые символы соответствуют оригинальным исходным символам K1. Далее представлены избранные результаты имитации, полученные на основании вышеописанного кода Raptor и многоуровневого FEC. Степень эффективности кода rateless в целом может оцениваться объемом вспомогательного „оверхэда” символов, необходимого для успешного декодирования.

Приведенные ниже результаты свидетельствуют о том, что предлагаемый многоуровневый rateless Raptor имеет такую же степень вероятности декодирования, что и стандартный Raptor. Для осуществления имитации программное обеспечение системы кодирования Raptor, относящееся к предложенной в [А8] реализации, было расширено до использования в рамках многоуровневого FEC. В стандартной конструкции кода Raptor входные данные состоят из k=1200 исходных символов размерностью t=48 байтов. Как показано на фиг.18, при дополнительном оверхэде р=20 кодовых символов реконструкции случайные потери прекращаются у любого вида Raptor.

На фиг.18 на диаграмме по оси Х дано количество оставшихся дополнительных кодовых символов реконструкции, а по оси Y представлен процент успешного кодирования от 3000 тестов. Результативность кода rateless в целом может быть оценена по вспомогательному оверхэду n символов, необходимых для успешного декодирования, что также изложено в [В8] и подразумевает, что исходных символов принимается больше, чем необходимо для реконструкции оригинальных символов. Каждый Raptor-символ может являться XOR-комбинацией определенного числа случайных исходных символов. Декодирование может быть выполнено путем решения системы линейных уравнений, построенных на комбинациях XOR полученных символов. Система уравнений может быть решена, если только полученные символы сгенерированы с достаточным количеством линейных независимых уравнений.

Согласно описанным выше версиям осуществления многоуровневый FEC может добавить дополнительные комбинации XOR в нижних уровнях систем кодирования более высокого уровня.

Поэтому при декодировании уровней многоуровневого FEC присутствует больше уравнений для нижних уровней, и вероятность наличия достаточного количества линейных независимых уравнений возрастает.

На фигуре 18 два уровня смоделированы с и без использования многоуровневого FEC.

Количество исходных символов для каждого уровня - k=1024 при размерности символа t=48.

Второй уровень зависит от первого уровня.

Степень вероятности декодирования самого нижнего уровня показана по оси Y через дополнительное количество полученных Raptor-символов (остающихся символов) n=r-k, где r - количество полученных символов.

На диаграмме видно, что благодаря дополнительным комбинациям XOR для самого нижнего уровня вероятность декодирования возрастает при подходе с многоуровневым FEC. Подобный же результат отмечен в [А10].

Кроме того, выборочно представлены результаты моделирования многоуровневой передачи в специфической среде беспроводного группового обмена.

Многоуровневая передача видеокодека SVC, защищенная многоуровневой FEC с кодировкой rateless, на прикладном уровне применена в области цифрового телевидения DVB-H [В10] [В11].

Защита MPE-FEC остается незадействованной, а модель Gilbert-Elliot (GE) [В12] использовалась как стохастическая модель для имитации потерь транспортируемых пакетов DVB-H.

GE широко используется из-за простоты, при том, что до сих пор хорошо воспроизводит ошибки в радиоканале. GE может иметь два состояния: хорошее „g” (good) и плохое „b” (bad) и определено по вероятностям перехода между этими состояниями. Таким образом, есть четыре вероятности, отображенные в матрице передачи Т в уравнении 10.

Вероятности перехода были вычислены для реальной оцененной модели потерь в соответствии с расчетом в [В13] для p_gg и p_bb со средним коэффициентом ошибок Е и средней длиной пачки ошибок В, что отражено в уравнении 11 и 12. При p_gb=1-p_gg и p_bg=1-p_bb может быть определена полная матрица переходов Т модели структуры явных потерь.

Оценка моделей структуры потерь производилась по реальному каналу DVB-H с использованием модуляции 16QAM и режима 8k FFT, без применения MPE-FEC.

Проводились измерения приема различного качества в различных доплеровских частотах, показавшие различные режимы потерь.

Для демонстрации эффективности многоуровневого FEC мы провели сравнение передачи с двумя разными разрешающими способностями видеокодека SVC.

Базовым уровнем служила QVGA с разрешающей способностью 25 fps, уровень с расширением также обеспечивает VGA разрешающую способность 25 fps. Базовый уровень закодирован с использованием стандартного систематического кода Raptor и некоторых вспомогательных избыточных символов, управляемых скоростью кода с0. Более высокий уровень VGA зависит от успешно принятого уровня QVGA. Соответственно, к этому уровню применен многоуровневый FEC с добавочными избыточными символами, управляемыми скоростью кода с1, защищающий также нижние уровни. Была создана имитация приема ресивером VGA с разрешающей способностью расширенного QVGA в условиях потери самого высокого уровня из-за ошибок передачи. Проведено сравнение трех протоколов FEC-защиты с обычной и многоуровневой структурой. Для демонстрации эффективности задействованы были протоколы многоуровневой FEC: первый - с равномерной защитой от ошибки, второй - с неравномерной защитой от ошибки (UEP) и высокой степенью защиты в нижнем уровне, и третий - с UEP и высокой степенью защиты в верхнем уровне. Скорость кода была отрегулирована таким образом, чтобы битрейт всей схемы защиты был одинаковым. Другими словами, вышеупомянутые варианты реализации показывают целесообразность включения в многоуровневую систему защиты FEC кода rateless и, особенно, систематического кода Raptor. Для формирования комплексной иерархической системы защиты FEC и поддержания ее в систематическом рабочем режиме кодирующие и предкодирующие матрицы были расширены одновременно. Результаты моделирования подтвердили эффективность многоуровневой FEC с кодом Raptor и показали ее преимущества перед стандартной FEC-защитой. Описываемые выше технические исполнения востребованы в современных технологиях многоуровневого масштабируемого видеокодирования, где на выходе производственного процесса - видеобитстрим с разнообразными межуровневыми зависимостями. Способ применения кодов системы защиты с упреждающей коррекцией ошибок FEC для существующих структур зависимостей может быть интегрирован с кодами rateless. Так называемая многоуровневая FEC усиливает защиту более низких и более важных уровней без наращивания общего объема избыточных символов FEC. Кроме того, описанные выше конструктивные решения осуществимы в интеграции с кодами rateless, LT и Raptor. Рост эффективности многоуровневого FEC был продемонстрирован при моделировании взаимодействия с многоуровневым многоадресным обменом с использованием масштабируемого видеокодирования (SVC). Однако еще раз следует обратить внимание на то, что описываемые варианты технических решений не ограничиваются узкими сферами применения, такими как видеокодирование или адаптация к кодам LT и Raptor. Например, предусмотрена возможность интегрирования фонтанных кодов (DF) (см. [А10]). Цифровые Фонтанные коды - это коды с разреженным графом, чье основное свойство - в том, что исходные данные могут быть восстановлены из любого подмножества закодированных пакетов при условии, что получено достаточное количество пакетов. DF-коды - это коды rateless в том смысле, что количество символов, генерируемых из исходных данных может быть потенциально бесконечным и может быть определено „на лету”. Кроме того, фонтанные коды универсальны, так как длина символа этих кодов произвольна - от 1-битовых двоичных символов и до бесконечности символов без воздействия на эффективность кодирования и декодирования. Примером DF-кода (фонтанного кода) является LT-код. Далее, кроме LT-кода и Raptor-кода могут использоваться код LDPC, или код Online. Что касается собственно кода FEC, он может быть сконфигурирован так, чтобы добиться максимальной загрузки вычислительного модуля решением систем уравнений, направленных на многоуровневую защиту данных в соответствии с заявленными выше конструктивными решениями, чтобы их преимущества были направлены на повышение эффективности коррекции FEC с упором на данные, проходящие через нижние уровни. Что касается, например, выбора масштабируемых измерений, их выбор должен максимально основываться на параметрах временной дискретизации, пространственной разрешающей способности, количества видео- и аудиоканалов, стереоскопии или нестереоскопии и битовой глубины отсчета. В зависимости от практического применения изобретение может быть реализовано в аппаратных и программных средствах. В силу этого данное изобретение относится также к компьютерной программе, которая может храниться на читаемом компьютером носителе, такой как CD, диск или любой другой носитель информации. Следовательно, настоящее изобретение, кроме того, представляет собой компьютерную программу, имеющую код программы, которая при выполнении на компьютере осуществляет относящийся к изобретению способ в соответствии с представленными выше фигурами. В дополнение к этому следует отметить, что все шаги или функции, отображенные на блок-схемах, могут быть осуществлены соответствующими средствами кодирования и что процесс реализации может включать в себя подпрограммы, выполняемые ЦПУ, контуры интегральной схемы целевого назначения (ASIC) или тому подобное. В то время как это изобретение описано в контексте нескольких конструктивных решений, в сферу данного изобретения входят изменения, перестановки и аналоги. Также следует отметить, что данное изобретение допускает варианты осуществления методов и компоновок конструкции. В силу сказанного подразумевается, что приведенная ниже прилагаемая патентная формула включает в себя все такие изменения, перестановки и аналоги как действительно соответствующие сути и духу настоящего изобретения.

Литература:

Изобретение относится к информационным сигналам, таким как мультимедийные сигналы, кодированию информационного контента и исправлению ошибок в подобных информационных сигналах. Технический результат - эффективная и/или надежная защита масштабируемого информационного сигнала. Надежная защита обеспечивается за счет задействования внутренней взаимосвязи между множеством составляющих различных уровней внутри информационного сигнала при защите его с использованием протокола FEC. В частности, компоненты информационного сигнала, несущие информационный контент на более высоком уровне, должны быть соотнесены с избыточной информацией, которая находится в зависимости не только от этой части данной компоненты, не пересекающейся с соответствующей перекрывающей компонентой более низкого уровня. Предпочтительнее, чтобы избыточная информация находилась в зависимости также от последнего фрагмента, увеличивая вероятность успешного устранения искажений в составляющей более низкого уровня на принимающей стороне. 12 н. и 28 з.п. ф-лы, 21 ил.

1. Устройство для коррекции ошибок информационного сигнала, масштабируемого таким образом, что компоненты информационного сигнала представляют информационный контент на различных уровнях качества, по меньшей мере, первая из множества компонент, представляющих информационный контент на первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет информационный контент, накладывается на эту вторую компоненту; характеризующееся тем, что информационный сигнал защищен протоколом FEC на каждом из различных уровней благодаря избыточной информации, соотнесенной с ним таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты, представляющей информационный контент на соответствующем уровне, и избыточная информация, ассоциированная с первым уровнем, находится в зависимости от первой компоненты и, таким образом, защищает ее протоколом FEC, включая тот ее фрагмент, который накладывается на вторую компоненту; включающее в свою конструкцию: корректирующее устройство для исправления ошибки информационного сигнала в составе второй компоненты с использованием избыточной информации, ассоциированной с первым и вторым уровнями и фрагментом первой компоненты, не пересекающейся со второй компонентой; и отделитель для извлечения информационного контента на втором качественном уровне из второй, откорректированной, компоненты с исключением фрагмента первой компоненты.

2. Устройство по п.1, характеризующееся тем, что оно выполнено с возможностью многомерного масштабирования информационного сигнала и включает в свой состав компоненты информационного сигнала, которые представляют информационный контент в форме констелляций соответствующих уровней в многомерных сочетаниях, характеризующийся тем, что первая из множества компонент, представляющая информационный контент на уровне первого из множества измерений, более высоком, чем уровень первого измерения, где вторая из множества компонент представляет информационный контент, накладывается на эту вторую компоненту, характеризующийся тем, что, по меньшей мере, третья из множества компонент, отличная от первой компоненты, представляющая контент информации на уровне второго из множества наборов координат, более высоком, чем уровень второго набора координат, где появляется четвертая из множества компонент, несущих контент информации, накладывается на этот четвертый элемент, характеризующийся тем, что информационный сигнал в каждой из различных констелляций защищен протоколом FEC путем введения избыточной информации, ассоциированной таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты и таким образом защищает протоколом FEC эту компоненту, представляющую информационный контент в соответствующей констелляции; избыточная информация, соотнесенная с констелляцией, в которой первая компонента представляет информационный контент, находится в зависимости от этой первой компоненты, включая тот фрагмент первой компоненты, который накладывается на вторую компоненту, и избыточная информация, ассоциированная с констелляцией, в которой третья компонента представляет информационный контент, находится в зависимости от этой третьей компоненты, включая тот ее фрагмент, который накладывается на четвертую компоненту.

3. Устройство по п.2, характеризующееся тем, что в нем вторая компонента информационного сигнала равна четвертой компоненте.

4. Устройство по п.1, характеризующееся тем, что вторая и четвертая компоненты накладываются друг на друга.

5. Устройство по п.1, характеризующееся тем, что пятая из множества компонент, представляющая информационный контент на уровне первого измерения, на котором первая компонента представляет информационный контент, и уровне второго измерения, на котором третья компонента представляет информационный контент, перекрывает первую и третью компоненты так, что первая и третья компоненты полностью входят в область пятой компоненты, при этом избыточная информация, соотнесенная с констелляцией, в которой пятая компонента представляет информационный контент, зависит от пятой компоненты, включая ее фрагмент, перекрывающий вторую и четвертую компоненты, причем часть избыточной информации перекрывает первую компоненту, но не пересекает вторую и четвертую компоненты, и часть ее перекрывает третью компоненту, но не пересекает вторую и четвертую компоненты.

6. Устройство по п.2, характеризующееся тем, что вторая компонента полностью входит в область первой компоненты, а четвертая компонента полностью входит в область третьей компоненты.

7. Устройство по п.2, характеризующееся тем, что каждая компонента имеет соответствующую избыточную информацию, которая зависит от той части соответствующей компоненты, которая накладывается на любую другую из множества компонент.

8. Устройство по п.2, характеризующееся тем, что каждая компонента индивидуально подлежит декодированию для извлечения информационного контента в соответствующей констелляции без необходимости получения какой-либо дополнительной информации из соответствующей компоненты информационного сигнала.

9. Устройство по п.2, характеризующееся тем, что каждая компонента ассоциирована с соответствующей избыточной информацией через систематический код.

10. Устройство по п.2, характеризующееся тем, что каждая компонента ассоциирована с соответствующей избыточной информацией через несистематический код.

11. Устройство по п.2, характеризующееся тем, что информационный сигнал упорядочен как поток данных в виде последовательных временных кадров, причем в рамках каждого временного кадра часть потока данных, содержащая избыточную информацию, соотнесенную с констелляцией, в которой первая компонента представляет информационный контент, следует за частью потока данных, содержащей вторую компоненту, и часть потока данных, содержащая избыточную информацию, соотнесенную с констелляцией, в которой вторая компонента представляет информационный контент, предшествует части потока данных, содержащей часть первой компоненты, непересекающейся со второй компонентой, и часть потока данных, содержащая избыточную информацию, соотнесенную с констелляцией, в которой третья компонента представляет информационный контент, следует за частью потока данных, содержащей четвертую компоненту, и часть потока данных, содержащая избыточную информацию, соотнесенную с констелляцией, в которой четвертая компонента представляет информационный контент, предшествует части потока данных, содержащей часть третьей компоненты, непересекающейся с четвертой компонентой.

12. Устройство по п.2, характеризующееся тем, что избыточная информация основывается на LT-коде, Raptor-коде, коде LDPC или Online-коде.

13. Устройство по п.1, характеризующееся тем, что полезное содержимое информации (контент) включает в себя фонограммы, видеоматериалы и/или объекты трехмерной визуализации.

14. Устройство по п.1, характеризующееся тем, что количество измерений выбирают на основе параметров временной дискретизации, пространственной разрешающей способности, количества видео- и аудиоканалов, стереоскопии или нестереоскопии и битовой глубины отсчета.

15. Устройство по п.1, характеризующееся тем, что корректирующее устройство для выполнения начальной попытки исправления ошибки информационного сигнала в составе второй компоненты с использованием избыточной информации, ассоциированной с первым и вторым уровнями и фрагментом первой компоненты, не пересекающейся со второй компонентой, причем, если первая попытка не дала результат, делается повторная попытка исправления ошибки информационного сигнала внутри второй компоненты с использованием избыточной информации, соотнесенной со вторым уровнем, избыточной информации, соотнесенной с первым уровнем, и части первой компоненты, не пересекающейся со второй компонентой.

16. Устройство по п.1, характеризующееся тем, что информационный сигнал масштабируется таким образом, что компоненты информационного сигнала представляют момент времени информационного контента на различных уровнях качества.

17. Устройство по п.1, характеризующееся тем, что информационный сигнал представляет трехмерный и/или звуковой информационный контент и масштабируется таким образом, что компоненты информационного сигнала представляют информационный контент на разных уровнях качества.

18. Устройство для кодирования информационного контента в информационный сигнал с возможностью многомерного масштабирования таким образом, что составляющие информационного сигнала представляют информационный контент в различных констелляциях соответствующих многомерных уровней, включающее в себя формирователь, генерирующий множество компонент таким образом, что, по меньшей мере, первая из множества компонент, несущих содержательную часть информации (контент) на уровне первого из множества измерений, более высоком, чем уровень начального измерения, где появляется вторая из множества компонент, несущих контент информации, накладывается на эту вторую компоненту, и что, по меньшей мере, третья из множества компонент, отличная от первой компоненты, представляющая контент информации на уровне второго из множества измерений, более высоком, чем уровень второго измерения, где появляется четвертая из множества компонент, несущих контент информации, накладывается на эту четвертую компоненту, защитное устройство для реализации протокола FEC защиты информационного сигнала путем соотнесения (ассоциирования) избыточной информации с каждой из различных констелляций таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты и таким образом защищает протоколом FEC эту компоненту, представляющую информационный контент в соответствующей констелляции; избыточная информация, соотнесенная с констелляцией, в которой первая компонента представляет информационный контент, находится в зависимости от этой первой компоненты, включая тот фрагмент первой компоненты, который накладывается на вторую компоненту, и избыточная информация, ассоциированная с констелляцией, в которой третья компонента представляет информационный контент, находится в зависимости от этой третьей компоненты, включая тот ее фрагмент, который накладывается на четвертую компоненту.

19. Устройство по п.18, характеризующееся тем, что формирователь генерирует множество компонент таким образом, что вторая компонента равна четвертой компоненте.

20. Устройство по п.19, характеризующееся тем, что формирователь генерируют множество компонент таким образом, что вторая и четвертая компоненты накладываются друг на друга.

21. Устройство по п.20, характеризующееся тем, что формирователь генерирует множество компонент таким образом, что пятая из множества компонент, представляющая информационный контент на уровне первого измерения, в котором первая компонента представляет информационный контент, и уровне второго измерения, в котором третья компонента представляет информационный контент, накладывается на первую и третью компоненты так, что первая и третья компоненты полностью включены в область пятой компоненты, и устройство FEC-защиты защищает информационный сигнал с использованием протокола FEC таким образом, что избыточная информация, соотнесенная с констелляцией, в которой пятая компонента представляет информационный контент, зависит от пятой компоненты, включая ее фрагмент, перекрывающий вторую и четвертую компоненты, причем часть избыточной информации перекрывает первую компоненту, но не пересекает вторую и четвертую компоненты, и часть ее накладывается на третью компоненту, но не пересекает вторую и четвертую компоненты.

22. Устройство по п.18, характеризующееся тем, что формирователь генерирует множество компонент таким образом, что вторая компонента полностью входит в область первой компоненты, и четвертая компонента полностью входит в область третьей компоненты.

23. Устройство по п.18, характеризующееся тем, что защитное устройство выполняет функцию FEC-защиты информационного сигнала таким образом, что каждая компонента имеет соответствующую избыточную информацию, которая зависит от той части соответствующей компоненты, которая накладывается на любую другую из множества компонент.

24. Устройство по п.18, характеризующееся тем, что формирователь генерирует множество компонент таким образом, что каждая компонента индивидуально подлежит декодированию для извлечения информационного контента в соответствующей констелляции без необходимости получения какой-либо дополнительной информации из соответствующей компоненты информационного сигнала.

25. Устройство по п.18, характеризующееся тем, что защитное устройство выполняет функцию FEC-защиты информационного сигнала таким образом, что каждая компонента ассоциирована с соответствующей избыточной информацией через систематический код.

26. Устройство по п.18, характеризующееся тем, что защитное устройство выполняет функцию FEC-защиты информационного сигнала таким образом, что каждая компонента ассоциирована с соответствующей избыточной информацией через несистематический код.

27. Устройство по п.18, характеризующееся тем, что формирователь генерирует множество компонент таким образом, что информационный сигнал упорядочен как поток данных в виде последовательных временных кадров, и тем, что защитное устройство защищает информационный сигнал с использованием протокола FEC таким образом, что в рамках каждого временного кадра часть потока данных, содержащая избыточную информацию, соотнесенную с констелляцией, в которой первая компонента представляет информационный контент, следует за частью потока данных, содержащей вторую компоненту, и часть потока данных, содержащую избыточную информацию, соотнесенную с констелляцией, в которой вторая компонента представляет информационный контент, предшествует части потока данных, содержащей фрагмент первой компоненты, непересекающейся со второй компонентой, и часть потока данных, содержащая избыточную информацию, соотнесенную с констелляцией, в которой третья компонента представляет информационный контент, следует за частью потока данных, содержащей четвертую компоненту и часть потока данных, содержащую избыточную информацию, соотнесенную с констелляцией, в которой четвертая компонента представляет информационный контент, предшествует части потока данных, содержащей часть третьей компоненты, непересекающейся с четвертой компонентой.

28. Устройство по п.18, характеризующееся тем, что защитное устройство выполняет функцию FEC-защиты информационного сигнала таким образом, что избыточная информация основывается на коде LT, коде Raptor, коде LDPC или коде Online.

29. Устройство по п.18, характеризующееся тем, что контент информации включает в себя фонограммы, видеоматериалы и/или объекты трехмерной визуализации.

30. Устройство по п.18, характеризующееся тем, что количество измерений выбирают на основе параметров временной дискретизации, пространственной разрешающей способности, количества видео- и аудиоканалов, стереоскопии или нестереоскопии и битовой глубины отсчета.

31. Способ кодирования информационного контента в информационный сигнал с многомерным масштабированием таким образом, что компоненты информационного сигнала представляют контент информации в разных констелляциях соответствующих многомерных уровней, включающий в себя выработку множественности компонент таким образом, чтобы, по меньшей мере, первая из множества компонент, несущих контент информации на уровне первого из множества измерений, более высоком, чем уровень первого измерения, где появляется вторая из множества компонент, представляющих контент информации, накрывала эту вторую компоненту; и чтобы, по меньшей мере, третья из множества компонент, отличная от первой компоненты, несущая информационный контент на уровне второго из множества измерений, более высоком, чем уровень второго измерения, где появляется четвертая из множества компонент, представляющая контент информации, накрывала эту четвертую компоненту; и защиту информационного сигнала протоколом коррекции ошибок FEC путем соотнесения избыточной информации с каждой из различных констелляций таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты и таким образом защищает протоколом FEC эту компоненту, представляющую информационный контент в соответствующей констелляции; избыточная информация, соотнесенная с констелляцией, в которой первая компонента представляет информационный контент, находится в зависимости от этой первой компоненты, включая тот фрагмент первой компоненты, который накладывается на вторую компоненту, и избыточная информация, ассоциированная с констелляцией, в которой третья компонента представляет информационный контент, находится в зависимости от этой третьей компоненты, включая тот ее фрагмент, который накладывается на четвертую компоненту.

32. Устройство кодирования информационного контента в информационный сигнал, несущий этот контент и масштабируемый таким образом, что составляющие информационного сигнала представляют момент времени информационного контента на различных уровнях качества, включающий в себя формирователь для выработки множества компонент, при которой, по меньшей мере, первая из множества компонент, представляющая контент информации на первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет контент информации, накладывается на этот второй элемент; и защитное устройство для защиты информационного сигнала с использованием протокола FEC путем соотнесения избыточной информации с каждым из различных уровней таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты и таким образом защищает протоколом FEC эту компоненту, представляющую информационный контент на соответствующем уровне, и избыточная информация, соотнесенная с первым уровнем, находится в зависимости от первой компоненты, включая тот фрагмент первой компоненты, который накладывается на вторую компоненту.

33. Способ кодирования информационного контента в информационный сигнал, представляющий этот информационный контент и масштабируемый таким образом, что составляющие информационного сигнала представляют момент времени информационного контента на различных уровнях качества, включающий в себя выработку множества компонент, при которой, по меньшей мере, первая из множества компонент, представляющая контент информации на первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет контент информации, накладывается на этот второй элемент; и защиту информационного сигнала с использованием протокола FEC путем соотнесения избыточной информации с каждым из различных уровней таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты и таким образом защищает протоколом FEC эту компоненту, представляющую информационный контент на соответствующем уровне, и избыточная информация, соотнесенная с первым уровнем, находится в зависимости от первой компоненты, включая тот фрагмент первой компоненты, который накладывается на вторую компоненту.

34. Способ исправления ошибок информационного сигнала, масштабируемого таким образом, что составляющие информационного сигнала представляют информационный контент на разных качественных уровнях, где, по меньшей мере, первая из множества компонент, представляющих информационный контент в первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет информационный контент, накладывается на эту вторую компоненту; характеризующийся тем, что информационный сигнал защищен протоколом FEC на каждом из различных уровней благодаря избыточной информации, ассоциированной таким образом, чтобы каждый элемент избыточной информации находился в зависимости от соответствующей компоненты, представляющей контент информации на соответствующем уровне, и избыточная информация, соотнесенная с первым уровнем, находится в зависимости от первой компоненты и таким образом защищает протоколом FEC эту компоненту, включая тот ее фрагмент, который накладывается на вторую компоненту; способ, включающий в себя: исправление ошибки информационного сигнала в составе второй компоненты с использованием избыточной информации, ассоциированной с первым и вторым уровнями и фрагментом первой компоненты, не пересекающейся со второй компонентой; и извлечение информационного контента на втором качественном уровне из исправленной второй компоненты с удалением фрагмента первой компоненты.

35. Устройство для кодирования трехмерного и/или звукового информационного контента в информационный сигнал, несущий трехмерный и/или звуковой информационный контент и масштабируемый таким образом, что компоненты информационного сигнала представляют трехмерный и/или звуковой информационный контент на других уровнях качества, включающее в себя формирователь, генерирующий множество компонент таким образом, что, по меньшей мере, первая из множества компонент, несущая контент информации на первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет контент информации, накрывает эту вторую компоненту; и устройство FEC-защиты информационного сигнала путем соотнесения избыточной информации с каждым из других уровней таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты и таким образом защищает протоколом FEC эту компоненту, представляющую информационный контент на соответствующем уровне, и избыточная информация, соотнесенная с первым уровнем, находится в зависимости от первой компоненты, включая тот фрагмент первой компоненты, который накладывается на вторую компоненту.

36. Способ кодирования трехмерного и/или звукового информационного контента в информационный сигнал, несущий трехмерный и/или звуковой информационный контент и являющийся масштабируемым таким образом, что компоненты информационного сигнала представляют трехмерный и/или звуковой информационный контент на других уровнях качества, включающий в себя выработку множества компонент, при которой, по меньшей мере, первая из множества компонент, представляющая контент информации на первом из различных уровней, более высоком, чем второй из различных уровней, где вторая из множества компонент представляет контент информации, накладывается на этот второй элемент; и защиту информационного сигнала с использованием протокола FEC путем соотнесения избыточной информации с каждым из различных уровней таким образом, что каждый элемент избыточной информации находится в зависимости от соответствующей компоненты и таким образом защищает протоколом FEC эту компоненту, представляющую информационный контент на соответствующем уровне, и избыточная информация, соотнесенная с первым уровнем, находится в зависимости от первой компоненты, включая тот фрагмент первой компоненты, который накладывается на вторую компоненту.

37. Машиночитаемый носитель с записанной на нем компьютерной программой, позволяющей после ее загрузки в память компьютера осуществлять способ по п.31.

38. Машиночитаемый носитель с записанной на нем компьютерной программой, позволяющей после ее загрузки в память компьютера осуществлять способ по п.33.

39. Машиночитаемый носитель с записанной на нем компьютерной программой, позволяющей после ее загрузки в память компьютера осуществлять способ по п.34.

40. Машиночитаемый носитель с записанной на нем компьютерной программой, позволяющей после ее загрузки в память компьютера осуществлять способ по п.36.