ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к буферизации изображения для эталонов для предсказания и отображения, способу, состоящему из этапа кодирования для формирования кодированных изображений в кодере, необязательного этапа гипотетического декодирования для декодирования упомянутых кодированных изображений в кодере, этапа передачи для передачи упомянутых кодированных изображений в декодер, этапа декодирования для декодирования кодированных изображений для формирования декодированных изображений и этапа переупорядочения для упорядочения декодированных изображений в порядке отображения.
УРОВЕНЬ ТЕХНИКИ
Опубликованные стандарты кодирования видеосигнала включают в себя ITU-T H.261, ITU-T H.263, ISO/IEC MPEG-1, ISO/IEC MPEG-2 и ISO/IEC MPEG-4, часть 2. Эти стандарты здесь определены как общепринятые стандарты кодирования видеосигнала.
Объединенная группа по видеосигналам (ОГВ, JVT) ITU-T и ISO/IEC продолжают работу по стандартизации. Работа JVT основана на более раннем проекте стандартизации в ITU-T, называемом H.26L. Задача стандартизации JVT состоит в том, чтобы выпустить текст стандарта, идентичный Рекомендации H.264 ITU-T и международному стандарту 14496-10 ISO/IEC (MPEG-4, часть 10). Здесь черновой стандарт определен как стандарт кодирования JVT, и кодек, соответствующий черновому стандарту, определен как JVT-кодек.
Необязательный режим выбора эталонного изображения H.263 и средство кодирования NEWPRED MPEG-4, часть 2, обеспечивают возможность выбора эталонного кадрадля компенсации движения на каждый сегмент изображения, например, на каждый раздел в H.263. Кроме того, необязательный режим Усовершенствованного выбора эталонного изображения H.263 и стандарт кодирования JVT обеспечивают возможность выбора эталонного кадра для каждого макроблока независимо.
Выбор эталонного изображения обеспечивает возможность многих видов схем масштабируемости по времени. На фиг. 1 изображен возможный вариант схемы масштабируемости по времени, которая здесь определена как рекурсивная масштабируемость по времени. Возможная схема может быть декодирована с тремя постоянными частотами смены кадра. На фиг. 2 изображена схема, определенная как избыточное кодирование видеосигнала, где последовательность изображений делится на два или больше количество перемеженных независимо кодированных потоков. Стрелки на упомянутых и всех последующих чертежах указывают направление компенсации движения, и значения под кадрами соответствуют относительным моментам времени захвата и отображения кадров.
В общепринятых стандартах кодирования видеосигнала, порядок декодирования изображений идентичен порядку отображения, за исключением B-изображений. В стандартном B-изображении блок может предсказываться по двум направлениям во времени из двух эталонных изображений, где по порядку отображения одно эталонное изображение является предшествующим по времени, а другое эталонное изображение является последующим по времени. Только последнее эталонное изображение по порядку декодирования может следовать за B-изображением по порядку отображения (исключение составляет кодирование перемежением в H.263, где оба изображения поля последующего по времени эталонного кадра могут предшествовать B-изображению по порядку декодирования). Стандартное B-изображение не может использоваться в качестве эталонного изображения для предсказания по времени, и, следовательно, стандартное B-изображение может быть размещено без воздействия на декодирование любых других изображений.
По сравнению с более ранними стандартами стандарт кодирования JVT включает в себя следующие новые технические признаки:
- Устранена связь порядка декодирования изображений с порядком отображения. Номер изображения указывает порядок декодирования, и счетчик порядка изображения указывает порядок отображения.
- Эталонные изображения для блока в B-изображении могут находиться либо до, либо после B-изображения по порядку отображения. Следовательно, B-изображение обозначает изображение по двум предсказаниям вместо изображения по двум направлениям.
- Изображения, не используемые в качестве эталонных изображений, помечаются явно. Изображение любого типа (внутреннего, внешнего, B и т.д.) может быть либо эталонным изображением, либо не эталонным изображением. (Соответственно, B-изображение может использоваться в качестве эталонного изображения для предсказания по времени других изображений.)
- Изображение может содержать разделы, кодированные различным типом кодирования. Другими словами, кодированное изображение может состоять, например, из внутри-кодированного раздела и B-кодированного раздела.
Устранение связи порядка отображения с порядком декодирования может быть полезно с точки зрения эффективности сжатия и устойчивости к ошибкам.
Возможный вариант структуры предсказания, потенциально улучшающей эффективность сжатия, представлен на фиг. 3. Прямоугольники указывают изображения, заглавные буквы внутри прямоугольников указывают типы кодирования, числа внутри прямоугольников являются номерами изображения, соответствующими стандарту кодирования JVT, и стрелки указывают зависимости предсказания. Следует отметить, что изображение B17 является эталонным изображением для изображений B18. По сравнению с стандартным кодированием эффективность сжатия потенциально улучшена, так как эталонные изображения для изображений B18 по времени более близкие по сравнению со стандартным кодированием с PBBP или PBBBP шаблонами кодированного изображения. Эффективность сжатия потенциально улучшается по сравнению с стандартным шаблоном кодированного изображения PBP, так как часть эталонных изображений являются предсказываемыми по двум направлениям.
На фиг. 4 представлен возможный вариант способа откладываниявнутреннего изображения, который может использоваться для улучшения устойчивости к ошибкам. Обычно внутреннее изображение кодируется непосредственно после отсечениясцены или, например, в ответ на истечение периода регенерациивнутреннего изображения. В способе откладывания внутреннего изображения, внутреннее изображение не кодируется непосредственно после того, как возникает потребность в кодировании внутреннего изображения, а скорее в качестве внутреннего изображения выбирается изображение, последующее по времени. Каждое изображение между кодированным внутренним изображением и обычным местоположением внутреннего изображения предсказывается из следующего последующего по времени изображения. Как изображено на фиг.4, способ откладывания внутреннего изображения формирует две независимые цепочки предсказаний внешних изображений, в то время как стандартные алгоритмы кодирования создают одну цепочку внешних изображений. Интуитивно ясно, что подход двух цепочек является более устойчивым к ошибкам стирания, чем стандартный подход одной цепочки. Если одна цепочка претерпевает потерю пакета, другая цепочка может продолжать приниматься корректно. При стандартном кодировании потеря пакета всегда вызывает распространение ошибки на остальную часть цепочки предсказания внешних изображений.
В стандарте кодирования JVT декодированные изображения должны быть буферизированы по двум причинам: во-первых, декодированные изображения используются в качестве эталонных изображений для предсказания последующих кодированных изображений. Во-вторых, из-за устранения связи между порядком декодирования и порядком отображения декодированные изображения должны быть переупорядочены в порядке отображения.
Следующий возможный вариант используется для пояснения проблемы отдельной буферизации, которую преодолевает настоящее изобретение.
Рассматривается следующая последовательность изображений, где P является предсказываемым изображением, BS является эталонным изображением по двум предсказаниям, BN является не эталонным изображением по двум предсказаниям, и номер относится к порядку отображения:
Она может декодироваться с тремя блоками памяти изображения в буфере эталонных изображений, но когда BN5 декодировано, еще не наступает время для его отображения:
Следовательно, требуется сохранить BN5 для переупорядочения изображений в порядке отображения.
Этой проблемы не существует в общепринятых стандартах кодирования видеосигнала, так как порядок отображения для всех эталонных изображений идентичен порядку их декодирования и так как, если используются B-изображения, должно быть буферизировано только последнее декодированное эталонное изображение для переупорядочения изображений в порядке отображения. Общепринятый стандарт кодирования видеосигнала, поддерживающий выбор эталонных изображений, имеет буфер эталонных изображений, но он не имеет буфера изображений для переупорядочения для отображения.
Для стандарта кодирования JVT было выдвинуто следующее простое предложение: наличие буфера изображений для эталонных изображений, отдельного от буфера изображений для переупорядочения для отображения. Определение максимального количества изображений отдельно для обоих буферов.
Вновь рассматривается возможный вариант, описанный выше. Эталонное изображение поступает в буфер эталонных изображений непосредственно после его декодирования. Не эталонное изображение не поступает в буфер эталонных изображений. Декодированное изображение удаляется из буфера эталонных изображений непосредственно после того, как оно перестает требоваться для эталона. Например, изображение P1 может быть удалено после декодирования изображения BN3. Изображение поступает в буфер переупорядочения для отображения непосредственно после его декодирования. Декодированное изображение удаляется из буфера переупорядочения для отображения, когда оно может быть отображено. Чертеж, приведенный ниже, представляет содержимое буферов непосредственно после декодирования каждого изображения.
Можно заметить, что требуемые размеры буфера эталонных изображений и буфера переупорядочения для отображения составляют 3 изображения и 2 изображения соответственно.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
В настоящем изобретении буфер эталонных изображений и буфер изображений для отображения объединены, причем, чтобы избежать необходимости в хранении одного изображения в двух различных местах, и эталонные изображения и изображения, которые должны быть переупорядочены, хранятся в одном буфере.
Настоящее изобретение обеспечивает гипотетический декодер, сигнал, кодер, декодер, способ, устройство, систему и компьютерную программу для использования в любом виде сетевого устройства и оконечного устройства, причем один буфер может использоваться для хранения в декодере и эталонных изображений и изображений, ожидающих отображения. Кроме того, изображения не сохраняются в памяти дважды.
В одном варианте осуществления настоящего изобретения удобство использования объединенной буферизации дополнительно увеличивается при определении атрибута для количества изображений, ожидающих переупорядочения в буфере. Атрибут num_reorder_frames является количеством последовательных кадров по порядку декодирования, которое требуется для восстановления порядка вывода изображений, в произвольное время. Сумма максимального количества эталонных кадров, хранящихся в объединенном буфере, и максимального количества изображений, которые должны быть переупорядочены для отображения, исключая те изображения, которые уже сохранены как эталонные изображения, устанавливается не более пропускной способности объединенного буфера. Это означает, что не может произойти переполнения буфера, следовательно, это не требует проверки. Вместо этого, необязательный гипотетический эталонный декодер (ГЭД, HRD) может проверять, что никакое изображение не удаляется из буфера до отметки времени его вывода.
Согласно одному аспекту настоящего изобретения предложен гипотетический декодер для гипотетического декодирования кодированного потока изображений, причем изображения определяются как эталонные изображения или как не эталонные изображения; и для изображений потока изображений определяется информация, относящаяся к порядку декодирования и к порядку вывода изображения, отличающегося тем, что содержит объединенный буфер изображений для буферизации эталонных изображений и изображений, которые должны быть переупорядочены, и, кроме того, гипотетический декодер содержит:
блок обработки для выполнения перед вставкой вновь декодированного изображения в буфер
исследования, может ли вновь декодированное изображение быть вставлено в буфер без удаления из буфера другого изображения,
выбора изображения, которое должно быть удалено, из тех изображений в буфере, которые не используются в качестве эталонных изображений и которые уже были выведены из буфера, на основе упомянутого исследования, если вновь декодированное изображение не может быть вставлено в буфер без удаления из буфера другого изображения,
удаления выбранного изображения из буфера, если изображение было выбрано.
Согласно другому аспекту настоящего изобретения предложен сигнал, содержащий кодированный поток изображений, причем изображения определяются как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяется информация, относящаяся к порядку декодирования и порядку вывода изображения. Сигнал, прежде всего, отличается тем, что содержит, по меньшей мере, первое эталонное изображение и второе эталонное изображение, причем первое эталонное изображение предшествует второму эталонному изображению по порядку декодирования, и второе эталонное изображение предшествует первому эталонному изображению по порядку вывода, и при этом сигнал содержит указание относительно такого количества изображений, упорядоченныхдля буферизации в порядке декодирования, которое является достаточным для восстановления порядка вывода изображений.
Согласно третьему аспекту настоящего изобретения предложен кодер для формирования кодированного потока изображений, причем изображения определяются как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяется информация, относящаяся к порядку декодирования и порядку вывода изображения. Кодер прежде всего отличается тем, что сконфигурирован с возможностью включения в поток изображений, по меньшей мере, первого эталонного изображения и второго эталонного изображения, причем первое эталонное изображение предшествует второму эталонному изображению по порядку декодирования, и второе эталонное изображение предшествует первому эталонному изображению по порядку вывода, и при этом кодер сконфигурирован с возможностью формирования в потоке изображений указания относительно такого количества изображений, упорядоченных для буферизации в порядке декодирования, которое является достаточным для восстановления порядка вывода изображений.
Согласно четвертому аспекту настоящего изобретения предложен кодер, содержащий гипотетический декодер для гипотетического декодирования кодированного потока изображений, причем изображения определяются как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяется информация, относящаяся к порядку декодирования и порядку вывода изображения. Кодер, прежде всего, отличается тем, что содержит объединенный буфер изображений для буферизации эталонных изображений и изображений, которые должны быть переупорядочены, а гипотетический декодер содержит:
блок обработки для выполнения перед вставкой вновь декодированного изображения в буфер,
исследования, может ли вновь декодированное изображение быть вставлено в буфер без удаления из буфера другого изображения,
выбора изображения, которое должно быть удалено, из тех изображений в буфере, которые не используются в качестве эталонных изображений, и которые уже были выведены из буфера, на основе упомянутого исследования, если вновь декодированное изображение не может быть вставлено в буфер без удаления из буфера другого изображения,
удаления из буфера выбранного изображения, если изображение было выбрано.
Согласно пятому аспекту настоящего изобретения предложен способ формирования кодированного потока изображений, заключающийся в том, что определяют изображения как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяют информацию, относящуюся к порядку декодирования и порядку вывода изображения. Способ, прежде всего, отличается тем, что:
включают сигнал, по меньшей мере, с первым эталонным изображением и со вторым эталонным изображением, такой, что первое эталонное изображение предшествует второму эталонному изображению по порядку декодирования, и второе эталонное изображение предшествует первому эталонному изображению по порядку вывода, и
определяют в потоке изображений указание относительно такого количества изображений, упорядоченных для буферизации в порядке декодирования, которое является достаточным для восстановления порядка вывода изображений.
Согласно шестому аспекту настоящего изобретения предложен способ буферизации декодированных изображений, заключающийся в том, что изображения определяют как эталонные изображения или как не эталонные изображения, определяют размер буфера и определяют количество эталонных изображений в буфере. Способ, прежде всего, отличается тем, что используют объединенный буфер изображений для буферизации и эталонов для предсказания и декодированных изображений для упорядочения их в порядке вывода.
Согласно седьмому аспекту настоящего изобретения предложен декодер, содержащий средство для буферизации декодированных изображений, причем изображения определяются как эталонные изображения или как не эталонные изображения, определяется размер буфера и определяется количество эталонных изображений в буфере. Декодер прежде всего отличается тем, что содержит вход для ввода сигнала, содержащего по меньшей мере первое эталонное изображение и второе эталонное изображение, причем первое эталонное изображение предшествует второму эталонному изображению по порядку декодирования, и второе эталонное изображение предшествует первому эталонному изображению по порядку вывода, и сигнал дополнительно содержит, по меньшей мере, указание относительно такого количества изображений, упорядоченных для буферизации в порядке декодирования, которое является достаточным для восстановления порядка вывода изображений, и при этом средство для буферизации содержит объединенный буфер изображений для буферизации и эталонов для предсказания и декодированных изображений для упорядочения их в порядке вывода, причем декодер содержит средство определения для определения размера объединенного буфера изображений на основе упомянутого указания.
Согласно восьмому аспекту настоящего изобретения предложена программа программного обеспечения, содержащая этапы, выполнимые вычислительным устройством, для формирования кодированного потока изображений, на которых изображения определяют как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяют информацию, относящуюся к порядку декодирования и порядку вывода изображения. Программа программного обеспечения, прежде всего, отличается тем, что содержит этапы, выполнимые вычислительным устройством, на которых включают сигнал, по меньшей мере, с первым эталонным изображением и со вторым эталонным изображением, такой что первое эталонное изображение предшествует второму эталонному изображению по порядку декодирования, и второе эталонное изображение предшествует первому эталонному изображению по порядку вывода, и формируют в потоке изображений указание относительно такого количества изображений, упорядоченных для буферизации в порядке декодирования, которое является достаточным для восстановления порядка вывода изображений.
Согласно девятому аспекту настоящего изобретения предложена программа программного обеспечения, содержащая этапы, выполнимые вычислительным устройством, для гипотетического декодирования кодированного потока изображений, на которых изображения определяют как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяют информацию, относящуюся к порядку декодирования и порядку вывода изображения. Программа программного обеспечения, прежде всего, отличается тем, что содержит этапы, выполнимые вычислительным устройством, для буферизации эталонных изображений и изображений, которые должны быть переупорядочены, в объединенном буфере изображений, и при этом программа программного обеспечения дополнительно содержит:
этапы, выполнимые вычислительным устройством, для выполнения перед вставкой вновь декодированного изображения в буфер, на которых исследуют, может ли вновь декодированное изображение быть вставлено в буфер без удаления из буфера другого изображения,
выбирают изображение, которое должно быть удалено, из тех изображений в буфере, которые не используются в качестве эталонных изображений, и которые уже были выведены из буфера, на основе упомянутого исследования, если вновь декодированное изображение не может быть вставлено в буфер без удаления из буфера другого изображения,
удаляют выбранное изображение из буфера, если изображение было выбрано.
Согласно десятому аспекту настоящего изобретения предложен носитель информации для хранения программы программного обеспечения, содержащей этапы, выполнимые вычислительным устройством, для формирования кодированного потока изображений, на которых изображения определяют как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяют информацию, относящуюся к порядку декодирования и порядку вывода изображения. Носитель информации, прежде всего, отличается тем, что программа программного обеспечения содержит этапы, выполнимые вычислительным устройством, на которых включают сигнал, по меньшей мере, с первым эталонным изображением и со вторым эталонным изображением; такой, что первое эталонное изображение предшествует второму эталонному изображению по порядку декодирования и второе эталонное изображение предшествует первому эталонному изображению по порядку вывода и формируют в потоке битов указание относительно такого количества изображений, упорядоченных для буферизации в порядке декодирования, которое является достаточным для восстановления порядка вывода изображений.
Согласно одиннадцатому аспекту настоящего изобретения, предложено электронное устройство, содержащее декодер, содержащий средство для буферизации декодированных изображений, причем изображения определяются как эталонные изображения или как не эталонные изображения, определяется размер буфера и определяется количество эталонных изображений в буфере. Электронное устройство, прежде всего, отличается тем, что содержит вход для ввода сигнала, содержащего, по меньшей мере, первое эталонное изображение и второе эталонное изображение, причем первое эталонное изображение предшествует второму эталонному изображению по порядку декодирования и второе эталонное изображение предшествует первому эталонному изображению по порядку вывода, и сигнал дополнительно содержит, по меньшей мере, указание относительно такого количества изображений, упорядоченных для буферизации в порядке декодирования, которое является достаточным для восстановления порядка вывода изображений, и при этом средство для буферизации содержит объединенный буфер изображений для буферизации и эталонов для предсказания и декодированных изображений для упорядочения их в порядке вывода, причем декодер содержит средство определения для определения размера объединенного буфера изображений на основе упомянутого указания.
Согласно двенадцатому аспекту настоящего изобретения, предложена система, содержащая кодер для формирования сигнала, содержащего кодированный поток изображений, причем изображения определяются как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяется информация, относящаяся к порядку декодирования и порядку вывода изображения, канал передачи для передачи сигнала в декодер, декодер, содержащий средство для буферизации декодированных изображений. Система прежде всего отличается тем, что содержит кодер для формирования сигнала, содержащего кодированный поток изображений, причем изображения определяются как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяется информация, относящаяся к порядку декодирования и порядку вывода изображения, канал передачи для передачи сигнала в декодер, декодер, содержащий средство для буферизации декодированных изображений.
Изобретение решает проблему буферизации декодированных изображений в стандарте кодирования JVT, которая не существовала в общепринятых стандартах кодирования видеосигнала. Изобретение экономит память по сравнению с другим решением, предложенным для стандарта кодирования JVT. В малых устройствах, таких как мобильные терминалы, преимущество, состоящее в том, что может быть минимизирована память, требуемая для буферизации изображений, является существенным.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 изображает возможный вариант схемы рекурсивной масштабируемости по времени.
Фиг. 2 изображает схему, определенную, как избыточное кодирование видеосигнала, где последовательность изображений делится на два или большее количество перемеженных независимо кодированных потоков.
Фиг. 3 представляет возможный вариант структуры предсказания, потенциально улучшающей эффективность сжатия.
Фиг. 4 представляет возможный вариант способа откладывания внутреннего изображения, который может использоваться для улучшения устойчивости к ошибкам.
Фиг. 5 изображает предпочтительный вариант осуществления системы согласно настоящему изобретению.
Фиг. 6 изображает предпочтительный вариант осуществления кодера согласно настоящему изобретению.
Фиг. 7 изображает предпочтительный вариант осуществления декодера согласно настоящему изобретению.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
В решении объединенного буфера все декодированные изображения остаются в объединенном буфере до тех пор, когда они больше не будут использоваться в качестве эталонных изображений и когда приходит их порядок отображения. Объединенный буфер экономит память по сравнению с отдельными буферами изображений для эталонных изображений и для переупорядочения в порядке отображения.
Вновь повторно рассматривается предыдущий возможный вариант при использовании объединенного буфера.
Однако имеются некоторые вопросы, которые должны быть приняты во внимание в решении объединенного буфера. Размер буфера должен быть установлен достаточно большим для хранения всех изображений, которые продолжают требоваться, то есть всех эталонных изображений и изображений, которые должны быть переупорядочены. Емкость памяти часто является ограниченной, следовательно, размер буфера в некотором виде является соглашением. Кодер должен проверить, что декодер может хранить достаточное количество изображений для декодирования и вывода всех изображений без ошибок. Эта проверка может выполняться необязательным гипотетическим эталонным декодером (HRD) в устройстве кодирования. HRD содержит буфер кодированных изображений для хранения кодированного потока данных и буфер декодированных изображений для хранения декодированных эталонных изображений и для переупорядочения декодированных изображений в порядке отображения. HRD перемещает данные между буферами аналогично тому, как это делает декодер устройства декодирования. Однако HRD не требуется ни полностью декодировать кодированные изображения, ни выводить декодированные изображения, HRD только проверяет, что декодирование потока изображений может быть выполнено при ограничениях, заданных в стандарте кодирования. При функционировании HRD принимает кодированный поток данных и сохраняет его в буфере кодированных изображений. Дополнительно, HRD удаляет кодированные изображения из буфера кодированных изображений и сохраняет, по меньшей мере, некоторые из соответствующих гипотетически декодированных изображений в буфере декодированных изображений. HRD имеет информацию о скорости ввода, в соответствии с которой кодированные данные поступают в буфер кодированных изображений, о скорости удаления изображений из буфера кодированных изображений и о скорости вывода изображений из буфера декодированных изображений. HRD осуществляет проверку на переполнение буфера кодированных или декодированных изображений, и она указывает, является ли невозможным декодирование при данных установочных параметрах. Затем HRD информирует кодер относительно нарушения буферизации, при этом кодер может изменить параметры кодирования, например, уменьшая количество эталонных кадров во избежание нарушения буферизации. В виде варианта или дополнительно кодер начинает кодировать изображения с новыми параметрами и передает кодированные изображения в HRD, который вновь выполняет декодирование изображений и необходимые проверки. В виде еще одного варианта кодер может отбрасывать последний кодированный кадр и потом кодировать кадры так, чтобы не происходило нарушение буферизации.
Операция на основе раздела
Минимальной рекомендованной единицей для инкапсуляции в пакет передачи является раздел или сегмент данных. Минимальной относительно независимо декодируемой единицей является раздел. Следовательно, в модели объединенной буферизации предполагается, что целый раздел или целый сегмент данных передается одновременно. В модели также предполагается, что используются протоколы передачи и сети, основанные на пакетах, и, следовательно, целый раздел или целый сегмент данных принимается одновременно.
Предполагается, что один раздел декодируется одновременно. Соответственно, данные удаляются из гипотетического входного буфера раздел за разделом. Предложенная модель сложности используется для определения времени, необходимого для виртуального декодирования раздела. По истечении этого времени может быть виртуально декодирован следующий раздел.
Краткий обзор модели буферизации настоящего изобретения
Эталонный декодер основан на модели буфера, представленной в этом разделе описания. Модель основана на трех буферах: буфер пре-декодера, буфер декодирования и буфер пост-декодера. Буфер пре-декодера буферизует сжатые данные. Операция буфера декодирования представляет операцию реального декодера и устанавливает ограничения на сложность обработки. Буфер пост-декодера содержит восстановленные изображения, которые используются для эталонного изображения, для компенсации движения и/или ожидают соответствующего момента времени для их виртуального отображения.
Заданные по умолчанию размеры буфера задаются в определениях уровня и профиля. Размеры буфера также могут согласовываться. Размер буфера декодирования задает максимальный размер раздела. Размер буфера пост-декодера может быть задан, например, в байтах или в единицах 16x16 пикселей.
Управление операцией буфера пре- и пост-декодера может осуществляться двумя параметрами. Начальный период буферизации пре-декодера и начальный период буферизации пост-декодера определяют, как долго заполняются буферы до того, как из них удаляются какие-либо данные. Для каждого потока битов периоды сигнализируются отдельно.
С единицей данных (изображением, разделом или сегментом данных) может быть связано три временных метки. Каждый раздел и сегмент данных связан с временем передачи. В случае доступа к файлу, время передачи указано в файле. Иначе, используется действительное время передачи. Каждый раздел может быть связан с временем декодирования. Время декодирования может использоваться для задержки декодирования раздела, чтобы избежать переполнений буфера пост-декодера. Каждое изображение связано с временем отображения.
Параметры, связанные с временем, задаются в общем масштабе времени. Например, тактами системных часов синхронизатора в 90 кГц или 27 МГц.
Модель может применяться к любой непрерывной и независимо разрешаемой части кодированного потока битов. В случае нарушений непрерывности, таких как доступ к потоку битов из произвольной позиции, модель устанавливается в исходное состояние.
Функционирование модели буферизации
Модель определена следующим образом:
1. Первоначально буферы являются пустыми.
2. В буфер пре-декодера добавляется раздел или сегмент данных, за исключением его действительного заголовка, в момент времени его передачи. Для каждого раздела резервируется некоторое количество, например восемь, байтов дополнительной памяти для хранения его заголовка. (Действительные заголовки раздела могут быть тесно связаны с некоторыми определенными данными заголовка полезной нагрузки, такими как указатель набора параметров в черновом формате полезной нагрузки RTP (VCEG-N72R1). Непрактично удалять этот вид данных из блока заголовка раздела исключительно для задач HRD. Соответственно предполагается постоянный размер заголовка раздела.)
3. В продолжение периода, называемого первоначальным периодом буферизации пре-декодера, никакие данные из буфера пре-декодера не удаляются. Период начинается, когда в буфер добавляется первый раздел или сегмент данных.
4. Когда истекает первоначальный период буферизации пре-декодера и, если используется временная метка декодирования, то с момента времени декодирования самого раннего изображения в буфере изображений запускается таймер декодирования. Иначе, таймер декодирования не требуется.
5. Изображения удаляются из буфера пре-декодера раздел за разделом в порядке возрастания идентификаторов изображения (с использованием арифметических операций по модулю). Разделы определенного изображения удаляются в порядке их передачи. Раздел, включая его сегменты данных, перемещается из буфера пре-декодера в буфер декодирования в то время, когда буфер декодирования становится пустым. Однако раздел не удаляется из буфера пре-декодера до тех пор, пока таймер декодирования не достигнет времени декодирования раздела.
6. Раздел остается в буфере декодирования в продолжение вычисленной продолжительности его декодирования. Продолжительностью является больший из двух кандидатов:
кандидат 1 = количество макроблоков в разделе / maxMacroblockPerSec (максимальное количество макроблоков в секунду) и
кандидат 2 = количество битов в разделе / maxBitsPerSec (максимальное количество битов в секунду).
7. Несжатое изображение поступает в буфер пост-декодера, когда последний раздел (по порядку декодирования) соответствующего кодированного изображения удаляется из буфера декодирования.
8. В продолжение периода, называемого первоначальным периодом буферизации пост-декодера, данные из буфера пост-декодера не удаляются. Период начинается, когда в буфер пост-декодера помещено первое изображение.
9. Когда истекает первоначальный период буферизации пост-декодера, с самого раннего момента времени отображения изображений, находящихся в это время в буфере пост-декодера, запускается таймер воспроизведения.
10. Когда таймер воспроизведения достигает запланированного времени отображения изображения, изображение виртуально отображается.
11. Изображение удаляется из буфера пост-декодера, когда оно виртуально отображено и больше не требуется в качестве эталонного изображения.
Требования на согласованный поток битов
Любой передаваемый или сохраняемый поток битов должен согласоваться со следующими требованиями:
- Заполнение буфера пре-декодера не должно превышать значение по умолчанию или сигнализированный размер буфера.
- Любой раздел не должен быть больше размера буфера декодирования.
- Заполнение буфера пост-декодера не должно превышать значение по умолчанию или сигнализированный размер буфера.
- Каждое изображение должно быть вставлено в буфер пост-декодера до или во время его отображения.
Когда используются заданные по умолчанию размеры буфера, соответствующие определенному профилю и уровню, поток битов является согласованным с этим профилем и уровнем.
Требования на согласованный декодер
Декодер должен быть выполнен с возможностью приема и декодирования всех изображений в согласованном потоке битов, когда и в декодере, и в потоке битов предполагаются одинаковые размеры буфера. Кроме того, декодер должен передавать каждое изображение процессу отображения в то время, когда гипотетический эталонный декодер должен виртуально отображать изображение.
Далее изобретение будет описано более подробно в отношении системы фиг. 5, кодера 1 и гипотетического эталонного декодера (HRD) 5 фиг. 6 и декодера 2 фиг. 7. Изображения, которые должны быть кодированы, могут быть, например, изображениями потока видеосигнала из источника 3 видеосигнала, например камеры, видеомагнитофона и т.д. Изображения (кадры) потока видеосигнала могут быть разделены на меньшие части, такие как разделы. Разделы могут быть разделены дополнительно на блоки. В кодере 1 поток видеосигнала кодируется для уменьшения информации, которая должна передаваться через канал 4 передачи, или на носитель информации (не изображен). Изображения потока видеосигнала вводятся в кодер 1. Кодер снабжен буфером 1.1 кодирования (фиг.6) для временного хранения некоторых изображений, которые должны быть кодированы. Кодер 1 также содержит память 1.3 и процессор 1.2, на который могут подаваться задачи кодирования, согласно изобретению. Память 1.3 и процессор 1.2 могут быть общими с передающим устройством 6, или передающее устройство 6 может быть снабжено другим процессором и/или памятью (не изображены) для других функций передающего устройства 6. Кодер 1 выполняет оценку движения и/или некоторые другие задачи для сжатия потока видеосигнала. При оценке движения осуществляется поиск подобий между изображением, которое должно быть кодировано (текущим изображением), и предыдущим и/или последующим изображением. Если обнаружены подобия, то сравниваемое изображение или часть его может использоваться в качестве эталонного изображения для изображения, которое должно быть кодировано. В JVT порядок отображения и порядок декодирования изображений не обязательно идентичны, при этом эталонное изображение должно храниться в буфере (например, в буфере 1.1 кодирования), пока оно используется в качестве эталонного изображения. Кодер 1 также вставляет в поток передачи информацию относительно порядка отображения изображений.
Из процесса кодирования кодированные изображения, если это требуется, перемещаются в необязательный буфер 1.5 кодированных изображений. Кодированные изображения передаются из кодера 1 в декодер 2 через канал 4 передачи. В декодере 2 кодированные изображения декодируются для формирования несжатых изображений, соответствующих, насколько это возможно, кодированным изображениям. Каждое декодированное изображение буферизуется в DPB 2.1 (буфере декодированных изображений) декодера 2, кроме случая, когда оно отображается, по существу, непосредственно после декодирования и не используется в качестве эталонного изображения. В системе согласно настоящему изобретению буферизация эталонных изображений и буферизация изображений для отображения объединены и используют единый буфер 2.1 декодированных изображений. Это устраняет необходимость в сохранении идентичных изображений в двух различных местах, вследствие этого снижая требования на память декодера 2.
Декодер 1 также содержит память 2.3 и процессор 2.2, на который подаются задачи декодирования, согласно изобретению. Память 2.3 и процессор 2.2 могут быть общими с приемным устройством 8, или приемное устройство 8 может быть снабжено другим процессором и/или памятью (не изображены) для других функций приемного устройства 8.
Теперь более подробно рассматривается процесс кодирования - декодирования. Изображения из источника 3 видеосигнала поступают в кодер 1 и, предпочтительно, сохраняются в буфере 1.1 кодирования. Процесс кодирования запускается не обязательно непосредственно после поступления в кодер первого изображения, но после того, как в буфере 1.1 кодирования становится доступным некоторое количество изображений. Затем кодер 1 осуществляет попытку обнаружить соответствующие кандидаты из изображений, которые должны использоваться в качестве эталонных кадров. Затем кодер 1 выполняет кодирование для формирования кодированных изображений. Кодированными изображениями могут быть, например, предсказываемые изображения (P), изображения (B) по двум предсказаниям или внутри-кодированные изображения (I). Внутри-кодированные изображения могут быть декодированы без использования других изображений, но изображения другого типа требуют по меньшей мере одного эталонного изображения до того, как они могут быть декодированы. В качестве эталонного изображения могут использоваться изображения любого из вышеупомянутых типов изображения.
Кодер присоединяет к изображениям две временные метки: временную метку декодирования (ВМД, DTS) и временную метку вывода (ВМВ, OTS). Декодер может использовать временные метки для определения корректного времени декодирования и корректного времени вывода (отображения) изображений. Однако передача в декодер указанных временных меток не требуется, или он их не использует.
Если кодер снабжен HRD 5, то кодер определяет размер DPB 5.2 (DPB-размер). Начальный размер может зависеть от некоторых параметров, относящихся к потоку видеосигнала (например, разрешению, цвету/BW и т.д.). Для DPB 5.2 также может существовать определенный максимальный размер (DPBcapacity (емкость DPB)). Первоначальный размер не обязательно должен быть идентичным максимальному размеру, он может быть также меньше максимального размера. Также определяется максимальное количество эталонных кадров, которые хранятся в DPB. В этом описании это значение определено, как num_ref_frames.
В декодере DPB 2.1 имеет ограниченный размер (DPB-размер), который в некоторых применениях, если требуется, может варьироваться в продолжение процесса декодирования. Первоначальный размер DPB 2.1 может зависеть от некоторых параметров, относящихся к потоку видеосигнала (например, разрешению, цвету/BW (черно-белый), и т.д.). Для DPB 2.1 также может существовать определенный максимальный размер (DPBcapacity (емкость DPB)). Первоначальный размер не обязательно должен быть идентичным максимальному размеру, он может быть также меньше максимального размера. Также определяется максимальное количество эталонных кадров, которые хранятся в DPB. В этом описании это значение определено, как num_ref_frames.
Передача и/или сохранение кодированных изображений (и необязательное виртуальное декодирование) могут запускаться непосредственно после того, как готово первое кодированное изображение. Это изображение не обязательно является первым по порядку вывода декодера, так как порядок декодирования и порядок вывода могут быть не идентичны. Однако, так как размер DPB 2.1 декодера 2 является ограниченным, требуется определить максимальную длительность задержки между временем декодирования изображения и временем отображения изображения, то есть максимальное количество изображений, которые должны быть переупорядочены для отображения. В этом описании это значение определено, как num_reorder_frames. Num_reorder_frames является количеством последовательных кадров по порядку декодирования, которое требуется для восстановления порядка вывода изображений, в произвольное время. Сумма максимального количества эталонных кадров, хранящихся в DPB, и максимального количества изображений, которые должны быть переупорядочены для отображения, за исключением тех изображений, которые уже сохранены в качестве эталонных изображений, не должна превышать существующую емкость DPB. DPB-размер иллюстрирует количество изображений, которое может храниться в DPB 2.1. Оно может быть вычислено посредством деления размера DPB (в байтах) на размер изображения (в байтах).
Когда кодировано первое изображение потока видеосигнала, может быть запущена передача. Кодированные изображения могут храниться в буфере 1.5 кодированных изображений. Передача также может быть запущена на более поздней стадии, например, после того, как будет кодирована некоторая часть потока видеосигнала.
Декодер 2, 5 должен вывести декодированные изображения в правильном порядке, например, с использованием порядка счетчиков порядка изображения, и, следовательно, требуется четко и нормативно определить процесс переупорядочения.
Далее будет описана операция декодера 2 согласно варианту осуществления настоящего изобретения. DPB 2.1 содержит местоположения памяти для хранения некоторого количества изображений. В этом описании указанные местоположения также называются памятью на кадр. Здесь в качестве указателя статуса резервирования памяти на кадр используется атрибут FrameStoreUsage (используется/не используется). Значение FrameStoreUsage отражает использование текущей памяти на кадр. Первое значение (например, 0) означает, что память на кадр является пустой, и она может быть без риска перезаписана. Второе значение (например, 1) означает, что эта память на кадр используется для эталона (но не для переупорядочения), третье значение (например, 2) означает, что эта память на кадр используется для переупорядочения (но не для эталона). Четвертое значение (например, 3) означает, что эта память на кадр используется и для эталона и для переупорядочения. Первоначальным значением FrameStoreUsage должно быть первое значение. Также возможно использование отдельного, второго, атрибута для определения, отображается ли изображение (виртуально), или нет. Он может иметь значения "не используется для вывода" или "используется для вывода". Изображение, помеченное как "используется для вывода", означает изображение, которое продолжает оставаться в DPB и ожидает своей очереди для вывода. В результате вывода изображения оно должно быть помечено как "не используется для вывода". При использовании второго атрибута, для FrameStoreUsage должны использоваться только первое и второе значения, причем комбинация первого и второго атрибутов дает информацию, идентичную информации FrameStoreUsage с четырьмя различными вариантами значения. Также может быть определен атрибут для проверки достоверности изображения (достоверно/недостоверно). Изображение помечено как "Недостоверно", если оно преднамеренно вставлено для заполнения обнаруженных промежутков между смежным frame_num. Иначе, изображение помечается как "Допустимо", что может быть корректно декодировано или восстановлено посредством маскирований ошибок. Блоки памяти на кадр также могут быть однозначно индексированы, что подразумевает порядок декодирования буферизированных изображений.
В начале процедуры декодирования статус всех блоков памяти на кадр устанавливается в пусто или свободно. Это выполняется посредством установки FrameStoreUsage в первое значение для всех блоков памяти на кадр. Декодер 2 также может установить в начальное значение (например, 0) следующие переменные: num_frames_in_use, которая содержит количество блоков памяти на кадр, используемых для эталона или вывода; num_frames_use_ref, которая содержит количество блоков памяти на кадр, используемых для эталона; и num_frames_use_output, которая содержит количество блоков памяти на кадр, используемых для вывода.
Дополнительная память на кадр используется для хранения вновь декодированного изображения. В сумме DPB и дополнительная память на кадр называются расширенным DPB (EDPB).
Этап 1: Декодирование
Декодер 2 запускает декодирование кодированных изображений, начиная с изображения, имеющего наименьшую временную метку декодирования. Когда изображение декодировано, оно должно быть сохранено в дополнительной памяти на кадр. Изображением, которое должно быть декодировано, может быть кадр или поле. Если это эталонное изображение, то FrameStoreUsage устанавливается в четвертое значение, иначе в третье значение. Вначале оно помечается как "используется для переупорядочения", так как на этом этапе без информации относительно DPB, не может быть определено, требует ли вновь декодированное изображение переупорядочения.
Этап 2: Переупорядочение
Перед последующими этапами декодеру 2 требуется информация, имеется ли, по меньшей мере, еще одно изображение, которое требует декодирования, и некоторая информация из заголовка раздела следующего изображения, которое должно быть декодировано.
Этап 2.1. Если существует по меньшей мере еще одно изображение, которое должно быть декодировано, и количество кадров, которые должны быть переупорядочены, в DPB меньше num_reorder_frames, то декодер 2 не выводит изображение. Если вновь декодированное изображение используется для эталона, то должен быть выполнен этап 3, иначе должен быть выполнен этап4.
Этап 2.2. Если существует, по меньшей мере, еще одно изображение, которое должно быть декодировано, и количество кадров, которые должны быть переупорядочены, в DPB, равно num_reorder_frames, то должны быть проверены следующие условия:
- Вновь декодированным изображением является кадр.
- Дополнительная память на кадр содержит два поля.
- Если в дополнительной памяти на кадр постоянно находится одиночное поле, то следующее изображение, которое должно быть декодировано, не является противоположной четностью того же самого кадра.
Если ни одно из вышеупомянутых условий не является истинным, то осуществляется переход к этапу 1 для декодирования поля противоположной четности того же самого кадра.
Затем, если, по меньшей мере, одно из вышеупомянутых условий является истинным, то должны быть просмотрены блоки памяти на кадр в DPB и дополнительная память на кадр для обнаружения, какие изображения требуется вывести. Должно быть выведено изображение, которое является первым изображением по порядку вывода среди изображений, которые должны быть переупорядочены в DPB и дополнительной памяти на кадр. Позже описано, как определяется первое изображение по порядку вывода. Если выводимое изображение является полем и имеется в наличии поле противоположной четности того же самого кадра, то выводятся оба поля. Изображения вывода должны быть помечены как "не используется для переупорядочения".
Если вновь декодированное изображение выводится и не используется для эталона, то осуществляется переход к этапу 1 для декодирования следующего изображения. Если вновь декодированное изображение используется для эталона (но не используется для переупорядочения), то FrameStoreUsage устанавливается во второе значение (1) и следует этап 3. Если вновь декодированное изображение используется для переупорядочения (но не используется для эталона), то FrameStoreUsage устанавливается в третье значение (2) и затем осуществляется переход к этапу 4 для сохранения изображения для переупорядочения. Если вновь декодированное изображение используется и для эталона и для переупорядочения, то FrameStoreUsage устанавливается в четвертое значение (3) и затем осуществляется переход к этапу 3.
Этап 2.3. Если больше не существует изображений, которые должны быть декодированы, то все изображения, которые остаются помеченными как "используется для переупорядочения", должны быть выведены в порядке вывода. Затем декодер останавливает работу до тех пор, пока не появятся изображения для декодирования.
Этап 3: Маркировка изображения как "не используется для эталона"
Если вновь декодированное изображение является эталонным изображением, то к набору блоков памяти на кадр, состоящему из изображений, помеченных как "используется для эталона", применяется механизм "Адаптивного управления памятью" или "Скользящее окно".
Этап 4: Сохранение
Если вновь декодированным изображением является кадр, то должен быть выполнен этап 4.1, иначе этап 4.2.
Этап 4.1. Перед сохранением вновь декодированного кадра в DPB 2.1 должна существовать, по меньшей мере, одна пустая память на кадр. FrameStoreUsage устанавливается равным FrameStoreUsage дополнительной памяти на кадр. Осуществляется переход к этапу 1 для декодирования следующего изображения.
Этап 4.2. Для вновь декодированного поля памятью на кадр назначения должна быть пустая память на кадр, если поле противоположной четности того же самого кадра не находится в DPB 2.1. В этом случае FrameStoreUsage устанавливается равным FrameStoreUsage дополнительной памяти на кадр. Иначе, вновь декодированное изображение должно быть сохранено в той же памяти на кадр, что и поле его противоположной четности, и FrameStoreUsage не изменяется. Осуществляется переход к этапу 4.3 для декодирования следующего изображения.
Этап 4.3. После сохранения вновь декодированного изображения в DPB предполагается, что последнее декодированное изображение сохранено в памяти на кадр, для которой FrameStoreIndex равен 0, второе последнее декодированное изображение сохранено в памяти на кадр, для которой FrameStoreIndex равен 1 и так далее. В завершение выполняется этап 1 для декодирования следующего изображения.
Следует отметить, что маркировка изображения как "не используется для эталона", и маркировка изображения как "не используется для переупорядочения" не связаны.
Для облегчения понимания операций на представленных выше этапах приведены два возможных варианта для процесса переупорядочения. Числа курсивом после (или ниже) меток изображения указывают frame_num. Эталонные изображения обозначены подчеркнутой буквой метки изображения. 'X' означает, что никакое изображение не переупорядочивается до декодирования следующего изображения.
Возможный вариант 1. num_reorder_frames = 1; кодировано 10 кадров.
Возможный вариант 2. num_reorder_frames = 2; кодировано 13 кадров.
в порядке вывода
7
Если декодер 2 уведомляет, что кодированные изображения не могут быть декодированы, то размер DPB 2.1 может быть слишком малым. В некоторых применениях декодер 2 может информировать кодер о том, что требуется изменить параметры кодирования, например, использовать меньшее количество эталонных изображений или использовать больший размер DPB. В случае ошибки декодер 2 может продолжать выводить те декодированные изображения, которые он смог декодировать, и/или выводить некоторые заданные по умолчанию изображения (например, пустые кадры).
Операция скользящего окна для переупорядочения
Для переупорядочения, чтобы определить операцию скользящего окна, используется Num_reorder_frames. Изображения, которые должны быть переупорядочены, упорядочиваются в порядке вывода для обнаружения изображения, которое должно выскочить за пределы окна первым. Когда количество изображений, которые должны быть переупорядочены, достигает num_reorder_frames, первое изображение по порядку вывода гарантированно попадает за пределы окна в результате одной операции скользящего окна. В этом подразделе описания определяется, как среди изображений, которые помечены как "используется для переупорядочения", обнаружить наиболее раннее изображение по порядку вывода.
Этап 1. Инициализация. Установить наиболее старое изображение по порядку декодирования в DPB1 в качестве изображения-кандидата.
Этап 2. Двигаться по циклу от второго наиболее старого изображения к последнему изображению (по порядку декодирования) и использовать i в качестве счетчика циклов. Тело цикла составляют этап 2.1 и этап 2.2.
Этап 2.1. Если изображение i является изображением IDR, то изображение-кандидат является изображением, которое должно быть обнаружено, прервать цикл.
Этап 2.2. Если POC изображения i меньше POC изображения-кандидата, то установить изображение i в качестве изображения-кандидата.
Этап 3. Конец. Изображение-кандидат является наиболее старым изображением по порядку вывода.
Num_ref_frames и num_reorder_frames некоторым образом сигнализируются в декодер 2, например, посредством последовательного набора параметров. Каждый раз, когда становится действующим другой последовательный набор параметров, может измениться num_ref_frames или num_reorder_frames и, соответственно, требуется особое внимание в отношении DPB.
1.5.1 Изменение num_ref_frames
При возрастании num_ref_frames не требуется выполнение никаких специальных действий.
При убывании num_ref_frames предлагается простая операция на DPB: Пусть diff_ref_frames равно новому num_ref_frames за минусом старого num_ref_frames. Все эталонные кадры diff_ref_frames с наиболее старого по порядку декодирования должны быть помечены как "не используется для эталона".
1.5.2 Изменение num_reorder_frames
При возрастании num_reorder_frames выводится 0 изображений на одно декодированное изображение в изображениях (новый num_reorder_frames) - (старый num_reorder_frames) после изображения (старый num_reorder_frames), так как декодированное изображение использует новый последовательный набор параметров. Например, num_reorder_frames двух частей потока битов равны 1 и 2, соответственно. Когда декодировано P3, не выводится никакое изображение.
При убывании num_reorder_frames более одного изображения выводится при декодированном изображении, с использованием нового последовательного набора параметров. Например, num_reorder_frames двух частей потока битов равны 2 и 1, соответственно. Когда декодировано I0, одновременно выводятся два изображения B5 и P6.
Изображение, которое сохраняется для предсказания, определенное как эталонное изображение, помечается как "используется для эталона" и помечается как краткосрочное эталонное изображение, в этом случае оно идентифицируется своим frame_number и четностью. Краткосрочному изображению может быть назначен долгосрочный индекс эталонного изображения, в этом случае оно идентифицируется своим долгосрочным индексом. Изображение, которое не сохраняется для предсказания, помечается как "не используется для предсказания". Буфер эталонных изображений является набором изображений, составленным из изображений, помеченных как "используется для эталона" в DPB. Удаление изображения из буфера эталонных изображений означает пометку изображений как "не используется для эталона". Установка в исходное состояние буфера эталонных изображений означает маркировку всех изображений в буфере эталонных изображений как "не используется для эталона". Краткосрочные эталонные изображения могут оставаться помеченными для эталона на конечную продолжительность, заданную MaxFrameNum. Долгосрочные эталонные изображения могут оставаться помеченными "используется для эталона" до следующего изображения IDR. Для обновления содержимого буфера эталонных изображений могут использоваться команды Memory_management_control_operation.
В другом варианте осуществления настоящего изобретения HRD 5 используется кодером 1 для виртуального выполнения декодирования кодированных изображений, аналогично тому, как это делает декодер 2. Буфер 1.5 кодированных изображений может использоваться, как буфер пре-декодирования для HRD 5. Одной задачей виртуального декодирования в HRD 5 является устранение риска декодирования ошибок из-за несбалансированных задач кодирования/декодирования. HRD 5 содержит буфер 5.2 декодированных изображений (DPB) для временного хранения изображений, декодированных HRD 5. Также в HRD 5 буферизация эталонных изображений и буферизация изображений для отображения объединены, и они используют один буфер 5.2 декодированных изображений, соответственно, что снижает требования на память кодера 1. Все декодированные изображения остаются в объединенном буфере до тех пор, когда они больше не используются в качестве эталонных изображений и когда достигается (виртуальное) время их отображения. Термин виртуальный относится к тому факту, что в HRD 5 кодера 1, в котором выполняется декодирование в этом предпочтительном варианте осуществления, декодированные изображения не отображаются, а HRD 5 только осуществляет проверку, могут ли иметь место ошибки в процессе декодирования декодера 2, например, из-за слишком малого размера буфера. Если ошибки имеют место, то HRD 5 может информировать кодер о том, что требуется изменить некоторые параметры кодирования, или может быть увеличен размер DPB 2.1 декодера 1, например, посредством передачи в декодер 1 сообщения SEI (Информации о дополнительном расширении (ИДР)) в некоторых реализациях (если уже не используется максимальный размер DPB).
Операция декодирования может происходить одновременно с кодированием, или сначала кодер создает поток битов, и когда поток битов готов, он должен быть введен в HRD 5 для проверки, что поток битов удовлетворяет требованиям на уровень обработки и HRD 5. HRD также может создавать и обновлять некоторые параметры HRD, такие как первоначальная задержка буферизации в буфере кодированных изображений в соответствии с характеристиками кодированного потока.
Для выполнения указанных выше задач процесс переупорядочения не должен зависеть от какой-либо информации синхронизации, относящейся к HRD, так как в декодере может отсутствовать такая информация. В то же время должно допускаться, что декодер не удовлетворяет точно условиям HRD DTS и OTS. Например, для применения, подобного потоковому записывающему устройству, предпочтительно принять потоки битов, декодировать их и сохранить декодированную последовательность как можно быстрее, или работать медленнее из-за пропускной способности канала передачи. В этом случае условия HRD DTS и OTS не могут быть удовлетворены.
Настоящее изобретение может быть применено в устройствах и системах многих видов. Передающее устройство 6, содержащее кодер 1, и, необязательно, HRD 5, предпочтительно, также содержит передатчик 7 для передачи кодированных изображений в канал 4 передачи. Приемное устройство 8 содержит декодер 2, приемник 9 для приема кодированных изображений и дисплей 10, на котором могут отображаться декодированные изображения. Каналом передачи может быть, например, канал наземной линии связи и/или канал радиосвязи. Передающее устройство и приемное устройство также содержат один или большее количество 1.2, 2.2 процессоров, которые могут выполнять этапы, требуемые для управления процессом кодирования/декодирования потока видеосигнала, согласно изобретению. Следовательно, способ согласно настоящему изобретению, в основном, может быть выполнен в виде выполнимых компьютером этапов процессоров. Буферизация изображений может быть реализована в памяти 1.3, 2.3 устройств. Код 1.4 программы кодера может храниться в памяти 1.3. Соответственно, код 2.4 программы декодера может храниться в памяти 2.3.
| название | год | авторы | номер документа |
|---|---|---|---|
| СПОСОБ ДЛЯ ДЕКОДИРОВАНИЯ БИТОВОГО ПОТОКА ВИДЕО | 2021 |
|
RU2825853C2 |
| СИГНАЛИЗАЦИЯ ИЗМЕНЕНИЯ НАБОРОВ УРОВНЕЙ ВЫВОДА | 2014 |
|
RU2633106C2 |
| СПОСОБ ДЛЯ ДЕКОДИРОВАНИЯ БИТОВОГО ПОТОКА ВИДЕО | 2014 |
|
RU2746310C2 |
| ТЕСТЫ НА СООТВЕТСТВИЕ HRD ДЛЯ OLS | 2020 |
|
RU2820076C1 |
| ПАРАМЕТРЫ HRD ДЛЯ ТЕСТИРОВАНИЯ НА СООТВЕТСТВИЕ НА ОСНОВЕ СЛОЯ | 2020 |
|
RU2821048C1 |
| ПАРАМЕТРЫ HRD НА УРОВНЕ ПОСЛЕДОВАТЕЛЬНОСТИ | 2020 |
|
RU2825440C1 |
| БУФЕРИЗАЦИЯ ВИДЕО С НИЗКОЙ ЗАДЕРЖКОЙ ПРИ КОДИРОВАНИИ ВИДЕО | 2013 |
|
RU2633165C2 |
| УПРАВЛЕНИЕ МАСШТАБИРУЕМЫМ ВКЛАДЫВАЕМЫМ SEI-СООБЩЕНИЕМ | 2020 |
|
RU2824781C1 |
| ПРЕДОТВРАЩЕНИЕ ИЗБЫТОЧНОЙ СИГНАЛИЗАЦИИ В МНОГОСЛОЙНЫХ БИТОВЫХ ВИДЕОПОТОКАХ | 2020 |
|
RU2821429C1 |
| ТЕСТИРОВАНИЕ НА СООТВЕТСТВИЕ БИТОВОГО ПОТОКА | 2013 |
|
RU2613737C2 |
Изобретение относится к кодеру для формирования кодированного потока изображений. Техническим результатом является собственно создание системы кодирования/декодирования изображений, в которой один буфер может использоваться для хранения в декодере и эталонных изображений и изображений, причем изображения не сохраняются в памяти дважды. Предложена система и способ кодирования/декодирования, в котором изображения определяются как эталонные изображения или как не эталонные изображения, и для изображений потока изображений определяется информация, относящаяся к порядку декодирования и порядку вывода изображения. Кодер сконфигурирован с возможностью формирования в потоке битов указания такого количества изображений, упорядоченных для буферизации в порядке декодирования, которое является достаточным для восстановления порядка вывода изображений. 14 н. и 19 з.п. ф-лы, 7 ил.
| RU 93050815 А, 20.02.1998 | |||
| СПОСОБ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕОСИГНАЛА | 1991 |
|
RU2132114C1 |
| Пылеугольная пневматическая мельница | 1940 |
|
SU59219A1 |
| WO 9916252 A1, 01.04.1999 | |||
| US 5909224 A, 01.06.1999 | |||
| US 5835149 A, 10.11.1998 | |||
| US 5926227 A, 20.07.1999 | |||
| WO 9952067 A1, 14.10.1999 | |||
| СПОСОБ АВТОМАТИЗИРОВАННОГО РАЗБИЕНИЯ НА ГРУППЫ УРОВНЕЙ ЯРКОСТИ ПИКСЕЛОВ РАСТРОВЫХ ИЗОБРАЖЕНИЙ ПО ЗНАЧЕНИЯМ ИХ ПОВТОРЯЕМОСТИ | 2006 |
|
RU2311680C1 |
| US 5937138 A, 10.08.1999. | |||
