ТЕХНОЛОГИЯ ДЛЯ ОЦЕНКИ КАЧЕСТВА ВИДЕО Российский патент 2015 года по МПК H04N19/107 H04N17/00 G06T1/00 

Область техники, к которой относится изобретение

Настоящее раскрытие сущности, в общем, относится к технологии для оценки качества видео и, в частности, к технологии оценки качества видео на основе потока битов.

Предшествующий уровень техники

Видео в настоящее время является стандартной мультимедийной услугой и быстро завоевывает популярность у конечных пользователей. Видео, передаваемое по сети связи в качестве потока битов, может быть подвержено ограничениям или проблемам связи, которые могут приводить к таким ошибкам, как потери данных или задержка передачи данных. Такие ошибки могут приводить к ухудшению визуального качества, которое ощущают конечные пользователи. Зачастую такое визуальное ухудшение качества обнаруживается как замороженные или искаженные изображения.

Мониторинг качества является важной функциональной схемой для поддержания поставщиками услуг удовлетворительного качества работы (QoE) для услуг передачи видео. Для этого требуются хорошие технологии, которые точно и своевременно квалифицируют качество видео, что ни в коей мере не является тривиальной задачей.

Возможно, самой точной технологией квалификации качества видео является субъективное тестирование, при котором собираются мнения множества конечных зрителей, и на их основе формируется общее представление качества. Тем не менее, субъективное тестирование является дорогим, трудоемким, выполняется вручную и во многих случаях просто неосуществимо; например, невозможно осуществлять субъективное тестирование для мониторинга качества видео в сетях связи или абонентских приставках. Следовательно, должно предоставляться средство для того, чтобы оценивать субъективное качество видео на основе объективного измерения. Эта потребность стимулирует разработку технологий объективной квалификации качества видео. Объективная оценка качества видео может не только заменять субъективное тестирование в квалификации качества видео, но она также может предоставлять автоматическую квалификацию в реальном времени субъективного качества.

В контексте настоящего раскрытия сущности такие слова, как "оценивать", "квалифицировать", "измерять", используются взаимозаменяемо.

В последние годы предложены и разработаны различные модели технологий для объективного качества видео. На основе используемых входных параметров они могут классифицироваться как перцепционные модели и параметрические модели. Параметрические модели также известны как модели сетевого уровня.

Перцепционные модели принимают декодированное видео, а иногда также опорное видео в качестве ввода в модель. Например, для так называемой полнофункциональной опорной (FR) модели входными параметрами являются пиксельные данные исходного видео, а также пиксельные данные декодированного видео. Перцепционные модели обычно обеспечивают высокую точность в оценке качества видео, но они являются чрезвычайно сложными, трудоемкими и ресурсоемкими (в отношении вычислительной мощности), что делает их неподходящими для многих случаев, таких как мониторинг в реальном времени. Кроме того, когда опорное видео используется в перцепционной модели, модель должна быть нацелена на то, чтобы разрешать крайне важную проблему синхронизации опорного видео с декодированным видео.

Интерес к легким моделям качества видео привел к последней разработке параметрических моделей. Параметрическая модель принимает информацию заголовков пакетов в качестве ввода и вычисляет показатель качества на ее основе. Информация заголовков сетевых протоколов обычно принимается из одного или более из уровней Интернет-протокола (IP), протокола пользовательских датаграмм (UDP), транспортного протокола реального времени (RTP) и транспортного потока по стандарту Экспертной группы по киноизображению 2 (MPEG2TS). Параметрические модели являются относительно несложными по сравнению с перцепционными моделями, но точность оценки, которую они могут предоставлять, является довольно низкой вследствие ограниченной информации, которая может быть извлечена из заголовков сетевого протокола. Например, очень трудно осуществлять полезную оценку того, насколько видимыми являются потери данных в декодированном видео.

Сущность изобретения

Соответственно, существует потребность в улучшенной технологии для того, чтобы объективно оценивать или квалифицировать качество видео. Как отмечено ниже, технология, представленная в данном документе, достигает, помимо прочего, удовлетворительной точности оценки качества видео и одновременно является менее сложной и использует немного вычислительных ресурсов.

Согласно первому аспекту предоставляется способ оценки качества видео. Способ содержит этапы приема потока видеобитов, содержащего последовательность кадров изображений; определения возникновения ошибки в кадре изображения (например, определение того, что ошибка возникает в кадре изображения, а также позиции ошибки в кадре изображения); определения распространения ошибки с учетом по меньшей мере одного из временного распространения и пространственного распространения ошибки (например, определения по меньшей мере одного из временного распространения и пространственного распространения ошибки); и на основе результата вышеуказанного определения (например, определенного распространения ошибки), оценки качества потока видеобитов. Ошибка может возникать вследствие задержки или потерь информации (например, вследствие задержки или потерь пакета, кадра изображения, сегмента кадра изображения и т.д.). Кроме того, этап оценки качества может быть основан на схеме количественной оценки.

Способ дополнительно может содержать этап определения (например, оценки или измерения) визуального ухудшения качества, вызываемого посредством ошибки. Другими словами, этот этап предназначен для определения видимости ошибки или влияния на качество видео, вызываемых посредством ошибки. Визуальное ухудшение качества является конкретной и измеримой мерой для видимости ошибки. В одном варианте осуществления определение визуального ухудшения качества содержит определение штрафного значения, указывающего визуальное ухудшение качества, вызываемое посредством ошибки.

Кадр изображения может содержать множество сегментов (к примеру, но не только, пикселы, макроблоки и т.п.). Ошибка может возникать или влиять на один или более сегментов кадра изображения. Помимо этого, с учетом эффекта разброса, ошибка, которая возникает в одном кадре изображения, может влиять на один или более сегментов в одном или более других кадрах изображений. Соответственно, определение визуального ухудшения качества, вызываемого посредством ошибки, может содержать этап вычисления отдельного штрафного значения для каждого затронутого ошибкой сегмента или кадра изображения. Штрафное значение является значением, указывающим величину или степень визуального ухудшения качества, вызываемого посредством ошибки в видео.

Штрафное значение может вычисляться или назначаться согласно набору правил. Правила могут предварительно задаваться и адаптироваться.

Ниже приведен неполный список правил для вычисления штрафного значения:

более высокое штрафное значение назначается ошибке, если ошибка возникает при смене сцены (чем в случае, если ошибка является ошибкой, не связанной со сменой сцены);

движение в кадре изображения может быть использовано для того, чтобы определять визуальное ухудшение качества, вызываемое посредством ошибки; если поток видеобитов содержит данные движения непосредственно после затронутого ошибкой кадра изображения, назначается более высокое штрафное значение, в частности, если существует большое движение непосредственно после ошибки, а более конкретно, если относительная величина движения является большой. Например, небольшая ошибка движения в иной сцене без движения с большой вероятностью является более очевидной, т.е. видимой, чем средняя ошибка движения в сцене с интенсивным движением;

штрафное значение не назначается затронутому ошибкой сегменту, если сегмент является пропуском или оцененным пропуском. Необязательное исключение в это правило может допускаться, если существует смена сцены или оцененная смена сцены;

снижение штрафного значения, назначаемого ошибке, по меньшей мере, для одного из последующих кадров изображений на предварительно определенную величину или коэффициент. Например, штрафное значение может снижаться на конкретную величину или коэффициент для каждого последующего кадра изображения; и

штрафное значение сбрасывается при приеме внутренне кодированного кадра изображения или внутренне кодированного сегмента (например, внутренне кодированного макроблока).

Каждое из вышеуказанных правил, а также любые другие правила могут быть избирательно реализованы в способе оценки качества видео. Другими словами, можно применять любую комбинацию правил для определения визуального ухудшения качества, вызываемого посредством ошибки.

Последовательность кадров изображений может содержать по меньшей мере одно опорное изображение и по меньшей мере одно прогнозное изображение, при этом прогнозное изображение содержит по меньшей мере один вектор движения, указывающий на позицию в опорном изображении. Временное распространение и/или пространственное распространение ошибки может быть определено на основе вектора(ов) движения, включенного в прогнозное изображение. В одном примере распространение ошибки может быть определено посредством отслеживания вектора(ов) движения и опорного изображения, на которое указывает вектор(ы) движения.

Результат определения, включающий в себя информацию сегментов и определенное визуальное ухудшение качества, может размещаться, например сохраняться, на карте штрафов за потери. Карта штрафов за потери может принимать форму двумерной структуры данных, к примеру таблицы.

Карта штрафов за потери может иметь разрешение, идентичное разрешению ассоциированного кадра изображения (т.е. пиксельной карты кодированного видео). Это обеспечивает преимущество абсолютно точного представления визуального ухудшения качества. Тем не менее, если требуется понижать сложность технологии, карта штрафов за потери имеет меньшее разрешение, чем разрешение ассоциированной карты кадров изображений или пиксельной карты. С этой целью штрафное значение может вычисляться при меньшем разрешении. Например, кадр изображения может содержать множество сегментов, каждый из которых содержит множество пикселов. Сегменты могут размещаться в форме двумерной структуры данных (например, в качестве карты сегментов). В этом случае разрешение карты штрафов за потери может задаваться идентичным разрешению карты сегментов.

Чтобы еще более понижать сложность технологии, определение распространения ошибки, т.е. определение по меньшей мере одного из временного распространения и специального распространения ошибки дополнительно может содержать взвешивание одного или более значений визуального ухудшения качества (например, штрафных значений), определенных для предыдущей ошибки.

В дополнение к определению распространения ошибки и визуального ухудшения качества, вызываемого посредством ошибки, способ оценки качества видео, представленный в данном документе, дополнительно может агрегировать визуальное ухудшение качества и вычислять показатель (качества) на основе результата агрегирования. Визуальное ухудшение качества, вызываемое посредством ошибки, может быть агрегировано по меньшей мере в одном из времени и пространства. Вычисленный показатель, следовательно, служит для того, чтобы указывать общее качество потока видеобитов.

При агрегировании визуального ухудшения качества может быть использован алгоритм взвешивания. В одном варианте осуществления затронутые сегменты или кадры изображений агрегируются равномерно. В другом варианте осуществления визуальное ухудшение качества с небольшим значением может взвешиваться при более высоком коэффициенте, чем большое значение визуального ухудшения качества.

Агрегирование может быть выполнено пошагово во времени. Например, значения визуального ухудшения качества могут равномерно суммироваться каждую секунду (согласно, например, кадрам из 25 изображений), и затем другая функция используется для того, чтобы учитывать эти меньшие составляющие суммы.

Показатель качества может вычисляться периодически или с использованием подхода на основе окна переменной длительности. В одном варианте осуществления подхода на основе окна переменной длительности новый показатель для определенной стороны окна, т.е. предварительно заданной длительности, вычисляется с предварительно заданной частотой.

Способ оценки качества видео, описанный выше, может быть основан на модели оценки качества потока видеобитов. Поток видеобитов может содержать, по меньшей мере, часть уровня кодирования видео (VCL), который содержит один или более параметров, и по меньшей мере одно из определения возникновения ошибки, определения распространения ошибки и оценки качества видео может быть основано по меньшей мере на одном или более параметров без декодирования потока видеобитов. VCL-параметры могут включать в себя параметры сегментов (например, макроблоков), параметры внутреннего кодирования, связанные с движением параметры и т.д.

Согласно второму аспекту предоставляется компьютерная программа для оценки качества потока видеобитов, содержащего множество кадров изображений. Компьютерная программа содержит части программного кода, которые, при выполнении на компьютере, инструктируют компьютеру осуществлять этапы способа, поясненные в данном документе. Компьютерная программа может быть сохранена на носителе записи, который является машиночитаемым и содержится в компьютерном программном продукте, таком как запоминающее устройство в форме жесткого диска, ROM, RAM, EEPROM или флэш-память.

Согласно третьему аспекту, предоставляется устройство для оценки качества видео. Устройство содержит приемное устройство, выполненное с возможностью принимать поток видеобитов, содержащий последовательность кадров изображений, первый модуль определения, выполненный с возможностью определять возникновение ошибки в кадре изображения, второй модуль определения, выполненный с возможностью определять распространение ошибки с учетом по меньшей мере одного из временного распространения и пространственного распространения ошибки, и модуль оценки, выполненный с возможностью оценивать качество потока видеобитов на основе результата определения, например определенного распространения ошибки.

Устройство дополнительно может содержать третий модуль определения, выполненный с возможностью определять видимость ошибки или визуальное ухудшение качества, вызываемое посредством ошибки. В частности, третий модуль определения может быть выполнен с возможностью определять визуальное ухудшение качества посредством определения штрафного значения, указывающего визуальное ухудшение качества, вызываемое посредством ошибки.

Ошибка может влиять на один или более сегментов одного или более кадров изображений. Соответственно, третий модуль определения может быть дополнительно выполнен с возможностью определять визуальное ухудшение качества посредством вычисления штрафного значения для каждого затронутого ошибкой сегмента в видео в качестве индикатора относительно величины или степени визуального ухудшения качества, вызываемого посредством ошибки.

Дополнительно, третий модуль определения может быть выполнен с возможностью вычислять штрафное значение согласно одному или более правил, которые могут быть (но не только) следующими:

назначение более высокого штрафного значения ошибке, если ошибка возникает при смене сцены;

движение кадра изображения может быть использовано для того, чтобы определять (например, оценивать или измерять) визуальное ухудшение качества, вызываемое посредством ошибки; следовательно, назначение более высокого штрафного значения ошибке, если поток видеобитов содержит данные движения непосредственно после затронутого ошибкой кадра изображения, и, в частности, если относительная величина движения является большой;

не назначение штрафного значения затронутому ошибкой сегменту, если сегмент является пропуском или оцененным пропуском. Необязательное исключение в это правило может допускаться, если существует смена сцены или оцененная смена сцены;

снижение штрафного значения, назначаемого ошибке по меньшей мере для одного из последующих кадров изображений на предварительно определенную величину или коэффициент; и

сброс штрафного значения при приеме внутренне кодированного кадра изображения или внутренне кодированного сегмента.

Третий модуль определения может применять любую комбинацию правил.

Последовательность кадров изображений может содержать по меньшей мере одно опорное изображение и по меньшей мере одно прогнозное изображение, при этом прогнозное изображение содержит по меньшей мере один вектор движения, указывающий на позицию в опорном изображении. Третий модуль определения устройства может быть выполнен с возможностью определять по меньшей мере одно из временного распространения и пространственного распространения визуального ухудшения качества посредством отслеживания вектора движения и опорного изображения, на которое указывает вектор движения.

Движение затронутого ошибкой кадра изображения может быть использовано для того, чтобы определять визуальное ухудшение качества, вызываемое посредством ошибки. Следовательно, второй модуль определения может быть дополнительно выполнен с возможностью определять визуальное ухудшение качества на основе вектора(ов) движения.

Устройство дополнительно может содержать модуль сбора, выполненный с возможностью собирать визуальное ухудшение качества в двумерной структуре данных, извлекаемой из кадра изображения (например, на карте штрафов за потери).

Дополнительно, устройство может содержать модуль агрегирования, выполненный с возможностью агрегировать визуальное ухудшение качества, вызываемое посредством ошибки по меньшей мере в одном из времени и пространства. Устройство дополнительно может содержать модуль вычисления, выполненный с возможностью вычислять показатель, указывающий качество потока видеобитов, на основе результата агрегирования.

Вышеуказанные компоненты устройства, а также все дополнительные компоненты могут быть реализованы в отдельных физических единицах. Альтернативно, некоторые или все компоненты могут быть комбинированы в одной физической единице. Все физические единицы могут размещаться в одном корпусе, но также можно распределять некоторые или все из них в различных узлах или терминалах, участвующих во всей услуге передачи видео. Каждый из приемного устройства, первого модуля определения, второго модуля определения, третьего модуля определения, модуля агрегирования, модуля вычисления и модуля оценки может быть реализован как конкретные аппаратные схемы, к примеру ASIC (специализированные интегральные схемы) и/или DSP (процессоры цифровых сигналов), или как комбинация по меньшей мере одного процессора, к примеру, микропроцессора и компьютерной программы, упомянутой выше, когда она выполняется на процессоре. Компьютерная программа, следовательно, может содержать модуль приемного устройства, первый модуль определения, второй модуль определения, третий модуль определения, модуль агрегирования, модуль вычисления и модуль оценки, которые при выполнении на процессоре инструктируют устройству осуществлять соответствующие вышеупомянутые этапы.

Согласно четвертому аспекту предоставляется серверный узел, выполненный с возможностью предоставлять поток видеобитов. Серверный узел содержит вышеупомянутое устройство для объективной оценки качества видео.

Согласно пятому аспекту предоставляется клиентский терминал, выполненный с возможностью декодировать поток видеобитов, при этом клиентский терминал содержит вышеуказанное устройство для объективной оценки качества видео.

Согласно шестому аспекту предоставляется сетевой узел для обмена данными между видеосерверным узлом и клиентским видеотерминалом. Сетевой узел содержит вышеуказанное устройство для оценки качества видео.

Технология оценки качества видео в данном документе является подходящей для оценки качества видео, кодируемых во всех видах технологий, к примеру наиболее в широко используемых современных стандартах кодирования видео, которые включают в себя H.264, H 263, MPEG-2, MPEG4 и т.д. Технология объективной оценки качества видео, представленная в данном документе, также может быть подходящей для любых будущих стандартов кодирования видео или технологий.

Технология оценки качества видео, представленная в данном документе, не ограничена какими-либо конкретными услугами. Например, она может быть развернута для широкого диапазона услуг, таких как потоковая передача видео, мобильное телевидение, видеотелефонная связь, Интернет-мультимедиа, к примеру, IPTV, видеоконференц-связь и линейное телевидение.

Краткое описание чертежей

Ниже сущность изобретения иллюстрируется чертежами, на которых

Фиг. 1 является блок-схемой, иллюстрирующей вариант осуществления системы для технологии оценки качества видео;

Фиг. 2 показывает структуру примерного уровня кодирования видео;

Фиг. 3 показывает структуру другого примерного уровня кодирования видео;

Фиг. 4 показывает структуру примерного взаимно кодированного кадра изображения;

Фиг. 5 показывает пример прогнозирования векторов движения для сегмента 16×16;

Фиг. 6 показывает вариант осуществления способа для технологии оценки качества видео;

Фиг. 7 является блок-схемой, иллюстрирующей вариант осуществления устройства для технологии оценки качества видео;

Фиг. 8 является блок-схемой, иллюстрирующей вариант осуществления компьютерной программы для технологии оценки качества видео;

Фиг. 9 является блок-схемой последовательности операций способа, иллюстрирующей другой вариант осуществления способа для технологии оценки качества видео;

Фиг. 10 является снимком видеоэкрана, показывающим пример потерь пакетов в видео;

Фиг. 11 является снимком видеоэкрана, показывающим идентичный пример по фиг. 8 с картой штрафов за потери в качестве наложения; и

Фиг. 12 является блок-схемой, иллюстрирующей другой вариант осуществления устройства для технологии оценки качества видео;

Фиг. 13 является блок-схемой, иллюстрирующей другой вариант осуществления компьютерной программы для технологии оценки качества видео;

Фиг. 14 является блок-схемой, иллюстрирующей дополнительный вариант осуществления устройства для технологии оценки качества видео;

Фиг. 15 является блок-схемой, иллюстрирующей дополнительный вариант осуществления компьютерной программы для технологии оценки качества видео; и

Фиг. 16 показывает ограниченную логарифмическую функцию с различными значениями для d, при этом функция используется для моделирования агрегирования штрафных значений согласно варианту осуществления технологии оценки качества видео.

Подробное описание изобретения

Далее, в целях пояснения, а не ограничения, изложены конкретные подробности, чтобы предоставлять полное понимание технологии объективной оценки качества видео, представленной в данном документе. Специалистам в данной области техники должно быть очевидным, что технология может осуществляться на практике в вариантах осуществления, которые отступают от этих конкретных подробностей. Например, хотя примерные варианты осуществления описываются в связи с конкретной топологией сети по фиг. 1, специалисты в данной области техники могут легко принимать во внимание, что технология является в равной степени применимой к топологиям сети других типов. В качестве другого примера, хотя примерные варианты осуществления поясняются в отношении видео в соответствии со стандартом H.264, MPEG-2, MPEG-4 или H 263, технология объективной оценки качества видео, представленная в данном документе, может быть использована для того, чтобы оценивать качество видео, кодируемого с помощью всех типов технологий или стандартов кодеков, включающих в себя H.264, MPEG-2, MPEG-4, H 263, а также все остальные современные технологии или стандарты видеокодеков и даже будущие технологии видеокодеков. Дополнительно, технология, представленная в данном документе, не ограничена какими-либо конкретными услугами; напротив, она может быть развернута для широкого диапазона услуг, таких как потоковая передача видео, мобильное телевидение, видеотелефония, IPTV, видеоконференц-связь, линейное телевидение и больше.

Специалисты в данной области техники дополнительно должны принимать во внимание, что технология, поясненная в данном документе, может быть реализована с помощью аппаратных схем, программных средств или комбинации вышеозначенного. Программные средства могут сочетаться с программируемым микропроцессором или компьютером общего назначения с использованием по меньшей мере одного из специализированной интегральной схемы (ASIC) и процессора цифровых сигналов (DSP). Также следует принимать во внимание, что когда технология описывается в качестве способа, она также может быть осуществлена в процессоре компьютера и в запоминающем устройстве, соединенном с процессором, при этом устройство кодируется с помощью одной или более программ, которые осуществляют способ при выполнении посредством процессора.

Чтобы достигать вышеупомянутых целей, т.е. гарантировать низкую сложность и удовлетворительную точность оценки, представляется такая технология оценки качества видео, которая выполняет оценку качества не только на основе информации заголовков сетевых протоколов (к примеру, используемых в параметрических моделях), но также и на основе определенных параметров из уровня кодирования видеопотока видеобитов. Соответственно, можно сказать, что технология основана на модели потока битов. Эта технология имеет потенциал оценки качества видео с более высокой точностью, чем традиционные параметрические модели, при этом имея такую легкость, что она подходит для мониторинга качества видео всех видов, в частности мониторинга в реальном времени.

Фиг. 1 является блок-схемой, иллюстрирующей вариант осуществления системы для технологии оценки качества видео, представленной в данном документе. Как показано на фиг. 1, поток видеобитов передается из видеосервера 2 в клиентский видеотерминал 4 через сеть 6 связи. По меньшей мере один сетевой узел 8 или "промежуточный" узел постоянно размещается в сети связи и участвует в передаче видео. После поступления на клиентский терминал 4 видео декодируется для отображения конечному пользователю.

Технология оценки качества видео может быть реализована в различных узлах или терминалах. Например, она может быть реализована в серверном узле, который предоставляет поток видеобитов. Серверный узел может быть таким узлом, как видеосервер 2 на фиг. 1, для передачи потока видеобитов в один или более клиентских терминалов 4 или промежуточных узлов 8 в сети 6 связи. В качестве конкретного варианта осуществления серверный узел может быть мобильным терминалом, широковещательным телевизионным сервером, сервером "видео по запросу" или компьютером общего назначения, допускающим передачу видеопотоков. Технология оценки качества видео также может быть реализована в клиентском терминале, к примеру в клиентском терминале 4 на фиг. 1, который может декодировать видеопоток. Клиентский терминал может быть мобильным терминалом, компьютером, абонентской приставкой, игровым устройством, телевизором и т.п. Дополнительно, технология может быть реализована в сетевом узле, таком как сетевой узел 8 на фиг. 1, для обмена данными между видеосерверным узлом 2 и клиентским видеотерминалом 4. Еще дополнительно, составляющие функции технологии могут быть распределены по нескольким узлам или терминалам, к примеру по любой комбинации одного или более серверных узлов, одного или более сетевых узлов и одного или более клиентских терминалов. В качестве конкретного варианта осуществления технология может быть реализована таким образом, что параметры потока битов извлекаются по меньшей мере из одного из сервера, сетевого узла и клиентского терминала, в то время как обработка параметров выполняется в еще одном другом узле или терминале. Наконец, что не менее важно, технология также может быть использована в вариантах осуществления с менее строгими временными ограничениями, таких как производство контента.

Как упомянуто выше, ввод в модель потока битов включает в себя параметры, извлеченные из уровня кодирования видео. Чтобы лучше понимать эти параметры, сначала представляется краткое пояснение структуры уровней кодирования видео со ссылкой на фиг. 2-5, которые иллюстрируют примерные уровни кодирования видео, структурированные согласно определенным современным стандартам видеокодеков, таким как H.264, MPEG-2 и H 263.

Все наиболее широко используемые современные стандарты кодирования видео, такие как H.264, MPEG-2 и H 263, используют подход на основе сегментов. В видеокодеке на основе сегментов каждое видеоизображение (также может упоминаться как "видеокадр", "кадр изображения" или просто "изображение") разделяется на меньшие сегменты, называемые некоторыми специалистами блоками, к примеру макроблоками (MB). Для вышеупомянутых стандартов кодеков размер макроблока обычно задается как 16x16 пикселов. Конечно, сегмент может иметь любой другой надлежащий размер.

Изображения в вышеупомянутых стандартах видеокодеков могут иметь три различных типа: внутренне кодированное (I-изображение), прогнозирующее кодированное (P-изображение) или сдвоенное прогнозирующе кодированное (B-изображение). I-изображения могут использовать только информацию из текущего изображения для сжатия данных, что дает возможность их использования в качестве точек произвольного доступа в видео, обеспечивая то, что потенциальная ошибка, предшествующая I-изображению, обновляется. (Чтобы обеспечивать полное обновление в H.264, только одно опорное изображение, используемое для прогнозирования P- и B-изображений, должно сохраняться в буфере; альтернативно, IDR-изображение может быть использовано вместо I-изображения). P-изображения могут прогнозировать из одного опорного изображения для каждого прогнозирования. B-изображения могут использовать два различных опорных изображения для каждого прогнозирования. Изображения упорядочиваются в группах изображений (GOP), причем GOP обычно начинается с I-изображения и завершается в изображении, предшествующем следующему I-изображению.

Фиг. 2 иллюстрирует пример GOP-структуры, включающей в себя I-, P- и B-изображения.

Фиг. 3 иллюстрирует пример GOP-структуры, содержащей только I- и P-изображения.

Фиг. 4 иллюстрирует пример P-изображения для QCIF-видео (176x144 пикселов) с макроблоками 11x9. Как можно видеть на фиг. 4, P-изображение может включать в себя внутренне кодированные макроблоки (I-MB), которым разрешено принимать информацию только из текущего изображения, и прогнозирующие макроблоки (P-MB), которые могут принимать информацию из других изображений посредством прогнозирования. Макроблоки могут быть разделены на еще меньшие сегменты. Иллюстрация на фиг. 4 показывает сегменты P-MB с размером 16×16 пикселов, 16×8 пикселов, 8×16 пикселов и 8×8 пикселов. Стандарт H.264 разрешает такие сегменты, иногда называемые субблоками, вплоть до размера 4×4 пикселов. Каждый сегмент P-MB использует вектор движения (MV), указывающий на позицию в ранее декодированном опорном изображении, чтобы осуществлять прогнозирование. См. фиг. 5 для примера MV-прогнозирования для сегмента 16x16. Видеокодер также может выбирать экономить биты посредством пропуска макроблока, инструктируя декодеру просто копировать эту часть из ранее декодированного изображения.

Из уровня кодирования видео различные параметры могут извлекаться (или получаться из извлеченных параметров) и использоваться посредством модели качества потока битов для оценки качества видео. Примерами таких параметров являются, но не только, тип кадра, GOP-тип, GOP-длина, число принятых/потерянных/отброшенных пакетов I-, P- и B-кадров и число хороших/поврежденных I-, P- и B-кадров, информация движения, макроблоков. Параметры могут быть извлечены посредством анализатора потока битов.

Кроме вышеуказанных параметров, другая информация из потока видеобитов также может быть использована для того, чтобы оценивать качество видео. Важный аспект технологии оценки качества видео, представленной в этом раскрытии сущности, состоит в том, чтобы оценивать распространение ошибки и видимость ошибки в видео из признаков, обнаруженных на уровне кодирования видеопотока битов. За счет этого может быть вычислен более точный показатель оценки качества видео.

В контексте настоящего раскрытия сущности ошибка включает в себя или является результатом потерь или задержки видеоданных, таких как потери или задержка пакета потока видеобитов. Тем не менее, не все потери данных или задержка передачи данных в потоке видеобитов имеют воспринимаемое человеком влияние на качество видео. Другими словами, не каждая ошибка имеет субъективный визуальный эффект для конечных зрителей и воспринимается как визуальное ухудшение качества. Например, потери одного B-кадра имеют незначительное влияние, поскольку другие кадры не зависят от этого кадра, и, следовательно, изображение искажается только на долю секунды, соответствующую одному B-кадру. Потери опорного кадра (I-кадра или P-кадра), тем не менее, влияют на любой P-кадр или B-кадр, который ссылается на опорный кадр. Последовательность потерь пакетов (в частности, тех, которые заключают в себе опорные кадры) начинает вызывать воспринимаемые человеком ухудшения качества видеоизображения. Кроме того, потери опорных кадров в начале смены сцены или в ходе видеопоследовательностей с интенсивным движением с большей вероятностью вызывают воспринимаемые человеком искажения, чем потери опорных кадров в относительно статических видеопоследовательностях. Наоборот, потери неопорных кадров в ходе смен сцен или видеопоследовательностей с интенсивным движением с меньшей вероятностью формируют заметные искажения, поскольку визуальный артефакт скрывается посредством быстрых изменений в изображениях, представленных зрителю.

Следовательно, недостаточно просто обнаруживать возникновение ошибки в потоке видеобитов, а требуется также квалифицировать или оценивать, насколько "видимой" является ошибка для человека-зрителя. Видимость ошибки (или вкратце видимость) является термином, используемым для того, чтобы измерять это визуальное влияние или эффект. Абсолютная величина видимости ошибки указывает, насколько сильно или серьезно ошибка влияет на воспринимаемое человеком качество видео. Одним конкретным способом количественного определения видимости ошибки является значение визуального ухудшения качества видео, вызываемого посредством ошибки.

Ключевая характеристика технологии оценки качества видео, предложенная в этом раскрытии сущности, заключается в том, чтобы отслеживать по меньшей мере одно из временного распространения и пространственного распространения ошибки. Для этого технология отслеживает то, где ошибки возникают в видео, во времени и/или в пространстве, оценивает то, в течение какого времени ошибки длятся, и/или то, насколько они разбросаны в пространстве (т.е. оценивает распространение ошибки по меньшей мере в одном из времени и пространства), и насколько они видимые. Например, ошибка стремится к пространственному разбросу, когда существует большое движение, и должна исчезать, когда поступает внутренне кодированное изображение.

Вариант осуществления способа, осуществляющий существенный аспект упомянутой выше технологии оценки качества видео, показан на фиг. 6. В частности, фиг. 6 иллюстрирует способ объективной оценки качества видео 10, который содержит следующие этапы: на начальном этапе 12 принимается поток видеобитов, содержащий последовательность кадров изображений; затем на этапе 14 технология определяет возникновение ошибки в кадре изображения потока видеобитов; затем на этапе 16 определяется по меньшей мере одно из временного распространения и пространственного распространения ошибки; в завершение, на этапе 18, качество потока видеобитов оценивается на основе результата определения.

Фиг. 7 иллюстрирует вариант осуществления устройства для осуществления на практике технологии оценки качества видео, представленной в этом раскрытии сущности. Устройство, обозначаемое как 20, выполнено с возможностью объективно оценивать качество видео. Устройство 20 содержит следующие компоненты: приемное устройство 22, выполненное с возможностью принимать поток видеобитов, содержащий последовательность кадров изображений; первый модуль 24 определения, выполненный с возможностью определять возникновение ошибки в кадре изображения потока видеобитов; второй модуль 26 определения, выполненный с возможностью определять по меньшей мере одно из временного распространения и пространственного распространения визуального ухудшения качества; и модуль 28 оценки, выполненный с возможностью оценивать качество потока видеобитов на основе результата определения.

Хотя компоненты 22, 24, 26 и 28 проиллюстрированы как отдельные блоки в одном корпусе 20, они могут представляться по-другому в реальной реализации устройства. Например, функции некоторых или всех компонентов могут быть комбинированы в одной физической единице. Согласно другому примеру некоторые или все из них могут быть распределены в различных узлах, участвующих во всей услуге передачи видео.

Фиг. 8 является блок-схемой, иллюстрирующей вариант осуществления компьютерной программы для технологии оценки качества видео. Компьютерная программа, указываемая как 20' на фиг. 8, содержит части программного кода, которые при выполнении на компьютере инструктируют компьютеру выполнять определенное число функций для оценки качества видео. Функции соответствуют этапам 12, 14, 16 и 18, содержащимся в варианте 10 осуществления способа, показанном на фиг. 6, а также компонентам 22, 24, 26 и 28 варианта осуществления устройства, как показано на фиг. 7. Как конкретно показано на фиг. 8, вариант осуществления компьютерной программы 20' содержит модуль 22' приемного устройства, первый модуль 24' определения, второй модуль 26' определения и модуль 28' оценки.

Фиг. 9 является блок-схемой последовательности операций способа, показывающей другой вариант осуществления способа для технологии оценки качества видео. Этапы, проиллюстрированные на блок-схеме последовательности операций способа, являются элементарными. Функции, ассоциированные с этапами, могут быть разделены на четыре части:

отслеживание распространения ошибки, т.е. отслеживание по меньшей мере одного из временного распространения и пространственного распространения ошибки;

оценка видимости ошибки для каждой затронутой ошибкой позиции, например для каждого затронутого ошибкой пиксела или сегмента (к примеру, макроблока) в видео;

агрегирование штрафа, вычисленного для всех ошибочных частей видео; и

комбинирование агрегированного штрафного значения, возможно с учетом других параметров, чтобы формировать показатель качества для потока видеобитов.

Эти четыре части подробно описываются ниже.

Отслеживание распространения ошибки

Простой способ учитывать такую ошибку, как потери данных в потоке видеобитов, состоит в том, чтобы вычислять коэффициент потерь. Например, коэффициент потерь может вычисляться как число потерянных макроблоков относительно общего числа блоков. Тем не менее, этот показатель может не представлять надлежащим образом видимость ошибки.

Чтобы более корректно оценивать распространение или разброс ошибки по меньшей мере в одном из времени и пространства, технология, представленная в данном документе, использует информацию относительно векторов движения. Например, поток видеобитов, содержащий последовательность кадров изображений, может содержать по меньшей мере одно опорное изображение и по меньшей мере одно прогнозное изображение, при этом прогнозное изображение может содержать по меньшей мере один вектор движения, указывающий на позицию в опорном изображении; соответственно, технология отслеживает векторы движения. Технология также может отслеживать векторы движения и опорные изображения, на которые указывают векторы движения.

Ошибка также распространяется во времени каждый раз, когда существует пропущенный сегмент или пропущенный кадр после ошибки, поскольку ошибка предыдущего сегмента или кадра затем копируется в текущий сегмент или кадр. Кроме того, ошибка может распространяться в пространстве для определенных случаев внутреннего прогнозирования (например, внутрикадрового или внутрисегментного прогнозирования). Внутреннее прогнозирование не использует векторы движения, а прогнозирует из окружающих пикселов в смежных сегментах (например, окружающих макроблоков). Кодек обычно содержит определенное число различных способов того, как выполнять внутреннее прогнозирование из окружающих пикселов. В H.264, внутренние макроблоки (т.е. внутренне кодированные макроблоки) могут прогнозировать из невнутренне кодированных макроблоков в текущем кадре. Если ошибка распространяется в невнутренне кодированный макроблок, и внутренне кодированный макроблок прогнозирует из этого невнутренне кодированного макроблока, ошибка может распространяться во внутренне кодированный макроблок. Чтобы предотвращать внутреннее прогнозирование из невнутренне кодированных макроблоков в H.264, constrained_intra_pred_flag может задаваться в виде стоимости эффективности кодирования.

Распространение ошибки может быть представлено на карте штрафов за потери. В одном варианте осуществления распространение ошибки может быть сохранено на карте штрафов за потери.

Оценка видимости ошибки

С учетом эффекта разброса ошибка, которая возникает в одном кадре изображения, может влиять на один или более сегментов в одном или более кадров изображений. Следовательно, технология должна рассматривать все затронутые кадры изображений или сегменты при определении видимости ошибки или визуального ухудшения качества, вызываемого посредством ошибки. Один вариант осуществления технологии определяет визуальное ухудшение качества посредством вычисления штрафного значения для каждого затронутого ошибкой сегмента в видео. Штрафное значение является значением, указывающим величину визуального ухудшения качества, вызываемого посредством ошибки.

Чтобы определять то, насколько видимой является ошибка, могут быть развернуты различные правила:

Такие ошибки, как потери данных, которые возникают в ходе смены сцены, типично выглядят хуже, чем обычная ошибка, и, следовательно, им должно назначаться более высокое штрафное значение. Может быть недостаточным только обнаруживать внутренне кодированные кадры, поскольку они могут вставляться в любое место в качестве точек произвольного доступа. Потери во внутренне кодированном кадре, а не при смене сцены с большой вероятностью не выглядят настолько плохо, как потери при смене сцены.

Такая ошибка, как потери данных, зачастую плохо выглядит, если существует большое движение непосредственно после ошибки. Более конкретно, это относительная величина движения, которая представляет интерес. Например, небольшие потери при движении в иной сцене без движения с большой вероятностью являются более очевидными, чем средние потери при движении в сцене с интенсивным движением.

Если сегмент, например макроблок, в изображении после потерянного сегмента, например, макроблок, является пропуском, вероятность того, что потерянный макроблок также является пропуском, является высокой. Этим типам макроблоков, следовательно, не присваивается штраф за потери. Тем не менее, это может быть неприменимым, когда происходит смена сцены, поскольку в таком случае потерянный макроблок вероятнее всего не является пропуском.

Ошибка стремится исчезать со временем. Штрафное значение, следовательно, снижается на конкретную величину или коэффициент по меньшей мере для одного из кадров изображений, идущих за кадром, в котором возникает ошибка. В качестве конкретной реализации, штрафное значение снижается на конкретную величину или коэффициент для каждого последующего кадра.

Штрафное значение сбрасывается, когда существуют внутренне кодированные кадры изображений или сегменты. Тем не менее, если внутренне кодированный сегмент после внутренне кодированного сегмента имеет вектор движения, указывающий на опорное изображение, предшествующее внутренне кодированному сегменту, ошибка может возвращаться.

Каждое из вышеуказанных правил, а также любые другие правила, могут быть избирательно использованы в технологии оценки качества видео, представленной в этом раскрытии сущности.

Движение кадра изображения может быть использовано для того, чтобы определять штрафное значение для ошибки.

При этом важно, что используемые векторы движения являются векторами, которые представляют фактическое движение, а не просто "произвольно" указывают на наилучшее прогнозирование. Произвольные векторы движения указания не должны рассматриваться при определении абсолютной величины штрафного значения. Чтобы определять то, является или нет вектор движения в сегменте, например макроблоке, "произвольным", проверяются все векторы движения окружающих сегментов. Рассматриваемый вектор движения считается произвольным, если он не равен или практически равен (т.е. плюс/минус константа) по меньшей мере одному окружающему вектору движения.

Как местоположение (например, x-y-позиция ошибки в кадре изображения), так и видимость ошибки могут быть представлены на карте штрафов за потери. Для абсолютной точности представления распространения ошибки карта штрафов за потери должна иметь разрешение, идентичное разрешению декодированной пиксельной карты, например 176×144 значений. Пример потерь пакетов в видео показан на фиг. 10. Идентичный пример с картой штрафов за потери в качестве наложения проиллюстрирован на фиг. 10. В общем, карта штрафов за потери может принимать форму двумерной структуры данных, задающей отдельные поля данных, причем каждое поле данных выполнено с возможностью обеспечивать сохранение штрафного значения. В одном примере структура данных может размещаться в форме таблицы.

Фиг. 12 показывает вариант осуществления устройства 30 для технологии оценки качества видео, представленной в данном документе. По сравнению с вариантом 20 осуществления устройства, показанным на фиг. 7, устройство 30 содержит дополнительный компонент, а именно модуль 32 сбора. Модуль 32 сбора выполнен с возможностью собирать визуальное ухудшение качества на карте штрафов за потери.

Соответственно, предоставляется вариант осуществления компьютерной программы 30' для технологии оценки качества видео, как показано на фиг. 13. По сравнению с вариантом осуществления компьютерной программы 20', показанном на фиг. 8, компьютерная программа 30' содержит дополнительный модуль, а именно модуль 32' сбора для сбора визуального ухудшения качества на карте штрафов за потери.

Чтобы поддерживать сложность технологии низкой, штрафное значение в конкретных вариантах осуществления может вычисляться при меньшем разрешении, чем декодированная пиксельная карта. Например, разрешение карты штрафов за потери может быть идентичным разрешению макроблоков, к примеру 11x9 для QCIF. Один способ оценивать разброс штрафного значения для случая меньшего разрешения состоит в том, чтобы взвешивать значения для предыдущего штрафного значения соответствующим образом. Для примера на фиг. 5 с вектором движения (x,y)=(-5,7), штрафное значение для правого нижнего блока из четырех блоков в текущем изображении может вычисляться следующим образом:

штраф=(5×7)/(16×16) Ч штрафное значение предыдущего верхнего левого блока

+(11×7)/(16×16) × штрафное значение предыдущего правого верхнего блока

+(5×9)/(16×16) × штрафное значение предыдущего левого нижнего блока

+(11×9)/(16×16) × штрафное значение предыдущего нижнего правого блока

Конкретные сведения по типу маскирования, который должен использоваться в декодере, должны делать оценку видимости ошибки более точной. Возможные способы маскирования для прогнозирующих изображений включают в себя:

Копирование потерянных частей из предыдущего декодированного изображения;

Копирование потерянных частей из предыдущего декодированного изображения на основе движения;

Замораживание всего видео до следующей точки произвольного доступа (внутренне кодированного кадра).

Технология оценки качества видео, представленная в данном документе, может быть разработана с возможностью применимости по меньшей мере для двух главных способов маскирования и аналогичных им.

В случае использования способа замораживания влияние видимости ошибки может быть вычислено из времени, которое проходит между каждой ошибкой и следующей точкой произвольного доступа. Величина движения сцены также является параметром, который может влиять на видимость замораживания.

Возможные способы маскирования для I-изображений включают в себя три вышеприведенных способа маскирования, а также интерполяцию/экстраполяцию потерянных макроблоков из корректно принимаемых макроблоков в идентичном I-изображении. Если I-изображение обнаруживается при смене сцены, способ интерполяции/экстраполяции может приводить к лучшему результату, чем два главных способа маскирования, поскольку он не допускает копирование декодером пикселов из предыдущей сцены. Тем не менее, когда этот способ маскирования используется для I-изображений не при смене сцены, он не может предоставлять такие преимущества, как два главных способа маскирования.

В некоторых сценариях возможно то, что информация по способу маскирования в декодере уже известна или что она может быть передана в служебных сигналах в модель оценки качества видео из клиентского терминала.

Агрегирование штрафного значения

Недостаточно только оценивать то, где ошибки возникают, и на что они влияют, и насколько они серьезные. Чтобы предоставлять общий показатель качества (т.е. оценку качества) для всего потока видеобитов, штрафное значение должно быть агрегировано по меньшей мере в одном из времени и пространства.

Фиг. 14 иллюстрирует третий вариант 40 осуществления устройства для технологии оценки качества видео, представленной в данном документе. По сравнению с вариантом 20 осуществления устройства, показанным на фиг. 7, устройство 40 содержит два дополнительных компонента, а именно: модуль 42 агрегирования и модуль 44 вычисления. Модуль 42 агрегирования выполнен с возможностью агрегировать визуальное ухудшение качества, вызываемое посредством ошибки по меньшей мере в одном из времени и пространства. Модуль 44 вычисления выполнен с возможностью вычислять показатель, указывающий качество потока видеобитов, на основе результата агрегирования.

В соответствии с третьим вариантом 40 осуществления устройства, предоставляется вариант осуществления компьютерной программы 40' для технологии оценки качества видео, как показано на фиг. 15. По сравнению с вариантом осуществления компьютерной программы 20', показанным на фиг. 8, компьютерная программа 40' содержит два дополнительных модуля, а именно: модуль 42' агрегирования и модуль 44' вычисления. Модуль 42' агрегирования выполнен с возможностью агрегировать визуальное ухудшение качества, вызываемое посредством ошибки по меньшей мере в одном из времени и пространства, а модуль 44' вычисления выполнен с возможностью вычислять показатель, указывающий качество потока видеобитов, на основе результата агрегирования.

Равномерное взвешивание затронутых сегментов и изображений является одним подходом агрегирования, но оно может не быть оптимальным в определенных случаях, в частности, если даже небольшая ошибка может значительно снижать качество. В таких случаях может быть более корректным взвешивать штрафное значение или визуальное ухудшение качества при более высоком коэффициенте для небольшого штрафного значения, чем для большого штрафного значения. Конкретный вариант осуществления этого подхода заключается в том, чтобы взвешивать штрафное значение для каждой области/длительности как более высокое для небольших штрафных значений, чем для больших штрафных значений.

Различные функции могут быть использованы для того, чтобы моделировать второй подход к агрегированию. Примером легко подобранной функции, используемой для этой цели, является ограниченная логарифмическая функция следующей формы:

Функция с различными значениями для d проиллюстрирована на фиг. 16.

Альтернативно, полиномиальные функции (например, полиномы третьей степени) или дискретные пороговые функции, подобранные для дискретизированного набора данных, могут использоваться для моделирования агрегирования.

Все примерные вышеупомянутые функции могут приводить к удовлетворительным результатам. Важный аспект, вероятно, заключается в том, чтобы использовать функцию со снижением производной для d>0 в вышеуказанной ограниченной логарифмической функции.

Агрегирование может выполняться пошагово во времени. Например, штрафное значение может равномерно суммироваться каждую секунду (согласно, например, кадрам из 25 изображений), чтобы давать "субрезультат", и затем другая функция используется для того, чтобы учитывать эти субрезультаты.

Формирование показателя качества

Агрегированный штраф может быть одним из нескольких параметров, способствующих показателю модели качества потока битов, оценивающему субъективно воспринимаемое качество потока видеобитов. Некоторые из других интересующих параметров могут включать в себя параметры радиосети, такие как частота ошибок по блокам (BLER) радиоресурсов, частота ошибок по битам (BER) и используемый однонаправленный радиоканал, параметры транспортной сети, такие как потери пакетов, пропускная способность передачи данных, данные дрожания пакетов, стратегия буферизации дрожания пакетов, размер IP-пакета и коэффициент CRC-ошибок при передаче служебных RTP/RTCP-сигналов (из демультиплексора H.223), число CRC-ошибок, скорость передачи видеобитов, число битов в расчете на видеокадр; и параметры, извлеченные или полученные из видеоуровня, такие как целевая частота видеокадров, разрешение видео, видеокодек, профиль видеокодека, уровень видеокодека, параметр квантователя, фактическая частота видеокадров, число видеосегментов (GOB, серий последовательных макроблоков, видеопакетов) в расчете на кадр, тип изображения (внутренне кодированное или взаимно кодированное изображение), число внутренних макроблоков в расчете на изображение, стратегия внутреннего обновления (из обоснованного предположения), средний/минимальный/максимальный квантователь в расчете на изображение, число макроблоков в расчете на сегмент, средние/максимальные/минимальные векторы абсолютного движения, наличие и распределение внутренне кодированных сегментов, наличие и распределение взаимно кодированных сегментов, наличие и распределение пропущенных макроблоков, наличие и распределение разрешений вектора движения, информация по числу используемых опорных изображений.

Модель потока битов может, например, быть линейной моделью формы

MOS_est=c₀+c₁p₀+c₂p₁+...+c_n+1p_n,

или геометрической моделью формы

MOS_est=c₀(c₁-c₂p₀)(c₃-c₄p₁)...(c_2n+1-c_2n+2p_n),

или комбинацией вышеозначенного. Модель также может иметь некоторую другую нелинейную форму.

Показатель качества может вычисляться периодически за данный период времени, например 10 секунд. Показатель также может быть вычислен с использованием подхода на основе окна переменной длительности, причем новый показатель для предварительно заданной длительности вычисляется с предварительно заданной частотой. Например, новый показатель для окна определенного размера, например, соответствующего 10 секундам, вычисляется с определенной частотой, например, в расчете на каждое изображение или каждые две секунды. Для штрафного значения это может требовать сохранения агрегированного штрафа для каждого изображения.

Технология оценки качества видео, представленная выше, может более корректно моделировать визуальное влияние ошибки в видео, чем параметрические модели. Это, в свою очередь, повышает точность оценки качества видео. Помимо этого, технология, представленная в настоящем раскрытии сущности, является менее сложной и менее трудоемкой и ресурсоемкой, чем перцепционные модели, которые должны, помимо прочего, декодировать видео и выполнять поиск видимых ошибок в пиксельных данных декодированного видео.

Хотя технология описана в отношении вышеописанных вариантов осуществления, следует понимать, что описание служит только для пояснения. Соответственно, изобретение должно быть ограничено только объемом прилагаемой формулы изобретения.

Изобретение относится к средствам оценки качества видео. Техническим результатом является повышение точности оценки за счет отслеживания пространственного распределения ошибки в сегменте кадра изображения. Способ содержит этапы, на которых принимают поток битов видео, содержащий последовательность кадров изображений, определяют возникновение ошибки в сегменте кадра изображения, отслеживают временное распространение и пространственное распространение указанной ошибки посредством информации вектора движения и внутреннего предсказания, относящегося к затронутому ошибкой сегменту, оценивают качество потока битов видео на основе распространения указанной ошибки. 6 н. и 12 з.п. ф-лы, 16 ил.

1. Способ оценки качества видео, содержащий этапы, на которых:
принимают поток битов видео, содержащий последовательность кадров изображений;
определяют возникновение ошибки в сегменте кадра изображения;
отслеживают по меньшей мере одно из временного распространения и пространственного распространения ошибки, используя по меньшей мере одно из информации вектора движения и внутреннего предсказания, которое относится к затронутому ошибкой сегменту; и
оценивают качество потока битов видео на основе распространения ошибки.

2. Способ по п.1, дополнительно содержащий этап, на котором:
определяют визуальное ухудшение качества, вызываемое ошибкой, с помощью вычисления штрафного значения для каждого затронутого ошибкой сегмента кадра изображения, причем штрафное значение указывает величину визуального ухудшения качества, вызываемого ошибкой.

3. Способ по п.2, в котором штрафное значение вычисляют согласно одному или более из следующих правил, согласно которым:
назначают более высокое штрафное значение ошибке, если ошибка возникает при смене сцены;
назначают более высокое штрафное значение ошибке, если поток битов видео содержит данные движения непосредственно после затронутого ошибкой кадра изображения, и, в частности, если относительная величина движения является большой;
не назначают штрафное значение ошибке для сегмента, если сегмент является пропуском или является оцененным пропуском, опционально, если только это не смена сцены или оцененная смена сцены;
снижают штрафное значение, назначаемое ошибке для по меньшей мере одного последующего кадра изображения, на предварительно определенную величину или коэффициент; и
сбрасывают штрафное значение при приеме внутренне кодированного сегмента или внутренне кодированного кадра изображения.

4. Способ по п.2 или 3, дополнительно содержащий этап, на котором:
собирают визуальное ухудшение качества на карте штрафов за потери, причем карта штрафов за потери опционально имеет разрешение, идентичное разрешению ассоциированного изображения, или меньшее разрешение, чем у этого изображения.

5. Способ по п.2 или 3, в котором при определении по меньшей мере одного из временного распространения и пространственного распространения ошибки взвешивают визуальное ухудшение качества для предыдущей ошибки.

6. Способ по п.2 или 3, дополнительно содержащий этапы, на которых:
агрегируют визуальное ухудшение качества, вызываемое ошибкой, по меньшей мере по одному из времени и пространства; и
на основе результата агрегирования вычисляют показатель, указывающий качество потока битов видео.

7. Способ по п.6, в котором агрегирование визуального ухудшения качества содержит этап, на котором взвешивают визуальное ухудшение качества при более высоком коэффициенте для небольшого визуального ухудшения качества, чем для большого визуального ухудшения качества.

8. Способ по п.6, в котором показатель вычисляется периодически или с использованием метода скользящего окна, причем новый показатель для предварительно заданной длительности вычисляется с предварительно заданной частотой.

9. Способ по любому из пп.1-3, в котором поток битов видео содержит по меньшей мере часть уровня кодирования видео,
при этом уровень кодирования видео содержит один или более параметров, причем по меньшей мере один из этапов определения возникновения ошибки, определения распространения ошибки и оценки качества видео основан на по меньшей мере одном или более параметров.

10. Машиночитаемый носитель, содержащий сохраненную на нем компьютерную программу для оценки качества видео, содержащую части программного кода, которые при их исполнении на компьютере инструктируют компьютер осуществлять этапы по любому из предшествующих пунктов.

11. Устройство для оценки качества видео, содержащее:
приемное устройство, выполненное с возможностью принимать поток битов видео, содержащий последовательность кадров изображений;
первый модуль определения, выполненный с возможностью определять возникновение ошибки в сегменте кадра изображения;
второй модуль определения, выполненный с возможностью отслеживать по меньшей мере одно из временного распространения и пространственного распространения ошибки, используя по меньшей мере одно из информации вектора движения и внутреннего предсказания, которое относится к затронутому ошибкой сегменту; и
модуль оценки, выполненный с возможностью оценивать качество потока битов видео на основе распространения ошибки.

12. Устройство по п.11, дополнительно содержащий:
третий модуль определения, выполненный с возможностью определять визуальное ухудшение качества, вызываемое ошибкой, с помощью вычисления штрафного значения для каждого затронутого ошибкой сегмента кадра изображения, причем штрафное значение указывает величину визуального ухудшения качества, вызываемого ошибкой.

13. Устройство по п.12, в котором третий модуль определения дополнительно выполнен с возможностью вычислять штрафное значение согласно одному или более следующих правил:
назначать более высокое штрафное значение ошибке, если ошибка возникает при смене сцены;
назначать более высокое штрафное значение ошибке, если поток битов видео содержит данные движения непосредственно после затронутого ошибкой кадра изображения, и, в частности, если относительная величина движения является большой;
не назначать штрафное значение ошибке для сегмента, если сегмент является пропуском или является оцененным пропуском, опционально, если только это не смена сцены или оцененная смена сцены;
снижать штрафное значение, назначаемое ошибке для по меньшей мере одного из последующих кадров изображений на предварительно определенную величину или коэффициент; и
сбрасывать штрафное значение при приеме внутренне кодированного кадра изображения или внутренне кодированного сегмента.

14. Устройство по любому из пп.11-13, дополнительно содержащее:
модуль сбора, выполненный с возможностью сбора визуального ухудшения качества на карте штрафов за потери.

15. Устройство по любому из пп.11-13, дополнительно содержащее:
модуль агрегирования, выполненный с возможностью агрегировать визуальное ухудшение качества, вызываемое ошибкой, в по меньшей мере одном из времени и пространства; и
модуль вычисления, выполненный с возможностью вычислять показатель, указывающий качество потока битов видео, на основе результата агрегирования.

16. Серверный узел для предоставления потока битов видео, причем серверный узел содержит устройство по любому из пп.11-13.

17. Клиентский терминал для декодирования потока битов видео, причем клиентский терминал содержит устройство по любому из пп.11-13.

18. Сетевой узел для связи между видеосерверным узлом и клиентским видеотерминалом, причем сетевой узел содержит устройство по любому из пп.11-13.