ЛИНЕЙНЫЙ КОДЕР ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЙ/ВИДЕО Российский патент 2020 года по МПК H04N19/46 H04N19/117 H04N19/132 H04N19/142 H04N19/182 H04N19/184 H04N19/186 G06T5/00 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка на патент заявляет приоритет предварительной заявки на патент США № 62/636388, поданной 28 февраля 2018 г.; и европейской заявки на патент № 18159055.5, поданной 28 февраля 2018 г., каждая из которых включена в настоящий документ посредством ссылки во всей полноте.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение в целом относится к изображению/видео. Более конкретно, настоящее изобретение относится к линейным кодерам для обработки изображений/видео.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[0003] В настоящем документе термин «динамический диапазон» (DR) может относиться к способности визуальной системы человека (HVS) воспринимать диапазон интенсивности (например, освещенности, яркости) в изображении, например, от самых темных из темных участков (затемненных) до самых светлых из светлых участков (подсвеченных). В этом смысле DR относится к «относящейся к сцене» интенсивности. DR может также относиться к способности устройства отображения в достаточной мере или приблизительно воспроизводить диапазон интенсивности конкретной ширины. В этом смысле DR относится к «относящейся к отображению» интенсивности. За исключением случаев, когда точно указывается, что конкретный смысл имеет конкретное значение в любом месте в описании в данном документе, следует делать вывод, что термин может быть использован в любом смысле, например, взаимозаменяемо.

[0004] В данном документе термин «расширенный динамический диапазон» (HDR) относится к ширине DR, которая охватывает приблизительно 14–15 или более порядков величины визуальной системы человека (HVS). На практике, DR, в котором человек может одновременно воспринимать пространственную ширину в диапазоне интенсивности, может быть немного сокращен относительно HDR. В настоящем документе термины «увеличенный динамический диапазон» (EDR) или «визуальный динамический диапазон» (VDR) могут отдельно или взаимозаменяемо относиться к DR, который может восприниматься в сцене или изображении визуальной системой человека (HVS), что включает движения глаза, обеспечивая некоторые изменения световой адаптации в сцене или изображении. В настоящем документе EDR может относиться к DR, который охватывает 5–6 порядков величины. Таким образом, несмотря на то, что возможна немного более узкая ширина в отношении относящегося к настоящей сцене HDR, тем не менее EDR представляет ширину широкого DR и может также называться HDR. В настоящем документе термин «iDM» (сокращенное обозначение для инверсивного отображенного сигнала для дисплея) также может относиться к сигналам EDR или HDR, которые были созданы на основании входного сигнала стандартного динамического диапазона (SDR).

[0005] На практике, изображения содержат один или более цветовых компонентов (например, яркость Y и цветность Cb и Cr), причем каждый цветовой компонент представлен с точностью до n бит на пиксель (например, n = 8 или n = 10). Используя линейное яркостное кодирование, например, изображения, в которых n ≤ 8 (например, цветные 24-битные изображения JPEG) или иногда n = 10, рассматриваются в качестве изображений стандартного динамического диапазона, тогда как изображения, в которых n > 8, могут быть рассмотрены в качестве изображений увеличенного динамического диапазона.

[0006] Исходная электронно-оптическая передаточная функция (EOTF) для заданного дисплея характеризует взаимоотношение между цветовыми значениями (например, яркостью) входного видеосигнала и цветовыми значениями для вывода на экран (например, яркость экрана), производимыми дисплеем. Например, в рекомендациях ITU ITU-R BT. 1886, «Reference electro-optical transfer function for flat panel displays used in HDTV studio production» (март 2011 г.), которые включены в настоящий документ посредством ссылки во всей полноте, определяется исходная EOTF для плоских дисплеев на основании измеренных характеристик электронно-лучевой трубки (CRT). Для видеопотока информация о его EOTF, как правило, встраивается в битовый поток в качестве метаданных. В настоящем документе термин «метаданные» относится к любой вспомогательной информации, которая передается в качестве части кодированного битового потока и помогает декодеру представлять декодированное изображение. Такие метаданные могут включать, без ограничения, информацию о цветовом пространстве или гамме, параметры опорного устройства отображения и параметры вспомогательного сигнала, а также другие типы метаданных, описанные в настоящем документе.

[0007] Большая часть потребительских настольных дисплеев в настоящее время поддерживает яркость от 200 до 300 кд/м² или нитов. Большая часть потребительских HDTV находится в диапазоне от 300 до 500 нитов, причем новые модели достигают 1000 нитов (кд/м²). Таким образом, такие дисплеи являются типичными представителями низкого динамического диапазона (LDR), также называемого стандартным динамическим диапазоном (SDR), относительно HDR или EDR. Содержимое HDR может отображаться на дисплеях HDR, которые поддерживают более высокие динамические диапазоны (например, от 1000 нитов до 5000 нитов или более). Такие дисплеи могут быть определены с использованием альтернативных EOTF, которые поддерживают высокие параметры яркости (например, от 0 до 10000 нитов). Пример такой EOTF определен в документе SMPTE ST 2084:2014 «High Dynamic Range EOTF of Mastering Reference Displays», который полностью включен в настоящий документ посредством ссылки. В целом, без ограничения, способы согласно настоящему изобретению относятся к любому динамическому диапазону, более широкому, чем SDR.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[0008] Первый аспект настоящего изобретения относится к способу генерирования метаданных преобразования яркости и/или цветности с помощью системы обработки, причем способ включает прием входного видеопотока, содержащего изображения в первом динамическом диапазоне, в том числе первое изображение, прием второго изображения, представляющего первое изображение входного видеопотока, причем второе изображение имеет второй динамический диапазон, при этом второй динамический диапазон выше первого динамического диапазона, получение статистических данных для первого и второго изображений, причем полученные статистические данные включают статистические характеристики яркости и цветности для первого и второго изображений, и сохранение статистических данных в буфере. Способ дополнительно включает определение во время первой временной задержки данных склейки сцены на основании статистических данных в первом скользящем окне (L3), содержащем первое изображение, одно или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и одно или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке, определение во время второй временной задержки первой функции отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании статистических данных и определенных данных склейки сцены во втором скользящем окне (L2), определение во время третьей временной задержки второй функции отображения путем выполнения операции сглаживания над первой функцией отображения на основании первой функции отображения и определенных данных склейки сцены в третьем скользящем окне (L1), определение во время третьей временной задержки третьей функции отображения для отображения значений цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании статистических данных и определенных данных склейки сцены в третьем скользящем окне (L1) и генерирование во время третьей временной задержки метаданных формирователя для первого изображения на основании второй и третьей функций отображения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея.

[0009] Термин «скользящее окно» в основном относится к набору кадров изображения, причем различные этапы обработки выполняют на основании статистических данных для изображений в таком скользящем окне. В частности, первое скользящее окно (L3) содержит первое изображение во время первой временной задержки, одно или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и одно или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке. Второе скользящее окно (L2) содержит второе изображение во время второй временной задержки, одно или более следующих изображений, находящихся после второго изображения во времени во входном видеопотоке, и одно или более предыдущих изображений, находящихся перед вторым изображением во времени во входном видеопотоке. Третье скользящее окно (L1) содержит третье изображение во время третьей временной задержки, одно или более следующих изображений, находящихся после третьего изображения во времени во входном видеопотоке, и одно или более предыдущих изображений, находящихся перед третьим изображением во времени во входном видеопотоке.

[00010] Каждое скользящее окно может быть реализовано в виде кольцевого буфера запоминающего устройства для сохранения вывода, сгенерированного предыдущим скользящим окном. Кольцевой буфер запоминающего устройства всегда содержит только «окно» следующего потока выходных данных.

[00011] Следует отметить, что «временная задержка» относится к задержке во временной шкале на основе кадров и связана с зависимостью от данных. Некоторые операции, включая последовательные операции, могут выполняться в одном временном кадре, и несколько кадров обрабатываются до следующей «временной задержки». Фактически, следующая временная задержка, в частности, выбирается таким образом, чтобы предыдущие операции могли быть завершены. В частности, необходимая временная задержка должна быть по меньшей мере равна количеству «следующих» кадров в конкретном скользящем окне.

[00012] Обработка во время одной временной задержки может быть по меньшей мере частично основана на результатах обработки во время более ранней временной задержки. Например, обработка во время второй и третьей временных задержек (с использованием второго и третьего скользящих окон) может быть основана на данных склейки сцены, определенных во время первой временной задержки, с использованием первого скользящего окна. Такие данные склейки сцены могут использоваться для определения меньшего «подокна», вследствие чего данные для изображений в этом меньшем окне используются при обработке.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[00013] Настоящие варианты осуществления изображены для примера, а не для ограничения, на фигурах прилагаемых графических материалов, на которых подобные позиционные обозначения указывают одинаковые элементы.

[00014] На фиг. 1 изображен пример процесса кодирования и декодирования данных с использованием методов преобразования согласно одному варианту осуществления.

[00015] На фиг. 2 изображен пример процесса кодирования согласно одному варианту осуществления.

[00016] На фиг. 3 изображен пример процесса кодирования с исходным EDR или без него согласно одному варианту осуществления.

[00017] На фиг. 4 изображен пример архитектуры для структурной схемы с тремя уровнями скользящих окон для линейного кодирования согласно одному варианту осуществления.

[00018] На фиг. 5A–5B изображены примеры процессов для структурной схемы с тремя уровнями скользящих окон, показанной на фиг. 4, согласно некоторым вариантам осуществления.

[00019] На фиг. 6 изображен пример структуры кольцевого буфера для структурной схемы с тремя уровнями скользящих окон, показанной на фиг. 5A–5B, согласно одному варианту осуществления.

[00020] На фиг. 7 показана блок-схема способа согласно одному или более вариантам осуществления.

[00021] На фиг. 8 изображена принципиальная схема для примера кодера с исходным EDR согласно одному варианту осуществления.

[00022] На фиг. 9 показана блок-схема способа согласно одному или более вариантам осуществления.

[0001] На фиг. 10 показана блок-схема способа согласно одному или более вариантам осуществления.

[00023] На фиг. 11 изображена принципиальная схема для примера кодера без исходного EDR согласно одному варианту осуществления.

[00024] На фиг. 12 показана блок-схема способа согласно одному или более вариантам осуществления.

[00025] На фиг. 13 показан пример процесса оценки статистических характеристик DM с использованием скользящего окна DM согласно одному варианту осуществления.

[00026] На фиг. 14 показан пример системы обработки данных, которая может использоваться для реализации или выполнения одного или более вариантов осуществления, описанных в настоящем документе.

Описание примеров вариантов осуществления

[00027] Различные варианты осуществления и аспекты настоящего изобретения будут описаны со ссылкой на подробности, раскрытые ниже, и прилагаемые графические материалы, на которых изображены различные варианты осуществления. Нижеследующее описание и графические материалы являются поясняющими изобретение и не должны толковаться как ограничивающие изобретение. Описаны многочисленные специфические подробности для обеспечения полного понимания различных вариантов осуществления настоящего изобретения. Тем не менее, в некоторых случаях хорошо известные или общепринятые подробности не описаны для предоставления краткого описания вариантов осуществления настоящего изобретения.

[00028] Отсылка в данном описании к «одному варианту осуществления» или «варианту осуществления» означает, что конкретный признак, конструкция или характеристика, описанные в связи с вариантом осуществления, могут быть включены по меньшей мере в один вариант осуществления настоящего изобретения. Все появления фразы «в одном варианте осуществления» в различных местах данного описания не обязательно относятся к одному и тому же варианту осуществления. Процессы, показанные на следующих фигурах, выполняют посредством логической схемы обработки, которая содержит аппаратное обеспечение (например, схему, специализированную логическую схему и т. д.), программное обеспечение или их комбинацию. Хотя процессы описаны ниже применительно к некоторым последовательным операциям, следует понимать, что некоторые из описанных операций могут быть выполнены в другом порядке. Более того, некоторые операции могут быть выполнены параллельно, а не последовательно.

[00029] В контексте настоящего документа термин «PDF» относится к функции распределения вероятностей. Термин «CDF» относится к кумулятивной функции распределения. Гистограмма SDR или HDR может быть создана на основании распределения кодовых слов в одном или более изображений SDR или HDR соответственно, и гистограмма может представлять PDF. «Кодовое слово» относится к последовательности битовой информации для представления цветного пикселя или пикселя в оттенках серого. Например, «00000000» может представлять пиксель черного цвета для 8-битного кодового слова. «Интервал кодовых слов» или «интервал» относится к конкретному кодовому слову в заданной последовательности или наборе кодовых слов. В настоящем документе термин «PQ» относится к перцепционному квантованию амплитуды яркости. Визуальная система человека реагирует на увеличение уровней света очень нелинейным образом. Способность человека видеть стимул зависит от яркости этого стимула, размера стимула, пространственных частот, формирующих стимул, и уровня яркости, к которому адаптировались глаза в конкретный момент просмотра стимула. В одном варианте осуществления функция перцепционного квантователя отображает линейные входные уровни серого на выходные уровни серого, которые лучше соответствуют пороговым значениям контрастной чувствительности в визуальной системе человека. Пример функции отображения PQ описан в SMPTE ST 2084:2014 «High Dynamic Range EOTF of Mastering Reference Displays», который полностью включен в данный документ посредством ссылки, где предоставлен фиксированный размер стимула для каждого уровня яркости (т. е. уровень стимула), шаг минимального видимого контраста при данном уровне яркости выбирается в соответствии с наиболее чувствительным уровнем адаптации и наиболее чувствительной пространственной частотой (в соответствии с моделями HVS). По сравнению с традиционной кривой гамма-распределения, которая представляет характеристическую кривую физического устройства на электронно-лучевой трубке (CRT) и в то же время может иметь очень грубое сходство со способом реагирования визуальной системы человека, кривая PQ имитирует настоящую визуальную реакцию визуальной системы человека с использованием относительно простой функциональной модели.

[00030] Например, согласно SMPTE ST 2084, при 1 кд/м2 одно 12-битное кодовое значение или кодовое слово соответствует относительному изменению, составляющему приблизительно 0,0048 кд/м2; однако при 1000 кд/м2 одно 12-битное кодовое значение или кодовое слово соответствует относительному изменению, составляющему приблизительно 2,24 кд/м2. Это нелинейное квантование необходимо для приспособления к нелинейной контрастной чувствительности визуальной системы человека (HVS).

[00031] Согласно некоторым вариантам осуществления раскрыт линейный кодер для генерирования метаданных, которые задают отображения с конвертированием SDR в HDR для компонентов яркости и цветности. В одном варианте осуществления система принимает входной видеопоток. Система сохраняет с течением времени в первом буфере статистические данные для первого набора последовательных частей входного видеопотока, причем первый буфер предоставляет для каждой последовательной части вывод, представляющий данные склейки сцены, такие как данные, которые указывают конец одной сцены в содержимом и начало следующей сцены в содержимом. Система сохраняет с течением времени во втором буфере статистические данные для второго набора последовательных частей входного видеопотока, причем второй буфер принимает каждый вывод, предоставленный из первого буфера, причем второй буфер предоставляет для каждой последовательной части вывод, представляющий значение отображения яркости. Система сохраняет с течением времени в третьем буфере статистические данные для третьего набора последовательных частей входного видеопотока, причем третий буфер принимает каждый вывод, предоставленный из второго буфера, причем третий буфер предоставляет для каждой последовательной части вывод, представляющий значение отображения цветности. Система генерирует метаданные для первого изображения во входном видеопотоке на основании связанного значения отображения яркости и связанного значения отображения цветности, причем метаданные предназначены для использования целевым дисплеем для генерирования второго изображения, основанного на первом изображении, но имеющего более высокий динамический диапазон, чем первое изображение.

[00032] Согласно некоторым вариантам осуществления раскрыт линейный кодер для генерирования метаданных, которые задают отображения с конвертированием SDR в HDR для компонентов яркости и цветности с исходным EDR. В одном варианте осуществления система принимает входной видеопоток, содержащий изображения в первом динамическом диапазоне, в том числе первое изображение. Система принимает второе изображение, представляющее первое изображение входного видеопотока, причем второе изображение имеет второй динамический диапазон, и второй динамический диапазон выше первого динамического диапазона. Система получает статистические данные для первого и второго изображений. Система определяет во время первой временной задержки данные склейки сцены из данных, представляющих изображения во входном видеопотоке, и сохраняет данные склейки сцены в первом скользящем окне, причем данные склейки сцены определены на основании статистических данных первого изображения, статистических данных одного или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и статистических данных одного или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке. Система определяет во время второй временной задержки первую функцию отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании второго скользящего окна и определенных данных склейки сцены. Система определяет во время третьей временной задержки вторую функцию отображения для отображения значений цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании третьего скользящего окна и определенных данных склейки сцены. Система генерирует во время третьей временной задержки метаданные формирователя для первого изображения на основании первой и второй функций отображения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея.

[00033] Согласно некоторым вариантам осуществления раскрыт линейный кодер для генерирования метаданных, которые задают отображения с конвертированием SDR в HDR для компонентов яркости и цветности с использованием статистических характеристик трехмерного (3D) отображения. В одном варианте осуществления система принимает входной видеопоток, имеющий набор изображений, в том числе первое изображение в первом динамическом диапазоне. Система генерирует статистические характеристики 3D отображения для первого изображения в первом динамическом диапазоне и второго изображения во втором динамическом диапазоне, которое соответствует первому изображению, причем второй динамический диапазон выше первого динамического диапазона. Система определяет статистические характеристики многовариантной множественной регрессии (MMR) на основании статистических характеристик 3D отображения для генерирования функций отображения цветности в целях оценки значений каналов цветности второго изображения на основании первого изображения. Система генерирует метаданные формирователя, причем метаданные формирователя могут содержать функции отображения цветности, подлежащие использованию целевым устройством отображения для отображения каналов цветности первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея.

[00034] Согласно некоторым вариантам осуществления раскрыт линейный кодер для генерирования метаданных, которые задают отображения с конвертированием SDR в HDR для компонентов яркости и цветности без исходного EDR. В одном варианте осуществления система принимает входной видеопоток, содержащий изображения в первом динамическом диапазоне, в том числе первое изображение. Система получает статистические данные для первого изображения входного видеопотока, причем статистические данные содержат один или более связанных с изображением признаков из первого изображения. Система определяет во время первой временной задержки данные склейки сцены из данных, представляющих изображения во входном видеопотоке, и сохраняет данные склейки сцены в первом скользящем окне на основании статистических данных первого изображения, статистических данных одного или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и статистических данных одного или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке. Система определяет во время второй временной задержки первую функцию отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании второго скользящего окна и модели машинного обучения, причем второй динамический диапазон выше первого динамического диапазона. Система генерирует во время третьей временной задержки метаданные формирователя для первого изображения на основании первой и второй функций отображения, причем вторые функции отображения отображают цветовые каналы цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании модели машинного обучения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения второго изображения, которое соответствует первому изображению во втором динамическом диапазоне.

[00035] В настоящем документе термин «преобразование» относится к операции предварительной обработки изображения HDR, такой как масштабирование, квантование и т. п., для отображения его из его исходной битовой глубины в изображение с меньшей или такой же битовой глубиной, для обеспечения более эффективного кодирования с использованием существующих стандартов и устройств кодирования. «Обратное преобразование» используется для описания отображения или операции предварительной обработки из SDR в HDR. Как отмечено в настоящей заявке авторами изобретения, желательно обеспечить улучшенные методы кодирования и декодирования видеоданных, которые могут использоваться для поддержки возможностей отображения широкого ряда дисплеев SDR и HDR и/или декодирующих устройств.

Пример последовательности обработки для доставки видео

[00036] Большинство цифровых интерфейсов для доставки видео, таких как последовательный цифровой интерфейс (SDI), в настоящее время ограничены 12 битами на пиксель для компонента. Кроме того, большинство практических реализаций стандартов сжатия, таких как H.264 (или AVC) и H.265 (или HEVC), в настоящее время ограничены 10 битами на пиксель для компонента. Для поддержки содержимого HDR требуется эффективное кодирование и/или квантование, с динамическим диапазоном от приблизительно 0,001 до 10000 кд/м² (или нитов), в рамках существующих инфраструктур и стандартов сжатия. Более того, существует необходимость в кодере, который будет генерировать для каждого кадра в реальном времени метаданные для конвертирования содержимого SDR в содержимое HDR.

[00037] На фиг. 1 показан пример процесса 100 кодирования и декодирования данных с использованием преобразования яркости и цветности согласно одному варианту осуществления. В одном варианте осуществления в кодере 100-E видеопоследовательность может быть доступна в форматах как высокого динамического диапазона (EDR, 102), так и стандартного динамического диапазона (SDR, 104). Ввод 102 может быть закодирован согласно определенной EOTF (например, гамма, ST 2084). В одном варианте осуществления последовательность EDR (называемая в настоящем документе также iDM EDR) может быть сгенерирована на основании последовательности SDR с использованием процесса 140 инверсивного отображения (iDM).

[00038] С учетом входных сигналов EDR и SDR, процессы преобразования 105-A яркости и преобразования 105-B цветности могут быть применены для генерирования параметров 108 для функций 120 обратного или инверсивного преобразования. Параметры 108, при применении к вводу SDR в декодере, могут генерировать вывод HDR для отображения.

[00039] После преобразования 105 исходный входной SDR видеосигнал 104 передается в блок 110 кодирования, подлежащий доставке ниже по потоку в устройства декодирования и воспроизведения, например, портативные устройства, такие как смартфоны, телевизоры, приставки, кинотеатры, и т. д. В некоторых вариантах осуществления блок 110 кодирования может содержать аудио- и видеокодеры, например, определенные ATSC, DVB, DVD, Blu-Ray и другими форматами доставки, для генерирования кодированного битового потока 112. Кодированные данные 112 и параметры обратного преобразования 108 могут быть мультиплексированы с получением кодированного битового потока, подлежащего хранению или доставке на расположенные ниже по потоку декодирующие устройства.

[00040] В одном варианте осуществления параметры 108 обратного преобразования могут включать статические коэффициенты предсказания или динамические (нестатические) коэффициенты предсказания (например, сгенерированные с помощью способов машинного обучения, и т. д.). Эти коэффициенты предсказания могут быть непосредственно использованы приемником 100-D (например, посредством функции 120 инверсивного преобразования) для предсказания некоторых или всех из значений пикселей HDR изображений HDR из соответствующих значений пикселей SDR изображений 104 SDR.

[00041] В приемнике 100-D кодированные данные 112 могут быть декодированы посредством блока 115 декодирования для генерирования декодированного сигнала 117, представляющего близкую аппроксимацию сигнала 104 SDR или идентичный ему сигнал.

[00042] В обратно совместимом декодере SDR декодированный сигнал 117 может отображаться непосредственно на дисплее 130 SDR. В декодере HDR после декодирования 115 декодированный сигнал 117 может быть обработан посредством функции 120 обратного или инверсивного преобразования, которая генерируется с использованием принятых параметров 108 обратного преобразования. Инверсивное преобразование может конвертировать принятый сигнал SDR (например, сигнал 117 SDR) в сигнал, приближенный к сигналу 102 (более высокого) динамического диапазона, который подлежит отображению на дисплее 125 HDR. Инверсивное преобразование может включать отдельные функции инверсивного преобразования 120-A яркости и преобразования 120-B цветности. В зависимости от преобразований преобразователя 105, функции 120 инверсивного преобразования также могут включать дополнительные (инверсивные) процессы, такие как инверсивное отображение тона, цветовые преобразования и т. д. В некоторых вариантах осуществления функция 120 обратного или инверсивного преобразования может быть объединена с устройством обратного квантования в декодере 115, например, как часть устройства обратного квантования в видеодекодере AVC или HEVC. В некоторых вариантах осуществления информация о параметрах 108 обратного преобразования может передаваться на находящиеся ниже по потоку устройства (такие как декодеры) с использованием метаданных, отправки сообщений SEI и т. д.

Преобразование яркости и цветности и метаданные формирователя

[00043] В настоящем документе термин «метаданные формирователя» (CM) обозначает любые метаданные, которые передаются от кодера (100-E) на декодер (100-D) для поддержки восстановления (формирования) данных (122) EDR. Такие метаданные могут включать все параметры (108) обратного преобразования, необходимые для инверсивного или обратного преобразования (120) в декодере.

[00044] Допустим, что f_L(I) обозначает функцию прямого преобразования яркости, и допустим, что обозначает ее обратную величину, которая, при применении к компоненту яркости данных 117 SDR декодера может генерировать компонент 122_L яркости оценочного вывода 122 EDR. В одном варианте осуществления функция может быть передана как кусочно-заданная функция. Такая функция может быть полностью представлена a) набором опорных точек, разделяющих диапазон входных кодовых слов во вводе SDR на сегменты, b) порядком полиномов в каждом сегменте, и c) полиномиальными коэффициентами в каждом сегменте.

[00045] В одном варианте осуществления преобразование цветности может быть выполнено с использованием устройства предсказания многовариантной множественной регрессии (MMR). Примеры таких устройств предсказания MMR могут быть найдены в патенте США № 8811490, который полностью включен в настоящий документ посредством ссылки. Такое устройство предсказания характеризуется матрицей M обратного преобразования, которая, при применении к декодированным данным 117 SDR, генерирует компоненты 122_C цветности оценочного вывода EDR.

[00046] Таким образом, без ограничения, в одном варианте осуществления метаданные 108 формирователя могут содержать параметрическое представление и матрицу M обратного преобразования. Метаданные формирователя могут быть обновлены на разных уровнях интервалов времени, например: один раз для каждой последовательности, для каждой сцены, для каждого кадра или для кластеров или групп кадров.

[00047] В некоторых вариантах осуществления генератор 105 генерирует метаданные или параметры обратного преобразования посредством кумулятивной функции распределения (CDF), основанной на гистограммной аппроксимации или сопоставления CDF. Примеры такого сопоставления CDF могут быть найдены в предварительной заявке на патент США № 62/385307, «Coding of High Dynamic Range Video Using Segment-Based Reshaping», которая полностью включена в настоящий документ посредством ссылки.

[00048] В одном варианте осуществления функция (или параметры) обратного преобразования содержит справочную таблицу обратного преобразования (BLUT). В некоторых вариантах осуществления данные обратного преобразования (например, аналитические функции, неаналитические функции, справочные таблицы, последовательности и т. д.) определяют или задают функцию обратного преобразования , которая может быть включена как часть метаданных изображения, доставляемых на находящиеся ниже по потоку устройства вместе с изображением SDR.

[00049] В некоторых вариантах осуществления кусочный полином второго порядка может использоваться для представления функции обратного преобразования для канала яркости. В некоторых вариантах осуществления метаданные обратного преобразования содержат полиномиальные коэффициенты, повороты, смещения и т. д., которые определяют набор полиномиальных составляющих, который может быть включен как часть метаданных изображения, доставляемых на находящиеся ниже по потоку устройства вместе с изображением SDR.

[00050] Находящееся ниже по потоку устройство, которое принимает изображение SDR и параметры обратного преобразования или метаданные, может использовать метаданные обратного преобразования для определения или восстановления функции обратного преобразования на основе сцены (когда метаданные представлены на основе сцены) или на основе изображения (когда метаданные представлены на основе изображения). Функция обратного преобразования затем может быть применена к изображению SDR для восстановления изображения HDR.

[00051] В одном варианте осуществления каждый цветовой канал (I, CT или Cp) может быть аппроксимирован посредством (одноканального) устройства предсказания. В одном варианте осуществления каждое одноканальное устройство предсказания соответствует справочной таблице обратного преобразования (BLUT), которая может доставляться от соответствующей функции инверсивного отображения для конкретного цветового канала. Функции инверсивного отображения или функции обратного преобразования могут быть сгенерированы посредством генератора функции обратного преобразования, такого как генератор 105, показанный на фиг. 1. Справочные таблицы обратного преобразования или таблицы отображения могут содержать пары SDR/HDR для отображения кодового слова SDR в кодовое слово HDR или наоборот. В одном варианте осуществления метаданные генерируются на основании справочной таблицы или таблицы отображения, вследствие чего метаданные могут быть переданы вместе с данными SDR на находящиеся ниже по потоку декодеры. Находящиеся ниже по потоку декодеры могут восстановить изображение HDR из метаданных и соответствующего изображения SDR. В другом варианте осуществления функции обратного преобразования могут быть сгенерированы путем объединения гистограмм для каждого цветового канала выборки изображений в базе данных. Объединенные гистограммы затем могут использоваться в качестве входных iDM гистограмм для гистограммной аппроксимации на основании CDF для генерирования функций обратного преобразования. Метаданные затем могут быть сгенерированы из этих функций обратного преобразования. Метаданные могут быть применены к соответствующему изображению (изображениям) SDR для восстановления изображения HDR.

Линейное кодирование

[00052] На фиг. 2 изображен пример процесса линейного кодирования согласно одному варианту осуществления. Линейное кодирование относится к кодированию с постоянным вводом и выводом. Линейный кодер может доставлять выходные данные каждый раз, когда он принимает входные данные. Линейный кодер отличается от систем кодирования, которые принимают все входные данные с течением времени, сохраняют и обрабатывают все принятые входные данные для доставки вывода для всех данных. В некоторых случаях линейный кодер содержит постоянную, но настраиваемую задержку между входным кадром и соответствующим выходным кадром. Например, в стабильном рабочем состоянии линейный кодер может принимать входное изображение и одновременно выводить метаданные RPU (например, метаданные формирователя и метаданные DM, причем метаданные DM содержат информацию, характерную для целевого дисплея) для другого входного изображения из предыдущего временного кадра. В одном варианте осуществления линейный кодер может принимать ввод в виде входных данных в реальном времени из прямой трансляции в реальном времени и предоставлять вывод с задержкой.

[00053] Линейное кодирование может выполнять кодирование «в реальном времени» для генерирования метаданных единицы исходного изображения (RPU) (например, включающих параметры обратного преобразования) для конвертирования SDR в HDR (или EDR) в декодере. Линейный кодер может кодировать видеосодержимое стандартного динамического диапазона (SDR), предварительно сохраненное или в прямом эфире. В отличие от кодера на основе сцены или на основе сегмента, в которых доступна информация о будущих изображениях, линейный кодер может иметь только несколько следующих кадров. Генерирование RPU выполняется линейным кодером в реальном времени и RPU микшируется с битовым потоком SDR перед его передачей на приемник/декодер. Другими словами, линейный кодер может представлять собой решение, осуществляемое за один проход.

[00054] На фиг. 3 изображен пример процесса линейного кодирования с исходными изображениями EDR или без них согласно одному варианту осуществления. Процесс 300 предусматривает два режима работы. Согласно некоторым вариантам осуществления линейный кодер 303 может работать в режиме «с исходным HDR» или в режиме «без исходного HDR», причем он выбирает свои режимы работы в зависимости от того, содержит ли ввод 301 исходное изображение HDR, или является ли ввод 301 нулевым вводом. Для режима «с исходным HDR» входные кадры (или изображения) 302 SDR и их соответствующие исходные кадры 301 HDR совместно генерируют выходные метаданные 304 RPU. Исходное содержимое 301 HDR может быть предварительно сгенерировано для каждого входного кадра SDR или в реальном времени, например, с использованием внешнего модуля инверсивного DM (EiDM). Сгенерированные выходные метаданные 304 RPU могут содержать динамические параметры отображения для отображения компонентов яркости и цветности ввода 302 SDR в содержимое 301 HDR.

[00055] Для режима «без исходного HDR» используются только входные кадры (или изображения) 302 SDR для генерирования выходных метаданных 304 RPU. Сгенерированные выходные метаданные 304 RPU могут содержать динамические параметры отображения для отображения компонентов яркости и статические параметры отображения для отображения компонентов цветности ввода 302 SDR в содержимое 301 HDR. В некоторых вариантах осуществления выходные метаданные 304 RPU могут включать метаданные управления отображением (DM), которые могут быть интерпретированы декодером для отображения содержимого HDR для конкретных целевых дисплеев.

Архитектура линейного кодирования

[00056] На фиг. 4 изображен пример архитектуры для структурной схемы с тремя уровнями скользящих окон для линейного кодирования согласно одному варианту осуществления. Архитектура 400 может использоваться как режимом «с исходным HDR», так и режимом «без исходного HDR». В некоторых вариантах осуществления архитектура 400 содержит один или более уровней структур скользящих окон, таких как окна L1, L2 и L3, показанные на фиг. 4. Структуры скользящих окон могут быть реализованы посредством хранилища данных в виде кольцевого буфера (или очереди) для хранения статистических характеристик на уровне кадра для входных кадров (или изображений) SDR/HDR. В одном варианте осуществления, когда новые данные вводятся в какие-либо буфера запоминающего устройства скользящего окна, происходит замена наиболее ранних данных в буфере запоминающего устройства скользящего окна. Данные каждого из скользящих окон могут быть переданы на следующий уровень скользящих окон для вычисления статистических данных для следующего уровня скользящих окон. Например, как показано на фиг. 4, архитектура 400 содержит окна L1, L2 и L3. Когда архитектура 400 принимает новый входной кадр в момент времени t (например, текущий входной кадр), статистические характеристики на уровне кадра L3 вычисляются для кадра в момент времени t-t₃, где t₃ обозначает задержку, связанную с окном L3, с использованием операции скользящего окна, такой как операция усреднения или взвешенная линейная/нелинейная операция. Вывод используется в качестве статистических данных (например, ввод в окно L2) в момент времени t-t₃ для окна L2.

[00057] Вывод из окна L3 вводится в окно L2. Статистические характеристики на уровне кадра L2 в момент времени t-t₂-t₃, где t₂ обозначает задержку, связанную с окном L2, вычисляются на основании введенных выходных данных L3. Вывод окна L2 используется в качестве статистических данных (например, ввод в окно L1) в момент времени t-t₂-t₃ для окна L1.

[00058] Вывод из окна L2 вводится в окно L1. Статистические характеристики на уровне кадра L1 в момент времени t-t₁-t₂-t₃, где t₁ обозначает задержку, связанную с окном L1, вычисляются на основании введенных данных окна L2. Вывод используется в качестве репрезентативных статистических данных (например, конечных выходных данных) в момент времени t-t₁-t₂-t₃. Выходные данные имеют общую скрытую задержку t₁+t₂+t₃, основанную на этой архитектуре с тремя уровнями окон. Как описано выше, окна L1, L2 и L3 могут представлять собой кольцевые буфера, вследствие чего, когда новые данные вводятся в любое из окон, наиболее ранние данные из окна заменяются или удаляются. Таким образом, каждый из буферов сохраняет с течением времени статистические данные для последовательных частей входного видеопотока и предоставляет вывод, основанный на последовательных частях, в следующий буфер, чтобы сгенерировать конечные выходные данные несколько позднее.

[00059] На фиг. 5A изображен пример процесса для структурной схемы с тремя уровнями окон, показанной на фиг. 4, согласно одному варианту осуществления. Процесс 500 может быть выполнен линейным кодером, таким как кодер 303, показанный на фиг. 3. Процесс 500 или логическая схема обработки может генерировать в реальном времени метаданные RPU (формирователя и DM) из кадров SDR, с исходным HDR или без него по принципу «один кадр поступил, один кадр выдан». В одном варианте осуществления логическая схема обработки включает четыре этапа для обработки кадра. На этапе 1 логическая схема обработки собирает статистические характеристики текущего входного кадра 501 в момент времени t в кольцевом буфере 502 статистических характеристик. Кольцевой буфер 502 статистических характеристик может сохранять статистические данные для списка предшествующих кадров. На этапе 2 логическая схема обработки определяет данные склейки сцены, которые идентифицируют, содержит ли первый кадр, кадр в момент времени , новую сцену, с использованием сохраненных статистических данных. Логическая схема обработки может определять данные склейки сцены с использованием окна 503 L3. Окно 503 L3 может соответствовать первому кадру в момент времени , с кадрами в качестве «следующих» кадров и кадрами в качестве «предыдущего» кадра. Данные склейки сцены могут использоваться последующими окнами, такими как окна L2 и L1, для дальнейшей обработки кадра.

[00060] На этапе 3 логическая схема обработки выполняет операцию сопоставления CDF для генерирования BLUT для канала яркости для второго кадра (кадра в момент времени ). Дополнительно, операция сглаживания выполняется на сгенерированной BLUT, соответствующей второму кадру (кадру в момент времени ), с использованием окна 504 L2. Окно 504 L2 может соответствовать второму кадру (момент времени ), с кадрами в качестве «следующих» кадров и кадрами в качестве «предыдущего» кадра. Логическая схема обработки выполняет операцию сглаживания на сгенерированной BLUT для диапазона сглаживания L2 (например, подмножество кадров, соответствующих окну L2) перед использованием сгенерированной BLUT в качестве статистических данных (например, ввода в окно L1) для окна L1.

[00061] На этапе 4 логическая схема обработки может выполнять операцию сглаживания на ранее сгенерированной BLUT, соответствующей третьему кадру (момент времени ), с использованием окна (505) L1. Окно (505) L1 может соответствовать третьему кадру (момент времени ), с кадрами в качестве «следующих» кадров и кадрами в качестве «предыдущих» кадров. Логическая схема обработки может выполнять операцию сглаживания на ранее сгенерированной BLUT для диапазона сглаживания L1 (например, подмножество кадров, соответствующих окну L1) перед конвертированием сглаженной BLUT в аппроксимированные кусочные полиномы. Дополнительно, логическая схема обработки находит коэффициенты MMR для отображения компонентов цветности третий кадр (момент времени ) из SDR в HDR. Коэффициенты MMR для каналов цветности вместе со сглаженной BLUT для канала яркости (которая конвертируется в кусочные полиномы) затем используются вместе для генерирования текущего выходного результата, например, выходного результата в выходных метаданных (506) RPU, соответствующих третьему кадру (момент времени ).

[00062] Как описано выше, каждый уровень операции включает скользящее окно, которое использует статистические данные из диапазона кадров для генерирования промежуточного вывода для следующего уровня. Например, скользящее окно L3 может использовать статистические данные для первого кадра и его соседних кадров для генерирования вывода для последующего скользящего окна L2. Скользящее окно L2 может использовать статистические данные из второго кадра и его соседних кадров для генерирования вывода для последующего скользящего окна L1. Скользящее окно L1 может использовать статистические данные из третьего кадра и его соседних кадров для генерирования выходных метаданных RPU. В любой момент времени логическая схема обработки может принимать текущий входной кадр, и при этом одновременно генерировать метаданные RPU для ранее сохраненного кадра. Метаданные RPU для текущего входного кадра затем обрабатываются в последующих циклах обработки. Таким образом, входные кадры могут быть обработаны по принципу «один ввод, один вывод». Однако существует постоянная задержка (равная общему количеству «следующих» кадров с каждого из уровней) для обработки текущего входного кадра, поскольку некоторые будущие кадры подлежат обработке перед генерированием выходных метаданных RPU для текущего входного кадра. На фиг. 5B изображен пример процесса для структурной схемы с тремя уровнями окон, показанной на фиг. 4, согласно одному варианту осуществления. Как показано на фиг. 5B, процесс 550 имеет общую задержку, соответствующую задержке для «следующих» кадров для скользящих окон L1, L2, и L3. То есть, задержка вносится только «следующими» кадрами, поскольку эти будущие кадры должны быть обработаны перед генерированием метаданных для текущего кадра.

[00063] На фиг. 6 изображены примеры структур кольцевого буфера для структурной схемы с тремя уровнями скользящих окон, показанной на фиг. 5A, согласно одному варианту осуществления. Структуры 600 кольцевого буфера могут содержать статистическое окно 601 и три уровня скользящих окон 602–604 L3, L2 и L1, как описано выше, для хранения в реальном времени статистических характеристик для последовательности входных кадров. В некоторых вариантах осуществления окна представляют собой кольцевые буфера запоминающего устройства. Эти буфера могут иметь постоянный размер, вследствие чего запоминающее устройство, выделенное для более ранних данных кадра, повторно используется, или данные заменяются после каждого цикла обработки. Буфера концептуально подобны очереди «первым пришел – первым обслужен» (FIFO) и могут быть спроектированы для обновления кольцевым образом, вследствие чего новые статистические характеристики заменяют наиболее ранние статистические характеристики в буферах. Однако значения длины буфера должны быть предварительно определены, чтобы избежать переполнения буфера.

[00064] Для окон 602–604 L3, L2 и L1, их значения длины (или размеры) кольцевого буфера могут представлять собой разность между двумя концевыми точками каждого окна. Минимальные значения длины буфера для окон 602–604 L3, L2 и L1 могут быть предварительно определены на основании требований к диапазону сглаживания и/или требований к кадру минимальной длины для обнаружений сцены.

[00065] Минимальная длина (или размер) статистического окна (или статистического кольцевого буфера) (обозначенная ) 601 может быть вычислена как функция от количества следующих и предыдущих кадров каждого из окон, например, , где и обозначают предыдущие и следующие значения длины для окон L1, L2 и L3 соответственно. Как показано на фиг. 6, в одном варианте осуществления минимальная длина для кольцевого буфера 601 статистических характеристик вычисляется следующим образом:

.

[00066] В данном случае одно дополнительное пространство выделяется под длину кольцевого буфера для хранения кумулятивных сумм некоторых из статистических характеристик. Кроме того, поскольку эти данные хранятся кольцевым образом, т. е. путем замены наиболее раннего значения новым значением, расчет по модулю может использоваться для определения положения конкретной статистической характеристики кадра в статистическом кольцевом буфере или кольцевых буферах со скользящим окном. В некоторых вариантах осуществления статистический кольцевой буфер 601 и кольцевые буфера 602–604 с окнами L3, L2 и L1 могут представлять собой кольцевые списки, совокупности, объекты класса и/или циклические счетчики.

[00067] На фиг. 7 показана блок-схема, на которой изображен способ согласно одному или более вариантам осуществления. Способ или процесс 700 может быть выполнен посредством логической схемы обработки, которая может включать программное обеспечение, аппаратное обеспечение или их комбинацию. Например, процесс 700 может быть выполнен кодером 303, показанным на фиг. 3. Как показано на фиг. 7, в блоке 701 логическая схема обработки принимает входной видеопоток. В блоке 702 логическая схема обработки сохраняет с течением времени в первом буфере статистические данные для первого набора последовательных частей входного видеопотока, причем первый буфер предоставляет для каждой последовательной части вывод, представляющий данные склейки сцены. В блоке 703 логическая схема обработки сохраняет с течением времени во втором буфере статистические данные для второго набора последовательных частей входного видеопотока, причем второй буфер принимает каждый вывод, предоставленный из первого буфера, причем второй буфер предоставляет для каждой последовательной части вывод, представляющий значение отображения яркости. В блоке 704 логическая схема обработки сохраняет с течением времени в третьем буфере статистические данные для третьего набора последовательных частей входного видеопотока, причем третий буфер принимает каждый вывод, предоставленный из второго буфера, причем третий буфер предоставляет для каждой последовательной части вывод, представляющий значение отображения цветности и сглаживающее значение отображения яркости. В блоке 705 логическая схема обработки генерирует метаданные для первого изображения во входном видеопотоке на основании связанного значения отображения яркости и связанного сглаживающего значения отображения цветности, причем метаданные предназначены для использования целевым дисплеем для генерирования второго изображения, основанного на первом изображении, но имеющего более высокий динамический диапазон, чем первое изображение. В некоторых вариантах осуществления постоянный машиночитаемый носитель хранит команды, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа, такого как способ 700. В некоторых вариантах осуществления система управления отображением, которая содержит запоминающее устройство и систему обработки, выполнена с возможностью выполнения способа, такого как способ 700.

С исходным EDR

[00068] На фиг. 8 изображена принципиальная схема для примера кодера с исходным EDR согласно одному варианту осуществления. Кодер 800 может представлять собой такой кодер, как кодер 303, показанный на фиг. 3. Кодер 800 может генерировать в реальном времени метаданные RPU (формирователя и DM) из кадров SDR видеопотока, с исходным HDR по принципу «один кадр поступил, один кадр выдан». В одном варианте осуществления кодер 800 содержит модули, такие как EiDM 803, отбор 804 статистических характеристик, обнаружение (L3) 805 склейки сцены, генерирование (L2) 806 BLUT яркости, сглаживание (L1) 807 BLUT яркости, полиномиальная аппроксимация (L1) 808 и оценка (L1) 809 MMR цветности. EiDM 803 может генерировать в реальном времени исходные кадры 802 HDR с использованием входного кадра 801 SDR. Отбор 804 статистических характеристик может собирать статистические характеристики, касающиеся кадров 801–802 SDR и HDR. Обнаружение (L3) 805 склейки сцены может определять данные склейки сцены, которые идентифицируют новую сцену во входных кадрах SDR. Генерирование (L2) 806 BLUT яркости может генерировать функцию преобразования яркости для отображения компонента яркости входных кадров SDR в кадры HDR. Сглаживание (L1) 807 BLUT яркости может применять алгоритм сглаживания к сгенерированной функции преобразования яркости. Полиномиальная аппроксимация (L1) 808 может аппроксимировать функции преобразования яркости с получением полиномиальных функций, вследствие чего функции преобразования яркости могут быть сокращены до полиномиальных коэффициентов для уменьшения объема хранения данных и/или передачи данных. Оценка (L1) 809 MMR цветности может генерировать функцию преобразования цветности для отображения компонентов цветности входных кадров SDR в кадры HDR. Функции преобразования яркости и цветности могут использоваться для генерирования выходных метаданных 810 RPU.

[00069] В некоторых вариантах осуществления кодер 800 генерирует выходные метаданные 810 RPU за четыре этапа. На каждом этапе может использоваться одно или более скользящих окон, таких как окно (502) статистических характеристик, скользящие окна (503, 504 и 505) L3, L2 и L1, показанные на фиг. 5, для получения промежуточных выводов для следующего скользящего окна.

[00070] Допустим, что – это кадр SDR, а – его исходный кадр HDR iDM в момент времени t. Допустим, что , и – i-е пиксельное значение каналов Y, Cb и Cr соответственно для . Допустим, что , и – i-е пиксельное значение каналов Y, Cb и Cr соответственно для . На первом этапе исходный EiDM 803 генерирует исходные кадры 802 EDR в реальном времени. В одном варианте осуществления EiDM 803 представляет собой внешний модуль инверсивного DM (EiDM). В одном варианте осуществления исходные кадры 802 EDR предварительно генерируются для каждого входного кадра SDR. Что касается входного кадра SDR (как часть кадров 801 SDR) в момент времени t, отбор 804 статистических характеристик отбирает или собирает статистические характеристики для входного кадра SDR и его соответствующего исходного кадра EDR (как часть исходных кадров 802 EDR) и сохраняет эти статистические характеристики в кольцевом буфере статистических характеристик, таком как кольцевой буфер 502 статистических характеристик, показанный на фиг. 5A. Отбор 804 статистических характеристик собирает статистические характеристики, включая, без ограничения, статистические характеристики склейки сцены, минимальные и максимальные статистические характеристики яркости, статистические характеристики гистограммы яркости и статистические характеристики MMR цветности для входного кадра SDR и/или исходного HDR. Статистические характеристики склейки сцены обнаруживают новые сцены в кадре SDR видеопотока. Минимальные и максимальные статистические характеристики яркости и статистические характеристики гистограммы яркости используются для оценки и генерирования функций преобразования яркости. Статистические характеристики MMR цветности используются для оценки и генерирования функций преобразования цветности.

[00071] Статистические характеристики гистограммы яркости включают гистограммы яркости в качестве вводов для алгоритмов сопоставления кумулятивной функции распределения (CDF) для генерирования функции преобразования яркости, что описано в предварительной заявке США № 62/404307 под названием «Inverse Luma-Chroma Mappings with Histogram Transfer and Approximation», поданной 5 октября 2016 г., которая полностью включена в настоящий документ посредством ссылки, и заявке PCT № PCT/US2018/013904 под названием «Segment-Based Reshaping for Coding High Dynamic Range Video», поданной 16 января 2018 г., которая полностью включена в настоящий документ посредством ссылки. Алгоритм сопоставления CDF может быть выполнен на последующем этапе для генерирования функции преобразования яркости.

[00072] В одном варианте осуществления для снижения вычислительной нагрузки отбор 804 статистических характеристик может разделять кодовые слова SDR входного кадра SDR на M неперекрывающихся интервалов (например, M = 16, 32 или 64) с равными промежутками w_b (например, для 16-битных входных данных, w_b = 65536/M) для охвата нормализованного динамического диапазона (например, (0,1]). Обозначим количество интервалов в SDR и EDR как и соответственно, и обозначим соответствующие промежутки интервалов как w_bS и w_bV соответственно. В другом варианте осуществления для дополнительного снижения вычислительной нагрузки гистограммы SDR/HDR сохраняют кумулятивным образом (например, , ), вследствие чего каждый интервал инициализирован относительно значения его соответствующего интервала из предшествующего временного кадра или цикла обработки. Следует отметить, что верхний индекс «C» обозначает кумулятивную сумму. В таблице 1 ниже представлен отбор кумулятивных статистических характеристик гистограммы яркости.

[00073] В одном варианте осуществления отбор 804 статистических характеристик может собирать статистические характеристики MMR цветности для полиномов MMR для генерирования функций преобразования для каналов цветности. Допустим, что значения пикселей из обозначены следующим образом:

.

[00074] В одном варианте осуществления полином MMR представляет собой полином MMR второго порядка. В другом варианте осуществления полином MMR представляет собой полином MMR третьего порядка. Например, полином MMR второго порядка (например, ) может быть создан на основе следующим образом:

,

где представляет собой i-е пиксельное значение подвергнутого понижающей дискретизации компонента Y для , имеющего количество P_C пикселей.

[00075] Допустим, что значения цветности iDM и предсказанные значения цветности с использованием обратной MMR представляют собой

и

соответственно, где c₀ и c₁ – два канала цветности. В одном варианте осуществления пиксели входного кадра или пиксели изображения подвергнуты понижающей дискретизации для снижения вычислительной нагрузки. Например, вместо использования всех пикселей для входного кадра для образования матриц MMR для алгоритма оценки MMR, каждый r_ds-й пиксель используется в качестве репрезентативного пикселя для входного кадра, где обозначает степень понижающей дискретизации. Напомним, что P_C – это количество пикселей цветности в изображении. Таким образом, размеры матрицы MMR уменьшаются от P_C до , где

.

[00076] Предсказанная цветность, цветность iDM и матрицы MMR для изображения с P_C пикселями цветности, уменьшенными до пикселей, может быть выражена следующим образом:

, , и соответственно.

[00077] Матрица обратного преобразования MMR (например, ) используется для предсказания значения цветности, , ближайшего к исходному значению цветности . Допустим, что предсказанное значение – это , где . Таким образом, статистические характеристики для матриц и могут быть отобраны для текущего входного кадра, где и , для генерирования функции обратного преобразования цветности.

[00078] В одном варианте осуществления для снижения вычислительной нагрузки матрицы и хранятся кумулятивным образом. В таблице 2 представлен пример процесса отбора статистических характеристик цветности.

[00079] На втором этапе процесса, состоящего из четырех этапов, показанного на фиг. 8, обнаружение 805 склейки сцены может определять новую склейку сцены на основании собранных статистических характеристик склейки сцены с использованием скользящего окна L3. Например, случаи появления склейки сцены могут быть вычислены с использованием статистических характеристик склейки сцены кадров из окна L3 (обнаружение склейки сцены) для (кадр в момент времени ). Допустим, что и – временные показатели левой и правой границ окна обнаружения склейки сцены для , где , и . Допустим, что левый и правый кадры окна обнаружения склейки сцены – это и соответственно. Следует отметить, что – текущий входной кадр. Обнаружение 805 склейки сцены затем может обнаруживать склейку сцены для кадра в момент времени с использованием статистических характеристик склейки сцены, соответствующих кадрам в момент времени , например, окно, ограниченное кадрами и .

[00080] В одном варианте осуществления обнаружение 805 склейки сцены выводит двоичный флаг склейки сцены, например, , указывающий, содержит кадр в момент времени новую сцену или нет. В одном варианте осуществления данные склейки сцены сохраняются в кольцевом буфере для последующего использования в качестве вводов для окон (L2 и L1).

[00081] На третьем этапе процесса, состоящего из четырех этапов, показанного на фиг. 8, генерирование 806 BLUT яркости генерирует обратную справочную таблицу (BLUT) для кадра в момент времени путем применения сопоставления CDF к статистическим характеристикам гистограммы, соответствующим кадрам изображения окна L2. Например, генерирование 806 BLUT яркости может генерировать BLUT яркости для , кадра в момент времени , путем применения сопоставления CDF к гистограммам SDR и HDR, соответствующим скользящему окну L2. Генерирование 806 BLUT яркости может сначала идентифицировать границы сцены для кадров, соответствующих окну L2. В этом случае, если сцена содержит только один кадр, только этот кадр рассматривается в окне L2. Следует отметить, что первый и последний кадры видеопотока рассматриваются, как содержащие склейку сцены. Например, допустим, что и – временные показатели левой и правой границ скользящего окна L2. Допустим, что и – левая и правая границы сцены для . Таким образом, , для , , и .

[00082] После установления границ сцены, левая и правая временные границы окна L2 для могут быть определены следующим образом:

и соответственно.

[00083] Допустим, что левый и правый конец кадров окна L2 представляют собой и соответственно. Допустим, что и – b-е значения интервала SDR и HDR CDF соответственно. Допустим, что – b-е значение интервала временной BLUT. Вывод окна L2 представляет собой BLUT яркости (например, ) для . В одном варианте осуществления BLUT яркости хранится в виде кумулятивных сумм во временной области и обозначается . Второй этап процесса, состоящего из четырех этапов, показанного на фиг. 8, может быть представлен в таблице 3. Следует отметить, что размер окна сглаживания для сглаживания среднего тона на этапе G в таблице 3 может быть определен на основании битовой глубины кадра SDR, например:

.

[00084] Как описано выше, на третьем этапе генерирование 806 BLUT яркости может генерировать BLUT яркости для с использованием окна L2 для отображения компонента яркости входного кадра SDR в исходный кадр HDR.

[00085] На четвертом этапе кодер 800 может выполнять операцию сглаживания на ранее сгенерированной BLUT яркости для с использованием окна L1. Кодер 800 затем может аппроксимировать кусочный полином, например, функцию преобразования яркости, для уменьшения объема хранения данных и/или передачи данных. Кроме того, кодер 800 может генерировать коэффициенты отображения MMR цветности для с использованием окна L1.

[00086] Например, допустим, что и обозначают временные показатели левой и правой границ окна L1 для . Аналогично окну L2, в одном варианте осуществления сглаживание 807 BLUT яркости сначала обнаруживает границы сцены для кадра в окне L1 с использованием информации о склейке сцены. Допустим, что и – левая и правая границы сцены для . Допустим, что , , вследствие чего и для . Если сцена содержит только один кадр, только этот кадр рассматривается в окне L1.

[00087] Левая и правая границы окна L1 для затем могут быть определены как и . Таким образом, левый и правый кадры окна L1 представляют собой и . В таблице 4 представлена операция сглаживания четвертого этапа, где – b-й интервал конечной BLUT яркости.

[00088] В одном варианте осуществления полиномиальная аппроксимация 808 конвертирует сглаженную BLUT яркости в кусочный полином, имеющий полиномиальные коэффициенты, с использованием алгоритма подбора кривой. Например, BLUT яркости (например, справочная таблица обратного преобразования для входных кодовых слов SDR, отображенных в выходные кодовые слова EDR) разделяется на множество секций, и для каждой секции подбирается кривая до полинома более высокого порядка (например, кусочного полинома). Коэффициенты полиномов или функция отображения яркости затем может использоваться для генерирования метаданных 810 формирователя RPU.

[00089] В одном варианте осуществления оценка 809 MMR цветности решает задачу наименьших квадратов для оценки матрицы коэффициентов MMR с использованием матриц A и B кумулятивной суммы, собранных на первом этапе. Способ оценки MMR основан на минимизации «общей» погрешности между компонентом цветности предсказанного кадра HDR и компонентами цветности исходного кадра HDR. В таблице 5 представлено генерирование коэффициентов матрицы MMR, где – матрица коэффициентов MMR для .

[00090] После нахождения коэффициентов матрицы MMR, кодер 800 затем вводит найденные коэффициенты матрицы MMR (например, каналы цветности) вместе с аппроксимированными коэффициентами кусочного полинома яркости (например, канал яркости) в метаданные 810 RPU, где метаданные 810 RPU соответствуют кадру , где .

[00091] Как описано выше, четыре этапа кодера 800 могут генерировать в реальном времени метаданные RPU из кадров SDR с исходным HDR по принципу «один кадр поступил, один кадр выдан». В одном варианте осуществления на первом этапе логическая схема обработки собирает статистические характеристики текущего входного кадра (501) в момент времени t в кольцевом буфере (502) статистических характеристик. Кольцевой буфер (502) статистических характеристик сохраняет статистические данные для списка предшествующих кадров. На втором этапе логическая схема обработки определяет данные склейки сцены, которые идентифицируют, содержит ли первый кадр в момент времени новую сцену, с использованием сохраненных статистических данных, где обозначает задержку, связанную с окном L3 (503). Окно L3 (503) может соответствовать первому кадру, связанному с первой временной задержкой. Данные склейки сцены (например, вывод окна L3) могут использоваться последующими окнами, такими как окна L2 и L1, для дальнейшей обработки кадра. На третьем этапе скользящее окно L2 может использовать статистические данные из множества кадров, соседних для второго кадра, связанного со второй временной задержкой и данными склейки сцены из окна L3, для генерирования вывода для последующих скользящих окон L1. На четвертом этапе скользящее окно L1 может использовать статистические данные из множества кадров, соседних для третьего кадра, связанного с третьей временной задержкой, для генерирования выходных метаданных RPU.

[00092] На фиг. 9 показана блок-схема способа преобразования яркости и/или цветности согласно одному или более вариантам осуществления. Способ или процесс 900 может быть выполнен посредством логической схемы обработки, которая может включать программное обеспечение, аппаратное обеспечение или их комбинацию. Например, процесс 900 может быть выполнен кодером 303, показанным на фиг. 3. Как показано на фиг. 9, в блоке 901 логическая схема обработки принимает входной видеопоток, содержащий изображения в первом динамическом диапазоне, в том числе первое изображение. В блоке 902 логическая схема обработки принимает второе изображение, представляющее первое изображение входного видеопотока, причем второе изображение имеет второй динамический диапазон, который выше первого динамического диапазона. В блоке 903 логическая схема обработки получает статистические данные для первого и второго изображений. Статистические данные включают статистические характеристики склейки сцены, статистические характеристики яркости и статистические характеристики цветности. Статистические данные используются одним или более скользящими окнами для генерирования данных склейки сцены, которые идентифицируют новые сцены, функций отображения компонентов яркости и функций отображения компонентов цветности. В блоке 904 логическая схема обработки определяет во время первой временной задержки данные склейки сцены из данных, представляющих изображения во входном видеопотоке, и сохраняет данные склейки сцены в первом скользящем окне, причем данные склейки сцены определены на основании статистических данных первого изображения, статистических данных одного или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и статистических данных одного или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке. В блоке 905 логическая схема обработки определяет во время второй временной задержки первую функцию отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании второго скользящего окна и определенных данных склейки сцены. В блоке 906 логическая схема обработки определяет во время третьей временной задержки вторую функцию отображения путем применения операции сглаживания к первой функции отображения на основании третьего скользящего окна и определенных данных склейки сцены. В блоке 907 логическая схема обработки определяет во время третьей временной задержки третью функцию отображения для отображения значений цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании третьего скользящего окна и определенных данных склейки сцены. В блоке 908 логическая схема обработки генерирует во время третьей временной задержки метаданные формирователя для первого изображения на основании второй и третьей функций отображения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея.

Преобразование с использованием 3D таблицы выровненного отображения (3D-FMT) для цветовых артефактов

[00093] Вышеупомянутый способ аппроксимации MMR может быть описан как способ на основе пикселей, поскольку каждому пикселю присваиваются равные весовые коэффициенты для процесса оптимизации MMR. Поскольку описанный процесс оптимизации MMR основан на минимизации «общей» погрешности между компонентами цветности предсказанного кадра HDR и компонентами цветности исходного кадра HDR, для небольшого количества пикселей (например, малого числа пикселей), даже если отдельная погрешность является более высокой, их кумулятивный эффект может быть невелик в сравнении с «общей» погрешностью. В нескольких случаях цветовые артефакты, такие как пятна красного цвета и окрашивание в зеленый/розовый, появляются в предсказанном кадре HDR из-за малого числа пикселей входного кадра SDR. В некоторых примерах малое число пикселей в сравнении с общим числом пикселей в изображении может составлять приблизительно 0,05%. Для предотвращения появления этих цветовых артефактов способ на основании интервала кодовых слов (например, способ с 3D таблицей выровненного отображения (3D-FMT)) может использоваться для аппроксимации матрицы коэффициентов MMR для отображения изображений SDR в изображения HDR.

[00094] В некоторых вариантах осуществления каждый ввод матрицы (вышеупомянутый способ на основе пикселей, включающий значения пикселей как матрицу ) содержит интервал кодовых слов 3D гистограммы SDR. Каждому вводу или интервалу присваивается равный весовой коэффициент, как и остальным вводам. 3D гистограмма SDR соответствует 3D таблице отображения. В сущности, во время первого этапа сбора статистических характеристик, как описано выше, вычисление матриц A и B изменяется так, как описано ниже, для уменьшения цветовых артефактов.

Вычисление матриц A и B MMR с использованием 3D-FMT для цветовых артефактов

[00095] В некоторых вариантах осуществления изображение SDR подвергается квантованию с получением трех значений канала (Y, C₀ и C₁) с использованием фиксированного количества интервалов для каждого из трех компонентов яркости и цветности. Следует отметить, что подвергнутый понижающей дискретизации сигнал яркости () используется для соотнесения размеров с размерами каналов цветности 4:2:0. Квантованное изображение SDR используется для вычисления 3D гистограммы (), соответствующей 3D таблице отображения.

[00096] Допустим, что интервалы 3D гистограммы для кадра обозначены как , где и содержит () общее количество интервалов в трех измерениях (3D). Каждый 3D интервал может быть задан индексом интервала q = (), представляющим количество пикселей, которые имеют эти 3-канальные квантованные значения.

[00097] Суммы цветности EDR в каждом SDR 3D интервале также вычисляются. Допустим, что и – отображенные значения цветности EDR, вследствие чего каждый интервал содержит сумму значений пикселей цветности EDR (например, C₀ и C₁) с кодовыми словами, принадлежащими этому интервалу. В таблице 6 ниже представлены примеры этапов получения 3D SDR гистограммы квантования и отображенных значений цветности EDR.

[00098] Допустим, что (, ,) представляет центр q-го интервала SDR. Характерный для кадра нижний индекс опущен в (, ,) или репрезентативных значениях интервала, чтобы обозначить, что эти репрезентативные значения интервала могут использоваться для всех кадров. В одном варианте осуществления репрезентативные значения интервала предварительно вычисляются и фиксируются для всех кадров. В таблице 7 представлены этапы получения репрезентативных значений интервала (, ,).

[00099] Затем, средние значения цветности EDR 3D отображения могут быть получены путем усреднения значений цветности EDR по количеству пикселей SDR (входного кадра SDR в момент времени t) в каждом из соответствующих интервалов. В одном варианте осуществления для текущего кадра в момент времени t, интервалы 3D SDR гистограммы без соответствующих пикселей идентифицируются и отбрасываются. В таблице 8 представлены этапы получения средних значений для и , например, 3D отображение значений цветности EDR, усредненных по количеству пикселей SDR в каждом соответствующем интервале. Следует отметить, что q_0, q_1,…q_k-1, – индексы для k общих интервалов, которые имеют соответствующие пиксели, например, .

[000100] Допустим, что вектор цветности EDR для q_i-го интервала следующий: . Для каждого q_i-го интервала вектор 3D-FMT, представляющий собой элемент матрицы , может быть следующим:

.

[000101] Как описано выше, есть k интервалов, которые имеют по меньшей мере один соответствующий пиксель SDR. В одном варианте осуществления матрицы A и B определяются с использованием репрезентативных значений интервала SDR и значений цветности EDR из этих k интервалов. Например, матрицы и V_t для входного кадра в момент времени t могут быть следующими:

и .

[000102] Следует отметить, что размеры этих матриц будут отличаться от вышеупомянутого способа на основе пикселей, поскольку есть k ненулевых интервалов SDR, которые используются для оценки MMR, вместо общего количества пикселей кадра SDR (которое может быть намного больше k). В данном случае k может изменяться от кадра к кадру.

[000103] Затем, статистические характеристики или матрицы A и B для текущего кадра могут быть получены следующим образом:

.

[000104] В одном варианте осуществления для снижения вычислительной нагрузки матрицы A и B могут быть сохранены как кумулятивные суммы. В таблице 9 описан пример вычислений статистических характеристик MMR с использованием 3D-FMT.

[000105] На фиг. 10 показана блок-схема способа преобразования яркости/цветности с использованием 3D-FMT согласно одному или более вариантам осуществления. Способ или процесс 1000 может быть выполнен посредством логической схемы обработки, которая может включать программное обеспечение, аппаратное обеспечение или их комбинацию. Например, процесс 1000 может быть выполнен кодером 303, показанным на фиг. 3. Как показано на фиг. 10, в блоке 1001 логическая схема обработки принимает входной видеопоток, имеющий набор изображений, в том числе первое изображение в первом динамическом диапазоне. В блоке 1002 логическая схема обработки генерирует статистические характеристики 3D отображения (или 3D SDR и EDR гистограмму) для первого изображения и второго изображения во втором динамическом диапазоне, которое соответствует первому изображению, причем второй динамический диапазон выше первого динамического диапазона. В блоке 1003 логическая схема обработки определяет статистические характеристики (например, матрицы A и B) многовариантной множественной регрессии (MMR) на основании статистических характеристик 3D отображения для генерирования функций отображения цветности в целях оценки значений каналов цветности второго изображения на основании первого изображения. В блоке 1004 логическая схема обработки генерирует метаданные формирователя, причем метаданные формирователя содержат функции отображения цветности, подлежащие использованию целевым устройством отображения для отображения каналов цветности первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея. В некоторых вариантах осуществления постоянный машиночитаемый носитель хранит команды, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа, такого как способ 1000. В некоторых вариантах осуществления система управления отображением, которая содержит запоминающее устройство и систему обработки, выполнена с возможностью выполнения способа, такого как способ 1000.

Без исходного EDR

[000106] На фиг. 11 изображена принципиальная схема для примера кодера без исходного EDR согласно одному варианту осуществления. Кодер 1100 может представлять собой такой кодер, как кодер 303, показанный на фиг. 3. Кодер 1100 может генерировать в реальном времени метаданные RPU (формирователя и DM) из кадров SDR видеопотока, без исходного HDR по принципу «один кадр поступил, один кадр выдан». В одном варианте осуществления кодер 1100 содержит модули, такие как предварительно обученная модель 1101, отбор 804 статистических характеристик, обнаружение (L3) 805 склейки сцены, генерирование (L2) 806 BLUT яркости, сглаживание (L1) 807 BLUT яркости и полиномиальная аппроксимация (L1) 808. Предварительно обученная модель 1101 может включать общую линейную модель (GLM) для генерирования функций преобразования цветности. GLM может быть предварительно определена или предварительно настроена на основании обучающих статистических характеристик или ранее обучена на основании библиотеки изображений. В одном варианте осуществления функции преобразования цветности содержат статические коэффициенты MMR.

[000107] Отбор 804 статистических характеристик может собирать статистические характеристики, касающиеся кадров 801–802 SDR и HDR. Обнаружение (L3) 805 склейки сцены может определять данные склейки сцены, которые идентифицируют новую сцену во входных кадрах SDR. Генерирование (L2) 806 BLUT яркости может генерировать функцию преобразования яркости для отображения компонента яркости входных кадров SDR в кадры HDR. Сглаживание (L1) 807 BLUT яркости может применять алгоритм сглаживания к сгенерированной функции преобразования яркости. Полиномиальная аппроксимация (L1) 808 может аппроксимировать функции преобразования яркости с получением полиномиальных функций, вследствие чего функции преобразования яркости сокращаются до полиномиальных коэффициентов для уменьшения объема хранения данных и передачи данных. Функции преобразования яркости и цветности могут использоваться для генерирования выходных метаданных 810 RPU.

[000108] В некоторых вариантах осуществления кодер 1100 генерирует выходные метаданные 810 RPU за четыре этапа. На каждом этапе может использоваться одно или более скользящих окон, таких как окно (502) статистических характеристик, скользящие окна (503, 504 и 505) L3, L2 и L1, показанные на фиг. 5, для получения промежуточных выводов.

[000109] Как показано на фиг. 11, на первом этапе, что касается входного кадра SDR (как часть кадров 801 SDR) в момент времени t, отбор 804 статистических характеристик отбирает или собирает статистические характеристики для входного кадра SDR и сохраняет эти статистические характеристики в кольцевом буфере статистических характеристик, таком как кольцевой буфер 502 статистических характеристик, показанный на фиг. 5A. Отбор 804 статистических характеристик может собирать статистические характеристики, включая, без ограничения, статистические характеристики склейки сцены, минимальные, средние и максимальные статистические характеристики яркости, статистические характеристики гистограммы яркости и статистические характеристики цветовой насыщенности для входного кадра SDR. Статистические характеристики склейки сцены обнаруживают новые сцены в кадре SDR видеопотока. Минимальные, средние и максимальные статистические характеристики яркости и статистические характеристики гистограммы яркости используются для динамической оценки и генерирования функции преобразования яркости. Статистические характеристики цветовой насыщенности используются для нормализации функций преобразования цветности.

[000110] Сначала отбор 804 статистических характеристик собирает статистические характеристики для нормализованного (между 0 и 1) кадра SDR (обозначенного (, , )) с использованием подвергнутых понижающей дискретизации значений пикселей SDR яркости и цветности. В некоторых вариантах осуществления собранные статистические характеристики содержат гистограмму яркости и значения цветовой насыщенности. В некоторых вариантах осуществления гистограмма яркости и цветовая насыщенность в интервалах яркости могут быть получены, как представлено в таблице 10. В некоторых вариантах осуществления общее количество интервалов яркости и цветности инициализировано равным соответственно.

[000111] На втором этапе, показанном на фиг. 11, который может быть аналогичным второму этапу, показанному на фиг. 8, как описано выше, обнаружение 805 склейки сцены определяет случаи появления склейки сцены или данные склейки сцены для кадра SDR , кадра в момент времени , с использованием собранных статистических характеристик склейки сцены. Данные склейки сцены могут быть сохранены в кольцевом буфере путем обновления наиболее ранних данных склейки сцены. Данные склейки сцены могут использоваться в качестве вводов для последующих этапов.

[000112] На третьем этапе генерирование 806 BLUT яркости генерирует BLUT яркости (например, ) для , кадра в момент времени , с использованием ранее собранных усредняющих статистических характеристик. Собранные усредняющие статистические характеристики могут содержать один или более векторов признаков, описывающих кадры SDR. В некоторых вариантах осуществления векторы признаков могут включать, но без ограничения, i) усредненные порядки минимального/максимального/среднего значений пикселей SDR, ; ii) усредненные значения гистограммы яркости(), например, ; и iii) усредненные значения цветовой насыщенности для интервалов яркости (), например, . Векторы признаков могут использоваться для предсказания на основе общей линейной модели (GLM).

[000113] Допустим, что () представляет k-й отдельный признак j-го вектора признаков для . В одном варианте осуществления каждый вектор признаков состоит из значений признака, объединенных с образованием одномерного вектора, такого как:

где G_j ( j = 0, 1, 2, …) – общее количество признаков для j-го вектора признаков. В одном варианте осуществления первый, второй, третий и четвертый порядки минимального/максимального/среднего значений SDR используются в качестве признаков для предсказания на основе GLM. В этом случае имеет 12 признаков, имеет 8 признаков () и имеет 8 признаков (), с общим количеством 28 признаков.

[000114] Допустим, что и обозначают временные показатели левой и правой границ окна. В одном варианте осуществления генерирование 806 BLUT яркости может определять границы сцены для кадра на основании данных склейки сцены, которые генерируются посредством обнаружения 805 склейки сцены. Допустим, что и – левая и правая границы сцены для . Левая и правая границы окна L2 для , таким образом, представляют собой и соответственно. Соответствующие левый и правый кадры окна L2, таким образом, представляют собой и соответственно. В таблице 11 представлен пример вычислений для усредненных значений признака для окна L2 кадров, как описано выше.

[000115] Затем, в одном варианте осуществления общий вектор признаков F для кадра в момент времени может быть сгенерирован путем объединения 28 признаков, например:

.

[000116] В другом варианте осуществления общий вектор признаков F может быть сгенерирован путем объединения подмножества из 28 признаков. Общий вектор признаков F затем может быть применен к модели GLM.

[000117] Допустим, что – матрица коэффициентов (или весовых коэффициентов) модели GLM. В одном варианте осуществления предварительно вычисляется с использованием базы данных изображений SDR-EDR. Вектор BLUT яркости точки k для текущего кадра затем может быть описан посредством модели GLM, например .

[000118] В одном варианте осуществления вектор BLUT яркости точки k усечен, интерполирован и усечен снова для получения промежуточной BLUT яркости. В одном варианте осуществления вектор BLUT яркости точки k затем обрабатывается для поддержания монотонности в неубывающем режиме для получения , BLUT яркости для кадра в момент времени . Следует отметить, что представляет нормализованное значение EDR, отображенное из b-го кодового слова SDR.

[000119] Для генерирования функции преобразования цветности генерирование 806 BLUT яркости может получить статические коэффициенты MMR из предварительно обученной модели 1101. Статические коэффициенты MMR могут быть предварительно вычислены на основании обучающих данных и могут оставаться одинаковыми для всего кадра SDR. В одном варианте осуществления статические коэффициенты MMR могут оставаться одинаковыми только для сцены.

[000120] На четвертом этапе конечная выходная BLUT яркости для может быть вычислена путем применения операции сглаживания с использованием окна L1 к BLUT яркости, вычисленной на предшествующем этапе. Информация о склейке сцены может использоваться для определения границ окна L1. Напомним, что – b’-й интервал конечной BLUT яркости. Левая и правая границы окна L1 для могут быть определены аналогично четвертому этапу, как описано выше относительно фиг. 8. Конечная выходная BLUT яркости затем может быть конвертирована в кусочный полином. Метаданные RPU (например, метаданные формирователя) могут быть сгенерированы с использованием кусочного полинома яркости и фиксированных коэффициентов MMR цветности для кадра , где .

[000121] На фиг. 12 показана блок-схема способа преобразования яркости и/или цветности без исходного EDR согласно одному или более вариантам осуществления. Способ или процесс 1200 может быть выполнен посредством логической схемы обработки, которая может включать программное обеспечение, аппаратное обеспечение или их комбинацию. Например, процесс 1200 может быть выполнен кодером 303, показанным на фиг. 3. Как показано на фиг. 12, в блоке 1201 логическая схема обработки принимает входной видеопоток, содержащий изображения в первом динамическом диапазоне, в том числе первое изображение. В блоке 1202 логическая схема обработки получает статистические данные для первого изображения входного видеопотока, причем статистические данные содержат один или более связанных с изображением признаков из первого изображения. В блоке 1203 логическая схема обработки определяет во время первой временной задержки данные склейки сцены из данных, представляющих изображения во входном видеопотоке, и сохраняет данные склейки сцены в первом скользящем окне на основании статистических данных первого изображения, статистических данных одного или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и статистических данных одного или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке. В блоке 1204 логическая схема обработки определяет во время второй временной задержки первую функцию отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании второго скользящего окна и модели машинного обучения. В блоке 1205 логическая схема обработки определяет во время третьей временной задержки вторую функцию отображения путем выполнения операции сглаживания над первой функцией отображения на основании третьего скользящего окна и определенных данных склейки сцены. В блоке 1206 логическая схема обработки генерирует во время третьей временной задержки метаданные формирователя для первого изображения на основании второй и третьей функций отображения, причем третьи функции отображения отображают цветовые каналы цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании модели машинного обучения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения второго изображения, которое соответствует первому изображению во втором динамическом диапазоне. В некоторых вариантах осуществления постоянный машиночитаемый носитель хранит команду, которая, при ее исполнении системой управления отображением, вызывает выполнение системой способа, такого как способ 1200. В некоторых вариантах осуществления система управления отображением, которая содержит запоминающее устройство и систему обработки, выполнена с возможностью выполнения способа, такого как способ 1200.

Вычисления метаданных управления отображением (DM)

[000122] В некоторых вариантах осуществления кодер, такой как кодер 303, показанный на фиг. 3, вычисляет метаданные DM и генерирует метаданные RPU для включения метаданных DM. Метаданные DM могут содержать информацию для визуального представления одного дисплея для конкретных целевых дисплеев, которые имеют возможности для отображения вплоть до различных единиц нитов. Например, метаданные DM могут содержать одну или более единиц информации о дисплее, таких как min_PQ, max_PQ, avg_PQ, anchor_PQ и anchor_power. Min_PQ может задавать минимальное значение яркости текущей сцены в 12-битном PQ-кодировании. Max_PQ может задавать максимальное значение яркости текущей сцены в 12-битном PQ-кодировании. Avg_PQ может задавать среднее значение яркости текущей сцены в 12-битном PQ-кодировании. Anchor_PQ может задавать среднюю яркость, оптимизированную для качества изображения текущего кадра в 12-битном PQ-кодировании. Anchor_power может задавать среднюю яркость, оптимизированную для управления мощностью текущего кадра в 12-битном PQ-кодировании.

[000123] В некоторых вариантах осуществления процессор кодера, такого как кодер 303, показанный на фиг. 3, оценивает метаданные DM для текущего выходного кадра без какой-либо информации о сцене. В одном варианте осуществления процессор устанавливает min_PQ = 0, и max_PQ = 4095 для всего кадра. В одном варианте осуществления для кадров SDR с исходными кадрами EDR, процессор вычисляет средние значения кадра (например, avg_PQ) () для кадра следующим образом:

,

с использованием изображений EDR области RGB. В одном варианте осуществления для кадров SDR без исходных кадров EDR, avg_PQ может быть вычислено следующим образом:

на основании компонента яркости гистограммы яркости SDR и BLUT, вычисленной в общем (например, любом Lx) скользящем окне. Примеры этих вычислений могут быть найдены в предварительной заявке на патент США № 62/520832 под названием «Efficient End-to-End Single Layer Inverse Display Management Coding», поданной 16 июня 2017 г., которая полностью включена в настоящий документ посредством ссылки.

[000124] В некоторых вариантах осуществления, поскольку avg_PQ должно быть усреднено в любой конкретной сцене, усреднение на основе окна для ряда кадров может быть применено к avg_PQ (например, ) без какой-либо информации о сцене. Например, как показано на фиг. 13, для режима с исходным EDR окно длиной для обеих сторон кадра может использоваться после обнаружения сцен для определения avg_PQ для этого кадра, без внесения задержки.

[000125] В одном варианте осуществления для режима без исходного EDR, avg_PQ генерируется путем применения усреднения на основе окна, основанного на выходной BLUT яркости, сгенерированной в окне L1, причем окно имеет следующие и предыдущие значения длины , соответственно. Например, вносится дополнительная задержка на выходе единиц времени. В этом случае общая задержка на выходе для данных RPU кадра будет составлять , и средние оценочные значения на основе кадра вычисляются следующим образом:

,

где t_k находится в диапазоне . Затем среднее значение вычисляется по этому отрезку для получения конечного avg_PQ для текущего выходного кадра .

[000126] В одном варианте осуществления, чтобы избежать задержки величиной единиц времени, кодер может оценивать средние значения кадра на основании по меньшей мере промежуточных (или не подвергнутых сглаживанию) BLUT яркости, полученных из окна L2, например, . Например, на основании BLUT яркости уровня L2, используемых в качестве аппроксимации к выходной BLUT (), среднее значение кадра может быть вычислено следующим образом:

где t_k находится в диапазоне . В этом случае может использоваться симметричное окно длины , после получения вывода из окна L2, для вычисления avg_PQ. В результате, эти вычисления могут не вносить дополнительную задержку в способ линейного кодирования.

[000127] На фиг. 13 изображен пример вычисления среднего значения кадра с общей задержкой (). Допустим, что и обозначают временные показатели левой и правой границ окна DM для входного кадра , который определяется с использованием информации о склейке сцены, аналогично четвертому этапу на фиг. 8. Затем, и могут быть вычислены следующим образом:

и ,

где и – левая и правая границы сцены для .

[000128] Когда , как показано на фиг. 13, левая и правая границы сцены могут быть такими же, как и левая и правая границы окна L1, и оценочный выходной кадр avg_PQ может быть таким же, как и конечный выходной кадр . В этом случае дополнительная задержка не вносится из-за вычислений avg_PQ. Таким образом, общая задержка на вычисление в этом случае составляет .

[000129] Затем, , avg_PQ на основе скользящего окна для кадра может быть вычислено следующим образом:

.

В таблице 12 представлен пример вычисления avg_PQ на основе скользящего окна.

[000130] В одном варианте осуществления avg_PQ для может быть оценен следующим образом: Clip3(0, 4095, floor(* 4096 + 0,5)), где Clip3(min, max, val) определяется как значение, усеченное снизу по минимальному значению и усеченное сверху по максимальному значению. В другом варианте осуществления avg_PQ для может быть оценено следующим образом: Clip3((min_PQ+∆L1AvgMin), max_PQ, avg_PQ).

[000131] В некоторых вариантах осуществления значения anchor_PQ и anchor_power могут быть вычислены на основании одного или более статистических значений на основе кадра согласно примерам, которые можно найти в предварительной заявке на патент США № 62/520832 под названием «Efficient End-to-End Single Layer Inverse Display Management Coding», поданной 16 июня 2017 г., которая полностью включена в настоящий документ посредством ссылки.

[000132] Например, для сценария SDR с исходным EDR, статистические значения на основе кадра могут включать значения, вычисленные с использованием изображений EDR области RGB, например,

и

[000133] Например, для сценария SDR без исходного EDR, статистические значения на основе кадра могут включать значения, вычисленные с использованием компонента яркости гистограммы яркости SDR, и BLUT, вычисленной с использованием скользящего окна L2, например:

и .

[000134] Примеры этих вычислений могут быть найдены в предварительной заявке на патент США № 62/520832 под названием «Efficient End-to-End Single Layer Inverse Display Management Coding», поданной 16 июня 2017 г., которая полностью включена в настоящий документ посредством ссылки.

[000135] На фиг. 14 показан пример системы обработки данных, которая может использоваться для реализации кодера, такого как кодер 303, показанный на фиг. 3. Системы и способы, описанные в настоящем документе, могут быть реализованы в виде ряда различных систем обработки данных и устройств, включая компьютерные системы общего назначения, компьютерные системы специального назначения или гибридный вариант компьютерных систем общего и специального назначения. Системы обработки данных, которые могут использовать любой из способов, описанных в настоящем документе, включают настольные компьютеры, ноутбуки, планшетные компьютеры, встроенные электронные устройства или другие электронные устройства.

[000136] На фиг. 14 показана структурная схема аппаратного обеспечения системы обработки данных согласно одному варианту осуществления. Следует отметить, что, хотя на фиг. 14 изображены различные компоненты системы обработки данных, она не предназначена для представления какой-либо конкретной архитектуры или способа взаимного соединения компонентов, поскольку такие подробности не имеют отношения к настоящему изобретению. Также следует понимать, что другие типы систем обработки данных, которые имеют меньшее количество компонентов, чем показано, или большее количество компонентов, чем показано на фиг. 14, также могут использоваться с одним или более вариантами осуществления настоящего изобретения.

[000137] Как показано на фиг. 14, система обработки данных содержит одну или более шин 1309, которые предназначены для соединения различных компонентов системы. Один или более процессоров 1303 соединены с одной или более шинами 1309 так, как известно в данной области техники. Запоминающее устройство 1305 может представлять собой DRAM или энергонезависимое RAM, или может представлять собой флеш-память или другие типы запоминающего устройства, или комбинацию таких запоминающих устройств. Это запоминающее устройство соединено с одной или более шинами 1309 с использованием методик, известных в данной области техники. Система обработки данных также может содержать энергонезависимое запоминающее устройство 1307, которое может представлять собой жесткий диск или флеш-память, или магнитный оптический накопитель, или магнитное запоминающее устройство, или оптический накопитель, или другие типы запоминающих систем, которые хранят данные даже после прекращения подачи питания на систему. Как энергонезависимое запоминающее устройство 1307, так и запоминающее устройство 1305 соединены с одной или более шинами 1309 с использованием известных интерфейсов и методик соединения. Контроллер 1322 дисплея соединен с одной или более шинами 1309 для приема данных дисплея, подлежащих отображению на исходном устройстве 1323 отображения. Исходное устройство 1323 отображения может содержать встроенное устройство сенсорного ввода для обеспечения сенсорного экрана. Система обработки данных также может содержать один или более контроллеров 1315 ввода/вывода (I/O), которые обеспечивают интерфейсы для одного или более устройств ввода/вывода, таких как одна или более мышей, сенсорных экранов, сенсорных панелей, джойстиков и других устройств ввода, включая известные в данной области техники, и устройств вывода (например, динамиков). Художник-колорист может использовать одно или более устройств ввода для корректировки цветовой отделки одного или более изображений. Устройства 1317 ввода/вывода соединены посредством одного или более контроллеров 1315 ввода/вывода, как известно в данной области техники.

[000138] Хотя на фиг. 14 показано, что энергонезависимое запоминающее устройство 1307 и запоминающее устройство 1305 соединены с одной или более шинами непосредственно, а не через сетевой интерфейс, следует понимать, что в настоящем изобретении может использоваться энергонезависимое запоминающее устройство, которое находится на расстоянии от системы, например, сетевое устройство для хранения данных, которое соединено с системой обработки данных посредством сетевого интерфейса, такого как модем или интерфейс Ethernet. Шины 1309 могут быть соединены друг с другом посредством различных перемычек, контроллеров и/или переходников, как хорошо известно в данной области техники. В одном варианте осуществления контроллер 1315 ввода/вывода содержит одно или более из переходника USB (универсальная последовательная шина) для управления периферийными устройствами USB, контроллера IEEE 1394 для совместимых с IEEE 1394 периферийных устройств, или контроллера Thunderbolt для управления периферийными устройствами Thunderbolt. В одном варианте осуществления одно или более сетевых устройств 1325 могут быть соединены с шиной (шинами) 1309. Сетевое устройство (устройства) 1325 может представлять собой проводные сетевые устройства (например, Ethernet) или беспроводные сетевые устройства (например, Wi-Fi, Bluetooth), которые принимают изображения от камеры и т. д.

[000139] Исходя из описания будет очевидно, что один или более вариантов осуществления настоящего изобретения могут быть реализованы, по меньшей мере частично, в программном обеспечении. То есть, методики могут осуществляться в системе обработки данных в ответ на исполнение одним или более ее процессорами последовательности команд, хранящихся в носителе данных, таком как постоянный машиночитаемый носитель данных (например, DRAM или флеш-память). В различных вариантах осуществления жестко смонтированная схема может использоваться в комбинации с командами программного обеспечения для реализации настоящего изобретения. Таким образом, методики не ограничены никакой конкретной комбинацией схемы аппаратного обеспечения и программного обеспечения или никаким конкретным источником команд, исполняемых системой обработки данных.

[000140] В вышеизложенном описании настоящее изобретение было описано со ссылкой на конкретные примеры вариантов осуществления. Будет очевидно, что различные модификации могут быть внесены в него без отступления от более широкой сущности и объема настоящего изобретения, изложенных в прилагаемой формуле изобретения. Соответственно, описание и графические материалы следует рассматривать в иллюстративном, а не в ограничивающем смысле.

[000141] Хотя отдельные варианты осуществления описаны подробно ниже, тем не менее, следует понимать, что эти варианты осуществления могут быть скомбинированы или модифицированы, частично или полностью.

[000142] Вариант осуществления 1 представляет собой способ обработки данных изображения, причем способ включает прием входного видеопотока. Способ включает сохранение с течением времени в первом буфере статистических данных для первого набора последовательных частей входного видеопотока, причем первый буфер предоставляет для каждой последовательной части вывод, представляющий данные склейки сцены. Способ включает сохранение с течением времени во втором буфере статистических данных для второго набора последовательных частей входного видеопотока, причем второй буфер принимает каждый вывод, предоставленный из первого буфера, причем второй буфер предоставляет для каждой последовательной части вывод, представляющий значение отображения яркости. Способ включает сохранение с течением времени в третьем буфере статистических данных для третьего набора последовательных частей входного видеопотока, причем третий буфер принимает каждый вывод, предоставленный из второго буфера, причем третий буфер предоставляет для каждой последовательной части вывод, представляющий значение отображения цветности. Способ включает генерирование метаданных для первого изображения во входном видеопотоке на основании связанного значения отображения яркости и связанного значения отображения цветности, причем метаданные предназначены для использования целевым дисплеем для генерирования второго изображения, основанного на первом изображении, но имеющего более высокий динамический диапазон, чем первое изображение. В некоторых вариантах осуществления значения отображения яркости представляют собой сглаженные значения отображения яркости.

[000143] Вариант осуществления 2 представляет собой постоянный машиночитаемый носитель с сохраненными командами, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа как в варианте осуществления 1.

[000144] Вариант осуществления 3 представляет собой систему управления отображением, которая содержит запоминающее устройство и систему обработки, выполненную с возможностью выполнения способа как в варианте осуществления 1.

[000145] Вариант осуществления 4 представляет собой способ преобразования яркости и/или цветности с помощью системы обработки, причем способ включает прием входного видеопотока, содержащего изображения в первом динамическом диапазоне, в том числе первое изображение. Способ включает прием второго изображения, представляющего первое изображение входного видеопотока, причем второе изображение имеет второй динамический диапазон, причем второй динамический диапазон выше первого динамического диапазона. Способ включает получение статистических данных для первого и второго изображений. Способ включает определение во время первой временной задержки данных склейки сцены из данных, представляющих изображения во входном видеопотоке, и сохранение данных склейки сцены в первом скользящем окне, причем данные склейки сцены определяют на основании статистических данных первого изображения, статистических данных одного или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и статистических данных одного или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке. Способ включает определение во время второй временной задержки первой функции отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании второго скользящего окна и определенных данных склейки сцены. Способ включает определение во время третьей временной задержки второй функции отображения путем выполнения операции сглаживания над первой функцией отображения на основании третьего скользящего окна и определенных данных склейки сцены. Способ включает определение во время третьей временной задержки третьей функции отображения для отображения значений цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании третьего скользящего окна и определенных данных склейки сцены. Способ включает генерирование во время третьей временной задержки метаданных формирователя для первого изображения на основании второй и третьей функций отображения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея.

[000146] Вариант осуществления 5 представляет собой способ согласно варианту осуществления 4, в котором метаданные формирователя генерируют линейным образом путем приема входного изображения из входного видеопотока и создания выходных метаданных формирователя в качестве одной операции, вследствие чего результатом одного ввода является один вывод.

[000147] Вариант осуществления 6 представляет собой способ согласно варианту осуществления 4, в котором каждое из первого, второго и третьего скользящих окон представляет собой буфер, который с течением времени принимает последовательные части входного видеопотока, причем каждая из частей сохраняет данные для набора последовательных изображений, вследствие чего буфер перемещается во времени по входному видеопотоку.

[000148] Вариант осуществления 7 представляет собой способ согласно варианту осуществления 4, в котором первое, второе и третье скользящие окна содержат кольцевые буфера запоминающего устройства с настраиваемыми значениями длины буфера.

[000149] Вариант осуществления 8 представляет собой способ согласно варианту осуществления 7, в котором статистические данные получают в кольцевом буфере статистических характеристик с настраиваемой длиной буфера, причем длину буфера настраивают на основании значений длины буфера первого, второго и третьего скользящих окон.

[000150] Вариант осуществления 9 представляет собой способ согласно варианту осуществления 4, в котором полученные статистические данные содержат данные склейки сцены, статистические характеристики яркости и цветности для первого и второго изображений.

[000151] Вариант осуществления 10 представляет собой способ согласно варианту осуществления 4, в котором первое скользящее окно содержит один или более флагов склейки сцены, соответствующих новым сценам в соответствующих изображениях первого скользящего окна, причем флаги склейки сцены обеспечивают сглаживание, применяемое к первой функции отображения для каждой сцены.

[000152] Вариант осуществления 11 представляет собой способ согласно варианту осуществления 4, в котором второе скользящее окно содержит статистические характеристики гистограммы первого и второго изображений, причем статистические характеристики гистограммы содержат один или более интервалов, представляющих кодовые слова для пикселей первого или второго изображений соответственно.

[000153] Вариант осуществления 12 представляет собой способ согласно варианту осуществления 11, в котором статистические характеристики гистограммы содержат подвергнутые понижающей дискретизации первое и второе изображения для снижения вычислительной нагрузки, причем первое и второе изображения подвергают понижающей дискретизации путем разделения кодовых слов для пикселей первого или второго изображений соответственно на предварительно определенное количество неперекрывающихся интервалов.

[000154] Вариант осуществления 13 представляет собой способ согласно варианту осуществления 4, в котором определение первой функции отображения включает определение функции отображения яркости на основании первой и второй кумулятивных гистограмм, причем первую и вторую кумулятивные гистограммы вычисляют из статистических характеристик яркости первого и второго изображений соответственно.

[000155] Вариант осуществления 14 представляет собой способ согласно варианту осуществления 13, дополнительно включающий выполнение операции сглаживания над первой функцией отображения на основании обнаруженных данных склейки сцены с использованием одного или более окон сглаживания с разными значениями длины окна.

[000156] Вариант осуществления 15 представляет собой способ согласно варианту осуществления 13, дополнительно включающий конвертирование второй функции отображения в коэффициенты кусочных полиномов для генерирования метаданных формирователя.

[000157] Вариант осуществления 16 представляет собой способ согласно варианту осуществления 4, в котором определение второй функции отображения включает решение задачи наименьших квадратов для вычисления коэффициентов матрицы многовариантной множественной регрессии (MMR) на основании статистических характеристик цветности пикселей первого и второго изображений.

[000158] Вариант осуществления 17 представляет собой способ согласно варианту осуществления 16, в котором решение задачи наименьших квадратов включает минимизацию разностной функции.

[000159] Вариант осуществления 18 представляет собой способ согласно варианту осуществления 4, дополнительно включающий конвертирование цветового пространства в одном или более изображениях входного видеопотока.

[000160] Вариант осуществления 19 представляет собой способ согласно варианту осуществления 4, в котором метаданные формирователя передают на целевое устройство отображения в видеосигнале как часть метаданных изображения, отдельных от первого изображения.

[000161] Вариант осуществления 20 представляет собой способ согласно варианту осуществления 4, дополнительно включающий генерирование метаданных управления отображением (DM) на основании четвертого скользящего окна, причем метаданные DM подлежат использованию целевым устройством отображения для генерирования второго изображения, оптимизированного для целевого дисплея.

[000162] Вариант осуществления 21 представляет собой способ согласно варианту осуществления 4, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждого изображения.

[000163] Вариант осуществления 22 представляет собой способ согласно варианту осуществления 4, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждой сцены входного видеопотока.

[000164] Вариант осуществления 23 представляет собой способ согласно варианту осуществления 4, в котором по меньшей мере одно из первого или второго изображений представлено в одном из цветового пространства IPT PQ (ICtCp), цветового пространства YCbCr, цветового пространства RGB, цветового пространства Rec. 2020, цветового пространства Rec. 709, цветового пространства увеличенного или расширенного динамического диапазона (EDR), цветового пространства гамма/HLG/PQ или цветового пространства стандартного динамического диапазона (SDR).

[000165] Вариант осуществления 24 представляет собой способ согласно варианту осуществления 4, в котором первое изображение имеет битовую глубину, равную одному из 8, 9, 10 или 11 и более битов.

[000166] Вариант осуществления 25 представляет собой способ согласно варианту осуществления 4, в котором второе изображение имеет битовую глубину, равную одному из 8, 9, 10, 11, 12, 13, 14 или 15 и более битов.

[000167] Вариант осуществления 26 представляет собой постоянный машиночитаемый носитель с сохраненными командами, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа как в любом из вариантов осуществления 4–25.

[000168] Вариант осуществления 27 представляет собой систему управления отображением, которая содержит запоминающее устройство и систему обработки, выполненную с возможностью выполнения способа как в любом из вариантов осуществления 4–25.

[000169] Вариант осуществления 28 представляет собой способ преобразования яркости/цветности с помощью процессора с использованием статистических характеристик трехмерного (3D) отображения, причем способ включает прием входного видеопотока, имеющего набор изображений, в том числе первое изображение, в первом динамическом диапазоне. Способ включает генерирование статистических характеристик 3D отображения для первого изображения и второго изображения во втором динамическом диапазоне, которые соответствуют первому изображению, причем второй динамический диапазон выше первого динамического диапазона. Способ включает определение статистических характеристик многовариантной множественной регрессии (MMR) на основании статистических характеристик 3D отображения для генерирования функций отображения цветности в целях оценки значений каналов цветности второго изображения на основании первого изображения. Способ включает генерирование метаданных формирователя, причем метаданные формирователя содержат функции отображения цветности, подлежащие использованию целевым устройством отображения для отображения каналов цветности первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея.

[000170] Вариант осуществления 29 представляет собой способ согласно варианту осуществления 28, в котором статистические характеристики 3D отображения содержат 3D гистограмму, представляющую квантование первого изображения, причем первое изображение подвергнуто квантованию посредством следующего: инициализации множества интервалов для 3D гистограммы, причем каждый интервал представляет ряд пикселей, имеющих соответствующие цветовые каналы; сканирования множества пикселей первого изображения; и увеличения счетчика для каждого из множества интервалов, соответствующих цветовым каналам отсканированного пикселя.

[000171] Вариант осуществления 30 представляет собой способ согласно варианту осуществления 29, в котором 3D гистограмма имеет максимальное количество интервалов, которое является постоянным для будущих входных изображений входного видеопотока во времени.

[000172] Вариант осуществления 31 представляет собой способ согласно варианту осуществления 30, в котором каждый размер 3D гистограммы соответствует цветовому каналу первого изображения.

[000173] Вариант осуществления 32 представляет собой способ согласно варианту осуществления 28, в котором статистические характеристики 3D отображения для второго изображения содержат усредненные значения отображения 3D каналов цветности.

[000174] Вариант осуществления 33 представляет собой способ согласно варианту осуществления 28, в котором усредненные значения отображения 3D каналов цветности представляют собой отдельные значения для каждого из цветовых каналов.

[000175] Вариант осуществления 34 представляет собой способ согласно варианту осуществления 28, в котором определение статистических характеристик многовариантной множественной регрессии (MMR) включает определение статистических характеристик многовариантной множественной регрессии (MMR) на основании 3D таблиц выровненного отображения, причем каждая 3D таблица выровненного отображения представляет один из множества интервалов первого изображения, вследствие чего отображение яркости/цветности не имеет смещения большинства пикселей.

[000176] Вариант осуществления 35 представляет собой способ согласно варианту осуществления 34, в котором 3D таблицы выровненного отображения вычисляют на основании множества значений выровненного отображения, представляющих центральные значения для интервалов 3D гистограммы.

[000177] Вариант осуществления 36 представляет собой способ согласно варианту осуществления 35, в котором генерирование метаданных формирователя включает генерирование коэффициентов MMR путем решения задачи наименьших квадратов для статистических характеристик MMR.

[000178] Вариант осуществления 37 представляет собой способ согласно варианту осуществления 36, в котором статистические характеристики MMR содержат матрицы MMR кумулятивной суммы.

[000179] Вариант осуществления 38 представляет собой способ согласно варианту осуществления 36, в котором решение задачи наименьших квадратов для статистических характеристик MMR включает минимизацию разностной функции.

[000180] Вариант осуществления 39 представляет собой способ согласно варианту осуществления 28, дополнительно включающий конвертирование цветового пространства в одном или более кадрах входного видеопотока.

[000181] Вариант осуществления 40 представляет собой способ согласно варианту осуществления 28, в котором метаданные формирователя передают на целевое устройство отображения в видеосигнале как часть метаданных видеокадра, отдельных от первого изображения.

[000182] Вариант осуществления 41 представляет собой способ согласно варианту осуществления 28, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждого видеокадра.

[000183] Вариант осуществления 42 представляет собой способ согласно варианту осуществления 28, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждой сцены входного видеопотока.

[000184] Вариант осуществления 43 представляет собой способ согласно варианту осуществления 28, в котором по меньшей мере одно из первого или второго изображений представлено в одном из цветового пространства IPT PQ (ICtCp), цветового пространства YCbCr, цветового пространства RGB, цветового пространства Rec. 2020, цветового пространства Rec. 709, цветового пространства расширенного динамического диапазона (EDR), цветового пространства гамма/HLG/PQ или цветового пространства стандартного динамического диапазона (SDR).

[000185] Вариант осуществления 44 представляет собой способ согласно варианту осуществления 28, в котором первое изображение имеет битовую глубину, равную одному из 8, 9, 10 или 11 и более битов.

[000186] Вариант осуществления 45 представляет собой способ согласно варианту осуществления 28, в котором второе изображение имеет битовую глубину, равную одному из 8, 9, 10, 11, 12, 13, 14 или 15 и более битов.

[000187] Вариант осуществления 46 представляет собой постоянный машиночитаемый носитель с сохраненными командами, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа как в любом из вариантов осуществления 28–45.

[000188] Вариант осуществления 47 представляет собой систему управления отображением, которая содержит запоминающее устройство и систему обработки, выполненную с возможностью выполнения способа как в любом из вариантов осуществления 28-45.

[000189] Вариант осуществления 48 представляет собой способ преобразования яркости и/или цветности с помощью системы обработки, причем способ включает прием входного видеопотока, содержащего изображения в первом динамическом диапазоне, в том числе первое изображение. Способ включает получение статистических данных для первого изображения входного видеопотока, причем статистические данные содержат один или более связанных с изображением признаков из первого изображения. Способ включает определение во время первой временной задержки данных склейки сцены из данных, представляющих изображения во входном видеопотоке, и сохранение данных склейки сцены в первом скользящем окне на основании статистических данных первого изображения, статистических данных одного или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и статистических данных одного или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке. Способ включает определение во время второй временной задержки первой функции отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании второго скользящего окна и модели машинного обучения. Способ включает определение во время третьей временной задержки второй функции отображения путем выполнения операции сглаживания над первой функцией отображения на основании третьего скользящего окна. Способ включает генерирование во время третьей временной задержки метаданных формирователя для первого изображения на основании первой и второй функций отображения, причем вторые функции отображения отображают цветовые каналы цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании модели машинного обучения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения второго изображения, которое соответствует первому изображению во втором динамическом диапазоне.

[000190] Вариант осуществления 49 представляет собой способ согласно варианту осуществления 48, в котором метаданные формирователя генерируют линейным образом путем приема входного изображения из входного видеопотока и создания выходных метаданных формирователя в качестве одной операции, вследствие чего результатом одного ввода является один вывод.

[000191] Вариант осуществления 50 представляет собой способ согласно варианту осуществления 48, в котором каждое из первого и второго скользящих окон представляет собой буфер, который с течением времени принимает последовательные части входного видеопотока, причем каждая из частей сохраняет данные для набора последовательных изображений, вследствие чего буфер перемещается во времени по входному видеопотоку.

[000192] Вариант осуществления 51 представляет собой способ согласно варианту осуществления 48, в котором операцию сглаживания выполняют над первой функцией отображения на основании данных склейки сцены в третьем скользящем окне.

[000193] Вариант осуществления 52 представляет собой способ согласно варианту осуществления 51, в котором первое, второе и третье скользящие окна содержат кольцевые буфера запоминающего устройства с настраиваемыми значениями длины буфера.

[000194] Вариант осуществления 53 представляет собой способ согласно варианту осуществления 52, в котором статистические данные получают в кольцевом буфере статистических характеристик с настраиваемой длиной буфера, причем длину буфера настраивают на основании значений длины буфера первого, второго и третьего скользящих окон.

[000195] Вариант осуществления 54 представляет собой способ согласно варианту осуществления 48, в котором полученные статистические данные содержат данные склейки сцены, минимальное/максимальное/среднее значения яркости, гистограмму яркости и значения цветовой насыщенности для каждого интервала гистограммы яркости для первого изображения.

[000196] Вариант осуществления 55 представляет собой способ согласно варианту осуществления 54, в котором гистограмма яркости соответствует подвергнутому понижающей дискретизации первому изображению для снижения вычислительной нагрузки, причем первое изображение подвергают понижающей дискретизации путем разделения кодовых слов для пикселей первого изображения на предварительно определенное количество неперекрывающихся интервалов.

[000197] Вариант осуществления 56 представляет собой способ согласно варианту осуществления 48, в котором один или более связанных с изображением признаков содержат комбинацию усредненных первого, второго, третьего и четвертого порядков минимального, максимального и среднего значений пикселей первого изображения.

[000198] Вариант осуществления 57 представляет собой способ согласно варианту осуществления 48, в котором один или более связанных с изображением признаков содержат усредненную гистограмму яркости.

[000199] Вариант осуществления 58 представляет собой способ согласно варианту осуществления 48, в котором один или более связанных с изображением признаков содержат усредненные значения цветовой насыщенности для интервалов гистограммы яркости.

[000200] Вариант осуществления 59 представляет собой способ согласно варианту осуществления 48, в котором первое скользящее окно содержит один или более флагов склейки сцены, соответствующих новым сценам в соответствующих изображениях первого скользящего окна.

[000201] Вариант осуществления 60 представляет собой способ согласно варианту осуществления 48, в котором модель машинного обучения предсказывает значения яркости для второго изображения на основании одного или более связанных с изображением признаков.

[000202] Вариант осуществления 61 представляет собой способ согласно варианту осуществления 48, в котором модель машинного обучения включает общую линейную модель (GLM).

[000203] Вариант осуществления 62 представляет собой способ согласно варианту осуществления 48, дополнительно включающий конвертирование первой функции отображения в коэффициенты кусочных полиномов для генерирования метаданных формирователя.

[000204] Вариант осуществления 63 представляет собой способ согласно варианту осуществления 48, дополнительно включающий генерирование метаданных управления отображением (DM) на основании четвертого скользящего окна, причем метаданные DM подлежат использованию целевым устройством отображения для генерирования второго изображения, оптимизированного для целевого дисплея.

[000205] Вариант осуществления 64 представляет собой способ согласно варианту осуществления 48, дополнительно включающий конвертирование цветового пространства в одном или более изображениях входного видеопотока.

[000206] Вариант осуществления 65 представляет собой способ согласно варианту осуществления 48, в котором метаданные формирователя передают на целевое устройство отображения в видеосигнале как часть метаданных изображения, отдельных от первого изображения.

[000207] Вариант осуществления 66 представляет собой способ согласно варианту осуществления 48, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждого изображения.

[000208] Вариант осуществления 67 представляет собой способ согласно варианту осуществления 48, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждой сцены входного видеопотока.

[000209] Вариант осуществления 68 представляет собой способ согласно варианту осуществления 48, в котором по меньшей мере одно из первого или второго изображений представлено в одном из цветового пространства IPT PQ (ICtCp), цветового пространства YCbCr, цветового пространства RGB, цветового пространства Rec. 2020, цветового пространства Rec. 709, цветового пространства расширенного динамического диапазона (EDR), цветового пространства гамма/HLG/PQ или цветового пространства стандартного динамического диапазона (SDR).

[000210] Вариант осуществления 69 представляет собой способ согласно варианту осуществления 48, в котором первое изображение имеет битовую глубину, равную одному из 8, 9, 10 или 11 и более битов.

[000211] Вариант осуществления 70 представляет собой способ согласно варианту осуществления 48, в котором второе изображение имеет битовую глубину, равную одному из 8, 9, 10, 11, 12, 13, 14 или 15 и более битов.

[000212] Вариант осуществления 71 представляет собой постоянный машиночитаемый носитель с сохраненными командами, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа как в любом из вариантов осуществления 48-70.

[000213] Вариант осуществления 72 представляет собой систему управления отображением, которая содержит запоминающее устройство и систему обработки, выполненную с возможностью выполнения способа как в любом из вариантов осуществления 48–70.

[000214] В таблице 13 ниже представлен список обозначений.

[000215] Различные аспекты настоящего изобретения можно понять из следующих пронумерованных примерных вариантов осуществления (ППВО):

1. Способ преобразования яркости и/или цветности с помощью системы обработки, причем способ включает:

прием входного видеопотока, содержащего изображения в первом динамическом диапазоне, в том числе первое изображение;

прием второго изображения, представляющего первое изображение входного видеопотока, причем второе изображение имеет второй динамический диапазон, причем второй динамический диапазон выше первого динамического диапазона;

получение статистических данных для первого и второго изображений;

определение во время первой временной задержки данных склейки сцены из данных, представляющих изображения во входном видеопотоке, и сохранение данных склейки сцены в первом скользящем окне, причем данные склейки сцены определяют на основании статистических данных первого изображения, статистических данных одного или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и статистических данных одного или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке;

определение во время второй временной задержки первой функции отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании второго скользящего окна и определенных данных склейки сцены;

определение во время третьей временной задержки второй функции отображения путем выполнения операции сглаживания над первой функцией отображения на основании третьего скользящего окна и определенных данных склейки сцены;

определение во время третьей временной задержки третьей функции отображения для отображения значений цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании третьего скользящего окна и определенных данных склейки сцены; и

генерирование во время третьей временной задержки метаданных формирователя для первого изображения на основании второй и третьей функций отображения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея.

2. Способ согласно ППВО 1, в котором метаданные формирователя генерируют линейным образом путем приема входного изображения из входного видеопотока и создания выходных метаданных формирователя в качестве одной операции, вследствие чего результатом одного ввода является один вывод.

3. Способ согласно любому предыдущему ППВО, в котором каждое из первого, второго и третьего скользящих окон представляет собой буфер, который с течением времени принимает последовательные части входного видеопотока, причем каждая из частей сохраняет данные для набора последовательных изображений, вследствие чего буфер перемещается во времени по входному видеопотоку.

4. Способ согласно любому предыдущему ППВО, в котором первое, второе и третье скользящие окна содержат кольцевые буфера запоминающего устройства с настраиваемыми значениями длины буфера.

5. Способ согласно ППВО 4, в котором статистические данные получают в кольцевом буфере статистических характеристик с настраиваемой длиной буфера, причем длину буфера настраивают на основании значений длины буфера первого, второго и третьего скользящих окон.

6. Способ согласно любому предыдущему ППВО, в котором полученные статистические данные содержат данные склейки сцены, статистические характеристики яркости и цветности для первого и второго изображений.

7. Способ согласно любому предыдущему ППВО, в котором первое скользящее окно содержит один или более флагов склейки сцены, соответствующих новым сценам в соответствующих изображениях первого скользящего окна, причем флаги склейки сцены обеспечивают сглаживание, применяемое к первой функции отображения для каждой сцены.

8. Способ согласно любому предыдущему ППВО, в котором второе скользящее окно содержит статистические характеристики гистограммы первого и второго изображений, причем статистические характеристики гистограммы содержат один или более интервалов, представляющих кодовые слова для пикселей первого или второго изображений соответственно.

9. Способ согласно ППВО 8, в котором статистические характеристики гистограммы содержат подвергнутые понижающей дискретизации первое и второе изображения для снижения вычислительной нагрузки, причем первое и второе изображения подвергают понижающей дискретизации путем разделения кодовых слов для пикселей первого или второго изображений соответственно на предварительно определенное количество неперекрывающихся интервалов.

10. Способ согласно любому предыдущему ППВО, в котором определение первой функции отображения включает определение функции отображения яркости на основании первой и второй кумулятивных гистограмм, причем первую и вторую кумулятивные гистограммы вычисляют из статистических характеристик яркости первого и второго изображений соответственно.

11. Способ согласно ППВО 10, дополнительно включающий выполнение операции сглаживания над первой функцией отображения на основании обнаруженных данных склейки сцены с использованием одного или более окон сглаживания с разными значениями длины окна.

12. Способ согласно ППВО 10 или ППВО 11, дополнительно включающий конвертирование второй функции отображения в коэффициенты кусочных полиномов для генерирования метаданных формирователя.

13. Способ согласно любому предыдущему ППВО, в котором определение второй функции отображения включает решение задачи наименьших квадратов для вычисления коэффициентов матрицы многовариантной множественной регрессии (MMR) на основании статистических характеристик цветности пикселей первого и второго изображений.

14. Способ согласно ППВО 13, в котором решение задачи наименьших квадратов включает минимизацию разностной функции.

15. Способ согласно любому предыдущему ППВО, дополнительно включающий конвертирование цветового пространства в одном или более изображениях входного видеопотока.

16. Способ согласно любому предыдущему ППВО, в котором метаданные формирователя передают на целевое устройство отображения в видеосигнале как часть метаданных изображения, отдельных от первого изображения.

17. Способ согласно любому предыдущему ППВО, дополнительно включающий генерирование метаданных управления отображением (DM) на основании четвертого скользящего окна, причем метаданные DM подлежат использованию целевым устройством отображения для генерирования второго изображения, оптимизированного для целевого дисплея.

18. Способ согласно любому предыдущему ППВО, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждого изображения.

19. Способ согласно любому предыдущему ППВО, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждой сцены входного видеопотока.

20. Способ согласно любому предыдущему ППВО, в котором по меньшей мере одно из первого или второго изображений представлено в одном из цветового пространства IPT PQ (ICtCp), цветового пространства YCbCr, цветового пространства RGB, цветового пространства Rec. 2020, цветового пространства Rec. 709, цветового пространства расширенного динамического диапазона (EDR), цветового пространства гамма/HLG/PQ или цветового пространства стандартного динамического диапазона (SDR).

21. Способ согласно любому предыдущему ППВО, в котором первое изображение имеет битовую глубину, равную одному из 8, 9, 10 или 11 и более битов.

22. Способ согласно любому предыдущему ППВО, в котором второе изображение имеет битовую глубину, равную одному из 8, 9, 10, 11, 12, 13, 14 или 15 и более битов.

23. Постоянный машиночитаемый носитель с сохраненными командами, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа согласно любому из ППВО 1–22.

24. Система управления отображением, которая содержит запоминающее устройство и систему обработки, выполненная с возможностью выполнения способа согласно любому из ППВО 1–22.

25. Способ преобразования яркости/цветности с помощью процессора с использованием статистических характеристик трехмерного (3D) отображения, причем способ включает:

прием входного видеопотока, имеющего набор изображений, в том числе первое изображение в первом динамическом диапазоне;

генерирование статистических характеристик 3D отображения для первого изображения и второго изображения во втором динамическом диапазоне, которые соответствуют первому изображению, причем второй динамический диапазон выше первого динамического диапазона;

определение статистических характеристик многовариантной множественной регрессии (MMR) на основании статистических характеристик 3D отображения для генерирования функций отображения цветности в целях оценки значений каналов цветности второго изображения на основании первого изображения; и

генерирование метаданных формирователя, причем метаданные формирователя содержат функции отображения цветности, подлежащие использованию целевым устройством отображения для отображения каналов цветности первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея.

26. Способ согласно ППВО 25, в котором статистические характеристики 3D отображения содержат 3D гистограмму, представляющую квантование первого изображения, причем первое изображение подвергнуто квантованию посредством следующего:

инициализации множества интервалов для 3D гистограммы, причем каждый интервал представляет ряд пикселей, имеющих соответствующие цветовые каналы;

сканирования множества пикселей первого изображения; и

увеличения счетчика для каждого из множества интервалов, соответствующих цветовым каналам отсканированного пикселя.

27. Способ согласно ППВО 26, в котором 3D гистограмма имеет максимальное количество интервалов, которое является постоянным для будущих входных изображений входного видеопотока во времени.

28. Способ согласно ППВО 27, в котором каждый размер 3D гистограммы соответствует цветовому каналу первого изображения.

29. Способ согласно любому из ППВО 25–28, в котором статистические характеристики 3D отображения для второго изображения содержат усредненные значения отображения 3D каналов цветности.

30. Способ согласно ППВО 29, в котором усредненные значения отображения 3D каналов цветности представляют собой отдельные значения для каждого из цветовых каналов.

31. Способ согласно любому из ППВО 25–30, в котором определение статистических характеристик многовариантной множественной регрессии (MMR) включает определение статистических характеристик многовариантной множественной регрессии (MMR) на основании 3D таблиц выровненного отображения, причем каждая 3D таблица выровненного отображения представляет один из множества интервалов первого изображения, вследствие чего отображение яркости/цветности не имеет смещения большинства пикселей.

32. Способ согласно ППВО 31, в котором 3D таблицы выровненного отображения вычисляют на основании множества значений выровненного отображения, представляющих центральные значения для интервалов 3D гистограммы.

33. Способ согласно ППВО 32, в котором генерирование метаданных формирователя включает генерирование коэффициентов MMR путем решения задачи наименьших квадратов для статистических характеристик MMR.

34. Способ согласно ППВО 33, в котором статистические характеристики MMR содержат матрицы MMR кумулятивной суммы.

35. Способ согласно ППВО 34, в котором решение задачи наименьших квадратов для статистических характеристик MMR включает минимизацию разностной функции.

36. Способ согласно любому из ППВО 25–35, дополнительно включающий конвертирование цветового пространства в одном или более кадрах входного видеопотока.

37. Способ согласно любому из ППВО 25–36, в котором метаданные формирователя передают на целевое устройство отображения в видеосигнале как часть метаданных видеокадра, отдельных от первого изображения.

38. Способ согласно любому из ППВО 25–37, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждого видеокадра.

39. Способ согласно любому из ППВО 25–38, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждой сцены входного видеопотока.

40. Способ согласно любому из ППВО 25–39, в котором по меньшей мере одно из первого или второго изображений представлено в одном из цветового пространства IPT PQ (ICtCp), цветового пространства YCbCr, цветового пространства RGB, цветового пространства Rec. 2020, цветового пространства Rec. 709, цветового пространства расширенного динамического диапазона (EDR), цветового пространства гамма/HLG/PQ или цветового пространства стандартного динамического диапазона (SDR).

41. Способ согласно любому из ППВО 25–40, в котором первое изображение имеет битовую глубину, равную одному из 8, 9, 10 или 11 и более битов.

42. Способ согласно любому из ППВО 25–41, в котором второе изображение имеет битовую глубину, равную одному из 8, 9, 10, 11, 12, 13, 14 или 15 и более битов.

43. Постоянный машиночитаемый носитель с сохраненными командами, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа согласно любому из ППВО 25–42.

44. Система управления отображением, которая содержит запоминающее устройство и систему обработки, выполненная с возможностью выполнения способа согласно любому из ППВО 25–42.

45. Способ преобразования яркости и/или цветности с помощью системы обработки, причем способ включает:

прием входного видеопотока, содержащего изображения в первом динамическом диапазоне, в том числе первое изображение;

получение статистических данных для первого изображения входного видеопотока, причем статистические данные содержат один или более связанных с изображением признаков из первого изображения;

определение во время первой временной задержки данных склейки сцены из данных, представляющих изображения во входном видеопотоке, и сохранение данных склейки сцены в первом скользящем окне, основанных на статистических данных первого изображения, статистических данных одного или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и статистических данных одного или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке;

определение во время второй временной задержки первой функции отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании второго скользящего окна и модели машинного обучения;

определение во время третьей временной задержки второй функции отображения путем выполнения операции сглаживания над первой функцией отображения на основании третьего скользящего окна и определенных данных склейки сцены; и

генерирование во время третьей временной задержки метаданных формирователя для первого изображения на основании второй и третьей функций отображения, причем третьи функции отображения отображают цветовые каналы цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании модели машинного обучения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения второго изображения, которое соответствует первому изображению во втором динамическом диапазоне.

46. Способ согласно ППВО 45, в котором метаданные формирователя генерируют линейным образом путем приема входного изображения из входного видеопотока и создания выходных метаданных формирователя в качестве одной операции, вследствие чего результатом одного ввода является один вывод.

47. Способ согласно ППВО 45 или 46, в котором каждое из первого и второго скользящих окон представляет собой буфер, который с течением времени принимает последовательные части входного видеопотока, причем каждая из частей сохраняет данные для набора последовательных изображений, вследствие чего буфер перемещается во времени по входному видеопотоку.

48. Способ согласно любому из ППВО 45–47, в котором операцию сглаживания выполняют над первой функцией отображения на основании данных склейки сцены в третьем скользящем окне.

49. Способ согласно ППВО 48, в котором первое, второе и третье скользящие окна содержат кольцевые буфера запоминающего устройства с настраиваемыми значениями длины буфера.

50. Способ согласно ППВО 49, в котором статистические данные получают в кольцевом буфере статистических характеристик с настраиваемой длиной буфера, причем длину буфера настраивают на основании значений длины буфера первого, второго и третьего скользящих окон.

51. Способ согласно любому из ППВО 45–50, в котором полученные статистические данные содержат данные склейки сцены, минимальное/максимальное/среднее значения яркости, гистограмму яркости и значения цветовой насыщенности для каждого интервала гистограммы яркости для первого изображения.

52. Способ согласно ППВО 51, в котором гистограмма яркости включает подвергнутую понижающей дискретизации гистограмму, причем подвергнутую понижающей дискретизации гистограмму подвергают понижающей дискретизации путем разделения кодовых слов для пикселей первого изображения на предварительно определенное количество неперекрывающихся интервалов.

53. Способ согласно любому из ППВО 45–52, в котором один или более связанных с изображением признаков содержат комбинацию усредненных первого, второго, третьего и четвертого порядков минимального, максимального и среднего значений пикселей первого изображения.

54. Способ согласно любому из ППВО 45–53, в котором один или более связанных с изображением признаков содержат усредненную гистограмму яркости.

55. Способ согласно любому из ППВО 45–54, в котором один или более связанных с изображением признаков содержат усредненные значения цветовой насыщенности для интервалов гистограммы яркости.

56. Способ согласно любому из ППВО 45–55, в котором первое скользящее окно содержит один или более флагов склейки сцены, соответствующих новым сценам в соответствующих изображениях первого скользящего окна.

57. Способ согласно любому из ППВО 45–56, в котором модель машинного обучения предсказывает значения яркости для второго изображения на основании одного или более связанных с изображением признаков.

58. Способ согласно любому из ППВО 45–57, в котором модель машинного обучения включает общую линейную модель (GLM).

59. Способ согласно любому из ППВО 45–58, дополнительно включающий конвертирование первой функции отображения в коэффициенты кусочных полиномов для генерирования метаданных формирователя.

60. Способ согласно любому из ППВО 45–59, дополнительно включающий генерирование метаданных управления отображением (DM) на основании четвертого скользящего окна, причем метаданные DM подлежат использованию целевым устройством отображения для генерирования второго изображения, оптимизированного для целевого дисплея.

61. Способ согласно любому из ППВО 45–60, дополнительно включающий конвертирование цветового пространства в одном или более изображениях входного видеопотока.

62. Способ согласно любому из ППВО 45–61, в котором метаданные формирователя передают на целевое устройство отображения в видеосигнале как часть метаданных изображения, отдельных от первого изображения.

63. Способ согласно любому из ППВО 45–62, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждого изображения.

64. Способ согласно любому из ППВО 45–63, в котором генерирование метаданных формирователя включает генерирование уникальных метаданных для каждой сцены входного видеопотока.

65. Способ согласно любому из ППВО 45–64, в котором по меньшей мере одно из первого или второго изображений представлено в одном из цветового пространства IPT PQ (ICtCp), цветового пространства YCbCr, цветового пространства RGB, цветового пространства Rec. 2020, цветового пространства Rec. 709, цветового пространства расширенного динамического диапазона (EDR), цветового пространства гамма/HLG/PQ или цветового пространства стандартного динамического диапазона (SDR).

66. Способ согласно любому из ППВО 45–65, в котором первое изображение имеет битовую глубину, равную одному из 8, 9, 10 или 11 и более битов.

67. Способ согласно любому из ППВО 45–66, в котором второе изображение имеет битовую глубину, равную одному из 8, 9, 10, 11, 12, 13, 14 или 15 и более битов.

68. Постоянный машиночитаемый носитель с сохраненными командами, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа согласно любому из ППВО 45–67.

69. Система управления отображением, которая содержит запоминающее устройство и систему обработки, выполненная с возможностью выполнения способа согласно любому из ППВО 45–67.

Изобретение относится к средствам для обработки видео. Технический результат заключается в повышении эффективности обработки видео. Принимают входной видеопоток, содержащий изображения в первом динамическом диапазоне, в том числе первое изображение. Принимают второе изображение, представляющее первое изображение входного видеопотока, причем второе изображение имеет второй динамический диапазон, причем второй динамический диапазон выше первого динамического диапазона. Получают статистические данные для первого и второго изображений, причем полученные статистические данные включают статистические характеристики яркости и цветности для первого и второго изображений, и сохраняют статистические данные в буфере. Определяют во время первой временной задержки данные склейки сцены на основании статистических данных в первом скользящем окне, содержащем первое изображение, одно или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и одно или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке. Определяют во время второй временной задержки первую функцию отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон. 3 н. и 11 з.п. ф-лы, 15 ил., 13 табл.

1. Способ генерирования метаданных преобразования яркости и/или цветности с помощью системы обработки, причем способ включает:

прием (этап 901) входного видеопотока (104), содержащего изображения в первом динамическом диапазоне, в том числе первое изображение (802);

прием (этап 902) второго изображения (801), представляющего первое изображение входного видеопотока, причем второе изображение имеет второй динамический диапазон, причем второй динамический диапазон выше первого динамического диапазона;

получение (этап 903) статистических данных для первого и второго изображений, причем полученные статистические данные включают статистические характеристики яркости и цветности для первого и второго изображений, и сохранение статистических данных в буфере (502, 601);

определение (этап 904) во время первой временной задержки данных склейки сцены на основании статистических данных в первом скользящем окне (L3), содержащем первое изображение (801), одно или более следующих изображений, находящихся после первого изображения во времени во входном видеопотоке, и одно или более предыдущих изображений, находящихся перед первым изображением во времени во входном видеопотоке;

определение (этап 905) во время второй временной задержки первой функции отображения для отображения значений яркости для первого изображения из первого динамического диапазона во второй динамический диапазон на основании статистических данных и определенных данных склейки сцены во втором скользящем окне (L2);

определение (этап 906) во время третьей временной задержки второй функции отображения путем выполнения операции сглаживания над первой функцией отображения на основании первой функции отображения и определенных данных склейки сцены в третьем скользящем окне (L1);

определение (этап 901) во время третьей временной задержки третьей функции отображения для отображения значений цветности для первого изображения из первого динамического диапазона во второй динамический диапазон на основании статистических данных и определенных данных склейки сцены в третьем скользящем окне (L1); и

генерирование (этап 908) во время третьей временной задержки метаданных (810) формирователя для первого изображения на основании второй и третьей функций отображения, причем сгенерированные метаданные формирователя используются целевым устройством отображения для отображения первого изображения из первого динамического диапазона во второй динамический диапазон для дисплея.

2. Способ по п. 1, отличающийся тем, что система обработки представляет собой линейный кодер, причем линейный кодер имеет настраиваемую временную задержку между входным кадром и соответствующими метаданными формирователя.

3. Способ по любому из предыдущих пунктов, отличающийся тем, что каждое из первого, второго и третьего скользящих окон представляет собой буфер, который с течением времени принимает последовательные части входного видеопотока, причем каждая из частей сохраняет данные для набора последовательных изображений, вследствие чего буфер перемещается во времени по входному видеопотоку.

4. Способ по любому из предыдущих пунктов, отличающийся тем, что первое, второе и третье скользящие окна реализованы как кольцевые буфера запоминающего устройства с настраиваемыми значениями длины буфера.

5. Способ по п. 4, отличающийся тем, что статистические данные получают в кольцевом буфере статистических характеристик с настраиваемой длиной буфера, причем длину буфера настраивают на основании значений длины буфера первого, второго и третьего скользящих окон.

6. Способ по п. 4, отличающийся тем, что кольцевой буфер запоминающего устройства, реализующий второе скользящее окно, хранит статистические характеристики гистограммы первого и второго изображений, причем статистические характеристики гистограммы содержат один или более интервалов, представляющих кодовые слова для пикселей первого или второго изображений соответственно.

7. Способ по п. 6, отличающийся тем, что статистические характеристики гистограммы подвергают понижающей дискретизации путем разделения кодовых слов для пикселей первого или второго изображений соответственно на предварительно определенное количество неперекрывающихся интервалов.

8. Способ по любому из предыдущих пунктов, отличающийся тем, что определение первой функции отображения включает определение функции отображения яркости на основании первой и второй кумулятивных гистограмм, причем первую и вторую кумулятивные гистограммы вычисляют из статистических характеристик яркости первого и второго изображений соответственно.

9. Способ по п. 1, отличающийся тем, что вторая функция отображения представляет собой справочную таблицу обратного преобразования (BLUT).

10. Способ по п. 1, отличающийся тем, что дополнительно включает выполнение операции сглаживания над первой функцией отображения на основании обнаруженных данных склейки сцены с использованием одного или более окон сглаживания с разными значениями длины окна.

11. Способ по п. 10, отличающийся тем, что дополнительно включает конвертирование второй функции отображения в коэффициенты кусочных полиномов для генерирования метаданных формирователя.

12. Способ по любому из предыдущих пунктов, отличающийся тем, что определение третьей функции отображения включает решение задачи наименьших квадратов для вычисления коэффициентов матрицы многовариантной множественной регрессии (MMR) на основании статистических характеристик цветности пикселей первого и второго изображений.

13. Постоянный машиночитаемый носитель с сохраненными командами, которые, при их исполнении системой управления отображением, вызывают выполнение системой способа по любому из пп. 1-12.

14. Система управления отображением, которая содержит запоминающее устройство и систему обработки, выполненная с возможностью выполнения способа по любому из пп. 1-12.