АВТОМАТИЗИРОВАННАЯ СИСТЕМА ПРОСМОТРА КОНТЕНТА С ВЫСОКИМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ В РЕАЛЬНОМ ВРЕМЕНИ Российский патент 2023 года по МПК G06T5/00 G06F18/24 

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[0001] Под контентом “с высоким динамическим диапазоном” (HDR) понимают контент (например, изображения, видео), содержащий тоны (светлоту, глубину или насыщенность цветовых оттенков), имеющие динамический диапазон (т.е. отношение наибольшего и наименьшего значений), превышающий стандартный динамический диапазон (SDR) (например, как в изображениях/видео, рендеризуемых с использованием традиционной кривой гамма-распределения). Источники света и отражения света играют важную роль в обеспечении визуального качества HDR-контента. Поэтому, когда HDR-изображение включает в себя признаки с неестественными и несогласованными значениями яркости, визуальное качество изображения снижается.

[0002] Некоторый HDR-контент "создается" с использованием инструментов создания контента, и не захватывается записывающими устройствами, например камерами. Примеры таких сценариев создания включают в себя видеоигры и мультфильмы и визуальные эффекты (“VFX”) в фильмах. HDR-контент также может "автосоздаваться" алгоритмически. Этот тип HDR-контента ни записывается, ни создается вручную инструментами создания контента.

[0003] Во многих случаях HDR-контент создается и/или редактируется с использованием устройств отображения с SDR. Например, видеоигры с HDR-изображениями в реальном времени создаются многие годы, причем первая видеоигра, где использовались подходы освещения с HDR, вышла в 1997 г. Для просмотра HDR-изображений игры в реальном времени на SDR-дисплее, значения HDR в этих изображениях сначала нужно преобразовать в гораздо меньший диапазон значений светлоты и цвета. Такая обработка обычно именуется тональным отображением. HDR-дисплеи способны к естественному отображению HDR-контента без необходимости в тональном отображении, что, естественно, приводит к улучшению визуального качества.

[0004] Однако до примерно 2015 г. все бытовые устройства отображения имели SDR и были неспособны естественным образом отображать HDR-контент. Таким образом, подавляющее большинство потребителей по-прежнему обходится устройствами отображения с SDR. Кроме того, современное низкое распространение HDR-дисплеев (в особенности небольших дисплеев, которые легко умещаются на столе) означает, что даже большинство создателей контента видеоигр все еще используют устройства отображения с SDR, и действительно, многие инструменты создания контента по-прежнему не поддерживают устройства отображения с HDR. Другими словами, контент большинства видеоигр все еще мастеризуется в SDR, в том числе контент, имеющий HDR. В результате, в ходе создания HDR-контента, такой HDR-контент может включать в себя непреднамеренное использование неестественных и несогласованных значении яркости для источников света и отражений света, поскольку создатель контента игры фактически не может наблюдать на устройстве отображения с SDR, используемом для создания HDR-контента, значения яркости, естественные для HDR. Это может приводить к снижению качества HDR-изображение при отображении на устройствах отображения с возможностями HDR.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] В этом разделе в упрощенной форме изложен ряд принципов, которые дополнительно описаны ниже в подробном описании. Эта сущность изобретения не призвана идентифицировать ключевые признаки или существенные признаки заявленного изобретения, а также не призвана ограничивать объем заявленного изобретения.

[0006] Здесь описаны способы, системы и компьютерные программные продукты, которые позволяют обнаруживать светлые области в HDR-контенте, имеющие неверные и/или несогласованные тоны, и автоматически или вручную корректировать такие тоны. В изображении идентифицируется светлая область. Светлая область классифицируется в присвоенную классификацию. Значение яркости светлой области определяется и сравнивается с заранее заданными значениями яркости, соответствующими классификации. Значение яркости светлой области регулируется для согласования с заранее заданными значениями яркости при наличии рассогласования. Светлые области, включающие в себя несогласованные или неверные значения яркости, могут рендеризоваться на дисплее совместно с визуальным индикатором, указывающим, что такие области включают в себя несогласованные значения яркости.

[0007] Вводимая вручную коррекция яркости может приниматься для таких несогласованных светлых областей, или коррекция может автоматически генерироваться. Такая коррекция может применяться к HDR-изображению для формирования скорректированного HDR-изображения. Могут генерироваться скорректированные значения яркости, которые согласуются с другой светлой областью с одной и той же классификацией в одном и том же изображении. Помимо генерирования корректировок неверных значений яркости, регулировка масштаба может применяться к значениям яркости на протяжении светлой области для генерации масштабированного и отрегулированного значения яркости.

[0008] Идентификация и классификация светлых областей изображения может осуществляться по-разному, например с помощью надлежащим образом обученной модели машинного обучения. Такую модель можно обучать с использованием изображений, включающих в себя светлые области, классификации которых можно использовать в HDR-контенте (например, Солнце, Луне, огне, взрывах, зеркальных бликах и т.д.). Заранее заданные значения яркости для каждого класса светлой области можно аналогично определять с помощью надлежащим образом обученной модели машинного обучения. Такую модель можно обучать с использованием не только изображений предполагаемой классификации, но и обладающих значениями яркости в желаемом диапазоне для такой классификации. Альтернативно, заранее заданные значения яркости могут вручную задаваться видеоинженером, разработчиком игр, другим создателем контента, или другим лицом.

[0009] Дополнительные признаки и преимущества, а также структура и принцип действия различных примеров, подробно описаны ниже со ссылкой на прилагаемые чертежи. Заметим, что принципы и подходы не ограничиваются описанными здесь конкретными примерами. Такие примеры представлены здесь исключительно в целях иллюстрации. Дополнительные примеры будут очевидны специалистам в данной области техники на основании содержащихся здесь принципов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0010] Прилагаемые чертежи, включенные в описания изобретения и составляющие его часть, иллюстрируют варианты осуществления настоящего изобретения и, совместно с описанием, дополнительно служат для пояснения принципов вариантов осуществления и для того, чтобы специалист в данной области техники мог использовать описанные варианты осуществления и предлагать новые.

[0011] Фиг. 1 - иллюстративная система просмотра HDR-контента, включающая в себя корректор яркости HDR, согласно варианту осуществления.

[0012] Фиг. 2 - иллюстративная система коррекции яркости, согласно варианту осуществления.

[0013] Фиг. 3 - два примера иллюстративного HDR-контента одной и той же классификации в одном и том же изображении, созданного двумя разными создателями контента, но с разными значениями яркости, согласно варианту осуществления.

[0014] Фиг. 4 - SDR-рендеризация иллюстративного HDR-контента, показанного на фиг. 3, после применения тонального отображения SDR, согласно иллюстративному варианту осуществления.

[0015] Фиг. 5 - блок-схема операций способа просмотра и корректировки HDR-контента, согласно варианту осуществления.

[0016] фиг. 6 - блок-схема операций, дополняющая блок-схему операций, показанную на фиг. 5, для просмотра и корректировки HDR-контента, согласно варианту осуществления.

[0017] Фиг. 7 - блок-схема операций способа автоматического определения отрегулированного значения яркости для идентифицированной светлой области, согласно варианту осуществления.

[0018] Фиг. 8 - блок-схема операций способа передачи отображаемого изображения в модель машинного обучения для идентификации положения и размера светлой области, причем модель машинного обучения обучена идентифицировать светлые области, согласно варианту осуществления.

[0019] Фиг. 9 - блок-схема операций способа классификации идентифицированной светлой области с помощью модели машинного обучения, согласно варианту осуществления.

[0020] Фиг. 10 - блок-схема иллюстративной процессорной компьютерной системы, которую можно использовать для реализации различных вариантов осуществления.

[0021] Признаки и преимущества вариантов осуществления явствуют из изложенного ниже подробного описания, приведенного совместно с чертежами, где аналогичные ссылочные позиции идентифицируют соответствующие элементы на всем протяжении. В чертежах, аналогичные ссылочные позиции в общем случае указывают идентичный, функционально аналогичные и/или структурно аналогичные элементы. Чертеж, где элемент появляется в первый раз, указывается в соответствующей ссылочной позиции цифрой(ами) слева.

ПОДРОБНОЕ ОПИСАНИЕ

I. Введение

[0022] В следующем подробном описании раскрыты многочисленные варианты осуществления. Объем настоящей патентной заявки не ограничивается раскрытыми вариантами осуществления, но охватывает комбинации раскрытых вариантов осуществления, а также модификаций раскрытых вариантов осуществления.

[0023] Встречающиеся в описании изобретения выражения "один вариант осуществления", "вариант осуществления", "иллюстративный вариант осуществления" и т.д., указывают, что описанный вариант осуществления может включать в себя конкретный признак, структуру или характеристику, но не обязательно, чтобы каждый вариант осуществления включал в себя конкретный признак, структуру или характеристику. Кроме того, такие выражения не обязательно относятся к одному и тому же варианту осуществления. Дополнительно, когда признак, структура или характеристика описан(а) в связи с вариантом осуществления, предполагается, что специалист в данной области техники обладает достаточными знаниями для реализации такого признака, структуры или характеристики в связи с другими вариантами осуществления, описанными в явном виде или нет.

[0024] Многочисленные иллюстративные варианты осуществления описаны ниже. Заметим, что никакие обеспеченные здесь заголовки разделов/подразделов не призваны служить ограничением. Варианты осуществления описаны на протяжении всего этого документа, и любой тип варианта осуществления может быть включен в любой раздел/подраздел. Кроме того, варианты осуществления, раскрытые в любом разделе/подразделе, можно тем или иным способом объединять с любыми другими вариантами осуществления, описанными в том же разделе/подразделе и/или другом разделе/подразделе.

II. Иллюстративные варианты осуществления

[0025] Как упомянуто выше, HDR-контент часто создается с использованием устройств отображения с SDR и фактически, контент большинства видеоигр сегодня создается с использованием SDR-дисплеев. В таком случае, в ходе создания контента, создатель HDR-контента не всегда может видеть различия между тонами на SDR-дисплее, что приводит к неестественным и несогласованным значениям яркости, возможно случайно используемым для источников света и отражений света. Это может приводить к снижению качества HDR-изображения. В частности, зритель контента на HDR-дисплее может наблюдать необходимые различия в тонах между признаками контента (например, двумя кострами), отображаемыми в одном и том же изображении, ухудшающие изображение с точки зрения зрителя.

[0026] Формирование HDR-контента на устройствах отображения с SDR может привести к дополнительным проблемам. Например, некоторые инструменты создания контента могут неестественно повышать значения яркости некоторых признаков изображения путем применения линейных скалярных значений, подчеркивая некоторые источники света и визуальные эффекты (VFX). Кроме того, разные создатели контента могут использовать разные значения яркости для однотипных источников света и VFX. Приведем примеры:

- отражение солнца на воде может создаваться более светлым, чем фактическое солнце;

- свет свечи может создаваться более светлым, чем свет лампы накаливания;

- взрывы могут создаваться более светлым на одном уровне игры, чем на другом уровне, который был создан другим создателем контента; и

- луна может создаваться более светлой, чем световое пятно, несмотря на то, что луна не светит.

[0027] Конечный результат состоит в том, что окончательное изображение, представленное на устройстве отображения с SDR, может выглядеть правильно, даже при включенных несогласованных и неестественных значений яркости, то же изображение может выглядеть очень неестественно и/или несогласованно на устройстве отображения HDR.

[0028] Для решения этих проблем, создатели контента и продюсеры тратят много дополнительного времени на просмотр контента, например, видеоигры, на разных HDR-дисплеях для идентификации несогласованных и неестественных значений яркости. В общем случае, весь процесс просмотра требует массу времени. Например, в случае видеоигры, создатели контента и продюсеры вынуждены проходить большинство уровней игры или, в случае фильма, требуется просмотреть почти весь фильм, и видеоигра или фильм может не завершиться в полном объеме, пока долгое время спустя не будут созданы изображения с участием конкретного создателя контента /продюсера. Затем созданный контент для видеоигры или фильма может создаваться с разными значениями яркости. Соответственно, варианты осуществления позволяют более эффективно просматривать HDR-контент и корректировать его яркость для решения этих проблем. Рассмотрим обобщенный обзор процесса просмотра HDR-контента в контексте видеоигры, согласно иллюстративному варианту осуществления.

[0029] Процесс просмотра HDR-контента начинается с графика-дизайнера, разработчика игр или другого создателя контента, создающего HDR-контент. Обычно создатель контента выбирает один или более объектов в рендеризуемой сцене со значениями яркости HDR и задает значения яркости, подлежащие применению в среде выполнения. По завершении создания HDR-объектов в сцене, видеоигра может выполняться с вновь созданным HDR-контентом. В среде выполнения видеоигры, значения яркости, заданные в ходе создания контента, могут применяться к HDR-объектам в сцене (и также может использоваться для рендеризации дополнительных визуальных эффектов по мере необходимости) для рендеризации окончательного HDR-изображения игры (т.е. окончательного изображения, отображаемого на экране). Автоматизированный просмотрщик HDR-контента в реальном времени согласно вариантам осуществления может принимать окончательное HDR-изображение игры и может действовать следующим образом.

[0030] Согласно варианту осуществления, окончательное HDR-изображение игры вводится в надлежащим образом обученную модель машинного обучения для идентификации положения, размера и значения яркости светлых областей в окончательном HDR-изображении игры. Согласно вариантам осуществления, такие светлые области классифицирует одна и та же модель машинного обучения. Таким образом, модель определяет, что изображает каждая светлая область в отношении заранее идентифицированной категории (т.е. огня, солнца, луны, фары и т.д.). Затем автоматизированный просмотрщик HDR-контента в реальном времени согласно вариантам осуществления может сравнивать определенное значение яркости для каждой светлой области с заранее заданным значением яркости, соответствующим определенной классификации. Например, согласно варианту осуществления, список заранее заданных значений яркости для различных классификаций HDR-объектный может передаваться автоматизированному просмотрщику HDR-контента в реальном времени. Рассогласование между определенным значением яркости для каждого объекта и заранее заданным значением яркости объектов, классификация которых указывает объект как рендеризованный, может приводить к неестественным и/или несогласованным значениям яркости.

[0031] Варианты осуществления дополнительно предусматривают рендеризацию окончательного HDR-изображения игры с визуальными индикаторами, наложенными на неестественные и несогласованные HDR-объекты. После этого, согласно вариантам осуществления, обработка HDR-изображений может останавливаться, и управление может возвращаться к создателю контента для определения следующего образа действия (например, ручной коррекции значений яркости объектов). Однако в другом варианте осуществления значения яркости неестественных и несогласованных HDR-объектов могут автоматически регулироваться для согласования заранее заданного значения, соответствующего классификации HDR-объекта, и предпросмотра окончательного HDR-изображения игры, рендеризованной на дисплее (совместно с визуальными индикаторами для маркировки таких объектов для просмотра). После этого создатель контента может проверять рендеризованное изображение HDR-объектов для предпросмотра и определять, следует ли принимать, отвергать или изменять автоматические регулировки яркости.

[0032] Эти и дополнительные варианты осуществления просмотрщика HDR-контента в реальном времени можно реализовать по-разному. Например, на фиг. 1 изображена иллюстративная система 100 просмотра HDR-контента, включающая в себя корректор 106 яркости HDR, согласно варианту осуществления. Как показано на фиг. 1, система 100 включает в себя вычислительное устройство 102 и устройство 108 отображения. Вычислительное устройство 102 включает в себя инструмент 104 редактирования контента, выполняющийся на вычислительном устройстве, который в свою очередь включает в себя корректор 106 яркости. Другие варианты осуществления в отношении конструкции и принципа действия будут очевидны специалистам в данной области техники на основании нижеследующего рассмотрения, касающегося системы 100, показанной на фиг. 1.

[0033] Общее описание вариантов осуществления соответствует нижеследующему описанию системы 100 и вычислительного устройства 102, показанных на фиг. 1. Следует понимать, что хотя варианты осуществления описаны в отношении вычислительного устройства 102, используемого пользователем, они не ограничиваются этим сценарием или вычислительным оборудованием. Например, варианты осуществления могут действовать частично или полностью самостоятельно на различном оборудовании, включающем в себя, но без ограничения, графические процессоры (“GPU”) и другие типы вычислительного оборудования. Следует также заметить, что хотя описание вариантов осуществления часто представлено здесь в отношении HDR-изображений и видео, обрабатываемых в контексте видеоигр, варианты осуществления можно успешно применять для просмотра и коррекции значений яркости в HDR-контенте любого типа.

[0034] Вычислительное устройство 102 системы 100 может включать в себя любой тип вычислительного устройства, мобильный или стационарный, например, настольный компьютер, сервер, игровую консоль и т.д. Вычислительное устройство 102 может быть мобильным вычислительным устройством любого типа (например, устройством Microsoft® Surface®, персональным цифровым помощником (PDA), портативным компьютером, компьютером-ноутбуком, планшетным компьютером, например Apple iPad™, нетбуком и т.д.), мобильным телефоном (например, сотовым телефоном, смартфоном, например, телефоном Microsoft Windows®, Apple iPhone®, телефоном, реализующим операционную систему Google® Android™, и т.д.), носимое вычислительное устройство (например, наголовное устройство, включающее в себя умные очки, например, Google® Glass™, Oculus Rift® от Oculus VR, LLC и т.д.), стационарным вычислительным устройством, например, настольным компьютером или PC (персональным компьютером), игровой консолью/системой (например, Microsoft Xbox®, Sony PlayStation®, Nintendo Wii® или Switch® и т.д.) и т.д.

[0035] Согласно варианту осуществления, инструмент 104 редактирования контента, выполняющийся на вычислительном устройстве 102, позволяет редактору контента, разработчику игр или другому квалифицированному персоналу осуществлять просмотр HDR-контента для несогласованных значений яркости вышеописанного характера. Согласно варианту осуществления, корректор 106 яркости, включенный в инструмент 104 редактирования контента, позволяет вручную, полуавтоматически или полностью автоматически просматривать и корректировать неверные значения яркости следующим образом.

[0036] Сначала, видео или неподвижные изображения, включающие в себя HDR-контент для просмотра, могут передаваться инструменту 104 редактирования контента вычислительного устройства 102 для отображения и просмотра на устройстве 108 отображения. Например, HDR-изображение 110 может загружаться или иначе восприниматься инструментом 104 редактирования контента и рендеризоваться на устройстве 108 отображения. Когда корректор 106 яркости инструмента 104 редактирования контента обращается к HDR видео и/или изображениям, например HDR-изображению 110, он может обнаруживать и корректировать неверные значения яркости, согласно вариантам осуществления, выполняя следующие общие этапы, по очереди рассмотренные ниже:

- идентифицировать и классифицировать светлые области

- для каждой такой светлой области:

-- определять значение яркости для области

-- сравнивать определенное значение яркости с заранее заданным значением яркости, соответствующим классификации светлой области

-- в необязательном порядке: рендеризовать визуальные индикаторы поверх светлых областей, нуждающихся в коррекции

-- в необязательном порядке: записывать в файл журнала список светлых областей с неуместными уровням яркости, совместно со снимком экрана изображения/кадра, содержащего визуальный индикатор

-- принимать вручную или автоматически генерируемое скорректированное значение яркости для светлой области

-- корректировать яркость светлой области согласно скорректированному значению яркости

[0037] Корректор 106 яркости, показанный на фиг. 1, согласно вариантам осуществления, может быть выполнен с возможностью по-разному осуществлять такие операции. Например, на фиг. 2 изображен вариант осуществления корректора 106 яркости. Как показано на фиг. 2, корректор 106 яркости включает в себя классификатор 204 изображения, анализатор 206 яркости, рендеризатор 208 изображения, регулятор 210 яркости, регистратор 214 и компонент 216 хранения. Корректор 106 яркости более подробно описан ниже.

[0038] Согласно вариантам осуществления, HDR-изображение 110 принимается классификатором 204 изображения. Классификатор 204 изображения выполнен с возможностью последующей идентификации и классификации светлых областей, содержащихся в изображениях (в том числе видео), например, HDR-изображении 110. Сначала, согласно вариантам осуществления, классификатор 204 изображения должен определять, существует ли светлая область в сцене, где область располагается, ее размер, и идентификацию светлой области (например, костер в качестве светлой области 112). Классификатор 204 изображения может быть выполнен с возможностью по-разному осуществлять эти функции, в том числе осуществлять такие идентификацию и классификацию посредством машинного зрения, распознавания изображений или другого алгоритма идентификации объектов в изображениях. Примеры таких алгоритмов включают в себя сверточные нейронные сети, методы на основе внешнего вида (например, согласование краев, поиск по принципу "разделяй и властвуй", согласование по шкале серого, гистограммы реакций поля чувствительности, базы больших моделей), методы на основе признаков (например, деревья интерпретации, согласованность позы, кластеризацию позы, инвариантность, хеширование геометрическое, масштабно-инвариантное преобразование признаков (SIFT), ускоренные устойчивые признаки (SURF)), генетические алгоритмы и т.д. Как более подробно описано ниже, для таких задач идентификации и классификации можно успешно применять алгоритмы машинного обучения (“ML”). Согласно вариантам осуществления, надлежащим образом обученная модель машинного обучения, включенная в классификатор 204 изображения, может получать обследуемое изображение (например, HDR-изображение 110), и создавать список светлых областей 220, включающий в себя их положение, размер и классификацию. Далее будут кратко рассмотрены иллюстративные изображения HDR и SDR вариантов осуществления, после чего будет продолжено рассмотрение корректора 106 яркости, изображенного на фиг. 2.

[0039] Например, на фиг. 3 показано иллюстративное изображение 300 HDR-контента, включающее в себя элементы 302 и 304 контента, имеющие одну и ту же классификацию. В частности, каждый из элементов 302 и 304 контента является светлой областью в изображении 300 контента и классифицируется как “огонь”. Как показано на фиг. 3, элемент 302 контента был создан со средней HDR-светлотой огня 500 нит. С другой стороны, элемент 304 контента, был создан другим создателем контента со средней HDR-светлотой огня 1000 нит. Как рассмотрено выше, эти значения HDR-светлоты представляют назначенную светлоту для каждой части контента, естественным образом отображаемой на устройстве отображения с возможностями HDR. Различие в светлоте между 500 и 1000 нит является избыточным, благодаря чему это различие будет заметно зрителю-человеку на устройстве отображения HDR. Такие несовпадения светлоты контента в изображении могут возникать, как упомянуто выше, вследствие использования SDR-дисплеев каждым создателем контента.

[0040] Рассмотрим, например, фиг. 4, где изображена SDR-рендеризация иллюстративного изображения 300 HDR-контента, показанного на фиг. 3, в SDR-изображение 400 после применения тонального отображения SDR, согласно иллюстративному варианту осуществления. Поскольку устройства отображения с SDR физически не способны отображать полный диапазон значений яркости, которые могут кодироваться в HDR-изображении, значения яркости изображения необходимо масштабировать, чтобы уместить в динамический диапазон устройства отображения с SDR. Этот процесс масштабирования в общем случае именуется тональным отображением. Масштабированный HDR-контент 402 и 404 на фиг. 4 иллюстрирует, какие элементы 302 и 304 контента могут выглядеть, как после тонального отображения SDR и при отображении на устройстве отображения с SDR. Хотя тонально отображенный SDR-контент 402 и 404 действительно выглядит с разными значениями яркости (т.е. SDR-контент 402 выглядит немного менее светлым, чем SDR-контент 404), различия могут быть недостаточно велики, чтобы быть заметными на SDR-дисплее, или могут находиться в допустимом диапазоне различий для контента одной и той же классификации. По этой причине, одному или обоим из создателей элементов 302 и 304 контента может показаться, что значения яркости являются удовлетворительными, и/или достаточно близки друг к другу, чтобы можно было считать их по существу равными. Однако проблема возникает, когда элементы 302 и 304 HDR-контента отображаются, как показано на фиг. 3, где каждый будет выглядеть существенно иначе, чем другие.

[0041] Возвращаясь к рассмотрению корректора 106 яркости, изображенного на фиг. 2, вспоминаем, что классификатор 204 изображения выполнен с возможностью идентификации и классификации светлых областей в HDR-изображении 110 и создания списка светлых областей, именуемых светлыми областями 220, где указаны положение (например, координаты верхнего левого пикселя, координаты центрального пикселя и т.д.), размер (например, прямоугольника или другой фигуры, идентифицированной как двухмерный массив координат пикселя) и классификация каждой светлой области (например, имя классификации, идентификатор классификации и т.д.).

[0042] Согласно вариантам осуществления, список светлых областей 220 принимается анализатором 206 яркости. Каждая из светлых областей, указанных светлыми областями 220, анализируется анализатором 206 яркости для определения общего значения яркости для светлой области. Анализатор 206 яркости может быть выполнен с возможностью осуществления такого анализа многочисленными способами, включающий в себя анализ значений цвета с помощью гистограммы, операции на монохроматических значениях, усреднение значений и т.д. Например, варианты осуществления предусматривают задание общего значения яркости согласно пиковому значению RGB (красный-зеленый-синий) светлой области (т.е. наибольшему из значений R G или B) или среднему значению пика (т.е. наибольшего R+B+G/3 для каждого пикселя). Альтернативно, варианты осуществления предусматривают построение гистограммы значений яркости в светлой области и задание значения яркости для этой области как медианного значения гистограммы. В других вариантах осуществления также можно применять факторы перцептивной регулировки для учета нелинейности человеческого восприятия светлоты.

[0043] Анализатор 206 яркости согласно вариантам осуществления выполнен с возможностью, после определения значений яркости для каждой светлой области, сравнивать каждое определенное значение яркости с заранее заданным значением яркости, соответствующим классификации светлой области, отраженной в списке светлых областей 220. Например, значение яркости может быть заранее задано для каждого класса светлой области, который может встречаться в HDR-контенте. В частности, создатель игры или редактор контента может заранее задать значения яркости, например, для огня, взрыва или солнца равными 1000, 3000 или 10000 нит, соответственно. Таким образом, корректор 106 яркости согласно вариантам осуществления может обнаруживать светлую область 112 HDR-изображения 110, классифицировать светлую область 112 как огонь и определять ее значение яркости как 500 нит. В этом примере, сравнив значение 500 нит с заранее заданным значением 1000 нит, анализатор 206 яркости согласно вариантам осуществления определяет корректируемую яркость этой светлой области. После осуществления вышеописанного сравнения на каждой обнаруженной и классифицированной светлой области из светлых областей 220, анализатор 206 яркости способен генерировать список светлых областей, требующих коррекции как неправильные светлые области 222, совместно с их положениями и размерами.

[0044] После определения светлых областей, нуждающихся в коррекции, варианты осуществления могут осуществлять корректировки различными способами. Например, в одном варианте осуществления, рендеризатор 208 изображения принимает неправильные светлые области 222 и на экране дисплея (например, на устройстве 108 отображения, показанном на фиг. 1), рендеризует визуализацию поверх светлых областей (например, поверх светлой области 112 на фиг. 1) для маркировки таких областей для просмотра создателем контента или редактором контента. Такая визуализация может иметь любую подходящую форму, включающую в себя полупрозрачное выделение по светлой области, надлежащим образом окрашенный ограничивающий прямоугольник вокруг светлой области и т.д. Согласно варианту осуществления, помимо рендеризации визуализаций поверх маркированных светлых областей, варианты осуществления также могут автоматически применять предварительную или предложенную регулировку яркости к светлым областям. Альтернативно, рендеризатор 208 изображения может быть выполнен с возможностью передавать предложенные значения 224 яркости регулятору 210 яркости.

[0045] Согласно вариантам осуществления, регулятор 210 яркости может быть выполнен с возможностью действовать по-разному в зависимости от конфигурации корректора 106 яркости. Например, регулятор 210 яркости может быть выполнен с возможностью автоматически и постоянно применять предварительные или предложенные значения яркости к светлым областям для формирования скорректированного изображения 226, в том числе корректировки для каждой светлой области. Альтернативно, регулятор 210 яркости может давать возможность просматривать ранее примененные предварительные/предложенные значению яркости, и отклонять или принимать такие изменения. Последняя альтернатива может осуществляться по различным причинам, например, ввиду того, что модель машинного обучения классификатора 204 изображения ошибочно идентифицируют части изображения как имеющие неверные значения яркости, по художественным причинам, по которым такие предварительные/ предложенные значения яркости не следует принимать (например, когда предложенные регулировки яркости основаны на физически реалистических значений яркости, но просматриваемое HDR-изображение должно выглядеть “мультяшно”) и т.д. В другом варианте осуществления регулятора 210 яркости, предложенные значения 224 яркости могут не применяться к HDR-изображению в качестве предпросмотра, но вместо этого представляться редактору контента как предложенное значение яркости при получении значения коррекции яркости, вводимого вручную редактором или разработчиком контента. Независимо от того, осуществляется ли корректировка значений яркости автоматически или посредством ручного ввода, регулятор 210 яркости выполнен с возможностью применения скорректированного значения яркости для рендеризации скорректированного изображения 226.

[0046] В другом варианте осуществления, корректор 106 яркости может быть выполнен с возможностью действовать как инструмент автоматизированного тестирования изображения. В таком варианте осуществления, HDR-изображения для просмотра могут передаваться регулятору 106 яркости в большом количестве, причем каждое изображение обрабатывается классификатором 204 изображения, как описано выше, для генерации списка светлых областей 220 для ввода в анализатор 206 яркости, который в свою очередь определяет неправильные светлые области 222. Однако в этом варианте осуществления неправильные светлые области 222 могут передаваться или не передаваться рендеризатору 208 изображения для интерактивного просмотра изображения вышеописанным образом. Кроме того, анализатор 206 яркости может генерировать журнал 218 таких светлых областей, нуждающихся в коррекции. Журнал 218 может включать в себя данные и метаданные, касающиеся каждой светлой области (например, положение, размер, классификацию, определенную светлоту), и может включать в себя снимок экрана выхода рендеризатора 208 изображения с вышеописанными визуализациями. Регистратор 214 может быть выполнен с возможностью приема журнала 218 от анализатора 206 яркости, и журнала 218 процесса для хранения в компоненте 216 хранения, согласно варианту осуществления.

[0047] Заметим, что, хотя вышеприведенное описание вариантов осуществления корректора 106 яркости представлено в отношении списков различных типов, следует понимать, что варианты осуществления не требуют создания или сохранение именно списка, и могут применяться другие типы структур данных или средств представления данных, описанных в отношении каждого вышеупомянутого списка. Согласно вариантам осуществления, например, вышеупомянутые списки могут содержать любое количество разных структур данных, либо в памяти, либо хранящихся тем или иным образом. Такие структуры данных могут содержать, например, массивы, ассоциативные массивы, связные списки, записи, объекты (включающие в себя методы действий с объектами), стеки, очереди или графы.

[0048] Корректор 106 яркости может по-разному осуществлять свои функции. Например, на фиг. 5 изображена блок-схема операций 500 способа просмотра и корректировки HDR-контента, согласно варианту осуществления. Фиг. 5 описана с продолжением ссылки на фиг. 1 и 4. Однако другие варианты осуществления в отношении конструкции и принципа действия будут очевидны специалистам в данной области техники на основании нижеследующего рассмотрения, касающегося блок-схемы операций 500 и корректора 106 яркости, показанного на фиг. 1 и 4.

[0049] Как показано на фиг. 5, блок-схема операций 500 начинается с этапа 502. На этапе 502, в изображении, идентифицируется часть этого изображения, которая является светлой областью. Например, и с продолжением ссылки на фиг. 2, классификатор 204 изображения может идентифицировать в изображении, например HDR-изображении 110, одну или более светлых областей, которые являются частям изображения. Как описано выше, классификатор 204 изображения может быть выполнен с возможностью осуществления такой идентификации с использованием надлежащим образом обученной модели машинного обучения (которая более подробно рассмотрена ниже). Например, классификатор 204 изображения может идентифицировать светлые области 302 и 304 в изображении 300.

[0050] На этапе 504, идентифицированная светлая область классифицируется в присвоенную классификацию из набора заранее определенных классификаций. Например, и с продолжением ссылки на фиг. 2, классификатор 204 изображения может быть выполнен с возможностью осуществления классификации светлых областей, идентифицированных в HDR-изображении 110, как рассмотрено выше, и более подробно ниже.

[0051] Блок-схема операций 500, изображенная на фиг. 5, продолжается этапом 506. На этапе 506 определяется значение яркости светлой области. Например, классификатор 204 изображения, показанный на фиг. 2, может передавать анализатору 206 яркости список светлых областей (включающий в себя их положение, размер и классификацию) в светлых областях 220. Как рассмотрено выше, анализатор 206 яркости выполнен с возможностью определения значения яркости для каждой идентифицированной и классифицированной светлой области.

[0052] На этапе 508 определенное значение яркости сравнивается с заранее заданным значением яркости, соответствующим присвоенной классификации. Например, и как рассмотрено выше со ссылкой на фиг. 2, анализатор 206 яркости может быть выполнен с возможностью сравнения определенных значений яркости светлых областей с заранее заданными значениями яркости, соответствующими присвоенной классификации. Таким образом, для каждого рассмотренного выше примера, анализатор 206 яркости может быть выполнен с возможностью сравнения значения яркости, определенного для “огня” с заранее заданным значением 1000 нит. Как показано на фиг. 2, анализатор 206 яркости генерирует неправильные светлые области 222, которые включают в себя идентифицированные светлые области, значения яркости которых не совпадают (например, в точности, или в пределах заранее определенного порога) с заранее определенными значениями яркости для классификаций идентифицированных светлых областей.

[0053] Блок-схема операций 500, изображенная на фиг. 5, продолжается этапом 510. На этапе 510 определенное значение яркости регулируется до отрегулированного значения яркости для светлой области на основании упомянутого сравнения. Например, и как рассмотрено выше со ссылкой на фиг. 2, регулятор 210 яркости выполнен с возможностью, либо автоматически, либо вручную, регулировать значения яркости светлых областей, идентифицированных в неправильных светлых областях 222 как нуждающиеся в коррекции анализатором 206 яркости.

[0054] Блок-схема операций 500, изображенная на фиг. 5, заканчивается этапом 512. На этапе 512 рендеризуется изображение со светлой областью, имеющей отрегулированное значение яркости. Например, и с продолжением ссылки на фиг. 2, регулятор 210 яркости может быть выполнен с возможностью применения необходимых регулировок яркости для генерации скорректированного изображения 226, которое, в свою очередь, может передаваться рендеризатору 208 изображения для рендеризации.

[0055] В вышеприведенном рассмотрении этапов 502-512 блок-схемы операций 500, следует понимать, что время от времени, такие этапы могут осуществляться в другом порядке или даже одновременно с другими этапами. Например, идентификация и классификация этапов 502 и 504, соответственно, могут осуществляться одновременно одной и той же моделью машинного обучения. Другие операционные варианты осуществления будут очевидны специалистам в данной области техники. Заметим также, что вышеприведенное общее описание работы корректора 106 яркости обеспечено только для иллюстрации, и корректор 106 яркости согласно вариантам осуществления может содержать разные оборудование и/или программное обеспечение, и может действовать иначе, чем описано выше. Действительно, этапы блок-схемы операций 500 могут осуществляться по-разному.

[0056] Например, на фиг. 6 изображена блок-схема операций, уточняющая способ просмотра и корректировки HDR-контента, изображенного в блок-схеме операций 500, представленной на фиг. 5, согласно варианту осуществления. Фиг. 6 описана с продолжением ссылки на фиг. 1, 4 и 5. Однако другие варианты осуществления в отношении конструкции и принципа действия будут очевидны специалистам в данной области техники на основании нижеследующего рассмотрения, касающегося блок-схемы операций 600 и фиг. 1, 4 и 5.

[0057] Как показано на фиг. 6, блок-схема операций 600 начинается с этапа 602. На этапе 602, до регулировки определенного значения яркости до отрегулированного значения яркости, определенное значение яркости определяется как неверное на основании отличия от заранее заданного значения яркости. Например, и с продолжением ссылки на фиг. 2, анализатор 206 выполнен с возможностью сравнения значений яркости, определенных на этапе 506, с заранее заданными значениями яркости, соответствующими присвоенной классификации. Согласно варианту осуществления, анализатор 206 яркости может быть выполнен с возможностью определения разности значений яркости, определенных для данной светлой области, и заранее заданного значения яркости, соответствующего присвоенной классификации. Анализатор 206 яркости может использовать определенную разность для определения, что значение яркости для связанной светлой области неверно, где, например, определенная разность превышает заранее заданный порог либо в абсолютном, либо в процентном отношении.

[0058] На этапе 604 визуальный индикатор рендеризуется на изображении в положении, соответствующем идентифицированной светлой области в процессе регулировки определенного значения яркости. Например, и с продолжением ссылки на фиг. 2, рендеризатор 208 изображения выполнен с возможностью рендеризации визуального индикатора в положении, соответствующем неправильным светлым областям 222, идентифицированным анализатором 206 яркости. Такой визуальный индикатор может содержать, например, ограничивающий прямоугольник вокруг светлой области или какое-либо другое средство указания, где требуется коррекция.

[0059] Блок-схема операций 600 заканчивается этапом 606. На этапе 606, скорректированное вручную значение яркости (т.е. значение яркости, принятое посредством ручного ввода в пользовательский интерфейс от графика-дизайнера, разработчика игр, другого создателя контента или другого лица) принимается для идентифицированной светлой области как отрегулированное значение яркости в процессе регулировки определенного значения яркости. Например, и как подробно рассмотрено выше в отношении фиг. 2, регулятор 210 яркости корректора 106 яркости выполнен с возможностью принимать либо скорректированное вручную значение яркости для каждого идентифицированная светлая область, либо автоматически генерируемое скорректированное значение яркости. Автоматически генерируемое скорректированное значение яркости может, согласно варианту осуществления, использоваться для предпросмотра изменений предложенного изображения, которые затем могут вручную приниматься, отклоняться или изменяться.

[0060] На фиг. 7 изображена блок-схема операций 700 способа автоматического определения отрегулированного значения яркости для идентифицированной светлой области, согласно варианту осуществления. Фиг. 7 описана с продолжением ссылки на фиг. 1, 4 и 5. Однако другие варианты осуществления в отношении конструкции и принципа действия будут очевидны специалистам в данной области техники на основании нижеследующего рассмотрения, касающегося блок-схемы операций 700 и фиг. 1, 4 и 5.

[0061] Блок-схема операций 700, показанная на фиг. 7, включает в себя этап 702. На этапе 702, до регулировки определенного значения яркости до отрегулированного значения яркости, автоматически определяется отрегулированное значение яркости для идентифицированной светлой области. Например, и как подробно рассмотрено выше в отношении блок-схемы операций 600, показанной на фиг. 6, регулятор 210 яркости корректора 106 яркости выполнен с возможностью принимать либо скорректированное вручную значение яркости для каждого идентифицированная светлая область, либо автоматически генерируемое скорректированное значение яркости. Автоматически генерируемое скорректированное значение яркости может, согласно варианту осуществления, использоваться для предпросмотра изменений предложенного изображения, которые затем могут вручную приниматься, отклоняться или изменяться. Автоматически генерируемое скорректированное значение яркости может, согласно варианту осуществления, генерироваться для согласования с заранее заданными значениями яркости, которые использовались анализатором 206 яркости для определения, что светлая область нуждается в коррекции (т.е. значением яркости, связанным с классификацией).

[0062] Как описано выше, классификатор 204 изображения может использовать любой из различных алгоритмов для идентификации и классификации светлых областей. Например, на фиг. 8 изображена блок-схема операций 800 способа для модели машинного обучения для идентификации и классификации светлых областей, согласно варианту осуществления. Фиг. 8 описана с продолжением ссылки на фиг. 1, 4 и 5. Однако другие варианты осуществления в отношении конструкции и принципа действия будут очевидны специалистам в данной области техники на основании нижеследующего рассмотрения, касающегося блок-схемы операций 800 и фиг. 1, 4 и 5.

[0063] Блок-схема операций 800 на фиг. 8 включает в себя этап 802. На этапе 802 отображаемое изображение передается модели машинного обучения для идентификации положения и размера светлой области, причем модель машинного обучения обучена идентифицировать светлые области. Например, и с продолжением ссылки на фиг. 2, классификатор 204 изображения может быть выполнен с возможностью идентификации положения и размера светлых областей в HDR-изображении 110 путем использования надлежащим образом обученной модели машинного обучения как рассмотрено более подробно ниже.

[0064] Обученная модель машинного обучения, пригодная для использования классификатором 204 изображения, может генерироваться по-разному. Например, для генерации такой модели, видеоигра может выполняться в приложении машинного обучения (ML), например TensorFlow^TM, для генерации обучающих данных, которые включает в себя видеопоток (или некоторый поднабор кадров видеопотока) видеоигры. Альтернативно, фильмы или другой контент, включающий в себя HDR-контент может воспроизводиться в приложении ML для обучения модели машинного обучения. На фазе обучения генерируется модель машинного обучения, способная идентифицировать и классифицировать светлые области в изображениях в ходе живого игрового процесса, или на основании извлеченных из него неподвижных изображений, или полученных иначе. Альтернативно, модель машинного обучения можно обучать на неподвижных изображениях, извлеченных из видеоигр или иначе содержащих светлые области с различными положениями, показателями яркости и классификациями.

[0065] Видеопоток и/или неподвижные изображения, поступающие на приложение ML, обычно сопровождаются другими данными или метаданным (“обучающие индикации”), которые идентифицируют области, представляющие интерес в каждом кадре или изображении (т.е. классы HDR-контента, которые модель ML должна была способна обнаруживать и классифицировать будучи обучена). Например, обучающие индикации может идентифицировать положения, интенсивности и классификацию источников света, например, солнце, луну, огонь, взрывы, зеркальные блики, фары, задние огни, номерные знаки и т.д. в каждом изображении/кадре. В итоге, все различные типы источников света в игре, включающие в себя отражения источников света на объектах разных типов, подлежат включению в обучающий набор. Источники света, например, эти или другие, которые определяются важными для конкретных сценариев игры, могут маркироваться в фазе обучения создателем контента/разработчиком игр/ пользователем (или автоматически), например, путем указания их положения в кадре видео или изображения (например, пользователем, указывающим положение объекта точкой, путем рисования прямоугольника вокруг объекта и т.д.).

[0066] Согласно варианту осуществления, приложение ML может быть выполнено с возможностью приема и обработки обучающих видео и/или неподвижных изображений, совместно с соответствующими обучающими индикациями, для обучения модели машинного языка. Приложение ML может использовать любые подходящие подходы для генерации модели, включающей в себя алгоритмы контролируемой генерации модели ML, например, машины опорных векторов с контролируемым обучением (SVM), линейную регрессию, логистическую регрессию, наивный Байес, линейный дискиминантный анализ, деревья решений, алгоритм k ближайших соседей, нейронные сети и т.д. Согласно варианту осуществления, генерируемая модель способна обеспечивать уровень доверия, указывающий, идентифицируется ли конкретный класс светлой области в кадре видео или неподвижном изображении.

[0067] После получения надлежащим образом обученной модели ML, варианты осуществления классификатора 204 изображения (которой включает в себя модель ML) предоставляются модели со сценами, видео или неподвижными изображениями, подлежащими разработке (например, HDR-изображение 110) для обнаружения и классификации светлых областей в окончательном HDR-изображении игры. Согласно варианту осуществления, и как рассмотрено выше, список 220 всех таких обнаруженных и классифицированных светлых областей (в том числе деталей, касающихся классификации (например, огонь/солнце/фары и т.д.), положения и размера светлых областей) может передаваться на анализатор 206 яркости.

[0068] На фиг. 9 изображена блок-схема операций 900 способа классификации идентифицированной светлой области с помощью модели машинного обучения, согласно варианту осуществления. Фиг. 9 описана с продолжением ссылки на фиг. 1, 4 и 5. Однако другие варианты осуществления в отношении конструкции и принципа действия будут очевидны специалистам в данной области техники на основании нижеследующего рассмотрения, касающегося блок-схемы операций 900 и фиг. 1, 4 и 5.

[0069] Блок-схема операций 900, показанная на фиг. 9, включает в себя этап 902. На этапе 902, идентифицированная светлая область классифицируется с помощью модели машинного обучения. Например, и как рассмотрено непосредственно выше, классификатор 204 изображения может включать в себя надлежащим образом обученную модель машинного обучения для осуществления не только идентификации положения и размера светлых областей, но и для классификации таких областей согласно их типу (т.е. огонь/солнце/фара и т.д.).

III. Иллюстративная реализация компьютерной системы

[0070] Инструмент 104 редактирования контента, корректор 106 яркости, классификатор 204 изображения, анализатор 206 яркости, рендеризатор 208 изображения, регулятор 210 яркости, регистратор 214 и блок-схемы операций 500, 600, 700, 800 и/или 900 можно реализовать аппаратными средствами или аппаратными средствами совместно с программными средствами и/или программно-аппаратными средствами. Например, инструмент 104 редактирования контента, корректор 106 яркости, классификатор 204 изображения, анализатор 206 яркости, рендеризатор 208 изображения, регулятор 210 яркости, регистратор 214 и блок-схемы операций 500, 600, 700, 800 и/или 900 можно реализовать в качестве компьютерного программного кода/инструкций, способных выполняться на одном или более процессорах и хранящихся на считываемом компьютером носителе данных. Альтернативно, инструмент 104 редактирования контента, корректор 106 яркости, классификатор 204 изображения, анализатор 206 яркости, рендеризатор 208 изображения, регулятор 210 яркости, регистратор 214 и блок-схемы операций 500, 600, 700, 800 и/или 900 можно реализовать как аппаратную логику/электрическую схему.

[0071] Например, согласно варианту осуществления, один или более, в любой комбинации, из инструмента 104 редактирования контента, корректора 106 яркости, классификатора 204 изображения, анализатора 206 яркости, рендеризатора 208 изображения, регулятора 210 яркости, регистратора 214 и блок-схемы операций 500, 600, 700, 800 и/или 900 можно реализовать совместно в SoC. SoC может включать в себя кристалл интегральной схемы, который включает в себя один или более из процессора (например, центрального процессора (CPU), микроконтроллера, микропроцессора, цифрового сигнального процессора (DSP) и т.д.), памяти, одного или более интерфейсов связи и/или дополнительных схем и может в необязательном порядке выполнять принятый программный код и/или включают в себя встроенное программно-аппаратное обеспечение для осуществления функций.

[0072] На фиг. 10 изображена иллюстративная реализация вычислительного устройства 1000, в котором можно реализовать варианты осуществления. Например, каждый из инструмента 104 редактирования контента, корректора 106 яркости, классификатора 204 изображения, анализатора 206 яркости, рендеризатора 208 изображения, регулятора 210 яркости и регистратора 214 может быть реализован в одном или более вычислительных устройствах, аналогичных вычислительному устройству 1000 в вариантах осуществления стационарного или мобильного компьютера, включающего в себя один или более признаков вычислительного устройства 1000 и/или альтернативных признаков. Приведенное здесь описание вычислительного устройства 1000 служит для иллюстрации и не подлежит рассмотрению в качестве ограничения. Варианты осуществления можно реализовать в дополнительных типах компьютерных систем, известных специалистам в данной области техники.

[0073] Как показано на фиг. 10, вычислительное устройство 1000 включает в себя один или более процессоров, именуемых схемой 1002 процессора, системной памятью 1004 и шиной 1006, которая подключает различные компоненты системы, в том числе системную память 1004, к схеме 1002 процессора. Схема 1002 процессора представляет собой электрическую и/или оптическую схему, реализованную в одном или более физических аппаратных элементах устройства электрической схемы и/или устройствах интегральной схемы (чипах или кристаллах из полупроводникового материала) в качестве центрального процессора (CPU), микроконтроллера, микропроцессора и/или другой физической аппаратной схемы процессора. Схема 1002 процессора может выполнять программный код, хранящийся на считываемом компьютером носителе, например, программный код операционной системы 1030, прикладные программы 1032, другие программы 1034 и т.д. Шина 1006 представляет один или более из нескольких типов шинных структур, включающих в себя шину памяти или контроллер памяти, периферийную шину, ускоренный графический порт и процессор или локальную шину, использующую любую из различных шинных архитектур. Системная память 1004 включает в себя постоянную память (ROM) 1008 и оперативную память (RAM) 1010. Базовая система ввода/вывода 1012 (BIOS) хранится в ROM 1008.

[0074] Вычислительное устройство 1000 также имеет один или более из следующих приводов: привод 1014 жесткого диска для считывания с жесткого диска и записи на него, привод 1016 магнитного диска для считывания со сменного магнитного диска 1018 или записи на него и привод 1020 оптического диска для считывания со сменного оптического диска 1022 или записи на него, например, CD-ROM, DVD-ROM или других оптических носителей. Привод 1014 жесткого диска, привод 1016 магнитного диска и привод 1020 оптического диска подключены к шине 1006 интерфейсом 1024 привода жесткого диска, интерфейсом 1026 привода магнитного диска и интерфейсом 1028 оптического привода, соответственно. Приводы и связанные с ними считываемые компьютером носители обеспечивают энергонезависимое хранение считываемых компьютером инструкций, структур данных, программных модулей и других данных для компьютера. Хотя описаны жесткий диск, сменный магнитный диск и сменный оптический диск, для хранения данных можно использовать другие типы аппаратных считываемых компьютером носителей данных, например, карты флеш-памяти, цифровые видеодиски, RAM, ROM и другие аппаратные носители данных.

[0075] Несколько программных модулей может храниться на жестком диске, магнитном диске, оптическом диске, ROM или RAM. Эти программы включают в себя операционную систему 1030, одну или более прикладных программ 1032, другие программы 1034 и программные данные 1036. Прикладные программы 1032 или другие программы 1034 могут включать в себя, например, компьютерную программную логику (например, компьютерный программный код или инструкции) для реализации инструмента 104 редактирования контента, корректора 106 яркости, классификатора 204 изображения, анализатора 206 яркости, рендеризатора 208 изображения, регулятора 210 яркости, регистратора 214 и блок-схем операций 500, 600, 700, 800 и/или 900 (включающих в себя любой подходящий этап блок-схем операций 500, 600, 700, 800 и/или 900), и/или дополнительные описанные здесь варианты осуществления.

[0076] Пользователь может вводить команды и информацию в вычислительное устройство 1000 через устройства ввода, например, клавиатуру 1038 и указательное устройство 1040. Другие устройства ввода (не показаны) могут включать в себя микрофон, джойстик, игровую панель, спутниковую антенну, сканер, сенсорный экран и/или сенсорную панель, систему распознавания речи для приема речевого ввода, систему распознавания жестов для приема жестового ввода и т.п. Эти и другие устройства ввода часто подключаются к схеме 1002 процессора через интерфейс 1042 последовательного порта, который подключен к шине 1006, но может подключаться другими интерфейсами, например, через параллельный порт, игровой порт или универсальную последовательную шину (USB).

[0077] Экран 1044 дисплея также подключен к шине 1006 через интерфейс, например видеоадаптер 1046. Экран 1044 дисплея может быть внешним по отношению к вычислительному устройству 1000 или встроенным в него. Экран 1044 дисплея может отображать информацию, а также служить пользовательским интерфейсом для приема пользовательских команд и/или другой информации (например, посредством прикосновений, жестов пальцами, виртуальной клавиатуры и т.д.). Помимо экрана 1044 дисплея, вычислительное устройство 1000 может включать в себя другие периферийные устройства вывода (не показаны) например, громкоговорители и принтеры.

[0078] Вычислительное устройство 1000 подключено к сети 1048 (например, интернету) через адаптер или сетевой интерфейс 1050, модем 1052, или другие средства установления связи по сети. Модем 1052, который может быть внутренним или внешним, может подключаться к шине 1006 через интерфейс 1042 последовательного порта, как показано на фиг. 10, или может подключаться к шине 1006 с использованием интерфейса другого типа, в том числе параллельного интерфейса.

[0079] Используемые здесь термины "носитель компьютерной программы", "считываемый компьютером носитель" и “считываемый компьютером носитель данных” используются в отношении физических аппаратных носителей, например, жесткого диска, связанного с приводом 1014 жесткого диска, сменным магнитным диском 1018, сменным оптическим диском 1022, другими физическими аппаратными носителями, например, RAM, ROM, картами флеш-памяти, цифровыми видеодисками, зип-дисками, MEM, нанотехнологичными запоминающими устройствами, и дополнительными типами физических/материальных аппаратных носителей данных. Такие считываемые компьютером носители данных отличаются от сред связи и не пересекаются с ними (не включают в себя среды связи). Среды связи воплощают считываемые компьютером инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, например, несущей волне. Термин “модулированный сигнал данных” означает сигнал, одна или более из характеристик которого устанавливается или изменяется таким образом, чтобы кодировать информацию в сигнале. В порядке примера, но не ограничения, среды связи включают в себя беспроводные среды, например, акустические, RF, инфракрасные и другие беспроводные среды, а также проводные среды. Варианты осуществления, относящиеся к таким средам связи, отделены и не пересекаются с вариантами осуществления, относящимися к считываемым компьютером носителям данных.

[0080] Как упомянуто выше, компьютерные программы и модули (включающие в себя прикладные программы 1032 и другие программы 1034), могут храниться на жестком диске, магнитном диске, оптическом диске, ROM, RAM или другом аппаратном носителе данных. Такие компьютерные программы также могут приниматься через сетевой интерфейс 1050, интерфейс 1042 последовательного порта или интерфейс любого другого типа. Такие компьютерные программы, будучи выполняемы или загружаемы приложением, позволяют вычислительному устройству 1000 реализовать описанные здесь признаки вариантов осуществления. Соответственно, такие компьютерные программы представляют контроллеры вычислительного устройства 1000.

[0081] Варианты осуществления также относятся к компьютерным программным продуктам, содержащим компьютерный код или инструкции, хранящиеся на любом считываемом компьютером носителе. Такие компьютерные программные продукты включают в себя приводы жесткого диска, приводы оптического диска, комплекты запоминающих устройств, портативные линейки памяти, карты памяти и другие типы и физических запоминающих устройств.

IV. Дополнительные иллюстративные варианты осуществления

[0082] Здесь описан способ. Способ включает в себя: идентификацию в изображении светлой области, которая является частью изображения; классификацию идентифицированной светлой области в присвоенную классификацию из набора заранее определенных классификаций; определение значения яркости идентифицированной светлой области; сравнение определенного значения яркости с заранее заданным значением яркости, соответствующим присвоенной классификации; регулировку значения яркости идентифицированной светлой области до отрегулированного значения яркости на основании упомянутого сравнения; и рендеризацию изображения с идентифицированной светлой областью, имеющей отрегулированное значение яркости.

[0083] В одном варианте осуществления вышеописанного способа, сравнение содержит определение, что определенное значение яркости неверно, на основании отличия от заранее заданного значения яркости; и при этом упомянутая регулировка дополнительно содержит: рендеризацию визуального индикатора на изображении в положении, соответствующем идентифицированной светлой области; и прием и скорректированного вручную значения яркости для идентифицированной светлой области как отрегулированного значения яркости.

[0084] В дополнительном варианте осуществления вышеописанного способа, регулировка содержит автоматическое определение отрегулированного значения яркости для идентифицированной светлой области.

[0085] В одном варианте осуществления вышеописанного способа, регулировка содержит регулировку значения яркости идентифицированной светлой области до отрегулированного значения яркости, которое равно значению яркости для второй светлой области в изображении, имеющей присвоенную классификацию.

[0086] В другом варианте осуществления вышеописанного способа, рендеризация содержит применение линейного масштабирования к отрегулированному значению яркости для учета визуального эффекта в отображаемом изображении для генерации масштабированного и отрегулированного значения яркости; и рендеризацию отображаемого изображения с идентифицированной светлой областью, имеющей масштабированное и отрегулированное значение яркости.

[0087] В дополнительном варианте осуществления вышеописанного способа, идентификация содержит передачу отображаемого изображения в модель машинного обучения для идентификации положения и размера светлой области, причем модель машинного обучения обучена идентифицировать светлые области.

[0088] В одном варианте осуществления вышеописанного способа, классификация содержит классификацию идентифицированной светлой области с помощью модели машинного обучения.

[0089] В другом варианте осуществления вышеописанного способа, способ дополнительно содержит регистрацию информации идентифицированной светлой области и информации по меньшей мере одной другой светлой области в изображении, для которой определено отрегулированное значение яркости.

[0090] Здесь описана система. В одном варианте осуществления, система содержит: одну или более схем процессора; одно или более запоминающих устройств, подключенных к одной или более схемам процессора, причем на одном или более запоминающих устройств хранится: компьютерная программная логика для выполнения одной или более схемами процессора, причем компьютерная программная логика содержит: классификатор изображения, выполненный с возможностью: идентифицировать в отображаемом изображении светлую область, которая является частью отображаемого изображения, и классифицировать идентифицированную светлую область в присвоенную классификацию из набора заранее определенных классификаций; анализатор яркости, выполненный с возможностью определения значения яркости идентифицированной светлой области, и определения сравнения между определенным значением яркости и заранее заданным значением яркости, соответствующим присвоенной классификации; рендеризатор изображения, выполненный с возможностью рендеризации изображения с идентифицированной светлой областью, имеющей отрегулированное значение яркости; и регулятор яркости, выполненный с возможностью регулировки значения яркости идентифицированной светлой области до отрегулированного значения яркости на основании упомянутого сравнения, причем рендеризатор изображения дополнительно выполнен с возможностью рендеризации отображаемого изображения с идентифицированной светлой областью, имеющей отрегулированное значение яркости.

[0091] В одном варианте осуществления вышеописанной системы, сравнение содержит определение, что определенное значение яркости неверно, на основании отличия от заранее заданного значения яркости; и при этом регулятор яркости выполнен с возможностью регулировки значения яркости идентифицированной светлой области путем приема скорректированного вручную значения яркости для идентифицированной светлой области как отрегулированного значения яркости.

[0092] В другом варианте осуществления вышеописанной системы, регулятор яркости выполнен с возможностью автоматического определения отрегулированного значения яркости для идентифицированной светлой области.

[0093] В дополнительном варианте осуществления вышеописанной системы, регулятор яркости выполнен с возможностью регулировки значения яркости идентифицированной светлой области до отрегулированного значения яркости, которое равно значению яркости для второй светлой области в изображении, имеющей присвоенную классификацию.

[0094] В одном варианте осуществления вышеописанной системы, рендеризатор изображения дополнительно выполнен с возможностью применения линейного масштабирования к отрегулированному значению яркости для учета визуального эффекта в отображаемом изображении для генерации масштабированного и отрегулированного значения яркости; и рендеризации отображаемого изображения с идентифицированной светлой областью, имеющей масштабированное и отрегулированное значение яркости.

[0095] В другом варианте осуществления вышеописанной системы, идентификация содержит передачу отображаемого изображения в модель машинного обучения для идентификации положения и размера светлой области, причем модель машинного обучения обучена идентифицировать светлые области.

[0096] В дополнительном варианте осуществления вышеописанной системы, классификация содержит классификацию идентифицированной светлой области с помощью модели машинного обучения.

[0097] В одном варианте осуществления вышеописанной системы, система дополнительно содержит регистратор, выполненный с возможностью регистрации информации идентифицированной светлой области и информации по меньшей мере одной другой светлой области в изображении, для которой определено отрегулированное значение яркости.

[0098] Здесь описано считываемое компьютером запоминающее устройство, на котором записана компьютерная программная логика, которая при выполнении по меньшей мере одним процессором вычислительного устройства предписывает по меньшей мере одному процессору осуществлять операции. В одном варианте осуществления компьютерного программного продукта, операции содержат: идентификацию в изображении светлой области, которая является частью изображения; классификацию идентифицированной светлой области в присвоенную классификацию из набора заранее определенных классификаций; определение значения яркости идентифицированной светлой области; сравнение определенного значения яркости с заранее заданным значением яркости, соответствующим присвоенной классификации; регулировку значения яркости идентифицированной светлой области до отрегулированного значения яркости на основании упомянутого сравнения; и рендеризацию изображения с идентифицированной светлой областью, имеющей отрегулированное значение яркости.

[0099] В одном варианте осуществления вышеупомянутого считываемого компьютером запоминающего устройства, упомянутое сравнение содержит определение, что определенное значение яркости неверно, на основании отличия от заранее заданного значения яркости; и при этом упомянутая регулировка дополнительно содержит: рендеризацию визуального индикатора на изображении в положении, соответствующем идентифицированной светлой области; прием и скорректированного вручную значения яркости для идентифицированной светлой области как отрегулированного значения яркости.

[0100] В другом варианте осуществления вышеупомянутого считываемого компьютером запоминающего устройства, упомянутая регулировка содержит автоматическое определение отрегулированного значения яркости для идентифицированной светлой области.

[0101] В дополнительном варианте осуществления вышеупомянутого считываемого компьютером запоминающего устройства, регулировка содержит регулировку значения яркости идентифицированной светлой области до отрегулированного значения яркости, которое равно значению яркости для второй светлой области в изображении, имеющей присвоенную классификацию.

Заключение

[0102] Хотя выше были описаны различные варианты осуществления раскрытого изобретения, следует понимать, что они были представлены исключительно в порядке примера, но не ограничения. Специалисты в данной области техники могут предложить различные изменения, касающиеся формы и деталей, не выходящие за рамки сущности и объема вариантов осуществления, заданных в нижеследующей формуле изобретения. Соответственно, широта и объем раскрытого изобретения не подлежат ограничению никакими из вышеописанных иллюстративных вариантов осуществления, но подлежат заданию только в соответствии с нижеследующей формулой изобретения и ее эквивалентами.

Изобретение относится к области обработки изображений. Техническим результатом является повышение качества отображения изображений. Способ регулировки яркости изображения и выполнения рендеринга изображения начинается с того, что в изображении идентифицируется светлая область. Светлая область классифицируется в присвоенную классификацию. Значение яркости светлой области определяется и сравнивается с заранее заданными значениями яркости, соответствующими классификации. Значение яркости светлой области регулируется для согласования с заранее заданными значениями яркости при наличии рассогласования. Выполняется рендеринг изображения с идентифицированной светлой областью, имеющей отрегулированное значение яркости. 3 н. и 12 з.п. ф-лы, 10 ил.

1. Способ регулировки яркости изображения и выполнения рендеринга изображения, содержащий этапы, на которых:

идентифицируют (502) в изображении (300) светлую область (302), которая является частью изображения (300);

классифицируют (504) идентифицированную светлую область (302) в присвоенную классификацию из набора заранее определенных классификаций;

определяют (506) значение яркости идентифицированной светлой области (302);

сравнивают (508) определенное значение яркости с заранее заданным значением яркости, соответствующим присвоенной классификации, и определяют, что определенное значение яркости является неправильным, на основе отличия от заранее определенного значения яркости, причем неправильным значением яркости является значение яркости, которое не соответствует заранее определенному значению яркости в пределах заранее определенного порога;

регулируют (510) значение яркости идентифицированной светлой области (302) до отрегулированного значения яркости на основании упомянутого сравнения; и

выполняют рендеринг (512) изображения с идентифицированной светлой областью, имеющей отрегулированное значение яркости.

2. Способ по п. 1,

в котором упомянутая регулировка (510) дополнительно содержит этапы, на которых:

выполняют рендеринг (604) визуального индикатора на изображении (300) в положении, соответствующем идентифицированной светлой области (302); и

принимают (606) скорректированное вручную значение яркости для идентифицированной светлой области (302) как отрегулированное значение яркости.

3. Способ по п. 1, в котором упомянутая регулировка (510) содержит этап, на котором:

автоматически определяют (702) отрегулированное значение яркости для идентифицированной светлой области (302).

4. Способ по п. 1, в котором упомянутая регулировка (510) содержит этап, на котором:

регулируют значение яркости идентифицированной светлой области (302) до отрегулированного значения яркости, которое равно значению яркости для второй светлой области (304) в изображении (300), имеющей присвоенную классификацию.

5. Способ по п. 1, в котором упомянутый рендеринг (512) содержит этапы, на которых:

применяют линейное масштабирование к отрегулированному значению яркости для учета визуального эффекта в отображаемом изображении для генерации масштабированного и отрегулированного значения яркости; и

выполняют рендеринг изображения с идентифицированной светлой областью (302), имеющей масштабированное и отрегулированное значение яркости.

6. Способ по п. 1, в котором упомянутая идентификация (502) содержит этап, на котором:

передают (802) изображение (300) в модель машинного обучения для идентификации положения и размера светлой области (302), причем модель машинного обучения обучена идентифицировать светлые области.

7. Способ по п. 6, в котором упомянутая классификация (504) содержит этап, на котором:

классифицируют (902) идентифицированную светлую область (302) с помощью модели машинного обучения.

8. Способ по п. 1, дополнительно содержащий этап, на котором:

регистрируют информацию идентифицированной светлой области (302) для которой определено отрегулированное значение яркости.

9. Система регулировки яркости изображения и выполнения рендеринга изображения, содержащая:

одну или более схем (1002) процессора;

одно или более запоминающих устройств (1004), подключенных к одной или более схемам (1002) процессора, причем на одном или более запоминающих устройств (1004) хранится компьютерная программная логика для выполнения одной или более схемами (1002) процессора, причем компьютерная программная логика содержит:

классификатор (204) изображения, выполненный с возможностью:

идентифицировать (502) в изображении (300) светлую область (302), которая является частью изображения, и

классифицировать (504) идентифицированную светлую область (302) в присвоенную классификацию из набора заранее определенных классификаций;

анализатор (206) яркости, выполненный с возможностью определения (506) значения яркости идентифицированной светлой области (302), и определения сравнения (508) между определенным значением яркости и заранее заданным значением яркости, соответствующим присвоенной классификации, и определения, что определенное значение яркости является неправильным, на основе отличия от заранее определенного значения яркости, причем неправильным значением яркости является значение яркости, которое не соответствует заранее определенному значению яркости в пределах заранее определенного порога;

регулятор (210) яркости, выполненный с возможностью регулировки значения яркости идентифицированной светлой области (302) до отрегулированного значения яркости на основании упомянутого сравнения; и рендеризатор (208) изображения, выполненный с возможностью рендеринга изображения с идентифицированной светлой областью (302), имеющей отрегулированное значение яркости.

10. Система по п. 9, в которой регулятор (206) яркости выполнен с возможностью регулировки значения яркости идентифицированной светлой области (302) путем приема (606) скорректированного вручную значения яркости для идентифицированной светлой области (302) как отрегулированного значения яркости.

11. Система по п. 9, в которой регулятор (206) яркости выполнен с возможностью автоматического определения (702) отрегулированного значения яркости для идентифицированной светлой области (302).

12. Система по п. 9, в которой упомянутая идентификация содержит:

передачу (802) изображения в модель машинного обучения для идентификации положения и размера светлой области (302), причем модель машинного обучения обучена идентифицировать светлые области.

13. Система по п. 12, в которой упомянутая классификация содержит:

классификацию (902) идентифицированной светлой области (302) с помощью модели машинного обучения.

14. Система по п. 9, дополнительно содержащая:

регистратор (214), выполненный с возможностью регистрации информации идентифицированной светлой области (302) и информации по меньшей мере одной другой светлой области (304) в изображении (300), для которой определено отрегулированное значение яркости.

15. Считываемое компьютером запоминающее устройство, на котором записана компьютерная программная логика, содержащее:

компьютерную программную логику, которая при исполнении процессором побуждает процессор к выполнению способа по любому из пп. 1-8.