ОКРУЖАЮЩЕЕ ОСВЕЩЕНИЕ Российский патент 2012 года по МПК G02F1/00 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к окружающему освещению.

УРОВЕНЬ ТЕХНИКИ

В качестве необязательной особенности телевизора эмбилайт вносит выразительный вклад в общее зрительное впечатление генерированием окружающего освещения, чтобы дополнить цвета и интенсивность света экранного изображения. Он добавляет новое измерение в зрительное впечатление, полностью погружая зрителя в просматриваемый контент. Он создает обстановку, способствует более расслабленному зрительному наблюдению и улучшает воспринимаемые детали, контрастность и цвет картины. Эмбилайт автоматически и независимо адаптирует свои цвета согласно изменяющемуся контенту на экране. В дежурном режиме телевизора свет может быть установлен на любой цвет для создания уникальной обстановки в помещении.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Было бы преимущественно иметь улучшенное окружающее освещение. Для лучшего решения этой задачи первый аспект изобретения представляет систему для облегчения сопровождения визуализации изображения или видео сопутствующим управляемым окружающим освещением, содержащую селектор цвета для выбора цвета управляемого окружающего освещения в зависимости от информации об освещении сцены, связанной с изображением или с, по меньшей мере, одним изображением видео.

Это позволяет преобразовывать освещение в изображении в окружающее освещение в помещении, где находится зритель. Освещение является главным создателем атмосферы как в изображении, так и в видео, и в помещении, где находится зритель. Выбор цвета окружающего освещения в зависимости от информации освещения, связанной с изображением, помогает лучше передавать атмосферу изображения или видео в помещение, где находится зритель. В результате получается более естественный цвет окружающего освещения и более глубокое зрительное впечатление. Цвет окружающего освещения на основании освещения сцены имеет весьма желательные свойства и обеспечивает весьма иммерсивную окружающую среду. Цвет, как термин, используемый в науке о цветах, включает в себя все воспринимаемые свойства, которые свет вызывает, включающие в себя яркость, насыщенность и оттенок. Система имеет дополнительное преимущество в том, что, поскольку освещение сцены является относительно стабильным и относительно медленно изменяющимся свойством, цвет окружающего освещения в зависимости от информации об освещении сцены также является относительно стабильным и относительно медленно изменяющимся. Это справедливо для видео, а также для последовательности изображений, имеющих сходные условия освещения.

Выбирая цвет окружающего освещения в зависимости от информации об освещении сцены, атмосферу изображения или видео можно воссоздать в помещении, где находится зритель. Например, можно выбрать цвет освещения сцены, идентичный цвету, указанному информацией об освещении сцены.

Вариант осуществления содержит

входное устройство для приема изображения или видео,

анализатор изображения для расчета осветительного параметра, указывающего освещение сцены, на основании изображения или видео, при этом селектор цвета выполнен с возможностью выбора цвета в зависимости от осветительного параметра.

С помощью анализатора изображения информация об освещении сцены может быть эффективно восстановлена, без необходимости знать фактические условия освещения во время фотографирования или съемки камерой.

Согласно варианту осуществления анализатор изображения сконструирован для расчета осветительного параметра согласно, по меньшей мере, одному из:

метода «gray world» («серый мир»);

метода оценки максимума каждого цветового канала;

метода отображения гамм;

«color by correlation» («цвет через корреляцию») или

метода нейронной сети.

Эти методы известны для расчета осветительного параметра изображения. Метод «gray world» («серый мир») и метод оценки максимума каждого цветового канала являются примерами методов, имеющих относительно высокую вычислительную эффективность, тогда как метод отображения гамм, метод «color by correlation» («цвет через корреляцию») или метод нейронной сети могут обеспечивать относительно хорошие результаты.

Согласно варианту осуществления селектор цвета выполнен с возможностью выбора цветности и/или оттенка управляемого окружающего освещения в зависимости от информации об освещении сцены. В частности, цветность и/или оттенок являются важными для создания особой атмосферы, соответствующей визуализации изображения/видео.

Согласно варианту осуществления селектор цвета выполнен с возможностью выбора яркости управляемого окружающего освещения независимо от информации об освещении сцены.

Даже если вся цветность, оттенок и яркость могут быть выбраны в зависимости от освещения сцены, иногда предпочтительно выбирать яркость окружающего освещения независимо от информации об освещении сцены. Например, уровень яркости может быть фиксированным.

Согласно варианту осуществления анализатор изображения выполнен с возможностью рассчитывать осветительный параметр в реальном времени непосредственно перед визуализацией, по меньшей мере, одного изображения. В этом случае окружающим освещением можно управлять на основании освещения без каких-либо особых требований к поступающему изображению или видео. Поскольку вариант осуществления опирается на расчет осветительного параметра непосредственно перед визуализацией, по меньшей мере, одного изображения, осветительный параметр не должен быть сохранен телевизионным вещателем или на запоминающем устройстве (например, DVD, ленте VHS).

Вариант осуществления содержит генератор метаданных для включения выбранного цвета в метаданные, связанные с видео или изображением. Это позволяет выполнить выбор цвета раньше. Для этого может быть несколько причин. Например, расчеты могут быть выполнены автономно и сохранены для дальнейшего использования, что требует меньшей мощности обработки, чем выполнение расчетов в реальном времени. Кроме того, это позволяет ручную корректировку до визуализации и позволяет информации о выбранном цвете быть распространенной поставщиком контента, например вещателем. Метаданные могут иметь любой формат, такой как MPEG 7 или EXIF.

Вариант осуществления содержит входное устройство для приема информации об освещении сцены. Поскольку информация об освещении сцены обеспечивается на входное устройство, селектор цвета требует очень мало вычислительных ресурсов.

Согласно варианту осуществления информация об освещении сцены указывает физические условия освещения сцены, захваченной в, по меньшей мере, одном изображении. Это позволяет использовать относительно точную информацию об освещении. Например, можно использовать зарегистрированные данные от оборудования освещения площадки или информацию, полученную от датчика света, используемого во время видеозаписи или фотографирования. Кроме того, можно использовать информацию фотовспышки (которую можно хранить в формате EXIF).

Согласно варианту осуществления информация об освещении сцены указывает условия освещения искусственной компьютерной графики, захваченной в, по меньшей мере, одном изображении сцены искусственной компьютерной графики. Это весьма эффективный способ получения точной информации об освещении. Его можно использовать, например, для компьютерных игр. В компьютерной графике условия освещения полностью управляются используемым программным обеспечением компьютерной графики. Это имеет место, например, в анимациях, сделанных с помощью компьютерной графики. Другое применение содержит компьютерную игру, улучшенную окружающим освещением. Например, изображение или видео компьютерной графики можно создавать с использованием OpenGL. OpenGL обеспечивает интерфейс программирования приложений для задания формы и внешнего вида искусственных объектов (например, анимационных персонажей в анимации или изображении), а также местоположения и характеристик искусственных источников света, освещающих искусственные объекты. Спецификацию источников света можно использовать в качестве информации об освещении.

Согласно варианту осуществления входное устройство выполнено с возможностью приема метаданных, связанных с видео или изображением, причем информация об освещении сцены включена в метаданные, и входное устройство содержит синтаксический анализатор для извлечения информации об освещении сцены из метаданных. Метаданные уже обычно сопровождают изображения и видеоданные. Поэтому извлечение информации об освещении из метаданных легко реализовать.

Согласно варианту осуществления метаданные содержат дескриптор цвета, инвариантный к освещенности, и селектор цвета выполнен с возможностью выбора цвета в зависимости от дескриптора цвета, инвариантного к освещенности. Пример дескриптора цвета, инвариантного к освещенности, известный из стандарта MPEG 7, охватывает дескрипторы цвета в ISO/IEC 15938-3, которые являются доминантным цветом, масштабируемым цветом, цветовой схемой и цветовой структурой. Один или несколько дескрипторов цвета, обрабатываемых методом, инвариантным к освещенности, могут быть включены в этот дескриптор. Это можно эффективно реализовать, поскольку селектор цвета не нуждается в обработке всего изображения, и дескриптор цвета, инвариантный к освещенности, уже является стандартизированным признаком стандарта MPEG 7.

Система может содержать контроллер источника света для управления источником окружающего света для создания света, имеющего выбранный цвет, синхронно с визуализацией изображения. Система также может содержать дисплей для визуализации изображения. Система также может содержать, по меньшей мере, один источник окружающего света, подключенный к контроллеру источника света.

Источник окружающего света и дисплей могут содержаться в разных устройствах. Улучшенный, более стабильный цвет, выбранный в зависимости от информации об освещении сцены, еще более заметен при использовании одного или нескольких источников света, отстоящих (например, более чем на 1, более чем на 2 или более чем на 3 метра) от дисплея. Еще лучше, когда источники света распределены вокруг зрителя. Вышесказанное справедливо, когда существует совокупность отдельных устройств, содержащих управляемые источники, все поддерживающие визуализацию одного и того же контента.

Вариант осуществления содержит авторское средство для создания метаданных, облегчающих сопровождение визуализации изображения или видео соответствующим управляемым окружающим освещением, содержащее

входное устройство для приема изображения или видео;

селектор цвета для выбора цвета управляемого окружающего освещения в зависимости от информации об освещении сцены, связанной с изображением или с, по меньшей мере, одним изображением видео; и

генератор метаданных для включения указания цвета в метаданные, связанные с изображением или видео.

Включение селектора цвета в авторское инструментальное средство обеспечивает интересные особенности, такие как удобная ручная коррекция и точная настройка выбранных цветов, а также интерактивную идентификацию интересующих областей, для которых цвет должен быть выбран селектором цвета.

Вариант осуществления содержит способ облегчения сопровождения визуализации изображения или видео сопутствующим управляемым окружающим освещением, содержащий этап, на котором выбирают цвет управляемого окружающего освещения в зависимости от информации об освещении сцены, связанной с изображением или с, по меньшей мере, одним изображением видео.

Вариант осуществления содержит компьютерный программный продукт, содержащий инструкции, для побуждения процессора выполнять вышеописанный способ.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения будут далее проиллюстрированы и описаны со ссылкой на чертежи, в которых:

фиг.1 в виде схемы иллюстрирует помещение с домашней развлекательной системой;

фиг.2 иллюстрирует схему варианта осуществления и

фиг.3 иллюстрирует схему варианта осуществления.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Последние разработки в области интеллектуального окружающего освещения позволяют осуществлять автоматические световые эффекты, зависящие от контента. Примером этого является телевизор эмбилайт. В случае генерирования автоматических световых эффектов из видеоконтента существующие решения используют концепцию доминантного цвета области видео. Оценивание освещения в сцене является проблемой, которая возникает во многих областях компьютерного видения, например, в распознавании объектов, разделении переднего плана и заднего плана и индексировании и извлечении изображений и видео.

Алгоритмы для автоматической генерации световых эффектов могут использовать оценивание доминантного цвета области видео. Например, это можно делать в связи с концепцией Leaky TV, задачей которой является продление цвета границы видео, обеспечивающее эффект «утекания» цветов с телевизора на стену. Доминантный цвет имеет некоторые нежелательные свойства. Это в особенности справедливо для световых блоков, отличных от тех, которые монтируются позади телевизора. Такие световые блоки называются в этом документе "световыми колонками". Одна из проблем доминантного цвета состоит в том, что небольшие глобальные изменения в сцене могут создать большие изменения создаваемых световых эффектов. Такие большие изменения могут быть нежелательны, в частности, для световых блоков, которые генерируют свет на более высоких уровнях мощности и определяют основную роль в полной освещенности окружающей среды. Изменениями создаваемых световых эффектов можно управлять и уменьшать их на более поздних стадиях автоматической генерации световых эффектов. Однако предпочтительно непосредственно оценивать световой эффект из изображений или видео более удовлетворительным образом. Освещение сцены обычно гораздо стабильнее и изменяется медленнее, чем доминантный цвет. Это также применимо к отдельным неподвижным изображениям, например, при визуализации последовательности изображений, полученных в сходных условиях освещения. Кроме того, освещение сцены является одним из главных создателей атмосферы в видео и неподвижной фотографии. Таким образом, оценка освещения сцены и перенос его на окружение зрителя может создавать более желательные свойства световых эффектов, а также более иммерсивную обстановку. Кроме того, когда изображения или видео являются результатом домашнего фотографирования или домашней видеосъемки, окружающее освещение расширяет возможности оживления воспоминаний, повторного переживания моментов и воссоздания такой же атмосферы.

Информация об освещении сцены, которую можно записывать и предоставлять в качестве части медиапотока или оценивать из изображения или видео, можно использовать для автоматической генерации световых эффектов, синхронизированной с медиа или генерацией световых сценариев. Текущие исследования позволяют оценивать освещение в оперативном и автономном режимах. Оценивание может основываться на информации всего видеокадра (изображения) или области видеокадра (изображения), и результат может отображаться в один световой блок или в совокупность световых блоков.

Изображение, записанное камерой, зависит от трех факторов: физического контента сцены, освещения, падающего на сцену, и характеристик камеры. Целью расчета константности цвета является учет влияния эффектов освещения либо путем непосредственного отображения изображения в стандартизованное представление, инвариантное к освещенности, либо путем определения описания освещения, которое можно использовать для последующей цветовой коррекции изображения. Это имеет важные применения, например, в распознавании объектов и понимании сцены, а также в воспроизведении изображения и цифровой фотографии. Другой целью расчета константности цвета является нахождение нетривиального описания, инвариантного к освещенности, для сцены из изображения, полученного в неизвестных условиях освещения. Эта задача часто разбивается на два этапа. Первым этапом является оценка параметров освещения, а на втором этапе эти параметры используются для вычисления поверхностных дескрипторов, не зависящих от освещенности. Первый этап используется с целью воссоздания окружающего освещения и освещения сцены согласно описанным здесь вариантам осуществления.

В работах «A comparison of computational color constancy algorithms - Part I: Methodology and experiments with synthesized data» и «Part II: Experiments with Image Data», K. Barnard и др., в: IEEE Trans. Im. Proc., т. 11, № 9, 2002, совместно именуемых здесь «Barnard», описан и сравнен ряд алгоритмов константности цвета, включающих в себя методы «gray world» («серый мир»), оценку освещения по максимуму каждого канала, методы отображения гамм, метод «color by correlation» («цвет через корреляцию») и методы нейронной сети. В этих алгоритмах осветительный параметр используется для вычисления поверхностных дескрипторов, не зависящих от освещенности. Например, описание, инвариантное к освещенности, можно задать в виде изображения сцены, как будто оно было получено при известном, стандартном, каноническом свете. Часто может быть допущено, что диагональная модель освещенности изменяется. При таком допущении изображение, полученное в одном освещении, можно отображать в другое освещение путем независимого масштабирования каждого канала. Масштабирование выполняется в соответствующем цветовом пространстве, например, в одном из цветовых пространств, заданных в CIE (например, CIELAB). Однако масштабирование будет объяснено здесь на конкретном примере цветового пространства RGB. Пусть реакция камеры на белое пятно в неизвестной освещенности выражается как (R^U, G^U, B^U), и реакция в известном, каноническом освещении выражается как (R^C, G^C, B^C). Тогда реакцию на белое пятно можно отобразить из неизвестного случая в канонический случай путем масштабирования трех каналов с коэффициентами R^C/R^U, G^C/G^U и B^C/B^U соответственно. Постольку то же самое масштабирование действует для других, небелых пятен, очевидно, что диагональная модель остается в силе. Если диагональная модель приводит к большим ошибкам, производительность можно повысить с использованием, например, повышения чувствительности датчика.

Вариант осуществления содержит домашнюю развлекательную систему, в которой видеоконтент воспроизводится синхронно с реконструкцией освещения сцены с использованием доступных световых блоков. Освещение сцены для данных пространственных областей оценивается посредством алгоритмов реального времени, например, одного из алгоритмов расчета константности цвета, описанных в Barnard, например, методов «gray world» («серый мир»), оценки освещения по максимуму каждого канала, методов отображения гамм, метода «color by correlation» («цвет через корреляцию») и методов нейронной сети. Альтернативно, освещение сцены для данных пространственных областей предварительно вычисляется поставщиком контента и включается в метаданные, сопровождающие видеоконтент. Метаданные обрабатываются домашней развлекательной системой, и описанные здесь световые эффекты осуществляются синхронно с визуализацией видео. В другой альтернативе освещение сцены для данных пространственных областей выводится из части метаданных медиа, например, дескриптора Mpeg 7. Например, метаданные могут содержать информацию о фактических условиях освещения во время видеозаписи.

После оценки освещения сцены оценка отображается в доступные световые блоки. Этот этап может базироваться на условиях освещения в разных областях экрана или сцены. Альтернативно, он основан на информации в метаданных. Например, метаданные могут предписывать световой эффект для каждой световой колонки. Кроме того, оценочное освещение сцены, заданное в виде цвета в цветовом пространстве контента, переносится в цветовое пространство световых блоков. Этот необязательный этап может выполняться домашней развлекательной системой в оперативном режиме. Наконец, световые эффекты с цветовой коррекцией визуализируются синхронно с контентом.

Описанные в этом документе способы можно использовать в приложениях, где световые эффекты генерируются автоматически или полуавтоматически. Способы также можно применять для автоматической или полуавтоматической генерации автономных сценариев для генерации световых эффектов или для обеспечения авторского средства для разработчика сценариев окружающего освещения, например, amBX.

На фиг.1 показано жилое помещение 100, включающее в себя элементы домашней развлекательной системы. Домашняя развлекательная система содержит дисплей 102 и источники 104 света. Дисплей 102 имеет необязательный эмбилайт, содержащий один или несколько управляемых источников света, освещающий пространство и стену позади дисплея 102. Эмбилайт является управляемым источником света. Домашняя развлекательная система, показанная на фиг.1, также содержит световые колонки 104. Такие световые колонки являются управляемыми источниками света в устройствах, отдельных от дисплея. Согласно фигуре каждый источник света освещает угол помещения.

Цвета управляемых источников света управляются в зависимости от визуализации на дисплее. Например, определяется освещение сцены для визуализуемой сцены, и эта информация используется для управления источниками света. Разными источниками света можно управлять по-разному, на основании информации, относящейся к разным аспектам визуализации. Например, дисплей можно разделить на области, каждая из которых соответствует источнику света. Информация об освещении сцены, относящаяся к каждой области, используется для управления каждым соответствующим источником света. Также возможно, что все источники света создают один и тот же цвет для создания однородного окружающего освещения.

На фиг.2 показан вариант осуществления изобретения. В общем случае видеоконтент необходимо анализировать, прежде чем визуализировать его на экране. Этот анализ контента извлекает несколько признаков, которые используются для вычисления цветов и интенсивностей для световых блоков в помещении. Затем эти значения поступают на световые блоки синхронно с контентом на дисплее. Контент 202 поступает на анализатор 204 контента. Признаки контента, полученные от анализатора 204 контента, поступают на селектор 210 цвета/интенсивности. Выбранный цвет и/или интенсивность используется для управления световыми блоками 212. Селектор 210 цвета осуществляет связь с синхронизатором 206 для обеспечения синхронизации световых эффектов с визуализацией контента на дисплее 208.

На фиг.3 показаны аспекты нескольких вариантов осуществления изобретения. Показана система 300, облегчающая сопровождение визуализации изображения или видео сопутствующим управляемым окружающим освещением. Система содержит селектор 302 цвета для выбора цвета управляемого окружающего освещения. С этой целью он принимает информацию об освещении сцены, связанную с изображением или с, по меньшей мере, одним изображением видео. Эта информация может исходить от входного устройства 310 и/или от анализатора 304 изображения.

Согласно варианту осуществления изображение или видео принимается входным устройством 310 и обеспечивается на анализатор 304 изображения. Анализатор изображения анализирует, по меньшей мере, область, по меньшей мере, одного изображения каждый раз. Анализатор 304 изображения вычисляет осветительный параметр области изображения. Этот осветительный параметр поступает на селектор 302 цвета. Несколько параметров освещения (например, значения цветовых координат, яркости для разных областей изображения) можно вычислять и подавать на селектор 302 цвета.

Осветительный параметр - это концепция, которая часто используется в объясненных выше алгоритмах расчета константности цвета. Осветительный параметр (в простом примере реакция камеры на белое пятно) поступает на селектор 302 цвета, который выбирает надлежащий цвет для управления источником света для генерации среды окружающего освещения. Осветительный параметр содержит информацию о цвете оценочной освещенности. Освещение изображения воссоздается посредством управляемого источника света. Для этого цвет освещения сцены (т.е. цвет освещенности), обычно задаваемый в цветовом пространстве изображения, в необязательном порядке, преобразуется в цветовое пространство источников 312 света. Это полезно, если источники света работают в цветовом пространстве, отличном от цветового пространства изображения и/или дисплея. Например, источники 312 света содержат СИД, способные воспроизводить разные цвета в зависимости от их первичных цветов, где первичные цвета СИД отличаются от первичных цветов, используемых для кодирования изображения. Выбранный цвет поступает на источник 312 света, который создает свет в выбранном цвете. В необязательном порядке выбираются разные цвета, например, соответствующие условиям освещения в разных областях экрана, которые используются для управления разными источниками света вокруг дисплея и/или в других местах в помещении.

Анализатор 304 изображения может основываться на предположении «gray world» («серый мир»). Согласно этому предположению сцена в среднем является идентичной к реакции камеры на выбранное значение «серого» цвета в освещенности сцены. При диагональном предположении из этого среднего можно оценить цвет белого. Цвет белого в освещенности сцены предполагается быть цветом освещения сцены.

Анализатор 304 изображения может, альтернативно, основываться на оценивании освещенности по максимуму каждого канала. Он оценивает освещенность по максимальной реакции в каждом канале, например, в каналах R, G и B, если используется цветовое пространство RGB.

Анализатор 304 изображения может, альтернативно, основываться на отображении гамм. В частности, анализатор изображения определяет гамму, ограниченную выпуклой оболочкой цветов, появляющихся в (области) изображения. Согласно методу отображения гамм, гамма изображения (т.е. набор цветов, присутствующих в изображении) отображается в гамму воображаемого изображения при заранее определенной освещенности. Наилучшее отображение (или отображения) можно использовать в качестве оценки освещенности. Например, если изображение имеет желтую освещенность, в изображении не будет много насыщенных синих цветов. Это означает, что гамма будет меньше по направлению к синему цвету. Поскольку в технике известно, как получить осветительные параметры посредством отображения гамм, в этом описании данный вопрос не будет подробно рассматриваться.

Другие методы, известные в технике алгоритмов расчета константности цвета, включают в себя метод «color by correlation» («цвет через корреляцию») и методы нейронной сети. Эти и другие методы пояснены в Barnard. Специалистам очевидно, что эти и другие алгоритмы можно использовать для идентификации осветительных параметров изображения или видео.

Согласно варианту осуществления селектор цвета выполнен с возможностью выбирать цветность и/или оттенок управляемого окружающего освещения в зависимости от информации об освещении сцены и для выбора яркости управляемого окружающего освещения независимо от информации об освещении сцены. Например, яркость поддерживается постоянной для более расслабленного зрительного впечатления, или яркость поддерживается выше заранее определенного минимального значения, даже если средняя яркость визуализуемого изображения очень низка.

Система 300 может быть выполнена с возможностью расчета осветительного параметра в реальном времени непосредственно перед визуализацией, по меньшей мере, одного изображения на дисплее 314 синхронно с управляемым эффектом окружающего освещения.

Согласно варианту осуществления входное устройство 310 выполнено с возможностью принимать информацию об освещении сцены из внешнего источника, например, в форме метаданных, сопутствующих изображению или видео, например, в формате EXIF или MPEG 7. Метаданные также можно обеспечивать в отдельном файле. Принятая информация указывает физические условия освещения сцены, захваченной в, по меньшей мере, одном изображении. Селектор цвета выбирает цвет в зависимости от принятой информации, например, он выбирает цвет, соответствующий физическим условиям освещения. В другом варианте осуществления принятая информация указывает условия освещения искусственной компьютерной графики для сцены искусственной компьютерной графики, захваченной в, по меньшей мере, одном изображении. Этот вариант осуществления является, в частности, интересным для компьютерных игр с окружающим освещением.

Согласно варианту осуществления входное устройство 310 принимает дескриптор цвета, инвариантный к освещенности (например, как часть данных MPEG 7), и селектор цвета выполнен с возможностью выбора цвета в зависимости от дескриптора цвета, инвариантного к освещенности. Пример дескриптора цвета, инвариантного к освещенности, известный из стандарта MPEG 7, охватывает дескрипторы цвета в ISO/IEC 15938-3, которые являются доминантным цветом, масштабируемым цветом, цветовой схемой и цветовой структурой. Один или несколько дескрипторов цвета, обрабатываемых методом, инвариантным к освещенности, могут быть включены в этот дескриптор. Специалисту очевидно, что селектор 302 цвета может рассчитывать информацию об освещении сцены путем нахождения делителя цвета, инвариантного к освещенности, и цвета в условиях освещения сцены.

Согласно варианту осуществления система содержит генератор 308 метаданных. Он включает выбранные цвета в метаданные, связанные с видео или изображением. Например, выбранный цвет можно включать в качестве атрибута с использованием стандартизованных форматов метаданных, например, EXIF или MPEG 7. Эти метаданные можно включать в файл изображения или поток видеоданных и сохранять для дальнейшего использования или вещания. В этом варианте осуществления система не нуждается, помимо прочего, в дисплее 314 и/или контроллере света 316 и/или источнике 312 света.

Согласно варианту осуществления система содержит контроллер 316 источника света. Контроллер 316 источника света управляет источником 312 окружающего освещения. Он преобразует выбранный цвет, принятый от селектора 302 цвета, в сигнал управления, поступающий на источник 312 света. Контроллер источника света преобразует цвет в цветовое пространство, пригодное для непосредственного управления источником света. Например, если выбранный цвет задан селектором 302 цвета в цветовом пространстве CIELAB или в цветовом пространстве дисплея, цвет можно преобразовывать в цветовое пространство на основании предварительного выбора, которое источник света способен воспроизводить. Такие преобразования известны в технике.

Источник 312 света может быть светом позади дисплея. Это также может быть источник света на большем удалении от дисплея. Несколькими источниками света можно управлять с разными цветами или с одним и тем же цветом. Для этого система может содержать более одного источника света, контроллера света и/или селектора цвета. Также возможно управлять совокупностью источников света с помощью одного контроллера источника света. Источники света могут быть распределены по помещению, например, по меньшей мере, в одном метре от дисплея.

Согласно варианту осуществления система содержит управляемый источник 312 света. Селектор 302 цвета выбирает цвет света, генерируемого источником 312 света.

Дисплей 314 используется для визуализации изображения или видео. Контроллер 316 источника света побуждает управляемый источник света генерировать свет, имеющий выбранный цвет, синхронно с визуализацией изображения. Один или несколько из управляемых источников 312 света могут содержаться в устройствах (или аппаратах), отдельных от дисплея. Это позволяет использовать источники света на большем удалении от дисплея и друг от друга. Таким образом, большая часть помещения может быть освещена в цвете, на основании информации об освещении сцены.

Авторское средство для создания метаданных может иметь систему 300. Изображение или видео, соответствующее метаданным, обеспечивается на входное устройство 310. Селектор 302 цвета выбирает цвет управляемого окружающего освещения в зависимости от освещения сцены, по меньшей мере, одного изображения, захваченной в изображении или видео. Например, анализатор 304 изображения используется для получения информации об освещении сцены. Генератор 308 метаданных включает указание цвета в метаданные, связанные с изображением или видео.

Система 300 может входить в состав домашней развлекательной системы или телевизора. Она также может включаться в состав телевизионной приставки, имеющей, например, раздельные выходы для вывода видео и управления источником света. Другие варианты применения включают в себя персональный компьютер, монитор компьютера, КПК или компьютерный игровой терминал.

Очевидно, что изобретение также распространяется на компьютерные программы, в частности, компьютерные программы на или в носителе, предназначенные для практического применения изобретения. Программа может иметь вид исходного кода, объектного кода, кода, промежуточного между исходным и объектным кодом, например, в частично компилированном виде, или любой другой вид, пригодный для использования при реализации способа, согласно изобретению. Носитель может быть любой сущностью или аппаратом, способным нести программу. Например, носитель может включать в себя запоминающее устройство, например, ПЗУ, например, CD-ROM или полупроводниковое ПЗУ, или магнитный носитель записи, например, флоппи-диск или жесткий диск. Кроме того, носитель может быть передаваемым носителем, таким как электрический или оптический сигнал, который может переноситься по электрическому или оптическому кабелю, или по радио, или иными средствами. Когда программа воплощена в таком сигнале, носитель может быть образован таким кабелем или иным аппаратом или средством. Альтернативно, носитель может быть интегральной схемой, в которой воплощена программа, причем интегральная схема пригодна для выполнения или для использования при выполнении соответствующего способа.

Заметим, что вышеупомянутые варианты осуществления иллюстрируют, но не ограничивают изобретение, и что специалисты в данной области техники могут разработать многочисленные альтернативные варианты осуществления, не выходя за рамки объема прилагаемой формулы изобретения. В формуле изобретения никакие условные обозначения, заключенные в скобки, не следует рассматривать в порядке ограничения формулы изобретения. Использование глагола «содержать» и его производных не исключает наличия элементов или этапов, отличных от указанных в формуле изобретения. Употребление названия элемента в единственном числе не исключает наличия совокупности таких элементов. Изобретение можно реализовать посредством оборудования, содержащего несколько разных элементов, и посредством надлежащим образом запрограммированного компьютера. В пункте устройства, где перечислено несколько средств, некоторые из этих средств могут быть реализованы в одном и том же элементе оборудования. Один лишь тот факт, что определенные меры указаны во взаимно разных зависимых пунктах, не указывает, что комбинацию этих мер нельзя выгодно использовать.

Изобретение относится к системам освещения (окружающего освещения). Техническим результатом является автоматическая генерация световых эффектов. Результат достигается тем, что система для облегчения сопровождения визуализации изображения или видео сопутствующим управляемым окружающим освещением содержит селектор цвета для выбора цвета управляемого окружающего освещения в зависимости от информации об освещении сцены, связанной с изображением или с, по меньшей мере, одним изображением видео, а также анализатор изображения для расчета осветительного параметра, указывающего освещение сцены, на основании изображения или видео, причем селектор цвета выполнен с возможностью выбора цвета в зависимости от осветительного параметра. 4 н. и 15 з.п. ф-лы, 3 ил.

1. Система для сопровождения визуализации изображения или видео сопутствующим управляемым окружающим освещением, содержащая селектор (302) цвета для выбора цвета управляемого окружающего освещения в зависимости от информации об освещении сцены, связанной с изображением или с, по меньшей мере, одним изображением видео.

2. Система по п.1, дополнительно содержащая
- входное устройство (310) для приема изображения или видео,
- анализатор (304) изображения для расчета осветительного параметра, указывающего освещение сцены, на основе изображения или видео, при этом селектор цвета выполнен с возможностью выбора цвета в зависимости от осветительного параметра.

3. Система по п.2, в которой анализатор (304) изображения сконструирован для расчета осветительного параметра согласно, по меньшей мере, одного из
- метода «серый мир»;
- метода оценки максимума каждого цветового канала;
- метода отображения гамм,
- «цвет через корреляцию» или
- метода нейронной сети.

4. Система по п.1, в которой селектор цвета выполнен с возможностью выбора цветности и/или оттенка управляемого окружающего освещения в зависимости от информации об освещении сцены.

5. Система по п.4, в которой селектор цвета выполнен с возможностью выбора яркости управляемого окружающего освещения независимо от информации об освещении сцены.

6. Система по п.2, в которой анализатор изображения выполнен с возможностью расчета осветительного параметра в реальном времени непосредственно перед визуализацией, по меньшей мере, одного изображения.

7. Система по п.1, содержащая генератор (308) метаданных для включения выбранного цвета в метаданные, связанные с видео или изображением.

8. Система по п.1, дополнительно содержащая входное устройство (310) для приема информации об освещении сцены.

9. Система по п.8, в которой информация об освещении сцены указывает физические условия освещения сцены, захваченной в, по меньшей мере, одном изображении.

10. Система по п.8, в которой информация об освещении сцены указывает условия освещения искусственной компьютерной графики сцены искусственной компьютерной графики, захваченной в, по меньшей мере, одном изображении.

11. Система по п.8, в которой входное устройство (310) выполнено с возможностью приема метаданных, связанных с видео или изображением, причем информация об освещении сцены включена в метаданные, и входное устройство содержит синтаксический анализатор для извлечения информации об освещении сцены из метаданных.

12. Система по п.11, в которой метаданные содержат дескриптор цвета, инвариантный к освещенности, и селектор цвета выполнен с возможностью выбора цвета в зависимости от дескриптора цвета, инвариантного к освещенности.

13. Система по п.1, дополнительно содержащая контроллер (316) источника света для управления источником (312) окружающего света, для создания света, имеющего выбранный цвет, синхронно с визуализацией изображения.

14. Система по п.13, дополнительно содержащая дисплей (314) для визуализации изображения.

15. Система по п.13, дополнительно содержащая, по меньшей мере, один источник (312) окружающего света, подключенный к контроллеру (316) источника света.

16. Система по п.14, дополнительно содержащая, по меньшей мере, один источник (312) окружающего света, подключенный к контроллеру (316) источника света, причем источник окружающего света и дисплей содержатся в разных устройствах.

17. Авторское инструментальное средство для создания метаданных для сопровождения визуализации изображения или видео сопутствующим управляемым окружающим освещением, содержащее
- входное устройство (310) для приема изображения или видео,
- селектор (302) цвета для выбора цвета управляемого окружающего освещения в зависимости от информации об освещении сцены, связанной с изображением или с, по меньшей мере, одним изображением видео, и
- генератор (308) метаданных для включения указания цвета в метаданные, связанные с изображением или видео.

18. Способ сопровождения визуализации изображения или видео сопутствующим управляемым окружающим освещением, содержащий выборку цвета управляемого окружающего освещения в зависимости от информации об освещении сцены, связанной с изображением или с, по меньшей мере, одним изображением видео.

19. Читаемый компьютером носитель, содержащий инструкции, чтобы заставить процессор выполнять способ по п.18.