ВЫДЕЛЕНИЕ ДОМИНИРУЮЩЕГО ЦВЕТА С ИСПОЛЬЗОВАНИЕМ ЗАКОНОВ ВОСПРИЯТИЯ ДЛЯ СОЗДАНИЯ ОКРУЖАЮЩЕГО ОСВЕЩЕНИЯ, ПОЛУЧАЕМОГО ИЗ ВИДЕОКОНТЕНТА Российский патент 2009 года по МПК H04N9/64 G06T7/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к созданию и настройке эффектов окружающего освещения с использованием множества источников света и обычно основано на или связано с видеоконтентом, например, из видеодисплея. В частности, изобретение касается способа для выделения информации о доминирующем цвете, в сочетании с законами восприятия, из дискретизированного или субдискретизированного видеоконтента в реальном времени и для выполнения преобразований для цветового отображения из цветового пространства видеоконтента в пространство, которое наилучшим образом позволяет возбудить множество источников окружающего света.

Предшествующий уровень техники

Инженеры давно стремятся расширить опыт восприятия, получаемый при потреблении видеоконтента, например, путем увеличения размеров просмотровых экранов и проекционных площадей, модуляции звука для создания реалистичных трехмерных эффектов и улучшения качества видеоизображений, включая расширение цветовых гамм, увеличения разрешающей способности и форматных соотношений для изображений, например, как в случае с цифровым телевидением и видеосистемами высокой четкости (HD). Кроме того, продюсеры кино, телевидения и видео также пытаются повлиять на опыт восприятия зрителя, используя аудиовизуальные средства, например, путем искусного использования цвета, быстрой смены сцен, углов обзора, периферийных декораций и компьютеризованных графических представлений. Сюда также относится освещение театральной сцены. К примеру, эффекты освещения обычно прописаны в сценарии (синхронизированы с видео- или игровыми сценами) и воспроизводятся с помощью некоторого механизма или компьютера, запрограммированного с использованием соответствующих сценариев для сцен, которые закодированы по требуемым схемам.

При существующих цифровых технологиях нелегко обеспечить гармоническую автоматическую адаптацию освещения к быстрым изменениям в сцене, включая незапланированные или не прописанные в сценарии сцены, в значительной степени из-за непроизводительных издержек, связанных с необходимостью использования в существующих системах больших битовых потоков с высокой пропускной способностью.

Philips (Нидерланды) и другие компании предложили средства для изменения окружающего или периферийного освещения с целью повышения качества видеоконтента для типовых домашних или бизнес-приложений с использованием отдельных источников света, отдаленных от видеодисплея, а также для многих приложений с предварительным программированием или кодированием желаемых эффектов освещения. Было установлено, что окружающее освещение в дополнение к видеодисплею или телевизору уменьшает утомляемость зрителя и повышает реалистичность и глубину восприятия.

Опыт восприятия естественно зависит от аспектов человеческого зрения, в котором используется исключительно сложный сенсорный и нейронный механизм для создания ощущений цветовых и световых эффектов. Человек в состоянии различать, по всей видимости, 10 миллионов отдельных цветов. В человеческом глазе для восприятия цвета или дневного зрения имеется три набора, состоящих из примерно 2 миллионов сенсорных тел, называемых колбочками, которые имеют распределения поглощения, достигающие максимума на длинах цветовых волн 445, 535 и 565 нм с большим перекрытием. Эти три типа колбочек образуют то, что называют по историческим причинам трехцветной системой, то есть B (синий), G (зеленый) и R (красный); причем указанные пики необязательно соответствуют каким-либо основным цветам, используемым в дисплее, например, обычно используемым RGB люминофорам. Также имеется взаимодействие, обеспечивающее телами, называемыми палочками, для скотопического или так называемого ночного зрения. Человеческий глаз обычно имеет 120 миллионов палочек, которые определяют опыт восприятия видеоизображений, особенно в условиях слабой освещенности, как, например, в домашнем кинотеатре.

Цветное видео основано на принципах человеческого зрения, и хорошо известные теории трехцветных и противоположных каналов человеческого зрения стали составной частью нашего понимания того, каким образом воздействовать на глаз, чтобы он видел желаемые цвета и эффекты, отличающиеся высокой точностью воспроизведения по отношению к исходному или заданному изображению. В большинстве цветовых моделей и пространств для описания зрительного опыта человека используют три размера или координаты.

Цветное видео полностью основывается на метамерии, которая позволяет создать цветовое восприятие с использованием небольшого количества эталонных раздражителей, а не действительный свет желаемого цвета и характера. Таким образом, в человеческом сознании воспроизводится полная гамма цветов с использованием ограниченного количества эталонных раздражителей, например, широко известные системы RGB с тремя раздражителями (красный, зеленый, синий), используемые во всем мире при воспроизведении видеоизображений. Хорошо известно, например, что почти все видеодисплеи отображают желтый свет сцены путем создания примерно в равных пропорциях красного и зеленого света в каждом пикселе или элементе изображения. Пиксели малы по отношению к пространственному углу, которому они противолежат, и глазу кажется, что он воспринимает желтый цвет; при этом он не воспринимает зеленый или красный, который в действительности транслируется.

Существует множество цветовых моделей и способов задания цветов, в том числе широко известные системы цветовых координат CIE (Международный комитет по освещению), используемые для описания и задания цвета для воспроизведения видео. Используя настоящее изобретение, можно применить любое количество цветовых моделей, в том числе приложение для нетонированных, противоположных цветовых пространств, например, системы CIE L*U*V* (CIELUV) или CIE L*a*b* (CIELAB). В 1931 году Комиссия CIE установила основу для управления и воспроизведения всех цветов, результатом чего стала диаграмма цветности, в которой используются три координаты x, y и z. График этой трехмерной системы с максимальной яркостью используется универсальным образом для описания цвета в координатах x и y, причем считается, что этот график, называемый «диаграмма цветности x, y, 1931» способна описать все цвета, воспринимаемые человеком. Это противоречит цветовому воспроизведению, при котором для «обмана» глаза и мозга используют метамерию. В настоящее время используется множество цветовых моделей или пространств для воспроизведения цвета на основе использования трех основных цветов или люминофоров, в число которых входят Adobe RGB, NTS C RGB и т.д.

Однако важно отметить, что диапазон всех возможных цветов, создаваемых видеосистемами с использованием упомянутых систем с тремя раздражителями, ограничен. Система RGB Национального комитета по телевизионным стандартам (NTSC) имеет относительно широкий диапазон доступных цветов, но эта система может воспроизводить лишь половину от всех цветов, воспринимаемых человеком. Множество оттенков синего и фиолетового, сине-зеленого и оранжевого/красного адекватно не воспроизводятся при использовании доступных возможностей традиционных видеосистем.

Кроме того, зрительная система человека наделена свойствами компенсации и распознавания, понимание механизма действия которых необходимо для разработки любой видеосистемы. Цвет человека может появляться в нескольких режимах, в том числе в объектном режиме и в осветительном режиме.

В объектном режиме световые раздражители воспринимаются в виде света, отраженного от объекта, который освещен источником света. В осветительном режиме световой раздражитель виден в виде источника света. Осветительный режим включает в себя раздражители в комплексном поле, которые гораздо ярче, чем другие раздражители. Сюда не относятся раздражители, известные как источники света, например видеодисплеи, чья яркость или светимость равна или ниже общей яркости сцены или поля зрения, с тем чтобы раздражители выглядели, как в объектном режиме.

Заметим, что существует много цветов, которые появляются только в объектном режиме, в число которых входят коричневый, оливковый, красно-коричневый, серый и бежевый телесный тон. Не существует такой вещи, как источник коричневого света, например светофор коричневого цвета.

По этой причине установки окружающего освещения для видеосистем, которые пытаются добавить объектные цвета, не могут это сделать, используя прямые источники яркого света. Ни одна комбинация источников яркого красного и зеленого света в узком диапазоне не может воспроизвести коричневый или красно-коричневый, и это значительно ограничивает возможный выбор. Только спектральные цвета радуги при изменении интенсивностей и насыщения могут воспроизводиться путем непосредственного наблюдения ярких источников света. Это подчеркивает необходимость точного управления системами окружающего освещения, с тем чтобы обеспечить низкую яркость от источников света, обращая особое внимание на управление цветовыми тонами. В настоящее время не уделяется внимания точному управлению, которое дает возможность обеспечить быстроизменяющееся и тонкое окружающее освещение при существующих архитектурах данных.

Видеопредставление может принимать множество форм. Представление спектральных цветов позволяет точно воспроизводить распределения спектральной мощности исходных раздражителей, но это нельзя реализовать при видеопредставлении, в котором используется три основных цвета. Точное представление цвета может дублировать трехцветные значения зрительной системы человека, создавая метамерическое соответствие оригиналу, но условия просмотра в целом для изображения и оригинальной сцены должны быть аналогичными, чтобы обеспечить аналогичный вид. Все условия для изображения и исходной сцены включают в себя стягиваемый угол изображения, яркость и цветность окружения и блики. Одной из причин, по которой часто невозможно достичь точного воспроизведения цвета, являются ограничения на максимальную яркость, которая может быть достигнута на цветном мониторе.

Колориметрическое воспроизведение света обеспечивает полезную альтернативу, где трехцветные значения пропорциональны соответствующим значениям в исходной сцене. Координаты цветности воспроизводятся точно, но с пропорционально уменьшенными яркостями. Колориметрическое воспроизведение цвета является хорошим эталонным стандартом для видеосистем в предположении, что оригинал и воспроизведенные опорные белые имеют одинаковую цветность, условия обзора одинаковы, и система имеет единичное значение общего показателя гамма. Эквивалентное воспроизведение цвета, когда цветность и яркость соответствуют оригинальной сцене, не может быть достигнуто из-за ограниченной яркости, создаваемой в видеодисплеях.

В большинстве случаев при воспроизведении видео на практике пытаются достичь соответствующего воспроизведения цветов, где воспроизведенные цвета выглядят так же, как выглядели бы цвета в оригинале, если бы они были освещены для создания того же самого среднего уровня яркости и той же самой цветности опорного белого, как при воспроизведении. Однако многие утверждают, что для дисплейных систем на практике предпочтительной конечной целью является цветовое воспроизведение, при котором точность воспроизведения цвета зависит от предпочтений зрителя. Например, предпочтительным для обычного реального цвета кожи считается цвет загорелой кожи, а небо предпочтительно сделать более голубым, а листву более зеленой, чем они выглядят на самом деле. Даже если соответствующее воспроизведение цвета принято в качестве проектного стандарта, некоторые цвета являются более важными, чем другие, например телесные тона, подвергающиеся специальной обработке во многих системах воспроизведения, таких как видеостандарт NTSC.

При воспроизведении света сцены важна хроматическая адаптация для достижения баланса белого. При правильно настроенных камерах и дисплеях белые и нейтральные серые цвета обычно воспроизводятся с цветностью D65 дневного света в стандарте CIE. Путем постоянного воспроизведения белой поверхности с одной и той же цветностью система подстраивается под зрительную систему человека, которая по сути адаптирует восприятие так, что белые поверхности всегда выглядят одинаково, какой бы ни была цветность освещения, так что белый лист бумаги будет выглядеть белым независимо от того, находится ли он на пляже в яркий солнечный день или в сцене в помещении, освещенном электрической лампой накаливания. При воспроизведении цвета регулировка баланса белого выполняется с помощью элементов управления усилением по каналам R, G и B.

Световой выход типового приемника цвета обычно является нелинейным, а скорее подчиняется степенной зависимости от приложенных напряжений видеосигнала. Световой выход пропорционален напряжению возбуждения видеосигнала в степени гамма, где показатель гамма обычно составляет 2,5 для цветной электронно-лучевой трубки (CRT) и 1,8 для источников света других типов. Компенсация этого показателя обеспечивается тремя основными гамма-корректорами в усилителях обработки видеосигнала камеры, так что основные видеосигналы, которые кодируются, передаются и декодируются, в действительности представляют собой не R, G и B, а R^1/(, G^1/( и B^1/(. Колориметрическое воспроизведение цвета требует, чтобы результирующий показатель гамма для видеовоспроизведения, включая камеру, дисплей и любые электронные схемы для гамма-регулировки, составлял единицу, но при попытке воспроизведения соответствующего цвета яркость окружения имеет преимущественное значение. Например, тусклое окружение требует, чтобы показатель гамма составлял порядка 1,2, а темное окружение требует, чтобы показатель гамма составлял порядка 1,5 для оптимального цветового воспроизведения. Показатель гамма является важным вопросом реализации для цветовых пространств RGB.

В большинстве случаев при кодировании для воспроизведения цвета используют стандартные цветовые пространства RGB, такие как sRGB, ROMM RGB, Adobe RGB 98, Apple RGB и видеопространства RGB, например, которые используются в стандарте NTSC. Обычно изображение фиксируется в пространстве устройства-датчика или устройства-источника, которое специфично для конкретного устройства и изображения. Оно может быть преобразовано в пространство нетонированных изображений, которое является стандартным цветовым пространством, описывающим колориметрию оригинала (смотри раздел Определения).

Однако видеоизображения почти всегда непосредственно преобразуются из пространства устройства-источника в пространство тонированных изображений (смотри раздел Определения), которое описывает цветовое пространство некоторого реального или виртуального выходного устройства, например видеодисплея. Большинство существующих стандартных цветовых пространств RGB являются тонированными пространствами изображений. Например, пространства источника и выходные пространства, созданные камерами и сканерами, не являются цветовыми пространствами на базе CIE, а являются спектральными пространствами, которые определяются спектральными чувствительностями и другими характеристиками камеры или сканера.

Тонированные пространства изображений являются цветовыми пространствами, привязанными к конкретному устройству на основе колориметрии характеристик реального или виртуального устройства. Изображения могут быть преобразованы в тонированные пространства из тонированных либо не тонированных пространств изображений. Сложность этих преобразований варьируется и может включать в себя усложненные алгоритмы, зависящие от изображения. Преобразования могут являться необратимыми, причем часть информации кодированной исходной сцены отбрасывается или сжимается для согласования с динамическим диапазоном и гаммой цветов конкретного устройства.

В настоящее время имеется только одно нетонированное цветовое пространство RGB, находящееся в процессе стандартизации - это ISO RGB, определенное в стандарте ISO 17321, которое чаще всего используется для описания цветовых характеристик цифровых фотокамер. В большинстве современных приложений изображения преобразуются в тонированное цветовое пространство для архивирования и пересылки данных, включая видеосигналы. Преобразование из одного пространства тонированных изображений или цветового пространства в другое может привести к появлению серьезных искажений изображения (артефактов). Чем больше несогласованных гамм цветов и белых точек между двумя устройствами, тем сильнее отрицательные эффекты.

Один из способов их преодоления в существующих системах отображения окружающего света, состоящий в выделении из видеоконтента репрезентативных цветов для трансляции окружающего света может оказаться проблематичным. Например, цветовое усреднение цветностей пикселей часто приводит к появлению оттенков серого, коричневого или другого цвета, которые не искажают правильное цветовое восприятие видеосцены или изображения. Цвета, полученные на основе простого усреднения цветностей, часто выглядят грязноватыми и выбранными ошибочно, в частности, когда они контрастируют с такой особенностью изображения, как, например, яркая рыба, или доминирующим фоном, таким как голубое небо.

Другой проблемой существующих систем отображения окружающего света является то, что не задан конкретный способ обеспечения синхронной работы в реальном времени для преобразования тонированных трехцветных значений из видео в соответствующие параметры источников окружающего света, чтобы предоставить соответствующую колориметрию и вид. Например, выходной сигнал светодиодных источников окружающего света часто является очень ярким и отличается ограниченными или перекошенными цветовыми гаммами, причем тон и цвет, как правило, трудно оценить и воспроизвести. Например, патент США № 6611297, выданный Akashi и др., посвящен обеспечению реалистичности окружающего освещения, но в нем не предложен конкретный способ, гарантирующий правильную и приятную для глаза цветность, а принципы патента Akashi не позволяют анализировать видео в реальном времени, а предполагают обязательное наличие сценария или его эквивалента.

Вдобавок, настройка источников окружающего света с использованием гамма-скорректированных цветовых пространств из видеоконтента часто приводит к ослепительным, ярким цветам. Другой серьезной проблемой существующего уровня техники является большой объем передаваемой информации, которая необходима для возбуждения источников окружающего света в зависимости от видеоконтента в реальном времени и для адаптации к быстроменяющейся среде окружающего освещения, где требуется глубокоосмысленный выбор цвета.

В частности, усредненные или иные цветности, выделенные для использования в эффектах окружающего освещения, часто оказываются невоспроизводимыми (например, коричневые цвета) или не подходят по причинам восприятия. Например, если в качестве доминирующего цвета указан, например, коричневый, система окружающего освещения, действующая согласно этому указанию, может по умолчанию создать другой цвет, например ближайший цвет в своем световом пространстве, который она способна создать (например, розовый). Однако этот цвет, выбранный для создания в системе, может оказаться неподходящим, так как он, возможно, будет неправильно восприниматься или быть неприятным.

Также включение окружающего света во время темных сцен часто оказывается ослепляющим, слишком ярким и не передает цветность, соответствующую цветности контента сцены. Включение окружающего света во время светлых сцен может привести к созданию окружающего цвета, выглядящего слабым и не имеющим достаточного цветового насыщения.

Кроме того, может оказаться, что для выделения доминирующего цвета целесообразно использовать некоторые аспекты сцены, например голубое небо, чтобы проинформировать систему окружающего освещения, когда другие объекты, например облачный покров, могут быть менее предпочтительными. В известных системах также отсутствует механизм для непрерывного исследования элементов сцены, отвлекающих внимание от большинства или большого количества пикселей, чья цветность не является предпочтительной с точки зрения предпочтений восприятия. Другой проблемой известного уровня техники является то, что вновь появившиеся особенности видеосцены часто не представляются или не полностью представляются при выделении и выборе доминирующего цвета. На сегодняшний день не существует способа приложения законов восприятия для разрешения этих проблем.

Следовательно, выгодно расширить возможную гамму цветов, создаваемых окружающим освещением, наряду с типовой трехцветной видеодисплейной системой при использовании характеристик человеческого глаза, например изменения относительной визуальной яркости различных цветов в функции уровней освещения, путем модуляции или изменения характера цвета и света, предоставляемого зрителю, с применением системы окружающего освещения, которая с выгодой использует эффекты компенсации, чувствительность и другие особенности человеческого зрения и обеспечивает окружающее освещение, которое не только правильно извлечено из видеоконтента, но также обеспечивает искусное использование множества потенциальных доминирующих цветов, которые присутствуют в сцене.

Также выгодно создать качественную окружающую атмосферу, свободную от эффектов искажения из-за показателя гамма. Кроме того, желательно иметь возможность обеспечить способ для обеспечения имитирующего окружающего освещения посредством выделения доминирующего цвета из выбранных видеообластей, с использованием экономичного потока данных, который кодирует усредненные или характеристические значения цветов. Еще желательно уменьшить требуемый объем потока данных и дать возможность применять законы восприятия для улучшения видимости и точности воспроизведения, а также дать возможность осуществлять прерогативы восприятия при выборе цветностей и яркостей, отобранных для трансляции окружающего освещения.

Информацию о разработке видео- и телевизионных систем, технологиях сжатия, пересылке и кодировании данных, человеческом зрении, научных знаниях о цветах и их восприятии, цветовых пространствах, визуализации колориметрии и изображений, включая воспроизведение видео, можно найти в следующих работах, содержание которых целиком включено сюда по ссылке: [1] Color Perception Alan R. Robertson, Physics Today, December 1992, Vol. 45, No 12, pp. 24-29; [2] The Physics and Chemistry of Color, 2ed, Curt Nassau, John Wiley & Sons, Inc., New York © 2001; [3] Principles of Color Technology, 3ed, Roy S. Berns, John Wiley & Sons, Inc., New York © 2000; [4] Standard Handbook of Video and Television Engineering, 4ed, Jerry Whitaker and K. Blaier Benson, McGraw - Hill, New York © 2003.

Сущность изобретения

Способы, предложенные для различных вариантов осуществления изобретения, включают в себя использование статистики уровней пикселей или ее функциональный эквивалент для определения или выделения одного или нескольких доминирующих цветов таким образом, который связан по возможности с минимальной вычислительной нагрузкой, но в то же время обеспечивает приятные для глаза и подходящие цветности, выбранные в качестве доминирующих цветов согласно законам восприятия.

Изобретение относится к способу для выделения доминирующего цвета из видеоконтента, закодированного в тонированном цветовом пространстве, для получения, с использованием законов восприятия, доминирующего цвета для его эмуляции источником окружающего света. Возможные шаги способа включают в себя: [1] выполнение выделения доминирующего цвета из пиксельных цветностей из видеоконтента в тонированном цветовом пространстве для создания доминирующего цвета путем выделения любого из: [а] моды пиксельных цветностей; [b] медианы пиксельных цветностей; [c] взвешенного среднего по цветности пиксельных цветностей; [d] взвешенного среднего пиксельных цветностей с использованием пиксельной весовой функции, которая является функцией любого из: местоположения пикселей, цветности и яркости; [2] дополнительное извлечение цветности доминирующего цвета согласно закону восприятия, причем закон восприятия выбирается из любого из: [a] простого преобразования цветности; [b] взвешенного среднего с использованием пиксельной весовой функции, дополнительно сформулированной так, чтобы представлять влияние контента сцены, который получают путем оценки цветности или яркости для множества пикселей в видеоконтенте; [c] расширенного выделения доминирующего цвета с использованием взвешенного среднего, где пиксельная весовая функция сформулирована в виде функции контента сцены, который получают путем оценки цветности или яркости для множества пикселей в видеоконтенте, причем пиксельная весовая функция дополнительно сформулирована таким образом, что взвешивание по меньшей мере уменьшается для мажоритарных пикселей; и [3] преобразование доминирующего цвета из тонированного цветового пространства во второе тонированное цветовое пространство, сформированное так, чтобы дать возможность возбуждения источника окружающего света.

При желании можно выполнить квантование пиксельных цветностей (или тонированного цветового пространства), причем это можно сделать несколькими способами (смотри раздел Определения), где целью является облегчение вычислительной нагрузки путем попытки сокращения возможных цветовых состояний, например, в результате присваивания большего количества цветностей (например, пиксельных цветностей) меньшему количеству присвоенных цветностей или цветов; или уменьшение числа пикселей путем процесса выбора, который отбирает выбранные пиксели; или сохранения для создания репрезентативных пикселей или суперпикселей.

Если это квантование тонированного цветового пространства выполняется частично путем сохранения пиксельных цветностей по меньшей мере в одном суперпикселе, то созданный таким образом суперпиксель может иметь размер, ориентацию, форму или местоположение, сформированные в соответствии с особенностью изображения. Присвоенные цвета, использованные в процессе квантования, могут быть выбраны в виде регионального цветового вектора, который необязательно находится в тонированном цветовом пространстве, например во втором тонированном цветовом пространстве.

Другие варианты осуществления способа включают в себя вариант, в котором при простом преобразовании цветности выбирается цветность, обнаруженная во втором тонированном цветовом пространстве, используемом для создания окружающего света.

Также можно сформулировать пиксельную весовую функцию, с тем чтобы обеспечить поддержку темноты путем [4] оценки видеоконтента для демонстрации того, что яркость сцены в контенте сцены низкая; а затем [5] выполнения любого из: [a] использование пиксельной весовой функции, дополнительно сформулированной для уменьшения веса ярких пикселей; и [b] трансляция доминирующего цвета, полученного с использованием уменьшенной яркости по отношению к яркости, которая была бы создана в противном случае.

В альтернативном варианте осуществления можно также сформулировать пиксельную весовую функцию с тем, чтобы обеспечить поддержку цвета путем: [6] оценки видеоконтента для демонстрации того, что яркость сцены в контенте сцены высокая; а затем [7] выполнения любого из: [a] использование пиксельной весовой функции, дополнительно сформулированной для уменьшения веса ярких пикселей; и [b] выполнение шага [2] [c].

Расширенное выделение доминирующего цвета может быть повторено отдельно для разных особенностей сцены в видеоконтенте, чтобы сформировать множество доминирующих цветов, причем шаг [1] может быть повторен, где каждый из множества доминирующих цветов обозначен в виде пиксельной цветности. Затем при желании вышеуказанный шаг [1] (извлечение доминирующего цвета) может быть повторен отдельно для пиксельных цветностей во вновь появившейся особенности сцены.

Для формирования распределения присвоенных цветов может быть предпринято квантование по меньшей мере некоторых пиксельных цветностей из видеоконтента в тонированном цветовом пространстве, и во время шага [1] из распределения присвоенных цветов можно получить по меньшей мере несколько пиксельных цветностей. В альтернативном варианте квантование может содержать сохранение пиксельных цветностей по меньшей мере в одном суперпикселе.

Если распределение присвоенных цветов выполнено, то по меньшей мере один из присвоенных цветов может представлять собой региональный цветовой вектор, который необязательно находится в тонированном цветовом пространстве, например региональный цветовой вектор, лежащий во втором тонированном цветовом пространстве, используемом для возбуждения источника окружающего света.

Способ может также дополнительно содержать установку по меньшей мере одного интересующего цвета в распределении присвоенных цветов с последующим выделением присвоенных им пиксельных цветностей для получения правильного доминирующего цвета, подлежащего обозначению в конце концов как доминирующего цвета.

Доминирующий цвет может в действительности содержать палитру доминирующих цветов, каждый из которых получают, применяя данный способ.

Способ может также выполняться после квантования тонированного цветового пространства, а именно квантования по меньшей мере некоторых пиксельных цветностей из видеоконтента в тонированном цветовом пространстве, для формирования распределения присвоенных цветов, так что выделение доминирующего цвета на шаге [1] дает распределение присвоенных цветов (например, [a] мода распределения присвоенных цветов и т.д.). Затем аналогичным образом может быть сформулирована пиксельная весовая функция, с тем чтобы обеспечить поддержку темноты путем: [4] оценки видеоконтента для установления того, что яркость сцены в контенте сцены низкая; и [5] выполнения любого из: [a] использование пиксельной весовой функции, дополнительно сформулированной для уменьшения веса присвоенных цветов, приписываемых ярким пикселям; и [b] трансляция доминирующего цвета, полученного с использованием уменьшенной яркости по отношению к яркости, которая была бы создана в противном случае. Аналогичным образом для поддержки цвета может быть сформулирована пиксельная весовая функция, с тем чтобы обеспечить поддержку цвета путем: [6] оценки видеоконтента для установления того, что яркость сцены в контенте сцены высокая; и [7] выполнения любого из: [a] использование пиксельной весовой функции, дополнительно сформулированной для уменьшения веса присвоенных цветов, приписываемых ярким пикселям; и [b] выполнение шага [2] [c]. Другие шаги могут меняться местами в соответствии с использованием присвоенных цветов.

Способ также может, но необязательно, содержать: [0] декодирование видеоконтента в тонированном цветовом пространстве во множество кадров и квантование по меньшей мере некоторых пиксельных цветностей из видеоконтента в тонированном цветовом пространстве для формирования распределения присвоенных цветов. Вдобавок, способ может, но необязательно, содержать: [3a] преобразование доминирующего цвета из тонированного цветового пространства в нетонированное цветовое пространство; а затем [3b] преобразование доминирующего цвета из нетонированного цветового пространства во второе тонированное цветовое пространство. Этому могут способствовать [3c] матричные преобразования основных цветов тонированного цветового пространства и второго тонированного цветового пространства в нетонированное цветовое пространство с использованием первой и второй трехцветных матриц основных цветов и получение преобразования цветовой информации во второе тонированное цветовое пространство путем матричного умножения основных цветов тонированного цветового пространства, первой трехцветной матрицы и обратной второй трехцветной матрицы.

Как только из распределения присвоенных цветов выбран доминирующий цвет, можно, так сказать, вернуться назад, чтобы получить действительные пиксельные цветности для очистки доминирующего цвета. Например, как упоминалось выше, можно установить по меньшей мере один интересующий цвет в распределении присвоенных цветов и выделить присвоенные пиксельные цветности для получения правильного доминирующего цвета, обозначаемого как доминирующий цвет. Таким образом, хотя присвоенные цвета могут представлять собой грубую аппроксимацию видеоконтента, правильный доминирующий цвет может обеспечить правильную цветность для распределения окружающего света еще и с сокращением объема вычислений, которые потребовались бы в противном случае.

Пиксельные цветности на шаге [1] можно получить из области выделения, имеющей любую форму, размер или местоположение, а также один транслируемый окружающий свет доминирующего цвета от источника окружающего света по соседству с областью выделения.

Эти шаги могут быть скомбинированы множеством способов для выражения различных одновременно применяемых законов восприятия, например путем установки множества критериев, которые должны совместно существовать и бороться за приоритет при выделении и выборе доминирующего цвета. Нетонированное цветовое пространство, которое можно использовать для преобразования в окружающее второе тонированное цветовое пространство, может представлять собой одно из пространств: CIE XYZ; ISO RGB, определенное в стандарте ISO Standard 17321; Photo YCC; CIE LAB; или любое другое нетонированное пространство. Шаги, предпринимаемые для выполнения выделения доминирующего цвета и применения законов восприятия, могут фактически выполняться синхронно с видеосигналом, причем при трансляции окружающего света от или вокруг видеодисплея используется цветовая информация во втором тонированном цветовом пространстве.

Перечень фигур чертежей

Фиг.1 - элементарный вид передней поверхности видеодисплея, где показаны области выделения цветовой информации и соответствующая трансляция окружающего света от источников окружающего света согласно изобретению;

Фиг.2 - вид сверху (частично схематический и частично в виде поперечных сечений) помещения, в котором окружающий свет от множества источников окружающего света создается с использованием изобретения;

Фиг.3 - система согласно изобретению для выделения цветовой информации и выполнения преобразований цветового пространства, позволяющих возбуждать источники окружающего света;

Фиг.4 - уравнение для вычисления усредненной цветовой информации из области выделения видео;

Фиг.5 - известное матричное уравнение для преобразования тонированных элементов RGB в нетонированное цветовое пространство XYZ;

Фиг.6 и 7 - матричные уравнения для отображения тонированных цветовых видеопространств и окружающего освещения соответственно в нетонированное цветовое пространство;

Фиг.8 - решение, использующее известное обращение матриц для получения трехцветных значений R'G'B' окружающего света из нетонированного цветового пространства XYZ;

Фиг.9-11 - известный вариант получения трехцветной матрицы М основных цветов с использованием метода белых точек;

Фиг.12 - система, аналогичная показанной на фиг.3, которая дополнительно содержит шаг гамма-коррекции для трансляции окружающего света;

Фиг.13 - схема общего трансформационного процесса, используемого в изобретении;

Фиг.14 - шаги процесса для получения коэффициентов матрицы преобразования для источника окружающего света, используемого в изобретении;

Фиг.15 - шаги процесса для выделения оцениваемого видеоизображения и воспроизведения окружающего света с использованием изобретения;

Фиг.16 - схема выделения видеокадра согласно изобретению;

Фиг.17 - шаги процесса для сокращенной оценки цветности согласно изобретению;

Фиг.18 - шаги выделения, показанного на фиг.3 и 12, с использованием декодера кадров, установкой частоты выделения кадров и выполнением выходного вычисления для возбуждения источника окружающего света;

Фиг.19 и 20 - шаги процесса для извлечения и обработки цветовой информации согласно изобретению;

Фиг.21 - схема общего процесса согласно изобретению, включая выделение доминирующего цвета и преобразование в цветовое пространство окружающего освещения;

Фиг.22 - схематическое представление возможного способа квантования пиксельных цветностей из видеоконтента путем присваивания пиксельных цветностей присвоенному цвету;

Фиг.23 - схематическое представление одного примера квантования путем сохранения пиксельных цветностей в суперкадре;

Фиг.24 - схематическое представление процесса сохранения, аналогичного фиг.23, но где размер, ориентация, форма или местоположение суперпикселя может формироваться в соответствии с особенностями изображения;

Фиг.25 - региональные цветовые векторы и их цвета или координаты цветности на стандартной цветовой карте CIE с прямоугольной системой координат, где один цветовой вектор лежит вне гаммы цветов, получаемых согласно стандартам создания цветов PAL/SECAM, NTSC и Adobe RGB;

Фиг.26 - крупный план части графика на фиг.25, где дополнительно показаны пиксельные цветности и их присваивание региональным цветовым векторам;

Фиг.27 - гистограмма, демонстрирующая моду распределения присвоенных цветов согласно одному возможному способу изобретения;

Фиг.28 - схематическое представление медианы распределения присвоенных цветов согласно одному возможному способу изобретения;

Фиг.29 - математическое суммирование для взвешенного среднего по цветности присвоенных цветов согласно одному возможному способу изобретения;

Фиг.30 - математическое суммирование для взвешенного среднего по цветности присвоенных цветов с использованием пиксельной весовой функции согласно одному возможному способу изобретения;

Фиг.31 - схематическое представление установки интересующего цвета в распределении присвоенных цветов с последующим выделением присвоенных пиксельных цветностей для получения правильного доминирующего цвета, обозначаемого как доминирующий цвет;

Фиг.32 - схематическое представление того, что выделение доминирующего цвета согласно изобретению может быть выполнено многократно или раздельно параллельно для обеспечения палитры доминирующих цветов;

Фиг.33 - элементарный вид передней поверхности видеодисплея, показанного на фиг.1, демонстрирующий пример неравного взвешивания для предпочтительной пространственной области для способов, показанных на фиг.29 и 30;

Фиг.34 - элементарный вид передней поверхности видеодисплея, показанного на фиг.33, схематически демонстрирующий особенность изображения, выделенную с целью выделения доминирующего цвета согласно изобретению;

Фиг.35 - схематическое представление еще одного варианта осуществления изобретения, с помощью которого видеоконтент, декодированный в набор кадров, позволяет получать доминирующий цвет, по меньшей мере частично опираясь на доминирующий цвет из предыдущего кадра;

Фиг.36 - шаги процесса для сокращенной процедуры выбора доминирующего цвета согласно изобретению;

Фиг.37 - элементарный вид передней поверхности видеодисплея, представляющий контент сцены с вновь появившейся особенностью, для иллюстрации выделения доминирующего цвета с поддержкой темноты;

Фиг.38 - элементарный вид передней поверхности видеодисплея, представляющий контент сцены для иллюстрации выделения доминирующего цвета с цветовой поддержкой;

Фиг.39 - схематическое представление трех иллюстративных категорий, по которым можно классифицировать законы восприятия согласно данному изобретению;

Фиг.40 - схематическое представление простого преобразования цветности в виде функционального оператора;

Фиг.41 - схематическое представление ряда последовательных шагов для выделения доминирующего цвета с использованием среднего, вычисляемого с применением пиксельной весовой функции согласно изобретению для выполнения двух возможных иллюстративных законов восприятия;

Фиг.42 - схематическое представление ряда последовательных шагов для выделения доминирующего цвета с использованием среднего, вычисляемого с применением пиксельной весовой функции для расширенного извлечения доминирующего цвета согласно изобретению для выполнения двух возможных иллюстративных законов восприятия;

Фиг.43 - возможные функциональные формы для пиксельной весовой функции, используемой согласно изобретению.

Подробное описание изобретения

Далее во всем описании используются следующие определения:

Источник окружающего света - в формуле изобретения включает в себя любые необходимые для создания света схемы или возбудители, создающие освещение.

Окружающее пространство - ассоциируется с любыми материальными телами, воздухом или пространством, внешними по отношению к видеодисплейному блоку.

Распределение присвоенных цветов - обозначает набор цветов, выбранных для представления (например, для вычислительных целей) полных диапазонов пиксельных цветностей, встречающихся в видеоизображении или в видеоконтенте.

Яркий - при ссылке на пиксельную яркость обозначает [1] относительную характеристику, то есть ярче, чем другие пиксели, или [2] абсолютную характеристику, такую как высокий уровень яркости, либо и то и другое. Это может относиться к яркому красному свету в сцене темно-красного цвета или относиться к ярким по своей природе цветностям, таким как белые цвета и серые цвета.

Преобразование цветности - относится к замене одной цветности другой цветностью в результате применения закона восприятия, как здесь описано.

Хроматические данные - в контексте возбуждения источника окружающего света обозначают механический, численный или физический способ задания цветового характера создаваемого цвета, например цветности, и не предполагает конкретную методику, например ту, которая используется в телевещании NTSC или PAL.

Окрашенный - при ссылке на пиксельные хроматические данные обозначает: [1] относительную характеристику, то есть проявление более высокого цветового насыщения, чем у других пикселей, или [2] абсолютную характеристику, например уровень цветового насыщения, либо и то, и другое.

Цветовая информация - включает в себя хроматические данные и яркость, или функционально эквивалентные качества, либо и то, и другое.

Компьютер - включает в себя не только все процессоры, например CPU (центральные процессоры), в которых используются известные архитектуры, но также любое интеллектуальное устройство, которое дает возможность выполнять кодирование, декодирование, считывание, обработку, выполнение кодов настройки или кодов изменения, например цифровые оптические устройства или аналоговые электрические схемы, которые выполняют аналогичные функции.

Темный - при ссылке на пиксельную яркость обозначает: [1] относительную характеристику, то есть более темный, чем другие пиксели, или [2] абсолютную характеристику, например низкий уровень яркости.

Доминирующий цвет - обозначает любую цветность, выбранную для представления видеоконтента в целях трансляции окружающего цвета, включая любые цвета, выбранные с использованием раскрытых здесь иллюстративных способов.

Расширенное выделение (доминирующего цвета) - относится к любому процессу для выделения доминирующего цвета, выполняемому после того, как предыдущий процесс исключил или уменьшил влияние мажоритарных пикселей или других пикселей в видеосцене или видеоконтенте, например, когда интересующие цвета сами по себе используются для дальнейшего выделения доминирующего цвета.

Область выделения - включает в себя любой поднабор из всего видеоизображения или кадра либо в более общем случае любую видеообласть или кадр, который дискретизирован с целью выделения доминирующего цвета.

Кадр - включает в себя последовательные во времени представления информации об изображении в видеоконтенте, соответствующие использованию термина «кадр» в технике, но также включает в себя любые частичные (например, чересстрочные) или полные данные изображения, используемые для передачи видеоконтента в любой момент времени или с регулярными интервалами.

Гониохроматический - относится к свойству, определяющему разный цвет или цветность в зависимости от угла видимости или угла наблюдения, например, создаваемому в результате иридисценции.

Гониофотометрический - относится к свойству, определяющему разную интенсивность света, пропускание и/или цвет в зависимости от угла видимости или угла наблюдения, например, что встречается при перламутровом эффекте, искрении или ретроотражении.

Интерполяция - включает в себя линейную или математическую интерполяцию между двумя множествами значений, а также функциональные предписания для установки значений между двумя известными множествами значений.

Характер света - в широком смысле означает любое определение природы света, созданного, например, источником окружающего света, включая все дескрипторы, отличные от яркости и хроматических данных, такие как степень пропускания или отражения света; или любое определение гониофотометрических свойств, включая уровень создания цвета, искр или других известных явлений в зависимости от углов видимости при наблюдении источника окружающего света; направление выхода света, включая направленность, задаваемую вектором Пойнтинга или другим вектором распространения; или задание углового распределения света, например сферические углы или функции распределения сферического угла. Этот термин может также включать в себя координату или координаты для задания местоположений в источнике окружающего света, например местоположения элементарных пикселей или ламп.

Яркость - обозначает любой параметр или меру яркости, интенсивности или эквивалентную меру, причем этот термин не предполагает конкретный способ генерации или измерения света, или его психобиологическую интерпретацию.

Мажоритарные пиксели - относится к пикселям, передающим похожую цветовую информацию, например насыщение, яркость или цветность в видеосцене. Примеры этого включают в себя пиксели, которые установлены для демонстрации темного (темнота в сцене), в то время как меньшее или другое количество других пикселей ярко освещены; пиксели, которые преимущественно установлены для демонстрации белого или серого (например, область в сцене); и пиксели, которые совместно используют одинаковую цветность, например цвета зеленых листьев в сцене леса, где также отдельно изображается красная лисица. Критерий, используемый для установки того, что считать подобным, может меняться, причем численное большинство при этом не является обязательным, хотя часто используется.

Пиксель - относится к элементам действительного или виртуального видеоизображения или эквивалентной информации, которая позволяет получить пиксельную информацию. Для видеодисплейных систем на векторной основе пиксель может представлять собой любую субчасть видеовыхода, которая может сама быть проанализирована или охарактеризована.

Пиксельная цветность - включает в себя действительные значения пиксельных цветностей, а также любые другие цветовые значения, которые присваиваются в результате процесса квантования или консолидации, например, когда процесс служил для квантования цветового пространства. Таким образом, в прилагаемой формуле изобретения считается, что пиксельная цветность может включать в себя значения из распределения присвоенных цветов.

Квантование цветового пространства - в описании и в контексте формулы изобретения относится к уменьшению возможных цветовых состояний, например, как результат присвоения большего количества цветностей (например, пиксельных цветностей) меньшему количеству присвоенных цветностей или цветов; или уменьшению количества пикселей путем процесса выбора, который отбирает выбранные пиксели; или сохранению для создания репрезентативных пикселей или суперпикселей.

Тонированное цветовое пространство - обозначает пространство изображений или цветовое пространство, зафиксированное датчиком, или специфическое для конкретного устройства источника или дисплейного устройства, которое является специфическим для конкретного устройства и изображения. Большинство цветовых пространств RGB являются тонированными пространствами изображений, включая видеопространства, используемые для возбуждения видеодисплея D. В прилагаемой формуле изобретения цветовые пространства, как привязанные к видеодисплею, так и привязанные к источнику 88 окружающего света, являются тонированными цветовыми пространствами.

Яркость сцены - относится к любой мере яркости в контенте сцены согласно любому требуемому критерию.

Контент сцены - относится к характеристике видеоинформации, способной формировать видимое изображение, что можно использовать для влияния на желаемый выбор доминирующего цвета. Примеры включают в себя белые облака или темноту в большей части видеоизображений, что может привести к тому, что некоторые пиксели, образующие указанное изображение, будут считаться мажоритарными пикселями, или может привести к неизотропной обработке пикселей в пиксельной весовой функции (W на фиг.30); или могут вызвать обнаружение особенности изображения (например, J8 на фиг.34) и быть подвергнуты специальному или расширенному извлечению доминирующего цвета.

Простое преобразование цветности - относится к изменению или получению доминирующего цвета или цветности согласно закону восприятия, не выбранному или полученному в зависимости от контента сцены, и где изменение или получение цветности приводит к созданию цветности, которая отличается от той, которая могла бы быть выбрана в ином случае. Пример: преобразование первого доминирующего цвета (x,y), выбранного посредством выделения доминирующего цвета (например, розовый) во второй цвет (x', y'), чтобы удовлетворялся некоторый закон восприятия.

Преобразование цветовой информации в нетонированное цветовое пространство - в прилагаемой формуле изобретения содержит либо прямое преобразование в нетонированное цветовое пространство, либо полезный эффект, полученный в результате использования обратной трехцветной матрицы основных цветов, полученной путем преобразования нетонированного цветового пространства (например, (M₂)^-1, как показано на фиг.8) или любой вычисляемый эквивалент.

Нетонированное цветовое пространство - обозначает стандартное или непривязанное к устройству цветовое пространство, например, описывающее колориметрию исходного изображения с использованием стандартных систем CIE XYZ, ISO RGB, определенных в стандартах ISO 17321; Photo YCC; и цветовое пространство CIE LAB.

Видео - обозначает любое визуальное устройство или устройство, создающее свет, будь то активное устройство, которому необходима энергия для создания света, или любая пропускающая среда, которая передает информацию об изображении, например окно в офисном здании или оптический волновод, где информация об изображении получается дистанционно.

Видеосигнал - обозначает сигнал или информацию, доставленную для управления видеодисплейным блоком, в том числе ее часть, относящуюся к аудиоданным. Таким образом, здесь предполагается, что анализ видеоконтента включает в себя возможный анализ аудиоконтента для части, относящейся к аудиоданным. В общем случае видеосигнал может содержать сигнал любого типа, например радиочастотные сигналы с использованием любого количества известных способов модуляции; электрические сигналы, включая аналоговые и квантованные аналоговые сигналы; цифровые (электрические) сигналы, такие как сигналы с использованием широтно-импульсной модуляции, число-импульсной модуляции, фазо-импульсной модуляции, импульсно-кодовой модуляции (PCM) и амплитудно-импульсной модуляции; или другие сигналы, такие как акустические сигналы, аудиосигналы и оптические сигналы, для которых могут использоваться цифровые технологии. Также можно использовать данные, которые просто последовательно размещены между или вместе с другой информацией, например пакетированная информация в компьютерных приложениях.

Взвешенный - относится к любому способу, эквивалентному приведенным здесь, для задания предпочтительного состояния или больших математических весов для некоторых цветностей, яркостей или пространственных положений, возможно в зависимости от контента сцены. Однако в целях обеспечения простого (арифметического) среднего ничто не препятствует использованию единицы в качестве значения веса.

Пиксельная весовая функция - как она здесь описана, необязательно должна принимать заданный здесь функциональный вид (например, суммирование W на множестве пикселей), а включает в себя все алгоритмы, операторы или другие вычисления, которые приводят к тому же результату.

Окружающий свет, получаемый из видеоконтента, согласно изобретению, формируется для того, чтобы при желании дать возможность обеспечить высокую точность для цветности света исходной видеосцены при поддержке высокой степени специфичности степеней свободы для окружающего освещения при низком уровне необходимой вычислительной нагрузки. Это позволяет источникам окружающего света с небольшими цветовыми гаммами и сокращенными пространствами яркости эмулировать свет видеосцены от более совершенных источников света с относительно богатыми цветовыми гаммами и характеристиками яркости. Возможные источники света для окружающего освещения могут включать в себя любое количество известных осветительных устройств, в том числе светодиоды (свето-излучающие диоды) и имеющие к ним отношение полупроводниковые излучатели; электролюминесцентные устройства, в том числе неполупроводниковых типов; лампы накаливания, в том числе их модифицированные типы, использующие галогены или усовершенствованные химические составы; газоразрядные лампы, включая флуоресцентные и неоновые лампы; лазеры; источники света, которые модулируются, например, путем использования жидкокристаллических дисплеев (LCD) или других световых модуляторов; фотолюминесцентные излучатели или любое количество известных управляемых источников света, в том числе матрицы, которые имеют функциональное сходство с дисплеями.

Данное описание относится частично и в первую очередь к выделению цветовой информации из видеоконтента, а кроме того, к способам выделения, которые подчиняются законам восприятия для получения доминирующих или правильных цветов для трансляции окружающего света, представляющей видеоизображения или сцены.

Теперь обратимся к фиг.1, где исключительно в иллюстративных целях показан элементарный вид передней поверхности видеодисплея D согласно изобретению. Дисплей D может содержать любое количество известных устройств, которые декодируют видеоконтент из тонированного цветового пространства, например, в стандарте вещания NTSC, PAL или SECAM, или тонированного пространства RGB, например, Adobe RGB. Дисплей D может содержать возможные области R1, R2, R3, R4, R5 и R6 выделения цветовой информации, чьи границы могут отличаться от показанных. Области выделения цветовой информации определяются заранее произвольным образом и должны быть охарактеризованы с целью создания характеристического окружающего света А8, например, посредством смонтированных сзади управляемых блоков окружающего освещения (не показаны), которые создают и транслируют, как показано, окружающий свет L1, L2, L3, L4, L5 и L6, например, частично освещая стенку (не показана), на которой смонтирован дисплей D. В альтернативном варианте дисплейный кадр Df, как показано, сам по себе может также содержать блоки окружающего освещения, которые визуализируют свет аналогичным образом, включая направленный наружу к наблюдателю (не показан). При желании каждая область R1-R6 выделения цветовой информации может воздействовать на соседний окружающий свет. Например, область R4 выделения цветовой информации может, как показано, влиять на окружающий свет L4.

Обратимся теперь к фиг.2, где показан вид снизу (частично схематически и частично в виде поперечных сечений) помещения или окружающего пространства АО, в котором создается окружающий свет от множества источников окружающего света с использованием изобретения. Как показано, в окружающем пространстве АО расположены кресла и столы 7, которые расставлены так, чтобы был виден видеодисплей D. В окружающем пространстве АО также расположено множество блоков окружающего света, управление которыми, в необязательном порядке, осуществляется с использованием данного изобретения, в том числе, как показано, световые динамики 1-4, подсвечивающий элемент SL под диваном или сиденьем, а также набор специальных блоков окружающего света, расставленных около дисплея D, а именно: центральные светильники, которые создают окружающий свет Lx типа того, что показано на фиг.1. Каждый из этих блоков окружающего света может излучать окружающий свет А8, показанный штриховкой на фиг.2.

Используя настоящее изобретение, можно создать окружающий свет от этих блоков окружающего света, обладающего цветами или цветностями, получаемыми от видеодисплея D, но в действительности им не передаваемыми. Это дает возможность использовать характеристики зрительной системы и человеческого глаза. Следует отметить, что функция яркости зрительной системы человека, которая обеспечивает чувствительность к различным видимым длинам волн, изменяется в зависимости от уровней освещения.

Например, скотопическое или ночное зрение, основанное на палочках, в большей степени чувствительно к синим и зеленым цветам, фотопическое зрение, использующее колбочки, более подходит для восприятия света с большей длиной волны, например красные и желтые цвета. В затемненной среде домашнего кинотеатра указанные изменения относительной яркости различных цветов в зависимости от уровня освещения могут быть в какой-то степени нейтрализованы путем модуляции или изменения цвета, поступающего к пользователю видеосистемы в окружающем пространстве. Это можно сделать путем вычитания света из блоков окружающего света, например световых динамиков 1-4, используя световой модулятор (не показан), или путем использования дополнительной компоненты в светильниках, а именно: фотолюминесцентного излучателя для дополнительного изменения света перед его выводом наружу. Фотолюминесцентный излучатель выполняет цветовое преобразование, поглощая или подвергаясь возбуждению от входящего света из источника света с последующим повторным излучением этого света на требуемых более длинных волнах. Это возбуждение и повторное излучение фотолюминесцентным излучателем, таким как флуоресцентный пигмент, дает возможность визуализации новых цветов, которые изначально отсутствовали в источнике исходного видеоизображения или света, а возможно также находящихся вне цветового диапазона или цветовой гаммы, присущей работе дисплея D. Это может оказаться полезным, когда требуемая яркость окружающего света Lx низкая, например, в ходе очень темных сцен, а требуемый уровень восприятия выше, чем уровень, обычно достигаемый без модификации света.

Создание новых цветов может обеспечить новые и интересные визуальные эффекты. Примером этого может служить создание оранжевого света, например света, который называют «охотничий оранжевый», для которого доступные флуоресцентные пигменты хорошо известны (смотри ссылку [2]). Данный пример включает флуоресцентный свет в отличие от окружающего явления флуоресценции и родственных явлений. Использование флуоресцентного оранжевого или другой разновидности флуоресцентной окраски может оказаться особенно полезным в условиях низкой освещенности, когда усиление красных и оранжевых цветов может нейтрализовать пониженную чувствительность скотопического зрения на длинных волнах.

Флуоресцентные красители, которые можно использовать в блоках окружающего света, могут включать в себя известные красители в таких классах красителей, как перилены, нафталимды, коамарины, тиоксантины, антрахиноны, тиоиндигоиды и патентованные классы красителей, например, поставляемые фирмой Day-Glo Color Corporation, Cleveland, Ohio, USA. Имеющиеся цвета включают в себя желтый Apache, желтый Tigris, желтый Savannah, желтый Pocono, желтый Mohawk, желтый Potomac, оранжевый Marigold, красный Ottawa, красный Volga, розовый Salmon и синий Columbia. Эти классы красителей могут стать составной частью таких смол, как Pa, PET и ABS при использовании известных процессов.

Флуоресцентные красители и материалы усиливают визуальные эффекты, поскольку они могут быть разработаны таким образом, чтобы обеспечить значительно большую яркость, чем нефлуоресцентные материалы той же цветности. В последние два десятилетия в основном были решены проблемы так называемой «долговечности» традиционных органических пигментов, используемых для создания флуоресцентных цветов, так как технологические достижения привели к разработке долговечных флуоресцентных пигментов, которые поддерживают свой яркий цвет в течение 7-10 лет, находясь под воздействием солнечного света. Следовательно, эти пигменты являются фактически неразрушаемыми в среде домашнего кинотеатра, где ультрафиолетовое излучение минимально.

В альтернативном варианте можно использовать флуоресцентные фотопигменты, которые действуют, просто поглощая коротковолновой свет и повторно излучая этот свет на более длинных волнах, например красный или оранжевый. В настоящее время широко доступны технологически более совершенные неорганические пигменты, которые приходят в состояние возбуждения, используя видимый свет, к примеру синие и фиолетовые цвета, например, в диапазоне 400-440 нм.

Подобным же образом можно реализовать гониофотометрические и гониохроматические эффекты для создания различных цветов, интенсивности и характера света в зависимости от углов видимости. Для реализации этого эффекта блоки 1-4 и SL и Lx окружающего света могут использовать известные гониофотометрические элементы (не показаны) отдельно или в комбинации, такие как металлические и просветные красители с перламутровым эффектом; иридесцентные материалы, использующие известные эффекты дифракции или пленочной интерференции, например, использующие чешуйчатую эссенцию; тонкие хлопья гуанина; или 2-аминогипоксантин с защитной пленкой. Можно применить рассеиватели, где используется тонкоизмельченная слюда или другие субстанции, такие как материалы с перламутровым эффектом, выполненные из слоев окислов, борнита или переливчатой руды; металлические, стеклянные или пластиковые чешуйки; материалы в виде отдельных частиц; масло; матовое стекло и матовые пластики.

Обратимся теперь к фиг.3, где показана система согласно изобретению для выделения цветовой информации (например, доминирующего цвета или правильного цвета) и выполнения преобразований цветового пространства, дающих возможность возбуждения источника окружающего света. На первом шаге цветовая информация выделяется из видеосигнала AVS с использованием известных способов.

Видеосигнал AVS может содержать известные кадры или пакеты цифровых данных типа тех, которые используют для MPEG кодирования, PCM аудиокодирования и т.д. Для пакетов данных, таких как программные потоки с пакетами данных переменной длины или транспортные потоки, в которых пакеты данных имеют одинаковую длину, можно использовать известные схемы кодирования или другие схемы, такие как однопрограммные транспортные потоки. В альтернативном варианте приведенные в этом описании функциональные шаги или блоки могут быть эмулированы с использованием компьютерного кода и других стандартов связи, в том числе асинхронных протоколов.

Как показано в качестве общего примера, видеосигнал AVS может подвергнуться анализу СА видеоконтента, возможно, с использованием известных способов для записи и пересылки выбранного контента на жесткий диск HD и обратно и, возможно, с использованием библиотеки типов контента или иной информации, хранящейся в памяти MEM, также показанной на чертеже. Это дает возможность обеспечить независимую, параллельную, прямую, задержанную, непрерывную, периодическую или апериодическую пересылку выбранного видеоконтента. Из этого видеоконтента можно, как показано, осуществить извлечение FE особенности, например получить цветовую информацию (например, доминирующий цвет) в целом или из особенностей изображения. Эта цветовая информация кодируется в тонированном цветовом пространстве, а затем передается в нетонированное цветовое пространство, такое как CIE XYZ с использованием, как показано, схемы 10 преобразования для отображения RUR. Здесь установлен желаемый тип преобразования, а именно «тонированное - нетонированное - тонированное (RUR)», и таким образом схема 10 преобразования для отображения RUR также дополнительно преобразует цветовую информацию во второе цветовое пространство, сформированное так, чтобы, как показано, иметь возможность возбуждения указанного источника или источников 88 окружающего света. Преобразование RUR является предпочтительным, но можно использовать и другие отображения, коль скоро схема создания окружающего освещения или ее эквивалент получает информацию во втором тонированном цветовом пространстве, которую она может использовать.

Схема 10 преобразования для отображения RUR функционально может содержаться в компьютерной системе, которая использует программное обеспечение для выполнения аналогичных функций, но в случае декодирования пакетированной информации, посылаемой по протоколу передачи данных, может представлять собой память (не показана) в схеме 10, содержащей (или обновляемой так, чтобы содержать) информацию, которая соответствует или обеспечивает коэффициенты тонированного цветового пространства для видео и т.п. Это вновь созданное второе тонированное цветовое пространство подходит и желательно для возбуждения источника 88 окружающего света (такого как показаны на фиг.1 и 2) и, как показано, подается с использованием известного способа кодирования в схему 18 создания окружающего освещения. Схема 18 создания окружающего освещения получает информацию о втором тонированном цветовом пространстве из схемы 10 преобразования для отображения RUR, а затем учитывает любой входной сигнал от любого пользовательского интерфейса и любой памяти результирующих предпочтений (показаны вместе как U2) для создания действительных параметров управления выходом окружающего света (например, приложенные напряжения) после возможного обращения к показанной справочной таблице LUT (второго тонированного) цветового пространства для окружающего освещения. Параметры управления выходом окружающего света, созданные схемой 18 создания окружающего света, подаются, как показано, в возбудители D88 лампового интерфейса для непосредственного управления или питания источника 88 окружающего света, который может содержать отдельные блоки 1-N окружающего света, такие как описанные ранее динамики 1-4 окружающего света или центральные светильники Lx окружающего света, показанные на фиг.1 и 2.

Для уменьшения вычислительной нагрузки в реальном времени цветовая информация, взятая из видеосигнала AVS, может быть сокращена или ограничена. Обратимся теперь к фиг.4, где для обсуждения показано уравнение для вычисления усредненной цветовой информации из области выделения видео. Как упоминается ниже (смотри фиг.18), здесь предполагается, что видеоконтент в видеосигнале AVS содержит ряд последовательных во времени видеокадров, но это не является обязательным. Для каждого видеокадра или эквивалентного временного блока можно выделить усредненную или иную цветовую информацию из каждой области выделения (например, R4). Для каждой области выделения может быть установлен определенный размер, например 100 на 376 пикселей. Если предположить, что частота кадров составляет например 25 кадров/с, то результирующие итоговые данные для областей R1-R6 выделения перед выделением среднего (в предположении, что для задания 8-битового цвета необходим только один байт) составят 6×100×376×25 или 5,64 миллиона байт/с для каждого трехцветного элемента RGB для видео. Этот поток данных очень велик и приведет к большим трудностям при обработке в схеме 10 преобразования для отображения RUR, поэтому выделение усредненного цвета для каждой области R1-R6 выделения может быть выполнено во время выделения FE особенности. В частности, как показано, можно просуммировать значения цветовых каналов RGB (например, R_ij) для каждого пикселя в каждой области выделения, состоящей из m x n пикселей, и разделить на количество пикселей m x n для получения среднего для каждого основного цвета RGB, например R_avg для красного, как здесь показано. Повторяя это суммирование для каждого цветового канала RGB, можно получить среднее для каждой области выделения в виде триплета R_AVG=|R_avg, G_avg, B_avg|. Эта же процедура повторяется для всех областей R1-R6 выделения и для каждого цветового канала RGB. Количество и размер областей выделения могут отличаться от показанных и быть установлены по желанию.

Следующий шаг выполнения преобразований для цветового отображения схемой 10 преобразования для отображения RUR может быть показан и выражен в иллюстративных целях с использованием известных трехцветных матриц основных цветов, как показано на фиг.5, где тонированное трехцветное цветовое пространство с векторами R, G, и B преобразуется с использованием трехцветной матрицы М основных цветов с такими элементами, как X_r,max, Y_r,max, Z_r,max, где X_r,max - трехцветное значение основного элемента R при максимальном выходе.

Преобразование из тонированного цветового пространства в нетонированное, не зависящее от устройства пространство, может представлять собой известную линеаризацию, привязанную к изображению и/или устройству, пиксельное восстановление (если это необходимо), при этом могут быть выполнены шаги выбора белых точек, за которыми следует преобразование матрицы. В этом случае просто делается выбор для принятия восстановленного выходного видеопространства в качестве начальной точки для преобразования в колориметрию нетонированного цветового пространства. Необходимо, чтобы нетонированные изображения прошли через дополнительные преобразования с целью обеспечения возможности их просмотра или печати, и, таким образом, преобразование RUR включает в себя преобразование во второе тонированное цветовое пространство.

На первом возможном шаге, как показано на фиг.6 и 7, представлены матричные уравнения для отображения тонированного цветового пространства для видео, выраженного основными цветами R, G и B, и тонированного цветового пространства окружающего света, выраженного основными цветами R', G' и B', соответственно в нетонированное цветовое пространство X, Y и Z, где трехцветная матрица M₁ основных цветов преобразует видео RGB в нетонированное XYZ, а трехцветная матрица M₂ основных цветов, как показано, преобразует источник окружающего света R'G'B' в нетонированное цветовое пространство XYZ. Приравнивание двух тонированных цветовых пространств RGB и R'G'B, как показано на фиг.8, позволяет выполнить матричные преобразования основных цветов RGB и R'G'B' тонированного (видео) цветового пространства и второго тонированного (окружающего) цветового пространства в нетонированное цветовое пространство (преобразование для отображения RUR) с использованием первой и второй трехцветных матриц (M₁, M₂) основных цветов и получить преобразование цветовой информации во второе тонированное цветовое пространство (R'G'B') путем матричного перемножения основных цветов RGB тонированного цветового пространства для видео (первая трехцветная матрица M₁) и обратной второй трехцветной матрицы (M₂)^-1. В то время как трехцветная матрица основных цветов для известных дисплейных устройств легко доступна, аналогичную матрицу для источника окружающего света можно определить, используя метод белых точек, известный специалистам в данной области техники.

Обратимся теперь к фиг.9-11, где показан известный способ получения обобщенной трехцветной матрицы М основных цветов с использованием метода белых точек. На фиг.9 величины типа S_rX_r представляют трехцветное значение каждого основного цвета (источник окружающего света) с максимальным выходом, причем S_r представляет амплитуду белой точки, а X_r представляет цветности первичного цвета, созданного источником (окружающего) света. При использовании метода белых точек матричное уравнение, как показано, приравнивает S_r к вектору опорных значений белых точек с использованием известной обратной матрицы цветности источника цвета. На фиг.11 представлено алгебраическое преобразование, напоминающее, что опорные значения белых точек, такие как X_w, являются произведением амплитуд белых точек или яркостей и цветностей источника цвета. Везде трехцветное значение X установлено равным цветности x; трехцветное значение Y установлено равным цветности y, а трехцветное значение Z задается равным 1-(x+y). Основные цвета и опорные компоненты белого цвета для второго тонированного цветового пространства источника окружающего света можно получить, используя известные методики, например используя цветовой спектрометр.

Можно найти аналогичные величины для первого тонированного цветового пространства для видео. Например, известно, что современные студийные мониторы имеют незначительно отличающиеся стандарты в Северной Америке, Европе и Японии. Однако было достигнуто международное соглашение об основных цветах для телевидения высокой четкости (HDTV), и эти основные цвета типичны для современных мониторов в студийных видеосистемах и для компьютерной графики. Этот стандарт формально известен как ITU-R Recommendation BT.709, который содержит требуемые параметры, где соответствующая трехцветная матрица (M) основных цветов для RGB выглядит следующим образом:

0.640·0.300·0.150
0.330·0.600·0.060
0.030·0.100·0.790 Матрица М для ITU-R BT/709

причем значения белых точек также известны.

Обратимся теперь к фиг.12, где представлена система, аналогичная системе, показанной на фиг.3, дополнительно содержащая шаг 55 гамма-коррекции после шага FE выделения особенности для трансляции окружающего света. В альтернативном варианте шаг 55 гамма-коррекции может быть выполнен между шагами, выполняемыми схемой 10 преобразования для отображения RUR и схемой 18 создания окружающего освещения. Установлено, что оптимальное значение показателя гамма для источников окружающего света на светодиодах равно 1,8, так что может быть выполнена отрицательная гамма-коррекция для нейтрализации типового значения гамма 2,5 цветового видеопространства, причем точное значение гамма находят, используя известные математические соотношения.

Обычно схема 10 преобразования для отображения RUR, которая может представлять собой функциональный блок, выполненный с использованием любой подходящей известной программной платформы, выполняет общее преобразование RUR, как показано на фиг.12, где, как показано на схеме, берется видеосигнал AVS, содержащий тонированное цветовое пространство, такое как видео RGB, которое преобразуется в нетонированное цветовое пространство, такое как CIE XYZ, а затем во второе тонированное цветовое пространство (RGB источника окружающего света). После такого преобразования RUR источники 88 окружающего света, как показано, могут быть возбуждены помимо обработки сигнала.

На фиг.14 показаны шаги процесса для получения коэффициентов матрицы преобразования для источника окружающего света, используемого в изобретении, причем эти шаги включают в себя, как показано, возбуждение блока (блоков) окружающего света и проверку линейности выхода, как известно специалистам в данной области техники. Если основные цвета источника окружающего света являются стабильными (на левом ответвлении показаны как «стабильные основные цвета»), то можно получить коэффициенты матрицы преобразования, используя цветовой спектрометр; в то же время, если основные цвета источника окружающего света нестабильны (на правом ответвлении показаны как «нестабильные основные цвета»), то можно ранее заданную гамма-коррекцию установить в исходное состояние (показано «установка кривой гамма в исходное состояние»).

В общем случае желательно, но необязательно, выделять цветовую информацию из каждого пикселя в областях выделения, таких как R4, и вместо этого, если потребуется, выполнить опрос выбранных пикселей, что поможет быстрее оценить усредненный цвет или быстрее создать цветовую характеристику области выделения. На фиг.15 показаны шаги процесса для выделения оцененного видео и воспроизведения окружающего света с использованием изобретения, причем эти шаги включают в себя: [1] подготовку колориметрической оценки воспроизведения видео (из тонированного цветового пространства, например видео RGB); [2] преобразование в нетонированное цветовое пространство; и [3] преобразование колориметрической оценки для воспроизведения окружающего света (второе тонированное цветовое пространство, например LED RGB).

Было установлено, что необходимый битовый поток данных, требуемый для поддержки выделения и обработки видеоконтента (например, доминирующего цвета) из видеокадров (смотри ниже фиг.18), можно уменьшить, согласно изобретению, путем разумной субдискретизации видеокадров. Обратимся теперь к фиг.16, где показана схема выделения видеокадра согласно изобретению. Здесь показан ряд отдельных последовательных видеокадров F, а именно: кадры F₁, F₂, F₃ и т.д., например отдельные чересстрочные или нечересстрочные видеокадры, заданные в стандартах NTSC, PAL или SECAM. В результате выполнения анализа контента и/или выделения особенностей, например выделения информации о доминирующем цвете из выбранных последовательных кадров, таких как кадры F₁ и F_N, можно уменьшить нагрузку для данных или непроизводительные расходы, поддерживая приемлемую реактивность, реалистичность и точность воспроизведения источника окружающего света. Было обнаружено, что хорошие результаты получаются при N=10, а именно: эффективной может быть субдискретизация по принципу «1 кадр из 10 последовательных кадров». Это обеспечивает период P обновления между выделениями кадров с низкими непроизводительными расходами, во время которого процесс межкадровой интерполяции может обеспечить адекватную аппроксимацию изменений цветов во времени на дисплее D. Выбранные кадры F₁ и F_N выделяются, как показано (выделение), а промежуточные интерполированные значения для параметров хроматических данных, показанных как G₂, G₃, G₄, обеспечивают необходимую цветовую информацию для информирования о ранее указанном процессе возбуждения для источника 88 окружающего света. Это устраняет необходимость в фиксации или поддержке одинаковой цветовой информации для всех кадров с 2 по N-1. Интерполированные значения могут быть линейно определены, например, когда общая разница в цветовых данных между выделенными кадрами F₁ и F_N выходит за пределы интерполированных кадров G. В альтернативном варианте функция может расширить разницу в цветовых данных между выделенными кадрами F₁ и F_N любым другим образом, с тем чтобы обеспечить аппроксимацию более высокого порядка для изменения во времени выделенной цветовой информации. Результаты интерполяции можно использовать путем заблаговременного обращения к кадру F для воздействия на интерполированные кадры (например, как в DVD-плеере), или в альтернативном варианте интерполяцию можно использовать для воздействия на будущие интерполированные кадры без заблаговременного обращения к кадру F (например, в декодирующих приложениях для вещания).

На фиг.17 показаны шаги процесса для сокращенной оценки хроматических данных, согласно изобретению. Анализ более высокого порядка для выделения кадров может обновить больше периодов P и больше периодов N, чем это возможно в ином случае. Во время выделения кадров или во время дополнительного опроса выбранных пикселей в областях R_x выделения можно провести сокращенную оценку хроматических данных, как показано, что приведет либо к задержке при выделении следующего кадра, как показано слева, либо инициирует полную проверку кадра, как показано справа. В любом случае интерполяция продолжается («интерполяция»), причем выделение следующего кадра с задержкой приводит к сохранению или увеличению значений используемых хроматических данных. Это может обеспечить более экономичную работу с точки зрения непроизводительных расходов битового потока или пропускной способности.

На фиг.18 представлена верхняя часть фиг.3 и 12, где показан альтернативный шаг выделения, в соответствии с которым используется кадровый декодер FD, что позволяет, как показано на шаге 33, выделять региональную информацию из областей выделения (например, R1). Шаг 35 дополнительного процесса или компоненты включает в себя оценку различия хроматических данных и использование этой информации, как показано, для установки частоты выделения видеокадров. Следующий шаг процесса выполнения выходных вычислений 00, такой как усреднение по фиг.4 или выделение доминирующего цвета, обсужденное ниже, выполняется, как показано, перед пересылкой данных в показанную ранее схему 18 создания окружающего освещения.

Как показано на фиг.19, шаги окружающего процесса для выделения и обработки цветовой информации по изобретению включают в себя получение видеосигнала AVS, выделение региональной (цветовой) информации из выбранных видеокадров (например, ранее указанных кадров F₁ и F_N); интерполяцию между выбранными видеокадрами; преобразование для отображения RUR; необязательную гамма-коррекцию и использование этой информации для возбуждения источника (88) окружающего света. Как показано на фиг.20, после регионального выделения информации из выбранных кадров могут быть вставлены два дополнительных шага обработки: на одном шаге может выполняться оценка различия в хроматических данных между выбранными кадрами F₁ и F_N, и в зависимости от заранее установленного критерия можно, как показано, установить новую частоту выделения кадров. Таким образом, если различие в хроматических данных между последовательными кадрами F₁ и F_N велико или быстро нарастает (например, большая первая производная) или удовлетворяется некоторый иной критерий, например, основанный на предыстории различий в хроматических данных, то тогда можно увеличить частоту выделения кадров, уменьшив тем самым период P обновления. Однако если различие в хроматических данных между последовательными кадрами F₁ и F_N   мало и оно стабильно или быстро не увеличивается (например, низкое или нулевое абсолютное значение первой производной) или удовлетворяется некоторый другой критерий, например, на основе предыстории различий в хроматических данных, то тогда можно сохранить требуемый битовый поток данных и уменьшить частоту обновления кадров, увеличив тем самым период P обновления.

Обратимся теперь к фиг.21, где показана схема для общего процесса, согласно одному аспекту изобретения. Как здесь показано, в качестве необязательного шага для возможного облегчения вычислительной нагрузки, [1] тонированное цветовое пространство, соответствующее видеоконтенту, квантуют («квантование цветового пространства (QCS)»), например, используя способы, изложенные ниже; а затем [2] выбирают доминирующий цвет (или палитру доминирующих цветов) («выделение доминирующего цвета (DCE)»); и выполняют [3] преобразование для цветового отображения, например преобразование (10) для отображения RUR («преобразование для отображения (MT) в R'G'B'») для повышения точности воспроизведения, расширения диапазона и пригодности созданного окружающего света.

Необязательное квантование цветового пространства может быть приравнено к уменьшению количества возможных цветовых состояний и/или пикселей, подлежащих просмотру, и может быть выполнено с использованием различных способов. Например, на фиг.22 схематически показан один возможный способ для квантования пиксельных цветностей из видеоконтента. Как здесь показано, иллюстративные значения основного цвета R для видео лежат в диапазоне от 1 до 16, и для любого из этих значений основного R выполняется произвольная оценка относительно присвоенного цвета AC, как показано. Таким образом, например, всякий раз, когда в видеоконтенте сталкиваются с цветностями или значениями красных пикселей от 1 до 16, присвоенный цвет AC замещается, что приводит к уменьшению в 16 раз для одного красного основного красного из числа цветов, необходимых при определении характеристик видеоизображения. Для всех трех основных цветов такое уменьшение возможных цветовых состояний может привести в данном примере к уменьшению в 16×16×16 или в 4096 раз числа цветов, используемых для вычисления. Особенно полезным это может оказаться для уменьшения вычислительной нагрузки при определении доминирующего цвета во многих видеосистемах, например, имеющих 8-битовый цвет, который представляет 256×256×256 или 16,78 миллиона возможных цветовых состояний.

Другой способ для квантования цветового пространства для видео представлен на фиг.23, где схематически показан еще один пример квантования тонированного цветового пространства путем сохранения пиксельных цветностей или множества пикселей Pi (например, 16, как показано) в суперпикселе XP. Сохранение - это способ, посредством которого соседние пиксели добавляются друг к другу (математически или вычислительным путем) для формирования суперпикселя, который сам используется для дальнейшего вычисления или представления. Таким образом, в видеоформате, который обычно имеет, например, 0,75 миллиона пикселей, количество суперпикселей, выбранных для представления видеоконтента, может сократить количество пикселей для вычисления до 0,05 миллиона или до любого другого требуемого меньшего числа.

Количество, размер, ориентация, форма или местоположение указанных суперпикселей XP может изменяться в зависимости от видеоконтента. Например, когда во время выделения FE особенности выгодно обеспечить, чтобы суперпиксели XP были получены только из особенности изображения, а не из более широкой области или фона, суперпиксель (суперпиксели) XP может быть сформирован соответствующим образом. На фиг.24 схематически показан процесс сохранения, аналогичный фиг.23, но где размер, ориентация, форма или местоположение суперпикселя могут быть сформированы, как показано, в соответствии с особенностью 38 изображения. Показанной особенностью 38 изображения является зубчатость или неровность при отсутствии прямых горизонтальных или вертикальных границ. Как показано, суперпиксель XP выбирается для имитации или эмуляции формы особенности изображения. Вдобавок к имеющейся специальной форме, на местоположение, размер и ориентацию указанных суперпикселей может повлиять особенность J8 изображения с использованием известных способов вычисления пиксельных уровней.

Квантование может отобрать пиксельные цветности и так же заменить присвоенные цвета (например, присвоенный цвет AC). Эти присвоенные цвета могут быть присвоены как угодно, в том числе с использованием предпочтительных цветовых векторов. Так, предпочтительным цветовым векторам могут быть присвоены по меньшей мере некоторые пиксельные цветности видеоизображения, а не произвольный или унифицированный набор присвоенных цветов.

На фиг.25 показаны региональные цветовые векторы и их цвета или координаты цветностей на стандартной диаграмме цветностей или цветовой карте в прямоугольной системе координат x-y CIE. На этой карте показаны все известные цвета или воспринимаемые цвета с максимальной яркостью в зависимости от координат x и y цветности, причем в качестве эталона показаны длины цветовых волн в нанодиапазоне и белые точки источника света в стандарте CIE. На этой карте показаны три региональных цветовых вектора V, причем можно видеть, что один цветовой вектор V лежит вне гаммы цветов, которые можно получить согласно стандартам создания цветов PAL/SECAM, NTSC и Adobe RGB (гаммы показаны ).

Для ясности на фиг.26 показан крупный план части графика CIE по фиг.25 и дополнительно показаны пиксельные цветности Cp, и то, как они присвоены региональным цветовым векторам V. Критерии для присваивания региональному цветовому вектору могут меняться и могут включать вычисление евклидова или другого расстояния от конкретного цветового вектора V с использованием известных вычислительных приемов. Помеченный цветовой вектор V лежит вне тонированного цветового пространства или цветовой гаммы дисплейных систем; это предоставляет возможность того, что предпочтительная цветность, легко созданная системой окружающего освещения или источником 88 света, может стать одним из присвоенных цветов, используемых при квантовании тонированного (видео) цветового пространства.

Как только выполнено распределение присвоенных цветов с использованием одного или нескольких вышеприведенных способов, следующим шагом станет выполнение извлечения доминирующего цвета из распределения присвоенных цветов путем выделения любого из: [a] моды присвоенных цветов; [b] медианы присвоенных цветов; [c] взвешенного среднего по цветности присвоенных цветов; или [d] взвешенного среднего с использованием пиксельной весовой функции.

Например, для выбора присвоенного цвета, который появляется с самой большой частотой, можно выбрать метод гистограмм. На фиг.27 показана гистограмма, которая дает присвоенный пиксельный цвет или цвета (присвоенные цвета), которые появляются чаще всего (смотри ординату Процент пикселей), а именно: моду распределения присвоенных цветов. Эта мода или наиболее часто используемый присвоенный цвет может быть выбран в качестве доминирующего цвета DC (показан) для использования или эмуляции системой окружающего освещения.

Аналогичным образом можно выбрать медиану распределения присвоенных цветов в качестве доминирующего света DC или для того, чтобы помочь при выборе доминирующего цвета. На фиг.28 схематически показана медиана распределения присвоенных цветов, где показана медиана или среднее значение (интерполированное для четного количества присвоенных цветов), выбранное в качестве доминирующего цвета DC.

В альтернативном варианте можно выполнить суммирование по присвоенным цветам, используя взвешенное среднее, с тем чтобы повлиять на выбор доминирующего цвета (цветов), возможно для лучшего соответствия уровням цветов в цветовой гамме системы окружающего освещения. На фиг.29 показано математическое суммирование для взвешенного среднего по цветности присвоенных цветов. Для ясности показана одна переменная R, но можно использовать любое количество размеров или координат (например, координаты x и у для CIE). Переменная R цветности суммируется, как показано, по координатам пикселей (или координатам суперпикселей, если это потребуется) i и j, которые в этом примере изменяются в диапазоне от 1 до n и m соответственно. Переменная R цветности, как показано, умножается в течение всего суммирования на пиксельную весовую функцию W с индексами i и j, а результат делится на количество пикселей n x m для получения взвешенного среднего.

Аналогичное взвешенное среднее, использующее пиксельную весовую функцию, показано на фиг.30, которая аналогична фиг.29, за исключением того, что, как здесь показано, W теперь также является функцией местоположений i и j пикселей, что позволяет получить пространственную функцию доминирования. Путем присваивания веса также и для местоположения пикселя центральная или любая другая часть дисплея D может быть выделена во время выбора или выделения доминирующего цвета DC, как обсуждается ниже.

Операции взвешенного суммирования могут выполняться так, как это задано на шаге 33 «выделение региональной информации», указанном выше, а W может быть выбрана и запомнена любым известным способом. Пиксельная весовая функция W может представлять собой любую функцию или оператор и, например, может быть равна единице для включения или нулю для исключения для конкретных местоположений пикселей. Особенности изображения можно распознать, используя известные способы, а W может быть соответственно изменена для более важной цели, как показано ниже на фиг.34.

Как только с использованием вышеуказанных способов или любого эквивалентного способа присвоенный цвет выбран в качестве доминирующего, может быть выполнена более точная оценка цветности, подходящей для ее выражения системой окружающего света, поскольку потребуется гораздо меньше вычислительных шагов, чем в ином случае, когда пришлось бы учитывать все цветности и/или все видеопиксели. На фиг.31 в качестве примера схематически представлена установка интересующего цвета в распределении присвоенных цветов с последующим выделением присвоенных им пиксельных цветностей для получения правильного доминирующего цвета, подлежащего обозначению как доминирующий цвет. Как можно видеть, пиксельные цветности Cp присвоены двум присвоенным цветам AC; присвоенный цвет AC, показанный в нижней части прибора, не выбран в качестве доминирующего, в то время как присвоенный цвет в верхней части считается доминирующим (DC) и, как показано, выбран в качестве интересующего цвета COI. Затем можно дополнительно проверить пиксели, которые были присвоены (или по меньшей мере их часть) присвоенному цвету AC, считающемуся интересующим цветом COI, и путем считывания непосредственно их цветности (например, используя среднее, как показано на фиг.4) или путем выполнения шагов извлечения доминирующего цвета, уже данных в малом масштабе для этой конкретной цели, можно получить лучшее воспроизведение доминирующего цвета, показанного здесь в виде правильного доминирующего цвета TDC. Любые шаги обработки, необходимые для этого, можно выполнить, используя шаги и/или компоненты, приведенные выше, или используя отдельный селектор правильного цвета, который может представлять собой известную программу или подпрограмму, либо схему задачи или ее эквивалент.

Применение законов восприятия обсуждается ниже, но в общем случае и, как схематически показано на фиг.32, выделение доминирующего цвета согласно изобретению можно выполнить множество раз или по отдельности параллельно, чтобы обеспечить палитру доминирующих цветов, где доминирующий цвет DC может содержать доминирующие цвета DC1 + DC2 +DC3, как показано. Эта палитра может быть результатом применения изложенных здесь способов для создания, с использованием законов восприятия, вышеупомянутого набора доминирующих цветов.

Как упоминалось выше в связи с фиг.30, пиксельная весовая функция или ее эквивалент может обеспечить взвешивание по пиксельным местоположениям, что позволяет специально учесть или выделить конкретные области дисплея. На фиг.33 показан элементарный вид передней поверхности видеодисплея, показанного на фиг.1, и пример неравного взвешивания для пикселей Pi в предпочтительной пространственной области. Например, центральная область С дисплея может быть взвешена с использованием численно большой весовой функции W, в то время как область извлечения (или любая область, например фон сцены), как показано, может быть взвешена с использованием численно малой весовой функции w.

Такое взвешивание или акцентирование может быть применено для особенности J8 изображения, как показано на фиг.34, что дает элементарный вид передней поверхности видеодисплея, показанный на фиг.33, и где особенность J8 изображения (рыба) выбрана с использованием известных способов на шаге FE выделения особенности (смотри фиг.3 и 12). Эта особенность J8 изображения может являться только используемым видеоконтентом или просто частью используемого видеоконтента в ходе выделения доминирующего цвета DCE, как было показано и описано выше.

Обратимся теперь к фиг.35, из которой можно видеть, что также возможно использование изложенных здесь принципов для получения доминирующего цвета, выбранного для видеокадра, по меньшей мере частично, опираясь по меньшей мере на один доминирующий цвет из предыдущего кадра. Показанные на схеме кадры F₁, F₂, F₃ и F₄ подвергаются обработке для выделения доминирующего цвета DCE, как показано, целью которого является выделение доминирующих цветов DC1, DC2, DC3 и DC4 соответственно, и где посредством вычислений можно установить доминирующий цвет, выбранный для кадра (здесь показано, что это DC4) в функции доминирующих цветов DC1, DC2 и DC3 (DC4=F (DC1, DC2, DC3)). Это открывает возможность обеспечения сокращенной процедуры для выбора доминирующего цвета DC4 для кадра F₄ или повышает информированность о том, на какой стадии доминирующие цвета, выбранные для предыдущих кадров F₁, F₂, F₃, помогают повлиять на выбор доминирующего цвета DC4. Эта сокращенная процедура показана на фиг.36, где для уменьшения вычислительной нагрузки при предварительном выделении доминирующего цвета DC4* используется колориметрическая оценка, а затем на следующем шаге происходит дополнение доминирующими цветами, выделенными из предыдущих кадров (или одного предыдущего кадра), что помогает подготовить выбор для DC4 (подготовка DC4 с использованием сокращенной процедуры). Эта процедура может дать хорошие результаты, как описано ниже.

Обратимся теперь к фиг.37, где показан элементарный вид передней поверхности видеодисплея, отображающего контент сцены, в том числе возможную, вновь появившуюся особенность, чтобы показать необходимость при определении доминирующего цвета поддержки темноты и других прерогатив восприятия, согласно изобретению. По причинам, установленным выше, выделение доминирующего цвета часто дает результаты, не согласующиеся с желаемым восприятием на выходе. На фиг.37 схематически представлена темная или ночная сцена, отличающаяся конкретной особенностью V111 (например, зеленая ель). При использовании выделения доминирующего цвета без учета законов восприятия проблема часто усугубляется: цвет в контенте сцены или в конкретном кадре часто слишком сильно зависит от точки восприятия, причем транслируемые окружающие цвета кажутся слишком яркими, а не едва уловимыми или подходящими для контента темной сцены. В примере, показанном на фиг.37, большое количество или большинство пикселей, например мажоритарные пиксели MP, как показано, образуют большую часть изображения в кадре, причем эти мажоритарные пиксели MP обладают в среднем малой яркостью либо нулевой яркостью. В этом примере могут быть предпочтительными эффекты темноты для распространения окружающего света, а цветности, которые предпочли разработчики для трансляции окружающего света, часто являются цветностями отдельного объекта сцены, такого как дерево в особенности V111 сцены, а не цветностями, полученными в значительной своей части из мажоритарных пикселей MP, которые в этом иллюстративном примере отображают темноту, имея низкую среднюю яркость, а номинальные цветности, будучи представленными в окружающем освещении, могут казаться неестественными.

Способы реализации вышесказанного включают в себя применение закона восприятия, реализуемого путем обеспечения поддержки темноты, как обсуждается ниже, когда обнаружена темная сцена и идентифицированы указанные мажоритарные пиксели MP, которые либо исключены из рассмотрения при выделении доминирующего цвета, либо заданы с уменьшенными весами по сравнению с другими пикселями, формирующими особенности сцены, например особенность V111 сцены. Это требует распознавания элемента сцены с использованием анализа CA контента сцены (смотри фиг.12) с последующим выполнением специальной обработки для других различных элементов сцены, например темного фона или особенности сцены. Применение законов восприятия может также включать в себя удаление частей сцены, которые нежелательны для выделения доминирующего цвета, например пятна или сценических артефактов, и/или может включать в себя распознавание особенности изображения, например особенности V111 сцены, путем распознавания особенности (например, выделение FE особенности, например, на фиг.3 и 12, или его функциональный эквивалент), как обсуждается в связи с фиг.34.

Вдобавок, новая особенность сцены, например V999 (удар молнии или вспышка света), может превосходить по важности (или сосуществовать с) цветность, которая предоставлена в результате выделения основной цветности из особенности V111 сцены, полученной с использованием приведенных выше способов.

Аналогичным образом от применения законов восприятия могут выиграть светлые, яркие, белые, сероватые сцены или сцены с равномерной высокой яркостью. Обратимся теперь к фиг.38, где показан элементарный вид передней поверхности видеодисплея, отображающего контент сцены, для иллюстрации выделения доминирующего цвета с цветовой поддержкой. На фиг.38 представлена сцена, отображающая относительно яркую, в чем-то автомодельную область в виде особенности V333 сцены, которая может изображать облачность или белые водяные брызги от водопада. Эта особенность V333 сцены может преимущественно быть серой или белой и поэтому может рассматриваться как состоящая из мажоритарных пикселей MP, как показано, в то время как другая особенность V888 сцены, например голубое небо, не содержит мажоритарных пикселей и может считаться предпочтительной по мажоритарным пикселям MP для выделения доминирующего света, то есть разработчик эффектов окружающего освещения может предпочесть в этом примере трансляцию голубого цвета, а не белого или серого цвета, особенно если особенность V888 сцены появилась заново или содержит предпочтительную цветность (например, небесно-голубой цвет) для трансляции окружающего света. Одной из проблем известного уровня техники является то, что выделение доминирующего цвета иногда приводит к недооценке цвета и преобладанию ярких или сильно насыщенных белых, серых или других недостаточно насыщенных цветов. Для устранения этого обстоятельства с целью обеспечения цветовой поддержки можно применить закон восприятия или набор законов восприятия, например, для оценки яркости сцены и уменьшения или исключения влияния или взвешивания белых/серых мажоритарных пикселей MP при усилении влияния других особенностей сцены, таких как голубое небо V888.

Обратимся к фиг.39, где схематически показаны три иллюстративные категории, по которым можно классифицировать законы восприятия согласно данному изобретению. Как показано, законы восприятия для выбора доминирующего цвета могут содержать любую или все из следующих составляющих: простые преобразования цветности (SCT), пиксельное взвешивание в функции контента сцены (PF8) и расширенное выделение/поиск (EE8). Эти категории приведены лишь в качестве иллюстрации, а специалисты в данной области техники смогут использовать изложенные здесь принципы для разработки аналогичных альтернативных схем.

Обратимся теперь к фиг.40-43, где даны примеры конкретных методик, связанных с применением указанных групп законов восприятия.

Первые простые преобразования цветности SCT могут дать множество методик, каждая из которых стремится заменить или преобразовать первоначально намеченные доминирующие цвета в другие, отличные цветности. В частности, конкретная выбранная цветность (x,y), созданная при выделении доминирующего цвета, может быть заменена в любом желаемом варианте преобразованной цветностью (x', y'), как показано на фиг.40, где схематически представлено простое преобразование цветности SCT в виде функционального оператора.

Если, например, при выделении FE особенности получают конкретный доминирующий цвет (например, коричневый) для трансляции окружающего света и ближайшим совпадением для этого доминирующего цвета в цветовом пространстве источника 88 окружающего света является цветность (x,y), например цвет, который имеет розоватый оттенок (и эта ближайшая совпадающая цветность нецелесообразна с точки зрения восприятия), то тогда может быть выполнено преобразование или замена на цветность (x',y'), например цвет, созданный из оранжевого и зеленого окружающего света схемой 18 создания окружающего освещения или ее эквивалентом, как упоминалось ранее. Эти преобразования могут иметь вид отображения «цветность на цветность», которое можно представить в виде справочной таблицы (LUT) или можно воплотить в машинном коде, программном продукте, файле данных, алгоритме или функциональном операторе. Поскольку закон восприятия этого типа не нуждается в явном анализе контента, он назван простым преобразованием цветности.

Простые преобразования цветности SCT могут использовать законы восприятия, которые дают больше времени трансляции для предпочтительных цветностей, чем это давалось бы в ином случае. Если, например, предпочтительным или желательным является конкретный голубой цвет, он может быть объектом или результатом простого преобразования цветности SCT, которое предпочтет его путем отображения большого числа аналогичных голубых цветностей в этот конкретный голубой цвет. Также изобретение можно практически реализовать таким образом, когда простое преобразование цветности используется для предпочтительного выбора цветности, обнаруженной во втором тонированном цветовом пространстве источника 88 окружающего света.

Также, согласно изобретению, можно использовать анализ контента CA сцены для добавления функциональных возможностей в пиксельную весовую функцию W таким образом, чтобы иметь возможность применять законы восприятия. На фиг.43 показаны возможные функциональные формы для указанной пиксельной весовой функции. Пиксельная весовая функция W может представлять собой функцию многих переменных, включая любую или все переменные из: пространственное расположение пикселя видеодисплея, индексированное, например, посредством индексов I и j; цветность, например уровень высвечивания люминофора, или значение R основного цвета (где R может быть вектором, представляющим R, G и B), или переменные x и y цветности; и сама яркость L (или ее эквивалент), как показано. В результате выполнения выделения FE особенности и анализа контента CA значения пиксельной весовой функции W могут быть установлены таким образом, чтобы реализовать законы восприятия. Поскольку пиксельная весовая функция W может представлять собой функциональный оператор, она может быть установлена так, чтобы уменьшить (или, если необходимо, исключить) какое-либо влияние выбранных пикселей, например тех, которые представляют пятна на экране, экранные артефакты, или тех, которые считаются мажоритарными пикселями MP, путем анализа контента, например, когда облачность, вода, темнота или другой контент сцены задан с малым весом или нулевым весом, для обеспечения соответствия закону восприятия.

Обратимся теперь к фиг.41, где схематически показан ряд возможных шагов для выделения доминирующего цвета с использованием среднего, вычисляемого с применением пиксельной весовой функции согласно изобретению для выполнения двух возможных иллюстративных законов восприятия. Основной шаг, названный пиксельным взвешиванием в функции контента сцены (PF8), может содержать намного больше возможных функций, чем две функции, показанные с использованием стрелок.

Как показано в левой части фиг.41, для обеспечения указанного закона восприятия для поддержки темноты, или поддержки темноты (как обсуждалось в связи с фиг.37), выполняется анализ контента сцены. Один возможный шаг, который необязательно является первым возможным шагом, состоит в обращении к яркости сцены, например, путем вычисления, для любого или всех пикселей, или для распределения присвоенных цветов, общей или средней яркости на пиксель. В этом конкретном примере общая яркость сцены считается низкой (этот шаг для ясности опущен), а возможный результирующий шаг заключается, как показано, в снижении яркости окружающего света, чтобы согласовать создание окружающего света с темнотой сцены наилучшим образом. Другой возможный шаг состоит в исключении или уменьшении веса, задаваемого пиксельной весовой функцией для очень ярких пикселей, что показано как усечение/уменьшение веса для ярких/окрашенных пикселей. Выбранный пороговый уровень яркости для решения о том, что составляет яркий или окрашенный пиксель, может изменяться и быть установленным в виде фиксированного порога или может являться функцией контента сцены, предысторией сцены и предпочтений пользователя. Например, все яркие или окрашенные пиксели могут иметь свои значения W, уменьшенные втрое, чтобы уменьшить яркость окружающего освещения, какой бы доминирующий свет из них ни был выбран. С этой целью также может быть выполнен шаг уменьшения яркости окружающего освещения, с тем чтобы равным образом уменьшить все яркости пикселей путем соответствующего дополнительного уменьшения пиксельной весовой функции W. В альтернативном варианте пиксельная весовая функция W может быть уменьшена на отдельную функцию, которая сама является функцией яркости конкретного пикселя, например в 1/L ^∧2 раз, где L - яркость.

Другим возможным шагом для поддержки темноты является возможный выбор цветов COI из ярких/окрашенных пикселей, а именно: вышеописанный процесс, в результате которого интересующий цвет устанавливается из поднабора пикселей в видеоконтенте, которые являются яркими и, возможно, имеют высокое насыщение (окрашены), например из особенности V111 по фиг.37. В частности, некоторые цветности могут быть отобраны для дальнейшего анализа способом, подобным тому, который обсуждался выше и показан на фиг.31, будь то различение правильного цвета для присвоенного цвета, который был выбран, или будь то интересующий цвет из пиксельной цветности, который сам станет частью распределения присвоенных цветов для дальнейшего анализа, например повторение выделения доминирующего цвета для указанных интересующих цветов (например, нахождение репрезентативного зеленого цвета для ели V111). Это может привести еще к одному возможному показанному шагу (возможное расширенное выделение), который обсуждается ниже, и, как показано, выбору доминирующего цвета, который может стать результатом выполнения расширенного выделения доминирующего цвета на распределении интересующих цветов, отобранных из предыдущего процесса выбора доминирующего цвета.

Как показано в правой части фиг.41, для обеспечения указанной цветовой поддержки закона восприятия (эта цветовая поддержка обсуждалась в связи с фиг.38) вновь выполняется анализ контента сцены. Одним из возможных, но необязательно первых возможных шагов, является обращение к яркости сцены, например, путем вычисления, для любого или всех пикселей, или для распределения присвоенных цветов, общей или средней яркости на пиксель, как делалось ранее. В этом примере обнаруживается высокая общая яркость сцены. Другим возможным шагом является исключение или уменьшение взвешивания, задаваемого пиксельной весовой функцией W для очень ярких, белых, серых или ярких пикселей, что показано в виде усечения/уменьшения взвешивания для ярких/окрашенных пикселей. Это может предотвратить выбор доминирующего цвета со слабой или излишне яркой цветностью, которая может быть перенасыщена, или слишком белой, либо слишком серой. Например, пиксели, представляющие облачность V333 на фиг.38, можно исключить из пиксельной весовой функции W, установив их вклад пренебрежимо малым или равным нулю. Затем можно выбрать доминирующий или интересующий цвет, что показано в виде выбора COI из оставшихся цветностей. Как показано, возможное расширенное выделение может также выполняться, чтобы способствовать выполнению шага выбора доминирующего цвета, как показано и обсуждается ниже.

Шаг расширенного выделения/поиска EE8, упомянутый выше и показанный на фиг.42, может представлять собой любой процесс, выполняемый после начального процесса выделения доминирующего цвета, например процесс использования законов восприятия для сужения набора доминирующих цветов-кандидатов. На фиг.42 схематически показан ряд возможных шагов для выделения доминирующего цвета с использованием средней цветности/яркости, вычисленной с использованием пиксельной весовой функции для расширенного выделения доминирующего цвета, согласно изобретению, с тем, чтобы реализовать два возможных иллюстративных закона восприятия. Показанные два примера расширенного выделения - это статическая поддержка закона восприятия и динамическая поддержка закона восприятия. Как показано в левой части фигуры, один возможный процесс поддержки закона восприятия может включать в себя шаг идентификации с последующим усечением/уменьшением взвешивания для мажоритарных пикселей. Это может включать использование анализа контента сцены для идентификации мажоритарных пикселей MP, как показано на фиг.37 и 38, с использованием анализа краев, распознавания формы или иных методов анализа видеоконтента. Затем пиксельную весовую функцию W уменьшают или устанавливают в нуль для тех пикселей, которые считают мажоритарными пикселями MP, как обсуждалось выше.

Затем на следующем возможном шаге (возможный выбор COI из оставшихся цветностей (например, методом гистограмм)) выполняется расширенное выделение доминирующего цвета на пикселях, которые не являются мажоритарными пикселями MP, например, ранее упомянутое выделение доминирующего цвета из пиксельных цветностей или распределения присвоенных цветов путем выделения любого из: [a] моды (например, метод гистограмм); [b] медианы; [c] взвешенного среднего по цветности или [d] взвешенного среднего с использованием пиксельной весовой функции пиксельных цветностей или присвоенных цветов. Это может походить на функциональный повтор выделения доминирующего цвета после применения закона восприятия, например уменьшение веса, задаваемого мажоритарным пикселям. Из этого процесса выделения доминирующего цвета может быть выполнен последний шаг, а именно выбор доминирующего цвета для трансляции окружающего света.

Другим возможным законом восприятия является закон восприятия для динамической поддержки, как показано на правой стороне фиг.42. Показанные первые два шага идентичны шагам для статической поддержки на левой стороне. Третьим возможным шагом является идентификация заново появившейся особенности сцены (например, удар молнии V111) и выполнение выделения доминирующего цвета из заново появившейся особенности сцены, как показано. Четвертый возможный шаг состоит, как показано, в выборе цветностей из любого или обоих предыдущих шагов для трансляции окружающего света, а именно: этот закон восприятия может включать получение любого или обоих результатов выполнения выделения доминирующего цвета из заново появившейся особенности сцены или из выполнения выделения доминирующего цвета из оставшихся цветностей, полученных после уменьшения или исключения влияния мажоритарных пикселей MP. Таким образом, например, заново появившийся удар молнии V999 и дерево V111 могут скорее способствовать получению одного или нескольких доминирующих цветов DC для трансляции окружающего света, чем применение прямого выделения доминирующего цвета без закона восприятия.

При таком применении закона восприятия ничто не препятствует заблаговременному квантованию цветового пространства, как было изложено выше. Также эти способы можно повторять для выбранных особенностей сцены или осуществлять дальнейший поиск предпочтительных цветностей для трансляции окружающего цвета.

В качестве дополнительного примера рассмотрим конкретный иллюстративный сценарий или видеоконтент, содержащий три фоновые особенности сцены и одну заново появившуюся особенность. В качестве фона появляется песок, небо и солнце. Сцена оценивается с использованием анализа контента. Затем находят оттенки песка, создавая 47% пикселей изображения. Используется закон восприятия, состоящий в том, что пиксели с цветом песка определяют как мажоритарные пиксели и посредством пиксельной весовой функции W задают нулевое воздействие, пока имеются другие крупные элементы сцены. Для расширенного выделения выбирают небо и в качестве интересующего цвета устанавливают результирующий голубой цвет, выделенный с использованием вышеуказанных способов. Затем запускается процесс выделения правильного доминирующего цвета (смотри фиг.31) для получения правильного цвета, представляющего действительные пиксельные цветности, отличающие небо. Этот процесс обновляется на покадровой основе (смотри фиг.16 и 17). Солнце, в свою очередь, распознается посредством выделения особенности FE, и с использованием простого преобразования цветности вместо более яркого белого, присущего цветовой видеоинформации, выбирается более приятная желтовато-белая цветность. Когда пиксели с оттенками песка становятся ниже некоторого числового порога, другой закон восприятия позволяет установить все три особенности в качестве доминантных цветов, которые могут быть установлены для трансляции окружающего света либо по отдельности, в зависимости от местоположений пикселей (например, области выделения, такие как R1, R2 и т.д.), либо вместе. Затем вновь появившаяся особенность (белое судно) при использовании еще одного закона восприятия, который выделяет новый контент, вызывает белый цвет на основе выделения доминирующего цвета для судна, так что включается трансляция белого цвета, пока судно в видеосцене не удалилось. Когда судно покинуло сцену, еще один закон восприятия, который полагает, что вновь появившийся контент стал неуправляемым, когда количество пикселей, которое его представляет, стало ниже некоторого процента (или ниже части, не относящейся к особенностям, которые уже воспроизводятся (песок, небо, солнце)), позволяет снова установить эти три фоновые особенности для трансляции окружающего света посредством соответствующих доминирующих цветов. Когда количество пикселей с оттенками песка вновь возрастает, их воздействие вновь подавляется благодаря возможности обнуления для них пиксельной весовой функции W. Однако другой закон восприятия позволяет сделать так, что, когда другие две фоновые особенности (небо и солнце) больше не присутствуют, пиксельная весовая функция W для пикселей с тонами песка восстанавливается, причем она будет вновь уменьшаться при наличии заново появившейся особенности сцены. Когда появляется красная змея, анализ контента отводит 11% пикселей для этой особенности. Вновь исключается воздействие пикселей с оттенками песка при выделении доминирующего цвета, и выделение особенности применительно к змее дает интересующий цвет COI, из которого расширенное выделение и/или необязательный процесс выбора правильного цвета очищает доминирующий цвет, выделенный для представления цвета змеи для трансляции окружающего света.

Из предшествующего описания можно без труда понять, что без механизма для изменения выделения доминирующего цвета в соответствии с законами восприятия выделенный доминирующий цвет может представлять собой повсюду изменяющиеся во времени бледные бело-голубые тени, не представляющие контент сцены и не имеющие большой развлекательной или информационной ценности для зрителя. Применение законов восприятия допускает специфичность вида параметров и, будучи однажды осуществленным, имеет эффект искусной хореографической постановки. Результаты применения правил восприятия при выделении доминирующего цвета могут быть использованы, как это было предложено ранее, так что указанная цветовая информация становится доступной источнику 88 окружающего света во втором тонированном цветовом пространстве.

Таким путем окружающий свет, созданный в L3 для эмуляции области R3 выделения, как показано на фиг.1, может иметь цветность, которая обеспечивает расширение восприятия феномена в этой области, например плывущую рыбу, как показано. Это может преумножить визуальный опыт и обеспечить адекватные оттенки, которые выглядят не кричаще яркими или плохо сочетающимися.

В общем случае источник 88 окружающего света может воплощать различные эффекты рассеивателя для создания смешивания света, а также просвечивание или другие явления, например, путем использования конструкций ламп, имеющих матированную или глазурованную поверхность; рифленое стекло или пластик; или конструкции с отверстиями, например, путем использования металлических конструкций, окружающих отдельный источник света. Для обеспечения нужных эффектов можно использовать любое количество известных диффузионных или рассеивающих материалов или явлений, в том числе которые получают, используя рассеивание от малых взвешенных частиц; матовые пластмассы или смолы, препараты, использующие коллоиды, эмульсии или гранулы 1-5 мкм или менее, например, менее 1 мкм, включая долговечные органические смеси; гели и соли, способы создания и производства которых известны специалистам в данной области техники. Явление рассеяния может быть технически реализовано так, чтобы оно содержало рэлеевское рассеяние для видимых длин волн, например, для создания синего цвета с целью усиления синего в окружающем свете. Созданные цвета могут быть ограничены по областям, например общая синеватая расцветка в некоторых областях или региональные расцветки, например, в виде верхушечной секции, создающей синий свет (окружающий свет L1 или L2).

Лампы окружающего света могут также быть смонтированы с гониофотометрическим элементом, например цилиндрической призмой или линзой, которая может быть сформирована внутри, как часть конструкции лампы, или вставляться в нее. Это дает возможность получить специальные эффекты, когда характер созданного света изменяется в функции местоположения зрителя. Можно использовать и другие оптические формы и конфигурации, в том числе прямоугольные, треугольные или правильные призмы или формы, причем они могут размещаться на блоке или блоках окружающего света или представлять с ними единое целое. В результате скорее, чем получение изотропного выхода, может неопределенным образом изменяться полученный эффект, например зоны интересующего светового оттенка на окружающих стенах, объектах и поверхностях, находящихся рядом с источником окружающего света, что создает вариант светового шоу в затемненной комнате в виде изменения элементов сцены, цвета и интенсивности на видеодисплейном блоке. Этот эффект может представлять собой элемент театрального освещения, который очень сильно изменяет характер света в зависимости от местоположения зрителя, например, при наблюдении голубых искр, взамен красного света, когда зритель встает со стула или сдвигается при просмотре фильма в домашнем кинотеатре. Количество и тип гонифотометрических элементов, которые можно использовать практически неограниченно, включая кусочки пластика, стекла и оптические эффекты, создаваемые в результате применения технологий рифления и умеренной деструкции. Лампы окружающего света могут быть уникальными или взаимозаменяемыми для различных театральных эффектов. Эти эффекты могут корректироваться, например, путем изменения количества света, проходящего через гониофотометрический элемент, или путем излучения различных частей (например, путем использования субламп или групп светодиодов) блока окружающего света.

Конечно, сигнал AVS может представлять собой поток цифровых данных и содержать биты синхронизации и биты сцепления; биты контроля четности; коды ошибок; перемежение; специальную модуляцию; заголовки пакетов и необходимые метаданные, такие как описание эффекта окружающего освещения (например, «гроза»; «восход солнца»), причем специалисты в данной области техники должны понимать, что показанные здесь функциональные шаги являются просто иллюстрацией и не включают в себя для ясности стандартные шаги или данные.

Показанные на фиг.3 и 12 пользовательский интерфейс и память предпочтений можно использовать для изменения предпочтений, касающихся поведения системы, например изменение точности воспроизведения цвета видеоконтента видеодисплея D до желаемого уровня; изменение цветистости, включая дальность, с которой любые флуоресцентные цвета или цвета вне цветовой гаммы транслируются в окружающее пространство, или насколько быстро или сильно реагирует окружающий свет на изменения в видеоконтенте, например, путем чрезмерного увеличения интенсивности или изменений другого качества в контенте команды светового сценария. Это может включать в себя усовершенствованный анализ контента, который может сделать приглушенные тона для кинофильмов или контента определенного характера. Видеоконтент, содержащий много темных сцен, может влиять на режим работы источника 88 окружающего света, вызывая ослабление транслируемого окружающего света, в то время как цветистые и яркие тона могут использоваться для какого-то другого контента, подобного сценам с массой телесных тонов или ярким сценам (солнечный пляж, тигр в саванне).

Данное описание приведено здесь для того, чтобы дать возможность специалистам в данной области техники реализовать изобретение на практике. Используя данные принципы, можно предложить множество конфигураций, а приведенные здесь конфигурации и компоновки являются лишь иллюстрациями. Не все из упомянутого нуждается в практической реализации; например, специальные преобразования во второе тонированное цветовое пространство могут быть исключены из предложенных здесь принципов, не выходя за рамки изобретения, в частности, если оба тонированных цветовых пространства RGB и R'G'B' подобны или идентичны. На практике способы, описанные в формуле изобретения, могут быть реализованы как часть более крупной системы, например, развлекательного центра или домашнего кинотеатра.

Хорошо известно, что изложенные здесь в качестве иллюстрации функции и вычисления можно функционально воспроизвести или эмулировать, используя программное обеспечение или машинный код, причем специалисты в данной области техники смогут использовать эти принципы независимо от того, каким образом организовано предложенное здесь кодирование и декодирование. Это особенно верно, если учесть, что нет жесткой необходимости декодировать видеоинформацию в кадры, чтобы обрабатывать статистику уровней пикселей, как здесь предложено.

Специалисты в данной области техники на основе изложенных принципов имеют возможность модифицировать устройство и способы, изложенные в формуле изобретения, и, например, перекомпоновать шаги или структуры данных с учетом конкретных приложений, а также создать системы, имеющие некоторое сходство с вариантами, выбранными здесь для иллюстративных целей.

Изобретение, раскрытое с использованием вышеприведенных примеров, можно практически реализовать, используя только некоторые из упомянутых выше признаков. Также ничто из предложенного в формуле изобретения не препятствует добавлению других структур или функциональных элементов.

Очевидно, что в свете вышеизложенных принципов возможны многочисленные модификации и варианты настоящего изобретения. Таким образом, должно быть ясно, что в рамках объема прилагаемой формулы изобретения его можно практически реализовать по-иному, чем здесь было конкретно описано или предложено.

Изобретение относится к области создания и настройке эффектов окружающего освещения с использованием множества источников света. Техническим результатом является создание способа для обеспечения имитирующего окружающего освещения посредством выделения доминирующего цвета из выбранных видеообластей с использованием экономичного потока данных, который кодирует усредненные или характеристические значения цветов. Предложен способ выделения и обработки видеоконтента, который включает: квантование цветового видеопространства; выполнение выделения доминирующего цвета с использованием моды, медианы среднего или взвешенного среднего пиксельных цветностей; применение законов восприятия для дальнейшего получения доминирующих цветностей посредством преобразований цветностей; взвешенного среднего с использованием пиксельной весовой функции, на которую влияет контент сцены; и расширенного выделения доминирующего цвета, где пиксельное взвешивание уменьшается для мажоритарных пикселей; и преобразования выбранного доминирующего цвета в цветовое пространство окружающего света с использованием трехцветных матриц. Интересующий цвет может быть дополнительно проанализирован для создания правильного доминирующего цвета, причем прошлые видеокадры могут управлять выбором доминирующих цветов в будущих кадрах. 3 н. и 17 з.п. ф-лы, 43 ил.

1. Способ выделения доминирующего цвета из видеоконтента, закодированного в тонированном цветовом пространстве (RGB), для создания, с использованием законов восприятия, доминирующего цвета (DC) для эмуляции источником окружающего света (88), причем способ содержит:
[1] выполнение выделения доминирующего цвета из пиксельных цветностей (Cp) из видеоконтента в тонированном цветовом пространстве для создания доминирующего цвета путем выделения любого из: [а] моды пиксельных цветностей; [b] медианы пиксельных цветностей; [с] взвешенного среднего по цветности пиксельных цветностей; [с1] взвешенного среднего пиксельных цветностей с использованием пиксельной весовой функции (W), которая является функцией любого из: местоположения пикселя (i, j), цветности (x, y, R) и яркости (L);
[2] дополнительное извлечение цветности доминирующего цвета согласно закону восприятия, причем закон восприятия выбирается из любого из: [а] простого преобразования цветности (SCT); [b] взвешенного среднего с использованием пиксельной весовой функции (PF8), дополнительно сформулированной так, чтобы представлять воздействие контента сцены, который получают путем оценки цветности или яркости для множества пикселей в видеоконтенте; [с] расширенного выделения доминирующего цвета (ЕЕ8) с использованием взвешенного среднего, где пиксельная весовая функция сформулирована в виде функции контента сцены, который получают путем оценки цветности или яркости для множества пикселей в видеоконтенте, причем пиксельная весовая функция дополнительно сформулирована таким образом, что взвешивание по меньшей мере уменьшается для мажоритарных пикселей (MP); и
[3] преобразование доминирующего цвета из тонированного цветового пространства во второе тонированное цветовое пространство (R'G'B'), сформированное так, чтобы дать возможность возбуждения источника окружающего света.

2. Способ по п.1, в котором при простом преобразовании цветности выбирают цветность, найденную во втором тонированном цветовом пространстве.

3. Способ по п.1, в котором пиксельная весовая функция сформулирована так, чтобы обеспечить поддержку темноты путем: [4] оценки видеоконтента для установления того, что яркость сцены в контенте сцены низкая; и [5] выполнения любого из: [а] использование пиксельной весовой функции, дополнительно сформулированной для уменьшения взвешивания ярких пикселей; и [b] трансляция доминирующего цвета, полученного с использованием уменьшенной яркости по отношению к яркости, которая была бы создана в противном случае.

4. Способ по п.1, в котором пиксельная весовая функция сформулирована так, чтобы обеспечить цветовую поддержку путем: [6] оценки видеоконтента для установления того, что яркость сцены в контенте сцены высокая; а затем [7] выполнения любого из: [а] использование пиксельной весовой функции, дополнительно сформулированной для уменьшения взвешивания ярких пикселей; и [b] выполнение шага [2] [с].

5. Способ по п.1, в котором расширенное выделение доминирующего цвета повторяют отдельно для разных особенностей сцены (J8, V111, V999) в видеоконтенте, формируя множество доминирующих цветов (DC1, DC2, DC3), и шаг [1] повторяют, где каждый из множества доминирующих цветов обозначают как пиксельную цветность.

6. Способ по п.1, в котором после выполнения расширенного выделения доминирующего цвета шаг [1] повторяют отдельно для пиксельных цветностей в заново появившейся особенности сцены (V999).

7. Способ по п.1, который перед шагом [1] содержит квантование по меньшей мере некоторых пиксельных цветностей (Cp) из видеоконтента в тонированном цветовом пространстве для формирования распределения присвоенных цветов (AC) и, во время шага [1], получение по меньшей мере некоторых пиксельных цветностей из распределения присвоенных цветов.

8. Способ по п.7, в котором квантование содержит сохранение пиксельных цветностей по меньшей мере в одном суперпикселе (XP).

9. Способ по п.7, в котором по меньшей мере один из присвоенных цветов представляет собой региональный цветовой вектор (V), который необязательно находится в тонированном цветовом пространстве.

10. Способ по п.9, в котором региональный цветовой вектор находится во втором тонированном цветовом пространстве.

11. Способ по п.7, дополнительно содержащий установку по меньшей мере одного интересующего цвета (COI) в распределении присвоенных цветов и выделение присвоенных им пиксельных цветностей для получения правильного доминирующего цвета (TDC), подлежащего обозначению как доминирующий цвет.

12. Способ по п.1, в котором доминирующий цвет содержит палитру доминирующих цветов (DC1+DC2+DC3), каждый из которых получают, применяя указанный способ.

13. Способ выделения доминирующего цвета из видеоконтента, закодированного в тонированном цветовом пространстве (RGB), для создания, с использованием законов восприятия, доминирующего цвета (DC) для эмуляции источником окружающего света (88), причем способ содержит:
[0] квантование по меньшей мере некоторых пиксельных цветностей (CP) из видеоконтента в тонированном цветовом пространстве для формирования распределения присвоенных цветов (AC);
[1] выполнение выделения доминирующего цвета из распределения присвоенных цветов для создания доминирующего цвета путем выделения любого из: [а] моды распределения присвоенных цветов; [b] медианы распределения присвоенных цветов; [с] взвешенного среднего по цветности распределения присвоенных цветов; [d] взвешенного среднего распределения присвоенных цветов с использованием пиксельной весовой функции (W), которая является функцией любого из: местоположения пикселя (i, j), цветности (x, y, R) и яркости (L);
[2] дополнительное извлечение цветности доминирующего цвета согласно закону восприятия, причем закон восприятия выбирается из любого из: [а] простого преобразования цветности (SCT); [b] взвешенного среднего с использованием пиксельной весовой функции (PF8), дополнительно сформулированной так, чтобы представлять воздействие контента сцены, который получают путем оценки цветности или яркости для множества пикселей в видеоконтенте; [с] расширенного выделения доминирующего цвета (ЕЕ8) с использованием взвешенного среднего, где пиксельная весовая функция сформулирована в виде функции контента сцены, который получают путем оценки цветности или яркости для множества пикселей в видеоконтенте, причем пиксельная весовая функция дополнительно сформулирована таким образом, что взвешивание по меньшей мере уменьшается для присвоенных цветов, приписываемых мажоритарным пикселям (MP); и
[3] преобразование доминирующего цвета из тонированного цветового пространства во второе тонированное цветовое пространство (R'G'B'), сформированное так, чтобы дать возможность возбуждения источника окружающего света.

14. Способ по п.13, в котором при простом преобразовании цветности выбирают цветность, найденную во втором тонированном цветовом пространстве.

15. Способ по п.13, в котором пиксельная весовая функция сформулирована так, чтобы обеспечить поддержку темноты путем: [4] оценки видеоконтента для установления того, что яркость сцены в контенте сцены низкая; и [5] выполнения любого из: [а] использование пиксельной весовой функции, дополнительно сформулированной для уменьшения веса присвоенных цветов, приписываемых ярким пикселям; и [b] трансляции доминирующего цвета, полученного с использованием уменьшенной яркости по отношению к яркости, которая была бы создана в противном случае.

16. Способ по п.13, в котором пиксельная весовая функция дополнительно сформулирована так, чтобы обеспечить цветовую поддержку путем: [6] оценки видеоконтента для установления того, что яркость сцены в контенте сцены высокая; и [7] выполнения любого из: [а] использование пиксельной весовой функции, дополнительно сформулированной для уменьшения взвешивания присвоенных цветов, приписываемых ярким пикселям; и [b] выполнение шага [2] [с].

17. Способ по п.13, в котором расширенное выделение доминирующего цвета повторяют отдельно для разных особенностей сцены (J8, V111, V999) в видеоконтенте, формируя множество доминирующих цветов (DC1, DC2, DC3), и шаг [1] повторяют, где каждый из множества доминирующих цветов обозначают как присвоенный цвет.

18. Способ по п.13, в котором выполняют расширенное выделение доминирующего цвета, причем шаг [1] повторяют отдельно для присвоенных цветов, соответствующих пикселям, представляющим заново появившуюся особенность сцены (V999).

19. Способ по п.13, дополнительно содержащий установку по меньшей мере одного интересующего цвета (COI) в распределении присвоенных цветов и выделение присвоенных им исходных пиксельных цветностей для получения правильного доминирующего цвета (TDC), подлежащего обозначению, как доминирующий цвет.

20. Способ выделения доминирующего цвета из видеоконтента, закодированного в тонированном цветовом пространстве (RGB), для создания, с использованием законов восприятия, доминирующего цвета (DC) для эмуляции источником окружающего света (88), причем способ содержит:
[0] декодирование видеоконтента в тонированном цветовом пространстве во множество кадров и квантование по меньшей мере некоторых пиксельных цветностей (Cp) из видеоконтента в тонированном цветовом пространстве для формирования распределения присвоенных цветов (AC);
[1] выполнение выделения доминирующего цвета из распределения присвоенных цветов для создания доминирующего цвета путем выделения любого из: [а] моды распределения присвоенных цветов; [b] медианы распределения присвоенных цветов; [с] взвешенного среднего по цветности распределения присвоенных цветов; [d] взвешенного среднего распределения присвоенных цветов с использованием пиксельной весовой функции ОУ), которая является функцией любого из: местоположения пикселя (i, j), цветности (x, y, R) и яркости (L);
[2] дополнительное извлечение цветности доминирующего цвета согласно закону восприятия, причем закон восприятия выбирается из любого из: [а] простого преобразования цветности (SCT); [b] взвешенного среднего с использованием пиксельной весовой функции (PF8), дополнительно сформулированной так, чтобы представлять воздействие контента сцены, который получают путем оценки цветности или яркости для множества пикселей в видеоконтенте; [с] расширенного выделения доминирующего цвета (EE8) с использованием взвешенного среднего, где пиксельная весовая функция сформулирована в виде функции контента сцены, который получают путем оценки цветности или яркости для множества пикселей в видеоконтенте, причем пиксельная весовая функция дополнительно сформулирована таким образом, что взвешивание по меньшей мере уменьшается для присвоенных цветов, приписываемых мажоритарным пикселям (MP); и
[3а] преобразование доминирующего цвета из тонированного цветового пространства в нетонированное цветовое пространство (XYZ);
[3b] преобразование доминирующего цвета из нетонированного цветового пространства во второе тонированное цветовое пространство, сопровождаемое
[3с] матричными преобразованиями первичных элементов (RGB, R'G'B') тонированного цветового пространства и второго тонированного цветового пространства в нетонированное цветовое пространство с использованием первой и второй трехцветных матриц (M₁, М₂) основных цветов; и получением преобразования цветовой информации во второе тонированное цветовое пространство (R'G'B') путем матричного умножения основных цветов тонированного цветового пространства, первой трехцветной матрицы и обратной второй трехцветной матрицы (М₂)^-1.