ЭНЕРГОСБЕРЕГАЮЩИЙ ДИСПЛЕЙ ПРОПУСКАЮЩЕГО ТИПА Российский патент 2013 года по МПК G09G3/34 

Область техники, к которой относится изобретение

Настоящее изобретение относится к новому типу энергосберегающего дисплея пропускающего типа и способу управления им.

Уровень техники

С ростом численности населения на планете и возросшим осознанием разрушительного для экологии потенциала человечества важно создавать электрические приборы, дружественные по отношению к окружающей среде, поскольку на рынок поступает все большее количество электроприборов (например, электрическая зубная щетка вместо ручной; а единичный запрос в интернете требует столько же энергии, сколько потребляет энергосберегающая лампа за час работы). В продолжение вышесказанного, существует важная тенденция по меньшей мере делать создаваемые электроприборы настолько энергетически «дружественными», насколько это возможно.

Для телевизоров данная политика привела к соображению, что телевизор может автоматически выключаться по какому-либо критерию (например, по прошествии времени) автоматически (это можно рассматривать как вариант усовершенствованного интерфейса пользователя/пульта дистанционного управления/кнопки «включено-выключено», если это зависело от определенного поведения потребителя).

Однако какие бы интерактивные выключатели не появлялись, - независимо от их стоимости, - остается фактом то, что некоторые или многие люди все же могут не желать выключить телевизор. И здесь изобретатель поставил вопрос: «Если видно, что данные люди читают книгу, а телевизор продолжает работать, действительно ли данные люди настолько ленивы, чтобы даже по истечении получаса не встать и не выключить телевизор, или они осознанно оставляют его включенным, как, например, это может сделать одинокий человек, чтобы обеспечить себе уютную атмосферу?»

Подобный автоматически выключающийся прибор, таким образом, не был бы тем, который отвечает желаниям своего (потенциального) владельца, поэтому на рынке возможно наличие потребности в чем-то другом, сверх имеющегося.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Принимая во внимание данные соображения, элементы заявленной техники настоящего изобретения могут содержать в числе прочего:

дисплей пропускающего типа (100), содержащий подсветку (106) и вентиль (110) для модулирования света от подсветки с целью создания изображения, отличающийся тем, что дисплей пропускающего типа содержит:

- коннектор (198) для соединения с прикрепленным средством распознавания поведения зрителя ((150, 152, 165), 160), и

- оптимизатор мощности (120), имеющий входное соединение (C_i) со средством распознавания поведения зрителя для приема с него сигнала измерения поведения (I_usr), и имеющий выход (O_BL) для посылки оптимального управляющего значения (D_Lb) для подсветки (106) в зависимости от сигнала измерения (I_usr) измерения поведения.

На таком дисплее зритель продолжает видеть изображение приемлемого качества, если, например, он смотрит на дисплей каждые пять минут, проверяя, что показывают, и в то же время читает книгу, разговаривает с кем-либо или моет посуду, - тем не менее, при этом может наблюдаться значительная экономия в потребляемой мощности. Данная новаторская система, в таком случае, требует наличия следующих двух элементов.

Во-первых, имеет место распознающее средство или система (содержащее детекторы и анализирующий процессор для анализа данных с детекторов и их преобразования в математическую модель, пригодную к использованию в стратегии оптимизации мощности), которая позволяет идентифицировать, что делает пользователь. Например, на основании конкретного варианта осуществления детектора в виде видеокамеры 160 анализирующий процессор может быть в состоянии проверять, смотрит ли человек на дисплей, и как часто (то есть, смотрит ли он непрерывно или же в настоящее время, и затем большую часть времени совершая другие действия). Обычно детекторы будут физически прикреплены к дисплею, но коннектор 198 может также быть, например, беспроводным соединением с камерой, закрепленной в углу комнаты, например камерой системы безопасности (в данном случае оценка направления взгляда - см. ниже - должна учитывать измененную перспективу). Обычно анализирующий процессор будет центральным процессором в дисплее (например, тот, в котором уже содержится оптимизатор мощности), однако он также может принадлежать интеллектуальному сенсору (например, видеокамера подсоединяется к портативному компьютеру, который осуществляет анализ передвижений пользователя по комнате и пересылает коды математической модели для этого на дисплей через коннектор 198).

Математическая модель может быть такой же простой, как бинарный показатель («смотрит программу = 1»; «не смотрит = 0»), либо это может быть более сложный номинальной (по классам), порядковый или относительный цифровой код для различных типов поведения, например: («постоянно смотрящий пользователь = 1», «пользователь, смотрящий 50% времени = 2»; «пользователь, смотрящий время от времени = 2») или («пользователь, сидящий на месте непосредственно напротив телевизора [расстояние от 10 см до 2,5 метров] = 1»; «пользователь, передвигающийся дальше по комнате [расстояние от 2,5 до 6 метров] = 2»; «пользователь в другой комнате [покинул комнату] = 3») и т.д.

Во-вторых, при условии, что поведение пользователя таким образом классифицируется через детекторы, измеряющие физические параметры, отражающие то, что он делает, используется математический код для управления дисплеем (то есть, подсветки и, в некоторых вариантах осуществления, также рабочих значений для вентилей), таким образом, что показывается достаточно видимое изображение (хотя и не на уровне максимально достижимого качества), но при сниженной мощности.

Существует несколько вариантов балансировки мощности в зависимости от видимости, либо сосредотачиваясь в большей мере на потребляемой мощности и затем оптимизируя видимость (которая в этом случае может быть низкой, но все же приемлемой для использования), либо ограничивая уровень видимости до необходимого минимума, добиваясь, таким образом, максимально возможной экономии мощности (такой подход может быть полезен престарелым людям, или в случае, если текущая задача заключается не просто в том, чтобы иметь приятную, двигающуюся картинку в качестве фона, а более важную, например во время наблюдения за комнатой своих детей; пользователь может конфигурировать желаемый для себя режим экономии мощности [например, «фоновая атмосфера = 1», «мгновенное распознавание требуемого изображения/текста = 2»;…], и, отсюда, насколько мощность может быть снижена за счет видимости, задавая параметры через пользовательский интерфейс 170, например, используя специальную кнопку на пульте дистанционного управления), либо можно использовать оба варианта одновременно.

Для сценария «смотрит/не смотрит» управлять мощностью можно (в зависимости от выбранных параметров предварительной установки в дисплее), просто уменьшая наполовину рабочее значение D_Lb для подсветки (если содержание картинки и освещение комнаты все еще дают видимое изображение), хотя, в целом, желательно будет использовать более сложную стратегию оптимизации, принимая во внимание (насколько позволяет стоимость системы) такие факторы, как: диапазон затемнения подсветки, динамический диапазон вентиля, цветовое окружение сцены и освещение комнаты, степень отражения от передней поверхности дисплея, размер структур на показываемом изображении - или более общее содержание объекта изображения - расстояние до зрителя, активность зрителя, уровень внимания зрителя, время дня, тип показываемого содержания (спортивное видео или страница текста), и т.д.

Наконец, следует сказать, что может иметь место несколько сценариев для скорости процесса изменения параметров подсветки/видео (также в зависимости от того, как часто пользователь смотрит, или от конкретного алгоритма, используемого для определения того, как он смотрит). Например, у кого-то может стоять медленный режим, который игнорирует тот факт, что пользователь, например, в течение 3-х минут смотрит на дисплей более внимательно (что-то привлекло его внимание), а его действия в это время классифицируются как «занимающийся с друзьями», и это будет означать, что выходная яркость дисплея и мощность подсветки останутся низкими, либо в быстром режиме дисплей может переключить яркость подсветки на высокую «моментально», то есть, если один из зрителей смотрит дольше 15-ти секунд. Данные режимы могут быть установлены через интерфейс 170 пользователя, либо могут быть оценены при помощи заранее заданного алгоритма в дисплее.

В некоторых вариантах осуществления полезно, если кто-либо экономит некоторые средства на мощности подсветки, чтобы оптимизатор мощности также вычислял более оптимальные управляющие значения I_out для вентилей с целью создания выходного изображения лучшей видимости, чем в случае, если кто-либо только меняет подсветку и передает входное изображение на вентили (например, если содержание изображения довольно темное, можно воспроизвести его путем понижения уровня подсветки, при этом выводя вентили на их максимальный диапазон). Это соответствует операции T улучшения изображения в отношении входного изображения im. В простых моделях значение I_out представляет один диапазон (например, [0,255]), независимо от вентиля, на который посылается сигнал (например, если пиксельные вентили (0,10) и (10,10) оба имеют сигнал 240 в диапазоне, они оба передают одинаковое количество света), однако, при более сложных вариантах, зависимых от сцены/сегментации значение I_out следует рассматривать как картинку, то есть значение I_out (x, y) имеет конкретное значение для каждого пиксельного вентиля (x, y), то есть можно, например, сделать центр показываемого изображения немного ярче по сравнению с входной картинкой.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты настоящего изобретения, или относящиеся к нему, далее будут разъясняться и описываться со ссылкой на чертежи, на которых:

Фиг.1 схематично демонстрирует иллюстративный вариант осуществления конкретного ЖК дисплея пропускающего типа с двумя подсоединенными средствами обнаружения взаимоисключающего поведения зрителя;

Фиг.2 схематично демонстрирует, как иллюстративное преобразование T оптимизатора мощности может преобразовать значения серого для входного изображения в управляющие значения I_out для вентилей, выдавая более видимое изображение;

Фиг.3 схематично демонстрирует иллюстративный способ измерения степени видимости показываемой картинки; и

Фиг.4 демонстрирует иллюстративный модуль оценки направления взгляда (обычный, но не обязательно, составленный из компонентов программного обеспечения).

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг.1 демонстрирует телевизор на основе ЖК дисплея, в разобранном виде показывающий модуль подсветки 106 (показана люминесцентная TL лампа, хотя может использоваться и, например, светодиодная), перед ней - ЖК вентиль 110 с пикселями 111, 112, …, которые под воздействием соответствующего напряжения на транзистор через устройства возбуждения (не показаны) передают некоторый процент света подсветки в этом положении, как показано иллюстративно.

Опытный читатель поймет, что дисплей 100 пропускающего типа не ограничивается данным типом дисплея (ни по конструкции аппаратного оборудования, ни по размеру, ни по области применения), например, это может быть фронтальный проектор с затемняемым освещением для комнаты встреч, выставочный коммерческий дисплей или дисплей портативного компьютера (который пользователь ставит, например, перед собой на стол в поезде, чтобы просматривать интернет, одновременно обсуждая что-либо с соседом). Опытный читатель поймет, что термин «вентиль» означает, в общем, любую физическую структуру, которая позволяет локально пропускать падающее не нее регулируемое сигналом количество света от подсветки (например, подача управляющего сигнала = 0 заставит ее закрыться, то есть передать приблизительно нулевое количество света, в то время как управляющее значение 255 сделает ее приблизительно полностью (на 100%) пропускающей). Таким популярным средством является жидкий кристалл, который под управлением напряжения изменяет свою внутреннюю структуру, влияя на свет, что заставляет большее или меньшее количество света проходить в определенном направлении, однако существуют дисплеи и других типов, например пузырьки, высвобождающие контролируемое количество поглощающих красителей.

Также демонстрируется ряд возможных средств обнаружения поведения зрителя, из которых, для того, чтобы заявленная система настоящего изобретения работала, необходимо, чтобы только один был в наличии (средство считывания, подсоединяемое в системе к дисплею).

Например, тепловой (около 10 микрон) инфракрасный детектор 165 может быть применен для того, чтобы распознать, присутствует ли пользователь, и предпочтительно в правильном положении (на стуле). Устройство только обнаруживает присутствие пользователя, но не направление его головы/глаз/взгляда, но могло бы работать в некоторых применениях. Например, система может быть предварительно откалибрована, чтобы обнаружить (распознавать) комнату без зрителя, и затем тепло от зрителя, сидящего на стуле. Более совершенный детектор, способный создавать тепловое изображение, также может рассматривать размер зрителя и т.д.

Возможно включение некоторых более сложных систем, чтобы проверять положение зрителя и движение вокруг дисплея, например, в зависимости от степени возмущения окружающего поля (электрического, оптического, ультразвукового, …). Демонстрируемый пример имеет по меньшей мере один ультразвуковой излучатель 150 и по меньшей мере один (но возможно наличие нескольких оптимально скомпонованных) приемник 152. Отраженные импульсы дают индикацию, изменилась ли структура впереди соответствующим образом. Например, во время анализа на лету пользователь придвинется ближе, чем на расстоянии, меньшем, чем до спинки сидения, и его движение также может быть обнаружено.

Далее насколько возможно детально описана относительно дешевая и простая, и, тем не менее, робастная система использования присоединенной видеокамеры 160 (например, посередине сверху дисплея). Пример демонстрирует стереокамеру (которая позволяет получить большую свободу относительно, например, оценки расстояния), хотя и обычная камера может подойти (камеру с системой цветопередачи RGB и, возможно, также оборудованную четвертым сенсором ближней инфракрасной области, что может быть полезным при обнаружении лица).

С помощью Фиг.4 ниже описано, как подобная камера может использоваться для очень полезного варианта осуществления с оценкой направления взгляда, однако вначале описано, как достигается экономия мощности при условии, что имеется индикация типа «пользователь присутствует (сидит на стуле напротив телевизора)» или «пользователь смотрит в направлении показываемых изображений, то есть смотрит». Для простоты объяснений, главным образом, описан относительно простой для осуществления способ, а затем вкратце изложены более сложные варианты.

Фиг.2 демонстрирует гистограмму 200 изображения «дома», показанную на Фиг.1 как полученную от входного сигнала im изображения (значения серого - цвет не принимается во внимание для простоты, хотя приведенное ниже преобразование данных может также учитывать и цвет, чтобы придавать, например, темным насыщенным цветам несколько большую яркость, чтобы они выглядели более броскими; в приводимом ниже примере используются значение серого и цвет взаимозаменяемо, опытный читатель поймет, когда ситуация в большей степени касается яркости, и когда значения серого у цветного пикселя), при этом входное изображение содержит значения серого I_in, намеченные для отображения (то есть, управляет вентилями в случае, если заявленное изобретение не применяется) со значениями в диапазоне от 0 до 255, и число n количества пикселей в изображении имеет конкретное значение. Благодаря мультипликативной физике вентиля, если устройство локальной подсветки генерирует Lb люменов, и локальный пиксель управляется управляющим значением I_out (например, равное I_in) 240, тогда локально исходящий свет от пикселя дисплея будет Lo=244/255∗Lb.

Входная картинка может содержать меньший диапазон значений серого, чем общий диапазон [0,255] или зачастую содержать значения равные 255, что часто означает, что была зафиксирована сцена слишком высокого динамического диапазона (например, солнце 183 может быть усечено, поэтому его цвет в любом случае не будет реалистичным, существует довольно большая степень свободы в его перераспределении, например, можно рассматривать все цвета как близкие к значению 255 в какой-то степени, назначить им значение 255 и использовать оставшиеся значения [0-254] для оптимального распределения других цветов объекта, что является повторным усечением.

В приведенном примере первый выступ гистограммы 201 содержит цвета дома 180 - за исключением ярких окон 181, которые соответствуют выступу 203, имеющему второй режим/изгиб для пикселей неба, а растения (трава и деревья) подпадают под расположенный посередине выступ 202.

Первое интересное измерение - это максимум входного изображения m (скажем, например, равный 235). Можно уменьшить масштаб подсветки с коэффициентом 235/255, одновременно перемножая входные значения I_in с обратным отношением (то есть, тогда максимальное управляющее значение становится 255), в то же время сохраняя абсолютно таким же вид выходного изображения (то есть, даже не меняя уровень видимости показываемой картинки). Однако глядя на интервал(ы), можно понять, что есть возможность применить дальнейшее затемнение подсветки. Во-первых, если три выступа гистограммы 200 были перемножены на коэффициент 255/235, чтобы получить модифицированные управляющие значения I_out, можно сверх того затемнить подсветку, в зависимости от нижнего предела выступа 201 (например, на уровне 10% гранциы LP), а именно до уровня, когда выходная яркость L=LP∗Lb (где Lb - уровень затемнения подсветки) приблизительно станет равной отражению от переднего слоя типичной комнатной панели (датчик окружающего света также может быть включен в систему, и дополнительные рассмотрения могут быть использованы с целью модификации данного значения, например количества или размера предметов, в которых присутствуют значения ниже LP, и т.д.).

Однако, во-вторых, уменьшенный интервал, а также расстояния между выступами стандартной гистограммы создают возможности произвести гораздо большие модификации, касающиеся видимости, а в случаях, когда расстояние между выступами недостаточное, оптимизатор мощности может увеличить его путем изменения входного изображения.

Простые алгоритмы оптимизатора мощности выполняют анализ гистограммы, а именно находят в гистограммах типичные выступы (использованы в упрощенном описании ниже), хотя алгоритмы более высокого качества будут также рассматривать пространственные свойства схожих цветов и выполнять геометрическую сегментацию изображения. Например, выступ 203 состоит из пикселей как неба, так и двух окон, но зная это, легко найти изолированную область отдельного окна (схематично показано как выступ 204 в Фиг.3). В предшествующем уровне техники можно найти несколько способов декомпозиции гистограммы, например сначала можно найти максимумы, а затем посмотреть, как глубоки наклоны по каждой стороне (например, можно рассмотреть корреляцию с гладкой, простой функцией, типа гауссовой). Зачастую, примененные на таком грубом уровне, полученные таким образом выступы дают уже хорошее описание композиции изображения (например, небо обычно гораздо ярче, чем земля), однако поскольку цель состоит в улучшении видимости, значимая сегментация объектов не является абсолютно необходимой (в частности, приемлемо, если деревья сливаются с травой в один объект, поскольку, если они обладают схожими цветами, оптимизатор мощности применит к ним схожее преобразование, что сделает их более видимыми по сравнению с окружающими цветами дисплея и/или другими цветами на картинке (вначале описана ситуация, где окружающие цвета менее релевантны, и уровень видимости может определяться только по содержанию изображения (im) - например, обычно телевизор гораздо ярче, чем окружение - хотя, когда включен фоновый свет, более надежные модели видимости, при оценке видимости изображения, оптимизируемого с учетом потребления мощности, также должны принимать во внимание степень привыкания зрителя к освещаемому окружению.

Получив из алгоритма декомпозиции ряд гистограммных выступов, цель оптимизатора мощности (если он не просто меняет уровень подсветки D_lb=f(P,V), при этом функция вычисленной выходной мощности, главным образом, зависит от управляющего значения подсветки и оценивается визуально, но хочет использовать дополнительную степень свободы усиления изображения I_out=T(I_in), чтобы сгенерировать оптимизированные управляющие сигналы вентиля для улучшенной видимости и/или еще более сниженного потребления мощности) состоит в том, чтобы оптимально перестроить данные режимы. Например, оптимизатор мощности может огрубить все значения в выступе 203 до одного (или совсем малого количества) значения(ний), получая модифицированный гистограммный выступ 253. Подобная крайняя мера (расстояния D1 и D2 оптимизированы) требуется лишь при очень жестких обстоятельствах. Обычно внутри выступа все же будут различимы несколько различных яркостей, поэтому лучшим вариантом представляется просто отодвинуть выступ от других выступов и сохранить конфигурацию внутреннего выступа.

Однако это может привести к той ситуации, что цвета внутри диапазона 301 (обозначены овалом) будут слишком схожи с цветами диапазона 302, то есть с того места, где сидит пользователь, или, самое большее, если он действительно внимательно смотрит, их невозможно различить при существующем режиме подсветки и т.д. (что может быть нежелательно при решении определенных задач, например, если пользователь читает какой-либо цветной графический текст [текст можно легко распознать и сегментировать при помощи текстового детектора], а цвета текста и фона попадают в эти диапазоны, и уровень подсветки действительно низок, желательно бинарное оконтуривание в выступах 251 и 253). Подобная ситуация часто происходит, если, например, на какой-либо, скажем, круглый объект типа яблока, накладывается тень, в таком случае одна часть яблока светлая и легко отличима от темного фона, а у другой части яблока невозможно увидеть края.

Таким образом, простой алгоритм, чтобы оптимизатор мощности мог осуществить лучший баланс видимости/мощности, заключается в следующем.

Демаркационные границы для смежных выступов определяются оптимизатором мощности (см. Фиг.3), например, 5% всех пикселей выступа 202 содержатся ниже нижнего предела L_L1, и 5% выше верхнего предела L_U1 (эти 5% или могут быть заранее установлены в заводском алгоритме как величина ошибки, цвета которых в худшем случае могут стать плохо различимы и/или вообще неразличимы по отношению к соседним объектам, однако более сложные алгоритмы, которые задействуют сегментирование и анализ объекта, могут задавать данный критерий для каждого изображения, например, если 5% верхних пикселей находятся близко к границе предполагаемого/сегментированного объекта, границу лучше установить на 0% (то есть верхний конец выступа), в то время как если они представляют небольшой фрагмент в центре объекта - вероятный блик от отраженного света - они могут просто не учитываться при оптимизации.

Расстояние D_v между верхним пределом L_U1 первого выступа 202 и нижним пределом второго выступа 203 будет в таком случае являться параметром в оценке видимости (блок 133 определения видимости обычно это компьютерная программа, кодирующая психологию человеческого зрения, обусловленная аппаратными ограничениями дисплея, которую запускают на процессоре, коим обычно является оптимизатор мощности 120, передающий входное значение на, или обычно несколько раз вызываемый блоком вычисления управляющего значения 134, которое выполняет фактическую оптимизацию мощности, хотя опытный читатель, учтя нововведения по представленному изобретению, не обнаружит проблем в вопросе программирования и конструирования данной схемы с различными конфигурациями программного и аппаратного обеспечения, а также распознает описываемый процесс в реальной ситуации). В случае, если оптимизатор мощности способен сегментировать изображение при помощи блока 135 сегментации изображения, будет иметь место большее количество расстояний (D_v2), а также больше свободы для разумной оптимизации.

В этом заключаются регулируемые параметры, которые оптимизатор мощности может настраивать, поскольку он может как сдвигать выступы, что позволит получить переменные расстояния между выступами I_D, так и модифицировать форму выступа, например, сжимая его, что позволит получить дополнительные расстояния SQ (величины формы выступа, изменяемые при помощи алгоритма, в более простых, «слепых» вариантах обычно будут зависеть от таких факторов, как диапазон значений серого в выступе, а также количество пикселей в выступе (коррелят важности; например, маленькое окно можно легко огрубить до одного значения), в то время как способы более совершенного анализа изображения могут сверх того учитывать, что, например, объекты, расположенные ближе к центру, или лица, должны иметь формы выступа, модифицированные в меньшей степени, чем другие выступы). Последние в простых вариантах осуществления будут модифицированы вслепую, что приведет к некоторому обесцвечиванию пикселей объектов, но сделает их более отличными от окружения, увеличивая их контрастность. Однако если выполняется сегментация объекта, алгоритм может, например, изолировать теневые градиенты по границам объекта и, отождествляя их с концами выступа, модифицировать только данную часть - скажем, 301 - формы выступа параметрически (то есть, например, делая градиент менее контрастным, допуская только 2 значения серого, что приведет к тому, что яблоко будет выглядеть более примитивно, менее объемно, но будет больше контрастировать с окружением, то есть будет более видимым).

Простая модель видимости (хотя более сложные модели могут использовать структуру окружающих цветовых пятен, размер сегментированных объектов и т.д.) просто рассматривает все цвета как (относительно большие) цветовые пятна. Далее, проведенные психовизуальные исследования показали, что значения серого, равные или ниже предела L_U1, отличимы от тех, которые равны или выше предела L_L2, если имеется разница яркости количеством по меньшей мере в одну единицу «минимально различимого расстояния» (JND). Данное значение JND зависит от нескольких факторов, таких как размер дисплея и изображаемого объекта, общая яркость, адаптация зрителя и т.д., но при простом приближении можно отметить, что оно составляет 2% от нижнего показателя яркости L_U1.

При вариантах оптимизации, сосредоточенных на достижении минимального уровня мощности, при этом все же сохраняя некоторую видимость, оптимизатор мощности может заново вычислить выступы так, чтобы их пределы отличались от минимального количества JND, заранее установленного на заводе, например, 3 единицы JND. Для перекрывающихся выступов данное действие может повлечь за собой излишнее сжатие формы выступа, что, возможно, у некоторых объектов даже приведет к огрублению до единичного значения.

В вариантах оптимизации, сосредоточенных на видимости (тем не менее, несколько сокращая при этом использование мощности), зритель может, например, увеличить объем требуемых единиц JND при помощи своего пульта дистанционного управления. Данная возможность может быть полезной для престарелых людей, но также, например, и в случае, если видимость была оценена неправильно, потому что зрители в этот момент играют в карты при ярком свете лампы.

Также некоторые варианты осуществления будут менять параметры (полу)автоматически в зависимости от расстояния до зрителя - в таком случае может быть ценен ручной ввод параметров оптимизации - например, на основании гипотезы, что отдаленный зритель, вероятно, меньше заинтересован в чем-либо кроме меняющейся глобальной картины (почти как мигающая световая лампа), или, наоборот, когда объекты изображения становятся меньше, и детали картинки теряются по причине плохого разрешения, происходит огрубление объектов, либо они представляются очень малым количеством внутренних значений, но это позволяет, чтобы выступы были максимально разделены.

Фиг.4 демонстрирует больше информации по тому, как создать иллюстративное средство обнаружения поведения зрителя, а именно такое, которое проверяет, смотрит ли пользователь на то, что происходит на дисплее (телевизионную программу, его электронное сообщение и т.д.), обычно блоки находятся в анализаторе 121 взгляда. Предполагается, что анализатор взгляда через коннектор C_i получает сигнал измерения поведения зрителя (обычно любой сигнал, содержащий информацию, достаточную, чтобы грубо оценить поведенческий аспект определенного пользователя) I_usr, который представляет собой необработанную картинку с камеры (а не значение I_usr, представляющее уже предварительно обработанную информацию, как например, угол поворота лица, что также возможно в некоторых вариантах осуществления). Сначала этап анализа места вычленяет лица 411, например, на основании цвета лица. Этап 420 анализа лица в первую очередь проверяет, распознается ли лицо (а не ваза 412 цвета лица) на основании, например, овальной формы, но далее выполнен так, чтобы изучить лицо и вычленить его ориентацию (можно вычислить угол Ah и выдать результат на другие модули системы). Это может быть сделано, например, рассматривая соединительную сетку 421 между характерными точками лица (концы глаз, тень под носом,…) и изучая ее ракурсное сжатие.

После того, как выделены глаза, этап 430 анализа глаза для того, чтобы проанализировать глаз, а именно направление взгляда. Это может быть сделано путем обнаружения круговых дуг 431 между светлой и темной областями и определения центральных точек зрачков 432, что приводит к определению по меньшей мере горизонтального угла Aeh и, возможно, вертикального угла (оба между отрицательным и положительным максимумами, ноль означает прямо). Для обнаружения могут использоваться и другие измерения (как альтернатива или для большей точности), как например, размер белка глаза с каждой стороны радужной оболочки (AmL, AmR). Кроме того, этап 430 анализа глаза выполняется для того, чтобы вычислить из углов Aeh, Aev, смотрит ли человек в направлении дисплея, при этом принимаются во внимание, например, такие факторы, как геометрия дисплея, камеры и комнаты (возможна также предварительная калибровка лица, когда пользователь позволяет системе измерить несколько положений глаза «смотрит/не смотрит», что позволяет выполнить классификацию границ в пространстве угла глаза и просчитать соответствующие вероятностные вариации).

Наконец, эти данные по меньшей мере горизонтального угла глаза могут быть введены (обращаем внимание на то, что данный этап является необязательным, а также на то, что другие этапы представляют собой не более, чем возможные примеры, но могут быть скомпонованы и в другом виде) в этап 440 временной статистики. Человек может быть классифицирован как смотрящий в некоторый момент времени (W(t)=1), если в течение достаточно длительного временного интервала I-w (например, 2 секунды) угол Aeh близок к нулю (по меньшей мере, достаточно мал для того, чтобы взгляд падал на дисплей достаточно полно; близко к центру).

Также, в более совершенных системах может присутствовать этап классификации действий зрителя (например, в удаленном компьютере, уже использующем систему «умного» дома, сдвоенным с камерой, или в оптимизаторе мощности), который вычленяет некоторый индикатор поведения пользователя (например, «IND=пассивный=1», пользователь, возможно, заснул, «IND=перемещающийся=2» = пользователь активно перемещается по комнате и, скорее всего, занят другими видами деятельности, которые вряд ли позволяют ему смотреть, и т.д.). Данная операция может быть проделана, например, при анализе шаблонов движения человеческих объектов, вычлененных из картинок камеры, но возможны и некоторые другие алгоритмы (например, классифицируя количество времени, в течение которого в комнате заслонены некоторые 3D позиции, производятся специфические распознанные жесты и т.д.).

Наконец, в последнее время возникли телевизоры (и данное направление будет развиваться в другие виды устройств отображения), которые предоставляют возможность более глубокого погружения в контент (их изображение или, по меньшей мере, некоторые экологические ощущения/предложения как бы просочились в помещение), телевизоры, содержащие блок 191 подсветки, выполненный для того, чтобы осветить пространственное окружение дисплея пропускающего типа, так называемые дисплеи с фоновой подсветкой.

Как известно, можно позволить фоновой подсветке работать параллельно с представленной картинкой, но настоящее изобретение позволяет управлять фоновой подсветкой в более оптимальном режиме, при помощи отдельного алгоритма. Балансировка теперь содержит три критерия:

величина мощности, затрачиваемой фоновой подсветкой. Можно подумать, можно просто выключить фоновую подсветку, если пользователь не смотрит, и таким образом получить на этом экономию мощности, но напротив, если пользователь переключил телевизор в режим «окружающей среды» и использует его для поддержания атмосферы, а не смотрит внимательно с целью получить детальную информацию с картинки, тем не менее, фоновая подсветка может иметь более важное значение. Обычно в распоряжении пользователя будет ряд выбираемых параметров установки от использования самого телевизора (картинки) плюс фоновой подсветки в качестве регулируемой лампы до сценария на другом конце перечня, когда контент более важен и необходимо, чтобы он был ясно видим. Мощность для подсветки будет также зависеть от таких факторов, как размер освещенного поля и насколько велик пространственный разброс, который может предложить фоновая подсветка (одиночная люминесцентная TL лампа против нескольких светодиодных модулей 191).

«Видимость» фоновой подсветки становится новым критерием: насколько она важна по сравнению с изображением, например, говоря о приведенной выше установке, чтобы окрасить целую стену в создающий атмосферу желтый цвет (в данном случае фоновая подсветка может быть выставлена в более низкой временной вариации, чем сигнал видео), потребуется достаточно большое количество фоновой подсветки.

Видимость изображения, которая будет в числе прочего зависеть от того, насколько отражающими (белыми) для фоновой подсветки будут окружающие предметы/стены. По меньшей мере при этом параметре установки, когда содержание изображения телевизора доминирует и должно быть очень видимым, нельзя допустить ситуацию, при которой (рассматривая крайний вариант) фоновая подсветка представляет собой яркое кольцо вокруг непосредственно самого изображения, которое для зрителя будет выглядеть абсолютно черным. В подобных сценариях может потребоваться усилить содержание изображения, но, возможно, более важно ограничить фоновую подсветку до верхнего предела (например, независимо от того, какое управляющее значение выдает обычный алгоритм фоновой подсветки, например, при интеграции содержания изображения, окончательное управляющее значение должно быть усечено настолько, чтобы яркость окружения была ниже 10% от средней яркости картинки; обычно будут выставлены фабричные установки по белым стенам, хотя потребитель может сделать выбор в пользу домашней калибровки). Оценка видимости в данном случае может быть инспирирована, например, по формулам Ханта, принимая во внимание такие факторы, как размер и расположение изображения и окружающих фрагментов и т.д.

Выходом является по меньшей мере одно оптимальное управляющее значение для фоновой подсветки D_AMB через коннектор O_AMBIL.

Алгоритмические компоненты, раскрытые в данном тексте, могут на практике быть реализованы (полностью или частично) как аппаратное оборудование (например, части специализированной интегральной схемы), либо как программное обеспечение на специальном цифровом сигнальном процессоре или процессоре общего назначения).

Опытному читателю из данного описания должно быть понятно, какие компоненты могут быть необязательными улучшениями и могут быть реализованы в комбинации с другими компонентами, и как (необязательные) этапы способов согласовываются с соответствующими средствами устройств и наоборот, и настоящим раскрыты такие комбинации по меньшей мере неявно. Слово «устройство» в данной заявке использовано в самом широком смысле, представленном в словаре, а именно означает группу средств, позволяющих реализовать конкретную задачу, и, следовательно, может, например, быть интегральной схемой (ее небольшой частью), либо специализированным устройством, либо частью сетевой системы и т.д.

Некоторые этапы, требуемые для работы настоящего способа, могут уже присутствовать среди функциональных возможностей процессора вместо описанных в компьютерном программном продукте, такие как этапы ввода и вывода данных.

Следует отметить, что упомянутые выше варианты осуществления поясняют, но не ограничивают настоящее изобретение. В случаях, когда опытный читатель может легко реализовать преобразование представленных примеров в других областях формулы изобретения, мы для краткости детально не упомянули все данные опции. Помимо комбинаций элементов настоящего изобретения, как скомбинировано в формуле изобретения, возможны другие комбинации элементов. Любая комбинация элементов может быть реализована в одном выделенном элементе.

Любое указание на ссылки внутри скобок в формуле изобретения не предназначено ограничивать формулу изобретения. Термин «содержит» не исключает присутствие элементов или аспектов, не перечисленных в формуле изобретения. Использование элемента в форме единственного числа также охватывает формы множественного числа того же элемента.

Изобретение относится к новому типу энергосберегающего дисплея пропускающего типа и способу управления им. Техническим результатом является снижение уровня энергопотребления. Дисплей пропускающего типа содержит подсветку и вентиль для модулирования света от подсветки с целью создания изображения. Дисплей пропускающего типа содержит коннектор для соединения с подсоединенным средством обнаружения поведения зрителя и оптимизатор мощности, имеющий входное соединение со средством обнаружения поведения зрителя для получения от него сигнала измерения поведения и имеющий выход для посылки оптимального управляющего значения к подсветке в зависимости от сигнала измерения поведения. Оптимизатор мощности выполнен посредством исполнимого программного обеспечения и/или схемы аппаратного обеспечения для анализа контента входного изображения для определения измерения видимости, моделирования того, насколько видимым для зрителя является созданное изображение. Оптимизатор мощности также выполнен с возможностью вычисления функции, дающей в качестве результата оптимальное управляющее значение, в зависимости от мощности, потребляемой упомянутым дисплеем. 2 н. и 4 з.п. ф-лы, 4 ил.

1. Дисплей (100) пропускающего типа, содержащий подсветку (106) и вентиль (110) для модулирования света от подсветки с целью создания изображения, отличающийся тем, что пропускающий дисплей содержит:
- коннектор (198) для соединения с присоединенным средством ((150, 152, 165), 160) обнаружения поведения зрителя, и
- оптимизатор (120) мощности, имеющий входное соединение (С_i) со средством обнаружения поведения зрителя, для приема от него сигнала (I_usr) измерения поведения, и имеющий выход (O_BL) для посылки оптимального управляющего значения (D_Lb) к подсветке (106) в зависимости от сигнала (I_usr) измерения поведения, причем упомянутый оптимизатор (120) мощности выполнен посредством исполнимого программного обеспечения и/или схемы аппаратного обеспечения для анализа контента входного изображения (im) для определения измерения (V) видимости, моделирования того, насколько видимым для зрителя является созданное изображение, и вычисления функции (f), дающей в качестве результата оптимальное управляющее значение (D_Lb), в зависимости от мощности (Р), потребляемой упомянутым дисплеем, когда подсветка возбуждается упомянутым оптимальным управляющим значением (D_Lb), и определенного измерения (V) видимости, и для вычисления, используя упомянутые результаты анализа контента изображения, преобразования (Т) входных управляющих значений (I_in) входного изображения (im) в выходные управляющие значения (I_out) для возбуждения пикселей (111, 112) вентиля (110) через выходное соединение (O_v) между оптимизатором (120) мощности и вентилем (110) для обеспечения улучшенной видимости и/или потребления сниженной мощности.

2. Дисплей (100) пропускающего типа по п.1, в котором средство обнаружения поведения зрителя содержит камеру (160), и либо камера (160), либо оптимизатор (120) мощности содержит анализатор (121) взгляда, выполненный так, чтобы на основании картинки с камеры (160) определить направление взгляда зрителя.

3. Дисплей (100) пропускающего типа по п.1, в котором средство обнаружения поведения зрителя содержит детектор (150, 152; 160) для определения расстояния от зрителя до дисплея (100) пропускающего типа, и упомянутый оптимизатор (120) мощности выполнен так, чтобы вычислить оптимальное управляющее значение (D_Lb) и/или выходные управляющие значения (I_out) в зависимости от расстояния до зрителя.

4. Дисплей (100) пропускающего типа по п.2, в котором либо система камеры (160), либо оптимизатор (120) мощности содержат блок (122) классификации активности зрителя, и упомянутый оптимизатор (120) мощности выполнен так, чтобы вычислить оптимальное управляющее значение (D_Lb) и/или выходные управляющие значения (I_out) в зависимости от числа (IND), моделирующего конкретное поведение зрителя.

5. Дисплей (100) пропускающего типа по одному из предыдущих пунктов, дополнительно содержащий осветительный блок (191), выполненный так, чтобы освещать пространственное окружение дисплея (100) пропускающего типа, при этом оптимизатор (120) мощности выполнен так, чтобы определять управляющее значение (D_AMB) для осветительного блока (191) в зависимости от сигнала (I_usr) измерения поведения и/или оптимального управляющего значения (D_Lb) и/или выходных управляющих значений (I_out).

6. Способ вычисления управляющих значений (D_Lb, (I_out, D_AMB)) для дисплея (100) пропускающего типа по одному из предыдущих пунктов, причем способ содержит этапы:
- получают сигнал (I_usr) измерения поведения, указывающий на поведение потенциального зрителя в окружающем пространстве дисплея (100) пропускающего типа;
- анализируют контент входного изображения (im) для определения измерения (V) видимости для изображения, которое должно быть отображено на упомянутом дисплее пропускающего типа,
- в зависимости от: сигнала измерения поведения (I_usr), вычисления потребляемой мощности (Р) как функции упомянутых управляющих значений, и упомянутого измерения (V) видимости, вычисляют оптимальные значения для управляющих значений (D_Lb, (I_out, D_AMB)) с учетом ограничений по потреблению мощности, причем вычисляют оптимальное управляющее значение (D_Lb) для подсветки, и при этом, используя результаты анализа контента входного изображения, вычисляют преобразование (Т) входных управляющих значений (I_in) входного изображения (im) в выходные управляющие значения (I_out) для управляющих пикселей (111, 112) вентиля (110) для обеспечения улучшенной видимости и/или потребления сниженной мощности.