ОБНАРУЖЕНИЕ КОДИРОВАННОГО СВЕТА Российский патент 2019 года по МПК H05B37/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее раскрытие относится к обнаружению кодированного света посредством камеры с элементом захвата изображения, который захватывает свет построчно, как в камере с рулонным затвором.

УРОВЕНЬ ТЕХНИКИ

Кодированный свет относится к методикам посредством которых, сигнал, внедренный в видимый свет, испускается источником света, таким как обычный осветительный прибор. Таким образом, свет содержит как вклад видимого освещения для освещения целевой среды, такой как комната (как правило, первичное назначение света), так и внедренный сигнал, для предоставления информации в среде. Чтобы делать это, свет модулируется на определенной частоте или частотах модуляции, предпочтительно достаточно высокой частоте так, чтобы находиться за пределами восприятия человека и, вследствие этого, не оказывать влияние на первичную функцию освещения.

В некоторых из наиболее простых случаев, сигнал может содержать единственную форму волны или даже единственный тон, модулированный в свете от заданного осветительного прибора. Свет, испускаемый каждым из множества осветительных приборов, может быть модулированным с помощью разной соответствующей частоты модуляции, которая является уникальной среди этих осветительных приборов, и тогда частота модуляции может служить в качестве идентификатора осветительного прибора или его света. Например, это может быть использовано в фазе ввода в эксплуатацию, чтобы идентифицировать вклад от каждого осветительного прибора, или может быть использовано во время эксплуатации, чтобы идентифицировать осветительный прибор, для того чтобы управлять им удаленно (например, через RF (радиочастотный) обратный канал). В другом примере, идентификация может быть использована для навигации или другой основанной на местоположении функциональной возможности, посредством построения соответствия идентификатора с известным местоположением осветительного прибора или информацией, ассоциированной с местоположением.

В других случаях, в свет может быть внедрен сигнал, содержащий более сложные данные. Например, используя амплитудную манипуляцию, амплитуда света может варьироваться, чтобы кодировать данные, например, используя высокий и низкий уровни, чтобы представлять биты, или используя более сложную схему модуляции, чтобы представлять разные символы. Или, используя частотную манипуляцию, осуществляется работа заданного осветительного прибора, чтобы он испускал на двух (или более) разных частотах модуляции, и чтобы передавал биты данных (или в общем случае символы) посредством переключения между разными частотами модуляции.

Документ WO2012/127439 раскрывает методику, посредством которой кодированный свет может быть обнаружен, используя обычную камеру типа «рулонного затвора», которая часто интегрирована в мобильное устройство, подобное мобильному телефону или планшету. В камере с рулонным затвором, элемент захвата изображения камеры разделен на множество строк (как правило, горизонтальные строки, т.е., ряды), экспонирование которых осуществляется в построчной последовательности. Т.е., чтобы захватить заданный кадр, осуществляется экспонирование светом заданной среды первой строки, затем через несколько более позднее время осуществляется последовательное экспонирование светом следующей строки, и т.д. Как правило, последовательность «сворачивается в рулон» в очередности по кадру, например, в рядах сверху вниз, отсюда и название «рулонный затвор». При использовании для захвата кодированного света, это означает, что разные строки внутри кадра, захватывают свет в разные моменты времени и, вследствие этого, если частота строк достаточно высока по отношению к частоте модуляции, в разные фазы формы волны модуляции. Таким образом может быть обнаружена модуляция в свете.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В случае захвата с помощью рулонного затвора или подобного, эффективная полоса пропускания обнаружения зависит от внешнего вида кодированного света, или ʹотпечаткаʹ, на датчике. Эффективная полоса пропускания обнаружения является максимальной в том случае, когда отпечаток света охватывает настолько много строк датчика изображения, насколько это возможно. В данном случае, минимизируется время обнаружения. Следует отметить, что хотя в идеале осуществляется максимизация отпечатка света, улучшения в скорости обнаружения могут уже происходить, когда увеличивается количество строк датчика, которые охватывает отпечаток света. Это означает, что когда кодированный свет обнаруживается с помощью камеры, направленной на относительно узкий и вытянутый осветительный прибор, такой как потолочная трубчатая люминесцентная лампа, ориентация камеры оказывает значительное влияние на скорость обнаружения. Например, данная ситуация, как правило, происходит, когда используется фронтальная камера мобильного устройства. Желательно было бы, заставить пользователя повернуть устройство камеры (например, мобильный телефон) таким образом, чтобы достигалась более оптимальная ориентация для обнаружения кодированного света применительно к каждой новой ситуации. Требуемое действие пользователя может быть вызвано либо посредством явной инструкции, либо (предпочтительно) посредством не явного аспекта интерфейса пользователя (например, ориентации текста), так что достигается требуемое действие пользователя.

В соответствии с одним раскрываемым в данном документе аспектом, предоставляется устройство, содержащее интерфейс пользователя, камеру, и модуль обработки; например, портативное устройство, такое как интеллектуальный телефон или планшет. Камера выполнена с возможностью захвата изображения сцены, содержащей свет от источника света, при этом свет от источника света является модулированным с компонентом кодированного света. Камера содержит элемент захвата изображения, который разделен на множество строк, в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени, например, как в камере с рулонным затвором. Модуль обработки выполнен с возможностью обнаружения ориентации источника света, как проецируемого на плоскость элемента захвата изображения (т.е., как он присутствует или будет присутствовать на захваченном изображении), по отношению к строкам элемента захвата изображения, и, на основании этого, определения целевой переориентации устройства, которая была бы желательна для того, чтобы отпечаток света от источника света охватывал увеличенное количество строк в изображении (и, вследствие этого, увеличенное количество строк для обнаружения кодированного света). Интерфейс пользователя выполнен с возможностью затем вывода указания целевой переориентации пользователю, вынуждающего пользователя вводить в действие целевую переориентацию.

Таким образом, например, если источник света является длинной, тонкой прямоугольной трубчатой люминесцентной лампой, а строки являются горизонтальными рядами, пользователь будет вынужден повернуть его или ее устройство так, чтобы источник света присутствовал более вертикально на захваченном изображении, тем самым охватывая больше строк для обнаружения кодированного света.

Предпочтительно, целевая переориентация является такой, которая требуется для того, чтобы отпечаток охватывал максимальное количество строк (охватываемых отпечатком, учитывая текущее расстояние устройства от источника света). Однако, даже если не является максимальным, по-прежнему может быть выгодным вынуждать переориентацию в направлении любого увеличенного количества строк по отношению к текущей ориентации.

В вариантах осуществления интерфейс пользователя содержит дисплей, но не требуется, чтобы захваченное изображение было видимым на упомянутом дисплее.

В вариантах осуществления интерфейс пользователя содержит дисплей и указание целевой переориентации выводится пользователю через дисплей.

Например, указание может содержать контент дисплея, повернутый на дисплее таким образом, что правильный (в прямом направлении) просмотр контента требует того, чтобы пользователь повернул его или ее устройство в целевую переориентацию. Например, указание может содержать текст, показываемый на дисплее, ориентированный на дисплее так, что чтобы прочитать текст в прямом направлении, требуется чтобы пользователь повернул устройство в упомянутую целевую переориентацию; и/или графику на экране, ориентированную на экране так, что чтобы просмотреть графику в прямом направлении, требуется чтобы пользователь повернул устройство в упомянутую целевую переориентацию.

В качестве другого примера, указание может содержать стрелку на дисплее, указывающую в какую сторону повернуть устройство, чтобы получить упомянутую целевую переориентацию.

В дополнительном примере, указание может содержать изменение цвета и/или интенсивности на дисплее в зависимости от текущей ориентации устройства по отношению к целевой переориентации. Например, указание может содержать изменение цвета пикселей границы дисплея. Например, цвет может быть зеленым, чтобы указать на то, что устройство повернуто близко к упомянутой целевой переориентации, и красным, чтобы указать на то, что устройство повернуто далеко от целевой переориентации.

В еще одном другом примере, упомянутое указание может содержать отображение метрики, измеряющей текущую ориентацию устройства по отношению к целевой ориентации. Например, метрика может представлять собой текущее количество строк элемента захвата изображения, охватываемое упомянутым отпечатком по отношению к максимальному количеству строк, которое может быть охвачено отпечатком на текущем расстоянии устройства от источника света.

Предпочтительно модуль обработки содержит модуль обработки изображения, выполненный с возможностью выполнения упомянутого обнаружения посредством обнаружения ориентации источника света, как присутствующего на захваченном изображении, по отношению к строкам элемента захвата изображения, например, на основании методик распознавания отпечатка для обнаружения источников кодированного света, и или одной или более других методик распознавания изображения.

Тем не менее, в качестве альтернативы или в дополнение, модуль обработки может быть выполнен с возможностью выполнения упомянутого обнаружения на основании абсолютной ориентации устройства, измеренной используя датчик ориентации, позиции устройства, измеренной используя систему позиционирования, и построения соответствия между позицией и предварительно определенным знанием об абсолютной ориентации источника света; модуль обработки таким образом определяющий относительную ориентацию из абсолютной ориентации устройства, сравненной с абсолютной ориентацией источника света.

В соответствии с другим раскрываемым в данном документе аспектом, предоставляется способ, содержащий этапы, на которых: используют камеру устройства, чтобы захватить изображение сцены, содержащей свет от источника света, при этом свет от источника света является модулированным с компонентом кодированного света; и камера содержит элемент захвата изображения, разделенный на множество строк, в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени; обнаруживают ориентацию источника света, как проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения; на основании упомянутого обнаружения, определяют целевую переориентацию устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении; и выводят указание упомянутой целевой переориентации пользователю, через интерфейс пользователя устройства.

В соответствии с другим раскрываемым в данном документе аспектом, предоставляется компьютерный программный продукт, содержащий код, воплощенный на компьютерночитаемом носителе информации, и выполненный таким образом, чтобы при исполнении выполнять соответствующие операции устройства. Например, программа может быть сохранена на сервере так, чтобы загружаться на устройство, или сохранена на локальном хранилище устройства, или где-либо еще; и может быть исполнена на (микро)процессоре устройства или более чем одном из нескольких процессоров устройства, если оно так оборудовано.

В вариантах осуществления, способ может дополнительно содержать этапы или компьютерную программу, дополнительно выполненную с возможностью выполнения операций в соответствии с любым из раскрываемых в данном документе признаков устройства.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Чтобы способствовать пониманию настоящего раскрытия и чтобы показать то, каким образом варианты осуществления могут быть введены в действие, в качестве примера делается ссылка на сопроводительные чертежи, на которых:

Фигура 1 схематично иллюстрирует пространство, содержащее систему освещения и камеру,

Фигура 2 является принципиальной структурной схемой устройства с камерой для приема кодированного света;

Фигура 3 схематично иллюстрирует элемент захвата изображения камеры с рулонным затвором,

Фигура 4 схематично иллюстрирует захват модулированного света посредством рулонного затвора,

Фигура 5 является схематическим представлением изображения захвата,

Фигура 6 является другим схематичным представлением захваченного изображения,

Фигура 7 является другим схематичным представлением захваченного изображения,

Фигура 8 является принципиальной структурной схемой компоновки для обработки захваченных изображений,

Фигура 9 является схематическим представлением повернутого контента, выводимого через интерфейс пользователя,

Фигура 10 является схематическим представлением метрики, выводимой посредством интерфейса пользователя, и

Фигура 11 является другим схематичным представлением метрики с Фигуры 10.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фигура 1 показывает примерную среду 2, в которой могут быть развернуты раскрываемые в данном документе варианты осуществления. Например, среда может содержать одну или более комнаты и/или коридоры офиса, дома, школы, больницы, музея, или другого пространства внутри помещения; или пространство вне помещения, такое как парк, улица, стадион или нечто подобное; или другой тип пространства, такой как бельведер или салон транспортного средства. В среде 2 инсталлирована система освещения, содержащая, по меньшей мере, одно устройство 4 освещения в форме осветительного прибора. Также в среде 2 присутствует терминал 6 пользователя, предпочтительно мобильное устройство, такое как интеллектуальный телефон или планшет. Осветительный прибор 4 содержит элемент освещения, такой как LED, массив LED, лампа накаливания или газоразрядная лампа. Свет, испускаемый элементом освещения каждого из одного или более осветительных приборов, является модулированным с компонентом кодированного света на частоте, по существу, незаметной человеческому глазу.

Это может быть выполнено посредством выбора достаточно высокой частоты модуляции и посредством включения мер для ограничения отклонения в частотном спектре светоотдачи, например, как в результате модулированных данных, ниже критической частоты мерцаний зрительной системы человека. Что касается зависимых от данных спектральных компонентов, отмечается, что использование кодов без постоянной составляющей и/или кодов без квадрата постоянной составляющей (DC²-free) может быть в частности выгодным, чтобы ограничивать низкочастотные компоненты в светоотдаче.

Фигура 2 предоставляет структурную схему мобильного устройства 6. Устройство 6 содержит интерфейс 8 пользователя (предпочтительно дисплей, такой как экран или сенсорный экран), камеру 10 с двумерным элементом 20 захвата изображения, и модуль 12 анализа изображения, связанный с элементом 20 захвата изображения и интерфейсом 8 пользователя. Модуль 12 анализа изображения выполнен с возможностью обработки сигналов, представляющих собой изображения, захваченные элементом захвата изображения, и, на их основании, декодирования компонентов кодированного света в свете, из которого было захвачено изображение. Модуль 12 анализа изображения может быть реализован в форме кода, хранящегося на компьютерночитаемом запоминающем носителе информации или носителях информации, и выполненного с возможностью исполнения на процессоре, содержащем один или более блоки обработки. В качестве альтернативы, не исключается, что некоторая часть или весь модуль 12 анализа изображения может быть реализован в предназначенной схеме аппаратного обеспечения или реконфигурируемой схеме, такой как FPGA.

Фигура 3 представляет собой элемент 20 захвата изображения камеры 10. Элемент 20 захвата изображения содержит массив пикселей для захвата сигналов, представляющих собой падающий свет на каждом пикселе, например, как правило, квадратный или прямоугольный массив из квадратных или прямоугольных пикселей. В камере с рулонным затвором, пиксели организованы во множество строк, например, горизонтальные ряды 22. Чтобы захватить кадр осуществляется последовательное экспонирование каждой строки, каждая на последующий экземпляр времени T_exp экспонирования камеры. В данном случае, время экспонирования является продолжительностью экспонирования отдельной строки. Конечно следует отметить, что в контексте цифровой камеры, терминология «осуществлять экспонирование» или «экспонирование» не относится к механическому срабатыванию затвора или нечто подобному (из чего исторически возникла терминология), а наоборот ко времени, когда строка активно используется, чтобы захватить или отобрать образец света из среды. Также следует отметить, что последовательность в настоящем раскрытии означает временную последовательность, т.е., так что экспонирование каждой строки начинается в незначительно разное время (и опционально экспонирование строк может накладываться во времени). Например, экспонирование первого верхнего ряда 22₁ начинает осуществляться в течение продолжительности T_exp, затем в несколько более позднее время начинает осуществлять экспонирование второго ряда 22₂ ниже в течение T_exp, затем в несколько более позднее время вновь начинается осуществляться экспонирование третьего ряда 22₃ в течение T_exp, и т.д. до тех пор, пока не будет осуществлено экспонирование нижнего ряда. Данный процесс затем повторяется, чтобы осуществить экспонирование последовательности кадров.

В документе WO2012/127439, например, было описано то, каким образом кодированный свет может быть обнаружен, используя традиционную видео камеру данного типа. Обнаружение сигнала использует захват изображения с рулонным затвором, который вызывает перевод временных модуляций света в пространственные вариации интенсивности по последовательным рядам изображения.

Это схематично иллюстрируется Фигурой 4. По мере того, как осуществляется экспонирование каждой последовательной строки 22, ее экспонирование осуществляется в несколько разное время и, вследствие этого (если частота строк достаточно высока в сравнении с частотой модуляции), в несколько разные фазы модуляции. Таким образом, экспонирование каждой строки 22 осуществляется с соответствующим мгновенным уровнем модулированного света. Это приводит к модели из полос, которые являются волнообразными или цикличными сообразно модуляции по заданному кадру. На основании данного принципа, модуль 14 анализа изображения способен обнаружить компоненты кодированного света, модулированные в свете, принимаемом камерой 10.

В качестве альтернативы использованию одного фотодетектора, использование камеры с рулонным затвором, чтобы обнаруживать кодированный свет, дает разнообразные преимущества. Одним таким преимуществом является пространственное разделение разных источников света в плоскости изображения, обеспечивающее одновременную идентификацию нескольких источников света и разделение их распределения света (их «отпечатков») по освещенной сцене.

Например, документ EP 2,503,852 описывает то, каким образом методики типа с рулонным затвором могут быть использованы не только чтобы обнаруживать идентификационные данные или данные, сигнализируемые компонентом кодированного света, но также и пространственный отпечаток отдельного компонента кодированного света в случае, когда присутствует несколько компонентов кодированного света в среде от разных осветительных приборов. Т.е., амплитуда отдельного компонента может быть определена как функция пространственных координат в захваченной изображении, например, как функция декартовых координат x и y пикселя, отделенная от вклада другого компонента или компонентов.

Применительно к обнаружению кодированного света, конкретное использование камер с датчиком изображения с рулонным затвором также обладает преимуществом над считыванием с помощью глобального затвора (где за раз осуществляется экспонирование всего кадра), состоящим в том, что разные экземпляры времени последовательных строк датчика вызывают перевод быстрых модуляций света в пространственные модели, как обсуждалось в отношении Фигуры 4. Тем не менее, в отличие от показанного на Фигуре 4, свет (или, по меньшей мере, используемый свет) от заданного источника 4 света не обязательно охватывает зону всего элемента 20 захвата изображения, а наоборот только некоторый отпечаток. Как следствие, чем короче вертикальное распределение захваченного отпечатка света, тем более длительной является продолжительность, в течение которой может быть обнаружен сигнал кодированного света. На практике, это означает, что только временной фрагмент всего сигнала кодированного света может быть захвачен в рамках одного кадра, так что требуется несколько кадров для того, чтобы захватить достаточно смещенных фрагментов сигнала, чтобы восстановить данные, внедренные в кодированный свет. Чем меньше фрагмент сигнала в каждом кадре, тем больше требуется захваченных кадров перед тем, как будет возможно восстановление данных.

Кодированный свет может быть обнаружен либо посредством направления камеры 10 на источник света, либо посредством направления камеры на освещенную поверхность. Посредством использования фронтальной камеры мобильного устройства 6, кодированный свет может быть обнаружен при сохранении свободного просмотра на дисплее мобильного устройства. Например, это позволяет использовать мобильное устройство 6 как часть фазы инсталляции освещения (например, ввода в эксплуатацию). В качестве альтернативы или в дополнение, после инсталляции, мобильное устройство 6 может быстро восстанавливать особые для лампы идентификаторы, внедренные в кодированный свет, чтобы предоставлять диапазон услуг конечному пользователю, основанных на его или ее местоположении в здании. Например, такая основанная на местоположении услуга может быть использована для навигации внутри помещения, и/или персонализированного управления локальным освещением посредством регулирования осветительного прибора, который распознается посредством ID, внедренного в кодированный свет (управление, осуществляемое через подходящий обратный канал, например RF).

Распространенной ситуацией в больших общественных пространствах, таких как офисы, магазины и аэропорты, является использование длинных рядов узких осветительных приборов, которые смонтированы на потолке. Даже в случае LED освещения, линейная форма осветительных приборов часто соответствует люминесцентным осветительным приборам (TL-трубки), для которых такие LED осветительные приборы часто служат заменой.

Эффективная полоса пропускания обнаружения у обнаружения кодированного света с помощью камеры с рулонным затвором определяется количеством строк датчика, на которых присутствует сигнал кодированного света. Это означает, что время, требуемое для восстановления данных, строго зависит от ориентации мобильного устройства 6 по отношению к длинной оси осветительного прибора 4 (предполагая, что камера 10 является частью мобильного устройства 6 и, вследствие этого перемещается с ним). Если узкий осветительный прибор 4 присутствует так, что его длинная ось параллельна строкам датчика 20 изображения, времена обнаружения могут стать очень длинными. В крайних случаях обнаружение и вовсе может быть невозможным.

Фигуры с 5 по 7 показывают три типичных случая внешнего вида вытянутого потолочного осветительного прибора, как наблюдаемого обращенной фронтально камерой 10 мобильного устройства 6, т.е. как проецируемого на плоскость элемента 20 захвата изображения. Стрелки указывают вертикальную протяженность светящейся зоны в кадре камеры. Фигура 5 показывает наименее выгодную ситуацию для обнаружения кодированного света. Поворот устройства как на Фигуре 6, или оптимально, как на Фигуре 7, улучшает вертикальную протяженность, по которой захватывается сигнал кодированного света или фрагмент сигнала.

Было бы желательным обеспечить или улучшить обнаружение кодированного света в случаях, где изображение источника 4 света присутствует параллельным (например, горизонтальным) или под небольшим углом по отношению к строкам 22 (например, рядам) элемента 20 захвата изображения. В соответствии с нижеследующим, это достигается посредством обнаружения относительной ориентации между изображением источника 4 света и строками 22, и вычисления требуемой переориентации устройства 6 (предполагая, что камера 10 является частью устройства 6 и таким образом перемещается с ним), так что изображение источника 4 света присутствует с более крутым углом по отношению к строкам элемента 20 захвата изображения, предпочтительно с правильными углами (например вертикально) к линиям 22 (например, рядам). Указание целевой переориентации выводится в интерфейс 8 пользователя (предпочтительно на экран), предназначенный для того, чтобы предписать пользователю повернуть его мобильное устройство в направлении более выгодной ориентации по отношению к осветительному прибору(ам).

Фигура 8 представляет схематический вид мобильного устройства 6, выполненного в соответствии с вариантами осуществления настоящего раскрытия. Функциональные блоки указываются прямоугольными блоками, а соответствующие элементы информационного потока указываются с помощью скругленных блоков.

Устройство 6 является предпочтительно мобильным устройством, таким как планшет или интеллектуальный телефон. Как обсуждалось в отношении Фигуры 2, оно содержит встроенную камеру 10 (предпочтительно фронтально обращенную камеру), интерфейс 8 пользователя, который может быть дисплеем с информацией и элементами управления (например, сенсорным экраном), и модуль 12 обработки (например, который может быть реализован в встроенной памяти микропроцессоре устройства 6). Модуль 12 обработки содержит подсистему или алгоритм, чтобы определять ориентацию источника света или ориентацию освещенной зоны по отношению к камеры 10, как впрочем и средство, чтобы менять аспект интерфейса 8 пользователя таким образом, который неявно или явно предлагает пользователю, чтобы он или она повернул устройство в ориентацию, которая оптимизирует обнаружение кодированного света. Предпочтительно интерфейс пользователя не требует того, чтобы изображение камеры было видимым на дисплее 8.

Как показано на Фигуре 8, модуль 12 обработки устройства 6 содержит блок 32 определения ориентации и блок 38 сравнения. Блок 32 определения ориентации выполнен с возможностью приема потока 30 изображения от элемента 20 захвата изображения камеры 10, при этом поток 30 содержит данные захваченного изображения одного или более изображений среды 2, включая изображение источника 4 света в, по меньшей мере, одном из захваченных изображений. Блок 32 определения ориентации содержит блок распознавания отпечатка, выполненный с возможностью распознавания отпечатка источника 4 света в захваченном изображении, например используя методики, как раскрывается в документе EP 2,503,852. На основании этого, блок 32 определения ориентации определяет текущую ориентацию источника 4 света, как он присутствует в захваченном изображении, например, как показано на Фигурах 5, 6 и 7. Блок 32 определения ориентации затем выводит первый сигнал 34, представляющий собой данную текущую ориентацию, в блок 38 сравнения.

В качестве альтернативы или в дополнение, относительная ориентация может быть определена другим образом. Например, блок 32 определения ориентации может быть выполнен с возможностью получения ориентации мобильного устройства 6 от датчика ориентации, и объединения этого с информацией о местоположении, извлеченной из системы позиционирования для того, чтобы определить относительную ориентацию между устройством 6 и осветительным прибором 4. Например, датчик ориентации может быть выполнен в виде компаса, гироскопического(их) датчика(ов) и/или акселерометра(ов), интегрированного в мобильное устройство 6, тогда как система позиционирования может быть выполнена в виде основанной на спутнике системы позиционирования (например, GPS, ГЛОНАСС или Galileo) или локальной RF сети связи (например, используя триангуляцию, трилатерацию и мультилатерацию, основанные на сигналах, передаваемых между мобильным устройством 6 и беспроводными узлами сети). Датчик ориентации предоставляет ориентацию устройства 6 по отношению к миру (при условии, что сигнал является надежным), а информация, принимаемая от системы позиционирования, дает местоположение устройства в мире. При наличии доступа к подходящей базе данных освещения (либо хранящейся локально на устройстве, либо доступ к которой осуществляется удалено, например, через сеть), это может позволить блоку 32 определения ориентации провести поиск в отношении того, какой осветительный прибор(ы) 4 присутствуют в текущем местоположении и их «абсолютную» ориентацию, например, относительно карты, планировки или 3D модели среды. Зная также ориентацию мобильного устройства 6 относительно карты, планировки или модели (от датчика ориентации), блок 32 определения ориентации может, следовательно, определять относительную ориентацию устройства 6 и осветительного прибора 4, и, следовательно, ориентацию осветительного прибора 4, как он будет присутствовать на захваченном изображении. Например, информация о местоположении может быть соотнесена с определенным магазином, и база данных может записывать локальную ориентацию осветительных приборов, которые, как правило, являются однонаправленными по всему пространству магазина.

Таким образом, при наличии опций выше, в разнообразных вариантах осуществления ориентация мобильного устройства 8 может быть определена из распознавания отпечатка, основанного исключительно на изображении, захваченном камерой, или без камеры, на основании датчика ориентации и системы позиционирования; или информации из обоих методик может быть объединена при определении ориентации.

Так или иначе, блок 38 сравнения также извлекает второй сигнал 36, представляющий собой требуемую ориентацию для источника 4 света, как он будет присутствовать на захваченном изображении. Например, блок 38 сравнения извлекает предварительно запрограммированное знание о том, что требуется вертикальная ориентация (в случае горизонтальных строк 22). Блок 38 сравнения затем сравнивает эти два сигнала 36, 38, чтобы определить указание 40 предпочтительной переориентации устройства 6, которое выводится через интерфейс 8 пользователя.

В вариантах осуществления, указание 40 реализуется посредством определения требуемой ориентации интерфейса пользователя (UI) для интерфейса 8 пользователя, в результате чего тот контент отображается в UI 8 с такой ориентацией, что для правильного (в прямом направлении) чтения, пользователь должен повернуть его или ее телефон или планшет в направлении, наиболее выгодном для обнаружения кодированного света. Таким образом пользователя неявным образом заставляют выполнить переориентацию. Например, текст на дисплее устройства ориентирован так, что для правильного чтения требуется повернуть интеллектуальный телефон 6 в направлении для оптимального (или, по меньшей мере, улучшенного) обнаружения кодированного света. В качестве другого примера, ориентация графики (например, фотографии или чертежа) на дисплее устройства является такой, что для правильного просмотра требуется повернуть интеллектуальный телефон в направлении более выгодном для обнаружения кодированного света. Например, данная графика может содержать логотип компании, интерактивный элемент управления, такой как ползунок, который регулируется посредством взаимодействия с сенсорным экраном, и/или изображения, в рассмотрении которого пользователь заинтригован.

Например, обратимся к Фигуре 9. На ней контент содержит картинку кошки 44 и/или некоторый текст 42, но повернутые на угол. Даже не задумываясь, пользователь находит в себе желание полюбоваться кошкой 44 или прочитать текст 42 и инстинктивно поворачивает устройство так, что контент отображается прямо. Угол, под которым теперь держат устройство 6, является оптимальным углом для обнаружения кодированного света.

В другом варианте осуществления, контент интерфейса пользователя может быть повернут, но текст, выражающий сообщение, чтобы повернуть устройство, отображается прямо (и может удерживаться в прямом направлении в то время, как устройство 6 поворачивается), так что пользователь устройства 6 видит инструкцию, в отношении поворота, удобочитаемым образом. Текст может быть удален, как только устройство 6 было повернуто в оптимальную ориентацию.

В другом варианте осуществления, стрелка на дисплее 8 указывает оптимальную ориентацию для обнаружения кодированного света.

В другом варианте осуществления, цвет указывает на то, в какой степени ориентация является оптимальной для обнаружения кодированного света. Возможной реализацией является использование цветной границы, цвет которой меняется от красного к зеленому, в зависимости от ориентации осветительных приборов.

В еще одном другом варианте осуществления, указание может быть точной метрикой, отображаемой пользователю, количественно определяющей предпочтительную ориентацию по отношению к текущей ориентации устройства. Например, метрика может измерять отношение или пропорцию количества строк 22, которое источник 4 света занимает в настоящее время по отношению к оцениваемому максимальному количеству строк 22, которое источник света может потенциально занимать, если устройство повернуто в оптимальную позицию, и/или метрика может измерять количество градусов, на которое устройство 6 должно быть повернуто по одной или более осям. Данная метрика может быть отображена пользователю с помощью цифр или графически, например, как позиция или величина на графической шкале. Для конечного пользователя, предпочтительно метрика будет представляться графически, например, в форме кругового сектора, который перекрывает диапазон между текущим и требуемым углом ориентации. Например, Фигуры 10 и 11 показывают пример кругового сектора, чтобы указать разницу между менее оптимальной ориентацией и в большей степени оптимальной ориентацией устройства. Второй индикатор представляет собой относительную скорость обнаружения, как процент от максимальной ожидаемой скорости обнаружения.

Следует иметь в виду, что вышеприведенные варианты осуществления были описаны лишь в качестве примера.

Например, объем раскрываемых методик не ограничивается примерными указаниями целевой ориентации, обсуждаемой выше, и могут быть использованы другие указания, или любое сочетание вышеприведенный указаний и/или других. В целом, целевая переориентация может быть выражена в любой форме, и может быть выражена в единицах целевого изменения в ориентации или в абсолютной ориентации, которая должна быть достигнута.

Кроме того, несмотря на то, что выше было описано, что модуль 12 обработки декодирует кодированный свет, как впрочем и вычисляет целевую переориентацию, не требуется чтобы это было так во всех возможных вариантах осуществления. В качестве альтернативы или в дополнение, модуль 12 обработки на устройстве 6 может выполнять операции для определения целевой переориентации устройства 6, а захваченное изображение может быть пропущено на другой терминал для извлечения сигнала кодированного света. Например, модуль 12 обработки может сохранять изображение (например, локально или посредством выгрузки на хост-компьютер или сервер), так что кодированный свет может быть декодирован из сохраненного изображения позже.

Кроме того, раскрываемые методики могут быть использованы совместно с некоторым количеством разных приложений кодированного света. Кодированный свет добавляет информацию к источнику света, как впрочем и освещенной среде, и обнаружение с помощью существующих (мобильных) камер добавляет значение к источнику света когда внедренная информация становится доступной для разнообразных новых приложений. Например, особая для лампы информация может быть использована во время ввода в эксплуатацию новых систем освещения, и/или обеспечивать персонализированное локальное управление светом с помощью интеллектуального телефона или планшета. В качестве другого примера, совокупность осветительных приборов с возможностями кодированного света может обеспечивать плотную сетку световых маяков для навигации внутри помещения и основанных на местоположении услуг, добавляя значение потребителю и давая точную информацию о местоположении поставщику услуг. В качестве еще одного другого примера, освещение кодированным светом особого объекта может по существу присваивать ʹтэгʹ объекту с помощью внедренного идентификатора внедренного в свет. Раскрываемые методики могут потенциально добавлять надежность любому из этих приложений.

Следует иметь в виду, что изобретение также применяется к компьютерным программам, в частности компьютерным программа на или в носителе, адаптированном для воплощения изобретения на практике. Программа может быть в форме исходного кода, объектного кода, кода промежуточного между исходным и объектным кодом, как например в частично компилированной форме, или в любой другой форме подходящей для использования при реализации способа в соответствии с изобретением.

Другой вариант осуществления, относящийся к компьютерному программному продукту, содержит исполняемые компьютером инструкции, соответствующие каждому средству, по меньшей мере, одной из систем и/или продуктов, изложенных в данном документе. Эти инструкции могут быть подразделены на подпрограммы и/или храниться в одном или более файлах, которые могут быть связаны статично или динамично.

Как предусмотрено выше изобретение может дополнительно быть воплощено в форме компьютерного программного продукта. Когда предоставляется на носителе, носитель компьютерной программы может быть любым объектом или устройством, выполненным с возможностью переноса программы. Например, носитель может включать в себя запоминающий носитель информации, такой как ROM, например, CD ROM или полупроводниковая ROM, или магнитный записывающий носитель информации, например, жесткий диск. В качестве альтернативы, носитель может быть интегральной микросхемой, в которую внедрена программа, интегральной микросхемой выполненной с возможностью выполнения, или используемой при выполнении, соответствующего способа.

Другие вариации раскрываемых вариантов осуществления могут быть понятны и выполнены специалистами в соответствующей области техники при реализации на практике заявленного изобретения, из изучения чертежей, раскрытия, и прилагаемой формулы изобретения. В формуле изобретения, слово «содержащий» не исключает других элементов и этапов, а формы единственного числа не исключают множество. Один процессор или другой блок может исполнять функции нескольких элементов, перечисленных в формуле изобретения. Тот лишь факт, что некоторые меры изложены во взаимно разных зависимых пунктах формулы изобретения не указывает на то, что сочетание этих мер не может быть использовано для достижения преимущества. Компьютерная программа может быть сохранена/распространяться на подоходящем носителе информации, таком как оптический запоминающий носитель информации или твердотельный носитель информации, поставляемый совместно с или как часть другого аппаратного обеспечения, но также может быть распространена в других формах, как например через Интернет или другие проводные или беспроводные системы телекоммуникации. Любое ссылочное обозначение в формуле изобретения не должно толковаться в качестве ограничивающего объем.

Изобретение относится к обнаружению кодированного света посредством камеры с элементом захвата изображения, который захватывает свет построчно. Техническим результатом является обнаружение кодированного света. Результат достигается тем, камера устройства захватывает изображение сцены, содержащей свет от источника света, при этом свет от источника света является модулированным с компонентом кодированного света. Камера содержит элемент захвата изображения, который разделен на множество строк, в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени. Модуль обработки выполнен с возможностью обнаружения ориентации источника света, как проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения, и на основании этого определения целевой переориентации устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении. Интерфейс пользователя выполнен с возможностью вывода указания целевой переориентации пользователю, вынуждающего пользователя вводить в действие целевую переориентацию. 3 н. и 12 з.п. ф-лы, 11 ил.

1. Устройство (6) для обнаружения компонента кодированного света, содержащее:

интерфейс (8) пользователя;

камеру (10), для захвата изображения сцены, содержащей свет от источника (4) света, при этом свет от источника света является модулированным с компонентом кодированного света, и камера содержит элемент (20) захвата изображения, который разделен на множество строк (22), в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени, причем элемент захвата изображения задает плоскость; и

модуль (12) обработки выполненный с возможностью обнаружения угла ориентации источника света, как проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения, и на основании этого определения целевой переориентации устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении;

при этом интерфейс пользователя выполнен с возможностью вывода указания целевой переориентации пользователю с тем, чтобы вынудить пользователя повернуть устройство таким образом, чтобы ввести в действие целевую переориентацию.

2. Устройство по п. 1, в котором целевая переориентация является такой, которая требуется для того, чтобы отпечаток света от источника (4) света охватывал максимальное количество строк (22), охватываемых отпечатком на текущем расстоянии устройства (6) от источника света.

3. Устройство по п. 1 или 2, в котором интерфейс пользователя содержит дисплей (8) и захваченное изображение не показывается на упомянутом дисплее.

4. Устройство по п. 1 или 2, при этом устройство (6) является одним из: портативным устройством, интеллектуальным телефоном, или планшетом.

5. Устройство по п. 1 или 2, в котором интерфейс пользователя содержит дисплей (8) и указание целевой переориентации выводится пользователю через дисплей.

6. Устройство по п. 5, в котором указание содержит, по меньшей мере, одно из следующего:

текст, показываемый на дисплее (8), ориентированный на дисплее так, что чтобы прочитать текст в прямом направлении, требуется чтобы пользователь повернул устройство (6) в упомянутую целевую переориентацию; и/или

графику на дисплее, ориентированную на экране так, что чтобы просмотреть графику в прямом направлении, требуется чтобы пользователь повернул устройство в упомянутую целевую переориентацию.

7. Устройство по п. 5, в котором указание содержит стрелку на дисплее, указывающую в какую сторону повернуть устройство (6), чтобы получить упомянутую целевую переориентацию.

8. Устройство по п. 5, в котором указание содержит изменение цвета и/или интенсивности на дисплее (8) в зависимости от угла ориентации устройства (6) по отношению к целевой переориентации.

9. Устройство по п. 8, в котором зеленый цвет указывает на то, что устройство (6) повернуто близко к упомянутой целевой переориентации, и красный цвет указывает на то, что устройство повернуто далеко от целевой переориентации.

10. Устройство по п. 1 или 2, в котором упомянутое указание содержит отображение метрики, измеряющей угол ориентации устройства (6) по отношению к целевой переориентации.

11. Устройство по п. 10, в котором метрика представляет собой текущее количество строк (22) элемента (20) захвата изображения, охватываемое упомянутым отпечатком, по отношению к максимальному количеству строк, которое может быть охвачено отпечатком на текущем расстоянии устройства (6) от источника (4) света.

12. Устройство по п. 1 или 2, в котором модуль (12) обработки содержит модуль обработки изображения, выполненный с возможностью выполнения упомянутого обнаружения посредством обнаружения ориентации источника (4) света, как присутствующего на захваченном изображении, по отношению к строкам (22) элемента (20) захвата изображения.

13. Устройство по п. 1 или 2, в котором модуль обработки выполнен с возможностью выполнения упомянутого обнаружения на основании абсолютной ориентации устройства (6), измеренной используя датчик ориентации, позиции устройства, измеренной используя систему позиционирования, и построения соответствия между позицией и предварительно определенным знанием об абсолютной ориентации источника света; модуль обработки таким образом определяющий относительную ориентацию из абсолютной ориентации устройства, сравненной с абсолютной ориентацией источника света.

14. Способ для обнаружения компонента кодированного света, содержащий этапы, на которых:

используют камеру (10) устройства (6), чтобы захватить изображение сцены, содержащей свет от источника (4) света, при этом свет от источника света является модулированным с компонентом кодированного света, и камера содержит элемент (20) захвата изображения, разделенный на множество строк (22), в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени, причем элемент захвата изображения задает плоскость;

обнаруживают ориентацию источника света, проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения;

на основании упомянутого обнаружения, определяют целевую переориентации устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении; и

выводят указание упомянутой целевой переориентации пользователю, через интерфейс пользователя устройства.

15. Считываемый компьютером запоминающий носитель информации, содержащий компьютерную программу, выполненную с возможностью предписывать, при выполнении, устройству (6), выполнять операции:

использование камеры (10) устройства, чтобы захватить изображение сцены, содержащей свет от источника света, при этом свет от источника света является модулированным с компонентом кодированного света, и камера содержит элемент (20) захвата изображения, разделенный на множество строк (22), в результате чего, чтобы захватить изображение осуществляется последовательное экспонирование строк в разные моменты времени, причем элемент захвата изображения задает плоскость;

обнаружение ориентации источника света, как проецируемого на плоскость элемента захвата изображения, по отношению к строкам элемента захвата изображения;

на основании упомянутого обнаружения, определение целевой переориентации устройства, чтобы отпечаток света от источника света охватывал увеличенное количество упомянутых строк в изображении; и

вывод указания упомянутой целевой переориентации пользователю, через интерфейс пользователя устройства.