ОПРЕДЕЛЕНИЕ ОРИЕНТАЦИИ Российский патент 2019 года по МПК G01S5/16 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее раскрытие относится к определению ориентации камеры относительно источника света основываясь на изображении этого источника света, захватываемого камерой.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Имеются несколько способов определения местоположения устройства, такого как мобильный телефон или планшет. Общепринятые технические приемы включают в себя использование спутниковой системы позиционирования, такой как глобальная система позиционирования (GPS), или трилатерации, основанной на сигналах, сообщаемых между устройством и множеством базовых станций сотовой сети.

Дополнительный технический прием описан в WO2013/016439. В соответствии с ним, каждый из множества источников света в заданном местоположении передает соответствующий идентификатор в виде кодированного светового сигнала, смодулированного в свет, излучаемый от этого источника света. Устройство, такое как мобильный телефон, может затем использовать свою встроенную камера для считывания идентификатора, закодированного в свет от такого источника, а этот идентификатор может использоваться для поиска координат источника света. Таким образом устройство может определять, что приблизительно находится вблизи координат этого источника света. Когда многочисленные источники появляются в поле зрения камеры вместе со всеми своими известными идентификаторами, то может выполняться некая форма триангуляции для определения более точного местоположения камеры и, как следствие, устройства.

КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Часто камера может быть способна видеть один источник света, например, когда используется в помещении и обращена вверх, и/или потому, что типичная камера, встроенная в устройство, подобное телефону или планшету, может иметь только ограниченное поле зрения. В таких ситуациях это означает, что невозможно выполнить триангуляцию между источниками света. Желательно разработать альтернативный технический прием, который не должен обязательно опираться на нахождение многочисленных различных источников света в поле зрения.

Как раскрыто в этой заявке, этого можно достигнуть при использовании вычисления геометрической перспективы для анализа перспективно искаженной формы данного светильника, появляющегося в захваченном изображении. Однако одно преткновение заключается в том, что типичный источник света обычно имеет симметричную форму, например симметричную в плоскости поверхности, такой как потолок, на которой источник света подлежит установке. Например, форма может иметь вращательную симметрию (порядок вращательной симметрии равен двум или большей величине) или зеркальную симметрию (осевую симметрию). Этим вносится неоднозначность в вычисление, например, квадрат выглядит одинаковым под четырьмя различными углами. Поэтому, основываясь на традиционных светильниках, детектор кодированного света должен был бы иметь по меньшей мере два светильника в его поле зрения, чтобы узнать его ориентацию из изображения.

Согласно настоящему изобретению световой эффект может быть привнесен в свет, излучаемый источником света, с тем, чтобы нарушить симметрию, предпочтительно, чтобы это был эффект, который не воспринимается глазом человека, такой как асимметричное распределение кодированного света, модулируемое в свет на высокой частоте. Когда изображение источника света захватывается камерой, вычисление геометрической перспективы может выполняться по изображению для определения ориентации камеры относительно источника света на основании асимметричного распределения света.

Поэтому согласно одному аспекту, раскрытому в этой заявке, предложен светильник для использования при определении ориентации камеры на основании изображения светильника, захватываемого камерой. Светильник содержит источник света, имеющий включенное состояние, в котором он излучает свет, и выключенное состояние, в котором он не излучает свет, при этом источник света имеет форму, обладающую симметрией, и появляется с указанной симметрией в выключенном состоянии. Источник также содержит контроллер, выполненный с возможностью управления источником света для излучения упомянутого света во включенном состоянии с осветительным эффектом, который нарушает упомянутую симметрию.

Предпочтительно, чтобы упомянутый осветительный эффект был не воспринимаемым для зрения человека и воспринимаемым для камеры. Таким образом источник света излучает свет с появлением симметрии для человека, тогда как осветительный эффект нарушает симметрию при обнаружении камерой.

Согласно предпочтительному применению светильник предназначен для установки на поверхности, такой как потолок, пол или стена, обозначающей плоскость, а симметрия существует в плоскости упомянутой поверхности. В вариантах осуществления осветительный эффект, используемый для нарушения симметрии, не имеет симметрии в плоскости упомянутой поверхности.

Для реализации асимметрии источник света может быть разделен на асимметричные секции, а контроллер выполнен с возможностью создания упомянутого осветительного эффекта путем излучения света различным образом из разных секций.

Контроллер может быть выполнен с возможностью создания упомянутого осветительного эффекта используя кодированный свет.

Контроллер может быть выполнен с возможностью создания упомянутого осветительного эффекта путем излучения различным образом кодированного света от каждой из упомянутых секций или излучения кодированного света от одной из секций и в то же время излучения некодированного света от другой из секций.

Согласно другому аспекту, раскрытому в этой заявке, предложено устройство для определения ориентации камеры на основании данных изображений, принимаемых от камеры, при этом данные изображений содержат изображение источника света, который излучает свет и имеет форму, обладающую симметрией. Устройство содержит модуль анализа изображения, выполненный с возможностью определения ориентации камеры относительно источника света путем выполнения вычисления геометрической перспективы на основании изображения источника света. Модуль анализа изображения выполнен с возможностью устранения неоднозначности ориентации путем обнаружения осветительного эффекта в свете, излучаемом источником света, который нарушает симметрию.

Ориентация относится к любому измерению направления, с которого камера обращена к источнику света. Направление может быть выражено, например, через два угла или единичный вектор в подходящей направленной системе отсчета. Одним примером подходящей направленной системы отсчета является трехмерная система координат, в которой положительная ось Z обращена вверх, а положительная ось Х обращена к северу на горизонте. Другим примером подходящей направленной системы отсчета является трехмерная система координат, в которой используются геометрический центр лампы или корпуса лампы с начальными координатами (0, 0, 0) и два заранее заданных физических маркера на внешней стороне лампы или корпуса лампы в качестве точек, через которые направлены, например, единичный вектор (1, 0, 0) и единичный вектор (0, 1, 0). В вариантах осуществления вычисление геометрической перспективы может также определять расстояние камеры относительно источника света на основании захватываемого изображения этого источника света. Расстояние является количественным показателем величины пространства между камерой и источником света в системе координат. В комбинации ориентация и расстояние дают количественный показатель положения камеры, который может быть выражен, например, через координаты или вектор относительно фиксированной точки в системе отсчета (направления) или относительно источника света или источника света, перенесенного в некоторую другую точку отсчета или систему. Поэтому модуль анализа изображения может быть выполнен с возможностью совместного использования определенного расстояния и ориентации для определения положения камеры относительно рассматриваемого источника света. Например, положение относительно источника света может быть определено как координата в трехмерной системе координат (x, y, z) при положении (0, 0, 0) лампы, единицы измерения в метрах, при этом отрицательная ось Z указывает вниз и положительная ось Х указывает на север на горизонте.

Согласно дальнейшим вариантам осуществления, если в устройстве имеются еще и сведения об абсолютном местоположении источника света на карте или глобусе, то можно определить еще и абсолютное местоположение камеры путем комбинирования информации об абсолютном местоположении источника света с информацией о положении камеры относительно источника света. Для этого определения могут также потребоваться сведения, например, относительно того, каким образом система отсчета направления, положенная в основу геометрии лампы, ориентирована относительно системы отсчета от севера/юга/востока/запада/верха/низа на карте или глобусе.

Согласно предпочтительному применению устройство содержит камеру, при этом камера размещена в или физически установлена на устройстве или иным образом по существу совместно расположена и закреплена так, чтобы перемещаться вместе с устройством. Например, устройство может быть мобильным терминалом, таким как мобильный телефон или планшет. В таких случаях можно предполагать, что ориентация устройства является по существу такой же, как ориентация камеры. Однако не исключается что устройство отделено от устройства, например, соединено посредством проводов, беспроводной связью или с помощью сети, и в этом случае желательно удаленно определять ориентацию камеры.

Хотя необязательно может использоваться изображение многочисленных источников света, данный технический прием не основывается на многочисленных источниках света, находящихся в поле зрения, и информации о расстоянии может определяться на основании любого количества источников света, от одного и более.

Согласно дополнительным аспектам, раскрытым в этой заявке, могут быть обеспечены соответствующие способ и/или компьютерный программный продукт для выполнения операций, относящихся к светильнику и/или устройству, раскрытым в этой заявке.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Для лучшего понимания вариантов осуществления, раскрытых в этой заявке, и для показа, каким образом они могут быть воплощены, для примера сделана ссылка на сопровождающие чертежи, на которых:

фиг. 1 - схематический вид пространства, такого как комната, содержащего по меньшей мере один светильник;

фиг. 2 - структурная блок-схема светильника, в котором используется передача кодированного света;

фиг. 3 - структурная блок-схема устройства с камерой для захвата изображения светильника;

фиг. 4 - показывает изображение светильника, установленного на потолке, с наложенной схематической иллюстрацией перспективно искаженной формы светильника, появляющегося на изображении;

фиг. 5 - схематический перспективный вид светильника, установленного в пространстве, таком как комната;

фиг. 6 - схематический нисходящий вид (или вверх дном) светильника из фиг. 5;

фиг. 7 - схематический вид источника света с нарушающих симметрию секциями нарушения симметрии;

фиг. 8 - изображение светильника, установленного на потолке, с наложенной схематической иллюстрацией нарушающих симметрию секций, подобных секциям, показанным на фиг. 7;

фиг. 9 - схематический вид другого источника света с нарушающими симметрию секциями;

фиг. 10 - схематический вид еще одного источника света с нарушающими симметрию секциями;

фиг. 11 - схематический вид источника света с альтернативным средством для создания нарушающих симметрию секций; и

фиг. 12 - схематический вид источника света с другим альтернативным средством для создания нарушающих симметрию секций.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Ниже описывается способ, посредством которого устройство с камерой может обнаруживать ориентацию, положение или местоположение на основании комбинирования обнаружения кодированного света с геометрическим анализом. Кроме того, описывается светильник, активирующий кодированный свет, который является особенно выгодным для установления места на основании кодированного света. Способ содержит декодирование кодированного света для получения идентификатора (ИД) источника, получение физических размеров, связанных с источником света, и использование вычислений геометрической перспективы для определения положения камеры по внешнему виду источника света на изображении с камеры. В предпочтительном варианте осуществления кодированный свет используется, чтобы делать внешний вид источника света асимметричным для камеры, при том, что он остается имеющим симметричный внешний вид для глаза человека. Поскольку источник света является симметричным по внешнему виду для пользователей и в то же время излучает кодированный свет асимметричным образом, это может повышать его применимость как маяка местоположения без нарушения восприятия освещения пользователем. В вариантах осуществления способы, раскрываемые ниже, применимы даже в случае, когда только один источник кодированного света с симметричным внешним видом находится в поле зрения камеры.

На фигуре 1 показано для примера пространство или окружение 5, в котором могут использоваться варианты осуществления, раскрытые в этой заявке. Например, пространство 5 может содержать одну или несколько комнат и/или коридоров офиса, дома, школы, больницы, музея или другого внутреннего пространства; или наружное пространство, такое как парк, улица, стадион или что-либо подобное; или другое пространство, такое как балкон или интерьер транспортного средства. В пространстве 5 установлена осветительная система, содержащая один или несколько осветительных приборов 4 в виде одного или нескольких светильников. Для иллюстрации показаны три светильника 4i, 4ii и 4iii, но должно быть понятно, что может иметься иное количество. Светильники 4 могут быть выполнены с центральным управлением или как отдельные автономные блоки. Кроме того, в пространстве 5 находится пользовательский терминал 6, предпочтительно мобильное устройство, такое как смартфон или планшет.

На фигуре 2 дана структурная блок-схема светильника, который может использоваться для реализации одного, нескольких или всех из одного или нескольких светильников 4. Светильник 4 содержит источник 12 света, содержащий один или несколько светоизлучающих элементов, таких как светоизлучающий диод, матрица светоизлучающих диодов или люминесцентная лампа. Кроме того, светильник 4 содержит возбудитель 10, подсоединенный к источнику 12 света, и контроллер 8, подсоединенный к возбудителю 10. Контроллер 8 выполнен с возможностью выдачи сигнала к возбудителю 10, чтобы возбудить источник 12 света для излучения желаемого выходного света. Контроллер 8 может быть реализован в виде кода, сохраняемого на машиночитаемом носителе или носителях данных и приспособленного к выполнению на процессоре, содержащем один или несколько блоков обработки. Альтернативно это не исключает того, что некоторая часть контроллера 8 или весь он реализуется специализированными схемами аппаратного обеспечения или реконфигурируемыми схемами, такими как вентильная матрица, программируемая пользователем. Контроллер 8 может быть реализован локально в светильнике 4 или в центральном контроллере, который может совместно использоваться одним или несколькими светильниками 4 или их совокупностью. Обычно компоненты 8, 10 и 12 могут быть или могут не быть интегрированы в один и тот же корпус.

Контроллер 8 выполнен с возможностью управления светом, излучаемым источником света 12, таким образом, чтобы он модулировался компонентом кодированного света. Кодированный свет относится к техническим приемам, в соответствии с которыми сигнал внедряется в видимый свет, излучаемый светильником. Таким образом, свет содержит вклад видимого освещения в освещение целевое окружение, такое как комната (обычно это является основным назначением света), и внедренный сигнал для направления информации в окружение. Чтобы сделать это, свет модулируют на определенной частоте или частотах, обычно на достаточно высокой частоте, чтобы модуляция не воспринималась зрением человека. Например, модуляция может иметь форму синусоиды, прямоугольной волны или другой формы волны. Обычно частота модуляции относится к единственной или основной частоте модуляции, то есть частоте, на протяжении периодов которой форма волны повторяется. В некоторых простейших случаях сигнал может содержать один тон, смодулированный в свет от данного светильника. В других случаях сигнал, содержащий более сложные данные, может быть внедрен в свет. Например, при использовании частотной манипуляции данный светильник способен работать с излучением двух (или большего количества) различных частот модуляции и с передачей битов данных (или символов в более общем смысле) посредством переключения между различными частотами модуляции. В вариантах осуществления каждый из множества светильников 4 в одном и том же пространстве 5 может быть выполнен с возможностью излучения света, модулированного отличающимся соответствующим компонентом кодированного света, действующего как идентификатор (ИД) соответствующего светильника, так что светильник 4, от которого свет приходит, можно различать на основании идентификатора. Идентификаторы являются уникальными по меньшей мере среди этих светильников в некотором пространстве 5, например, в некоторой комнате или здании. В случае, когда компонент кодированного света представляет собой один тон, разные светильники 4 выполняются с возможностью излучения света с различными соответствующими частотами модуляции, которые действуют как идентификаторы. В качестве варианта идентификатор можно кодировать в данные, например, при использовании частотной манипуляции. В дальнейших вариантах осуществления альтернативные или дополнительные данные могут кодироваться в свет.

На фигуре 3 дана структурная блок-схема мобильного устройства 6. Устройство 6 содержит камеру 14, имеющую элемент захвата двумерного изображения и модуль 15 обнаружения кодированного света, подсоединенный к камере 14. Модуль 15 обнаружения кодированного света выполнен с возможностью обработки сигналов, захватываемых элементом захвата изображения, и обнаружения компонентов кодированного света в свете, из которого изображение было захвачено. Устройство 6 также содержит модуль 16 анализа изображения, подсоединенный к камере 14, выполненный с возможностью определения положения камеры 14 относительно источника 12 света одного из светильников 4i на основании изображения источника света, захватываемого камерой 14. Кроме того, устройство может содержать модуль 17 определения местоположения, подсоединенный к модулю 16 анализа изображения, выполненный с возможностью комбинирования положения, определяемого модулем анализа изображения, с местоположением источника 4i света, для определения абсолютного местоположения камеры 14. Оно может быть абсолютным географическим местоположением относительно поверхности земли или абсолютным местоположением на карте, такой как карта города или план здания. Если камера 14 размещена в том же самом корпусе, что и устройство, или физически монтирована на его корпусе с тем, чтобы имелась возможность перемещения ее вместе с устройством 6 (в противоположность всего лишь присоединению, например, гибким кабелем), то положение или местоположение камеры 14 может быть принято таким же, как положение или местоположение устройства 6.

Модуль 15 обнаружения кодированного света, модуль 16 анализа изображения и/или модуль 17 определения местоположения могут быть реализованы в виде кода, сохраняемого на машиночитаемом носителе или носителе данных и приспособленного к выполнению на процессоре, содержащем один или несколько блоков обработки. Альтернативно это не исключает того, что некоторые или все эти компоненты реализуются специализированными схемами аппаратного обеспечения или реконфигурируемыми схемами, такими как вентильная матрица, программируемая пользователем. Обычно компоненты 14, 15, 16 и/или 17 могут быть или могут не быть интегрированы в одном корпусе. Кроме того, не исключено подсоединение (единственное или дополнительное) модуля 15 обнаружения кодированного света к чувствительному детектору кодированного света, отличному от камеры 14, например, ко второй камере, также доступной для мобильного устройства 6, или к фотодиоду, доступному для мобильного устройства 6, и это в дальнейшем можно использовать в альтернативном способе обнаружения кодированного света.

Один или несколько светильников 4 выполнены с возможностью излучения света в окружение 5 и тем самым освещения по меньшей мере части окружения. Пользователь мобильного устройства 6 может направить камеру 14 устройства по направлению к источнику 12 света одного из светильников 4, например, светильника, обозначенного для иллюстрации позицией 4i. Таким образом камера 14 может захватить изображение источника 12 света. Источник 12 света, описанный в этой заявке, можно относиться к видимой части светильника 4 (например, 4i), которая содержит светоизлучающий элемент или светоизлучающие элементы. Она имеет определенную форму, например, квадратную, продолговатую или круговую. Например, эта форма может формой одного открытого светоизлучающего элемента (например, формой люминесцентной лампы), формой матрицы светоизлучающих элементов (например, матрицы светоизлучающих диодов), формой рассеивающего материала, который помещен позади одного или нескольких светоизлучающих элементов, или формой арматуры или окружения одного или нескольких осветительных элементов (форма источника света строго не ограничена только рассматриваемой формой индивидуального осветительного элемента или элементов, хотя это является одной возможностью). Когда наблюдение камерой 14 выполняется с расстояния и обычно также под углом, то на двумерную плоскость элемента захвата изображения проецируется форма источника 12 света (его размер и/или относительные пропорции), оказывающаяся искаженной в соответствии с эффектом перспективы. Например, источник света может наблюдаться снизу, если он установлен на потолке, например, см. фигуру 4.

В модуле 16 анализа изображения эта перспективно искаженная форма может использоваться для определения расстояния камеры 14 от источника 12 света на основании вычисления геометрической перспективы. Кроме того, модуль 16 анализа изображения может выполнять вычисление геометрической перспективы относительно перспективно искаженной формы, чтобы определять ориентацию камеры 14 относительно источника 12 света (например, в виде двух- или трехмерного угла или вектора центральной оси поля зрения камеры). Комбинацию расстояния и ориентации можно использовать для задания положения камеры 14 (например, положения в двух измерениях в плоскости пола и/или потолка или даже положения в трех измерениях). В вариантах осуществления его можно получать в качестве положения самого устройства 6. Детали подходящих вычислений для анализа перспективно искаженных внешних видов геометрических форм, таких как квадраты, овалы и круги, известны специалисту в данной области техники.

Однако для выполнения этого вычисления модулю 16 анализа изображения требуется некоторая информация об одном или нескольких фактических размерах источника 12 света, чтобы сравнивать фактические размеры с размерами, которые представляются в захваченном изображении источника 12 света. В соответствии с раскрытием в этой заявке эта информация может быть получена на основании сигнала кодированного света, внедренного в свет от источника 12 света светильника 4i, наблюдаемого с помощью камеры 14.

В вариантах осуществления это может быть сделано на основании идентификатора светильника 4 (например 4i), внедренного в свет от соответствующего источника 12 света. В этом случае идентификатор может использоваться для поиска одного или нескольких требуемых размеров соответствующего источника 12 света в подходящем массиве данных, содержащем базу данных или просмотровую таблицу, отображающую идентификаторы, для получения сведений о соответствующем размере (размерах) источника света. Например, массив данных можно заранее сохранять в локальной памяти в самом устройстве 6 или можно реализовывать на основе сети, такой как локальная сеть или глобальная сеть, подобная Интернету. Модуль 15 обнаружения кодированного света устройства 6 обрабатывает выборки света, захватываемые камерой, для обнаружения идентификатора, закодированного в свет, и затем обращается к массиву данных с использованием подходящего сетевого интерфейса, такого как локальное беспроводное соединение (например, соединение Wi-Fi или соединение Bluetooth) или сотовое беспроводное соединение (например, 3GPP). Поэтому модуль 15 обнаружения кодированного света способен представлять идентификатор в массив данных, принимать обратно информацию о соответствующем размере (размерах) источника света и пересылать эту информацию к модулю 16 анализа изображения для использования при вычислении перспективы.

В альтернативных или дополнительных вариантах осуществления контроллер 8 может быть выполнен с возможностью кодирования информации об одном или нескольких размерах релевантного источника 12 света непосредственно в свет, излучаемый источником 12 света соответствующего светильника 4i. В этом случае модуль 15 обнаружения кодированного света способен извлекать информацию прямо из света, излучаемого релевантным источником 12 света, и пересылать эту информацию к модулю 16 анализа изображения для использования при вычислении перспективы.

В любом случае предпочтительно, чтобы устройство 6 получало фактический размер (размеры) источника 12 света на основании одного и того же изображения одного и того же объекта, который наблюдается камерой, чтобы получать очевидный перспективно искаженный размер (размеры).

Информации об одном или нескольких размерах источника 12 света может быть достаточно для определения расстояния камеры 14 от этого источника 12 света. Например, информация может содержать указание на то, что источник 12 света является круговым, и указание радиуса, диаметра или окружности. Это позволяет модулю 16 анализа изображения определять расстояние от источника 12 света. Точно так же, если источник 12 света является квадратным, то расстояние может быть определено на основании указания стороны квадрата и указания на то, что форма является квадратной, или, если источник 12 света является продолговатым, расстояние может быть определено на основании указания двух сторон или одной стороны, и отношения сторон, и указания на то, что форма является продолговатой или прямоугольной. В случае заранее заданного конкретного окружения модуль 16 анализа изображения может быть заранее выполнен с возможностью получения предположения о том, какой является форма, круговой или квадратной, или с возможностью получения вида формы на основании перспективно искаженного изображения, и в этих случаях в качестве допустимого минимума модуль 16 анализа изображения необходимо снабжать, например, только одним измерением радиуса или края.

Однако заметим, что форма многих источников света имеет симметрию. Например, форма может иметь вращательную симметрию, то есть порядок вращательной симметрии равен по меньшей мере двум. Порядок вращательной симметрии равен тому, сколько раз форма соответствует сама себе или повторяет саму себя при повороте по окружности на полные 360° вокруг некоторой оси, или, что эквивалентно, наблюдается в пределах полных 360° вокруг этой оси. Порядок, равный единице, не означает, что имеется вращательная симметрия. Кроме того, заметим, что это не означает наличия фактической способности источника 12 света к вращению, форма всего лишь должна обладать этим свойством при вращении или, что эквивалентно, при наблюдении с различных углов. Форма источника света может также или альтернативно иметь зеркальную форму (также называемую симметрией относительно отражения или осевой симметрией). То есть, форма должна быть идентичной относительно самой себя при отражении или перевороте вокруг одной или нескольких линий симметрии (опять отметим, что это необязательно означает необходимость фактического физического переворота источника света, форма всего лишь должна обладать этим свойством при перевороте). При типичном применении источник 12 света должен закрепляться на поверхности, например, потолка или, возможно, стенки, а симметрия является симметрией в плоскости этой поверхности. При необходимости получения сведения об ориентации камеры 14 относительно источника света такая симметрия будет вносить неоднозначность в вычисление.

Например, если продолговатый светильник, показанный на фигуре 4, излучает кодированный свет с идентификатором, внедренным в него, детектор кодированного света в точке наблюдения, показанной на фигуре 4, способен определить (по идентификатору), какой светильник является близлежащим. В предположении, что кодированный свет излучается по существу равномерно по длине источника света, рассматриваемый светильник относительно детектора кодированного света будет иметь 180-градусную вращательную симметрию. Точно так же, квадратный светильник будет иметь 90-градусную вращательную симметрию или круговой светильник будет проявлять вращательную симметрию при любом угле. Таким образом, на основании этой информации детектор может «знать», какой светильник является ближайшим к нему и, возможно, на каком расстоянии он находится от него, но не знать, в каком направлении он повернут. Поскольку контур источника света имеет симметричный вид, то обычно имеются многочисленные возможные места в комнате, на которых контур источника света будет представляться таким образом. Это схематически показано на фигурах 5 и 6 для случая 90-градусной вращательной симметрии. С учетом данных изображения на фигуре 4 и известного размера (размеров) источника 12 света детектор может ограничить количество возможных местоположений, на которых для него отображается источник света, до четырех мест (или ориентаций) в комнате относительно источника 12 света, показанных А, В, С и D на фигурах 5 (перспективном виде) и 6 (нисходящем виде). Для зеркально симметричного источника света обычно имеются два положения, для которых не может быть устранена неоднозначность, например положения А и В на фигуре 5.

Следовательно без дальнейшей модификации в поле зрения детектора кодированного света необходимо иметь по меньшей мере два таких светильника, чтобы узнавать их ориентацию по изображению, или же ориентацию придется получать альтернативным способом.

Для разрешения этого вопроса в настоящем раскрытии предлагается источник света, который в выключенном состоянии является симметричным, но во включенном состоянии излучает свет асимметрично. Для достижения этого источник света может быть разделен на различные секции, которые для нарушения симметрии излучают свет различным образом. Предпочтительно, чтобы асимметрия воспринималась камерой 14, но не зрением человека. Такой источник света можно реализовать как создающий кодированный свет светильник с асимметричным распределением кодированного света.

На фигуре 8 показан создающий кодированный свет светильник, в котором свет, излучаемый от внутренней секции (схематически показанной внутренним прямоугольником, наложенным на изображение), можно отличить от остального света, излучаемого светильником.

Например, в светильнике с двумя или большим количеством трубок можно компоновать трубки исходя из излучения взаимно различного кодированного света, или кодированный свет может излучать только одна из трубок. Возможны многочисленные другие варианты осуществления, например, рассмотренные ниже. Поэтому модуль 15 обнаружения кодированного света может пересылать эту информацию к модулю 16 анализа изображения, который вследствие отсутствия симметрии соответственно может однозначно определить ориентацию камеры при вычислении геометрической перспективы даже в случае, когда только один 4i из светильников находится в поле зрения ее.

Рассмотрим изображения ламп на фигуре 4 и фигуре 8, захваченные обращенной кверху камерой смартфона. На обоих изображениях только один (включенный) источник света является видимым в поле зрения. Эти источники света излучают идентификатор в виде кодированного света. Определение местоположения происходит следующим образом.

Модуль 16 анализа изображения анализирует изображение, чтобы определить местоположение источника 12 света. Кроме того, модуль 15 обнаружения кодированного света декодирует кодированный свет, излучаемый источником 12 света, чтобы получить идентификатор этого источника света. Модуль 15 обнаружения кодированного света использует идентификатор для получения геометрических данных, которые могут содержать форму (видимых частей) источника 12 света и необязательно местоположение источника в здании. В альтернативном варианте осуществления геометрические данные закодированы непосредственно в кодированном свете. В любом случае модуль 15 обнаружения кодированного света пересылает геометрические данные к модулю 16 анализа изображения. Модуль 16 анализа изображения распознает форму по изображению. Например, контур может быть распознан при использовании обнаружения краев, см., например, внешний контур, наложенный на изображение, показанное на фигуре 8.

Используя известный размер контура и совмещение его с перспективно искаженной формой, когда она появляется в изображении, можно определить расстояние до и угол относительно источника света. Обычно вследствие симметричного внешнего вида контура источника света имеются многочисленные возможные места в комнате, на которых контур источника света будет обрисовываться таким образом. В данном случае контур имеет 2 оси симметрии, что приводит к четырем возможным местам А, В, С и D в комнате. См. фигуры 5 и 6.

Для устранения неоднозначности между этими возможными положениями модуль 16 анализа изображения может использовать то, что источник света снабжен средством образования кодированного света, которое нарушает симметрию. Например, как показано на фигуре 7 (на виде снизу источника света), светоизлучающая часть источника разделена на две зоны или секции, 1 и 2. Секция 1 излучает кодированный свет, тогда как секция 2 не делает этого, или излучает другой код кодированного света или такой же код, но кодирование осуществляется таким способом, что эти две секции могут быть отличимы. Для устранения неоднозначности осуществляется определение местоположения или формы одной секции излучения кодированного света, см., например, внутренний контур, наложенный на изображение, показанное на фигуре 8. Это сравнимо с другими геометрическими аспектами, которые были определены. Конечный результат заключается в том, что местоположение камеры относительно источника 12 света и поэтому местоположение устройства в комнате (и на протяжении здания) могут быть однозначно определены.

Для информирования модуля 16 анализа изображения о том, какое из различных асимметричных видов соответствует какому из иначе неоднозначных направлений, информация об асимметричной конфигурации светильника 4i может также сообщаться к устройству 6 на основе кодированного света. Например, модуль обнаружения кодированного света может обнаруживать идентификатор светильника 4i в коде излучаемого им света и использовать его для поиска некоторых характеристических размеров различных секций 1, 2 в локальном или удаленном массиве данных, отображающих идентификаторы для размеров (аналогично способу, описанному относительно получения общего размера (размеров светильника)). В другом примере информация может быть непосредственно закодированной в кодированный свет, излучаемый от светильника 4i, и непосредственно извлекаемой из кодированного света модулем 15 обнаружения кодированного света. Альтернативно модуль 16 анализа изображения может заранее снабжаться информацией относительно ожидаемой асимметрии, если предполагается работа с конкретной конструкцией светильника или в конкретном окружении.

На фигурах 9 и 10 показаны альтернативные опции для реализации асимметричного кодированного света в источнике света с круговым отверстием для излучения и следовательно с вращательной симметрией. На фигуре 9 схематически показана внутренняя круговая секция 1, смещенная от центра более широкого кругового источника света, то есть имеющая другой центр. Вторая секция 2 является остатком площади кругового источника света, не занятой секцией 1. На фигуре 10 секция 1 является клином или «куском» круга и секция 2 является остатком круга. Точно так же, в примере из фигуры 7 одна из двух секций 1, 2 излучает кодированный свет, тогда как другая не делает этого, или две секции излучают различным образом кодированный свет.

На фигуре 11 дан другой пример. В данном случае нижняя часть светодиодного светильника показана без рассеивающего свет материала, который снят, а индивидуальные светодиодные элементы показаны в виде небольших окружностей 18. Светоизлучающие диоды разделены по различным асимметричным секциям. Светоизлучающие диоды в зоне 1 могут возбуждаться с излучением кодированного света, тогда как остальные светоизлучающие диоды в зоне 2 могут возбуждаться с излучением обычного света или иным образом кодированного света.

Согласно другому примеру на фигуре 12 показана нижняя часть светильника с люминесцентной лампой, с модернизированным излучателем 19 кодированного света (небольшим квадратным). Благодаря перемещению излучателя в асимметричное положение обеспечивается другой способ реализации выхода асимметричного кодированного света.

После определения расстояния до и ориентации камеры 6 в модуле 17 определения местоположения эта информация может использоваться для уточнения оценки местоположения камеры 14 или устройства 6. Например, для этого модуль определения местоположения может быть выполнен с возможностью получения грубой оценки абсолютного местоположения устройства путем получения местоположения наблюдаемого светильника 4i. Это может быть сделано, например, путем обнаружения идентификатора светильника 4i в кодированном свете, излучаемом этим источником 12 света светильника, и поиска идентификатора в массиве данных, отображающих идентификаторы для координат светильников, или координаты могут быть прямо закодированы в кодированный свет, излучаемый источником света этого светильника. В таком случае положение устройства 6 относительно светильника 4i можно комбинировать с абсолютным местоположением светильника, например, добавлением вектора, чтобы получать абсолютное местоположение устройства 6.

Такие технические решения могут находить применения, например, в системах обозначения местоположения, таких как реклама основанная на местоположении или навигация в помещении с помощью людей или роботов.

Следует понимать, что варианты осуществления, изложенные выше, описаны только для примера.

Обычно определение расстояния от светильника и ориентации относительно светильника можно использовать независимо друг от друга или совместно. Кроме того, эта информация не используется для определения в конечном счете абсолютного местоположения камеры 14 или устройства 6. Например, может быть полезно сразу получать ориентацию камеры 14 по изображению источника света. Например, устройство может определять его координаты из других средств, таких как глобальная система местоопределения, но не иметь измерения его ориентации, и в этом случае можно определять ориентацию по изображению источника 12 света и комбинировать ее с координатами, определяемыми с помощью глобальной системы местоопределения, например, чтобы добавлять стрелку направления на индикатор местоположения на картографическом приложении. В другом примере, например при навигационном применении в помещении, пользователь может захотеть точно знать путь, чтобы пройти по коридору. Кроме того, когда асимметричное излучение света используется для нарушения симметрии в источнике света, этого можно достигать, используя другие средства, а не кодированный свет. Например, различные секции источника 12 света можно компоновать для излучения различным образом поляризованного света в асимметричном режиме. Кроме того, не всегда необходимо, чтобы при асимметричном излучении света нарушались все симметрии, например все порядки вращательной симметрии. Например, если источник света является прямоугольным и желательно иметь возможность только указать, куда обращена вдоль коридора камера 14 или устройство 6, симметрия света может быть нарушена только по длине коридора.

В примерах, приведенных выше, описывалась симметрия, нарушаемая разделением источника света на различные пространственные секции 1 или 2. В дальнейших вариантах осуществления идея не ограничивается разделением источника света точно на две различные секции или приданием показанной конкретной конфигурации, и могут использоваться другие конфигурации, основанные на иных количествах секций, при которых обеспечивается устранение нежелательной неоднозначности. Кроме того, в других вариантах осуществления идея не ограничивается использованием различных пространственных секций источника света для нарушения симметрии. Например, источник света может быть выполнен с возможностью излучения света под различными углами, например, излучаемый свет кодируют одним кодом по одному направлению коридора и свет кодируют другим кодом по другому направлению коридора.

Кроме того, в дальнейших вариантах осуществления при анализе можно использовать другие объекты, появляющиеся в изображении, для дальнейшего уточнения вычисления геометрической перспективы. Например, при вычислениях можно использовать геометрические особенности других объектов на потолке (например, потолочных плит с видимыми краями).

Другие изменения к раскрытым вариантам осуществления могут быть поняты и выполнены специалистами в данной области техники при применении на практике заявленного изобретения в результате изучения чертежей, раскрытия и прилагаемой формулы изобретения. В формуле изобретения слово «содержащий» не исключает других элементом или этапов, а неопределенный артикль не исключает множества. Один процессор или другой блок может выполнять функции нескольких объектов, перечисляемых в формуле изобретения. То, что определенные признаки перечисляются во взаимно различных зависимых пунктах формулы изобретения, не означает, что комбинация этих признаков не может быть использована с достижением преимущества. Компьютерная программа может быть сохранена/распределена на подходящем носителе данных, таком как оптический носитель данных или полупроводниковый носитель, поставляемом вместе с другим аппаратным обеспечением или являющемся частью его, но также может быть распределена иным образом, например, с помощью Интернета и других проводных или беспроводных систем связи. Любые ссылочные позиции в формуле изобретения не должны толковаться как ограничивающие объем.

Изобретение относится к светильнику с кодированным светом для использования при определении ориентации камеры на основании изображения светильника. Техничекий результат заключается в определении ориентации камеры относительно источника света, основываясь на изображении этого источника, захваченного камерой. Для этого монтируемый на потолок светильник содержит источник света, имеющий включенное состояние, в котором он излучает свет, и выключенное состояние, в котором он не излучает свет, и имеющий форму, обладающую симметрией в выключенном состоянии. Кроме того, монтируемый на потолок светильник содержит контроллер, выполненный с возможностью управления источником света для излучения упомянутого света во включенном состоянии с осветительным эффектом, который нарушает упомянутую симметрию. Укомплектованное устройство принимает изображение источника света от камеры и определяет ориентацию камеры относительно источника света путем выполнения вычисления геометрической перспективы на основании изображения источника света. Неоднозначность ориентации устраняется путем обнаружения асимметрии в свете, излучаемом источником света. 3 н. и 13 з.п. ф-лы, 12 ил.

1. Монтируемый на потолок светильник (4i) для освещения окружения и для использования при определении ориентации камеры (14) на основании изображения монтируемого на потолок светильника, захватываемого камерой, при этом монтируемый на потолок светильник содержит:

источник (12) света, имеющий включенное состояние, в котором он излучает свет, и выключенное состояние, в котором он не излучает свет, при этом источник света имеет форму, обладающую симметрией, и источник света появляется с упомянутой симметрией в выключенном состоянии;

контроллер (8), выполненный с возможностью управления источником света для излучения упомянутого света во включенном состоянии с осветительным эффектом, который нарушает появление упомянутой симметрии.

2. Монтируемый на потолок светильник по п. 1, в котором упомянутый осветительный эффект не воспринимается зрением человека и воспринимается камерой (14), при этом источник (12) света выполнен с возможностью излучения упомянутого света с появлением упомянутой симметрии для человека, тогда как осветительный эффект нарушает появление упомянутой симметрии при обнаружении камерой.

3. Монтируемый на потолок светильник по пп. 1 или 2, причем монтируемый на потолок светильник предназначен для установки на поверхности, обозначающей плоскость, при этом симметрия существует в плоскости упомянутой поверхности.

4. Монтируемый на потолок светильник по п. 3, в котором осветительный эффект не имеет симметрии в плоскости упомянутой поверхности.

5. Монтируемый на потолок светильник по пп. 1 или 2, в котором контроллер (8) выполнен с возможностью создания упомянутого осветительного эффекта при использовании кодированного света.

6. Монтируемый на потолок светильник по пп. 1 или 2, в котором источник (12) света разделен на асимметричные секции, а контроллер (8) выполнен с возможностью создания упомянутого осветительного эффекта путем излучения света различным образом от разных секций.

7. Монтируемый на потолок светильник по п. 5, в котором контроллер (8) выполнен с возможностью создания упомянутого осветительного эффекта путем излучения различным образом кодированного света от каждой из упомянутых секций или излучения кодированного света от одной из секций во время излучения некодированного света от другой из секций.

8. Монтируемый на потолок светильник по п.6, в котором контроллер (8) выполнен с возможностью создания упомянутого осветительного эффекта путем излучения различным образом кодированного света от каждой из упомянутых секций, или излучения кодированного света от одной из секций во время излучения некодированного света от другой из секций.

9. Устройство для анализа изображения, содержащее:

вход для приема данных изображений от камеры (14), при этом данные изображений содержат изображение источника (12) света, который излучает свет и имеет форму, обладающую симметрией;

модуль (16) анализа изображения, выполненный с возможностью определения ориентации камеры относительно источника света путем выполнения вычисления геометрической перспективы на основании изображения источника света;

причем модуль анализа изображения выполнен с возможностью устранения неоднозначности ориентации путем обнаружения осветительного эффекта в свете, излучаемом источником света, который нарушает появление упомянутой симметрии.

10. Устройство по п. 9, в котором упомянутый осветительный эффект содержит использование кодированного света для нарушения появления упомянутой симметрии, а устройство содержит модуль (15) обнаружения кодированного света для обнаружения упомянутого кодированного света, при этом модуль (16) анализа изображения выполнен с возможностью обнаружения упомянутого эффекта и тем самым устранения неоднозначности на основании кодированного света, обнаруживаемого модулем обнаружения кодированного света.

11. Устройство по пп. 9 или 10, в котором модуль (16) анализа изображения дополнительно выполнен с возможностью обнаружения расстояния камеры (14) относительно источника (12) света в качестве части вычисления геометрической перспективы, при этот расстояние и ориентация совместно дают положение камеры относительно источника света.

12. Устройство по п. 11, содержащее модуль (17) определения местоположения, выполненный с возможностью получения географического местоположения источника (12) света и определения географического местоположения камеры (14) на основании географического местоположения источника света в сочетании с положением камеры относительно источника света.

13. Устройство по пп. 9 или 10, в котором данные изображений содержат изображение одного источника (12) света, при этом модуль (16) анализа изображения выполнен с возможностью определения расстояния камеры (14) от упомянутого источника света путем выполнения вычисления геометрической перспективы для сравнения одного или нескольких извлекаемых физических размеров одного источника света с одним или несколькими кажущимися размерами изображения одного источника света.

14. Устройство по пп. 9 или 10, в котором данные изображений дополнительно содержат изображения одного или нескольких объектов, а модуль (16) анализа изображения выполнен с возможностью включения также изображений одного или нескольких других объектов в вычисление геометрической перспективы.

15. Устройство по пп. 9 или 10, в котором устройство (6) содержит камеру (14).

16. Машиночитаемый носитель данных, хранящий программу, сконфигурированную так, чтобы при исполнении на процессоре выполнять операции:

прием данных изображений от камеры (14), при этом данные изображений содержат изображение источника (12) света, который излучает свет и имеет форму, обладающую симметрией;

определение ориентации камеры относительно источника света путем выполнения вычисления геометрической перспективы на основании изображения источника света; и

устранение неоднозначности ориентации путем обнаружения осветительного эффекта в свете, излучаемом источником света, который нарушает появление упомянутой симметрии.