ОПРЕДЕЛЕНИЕ РАССТОЯНИЯ ИЛИ ПОЛОЖЕНИЯ Российский патент 2018 года по МПК G01C21/20 H04B10/116 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее раскрытие относится к определению расстояния или положения камеры относительно источника света по изображению этого источника света, захватываемого камерой. В вариантах осуществления расстояние или положение может сочетаться с информацией о географическом местоположении источника света для определения местоположения камеры.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Имеются несколько способов определения местоположения устройства, такого мобильный телефон или планшет. Обычные технические приемы включают в себя использование спутниковой системы определения местоположения, такой как глобальная система местоопределения (GPS), или трилатерации, основанной на сигналах, сообщаемых между устройством и множеством базовых станций сотовой сети.

Еще один технический прием описан в WO2013/016439. Согласно способу от каждого из множества источников света на заданном месте передается соответствующий идентификатор в виде кодированного светового сигнала, модулирующего свет, излучаемый от этого источника света. В таком случае в устройстве, таком как мобильный телефон, может использоваться встроенная камера для считывания идентификатора, закодированного в свете от такого источника, и этот идентификатор может использоваться для поиска координат источника света. Поэтому устройство может приблизительно определять, что находится вблизи координат этого источника света. Когда многочисленные источники появляются в поле зрения камеры со всеми своими известными идентификаторами, то может выполняться триангуляция для более точного определения местоположения камеры и следовательно, устройства.

КРАТКОЕ ИЗЛОЖЕНИЕ ИЗОБРЕТЕНИЯ

Часто камера может быть способна видеть один источник света, например, когда используется в помещении и обращена вверх, и/или вследствие того, что типичная камера, встроенная в устройство, подобное телефону или планшету, может иметь только ограниченное поле зрения. В таких ситуациях это означает, что невозможно выполнять триангуляцию относительно источников света. Желательно разработать альтернативный технический прием, который не должен обязательно быть основан на нахождении многочисленных различных источников света в поле зрения.

Как раскрыто в этой заявке, это можно достигать, используя кодированный световой сигнал, излучаемый источником света, для извлечения информации о физическом размере и/или форме источника света. После этого можно выполнить вычисление перспективы для определения расстояния и, потенциально, ориентации камеры относительно источника света на основании того, как источник света представляется на изображении, захватываемом камерой, по сравнению с его фактическим размером (размерами), извлеченными на основании кодированного света.

Поэтому согласно одному аспекту, раскрытому в этой заявке, предложено устройство, имеющее вход для приема данных изображений, захватываемых камерой, при этом данные изображений содержат изображение источника света. Устройство содержит модуль обнаружения кодированного света для обнаружения кодированного светового сигнала, смодулированного в свет, принимаемый от источника света. Модуль обнаружения кодированного света выполнен с возможностью извлечения одного или нескольких физических размеров источника света на основании кодированного светового сигнала от этого источника света. Кроме того, устройство содержит модуль анализа изображения, выполненный с возможностью определения расстояния камеры от источника света путем выполнения вычисления геометрической перспективы для сравнения одного или нескольких извлеченных физических размеров с одним или несколькими очевидными размерами изображения источника света.

Хотя при желании можно использовать многочисленные источники света, технический прием не основан на многочисленных источниках света, находящихся в пределах поля зрения, и информацию о расстоянии можно определять на основании любого количества источников света, начиная с одного.

В вариантах осуществления один или несколько физических размеров источника света могут быть прямо закодированы в свет, излучаемый этим источником света, и в этом случае извлечение содержит считывание одного или нескольких физических размеров непосредственно из кодированного светового сигнала. Альтернативно кодированный световой сигнал может содержать идентификатор источника света. В этом случае извлечение содержит считывание идентификатора и затем использование его для поиска одного или нескольких физических размеров соответствующего источника света в массиве данных, таком как база данных, доступная через сеть, к которой устройство имеет доступ.

В дополнительных вариантах осуществления устройство может быть выполнено с возможностью определения ориентации камеры. Ориентация относится к любой мере направления, в котором камера обращена относительно подходящей системы отсчета, предпочтительно в направлении, в котором камера обращена к источнику света. Например, направление может быть выражено через угол, два угла или единичный вектор в подходящей системе отсчета направления. Одним примером подходящей системы отсчета направления является трехмерная система координат, в которой положительная ось Z обращена вверх, а положительная ось Х обращена к северу на горизонте. Другим примером подходящей системы отсчета направления является трехмерная система координат, которая берет геометрический центр лампы или оболочки лампы в качестве начальных координат (0, 0, 0) и два заранее заданных физических маркера на внешней стороне лампы или оболочки лампы в качестве точек, через которые направлены, например, единичный вектор (1, 0, 0) и единичный вектор (0, 1, 0). Расстояние является мерой величины пространства между камерой и источником света в системе координат. В комбинации ориентация и расстояние дают меру положения камеры, которая может быть выражена, например, через координаты или вектор относительно фиксированной точки в системе отсчета (направления), или относительно источника света, или перенесена в некоторую другую опорную точку или систему отсчета. Таким образом, модуль анализа изображения может быть выполнен с возможностью совместного использования определенных расстояния и ориентации для определения положения камеры относительно рассматриваемого источника света. Например, положение относительно источника тока может быть определено как координата в трехмерной системе координат (x, y, z) при положении (0, 0, 0) лампы, единицы измерения в метрах, при этом отрицательная ось Z направлена вниз, а положительная ось Х направлена к северу на горизонте.

Согласно другим дополнительным вариантам осуществления, если устройство также имеет сведения о об абсолютном местоположении источника света на карте или глобусе, то оно также может определить абсолютное местоположение камеры путем комбинирования информации об абсолютном местоположении источника света с информацией о положении камеры относительно источника света. Для этого определения могут также потребоваться сведения, например, каким образом система отсчета направления, положенная в основу геометрии лампы, ориентирована относительно системы отсчета от севера/юга/востока/запада/верха/низа на карте или глобусе.

Когда ориентация используется упомянутым образом, она может быть ориентацией относительно источника света, и в вариантах осуществления может быть также определена при вычислении геометрической перспективы. Возможно, что источник света имеет симметричную форму, например, симметричную в плоскости поверхности, такой как потолок, на котором устанавливают источник света. Например, форма может иметь вращательную симметрию (порядок вращательной симметрии равен двум или большему числу) или зеркальную симметрию (осевую симметрию). Она вносит неоднозначность в результат вычисления ориентации, основанный на перспективе, например, квадрат выглядит одинаковым под четырьмя различными углами. Следовательно, в вариантах осуществления для нарушения симметрии световой эффект может быть привнесен в свет, излучаемый источником света, предпочтительно эффект, не воспринимаемый глазом человека, такой как несимметричный кодированный световой сигнал, смодулированный в свет на высокой частоте. Альтернативно, способ, используемый для устранения неоднозначности в ориентации, может использоваться для определения абсолютной ориентации направления съемки камерой относительно карты или глобуса, которая может быть определена, например, магнитометром устройства.

В других дополнительных вариантах осуществления данные изображений могут дополнительно содержать изображения других объектов, а модуль анализа изображения может быть выполнен с возможностью также включения изображений других объектов в вычисление геометрической перспективы.

Для предпочтительного применения устройство содержит камеру, при этом камера размещена в или физически установлена на устройстве, или другим образом по существу совмещена и закреплена так, чтобы двигаться вместе с устройством. Например, устройство может быть мобильным терминалом, таким как мобильный телефон или планшет. В таких случаях можно предполагать, что положение или местоположение устройства по существу такое же, как камеры. Однако не исключается, что устройство отделено от устройства, например, соединено проводом, беспроводной связью или сетью, и желательно определить ориентацию камеры удаленно.

В соответствии с дальнейшими аспектами, раскрытыми в этой заявке, может быть предложен соответствующий способ и/или компьютерный программный продукт для выполнения действий устройством, раскрытым в этой заявке.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Для лучшего понимания вариантов осуществления, раскрытых в этой заявке, и для показа, каким образом они могут быть выполнены, посредством примера сделана ссылка на сопровождающие чертежи, на которых:

фиг. 1 - схематический вид пространства, такого как комната, содержащего по меньшей мере один светильник;

фиг. 2 - структурная схема светильника с использованием передачи кодированного света;

фиг. 3 - структурная схема устройства с камерой для захвата изображения светильника;

фиг. 4 - иллюстрация изображения светильника, установленного на потолке, с наложенной схематической иллюстрацией перспективно искаженной формы светильника, появляющегося на изображении;

фиг. 5 - схематический перспективный вид светильника, установленного в пространстве, таком как комната;

фиг. 6 - схематический нисходящий вид (или вид снизу) светильника из фиг. 5;

фиг. 7 - схематический вид источника света с секциями нарушения симметрии;

фиг. 8 - иллюстрация изображения светильника, установленного на потолке, с наложенной схематической иллюстрацией секций нарушения симметрии, подобных секциям, показанным на фиг. 7;

фиг. 9 - схематический вид другого источника света с секциями нарушения симметрии;

фиг. 10 - схематический вид еще одного источника света с секциями нарушения симметрии;

фиг. 11 - схематический вид источника света с использованием альтернативного способа создания секций нарушения симметрии; и

фиг. 12 - схематический вид источника света с использованием еще одного альтернативного способа создания секциями нарушения симметрии.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Ниже описывается технический прием, в соответствии с которым устройство с камерой может обнаруживать свое местоположение на основании комбинации обнаружения кодированного света с геометрическим анализом. Кроме того, описывается светильник активируемый кодированным светом, который является особенно выгодным для определения местонахождения на основании кодированного света. Технический прием содержит декодирование кодированного света для получения идентификатора (ИД) источника, получение физических размеров, ассоциированных с источником света, и использование вычислений геометрической перспективы для определения положения камеры по внешнему виду источника света на изображении с камеры. В предпочтительном варианте осуществления кодированный свет используется для того чтобы, сделать внешний вид источника света асимметричным для камеры, при том, что он сохраняет симметричный внешний вид для глаза человека. Поскольку источник света является симметричным по внешнему виду для пользователей и в то же время испускает кодированный свет асимметрично, это может повышать его эффективность как маяка для определения местоположения без нарушения восприятия освещения пользователем. В вариантах осуществления принципы, раскрываемые ниже, применимы даже в случае, когда только один источник кодированного света с симметричным внешним видом находится в поле зрения камеры.

На фигуре 1 показано для примера пространство или окружение 5, в котором могут применяться варианты осуществления, раскрытые в этой заявке. Например, пространство 5 может содержать одну или несколько комнат и/или коридоров офиса, дома, школы, больницы, музея или другого внутреннего пространства; или представлять собой наружное пространство, такое как парк, улица, стадион или что-либо подобное; или другое пространство, такое как балкон или интерьер транспортного средства. В пространстве 5 установлена осветительная система, содержащая один или несколько осветительных приборов 4 в виде одного или нескольких светильников. Для иллюстрации показаны три светильника 4i, 4ii и 4iii, но должно быть понятно, что может иметься иное количество. Светильники 4 могут быть выполнены с центральным управлением или как отдельные автономные блоки. Кроме того, в пространстве 5 находится пользовательский терминал 6, предпочтительно мобильное устройство, такое как смартфон или планшет.

На фигуре 2 дана структурная схема светильника, которая может использоваться для реализации одного, нескольких или всех из одного или нескольких светильников 4. Светильник 4 содержит источник 12 света, содержащий один или несколько светоизлучающих элементов, таких как светоизлучающий диод, матрица светоизлучающих диодов или люминесцентная лампа. Кроме того, светильник 4 содержит возбудитель 10, подсоединенный к источнику 12 света, и контроллер 8, подсоединенный к возбудителю 10. Контроллер 8 выполнен с возможностью вывода сигнала к возбудителю 10, чтобы возбуждать источник 12 света для излучения желаемого выхода света. Контроллер 8 может быть реализован в виде кода, сохраняемого на машиночитаемом носителе или носителях данных и выполнен с возможностью выполнения на процессоре, содержащем один или несколько блоков обработки. Альтернативно это не исключает того, что некоторые или все из контроллеров 8 или реализованы специализированными схемами аппаратного обеспечения или реконфигурируемыми схемами, такими как вентильная матрица, программируемая пользователем. Контроллер 8 может быть реализован локально в светильнике 4 или в центральном контроллере, который может использоваться совместно с одним или несколькими светильниками 4 или их комбинацией. Обычно компоненты 8, 10 и 12 могут быть или могут не быть интегрированы в одной и той же оболочке.

Контроллер 8 выполнен с возможностью управления светом, излучаемым источником света 12, таким образом, чтобы он был модулированным, с компонентой кодированного света. Кодированный свет имеет отношение к техническим приемам, в соответствии с которыми сигнал внедряется в видимый свет, излучаемый светильником. Таким образом свет содержит вклад освещения видимым светом в освещение целевой среды, такой как комната (обычно это является основным назначением света), и внедренный сигнал для направления информации в среду. Чтобы сделать это, свет модулируют на определенной частоте модуляции или частотах, обычно на достаточно высокой частоте, чтобы модуляция не воспринималась зрением человека. Например, модуляция может иметь форму синусоиды, прямоугольной волны или другого колебательного сигнала. Обычно частота модуляции относится к единственной или основной частоте модуляции, то есть частоте, на протяжении периода которой форма волны повторяется. В некоторых простейших случаях сигнал может содержать один тон, смодулированный в свет от данного светильника. В других случаях сигнал, содержащий более сложные данные, может быть внедрен в свет. Например, при использовании частотной манипуляции данный светильник способен работать с излучением двух (или большего количества) различных частот модуляции и с передачей битов данных (или символов в более общем смысле) посредством переключения между различными частотами модуляции. В вариантах осуществления каждый из множества светильников 4 в одном и том же пространстве 5 может быть выполнен с возможностью излучения света, смодулированного с отличающейся соответствующей компонентой кодированного света, действующей как идентификатор (ИД) соответствующего светильника, так что светильник 4, от которого свет приходит, можно различать по идентификатору. Идентификаторы являются уникальными по меньшей мере среди этих светильников в конкретном пространстве 5, например, в конкретной комнате или здании. В случае, когда компонента кодированного света представляет собой один тон, разные светильники 4 могут быть выполнены с возможностью излучения света с различными соответствующими частотами модуляции, которые действуют как идентификаторы. Альтернативно идентификатор можно кодировать в данные, например, при использовании частотной манипуляции. В других дополнительных вариантах осуществления альтернативные или дополнительные данные могут кодироваться в свет.

На фигуре 3 дана структурная схема мобильного устройства 6. Устройство 6 содержит камеру 14, имеющую элемент захвата двумерного изображения и модуль 15 обнаружения кодированного света, подсоединенный к камере 14. Модуль 15 обнаружения кодированного света выполнен с возможностью обработки сигналов, захватываемых элементом захвата изображения, и обнаружения компонентов кодированного света в свете, из которого изображение было захвачено. Устройство 6 также содержит модуль 16 анализа изображения, подсоединенный к камере 14, выполненный с возможностью определения положения камеры 14 относительно источника 12 света одного 4i из светильников на основании изображения источника света, захватываемого камерой 14. Дополнительно, устройство может содержать модуль 17 определения местоположения, подсоединенный к модулю 16 анализа изображения, выполненный с возможностью комбинирования положения, определяемого в модуле анализа изображения, с местоположением источника 4i света, для определения абсолютного местоположения камеры 14. Оно может быть абсолютным географическим местоположением относительно поверхности земли или абсолютным местоположением на карте, такой как карта города или план здания. Если камера 14 размещена в том же самом корпусе, что и устройство, или физически установлена на его корпусе с тем, чтобы имелась возможность ее движения вместе с устройством 6 (в противоположность всего лишь присоединению, например, гибким кабелем), то положение или местоположение камеры 14 может быть принято таким же, как положение или местоположение устройства 6.

Модуль 15 обнаружения кодированного света, модуль 16 анализа изображения и/или модуль 17 определения местоположения могут быть реализованы в виде кода, сохраняемого на машиночитаемом носителе или носителях данных и приспособленного к выполнению на процессоре, содержащем один или несколько блоков обработки. Альтернативно это не исключает того, что некоторая часть этих компонентов или все они реализуются специализированными схемами аппаратного обеспечения или реконфигурируемыми схемами, такими как вентильная матрица, программируемая пользователем. Обычно компоненты 14, 15, 16 и/или 17 могут быть или могут не быть интегрированы в одно целое в одном и том же корпусе. Кроме того, не исключено подсоединение (единственное или дополнительное) модуля 15 обнаружения кодированного света к чувствительному детектору кодированного света, отличным от камеры 14, например, с второй камерой, также доступной для мобильного устройства 6, или с фотодиодом, доступным для мобильного устройства 6, и это в дальнейшем можно использовать в альтернативном способе обнаружения кодированного света.

Один или несколько светильников 4 выполнены с возможностью излучения света в пространство 5 и тем самым освещения, по меньшей мере, части окружения. Пользователь мобильного устройства 6 может указать камере 14 устройства направление на источник 12 света одного из светильников 4, например, светильника, обозначенного для иллюстрации как 4i. Таким образом, камера 14 может захватить изображение источника 12 света. Источник 12 света, описанный в этой заявке, относится к видимой части светильника 4 (например, 4i), которая содержит светоизлучающий элемент или светоизлучающие элементы. Она имеет определенную форму, например, квадратную, продолговатую или круговую. Например, эта форма может быть формой одного открытого светоизлучающего элемента (например, формой люминесцентной лампы), формой матрицы светоизлучающих элементов (например, матрицы светоизлучающих диодов) или формой рассеивающего материала, который помещен позади одного или нескольких светоизлучающих элементов. Когда наблюдение камерой 14 выполняется с расстояния и обычно также под углом, то на двумерную плоскость элемента захвата изображения проецируется форма источника 12 света (его размер и/или относительные пропорции), оказывающаяся искаженной в соответствии с эффектом перспективы. Например, источник света может наблюдаться снизу, если он установлен на потолке, см., например, фигуру 4.

В модуле 16 анализа изображения эта перспективно искаженная форма может использоваться для определения расстояния камеры 14 от источника 12 света на основании вычисления геометрической перспективы. Кроме того, модуль 16 анализа изображения может выполнять вычисление геометрической перспективы относительно перспективно искаженной формы, чтобы определять ориентацию камеры 14 относительно источника 12 света (например, в виде двух- или трехмерного угла или вектора центральной оси поля зрения камеры). Комбинацию расстояния и ориентации можно использовать для получения положения камеры 14 (например, положения в двух измерениях в плоскости пола и/или потолка или даже положения в трех измерениях). В вариантах осуществления его можно взять в качестве положения самого устройства 6. Подробности подходящих вычислений при анализе перспективно искаженных внешних видов геометрических форм, таких как квадраты, овалы и круги, должны быть известны специалисту в данной области техники.

Однако для выполнения этого вычисления модулю 16 анализа изображения требуется некоторая информация об одном или нескольких фактических размерах источника 12 света, чтобы сравнить фактические размеры с размерами, которые появляются в захватываемом изображении источника 12 света. В соответствии с раскрытием в этой заявке эта информация может быть получена на основании кодированного светового сигнала, внедренного в свет от источника 12 света светильника 4i, наблюдаемого посредством камеры 14.

В вариантах осуществления это может быть сделано на основании идентификатора светильника 4 (например 4i), внедренного в свет от соответствующего источника 12 света. В этом случае идентификатор может использоваться для поиска одного или нескольких требуемых размеров соответствующего источника 12 света в подходящем массиве данных, содержащем базу данных или просмотровую таблицу, отображающую идентификаторы, для получения сведений о соответствующем размере (размерах) источника света. Например, массив данных можно заранее накапливать в локальной памяти в самом устройстве 6 или можно реализовывать в сети, такой как локальная сеть или глобальная сеть, подобная Интернету. Модуль 15 обнаружения кодированного света устройства 6 обрабатывает выборки света, захватываемые камерой, для обнаружения идентификатора, закодированного в свете, и затем обращается к массиву данных с использованием подходящего сетевого интерфейса, такого как локальное беспроводное соединение (например, соединение Wi-Fi или соединение Bluetooth) или сотовое беспроводное соединение (например, в соответствии с проектом партнерства третьего поколения (3GPP)). Поэтому модуль 15 обнаружения кодированного света способен представлять идентификатор в массив данных, принимать обратно информацию о соответствующем размере (размерах) источника света и пересылать эту информацию к модулю 16 анализа изображения для использования при вычислении перспективы.

В альтернативных или дополнительных вариантах осуществления контроллер 8 может быть выполнен с возможностью кодирования информации об одном или нескольких размерах релевантного источника 12 света непосредственно в свет, излучаемый источником 12 света соответствующего светильника 4i. В этом случае модуль 15 обнаружения кодированного света способен извлекать информацию непосредственно из света, излучаемого релевантным источником 12 света, и передавать эту информацию к модулю 16 анализа изображения для использования при вычислении перспективы.

В любом случае предпочтительно, устройство 6 предпочтительно получает фактический размер (размеры) источника 12 света по одному и тому же изображению одного и того же объекта, который наблюдается камерой, чтобы получать очевидный перспективно искаженный размер (размеры).

Информации об одном или нескольких размерах источника 12 света может быть достаточно для определения расстояния камеры 14 от этого источника 12 света. Например, информация может содержать указание на то, что источник 12 света является круговым, и указание его радиуса, диаметра или окружности. Это позволяет модулю 16 анализа изображения определять расстояние от источника 12 света. Точно так же, если источник 12 света является квадратным, то расстояние может быть определено на основании указания стороны квадрата и указания на то, что форма является квадратной, или, если источник 12 света является продолговатым, расстояние может быть определено на основании указания двух сторон или одной стороны, а также отношения сторон и указания на то, что форма является продолговатой или прямоугольной. При заранее заданном конкретном окружении модуль 16 анализа изображения заранее выполняют с возможностью получения предположения о том, какой является форма, круговой или квадратной, или выполняют с возможностью получения вида формы на основании перспективно искаженного изображения, и в этих случаях в качестве допустимого минимума модуль 16 анализа изображения необходимо снабжать, например, только одним измерением радиуса или края.

Однако заметим, что форма многих источников света имеет симметрию. Например, форма может иметь вращательную симметрию, то есть порядок вращательной симметрии, равный по меньшей мере двум. Порядок вращательной симметрии определяется тем, сколько раз форма соответствует сама себе или повторяет саму себя при повороте по окружности на полные 360° вокруг некоторой оси, или, что эквивалентно, наблюдается в пределах полных 360° вокруг этой оси. Порядок, равный единице, не означает, что имеется вращательная симметрия. Кроме того, заметим, что это не означает наличия фактической способности источника 12 света к повороту, а то, что форма всего лишь должна обладать этим свойством при повороте или, что эквивалентно, при наблюдении с различных углов. Форма источника света может также или альтернативно иметь зеркальную симметрию (также называемую симметрией относительно отражения или осевой симметрией). То есть, форма должна быть идентична самой себе при отражении или перевороте вокруг одной или нескольких осей симметрии (опять отметим, что это необязательно означает необходимость фактического физического переворота источника света, форма всего лишь должна обладать этим свойством при перевороте). При типичном применении источник 12 света должен монтироваться на поверхности, например, потолка или, возможно, стенки, а симметрия является симметрией в плоскости этой поверхности. Если необходимо знать ориентацию камеры 14 относительно источника света такая симметрия будет вносить неоднозначность в результат вычисление.

Для иллюстрации этого, если продолговатый светильник, показанный на фигуре 4, излучает кодированный свет с идентификатором, внедренным в него, детектор кодированного света в точке наблюдения, показанной на фигуре 4, способен определить (по идентификатору), какой светильник является близлежащим. В предположении, что кодированный свет излучается по существу равномерно по длине его источника света, то рассматриваемый светильник относительно детектора кодированного света будет иметь 180-градусную вращательную симметрию. Точно так же, квадратный светильник будет иметь 90-градусную вращательную симметрию или круговой светильник будет проявлять вращательную симметрию при любом угле. Таким образом, на основании этой информации детектор может «знать», какой светильник является ближайшим к нему и, возможно, на каком расстоянии он находится от него, но не знать, в какую сторону он обращен. Обычно поскольку контур источника света имеет симметричный вид, то имеются многочисленные возможные места в комнате, на которых контур источника света будет представляться таким образом. Это схематически показано на фигурах 4, 5 и 6 для случая 90-градусной вращательной симметрии. С учетом данных изображения на фигуре 4 и известного размера (размеров) источника 12 света детектор может ограничивать количество возможных местоположений, на которых для него отображается источник света, до четырех мест (или ориентаций) в комнате относительно источника 12 света, показанных А, В, С и D на фигурах 5 (перспективном виде) и 6 (нисходящем виде). Для зеркально симметричного источника света обычно имеются два положения, для которых не может быть устранена неоднозначность, например положения А и В на фигуре 5.

Следовательно, без дополнительной модификации в поле зрения детектора кодированного света необходимо иметь по меньшей мере два таких светильника, чтобы узнавать их ориентацию по изображению, или же ориентацию придется получать альтернативным способом.

Для разрешения этого вопроса в настоящем раскрытии предлагается источник света, который в выключенном состоянии является симметричным, но во включенном состоянии излучает свет асимметрично. Для достижения этого источник света может быть разделен на различные секции, которые для нарушения симметрии излучают свет различным образом. Предпочтительно, чтобы асимметрия воспринималась камерой 14, но не зрением человека. Такой источник света можно реализовать как создающий кодированный свет светильник с асимметричным распределением кодированного света.

На фигуре 8 показан создающий кодированный свет светильник, в котором свет, излучаемый от внутренней секции (схематически показанной внутренним прямоугольником, наложенным на изображение), можно отличить от остального света, излучаемого светильником.

Например, в светильнике с двумя или большим количеством трубок можно компоновать трубки цилиндрические лампы исходя из излучения взаимно различного кодированного света, или кодированный свет может излучать только одна из трубок. Возможны многочисленные другие варианты осуществления, например, рассмотренные ниже. Поэтому модуль 15 обнаружения кодированного света может пересылать эту информацию к модулю 16 анализа изображения, который вследствие отсутствия симметрии соответственно может однозначно определять ориентацию камеры при вычисления геометрической перспективы даже в случае, когда только один 4i из светильников находится в ее поле зрения.

Рассмотрим изображения ламп на фигуре 4 и фигуре 8, захваченные обращенной кверху камерой смартфона. На обоих изображениях только один (включенный) источник света является видимым в поле зрения. Эти источники света излучают идентификатор в виде кодированного света. Определение местоположения происходит следующим образом.

Модуль 16 анализа изображения анализирует изображение, чтобы определить местоположение источника 12 света. Кроме того, модуль 15 обнаружения кодированного света декодирует кодированный свет, излучаемый источником 12 света, чтобы получить идентификатор этого источника света. Модуль 15 обнаружения кодированного света использует идентификатор для получения геометрических данных, которые могут содержать форму (видимых частей) источника 12 света и необязательно местоположение источника в здании. В альтернативном варианте осуществления геометрические данные закодированы непосредственно в кодированном свете. В любом случае модуль 15 обнаружения кодированного света пересылает геометрические данные к модулю 16 анализа изображения. Модуль 16 анализа изображения распознает форму по изображению. Например, контур может быть распознан при использовании обнаружения краев, см., например, внешний контур, наложенный на изображение, показанное на фигуре 8.

Используя известный размер контура и совмещение его с перспективно искаженной формой, когда она появляется на изображении, можно определить расстояние до и угол относительно источника света. Обычно вследствие симметричного внешнего вида контура источника света имеются многочисленные возможные места в комнате, на которых контур источника света будет обрисовываться таким образом. В данном случае контур имеет 2 оси симметрии, что приводит к четырем возможным местам А, В, С и D в комнате. См. фигуры 5 и 6.

Для устранения неоднозначности между этими возможными положениями модуль 16 анализа изображения может использовать то, что источник света снабжен средством образования кодированного света, которое нарушает симметрию. Например, как показано на фигуре 7 (на виде снизу источника света), светоизлучающая часть источника разделена на две зоны или секции, 1 и 2. Секция 1 излучает кодированный свет, тогда как секция 2 не делает этого, или излучает другой код кодированного света или такой же код, но кодирование осуществляется таким способом, что эти две секции могут быть отличимы. Для устранения неоднозначности осуществляется определение местоположения или формы одной секции излучения кодированного света, см., например, внутренний контур, наложенный на изображение, показанное на фигуре 8. Это сравнимо с другими геометрическими аспектами, которые были определены. Конечный результат заключается в том, что местоположение камеры относительно источника 12 света и поэтому местоположение устройства в комнате (и на протяжении здания) могут быть однозначно определены.

На фигурах 9 и 10 показаны альтернативные варианты реализации асимметричного кодированного света в источнике света с круговым отверстием для излучения и следовательно с вращательной симметрией. На фигуре 9 схематически показана внутренняя круговая секция 1, смещенная от центра более широкого кругового источника света, то есть имеющая другой центр. Вторая секция 2 является остатком площади кругового источника света, не занятой секцией 1. На фигуре 10 секция 1 является клином или «куском» круга и секция 2 является остатком круга. Точно так же, в примере из фигуры 7 одна из двух секций 1, 2 излучает кодированный свет, тогда как другая не делает этого, или две секции излучают различным образом кодированный свет.

На фигуре 11 дан другой пример. В данном случае нижняя часть светодиодного светильника показана без рассеивающего свет материала, который снят, а индивидуальные светодиодные элементы показаны в виде небольших окружностей 18. Светоизлучающие диоды разделены по различным асимметричным секциям. Светоизлучающие диоды в зоне 1 могут возбуждаться с излучением кодированного света, тогда как остальные светоизлучающие диоды в зоне 2 могут возбуждаться с излучением обычного света или иным образом кодированного света.

Согласно другому примеру на фигуре 12 показана нижняя часть светильника с люминесцентной лампой, с модернизированным излучателем 19 кодированного света (небольшим квадратным). Благодаря перемещению излучателя в асимметричное положение обеспечивается другой способ реализации выхода асимметричного кодированного света.

После определения расстояния до и ориентации камеры 14 в модуле 17 определения местоположения эта информация может использоваться для уточнения оценки местоположения камеры 14 или устройства 6. Например, для этого модуль определения местоположения может быть выполнен с возможностью получения грубой оценки абсолютного местоположения устройства путем получения местоположения наблюдаемого светильника 4i. Это может быть сделано, например, путем обнаружения идентификатора светильника 4i в кодированном свете, излучаемом этим источником 12 света светильника, и поиска идентификатора в массиве данных, отображающих идентификаторы для координат светильников, или координаты могут быть прямо закодированы в кодированный свет, излучаемый источником света этого светильника. В таком случае положение устройства 6 относительно светильника 4i можно комбинировать с абсолютным местоположением светильника, например, добавлением вектора, чтобы получать абсолютное местоположение устройства 6.

Альтернативно способ можно использовать для устранения неоднозначности ориентации, как показано на фигуре 5, чтобы определять абсолютную ориентацию направления точки съемки камерой относительно карты или глобуса, которую можно определять, например, с помощью магнитометра устройства. Предположим, что геометрический анализ данных изображения дает четыре возможных кандидата на роль единичных векторов для ориентации относительно источника света, то есть кандидатов для направления, по которому камера обращена к источнику света. Абсолютную ориентацию направления точки съемки камерой можно представить единичным вектором V в той же самой системе координат. Для устранения неоднозначности четыре кандидата можно сравнивать с V. Кандидат, который указывает (грубо) на направление, противоположное направлению V точки съемки камеры, является кандидатом, который представляет реальную ориентацию, реальное направление, по которому камера обращена к источнику света. В качестве усовершенствования, которое может быть полезным для поддержки камер с широким углом обзора, направление V точки съемки, представляющее центральную ось обзора камеры, прежде всего корректируют в направлении W точки съемки, направлении вектора, который направлен от объектива камеры непосредственно к источнику света, путем определения положения источника света на изображении с камеры и выполнения геометрического вычисления на основе того как это положение смещено от центра изображения с камеры. Затем W сравнивают с кандидатами.

Такие технические приемы могут найти применения, например, в системах обозначения местоположения, таких как реклама основанная на местоположении или навигация в помещении с помощью людей или роботов.

Следует понимать, что варианты осуществления, изложенные выше, описаны только для примера.

Обычно определение расстояния от светильника и ориентации относительно светильника можно использовать независимо друг от друга или совместно. Кроме того, эта информация не используется для определения в конечном счете абсолютного местоположения камеры 14 или устройства 6. Например, может быть полезно только знать, насколько близко к источнику света находится камера 14, например, только определять «горячую/холодную» оценку близости устройства 6 к целевому световому пятну, или измерять выходной уровень света от источника 12 света, определяемый интенсивностью, измеряемой на камере, и расстояние от источника.

Согласно другому примеру расстояние может определяться на основании захваченного изображения источника 12 света и кодированного света, но вместо определения ориентации относительно источника 12 света ориентация может определяться некоторым другим абсолютным средством, таким как магнитометр, объединенный с устройством 6. Например, в некоторых вариантах осуществления можно использовать измерение ориентации, но не обязательно измеренное относительно источника света. Например, в некоторых вариантах осуществления осведомленность о том, какой светильник является ближайшим к портативному устройству, может дать приблизительное представление о зоне коридора или здания, в которой находится устройство (и следовательно, пользователь), и компас устройства может использоваться для определения направления, в которое обращено устройство, или для согласования с картой. На экране устройства (например, смартфона или планшета) пользователю может быть представлена карта с подсвеченной зоной или кругом погрешности, показывающим приблизительное положение его в зоне, и со стрелкой, показывающей, с каким путем на карте выровнено движение устройства.

Согласно еще одному примеру, если источник света уже имеет физически асимметричную форму или же виден невооруженным глазом по существу асимметричным, то анализ местоположения не потребует специфического использования секций кодированного света ассиметричной формы или размещенных ассиметрично.

Кроме того, в дальнейших вариантах осуществления при анализе можно использовать другие объекты, появляющиеся в изображении, для дополнительного уточнения вычисления геометрической перспективы. Например, при вычислениях можно использовать геометрические особенности других объектов на потолке (например, потолочных плит с видимыми краями).

Другие изменения к раскрытым вариантам осуществления могут быть поняты и выполнены специалистами в данной области техники при применении на практике заявленного изобретения в результате изучения чертежей, раскрытия и прилагаемой формулы изобретения. В формуле изобретения слово «содержащий» не исключает других элементом или этапов, а неопределенный артикль не исключает множества. Один процессор или другой блок может выполнять функции нескольких объектов, перечисляемых в формуле изобретения. То, что определенные признаки перечисляются во взаимно различных зависимых пунктах формулы изобретения, не означает, что сочетание этих признаков не может быть использовано с достижением преимущества. Компьютерная программа может быть сохранена/распределена на подходящем носителе данных, таком как оптический носитель данных или полупроводниковый носитель, поставляемом вместе с другим аппаратным обеспечением или являющемся частью его, но также может быть распределена иным образом, например, с помощью Интернета и других проводных или беспроводных систем связи. Любые ссылочные позиции в формуле изобретения не должны толковаться как ограничивающие объем.

Устройство, способ и считываемый компьютером носитель данных для определения расстояния или положения камеры относительно источника света на основании изображения этого источника света, захватываемого камерой. Устройство содержит модуль обнаружения кодированного света для обнаружения кодированного светового сигнала, смодулированного в свет от источника света. Модуль обнаружения кодированного света выполнен с возможностью извлечения одного или нескольких физических размеров источника света на основании кодированного светового сигнала от этого источника света. Дополнительно, устройство содержит модуль анализа изображения, выполненный с возможностью определения расстояния камеры от источника света путем выполнения вычисления геометрической перспективы для сравнения одного или нескольких извлеченных физических размеров с одним или несколькими очевидными размерами изображения источника света. Технический результат – определение местоположения камеры относительно источника света. 2 н. и 16 з.п. ф-лы, 12 ил.

1. Устройство для определения положения и расстояния камеры относительно источника света, содержащее:

вход для приема данных изображений, захватываемых камерой (14), при этом данные изображений содержат изображение источника (12) света;

модуль (15) обнаружения кодированного света для обнаружения кодированного светового сигнала, смодулированного в свет от источника света, выполненный с возможностью извлечения одного или нескольких физических размеров источника света на основании кодированного светового сигнала от упомянутого источника света; и

модуль (16) анализа изображения, выполненный с возможностью определения расстояния камеры от источника света посредством выполнения вычисления геометрической перспективы для сравнения одного или нескольких извлеченных физических размеров с одним или несколькими очевидными размерами изображения источника света.

2. Устройство по п. 1, в котором один или несколько физических размеров сообщается от источника (12) света в кодированном световом сигнале, а модуль (15) обнаружения кодированного света выполнен с возможностью извлечения одного или нескольких физических размеров непосредственно из кодированного светового сигнала.

3. Устройство по п. 1, в котором кодированный световой сигнал содержит идентификатор источника (12) света, а модуль (15) обнаружения кодированного света выполнен с возможностью извлечения одного или нескольких физических размеров посредством использования идентификатора для поиска одного или нескольких физических размеров в массиве данных.

4. Устройство по любому предшествующему пункту, выполненное с возможностью определения ориентации камеры (14), причем расстояние и ориентация совместно дают положение камеры относительно источника (12) света.

5. Устройство по п. 4, в котором модуль (16) анализа изображения выполнен с возможностью определения ориентации камеры (14) относительно источника (12) света в качестве части вычисления геометрической перспективы.

6. Устройство по п. 4, в котором источник (12) света имеет форму, обладающую симметрией, но излучает свет с осветительным эффектом, который нарушает упомянутую симметрию, а модуль (16) анализа изображения выполнен с возможностью устранения неоднозначности ориентации, на основании упомянутого осветительного эффекта.

7. Устройство по п. 6, в котором упомянутый осветительный эффект является не воспринимаемым зрением человека и воспринимаемым камерой (14), при этом упомянутый свет имеет упомянутую симметрию для человека, тогда как осветительный эффект нарушает симметрию при обнаружении камерой.

8. Устройство по п. 5, в котором источник (12) света имеет форму, обладающую симметрией, но излучает свет с осветительным эффектом, который нарушает упомянутую симметрию, а модуль (16) анализа изображения выполнен с возможностью устранения неоднозначности ориентации, на основании упомянутого осветительного эффекта.

9. Устройство по п. 8, в котором упомянутый осветительный эффект является не воспринимаемым зрением человека и воспринимаемым камерой (14), при этом упомянутый свет имеет упомянутую симметрию для человека, тогда как осветительный эффект нарушает симметрию при обнаружении камерой.

10. Устройство по п. 6, в котором упомянутый осветительный эффект содержит использование кодированного света для нарушения симметрии.

11. Устройство по п. 4, выполненное с возможностью определения абсолютной ориентации направления точки съемки камерой (14), причем расстояние и абсолютная ориентация направления точки съемки камерой используются для определения положения камеры.

12. Устройство по п. 1, содержащее магнитометр, выполненный с возможностью определения абсолютной ориентации направления точки съемки камерой устройства, которая затем используется для устранения неоднозначности ориентации устройства относительно источника света.

13. Устройство по п. 4, содержащее модуль (17) определения местоположения, выполненный с возможностью получения географического местоположения источника (12) света и определения географического местоположения камеры (14) на основании географического местоположения источника света в комбинации с положением камеры относительно источника света.

14. Устройство по п. 5, содержащее модуль (17) определения местоположения, выполненный с возможностью получения географического местоположения источника (12) света и определения географического местоположения камеры (14) на основании географического местоположения источника света в комбинации с положением камеры относительно источника света.

15. Устройство по п. 1, в котором данные изображений содержат изображение одного источника (12) света, при этом модуль (16) анализа изображения выполнен с возможностью определения расстояния камеры (14) от упомянутого источника света путем выполнения вычисления геометрической перспективы для сравнения одного или нескольких извлеченных физических размеров одного источника света с одним или несколькими очевидными размерами изображения одного источника света.

16. Устройство по п. 1, в котором данные изображений дополнительно содержат изображения других объектов, а модуль (16) анализа изображения выполнен с возможностью также включения изображений других объектов в вычисление геометрической перспективы.

17. Устройство по п. 1, в котором устройство (6) содержит камеру (14).

18. Считываемый компьютером носитель данных, содержащий компьютерную программу, которая при исполнении процессором вынуждает процессор исполнять действия:

приема данных изображений, захватываемых камерой (14), при этом данные изображений содержат изображение источника (12) света;

обнаружения кодированного светового сигнала, смодулированного в свет от источника света;

извлечения одного или нескольких физических размеров источника света на основании кодированного светового сигнала от упомянутого источника света; и

определение расстояния камеры от источника света посредством выполнения вычисления геометрической перспективы для сравнения одного или нескольких извлеченных физических размеров с одним или несколькими очевидными размерами изображения источника света.