ОПРЕДЕЛЕНИЕ РАССТОЯНИЯ ДО ОБЪЕКТА ПО ИЗОБРАЖЕНИЮ Российский патент 2017 года по МПК G06T7/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к определению расстояния до объекта на основе отдельного изображения и, в частности, но не исключительно, к определению расстояния до человека на основе изображения светлого зрачка.

УРОВЕНЬ ТЕХНИКИ

Определение расстояния до объектов на основе изображений, регистрируемых с помощью устройства захвата изображений, такого как камера для получения неподвижных или динамических изображений, приобретает все большее значение.

Например, с появлением автономных систем, способных адаптировать функциональные возможности и характеристики к окружающей среде, часто крайне необходима бывает информация о присутствии людей и их точном местоположении. К примерам относятся системы мониторинга для пожилых людей или больничных палат, адаптивные осветительные системы, способные локально регулировать освещенность для экономии электроэнергии или изменять форму луча или спектральные параметры для повышения комфорта. Так, в частности, точное положение глаз человека может представлять интерес в целях отображения, когда обеспечиваемый режим отображения адаптируется к обнаруженному положению глаз, например, для обеспечения оптимального режима отображения для обоих глаз при 3-мерной визуализации или для создания индивидуальной видимости в направлении ближайшей пары глаз при одновременном заслонении видимости в других направлениях.

Было предложено получать информацию о глубине сцены путем локального анализа размытия в результате неточной фокусировки, поскольку оно зависит от расстояния от линзы до объекта. Однако диафрагмы традиционных объективов вносят размытие в результате неточной фокусировки, которое является математически необратимым и очень избирательно к глубине. В связи с этим, такие методы обычно бывают сложными и приводят к относительно недостоверным данным о глубине.

В WO 2010/150177 A1 описаны различные оптические средства для записи наложенных изображений сцены на отдельный обнаружитель изображений, по которым с помощью соответствующих алгоритмов обработки изображений может быть получена информация о глубине сцены.

В статье А. Левин, Р. Фергус, Ф. Дьюранд, У.Т. Фриман «Изображение и глубина с традиционной камеры с кодированной апертурой» ("Image and Depth from a Conventional Camera with a Coded Aperture", by A. Levin, R. Fergus, F. Durand, W. T. Freema, SIGGRAPH, ACM Transactions on Graphics, август 2007) предложено уменьшить этот недостаток введением кодированной апертуры в линзу датчика изображений, посредством этого формируя спектральные свойства получившегося при этом размытия в результате неточной фокусировки. Данная система основана на кодированной апертуре, имеющей широкополосную структуру, и статистической модели изображений для восстановления глубины и реконструкции полностью сфокусированного изображения сцены. Однако такой метод дает в результате систему высокой степени сложности, требующую большого вычислительного ресурса. Кроме того, такой метод может привести к измерениям глубины, которые являются менее достоверными и точными, чем необходимо. В действительности данный способ особенно проблематичен при наличии контрастов по глубине для объектов с одинаковыми интенсивностями. В этом случае результирующие изображения представляют собой наложение двух размытых плоскостей.

Таким образом, было бы целесообразным создание усовершенствованной системы для определения расстояний до объектов на основе изображения с устройства захвата изображений и, в частности, было бы целесообразным создание системы, обеспечивающей повышенную эксплуатационную гибкость, пониженную сложность, пониженное использование ресурсов (в частности, пониженное использование вычислительных ресурсов), улучшенное определение расстояния и/или улучшенные рабочие характеристики.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В связи с этим, целью настоящего изобретения является предпочтительно уменьшение, смягчение или устранение одного или более из вышеуказанных недостатков по отдельности или в любой комбинации.

В соответствии с одним аспектом настоящего изобретения предлагается устройство для определения расстояния до объекта сцены по п. 1.

Настоящее изобретение может обеспечивать улучшенное и/или упрощенное определение расстояния до объекта на основе изображения с устройства захвата изображений. Расстояние до объекта может определяться по отдельному изображению.

Вычислительный ресурс может быть особенно низким, поскольку на основе оптической характеристики может достигаться имеющее низкую сложность обнаружение объектов изображения, соответствующих теневым изображениям объекта. В частности, обнаружение не требует сложного моделирования или предположений относительно сцены и, кроме того, не требует наличия сложной обработки изображений для разделения вклада со стороны перекрывающихся ядер размытия в результате неточной фокусировки. Система может быть направлена на использование неплотных образов данных, в которых конкретные объекты изображения, соответствующие теневым изображениям, поддаются идентификации. В частности, вместо того, чтобы выполнять сложный анализ изображений, учитывающий помеху/размытие изображения, вызванное находящимся не в фокусе датчиком изображений, значительное сокращение обработки данных может быть достигнуто благодаря обнаружению лишь конкретных объектов изображения, соответствующих теневым изображениям одного и того же легко идентифицируемого объекта. В частности, вместо того, чтобы оценивать все изображение и сцену, необходимо обрабатывать лишь весьма незначительное число идентифицируемых объектов изображения. Система может быть особенно применимой для сценариев, в которых могут регистрироваться или создаваться неплотные образы данных, и, в частности, для сцен и изображений, в которых выделяются конкретные цели.

Данный метод может обеспечивать определение расстояния в устройствах с низким вычислительным ресурсом, таких как мобильные устройства, или может, например, обеспечивать более быстрое определение расстояния, посредством этого обеспечивая, например, определение расстояния в реальном времени.

Оптическая характеристика является характеристикой объекта, которая может обеспечивать возможность различения объекта сцены в изображении при анализе свойств изображения (например, светлого объекта в темной окружающей среде, темного объекта в светлой окружающей среде; или красного объекта в зеленой окружающей среде). Характеристикой излучения может являться, например, характеристика испускания и/или характеристика отражения. Оптическая характеристика может при этом являться характеристикой света от объекта сцены, достигающего устройства захвата изображений.

Кодированная апертура может, например, обеспечиваться с помощью фиксированной маски, содержащей ряд отверстий в светонепроницаемом элементе, закрывающем объектив устройства захвата изображений. Или же, например, светонепроницаемый элемент может быть создан с помощью управляемого элемента, такого как, например, маска, образованная жидкокристаллическим (ЖК) элементом, расположенным перед объективом.

Настоящее изобретение может обеспечивать определение расстояния по отдельному изображению, посредством этого исключая необходимость во множестве датчиков изображений, устройств захвата изображений и т.д.

Оптическая характеристика может являться заданной или предполагаемой оптической характеристикой.

В соответствии с факультативным признаком изобретения, изображение является изображением светлого зрачка, а оптическая характеристика является характеристикой света, отраженного назад сетчаткой в направлении устройства захвата изображений.

Настоящее изобретение может обеспечивать улучшенное и/или упрощенное определение расстояния до зрачка и, следовательно, расстояния до человека или животного. В частности, настоящее изобретение во многих сценариях может обеспечивать сокращенное определение расстояния до человека.

Использование изображения светлого зрачка может, в частности, привести к оптической характеристике в изображении, соответствующей более простому обнаружению зрачка или обеспечивающей более простое установление отличий от других зарегистрированных элементов сцены. В действительности, объекты изображения, соответствующие зрачку, могут быть обнаружены с помощью имеющего низкую сложность критерия. В частности, различие между вкладами в изображение со стороны зрачка и со стороны других элементов сцены может быть увеличено, благодаря чему облегчается обнаружение и обеспечивается обнаружение пониженной сложности. Например, может использоваться простой критерий обнаружения на основе яркости и/или, например, цвета. Кроме того, изображение светлого зрачка, как правило, может характеризоваться тем, что зрачок существенно ярче, чем окружающие участки, благодаря чему обеспечивается преобладание вклада в изображение со стороны зрачка над вкладом со стороны других мест (частей) сцены.

Изображение светлого зрачка может, в частности, представлять собой изображение, в котором одновременное освещение обеспечивается источником света, расположенным на оптической оси устройства захвата изображений. Например, изображение светлого зрачка может быть захвачено с использованием освещения сцены от источника света, расположенного в пределах 5° относительно оптической оси изображения при измерении со стороны зрачка.

В соответствии с факультативным признаком изобретения, приемник выполнен с возможностью приема второго изображения сцены от датчика изображений, причем второе изображение является изображением темного зрачка; при этом обнаружитель дополнительно выполнен с возможностью компенсации первого изображения с учетом второго изображения до обнаружения указанных, по меньшей мере, двух объектов изображения.

Настоящее изобретение может обеспечивать улучшенное и/или упрощенное определение расстояния до зрачка и, следовательно, расстояния до человека или животного. В частности, настоящее изобретение во многих сценариях может обеспечивать сокращенное определение расстояния до человека.

Использование изображения темного зрачка вместе с изображением светлого зрачка обеспечивает значительное выделение объектов изображения, соответствующих зрачкам. В частности, компенсация изображения светлого зрачка с помощью изображения темного зрачка может исключить или уменьшить вклад со стороны объектов, отличных от зрачка. Компенсация может привести к прореживанию данных в обрабатываемом изображении и может упростить и/или улучшить обнаружение объектов изображения, соответствующих зрачку. Как правило, различие между объектами изображения, соответствующими светлым зрачкам и другим участкам изображения, выделяется. Следовательно, вычислительные потребности могут быть снижены, и может быть достигнуто более надежное обнаружение.

Таким образом, данный метод может привести к оптической характеристике, соответствующей более простому обнаружению зрачка в изображении. В действительности, объекты изображения, соответствующие зрачку, во многих сценариях могут быть обнаружены с помощью имеющего низкую сложность критерия. Например, может использоваться простой критерий обнаружения на основе яркости и, например, цвета.

Изображение темного зрачка может, в частности, представлять собой изображение, в котором не обеспечивается одновременное освещение источником света, расположенным на оптической оси устройства захвата изображений. Например, изображение темного зрачка может быть захвачено в отсутствии освещения сцены от источника света, расположенного в пределах 5° относительно оптической оси изображения при измерении со стороны зрачка.

В соответствии с факультативным признаком изобретения, устройство дополнительно содержит источник света для освещения сцены, причем источник света размещается на оптической оси устройства захвата изображений; и блок управления источником света, выполненный с возможностью включения источника света для первого изображения и выключения источника света для второго изображения.

Это может обеспечивать улучшенное и/или упрощенное обнаружение объектов изображения и может, в частности, иметь следствием управляемое создание изображений светлого и темного зрачков. Следовательно, данная система сама может освещать сцену для создания поддающихся обнаружению объектов, которые выделяются на фоне остальных объектов в сцене.

Выключение (или включение) может быть частичным. Так, при включении источник света будет ярче, чем при его выключении. Однако некоторый свет может, тем не менее, излучаться в тех случаях, когда источник света находится в выключенном состоянии, при этом световой выход во включенном состоянии может быть меньше, чем максимальный возможный выход источника света.

Во многих вариантах осуществления источник света может предпочтительно являться источником инфракрасного света.

В соответствии с факультативным признаком изобретения, указанные, по меньшей мере, два объекта изображения соответствуют первому зрачку человека, а обнаружитель дополнительно выполнен с возможностью обнаружения дополнительных, по меньшей мере, двух объектов изображения, соответствующего теневым изображениям второго зрачка человека, возникающим как следствие различных отверстий кодированной апертуры; причем блок оценки расстояния дополнительно выполнен с возможностью определения расстояния в ответ на смещение в изображении дополнительных, по меньшей мере, двух объектов изображения.

Во многих сценариях это может обеспечивать улучшенное определение расстояния. Например, могут быть определены отдельные расстояния до двух зрачков, а расстояние до головы может быть определено как среднее этих оценок расстояний.

В соответствии с факультативным признаком изобретения, указанные, по меньшей мере, два объекта изображения соответствуют первому зрачку человека; а обнаружитель дополнительно выполнен с возможностью обнаружения дополнительных, по меньшей мере, двух объектов изображения, соответствующего теневым изображениям второго зрачка человека, возникающим как следствие различных отверстий кодированной апертуры; причем блок оценки расстояния дополнительно выполнен с возможностью определения ориентации головы человека в ответ на разность между смещением в изображении указанных, по меньшей мере, двух объектов изображения и смещением в изображении дополнительных, по меньшей мере, двух объектов изображения.

Настоящее изобретение может обеспечивать улучшенное и/или упрощенное определение не только расстояния до головы человека, но и ориентации головы человека.

В соответствии с факультативным признаком изобретения, по меньшей мере, два из указанных, по меньшей мере, двух объектов изображения являются непересекающимися объектами изображения.

Во многих сценариях это может улучшать и/или упрощать определение расстояния. В частности, кодированная апертура может создаваться таким образом, что отверстия кодированной апертуры имеют следствием неперекрывающиеся объекты изображения для объекта в пределах заданного диапазона расстояний.

В соответствии с факультативным признаком изобретения, устройство дополнительно содержит источник света для освещения сцены, причем источник света имеет характеристику, выполненную с возможностью выделения оптической характеристики объекта сцены.

Во многих сценариях это может улучшать и/или упрощать определение расстояния. Система может вводить освещение, которое, в частности, выполнено с возможностью увеличения различения объекта и других компонентов в сцене.

Система может при этом активно вводить оптическое различение объектов в реальном мире, посредством этого обеспечивая при последующей обработке изображений более простую идентификацию объектов теневых изображений для требуемого объекта. Повышенное различение в сочетании с теневыми изображениями, создаваемыми кодированной апертурой, может значительно улучшить и/или упростить определение расстояния по отдельному изображению.

В соответствии с факультативным признаком изобретения, характеристика является, по меньшей мере, одним из: положения источника света; частотного распределения света, испускаемого источником света; пространственного распределения света, испускаемого источником света; и поляризации света, испускаемого источником света.

В различных сценариях это может обеспечивать особенно выигрышные характеристики благодаря выделению отдельных оптических характеристик.

В соответствии с факультативным признаком изобретения, кодированная апертура формируется с помощью ряда непересекающихся отверстий, причем каждое отверстие приводит к образованию теневого изображения объекта сцены.

Это может обеспечивать улучшенное и/или упрощенное определение расстояния. Это может дополнительно обеспечивать упрощенную и/или недорогую реализацию.

В соответствии с факультативным признаком изобретения, число составляет менее пяти.

Во многих вариантах осуществления это может обеспечивать улучшенное и/или упрощенное определение расстояния.

Во многих вариантах осуществления может быть особенно целесообразным иметь лишь два отверстия в кодированной апертуре, поскольку это может быть наименьшим числом отверстий, обеспечивающим определение расстояний на основе смещения между теневыми изображениями. Следовательно, во многих вариантах осуществления это может минимизировать сложность как обработки, так и аппаратной реализации.

Во многих вариантах осуществления может быть особенно целесообразным иметь отверстия в кодированной апертуре, которые являются вертикально ориентированными. Это может быть особенно целесообразным при обнаружении теневых изображений, соответствующих глазам живого существа, поскольку это может уменьшить или исключить вероятность перекрытия теневых изображений правого и левого глаз.

В соответствии с факультативным признаком изобретения, в каждом отверстии имеется интерференционная структура; при этом устройство выполнено с возможностью определения смещения в изображении указанных, по меньшей мере, двух объектов изображения под действием выходной структуры интерференционной структуры указанных, по меньшей мере, двух отверстий.

Во многих вариантах осуществления это может обеспечивать улучшенное и/или упрощенное определение расстояния. В частности, это может упростить определение смещения между изображениями объекта в случае, если они перекрываются. Во многих вариантах осуществления устройство может быть выполнено с возможностью определения того, перекрываются ли объекты изображения, и применения определения смещения на основе интерференции (только) в том случае, если они перекрываются.

Интерференционная структура может, в частности, являться картиной зонной пластинки.

В соответствии с одним аспектом настоящего изобретения предлагается система для определения расстояния до объекта сцены по п. 12.

В соответствии с одним аспектом настоящего изобретения предлагается способ определения расстояния до объекта сцены по п. 14.

Эти и другие аспекты, признаки и преимущества изобретения будут понятны из описанного ниже варианта (вариантов) осуществления и описаны применительно к нему.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления настоящего изобретения будут описываться лишь в качестве примера со ссылкой на чертежи, на которых:

фиг. 1 иллюстрирует пример элементов устройства для определения расстояния до объекта в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 2 иллюстрирует пример апертуры устройства захвата изображений в соответствии с предшествующим уровнем техники;

фиг. 3 иллюстрирует пример распределения световых лучей от объекта для апертуры на фиг. 2;

фиг. 4 иллюстрирует пример распределения световых лучей от объекта для апертуры на фиг. 2;

фиг. 5 иллюстрирует пример кодированной апертуры устройства захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 6 иллюстрирует пример распределения световых лучей от объекта для кодированной апертуры на фиг. 5;

фиг. 7 иллюстрирует пример изображения светлого зрачка;

фиг. 8 иллюстрирует пример изображения светлого зрачка, зарегистрированного устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 9 иллюстрирует пример скомпенсированного изображения светлого зрачка, зарегистрированного устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 10 иллюстрирует пример скомпенсированного изображения светлого зрачка, зарегистрированного устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 11 иллюстрирует пример элементов устройства для определения расстояния до объекта в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 12 иллюстрирует пример интерференционной структуры зонной пластинки в соответствии с предшествующим уровнем техники;

фиг. 13 иллюстрирует пример изображения, зарегистрированного устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 14 иллюстрирует пример изображений, зарегистрированных устройством захвата изображений в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 15 иллюстрирует пример применения изображенного на фиг. 1 устройства, и

фиг. 16 иллюстрирует пример использования устройства в автостереоскопической системе отображения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В нижеследующем описании основное внимание уделяется вариантам осуществления изобретения, применимым к системе для определения расстояния до человека и, в частности, к определению расстояния до глаз человека по изображению светлых зрачков. Тем не менее, будет понятно, что настоящее изобретение не ограничено данным применением и может применяться к определению расстояния до множества других объектов на основе множества различных оптических характеристик.

Фиг. 1 иллюстрирует пример системы для определения расстояния до объекта по отдельному зарегистрированному изображению.

Устройство 101 захвата изображений выполнено с возможностью захвата изображения сцены, в которой присутствует объект. Устройство 101 захвата изображений содержит кодированную апертуру, которая создает маску для света, падающего на датчик изображений. Кроме того, датчик изображений размещается вне фокальной плоскости таким образом, что кодированная апертура создает размытие зарегистрированного изображения. Кодированная апертура является апертурой, которая содержит множество отверстий. Кодированная апертура применяет оптическую маску к традиционной апертуре с одним отверстием. В системе на фиг. 1 кодированная апертура выполнена таким образом, что создаются теневые изображения (множество копий) объектов. Особенность этих теневых изображений состоит в том, что смещение между ними пропорционально расстоянию до объекта.

Устройство 101 захвата изображений связано с приемником 103, который принимает изображение от датчика изображений. Приемник 103 связан с обнаружителем 105, который выполнен с возможностью обнаружения, по меньшей мере, двух объектов изображения в изображении, которые соответствуют теневым изображениям объекта, возникающим как следствие различных отверстий кодированной апертуры. Обнаружение основано на оптической характеристике объекта. Следовательно, обнаружитель может идентифицировать два (или, возможно, более) объекта (участка) изображения, которые являются теневыми изображениями/копиями конкретного объекта, расстояние до которого оценивается. Объекты изображения могут быть определены путем обнаружения присутствия конкретной оптической характеристики, такой как цвет, яркость или структура.

Обнаружитель 105 связан с блоком 107 оценки, который определяет смещение в изображении между двумя (или более) объектами изображения. Затем блок оценки приступает к оцениванию расстояния до объекта по определенному смещению.

Далее описывается действие изображенной на фиг. 1 системы, при этом особое внимание уделяется применению, в котором объектом является один или оба глаза человека. Кроме того, изображение является изображением светлого зрачка, а определение расстояния основано на оценке теневых изображений, по меньшей мере, одного зрачка.

При помещении датчика изображений вне фокальной плоскости характеристики размытия в результате неточной фокусировки зависят от характеристик апертуры, а также расстояния до объектов в сцене.

Действительно, в традиционной фотографии форма апертуры линзы определяет свойства ядра размытия. Например, типичная форма традиционной апертуры линзы показана на фиг. 2. Фиг. 3 иллюстрирует поперечное сечение устройства захвата изображений, содержащего линзу 301 с апертурой 303 и датчик 305 изображений, расположенный точно в фокальной плоскости. Как показано на чертеже, весь свет, испускаемый заданным объектом 307, фокусируется линзой 303 и сходится в одной и той же пространственной точке датчика 305 изображений в фокальной плоскости. Следовательно, в данном сценарии линза собирает световые лучи, исходящие от объекта и распространяющиеся в несколько различных направлениях, и отражает их таким образом, что они арифметически складываются в датчике 305 изображений.

Фиг. 4 иллюстрирует то же устройство захвата изображений, но с датчиком изображений, расположенным вне плоскости датчика. В этом случае световые лучи от отдельной точки расплываются по некоторому участку, и в действительности результирующее изображение соответствует свертке изображения сцены ядром размытия, соответствующим апертуре. Ядро размытия в результате неточной фокусировки является масштабированным представлением апертуры линзы и, следовательно, световые лучи от отдельной точки будут распределяться по участку изображения, соответствующему ядру размытия. Изображение в заданной точке датчика изображений будет соответствовать комбинации света от различных мест, которые после свертки ядром размытия вносят вклад в данную точку. Если апертура линзы представляет собой круглое отверстие, ядро размытия будет напоминать сплошной диск, который будет иметь подобную функции sinc спектральную характеристику в пространственной области. Поскольку функции sinc имеют нули, во время обнаружения некоторые пространственные частоты теряются и не могут быть восстановлены с помощью какой-либо процедуры восстановления изображений. Протяженность ядра размытия зависит от величины размытия в результате неточной фокусировки и, следовательно, расстояния до объекта. Однако для того, чтобы вычислить это расстояние до объекта на основе размытия в результате неточной фокусировки отдельной апертуры, необходимо иметь информацию о размере объектов. Поскольку такая информация, как правило, отсутствует или является недостоверной, результирующая оценка расстояния, как правило, также является недостоверной. Кроме того, обработка сигналов, требуемая для извлечения и определения фактических характеристик размытия в результате неточной фокусировки в зарегистрированном изображении, является очень проблематичной и сложной.

В статье А. Левин, Р. Фергус, Ф. Дьюранд, У.Т. Фриман «Изображение и глубина с традиционной камеры с кодированной апертурой» (SIGGRAPH, ACM Transactions on Graphics, август 2007) предложено использовать сложную широкополосную маску с кодированной апертурой для выполнения спектрального структурирования изображения, которое может использоваться для определения размытия в результате неточной фокусировки, по которому может быть вычислено расстояние. Однако эта обработка является очень сложной и ресурсоемкой и, как правило, дает неоптимальные результаты.

В изображенной на фиг. 1 системе используется линза с кодированной апертурой, причем кодированная апертура представляет собой очень простую маску, содержащую лишь два отверстия, как показано на фиг. 5. В этой системе апертура линзы используется для формирования характеристик размытия в результате неточной фокусировки. В отличие от формирования спектральных свойств размытия в результате неточной фокусировки с помощью широкополосной маски (как в системе из упомянутой статьи), в изображенной на фиг. 1 системе используется кодированная апертура, которая обеспечивает очень простой, прагматический анализ размытия в результате неточной фокусировки.

Фиг. 6 иллюстрирует поперечное сечение устройства 101 захвата изображений, показанного на фиг. 1. Устройство 101 захвата изображений содержит линзу 601 с кодированной апертурой 603, имеющей два отверстия 605, 607 и датчик 609 изображений, расположенный вне фокальной плоскости 611.

Как иллюстрируется на фиг. 6, кодированная апертура, состоящая из двух смещенных в вертикальном направлении круглых отверстий, может привести к внефокальному формированию изображений, которое может иметь следствием образование множества копий теневых изображений объекта. Действительно, можно рассматривать каждое отверстие как создающее отдельное ядро размытия, которое пространственно смещено относительно ядра размытия другого отверстия. Как показано на чертеже, заданный объект будет соответствующим образом представлен теневыми изображениями/несколькими представлениями в изображении, зарегистрированном вне фокальной плоскости. Кодированная апертура и свойства устройства 101 захвата изображений могут, в частности, быть выполнены таким образом, что для объекта в пределах диапазона дальностей до цели объекты изображения, соответствующие различным теневым изображениям, могут являться неперекрывающимися объектами изображения.

Смещение между различными объектами изображения зависит от расстояния между отверстиями в кодированной апертуре и расстояния до объекта сцены, которому соответствуют объекты изображения. Поскольку расстояние между отверстиями в кодированной апертуре известно, изображенная на фиг. 4 система может определять смещение между объектами изображения, соответствующее объекту, для которого должно определяться расстояние, и может после этого приступать к определению расстояния на основе этого смещения.

Таким образом, поскольку расстояние между теневыми изображениями свидетельствует о величине расфокусировки и, следовательно, о расстоянии до объекта теневых изображений, смещение объектов изображения относительно друг друга (расстояние между ними в изображении) может быть преобразовано в расстояние до объекта без априорного знания о размерах объектов. Такой метод сводит оценку размытия в результате неточной фокусировки к простой задаче оценивания смещения соответствующих теневых изображений. Коды апертуры могут быть дополнительно оптимизированы вплоть до еще большего упрощения требований к алгоритму обработки изображений. Например, использование двух смещенных в вертикальном направлении перекрестий может обеспечить реализацию в маломощных устройствах ценой световой отдачи системы.

Кроме того, поскольку определение расстояния основано на имеющем низкую сложность определении смещения между объектами изображения, соответствующими объекту, расстояние до которого должно оцениваться, анализ изображений может основываться на имеющем низкую сложность обнаружении этих конкретных объектов изображения в изображении с датчика изображений. В показанной на фиг. 1 системе обнаружитель 105 выполнен с возможностью обнаружения объектов изображения на основе оптической характеристики объекта. Оптическая характеристика может быть заданной известной или предполагаемой оптической характеристикой, которая позволяет отличать объект от других элементов в сцене. Например, оптической характеристикой может являться яркость, структура или цвет объекта.

Обнаружитель может соответствующим образом просматривать зарегистрированное внефокальное изображение для идентификации сегментов/участков изображения, которые имеют характеристики, соответствующие оптической характеристике изображения. Например, обнаружитель 105 может просматривать изображение для нахождения участков, цвет на которых хорошо соответствует цвету объекта.

Чтобы упростить такое обнаружение объектов изображения, соответствующих теневым изображениям, сцена может регулироваться или может ограничиваться таким образом, что объект имеет оптические характеристики, которые однозначно обеспечивают обнаружение соответствующих объектов изображения в зарегистрированном внефокальном изображении. Например, в некоторым вариантах осуществления объект может являться единственным светлым объектом в сцене или может, например, являться единственным красным объектом в сцене. В таких сценариях обнаружитель 105 может просто искать участки изображения, которые ярче порога (который, например, может зависеть от средней яркости изображения) или которые содержат компонент красного цвета.

Хотя размытие изображения приводит к тому, что такие участки изображения также содержат вклад со стороны других мест и, следовательно, других элементов сцены, метод, имеющий столь низкую сложность, может, тем не менее, часто быть полезным. Например, если объект является единственным красным объектом в сцене, объекты изображения, соответствующие его теневым изображениям, являются единственными участками, содержащими компонент красного цвета. Это может быть обнаружено даже в том случае, если фактический цвет этих участков изображения отличается от красного цвета объекта ввиду вклада от других объектов в сцене. В действительности, обнаружение может быть упрощено, и различение может быть выполнено более отчетливым, например, путем освещения сцены светом, имеющим красный цвет.

Таким образом, изображенная на фиг. 1 система определяет расстояние до объекта путем обнаружения множества объектов/сегментов изображения, которые соответствуют объекту на основе на основе оптического свойства объекта. Затем расстояние вычисляется по смещению/расстоянию между этими объектами изображения. Поэтому не требуется никакая сложная обработка сигналов для устранения размытия изображения, и может быть получена достоверная оценка расстояния при очень низко сложности. Такой метод особенно пригоден для регулируемых сцен, в которых объект поддается отчетливому различению, и для кодированных апертур с небольшим числом отверстий, приводящих к возникновению теневых изображений.

Особенно предпочтительным является сценарий, в котором объектом является глаз (или голова) человека или животного, а определение расстояния основано на изображении светлого зрачка. Как известно специалистам, изображение светлого зрачка представляет собой изображение, которое включает в себя отражение источника света сетчаткой глаза. Это отражение приводит к тому, что зрачок выглядит ярче, и часто может приводить к тому, что зрачок выглядит значительно ярче, чем окружающие участки. Хорошо известным примером формирования изображения светлого зрачка является эффект «красных глаз», который может возникнуть во время традиционной фотосъемки со вспышкой.

Изображение светлого зрачка может, в частности, представлять собой изображение, зарегистрированное при использовании источника света, расположенного на оптической оси устройства захвата изображений. Действительно, изображение светлого зрачка может быть создано путем создания устройству захвата изображений осевого освещения. В частности, изображение светлого зрачка может, например, быть создано путем обеспечения источника света, который освещает глаз из некоторого положения в пределах 5° относительно осевого направления при измерении со стороны глаза. Освещение может, в частности, представлять собой инфракрасный свет, который часто обеспечивает повышенный эффект светлого зрачка.

Пример изображения светлого зрачка представлен на фиг. 7. Как можно видеть, зрачки на изображении светлого зрачка, как правило, очень отчетливо выделяются на фоне остальной части изображения. Это может использоваться в изображенной на фиг. 1 системе путем специального выявления светлых зрачков.

В частности, фиг. 8 иллюстрирует пример изображения светлого зрачка, зарегистрированного с помощью устройства 101 захвата изображений с кодированной апертурой, соответствующей фиг. 6. Как можно видеть, использование изображения светлого зрачка может значительно упростить обнаружение объектов изображения, соответствующих требуемому объекту, благодаря созданию целей, которые значительно отличаются от остальной части изображения.

В этом примере обнаружитель 105 выполнен с возможностью поиска оптических характеристик, являющихся характеристиками светлого зрачка. В этом примере характеристика может являться просто характеристикой яркости. При этом в данном конкретном примере обнаружитель 105 может просматривать приведенное на фиг. 8 изображение для идентификации четырех объектов изображения, соответствующих зрачкам визуализируемого человека. Объекты изображения могут определяться просто как последовательные (например, четыре наибольшие) участки изображения, имеющие яркость, которая превышает средний уровень яркости изображения более чем на заданную величину. Следующим шагом обнаружитель 107 может находить центр объектов изображения и расстояние между двумя парами теневых изображений, например, он может определять все расстояния между центрами и выбирать два наименьших расстояния. После этого может вычисляться среднее смещение как среднее двух наименьших расстояний до объекта изображения.

После вычисления смещения объектов изображения, соответствующих теневым изображениям, расчетное расстояние до зрачков и, следовательно, до человека может быть вычислено с помощью уравнения:

,

где ν - расстояние до объекта, b - расстояние до изображения (положение, в котором объект отображается в фокусе, обе величины с учетом линзы), а f - фокусное расстояние. Ядро размытия в результате неточной фокусировки является масштабированным представлением самой структуры апертуры, размер которой пропорционален смещению датчика изображений относительно плоскости изображения (см. фиг. 6). Если определить x как расстояние между линзой и изображением, размер ядра К размытия может быть определен следующим образом:

,

где А - сама апертура (при х=0).

Необходимо отметить, что размер размытия пропорционален расстоянию от датчика изображений до плоскости изображений. Если датчик сфокусирован в середине сцены, трудно отличать объекты, находящиеся перед фокальной плоскостью, от объектов, находящихся за ней. Поэтому для оценки глубины часто целесообразно фокусировать датчик перед всей сценой таким образом, чтобы результирующее размытие было прямо пропорционально расстоянию.

В некоторых вариантах осуществления обнаружитель 105 выполнен с возможностью определения объектов изображения под действием как изображения светлого зрачка, так и изображения темного зрачка. Изображение темного зрачка представляет собой изображение, не являющееся изображением светлого зрачка, т.е., изображение, в котором отсутствует отражение отдельной сетчатки для формирования зрачков, которые выглядят ярче из-за отражения. В частности, приемник 103 может принимать изображение светлого зрачка и изображение темного зрачка, зарегистрированные одновременно (или таким образом, что движение зрачков в течение разности по времени пренебрежимо мало) с помощью устройства 101 захвата изображений. После этого обнаружитель 105 может компенсировать изображение светлого зрачка изображением темного зрачка для формирования скомпенсированного изображения светлого зрачка, поиск которого осуществляется для идентификации соответствующих объектов изображения.

Таким образом, в данном методе используется то обстоятельство, что соосное освещение и формирование изображений приводят к сильному сигналу обратного отражения от сетчатки. Этого не происходит в изображениях, зарегистрированных с использованием освещения, которое значительно смещено относительно оптической оси устройства формирования изображений. Благодаря компенсации изображения светлого зрачка изображением темного зрачка можно дополнительно улучшать различение, обусловленное светлыми зрачками.

Компенсация может, в частности, представлять собой вычитание изображения темного зрачка из изображения светлого зрачка. В частности, вычитание может выполняться в области яркости или цветности, например, путем вычитания значений отдельных пикселей в каждом цветовом канале яркости, цветности или цветоразностного сигнала.

Хотя такое вычитание может и не устранить весь вклад в изображение, не являющийся следствием отражения (например, из-за различий в освещении и т.д.), оно, как правило, значительно уменьшает этот вклад. Пример изображения светлого зрачка, сформированного путем такой компенсации, приведен на фиг. 9. Как можно видеть (например, по сравнению с изображением на фиг. 8), сигнал изображения вне объектов изображения, соответствующих светлым зрачкам, значительно ослаблен. Такое ослабление сигнала обеспечивает значительно более простое и более надежное обнаружение объектов изображения, соответствующих теневым изображениям светлых зрачков. Действительно, благодаря компенсации изображения светлого зрачка изображением темного зрачка можно считать, что обрабатываемые данные изображения становятся очень неплотными в том смысле, что результирующие данные содержат лишь слабые сигналы, кроме как в месте нахождения зрачков. Такая неплотность позволяет использовать простую кодированную апертуру для эффективного создания теневых изображений, которые могут использоваться для определения расстояния до человека.

Данная система может учитывать объекты изображения, соответствующие лишь одному зрачку, или может в других вариантах осуществления или сценариях учитывать объекты изображения, соответствующие двум зрачкам. Например, как описывалось выше, две меры смещения могут быть сформированы на основе пар объектов изображения, в которых каждая пара объектов изображения соответствует двум объектам изображения, возникающим из одного зрачка. Согласование между объектами изображения и зрачками легко может осуществляться путем учета местоположений и кодированной апертуры. Например, для двух расположенных по вертикали отверстий объекты изображения с наименьшим расстоянием по вертикали могут считаться теневыми изображениями одного и того же зрачка. Затем эти два смещения можно усреднить, а расстояние можно определить на основе усредненного смещения (или, что то же самое, можно вычислить и усреднить два расстояния). Понятно, что в некоторых вариантах осуществления может выполняться средневзвешенное усреднение, например, в зависимости от оценки достоверности для каждого обнаруженного объекта изображения.

В качестве альтернативы или дополнения два обнаруженных смещения для двух зрачков могут использоваться для определения ориентации головы человека. При этом путем анализа расстояния до глаз на лице человека по отдельности по разности расстояний до глаз может быть получена ориентация головы. Ориентация головы может определяться на основе расчетных расстояний или может определяться непосредственно по смещениям. Данный принцип можно проиллюстрировать на примерах изображений, приведенных на фиг. 10. В тех случаях, когда оба глаза имеют одинаковые смещения теневых изображений, голова сориентирована точно в направлении камеры (как в примере на фиг. 9). Однако в тех случаях, когда любая пара теневых изображений ближе, чем другая, голова поворачивается, соответственно, направо или налево (как в примерах на фиг. 10). Степень поворота может быть определена по разности смещений, а направление поворота определяется по тому, какое смещение является наибольшим.

В некоторых вариантах осуществления система может содержать активный источник света для создания изображений светлого зрачка, а также блок управления для управления источником света таким образом, чтобы могли создаваться изображения как светлого, так и темного зрачка. Пример такой системы иллюстрируется на фиг. 11 и соответствует изображенной на фиг. 1 системе за исключением того, что в состав включен источник 1101 света (в данном конкретном примере в виде вспышки). Источник 1101 света расположен на оптической оси устройства 101 захвата изображений. Система дополнительно содержит блок 1103 управления, связанный с источником 110 света, устройством 101 захвата изображений и приемником 103.

Сначала блок 1103 управления может управлять приемником 103 и устройством 101 захвата изображений для захвата изображения без включенного источника света. Такое изображение является изображением темного зрачка. Затем блок 1103 управления может управлять приемником 103 и устройством 101 захвата изображений для захвата второго изображения, но на этот раз блок 1103 управления управляет источником 1101 света таким образом, что одновременно с регистрируемым изображением (или непосредственно перед ним) производится вспышка. Поскольку источник 1101 света расположен на оптической оси устройства 101 захвата изображений, этот свет отражается от сетчатки, давая в результате изображение светлого зрачка.

Система, изображенная на фиг. 1 (и фиг. 11), основана на устройстве 101 захвата изображений с использованием кодированной апертуры. Имеющая низкую сложность кодированная апертура используется для создания теневых изображений отличительных признаков (таких как зрачки), обеспечивая определение расстояний на основе имеющего низкую сложность смещения (сдвига) теневых изображений. Во многих вариантах осуществления кодированная апертура формируется рядом непересекающихся отверстий, причем каждое отверстие приводит к теневому изображению объекта. Как правило, используются лишь несколько и, в частности, не более пяти отверстий, благодаря чему снижается число теневых изображений и, следовательно, требуемая сложность обнаружения и обработки соответствующих объектов изображения. Это может дополнительно уменьшить помехи между изображениями различных отверстий и может иметь следствием более точное, устойчивое и надежное определение расстояний. Во многих вариантах осуществления кодированная апертура может иметь лишь два отверстия. Это даст два теневых изображения и при этом будет достаточным для обеспечения измерения расстояний при одновременной минимизации или, по меньшей мере, снижения сложности обработки и перекрестных искажений теневых изображений между теневыми изображениями от различных отверстий.

В частности, использование лишь нескольких отверстий и, в частности, использование лишь двух отверстий может увеличить неплотность данных обрабатываемого изображения. В тех случаях, когда это сочетается со сценой, дающей в результате изображение, являющееся неплотным (либо при захвате, либо после обработки), может быть обеспечено особенно эффективное, надежное, имеющее низкую сложность и низкую потребность в ресурсах функционирование.

Такие кодированные апертуры, состоящие из небольшого числа отверстий, как правило, неприменимы для традиционного формирования изображений, поскольку при изменяющихся расстояниях это приводит к теневым изображениям всей сцены, при этом все они накладываются друг на друга. Такой вклад для многих традиционных изображений очень проблематично и сложно разрешать и разделять, и он требует очень сложных алгоритмов и методов. Однако авторы настоящего изобретения поняли, что для многих сцен имеющая низкую сложность идентификация конкретных объектов изображения, соответствующих теневым изображениям конкретных объектов, возможна даже после такого размытия и что обнаружение таких объектов изображения может использоваться для определения расстояния до объекта. Данный метод особенно применим в тех случаях, когда может быть создано неплотное изображение, в котором выделяются конкретные объекты изображения. Такие неплотные изображения могут, например, создаваться с помощью сцены, являющейся подходящей сценой (например, с использованием лишь светлых элементов в качестве релевантных объектов (таких как автомобильные фары в темноте), с помощью специального освещения (такого как соосное освещение для получения светлых глаз), либо путем компенсации зарегистрированного изображения (например, с помощью изображения темного зрачка), либо, разумеется, с помощью комбинации этих методов. Действительно, в некоторых вариантах осуществления данный метод может использоваться в такой сфере применения, когда лишь предполагается, что сцена может привести к неплотному изображению. Если сцена соответствует этому предположению, алгоритм даст достоверные результаты (например, при обнаружении автомобильных фар в темноте). Если сцена не соответствует этому предположению (например, для той же сцены в дневное время и при выключенных фарах), алгоритм, возможно, окажется неспособным дать точные оценки. Однако во многих сферах применения он может оказаться приемлемым, т.е., имеющий низкую сложность алгоритм, который иногда (но не всегда) дает достоверные оценки, может оказаться полностью приемлемым.

Во многих сценариях и вариантах осуществления система может быть выполнена таким образом, что объекты изображения, соответствующие конкретному объекту (например, зрачку), представляют собой непересекающиеся/неперекрывающиеся объекты изображения (например, для заданного диапазона расстояний). Это значительно упростит обнаружение, а также определение смещения между объектами изображения.

Однако в некоторых вариантах осуществления может допускаться перекрытие объектов изображения (например, даже в пределах рабочего диапазона расстояний, в котором требуется функционирование устройства). В таких вариантах осуществления смещение может основываться на предположениях о геометрии объекта, а также о геометрии отверстия. Например, известно, что для зрачков и круглых отверстий теневые изображения являются практически круглыми. Поэтому обнаружитель может быть выполнен с возможностью поиска круглых объектов изображения с учетом того, что они перекрываются. Например, светлый эллипсоидный участок изображения может быть разрешен как два круглых объекта изображения.

Однако в некоторых вариантах осуществления каждое отверстие может формировать интерференционную картину. Например, каждое отверстие может быть выполнено в виде интерференционной структуры зонной пластинки, как иллюстрируется на фиг. 12. Для достаточно большого смещения соответствующие теневые изображения, модулируемые картиной зонной пластинки, тем не менее, являются непересекающимися объектами изображения, как иллюстрируется на фиг. 13. В этом случае смещение может попросту определяться как расстояние между центрами объектов. Однако в тех случаях, когда смещение уменьшается таким образом, что объекты изображения начинают перекрываться (как иллюстрируется в двух примерах на фиг. 14), смещение может определяться путем анализа результирующей интерференционной структуры. Например, в приведенном на фиг. 14 примере смещение может быть определено по расстоянию между серыми линиями, которые возникают в интерференционной картине. Это, в свою очередь, легко может быть обнаружено путем проецирования/суммирования сигналов в горизонтальном направлении. Поскольку серые линии складываются арифметически, они будут образовывать в результирующем одномерном сигнале максимумы, по которым расстояние легко может быть найдено с помощью взаимной корреляции или иных хорошо известных способов.

Следует принимать во внимание, что хотя в предыдущих вариантах осуществления особое внимание уделяется обнаружению расстояний до зрачков на основе изображения светлого зрачка (и в некоторых случаях изображения темного зрачка), данный метод может использоваться во многих различных сферах применения и условиях и для обнаружения расстояний до множества различных препятствий.

Например, данный метод может использоваться для определения расстояния до автомобиля. Например, описанные принципы могут использоваться в камере контроля скорости, выполненной с возможностью работы на проселочной дороге в темное время суток. В этом случае при приближении автомобиля камере будет представлена сцена, являющаяся в основном темной за исключением фар приближающегося автомобиля. Ввиду кодированной апертуры эти фары могут создавать теневые изображения в зарегистрированном изображении. Теневые изображения могут быть идентифицированы попросту путем поиска светлых объектов изображения, при этом смещение, определяемое по идентифицированным объектам, может использоваться для вычисления расстояния до автомобиля. Если регистрируются два (или более) изображения с известной разностью по времени, могут быть вычислены соответствующие расстояния, а по ним может быть вычислена скорость автомобиля.

Данное устройство особенно применимо для использования в сферах применения, в которых сцена такова, что теневые изображения требуемого изображения имеют оптические характеристики, значительно отличающиеся от характеристик других компонентов сцены.

В частности, сцена может пассивно контролироваться, например, ограничением работы камеры контроля скорости темным временем суток. Однако в других вариантах осуществления система может содержать источник света, освещающий сцену таким образом, что испускаемый свет выделяет оптические характеристики объекта, и, в частности, таким образом, что различие между оптическими характеристиками объекта и оптическими характеристиками других элементов (например, фона) в сцене возрастает.

Это может, например, достигаться за счет размещения источника света. Например, как описывалось выше, источник света может размещаться на оптической оси камеры таким образом, что достигается отражение от сетчатки для получения более светлых зрачков. В соответствии с еще одним примером, источник света может размещаться таким образом, что объекты, имеющие одинаковые оптические характеристики (например, одинаковый цвет) с требуемым объектом, размещаются в тени. Такой метод может оказаться пригодным для сферы применения, в которой окружающая среда на этапе настройки является достаточно статичной и хорошо известной.

В некоторых вариантах осуществления частотное распределение света, испускаемого из источника света, может быть выполнено таким, чтобы выделять оптическую характеристику объекта при захвате устройством 101 захвата изображений. Например, для создания более существенного эффекта светлого зрачка может использоваться инфракрасный свет. В соответствии с еще одним примером, для объекта, являющегося практически белым, для дополнительного выделения теневых изображений объекта в зарегистрированном изображении может использоваться ультрафиолетовое излучение. В других вариантах осуществления для специального выделения определенной цветонасыщенности объекта относительно других объектов могут использоваться более тонкие частотные распределения.

В некоторых вариантах осуществления для выделения объектов может использоваться пространственное распределение. Например, если известно или предполагается приблизительное положение объекта, источник света может быть нацелен в направлении этого положения, при этом в других направлениях испускается меньше света.

В некоторых вариантах осуществления для выделения отличающейся оптической характеристики объекта в зарегистрированном изображении может использоваться поляризация света, испускаемого источником света. Например, если объект содержит поляризационный фильтр, для правильно поляризованного света отражение может быть значительно выше, чем отражение остальных объектов. Это может, например, происходить при использовании источника поляризованного света, облучающего отражатель. Идеальное зеркало не изменяет поляризацию света, в то время как все остальные диффузно отражающие поверхности изменяют.

В некоторых вариантах осуществления один или более объектов, расстояние до которых должно определяться, может иметь признак, обеспечивающий определенную оптическую характеристику, которая может быть обнаружена в зарегистрированном изображении. Это может обеспечивать обнаружение объектов изображения, соответствующих теневым изображениям, создаваемым кодированной апертурой. Например, на объектах могут размещаться отдельные светоизлучающие или светоотражающие элементы, и система может быть выполнена с возможностью обнаружения соответствующих объектов изображения в зарегистрированном изображении.

В соответствии с конкретным примером, система может использоваться в сфере применения, в которой на складе используются промышленные роботы. Промышленные роботы могут быть выполнены с возможностью перемещения (свободно или по рельсам) в пределах склада для выбора и сбора определенных предметов, которые затем перемещаются в определенные места. В частности, заказы могут автоматически упаковываться с помощью промышленных роботов, выполненных с возможностью сбора предметов, соответствующих заказу, из их индивидуального положения хранения на складе. В таких сферах применения важно отслеживать положения робота, и это может достигаться с помощью одного или более устройств, соответствующих изображенным на фиг. 1.

В соответствии с конкретным примером, фиг. 15 иллюстрирует сценарий, в котором три промышленных робота 1501, 1503, 1505 размещаются в пределах сцены, наблюдаемой устройством 101 захвата изображений в соответствии с системой на фиг. 1. В этом примере каждый из трех промышленных роботов 1501, 1503, 1505 снабжен светоотражающим элементом 1507, 1509, 1511, который в данном конкретном примере может представлять собой световозвращающие наклейки, прикрепленные к отдельным роботам. Склад может быть освещен светом, который отражается светоотражающими элементами 1507, 1509, 1511, приводя к тому, что они очень отчетливо выделяются в зарегистрированных изображениях. В результате объекты изображения, соответствующие светоотражающим элементам 1507, 1509, 1511, легко могут быть обнаружены в зарегистрированном изображении, при этом может быть измерено смещение между соответствующими теневыми изображениями, следствием чего является определение расстояния до светоотражающих элементов 1507, 1509, 1511 и, следовательно, до промышленных роботов 1501, 1503, 1505.

Световозвращающие наклейки могут при этом обеспечивать оптическую характеристику, которая делает обнаружение соответствующих объектов изображения значительно более простым и надежным. Данный метод во многих отношениях может быть аналогичен методу использования характеристики светлых зрачков (т.е., световозвращающего характера сетчатки). Данный метод может дополнительно включать в себя другие меры, которые могут улучшать функционирование. Например, светящиеся и/или световозвращающие наклейки могут, в частности, быть выполнены с возможностью обеспечения однозначно обнаруживаемых объектов изображения. Например, может выбираться освещение с частотным распределением, которое согласуется с частотной характеристикой световозвращающих наклеек, благодаря чему подчеркивается отражение и ослабляется вклад со стороны других объектов сцены (или фона). Действительно, в некоторых вариантах осуществления склад может находиться в темноте за исключением ультрафиолетового (УФ) излучения, которое отражается световозвращающими наклейками как видимый свет. В таких сценариях обнаружитель 105 без труда может обнаруживать светлые участки изображения в зарегистрированном изображении.

В приведенном на фиг. 15 примере сцена включает в себя три различных промышленных робота, которые снабжены одинаковыми световозвращающими наклейками. В этом сценарии система может непрерывно отслеживать перемещение роботов 1501, 1503, 1505 и может, в частности, отслеживать перемещение соответствующих объектов изображения в изображении. Система может соответствующим образом использовать эту информацию для различения объектов изображения, соответствующих различным роботам 1501, 1503, 1505.

В других вариантах осуществления объекты сцены могут быть снабжены элементами, имеющими различные оптические характеристики. Так, для определения расстояния может обнаруживаться множество объектов сцены, при этом различение обеспечивается за счет различения оптической характеристики. Например, световозвращающие наклейки могут быть снабжены различными рисунками, которые могут, тем не менее, различаться после размытия, вызываемого кодированной апертурой и формированием изображения во внефокальной плоскости. В соответствии с еще одним примером, световозвращающие наклейки могут иметь различные формы, которые могут обнаруживаться в результирующих объектах теневых изображений. Такой метод может позволить системе не только обнаруживать расстояние до объекта сцены, но и идентифицировать объект сцены на фоне множества измеряемых объектов сцены.

В некоторых вариантах осуществления оптический элемент, обеспечивающий объекту сцены отличительное свойство, может представлять собой активный источник света, а не пассивный или отражающий источник света. Например, промышленные роботы 1501, 1503, 1505 могут быть снабжены статическим или импульсным источником света, таким как отдельный Светодиод (LED) или, например, матрица светодиодов. Кроме того, источники света могут быть, в частности, выполнены с возможностью обеспечения свойств, которые улучшают или упрощают обнаружение. Например, для обеспечения более легкого обнаружения могут предусматриваться источники инфракрасного или ультрафиолетового излучения, либо источники света, например, с определенным цветом. Например, каждый из промышленных роботов 1501, 1503, 1505 на фиг. 5 может быть снабжен светодиодной матрицей различных цветов. Например, первый робот 1501 может быть снабжен красной светодиодной матрицей, второй робот 1503 может быть снабжен зеленой светодиодной матрицей, а третий робот 1505 может быть снабжен желтой светодиодной матрицей. Такой метод может (в частности, в иных темных условиях) обеспечивать очень простое, но надежное обнаружение объектов изображения, соответствующих теневым изображениям, и может дополнительно обеспечивать различение промышленных роботов.

Следует принимать во внимание, что различные свойства, описанные в отношении освещения сцены для обеспечения легко обнаруживаемых объектов изображения, могут в равной степени использоваться с отражающим или активным источником света. Например, источник поляризованного света или поляризационный отражатель могут использоваться с поляризационным фильтром перед кодированной апертурой. Это может ослаблять свет от других элементов, одновременно позволяя свету от требуемых оптических элементов проходить практически неослабленным. В соответствии с еще одним примером различные цвета или рисунки могут использоваться для обеспечения обнаружимых и различимых свойств объектов изображения, соответствующих теневым изображениям.

Следует принимать во внимание, что может использоваться множество устройств определения расстояния. Например, устройства могут размещаться на перпендикулярных стенах склада, посредством этого обеспечивая определение расстояния вдоль перпендикулярных осей. Это может обеспечивать определение конкретных положений промышленных роботов на складе.

В соответствии с еще одним примером обнаруживаемая оптическая характеристика может представлять собой ослабление или блокирование света вместо активного или пассивного испускания света. Например, перед светоизлучающей стенкой может быть расположена конвейерная лента. При этом светоизлучающая стенка может обеспечивать фоновую подсветку, которая может блокироваться предметами, размещенными на конвейерной ленте. Описанное устройство определения расстояния может быть расположено перед конвейерной лентой и направлено на фоновую подсветку. Предметы на конвейерной ленте блокируют фоновую подсветку, приводя к возникновению темных объектов изображения, соответствующих теневым изображениям темных объектов в зарегистрированной сцене.

В соответствии с еще одним примером данный метод может использоваться для определения положений множества точек объекта. Например, при захвате движения актера, например, для игры или виртуального видеоклипа актер может быть снабжен рядом элементов, которые отслеживаются в зарегистрированном изображении. Например, в соответствующих местах на руках, ногах, туловище и т.д. актера может предусматриваться наклейка. Видеозахват актера, выполняющего движения, позволяет затем создать виртуальную модель, которая близко соответствует движениям актера. Кроме того, благодаря обеспечению таких элементов, как, например, отражательные элементы, описанное устройство определения расстояния может обнаруживать расстояние до отражательных элементов, посредством этого обеспечивая улучшение видеозахвата за счет информации о глубине, полученной от устройства определения расстояния. Таким образом, может быть обеспечен усовершенствованный захват движения.

Следует принимать во внимание, что данный метод может обеспечивать существенно пониженную сложность и может предусматривать крайне эффективный метод определения расстояний. Действительно, данный метод особенно пригоден для множества различных систем и сфер применения компьютерного зрения.

Следует принимать во внимание, что описанные принципы могут использоваться во множестве различных сфер применения и сценариев. Например, данный метод может использоваться для оценки положения человека, когда, например, положение объектов изображения в зарегистрированном изображении может использоваться для определения положения в плоскости, параллельной плоскости изображения, в то время как положение в плоскости, перпендикулярной ей, основано на описанной оценке глубины. Такой метод может, например, оказаться полезным для таких сфер применения, как системы мониторинга для пожилых людей или больничных палат, адаптивные осветительные системы, способные локально регулировать освещенность для экономии электроэнергии или изменять форму луча или спектральные параметры для повышения комфорта. В частности, точное положение глаз человека может представлять интерес в целях отображения, когда обеспечиваемый режим отображения адаптируется к обнаруженному положению глаз, например, для обеспечения оптимального режима отображения для обоих глаз при 3-мерной визуализации или для создания индивидуальной видимости в направлении ближайшей пары глаз при одновременном заслонении видимости в других направлениях.

Фиг. 16 иллюстрирует пример сценария применения для системы 3-мерной визуализации с использованием автостереоскопического дисплея 1601. Для точной 3-мерной визуализации в такой системе целесообразно иметь информацию о положении головы наблюдателя и расстоянии до нее не только для создания возможной 3-мерной визуализации, но и для создания новых проекций 1620, 1621 наблюдения изображения с помощью линзово-растрового проекционного экрана. В частности, движение головы должно отслеживаться очень быстро, чтобы проекции наблюдения можно было немедленно компенсировать и чтобы наблюдатель фактически не подозревал о существовании системы и видел естественное 3-мерное изображение (например, не просто статический наблюдатель 1605, но и перемещающийся наблюдатель 1610, например, в системе видеоконференций или игре, включающей в себя взаимодействие с двигательной активностью). И в этом случае можно использовать камеру 1602 с интеллектуально выбранной структурой апертуры для легкого разделения информации в зависимости от расстояния до глаз наблюдателя, а положение структур глаза может использоваться для определения, например, ориентации. В частности, можно придумать структуры апертуры или иные преобразования функций в плоскости изображения (например, с помощью переменной апертуры, например, с ЖК-дисплеем или быстро изменяющимся затвором и т.д.), что обеспечивает более точное определение положения помимо геометрического определения, относящегося к расстоянию. Как правило, к камере подключается источник 1603 инфракрасной подсветки. Следует понимать, что настоящая система может также использоваться в системе пользовательского интерфейса, например, переносное устройство 1630 может содержать инфракрасные отражающие структуры, такие как ретроотражающие структуры, и при использовании его может быть определено трехмерное позиционирование и использовано в зависящем от него программном обеспечении, таком как управляющее или игровое программное обеспечение и т.д. Разумеется, это переносное устройство может также содержать подобную камеру. Например, как правило, один или более таких вариантов осуществления устройств на основе камеры в соответствии с настоящим изобретением могут быть подключены к дисплею, например, в середине его верхней части, например, с помощью электрического соединения для подключения отдельного устройства и системы механической фиксации.

Следует принимать во внимание, что в приведенном выше описании для ясности описаны варианты осуществления изобретения со ссылкой на различные функциональные схемы, блоки и процессоры. Однако ясно, что без ущерба для изобретения может использоваться любое применимое распределение функциональных возможностей между различными функциональными схемами, блоками или процессорами. Например, показанные функциональные возможности, которые должны осуществляться отдельными процессорами или блоками управления, могут осуществляться одним и тем же процессором или блоками управления. Поэтому ссылки на конкретные функциональные блоки или схемы следует рассматривать лишь как ссылки на подходящие средства для обеспечения описанных функциональных возможностей, а не как указывающие на строгую логическую или физическую структуру или организацию.

Изобретение может быть реализовано в любой применимой форме, включая аппаратные средства, программные средства, микропрограммные средства или их совокупность. В некоторых случаях изобретение может быть реализовано, по меньшей мере, частично в виде компьютерных программных средств, работающих на одном или более процессоров данных и/или цифровых сигнальных процессоров. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым применимым способом. Действительно, функциональные возможности могут быть реализованы в отдельном блоке, во множестве блоков или в составе других функциональных блоков. В этой связи изобретение может быть реализовано в отдельном блоке или может быть физически или функционально распределено по различным блокам, схемам и процессорам.

Хотя настоящее изобретение описано применительно к некоторым вариантам осуществления, оно не ограничивается конкретной формой, изложенной в настоящем документе. Напротив, объем настоящего изобретения ограничивается лишь прилагаемой формулой изобретения. Кроме того, хотя признак может, по-видимому, описываться применительно к определенным вариантам осуществления, специалисты в данной области техники понимают, что в соответствии с изобретением различные признаки описанных вариантов осуществления могут быть объединены. В формуле изобретения термин «содержащий» не исключает наличия других элементов или этапов.

Кроме того, хотя множество средств, элементов, схем или этапов способа и перечислено по отдельности, оно может быть реализовано, например, с помощью отдельной схемы, блока или процессора. Кроме того, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, возможно, они могут быть предпочтительно объединены, и включение в различные пункты формулы изобретения не означает, что совокупность признаков не является реализуемой и/или предпочтительной. Кроме того, включение признака в категорию формулы изобретения не означает ограничения этой категорией, а, скорее, указывает, что данный признак при необходимости в равной степени применим к другим категориям формулы изобретения. Кроме того, порядок признаков в формуле изобретения не предполагает какого-либо конкретного порядка, в котором признаки должны обрабатываться, и, в частности, порядок отдельных этапов в пункте формулы изобретения на способ не означает, что этапы должны выполняться в этом порядке. Напротив, этапы могут выполняться в любом применимом порядке. Кроме того, ссылки на единственное число не исключают множественного числа. Таким образом, ссылки на «первый», «второй» и т.д. не исключают множества. Ссылочные позиции в формуле изобретения предусматриваются лишь в качестве поясняющего примера и никоим образом не должны рассматриваться как ограничивающие объем формулы изобретения.

Изобретение относится к определению расстояния до объекта. Техническим результатом является обеспечение выделения оптической характеристики объекта сцены. Устройство содержит: приемник для приема первого изображения сцены от датчика изображений устройства захвата изображений, имеющего кодированную апертуру, датчик изображений расположен вне фокальной плоскости для объекта сцены; обнаружитель для обнаружения двух объектов изображения в изображении, соответствующем теневым изображениям объекта сцены; блок оценки расстояния для определения расстояния до объекта сцены в ответ на смещение в изображении двух объектов изображения; и источник света для освещения сцены, причем источник света имеет характеристику, выполненную с возможностью выделения оптической характеристики объекта сцены, и источник света расположен по существу на оптической оси устройства захвата изображений, причем характеристика является одним из: положения источника света; частотного распределения света, испускаемого источником света; пространственного распределения света, испускаемого источником света. 4 н. и 19 з.п. ф-лы, 16 ил.

1. Устройство для определения расстояния до объекта сцены в по меньшей мере одном изображении сцены, причем устройство содержит:

приемник, выполненный с возможностью приема первого изображения сцены от датчика изображений устройства захвата изображений, имеющего кодированную апертуру, причем датчик изображений расположен вне фокальной плоскости для объекта сцены;

обнаружитель, выполненный с возможностью обнаружения по меньшей мере двух объектов изображения в изображении, соответствующем теневым изображениям объекта сцены, возникающим за счет различных отверстий кодированной апертуры в ответ на оптическую характеристику объекта сцены, причем оптическая характеристика является характеристикой излучения объекта в направлении устройства захвата изображений, и оптическая характеристика является характеристикой объекта сцены, которая позволяет различать объект сцены в изображении при анализе свойств изображения;

блок оценки расстояния, выполненный с возможностью определения расстояния до объекта сцены в ответ на смещение в изображении по меньшей мере двух объектов изображения; и

источник света для освещения сцены, причем источник света имеет характеристику, выполненную с возможностью выделения оптической характеристики объекта сцены, и источник света расположен по существу на оптической оси устройства захвата изображений, причем характеристика является по меньшей мере одним из:

положения источника света;

частотного распределения света, испускаемого источником света;

пространственного распределения света, испускаемого источником света.

2. Устройство по п. 1, причем изображение является изображением светлого зрачка, а оптическая характеристика является характеристикой света, отраженного назад сетчаткой в направлении устройства захвата изображений.

3. Устройство по п. 2, причем приемник выполнен с возможностью приема второго изображения сцены от датчика изображений, причем второе изображение является изображением темного зрачка; и причем обнаружитель дополнительно выполнен с возможностью компенсации первого изображения с учетом второго изображения до обнаружения по меньшей мере двух объектов изображения.

4. Устройство по п. 3, дополнительно содержащее блок управления источником света, выполненный с возможностью включения источника света для первого изображения и выключения источника света для второго изображения.

5. Устройство по п. 2, причем по меньшей мере два объекта изображения соответствуют первому зрачку человека, а обнаружитель дополнительно выполнен с возможностью обнаружения дополнительных по меньшей мере двух объектов изображения, соответствующего теневым изображениям второго зрачка человека, возникающим за счет различных отверстий кодированной апертуры; и причем блок оценки расстояния дополнительно выполнен с возможностью определения расстояния в ответ на смещение в изображении дополнительных по меньшей мере двух объектов изображения.

6. Устройство по п. 2, причем по меньшей мере два объекта изображения соответствуют первому зрачку человека; а обнаружитель дополнительно выполнен с возможностью обнаружения дополнительных по меньшей мере двух объектов изображения, соответствующего теневым изображениям второго зрачка человека, возникающим за счет различных отверстий кодированной апертуры; и причем блок оценки расстояния дополнительно выполнен с возможностью определения ориентации головы человека в ответ на разность между смещением в изображении по меньшей мере двух объектов изображения и смещением в изображении дополнительных по меньшей мере двух объектов изображения.

7. Устройство по п. 1, причем по меньшей мере два из по меньшей мере двух объектов изображения являются непересекающимися объектами изображения.

8. Устройство по п. 1, причем кодированная апертура формируется с помощью некоторого числа непересекающихся отверстий, причем каждое отверстие приводит к образованию теневого изображения объекта сцены.

9. Устройство по п. 8, причем число составляет менее пяти.

10. Устройство по п. 8, причем в каждом отверстии имеется интерференционная структура; при этом устройство выполнено с возможностью определения смещения в изображении по меньшей мере двух объектов изображения в ответ на выходную структуру интерференционной структуры по меньшей мере двух отверстий.

11. Устройство по п. 1, причем характеристикой излучения является характеристика испускания.

12. Устройство по п. 1, причем характеристикой излучения является характеристика отражения.

13. Устройство по п. 1, причем характеристикой излучения является характеристика отражения и характеристика испускания.

14. Система для определения расстояния до объекта сцены в по меньшей мере одном изображении сцены, причем система содержит:

устройство захвата изображений, имеющее кодированную апертуру и датчик изображений, причем датчик изображений расположен вне фокальной плоскости для объекта сцены;

приемник, выполненный с возможностью приема первого изображения сцены от датчика изображений;

обнаружитель, выполненный с возможностью обнаружения по меньшей мере двух объектов изображения в изображении, соответствующем теневым изображениям объекта сцены, возникающим за счет различных отверстий кодированной апертуры в ответ на оптическую характеристику объекта сцены, причем оптическая характеристика является характеристикой излучения объекта в направлении устройства захвата изображений, и оптическая характеристика является характеристикой объекта сцены, которая позволяет различать объект сцены в изображении при анализе свойств изображения;

блок оценки расстояния, выполненный с возможностью определения расстояния до объекта сцены в ответ на смещение в изображении по меньшей мере двух объектов изображения; и

источник света для освещения сцены, причем источник света имеет характеристику, выполненную с возможностью выделения оптической характеристики объекта сцены, и источник света расположен по существу на оптической оси устройства захвата изображений, причем характеристика является по меньшей мере одним из:

положения источника света;

частотного распределения света, испускаемого источником света;

пространственного распределения света, испускаемого источником света.

15. Система по п. 14, дополнительно содержащая оптический элемент для прикрепления к объекту сцены, причем обнаружитель выполнен с возможностью обнаружения по меньшей мере двух объектов изображения в ответ на оптическое свойство оптического элемента.

16. Система по п. 14, причем характеристикой излучения является характеристика испускания.

17. Система по п. 14, причем характеристикой излучения является характеристика отражения.

18. Система по п. 14, причем характеристикой излучения является характеристика отражения и характеристика испускания.

19. Способ определения расстояния до объекта сцены в по меньшей мере одном изображении сцены, причем способ содержит этапы, на которых:

освещают сцену посредством источника света, имеющего характеристику, выполненную с возможностью выделения оптической характеристики объекта сцены, причем источник света расположен по существу на оптической оси устройства захвата изображений, и причем характеристика является по меньшей мере одним из: положения источника света, частотного распределения света, испускаемого источником света, пространственного распределения света, испускаемого источником света;

принимают первое изображение сцены от датчика изображений устройства захвата изображений, имеющего кодированную апертуру, причем датчик изображений расположен вне фокальной плоскости для объекта сцены;

обнаруживают по меньшей мере два объекта изображения в изображении, соответствующем теневым изображениям объекта сцены, возникающим за счет различных отверстий кодированной апертуры в ответ на оптическую характеристику объекта сцены, причем оптическая характеристика является характеристикой излучения объекта в направлении устройства захвата изображений, и

оптическая характеристика является характеристикой объекта сцены, которая позволяет различать объект сцены в изображении при анализе свойств изображения; и

определяют расстояние до объекта сцены в ответ на смещение в изображении упомянутых по меньшей мере двух объектов изображения.

20. Способ по п. 19, причем характеристикой излучения является характеристика испускания.

21. Способ по п. 19, причем характеристикой излучения является характеристика отражения.

22. Способ по п. 19, причем характеристикой излучения является характеристика отражения и характеристика испускания.

23. Автостереоскопическая система отображения, содержащая устройство по п. 1.