АКТИВНАЯ СТЕРЕОСИСТЕМА С ИСПОЛЬЗОВАНИЕМ СОПУТСТВУЮЩЕГО УСТРОЙСТВА ИЛИ УСТРОЙСТВ Российский патент 2018 года по МПК G06T7/00 H04N13/10 H04N13/271 G01B11/22 

УРОВЕНЬ ТЕХНИКИ

[0001] При активном зондировании глубины, как, например, используемом активными стереоскопическими системами, проектор проецирует рисунки света, такие как инфракрасные (ИК) точки или линии, чтобы подсветить зондируемую сцену. Следует отметить, что проектор может использовать лазер, который потребляет порядка 1 Вт мощности, а это значит, что проектор потребляет слишком много мощности, чтобы на практике встраиваться в небольшое сопутствующее устройство, такое как смартфон или планшет, и вместо этого, как правило, является частью устройства, подключенного к настенной розетке.

[0002] Проецируемые рисунки затем захватываются камерой/ датчиком (двумя или более в стереоскопических системах) с изображением (или изображениями), обрабатываемым для вычисления карты глубин или тому подобного. Например, в стереоскопических системах, стереоскопические камеры захватывают два изображения с разных точек обзора. Тогда, например, один из способов выполнить оценку глубины при наличии стереопары изображений состоит в том, чтобы найти соответствия между изображениями, например, чтобы соотнести проецируемые и воспринимаемые точки в левом изображении с аналогичными точками в правом изображении. После сопоставления, проецируемые рисунки в пределах изображений могут быть соотнесены друг с другом, и может использоваться триангуляция, возможно наряду с рассогласованиями между одной или более характеристиками соотнесенных точек (например, в том числе их интенсивностями), чтобы оценить глубину до объекта, засвеченного этой конкретной проецируемой точкой.

[0003] В большинстве сценариев камеры, которые захватывают стереоскопические изображения, выполняются с возможностью восприятия относительно большого пространства, такого как комната, которая может быть относительно большой. В результате объект на расстоянии, например, лицо, фигурирует только в относительно небольшом количестве элементов изображения в камере. Таким образом, недоступна достаточно детальная и/или точная оценка глубины, что необходимо для многих приложений, таких как распознавание лиц и т.д.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Настоящий раздел «Сущность изобретения» приводится для того, чтобы в упрощенной форме представить подборку представительных концепций, которые ниже дополнительно описаны в разделе «Подробное описание изобретения». Этот раздел «Сущность изобретения» не предназначен для выявления ключевых признаков или основных признаков заявленного изобретения, а также не предназначен для использования каким-либо образом, чтобы ограничивать объем заявленного изобретения.

[0005] Вкратце, один или несколько различных аспектов изобретения, описанного в данном документе, направлены на использование информации от сопутствующего (например, мобильного) устройства, чтобы расширить данные о глубине, вычисленные другим устройством, таким как базовая станция. Один или несколько аспектов направлены на прием связанных с изображением данных от сопутствующего устройства на другом устройстве и расширение первого набора данных о глубине, основываясь, по меньшей мере, частично на связанных с изображением данных и информации об ориентации сопутствующего устройства.

[0006] В одном или нескольких аспектах базовая станция выполняется с возможностью определения информации об ориентации сопутствующего устройства и захвата одного или нескольких изображений. Базовая станция принимает связанные с изображением данные от сопутствующего устройства и вычисляет карту глубин, основываясь, по меньшей мере, частично на информации об ориентации и связанных с изображением данных.

[0007] Один или несколько аспектов направлены на прием связанных с изображением данных от сопутствующего устройства на базовой станции и захват активно подсвечиваемых стереоскопических изображений на базовой станции. Определяется информация об ориентации, соответствующая сопутствующему устройству. Активно подсвечиваемые стереоскопические изображения обрабатываются, чтобы определить карту глубин с ракурса базовой станции, которая расширяется информацией о глубине, соответствующей связанным с изображением данным.

[0008] Другие преимущества могут стать очевидными из последующего подробного описания в совокупности с чертежами.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Настоящее изобретение иллюстрируется для примера и не ограничивается прилагаемыми чертежами, на которых одинаковые ссылочные позиции указывают на подобные элементы, и на которых:

[0010] Фиг. 1 является представлением базовой станции, которая проецирует световой рисунок в сцену, при этом сопутствующее устройство захватывает, по меньшей мере, часть сцены, в соответствии с одной или несколькими иллюстративными реализациями.

[0011] Фиг. 2 является структурной схемой, представляющей иллюстративные компоненты, которые могут использоваться, чтобы проецировать и захватывать изображения для обработки с преобразованием в данные о глубине, в соответствии с одной или несколькими иллюстративными реализациями.

[0012] Фиг. 3 является структурной схемой, представляющей иллюстративную обработку данных базовой станции и сопутствующих данных с преобразованием в данные о глубине, в соответствии с одной или несколькими иллюстративными реализациями.

[0013] Фиг. 4 является структурной схемой, представляющей иллюстративную обработку данных одного сопутствующего устройства и данных другого сопутствующего устройства с преобразованием в данные о глубине, в соответствии с одной или несколькими иллюстративными реализациями.

[0014] Фиг. 5 является представлением сопутствующего устройства, выполненного с возможностью передачи сигнала на базовую станцию, в соответствии с одной или несколькими иллюстративными реализациями.

[0015] Фиг. 6А и 6B являются представлениями методов, которыми данные о глубине могут быть определены благодаря одной камере сопутствующего устройства, в соответствии с одной или несколькими иллюстративными реализациями.

[0016] Фиг. 7 является блок-схемой последовательности операций, представляющей иллюстративные этапы получения связанных с изображением данных от сопутствующего устройства для использования при определении карты глубин, в соответствии с одной или несколькими иллюстративными реализациями.

[0017] Фиг. 8 является структурной схемой, представляющей не имеющую ограничительного характера иллюстративную вычислительную систему или операционную среду, в форме мобильного устройства, в которой могут быть реализованы один или несколько аспектов различных вариантов осуществления, описанных в данном документе.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0018] Различные аспекты технологии, описанной в данном документе, в целом направлены на использование сопутствующих (например, мобильных) устройств, таких как смартфоны и планшетные компьютеры, для сообщения информации на базовую станцию активной подсветки и от нее, например, для улучшения зондирования глубины, предоставления более детального изображения и/или оценки ориентации. В то же время сопутствующие устройства пользуются активной подсветкой от базовой станции для своего собственного активного зондирования, благодаря чему сопутствующим устройствам не нужно потреблять мощность батареи для проецирования светового рисунка.

[0019] В одном или нескольких альтернативных вариантах множественные сопутствующие устройства могут использовать проецируемый свет от внешнего источника для сообщения вычисленных данных изображения/глубины/положения от одного к другому. Глубина и другие полезные данные относительно сцены, таким образом, могут быть доступны устройствам без потребности в стационарной базовой станции.

[0020] Следует понимать, что ни один из примеров в данном документе не имеет ограничительного характера. К примеру, в то время как сопутствующие устройства, как правило, в данном документе иллюстрируются на примере мобильного устройства, вспомогательное устройство (или больше одного) может позиционироваться как «стационарный спутник», который может быть откалиброван с помощью базовой станции при необходимости. Это может использоваться, чтобы обеспечить камеру, которая находится ближе к некоторой значимой части сцены, например. Таким образом, как используется в данном документе, термин «сопутствующее» не обязательно должен подразумевать мобильное и может включать в себя любое вспомогательное устройство. В качестве другого примера, времяпролетные камеры могут использоваться для определения, по меньшей мере, некоторых данных. По существу, настоящее изобретение не ограничивается никакими конкретными вариантами осуществления, аспектами, концепциями, структурами, функциональными возможностями или примерами, описанными в данном документе. Наоборот, никакие из вариантов осуществления, аспектов, концепций, структур, функциональных возможностей или примеров, описанных в данном документе, не имеют ограничительного характера, и настоящее изобретение может быть использовано различными способами, которые обеспечивают достоинства и преимущества при активном зондировании глубины и захвате изображений и обработке в целом.

[0021] Фиг. 1 иллюстрирует на примере одну реализацию, в которой базовая станция 100 включает в себя стереоскопические (например, инфракрасные) камеры 101 и 102, которые захватывают изображения сцены 104 с разных ракурсов. Проектор 106 подсвечивает сцену 104 световым рисунком (например, порядка 100000 точек). Световой рисунок может быть псевдослучайным, и может быть сгенерирован в результате излучения лазерного света через дифракционный оптический элемент. Для краткости, точки/компоненты испускаемого рисунка, как правило, упоминаются в данном документе как точечные элементы, хотя вместо этого могут генерироваться и восприниматься линейные рисунки, подсветки других форм и т.д.

[0022] Камеры 102 и 103 захватывают точечные элементы по мере того, как они отражаются от поверхностей объектов в сцене 222 и (возможно) фона. В общем случае, точечные элементы, воспринимаемые одной камерой (например, 102), могут быть соотнесены с точечными элементами, воспринимаемыми другой камерой (например, 103), с помощью обработки 108 изображений (например, системы или подсистемы), тем самым предоставляя (например, с помощью триангуляции) расстояние до отражающей поверхности, на которую падал каждый точечный элемент. Обратим внимание на то, что Фиг. 1 не предполагает ни выполнения в масштабе, ни передачи каких-либо размеров, расстояния, рисунка распределения точечных элементов, плотности точечных элементов и так далее.

[0023] Базовая станция 100 также может включать в себя камеру без содержания ИК-излучения, например, камеру с фильтром, который блокирует рисунок активной подсветки и/или RGB камеру, которая захватывает видимый свет; если присутствуют обе, они могут быть объединены в одну камеру. Камера 112 на Фиг. 1 представляет любой из этих вариантов.

[0024] Как показано на Фиг. 1, одним из объектов, воспринимаемых в сцене 104, может быть сопутствующее устройство 110, такое как мобильный смартфон или планшетное вычислительное устройство. В то же время сопутствующее устройство 110 может воспринимать другие объекты в сцене, например, в том числе их глубину, например, с помощью стереоскопических ИК камер, которые воспринимают рисунок подсветки, а также, возможно, их изображения без содержания ИК-излучения и/или RGB изображения.

[0025] Фиг. 2 демонстрирует иллюстративную базовую станцию 100, в которой стереоскопические камеры 102 и 103 системы подсистемы 224 захвата изображений захватывают изображения, синхронизированные во времени (например, камеры «принудительно синхронизируются»). В одной из реализаций камеры захватывают инфракрасные (ИК) изображения, поскольку ИК-излучение не влияет на видимый образ (что очень выгодно, например, в видеоконференциях и приложениях моделирования объектов). Как можно легко понять, в некоторых сценариях, таких как студийная обстановка, могут присутствовать больше двух воспринимающих глубину ИК камер. Кроме того, в данной системе могут присутствовать одна или несколько других камер, такие как RGB камеры, и такие другие камеры могут использоваться, например, чтобы помогать совмещать изображения, соотносить пары точечных элементов в разных стереоскопических изображениях, и т.д.

[0026] На Фиг. 2, проектор 106 проецирует ИК рисунок на сцену. Благодаря подсвечиванию сцены относительно большим количеством распределенных инфракрасных точечных элементов, камеры 102 и 103 захватывают больше текстурных данных как части данных изображения в инфракрасной области спектра. Следует отметить, что размещение проектора 106 может быть вне камер (например, Фиг. 1), или между камерами (Фиг. 2) или в другом месте, таком как выше или ниже одной или обеих камер. Примеры в данном документе никоим образом не ограничивают того, где расположены камеры 102, 103 и/или проектор 106 относительно друг друга, и точно так же камеры могут быть помещены в разных позициях относительно друг друга.

[0027] В одной из реализаций иллюстративная система или подсистема 224 захвата изображений включает в себя управляющее устройство 228, которое через интерфейс 230 камеры управляет работой камер 102 и 103, и, при наличии, камеры 112. Приведенное в качестве примера управляющее устройство через интерфейс 232 проектора также управляет работой проектора 106. Например, камеры 102 и 103 синхронизируются (принудительно синхронизируются), чтобы захватывать стереоскопические изображения в одно и то же время, например, по сигналу от управляющего устройства (или по разным сигналам для каждой камеры). Проектор 106 может быть включенным или выключенным, работающим в прерывистом режиме, а также иметь иные один или несколько параметров с управляемыми изменениями, например.

[0028] Изображения, захваченные камерами 102 и 103 (и камерой 112, если имеется), предоставляются на систему или подсистему обработки 108 изображений, содержащую логические схемы, реализованные в аппаратных средствах и/или программном обеспечении (например, в форме машиночитаемых инструкций). В некоторых реализациях система 108 обработки изображений и система или подсистема 224 захвата изображений, или их части, могут быть объединены в одном устройстве. Например, устройство домашнего развлечения может включать в себя все компоненты, показанные на Фиг. 1 (а также и другие, не показанные). В других реализациях частично (или целиком) система или подсистема 224 захвата изображений, такая как камеры и проектор, может представлять собой отдельное устройство, которое подсоединяется к игровой приставке, персональному компьютеру, сопутствующему устройству, специализированному устройству обработки и/или тому подобному.

[0029] В одной или нескольких реализациях, система или подсистема 108 обработки изображений включает в себя обрабатывающее устройство (процессор) 240 и запоминающее устройство (память) 242, содержащее в себе один или несколько алгоритмов 244 обработки изображений. Одна или несколько карт 246 глубин могут быть получены с помощью алгоритмов 124, например, путем выделения совпадающих характеристик (например, точечных элементов и/или линий). Например, как известно, к примеру, описано в опубликованной заявке на патент США № 20130100256, разные точечные элементы или другие проецируемые элементы имеют разные характеристики при захвате, в том числе интенсивность (яркость), в зависимости от расстояния от проектора до отражающих поверхностей и/или расстояния от камеры до отражающих поверхностей. Как тоже известно, точечные элементы в разных изображениях, взятые в одно и то же время (например, в случае принудительно синхронизированных стереоскопических камер), могут быть соотнесены друг с другом, например, путем сопоставления небольших (например, RGB) участков между RGB изображениями одной и той же сцены, захваченной в один и тот же момент. Таким образом, для захваченных изображений, известные алгоритмы могут определить индивидуальные связанные с глубиной характеристики (карты глубин), путем сопоставления проецируемых световых компонентов (например, точечных элементов) в каждом изображении, используя триангуляцию/рассогласования определенных характеристик между сопоставленными точечными элементами для определения глубин. Это является одним из методов, которым может быть получена карта глубин с помощью обработки стереоскопических изображений.

[0030] Также на Фиг. 1 показаны один или несколько интерфейсов 132 базовой станции, например, для подключения клавиатуры, игрового контроллера, устройства отображения, координатно-указательного устройства, микрофона для речевых команд и/или тому подобного, при необходимости для пользователя взаимодействовать с приложением или тому подобным, которое использует карту глубин. По меньшей мере, один интерфейс 132 позволяет сопутствующему устройству 110 устанавливать связь (например, с помощью беспроводных технологий) с базовой станцией, как описывается в данном документе.

[0031] Одна или несколько реализаций содержат базовую станцию 100 в комнате, излучающую лазерный рисунок, чтобы вычислить глубину. Когда пользователь использует сопутствующее устройство 110, такое как смартфон или планшет, камера или стереоскопические камеры на сопутствующем устройстве 110 могут фиксировать излучаемый базовой станцией лазерный рисунок. Сопутствующее устройство 110, таким образом, может вычислить стереобазу, основываясь на этом внешне сгенерированном лазерном рисунке, а также сообщить информацию на базовую станцию 100.

[0032] Как описано в настоящем документе, данные от сопутствующего устройства могут использоваться для вычисления карты глубин с более высоким разрешением, чем может вычислить базовая станция; (заметим, что «более высокое разрешение», как используется в данном документе, не относится ни к одному из разрешений камер, а скорее к возможности захвата объекта с большим количеством элементов изображения, чем более отдаленной камерой на базовой станции, так как сопутствующее устройство находится ближе к объекту, например, к лицу пользователя). Помимо этого, может быть увеличено не только пространственное разрешение, но также и разрешение/точность по глубине. Информация изображения или данные, соответствующие этой информации (например, карта глубин, вычисленная в сопутствующем устройстве), могут быть переданы на базовый блок. Как используется в данном документе, «связанные с изображением данные» относятся к действительным данным изображения (одного или нескольких активно подсвечиваемых ИК и/или RGB изображений и/или изображений без содержания ИК-излучения и/или RGB изображений, в целом или частично), любым связанным с ними метаданным и/или любой соответствующей информации, полученной в результате обработки этих данных изображения, например, карте глубин. Таким образом, связанные с изображением данные могут быть сообщены на базовую станцию и от нее, и на сопутствующие устройства и от них.

[0033] Дополнительно, изображения и/или карты глубин, взятые на сопутствующем устройстве и на базовом блоке, могут быть соотнесены. Это обеспечивает оценку ориентации с шестью степенями свободы (6DoF) для местоположения мобильного блока относительно базового блока.

[0034] Оценка ориентации может быть определена путем совмещения изображений и/или путем сопоставления рисунков/соотнесения точечных элементов. В качестве примера, если сопутствующее устройство захватывает изображение, которое базовая станция тоже может воспринимать (например, пользователь или устройство не закрывают базовой станции «видимость» той же самой области), то элементы изображения (или соответствующие окружающие участки каждого элемента изображения) могут быть сопоставлены известными способами. Совмещение также может быть установлено путем приведения в соответствие данных о глубине, вычисленных со стороны базовой станции, с данными о глубине, вычисленными со стороны сопутствующего устройства. Ориентация сопутствующего устройства, таким образом, может быть оценена.

[0035] Это в общих чертах представлено на Фиг. 3, где базовая станция 300 проецирует световой рисунок от проектора 306, который воспринимается камерами 301 и 302 базовой станции, а также одной или несколькими камерами на сопутствующем устройстве 330 (может присутствовать более одного сопутствующего устройства). Камеры 301 и 302 обеспечивают изображения 332 базовой станции, которые подаются для обработки изображений вместе с данными 334 от сопутствующего устройства, которые могут представлять собой изображения или информацию, такую как карты глубин, полученные локально в результате обработки изображений на каждом сопутствующем устройстве.

[0036] Следует отметить, что, как обозначено пунктирными линиями от устройства 330, дополнительный (например, маломощный) проектор может быть включен в состав какого-то или всех из одного или нескольких сопутствующих устройств. Данные, проецируемые сопутствующим устройством, дополняют данные, проецируемые от базовой станции. Проектор в сопутствующем устройстве 330 может быть более низкой мощности, так как он ограничен по расстоянию, ограничен пространственно (например, очень разреженный рисунок, или сосредоточен лишь на небольшой области изображения) и/или ограничен по времени (например, излучает только через каждые несколько кадров).

[0037] Изображения 332 от базовой станции могут быть обработаны для определения ориентации/трехмерного расположения сопутствующего устройства 330. С учетом этой информации, обработка 308 изображений выводит данные 336 о глубине, которые могут быть обычными данными о глубине от собственных камер базовой станции, расширенными данными 334 от сопутствующего устройства. В общем случае, проецируемые точечные элементы, захваченные камерами базовой станции, могут соотноситься с точечными элементами, захваченными сопутствующим устройством, после корректировки для компенсации различий в размерах и т.п. из-за различий разрешений. Данные 338 об ориентации также могут выводиться, например, на другие сопутствующие устройства.

[0038] Следует отметить, что вместо предоставления сопутствующим устройством данных на базовую станцию для расширения ее данных изображения, базовая станция может отправлять приближенную карту глубин (вместе с ориентацией устройства) на сопутствующее устройство. Это может использоваться для повышения точности и/или уменьшения необходимых вычислений для собственной оценки глубины на стороне сопутствующего устройства.

[0039] Карта глубин базовой станции (а также RGB данные) может быть расширена путем понижающей передискретизации данных с более высоким разрешением до частичной карты глубин, которая объединяется с первоначальной картой глубин базовой станции в нужных координатах, после корректировки глубин для ориентации, чтобы повысить точность в этих координатах, например. Еще один метод, которым может быть расширена карта глубин на базовой станции, состоит в том, чтобы сохранять исходную карту глубин совместно с картой глубин более высокого разрешения (например, после корректировки глубин на основе ориентации), например. Таким образом, приложение, использующее карту глубин, может при необходимости «увеличить масштаб» до более детальных данных о глубине, например, если приложение должно быть не ограничено разрешением в элементах изображения исходной карты глубин.

[0040] Следует отметить, что некоторые мобильные устройства могут иметь фронтальную и тыловую камеры. Если это так, то одним из сценариев является использование камер для разных целей. Например, тыловая камера может использоваться, чтобы захватывать изображения для вычислений ориентации, тогда как фронтальная камера может захватывать изображения лица пользователя, например, что может использоваться для вычислений расширенных глубин.

[0041] Фиг. 4 демонстрирует другой альтернативный вариант, в котором множество сопутствующих устройств 440(1) - 440(n) выступают в роли одноранговых узлов и, как следствие, можно вычислить информацию о глубине для сцены без базовой станции. Тем не менее, так как сопутствующие устройства питаются от батареи, может задействоваться световой рисунок от внешнего проектора 406 (или больше одного). Следует отметить, что базовая станция, вообще говоря, представляет собой просто еще одно устройство, с той разницей, что, как правило, не является мобильным (устройство базовой станции может быть относительно компактным и портативным, но использует большой или стационарный источник энергии, и поэтому обычно не носится с собой, в отличие от планшетного устройства или смартфона).

[0042] Как показано на Фиг. 4, каждое из сопутствующих устройств 440(1)-440(n) обменивается своими данными с другими. Одно из устройств 440(2) показано как имеющее средство 408 обработки изображений, которое обрабатывает его собственные данные 442 изображений и данные 444 от других сопутствующих устройств, чтобы получить данные 446 о глубине, расширенные за счет данных одного или нескольких других сопутствующих устройств; следует понимать, что любое сопутствующее устройство может иметь подобные функциональные возможности обработки изображений и/или может принимать данные о глубине от другого сопутствующего устройства.

[0043] Согласно другому аспекту, Фиг. 5 демонстрирует сопутствующие устройства 550 и 552, выполненные с возможностью выдачи сигнала, например, чтобы быстро передавать идентификатор на базовую станцию 500 посредством инфракрасного света. Идентификатор может включать в себя информацию любого типа, включая тип устройства, функциональные возможности и т.д., или может быть использован для ее поиска. Сигнал также может помочь в более эффективном определении ориентации сопутствующего устройства.

[0044] Следует отметить, что вместо того, чтобы базовая станция идентифицировала сопутствующее устройство и/или оценивала его ориентацию, сопутствующие устройства могут идентифицировать базовую станцию, и оценивать свою собственную ориентацию, основываясь на этой информации. Это позволяет сопутствующему устройству определять свою ориентацию, не обязательно устанавливая связь с базовой станцией, что может быть полезным в некоторых ситуациях (например, при наличии относительно большого числа сопутствующих устройств).

[0045] Согласно другому аспекту, Фиг. 6A демонстрирует как сопутствующее устройство, перемещающееся в течение времени, может вычислить данные о глубине при помощи одной камеры. Поскольку точечные элементы неизменны, любое перемещение устройства изменяет позиции точечных элементов с предшествующего на новый ракурс камеры.

[0046] Фиг. 6B демонстрирует два проектора 606 и 607, воспринимаемых одной камерой на сопутствующем мобильном устройстве. Проецируемые рисунки могут быть разными, в результате чего сопутствующее устройство может отличать один источник от другого, или проекторы могут чередовать, какой из них осуществляет проецирование в данный момент времени, чтобы предоставить два разных ракурса на один и тот же зондируемый объект/сцену.

[0047] На самом деле, проектор может знать световой рисунок, а раз так, представляет собой, по сути, камеру обратного направления. А значит, один проектор и одна камера сопутствующего устройства могут использоваться для вычисления стереоскопических данных о глубине.

[0048] Фиг. 7 является упрощенной блок-схемой последовательности операций, представляющей иллюстративный набор этапов, которые могут быть совершены, чтобы получить расширенную информацию о глубине (а возможно, и другую информацию, такую как RGB изображения) с помощью сопутствующего устройства. Например, рассмотрим случай, когда прикладная программа, запущенная на базовой станции, или сопряженная с ней, хочет произвести детальное представление в увеличенном масштабе объекта, который находится относительно далеко от базовой станции, а приблизиться не очень легко или целесообразно. Хотя в нижеприведенных иллюстративных этапах описывается базовая станция, следует понимать, что другое мобильное устройство или набор устройств может использоваться вместо базовой станции.

[0049] На этапе 702 программа на базовой станции (или программа, связанная с ней), передает сообщение пользователю, давая указание пользователю направить сопутствующее устройство на объект, чтобы получить некоторые видеокадры в увеличенном масштабе. На этапе 704 пользователь делает это, в результате чего сопутствующее устройство начинает передавать данные (например, поток изображений или данные о глубине, полученные в результате их обработки) на базовую станцию. В каждом кадре, на этапе 706 базовая станция обрабатывает свои собственные захваченные изображения, чтобы определить ориентацию сопутствующей камеры и вычислить первоначальную карту глубин.

[0050] Этап 708 представляет собой прием данных от сопутствующего устройства; следует отметить, что, по меньшей мере, некоторые из этих этапов могут происходить параллельно и/или в ином порядке, например, некоторые или все данные могут быть приняты от сопутствующего устройства до, во время или после обработки на базовой станции. Дополнительно следует отметить, что вместо покадровой может использоваться какая-либо меньшая частота дискретизации, в зависимости от приложения.

[0051] Этап 710 представляет использование сопутствующих данных, чтобы расширить карту глубин более точными данными о глубине, например, и/или чтобы поддерживать отдельную карту глубин для захваченного объекта. Этап 712 повторяет технологический процесс, пока не наступит завершение, о чем пользователь уведомляется.

[0052] Пользователя можно попросить захватить видеоизображение объекта с разных направлений. Если проецируемый свет воспринимается сопутствующим устройством, пользователю можно дать указание повернуть объект так, чтобы разные части объекта были обращены к проектору в разное время (следует отметить, что пользователь не может видеть инфракрасный световой рисунок, а значит может не знать, что он проецируется, в связи с чем инструкция может состоять в том, чтобы повернуть объект в сторону устройства базовой станции). В качестве варианта, могут иметься множественные проекторы с разных направлений. Таким образом, может быть сгенерирована полная трехмерная сетка и т.п. объекта (с которой могут быть объединены данные RGB изображения), со значительно большей степенью детализации, чем способна захватить базовая станция.

[0053] Сопутствующее устройство и базовая станция (или другое мобильное устройство) могут работать совместно без вмешательства человека. Например, приложение на мобильном устройстве может обнаружить что-то представляющее интерес с помощью камеры устройства и сообщить данные изображения на базовую станцию. Периодически или по какому-то другому расписанию базовая станция может запрашивать одно или несколько изображений от сопутствующего устройства. Базовая станция (например, по указанию от приложения) может захотеть иметь улучшенное изображение того, на что (как известно из данных об ориентации) нацелена камера сопутствующего устройства. Например, это может исполняться для получения изображения с более высоким разрешением, когда это необходимо.

[0054] В качестве другого примера, данные от сопутствующего устройства могут использоваться, чтобы заменить данные в карте изображения, захваченной сопутствующим устройством или устройствами. В качестве конкретного примера рассмотрим случай, когда что-то блокирует нужную часть сцены с ракурса базовой станции, например, человек прошел перед интересующей частью сцены, которую сопутствующее устройство стремится захватить. С помощью сопутствующего устройства или набора сопутствующих устройств сцена может быть захвачена (под другим углом и, возможно, с другим разрешением), в результате чего глубины сцены (а также RGB данные или данные без содержания ИК-излучения) могут быть вычислены заново, как если бы человек не блокировал эту часть сцены.

ИЛЛЮСТРАТИВНАЯ РАБОЧАЯ СРЕДА

[0055] Фиг. 8 иллюстрирует пример подходящего мобильного устройства 800, на котором могут быть реализованы аспекты изобретения, описанного в данном документе. Мобильное устройство 800 является лишь одним примером устройства и не подразумевает предположения какого-либо ограничения в отношении области применения или функциональных характеристик аспектов изобретения, описанного в данном документе. Не следует истолковывать мобильное устройство 800 как имеющее какую-то зависимость или требование в части любого одного или комбинации компонентов, показанных в иллюстративном мобильном устройстве 800.

[0056] Со ссылкой на Фиг. 8, иллюстративное устройство для реализации аспектов изобретения, описанного в данном документе, включает в себя мобильное устройство 800. В некоторых вариантах осуществления, мобильное устройство 800 содержит сотовый телефон, переносное устройство, которое обеспечивает возможность голосовой связи с другими устройствами, какое-то другое устройство голосовой связи, и т.п. В этих вариантах осуществления мобильное устройство 800 может быть оснащено камерой для съемки, хотя это может и не требоваться в других вариантах осуществления. В других вариантах осуществления мобильное устройство 800 может содержать карманный персональный компьютер (КПК), переносное игровое устройство, компьютер типа «ноутбук», печатающее устройство, прибор, включающий в себя телевизионную приставку, центр воспроизведения аудиовизуальной информации, или другой прибор, другие мобильные устройства, и т.п. В дополнительных вариантах осуществления мобильное устройство 800 может содержать устройства, которые в общем смысле не считаются мобильными, такие как персональные компьютеры, обслуживающие узлы, и т.п.

[0057] Мобильное устройство может содержать переносной пульт дистанционного управления прибором или игрушкой, с дополнительной схемой для обеспечения управляющей логической схемы наряду со способом ввода данных на пульте дистанционного управления. Например, входной разъем или другой датчик приема данных может позволить изменить назначение устройства для передачи данных неуправляющего кода. Это может быть достигнуто без необходимости хранить значительный объем данных для передачи, например, устройство может выступать в роли ретранслятора данных для другого устройства (возможно, с некоторой буферизацией), такого как смартфон.

[0058] Компоненты мобильного устройства 800 могут включать в себя, но не ограничиваются этим, блок 805 обработки, системное запоминающее устройство 810, а также шину 815, которая соединяет различные системные компоненты, в том числе системное запоминающее устройство 810, с блоком 805 обработки. Шина 815 может включать в себя любой из нескольких типов шинных структур, в том числе шину запоминающего устройства, контроллер запоминающего устройства, периферийную шину, а также локальную шину, использующую любую из разнообразия шинных архитектур, и т.п. Шина 815 позволяет передавать данные между различными компонентами мобильного устройства 800.

[0059] Мобильное устройство 800 может включать в себя разнообразные машиночитаемые носители. Машиночитаемые носители могут быть любыми доступными носителями, к которым можно получить доступ при помощи мобильного устройства 800, и включают в себя как энергозависимые, так и энергонезависимые носители, как съемные, так и несъемные носители. В качестве примера, но не ограничения, машиночитаемые носители могут содержать компьютерные носители данных и средства связи. Компьютерные носители данных включают в себя энергозависимые и энергонезависимые, сменные и несъемные носители, реализованные любым способом или технологией для хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Компьютерные носители данных включают в себя, но не ограничиваются этим, ОЗУ, ПЗУ, ЭСППЗУ, флэш-память или память, изготовленную по другой технологии, CD-ROM, цифровые универсальные диски (DVD) или другое хранилище на оптических дисках, магнитные кассеты, магнитную ленту, хранилище на магнитных дисках или другие магнитные устройства хранения данных, или любой другой носитель, который может использоваться для хранения нужной информации, и к которому можно получить доступ при помощи мобильного устройства 800.

[0060] Средства связи, как правило, воплощают машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или иной транспортный механизм, и включают в себя любые средства доставки информации. Термин «модулированный сигнал данных» означает сигнал, у которого одна или несколько его характеристик установлены или изменены таким образом, чтобы кодировать информацию в сигнале. В качестве примера, но не ограничения, средства связи включают в себя проводные среды передачи данных, такие как проводная сеть или прямое проводное соединение, и беспроводные среды передачи данных, такие как акустические, РЧ, Bluetooth®, Беспроводной USB, инфракрасные, Wi-Fi, WiMAX и другие беспроводные среды передачи данных. Любые комбинации из вышеперечисленного тоже должны подпадать под определение машиночитаемых носителей.

[0061] Системное запоминающее устройство 810 включает в себя компьютерные носители данных в форме энергозависимого и/или энергонезависимого запоминающего устройства и может включать в себя постоянное запоминающее устройство (ПЗУ) и оперативное запоминающее устройство (ОЗУ). На мобильном устройстве, таком как сотовый телефон, код 820 операционной системы иногда вносится в ПЗУ, хотя в других вариантах осуществления это не требуется. Аналогично, приложения 825 часто помещаются в ОЗУ, хотя опять же, в других вариантах осуществления, приложения могут быть помещены в ПЗУ или в другое машиночитаемое запоминающее устройство. Динамическая область (HEAP) 830 обеспечивает запоминающее устройство для состояния, связанного с операционной системой 820 и прикладными программами 825. Например, операционная система 820 и прикладные программы 825 могут хранить переменные и структуры данных в динамической области 830 в процессе их работы.

[0062] Мобильное устройство 800 может также включать в себя другое съемное/несъемное, энергозависимое/энергонезависимое запоминающее устройство. В качестве примера Фиг. 8 иллюстрирует карту 835 флэш-памяти, накопитель 836 на жестких дисках, и карту 837 памяти. Накопитель 836 на жестких дисках может быть уменьшен в размерах, чтобы помещаться в гнездо для запоминающего устройства, например. Мобильное устройство 800 может взаимодействовать с этими типами энергонезависимого съемного запоминающего устройства через интерфейс 831 съемного запоминающего устройства или может соединяться через универсальную последовательную шину (USB), IEEE 8394, один или более проводной порт(ы) 840, или антенну(ы) 865. В этих вариантах осуществления съемные запоминающие устройства 835-437 могут взаимодействовать с мобильным устройством через модуль(и) 832 связи. В некоторых вариантах осуществления не все эти типы запоминающих устройств могут включаться в состав одного мобильного устройства. В других вариантах осуществления один или несколько этих и других типов съемных запоминающих устройств могут включаться в состав одного мобильного устройства.

[0063] В некоторых вариантах осуществления накопитель 836 на жестких дисках может соединяться таким образом, чтобы быть в меньшей степени съемным относительно мобильного устройства 800. Например, накопитель 836 на жестких дисках может соединяться с интерфейсом, таким как параллельный интерфейс обмена данными с накопителями информации (PATA), последовательный интерфейс обмена данными с накопителями информации (SATA), или иным, который может быть соединен с шиной 815. В таких вариантах осуществления извлечение накопителя на жестких дисках может предусматривать снятие крышки мобильного устройства 800 и извлечение винтов или других крепежных деталей, которые крепят накопитель 836 на жестких дисках, чтобы обеспечивать опору для конструктивных элементов в пределах мобильного устройства 800.

[0064] Съемные запоминающие устройства 835-437 и связанные с ними компьютерные носители данных, обсужденные выше и проиллюстрированные на Фиг. 8, обеспечивают хранение машиночитаемых инструкций, программных модулей, структур данных и других данных для мобильного устройства 800. Например, съемное запоминающее устройство или устройства 835-437 могут хранить изображения, полученные посредством мобильного устройства 800, голосовые записи, контактную информацию, программы, данные для программ и т.д.

[0065] Пользователь может вводить команды и информацию в мобильное устройство 800 через устройства ввода, такие как клавиатура 841 и микрофон 842. В некоторых вариантах осуществления устройство 843 отображения может быть чувствительным к прикосновению экраном и может позволять пользователю вводить команды и информацию на нем. Клавиатура 841 и устройство 843 отображения могут соединяться с блоком 805 обработки через интерфейс 850 ввода данных пользователем, который подсоединяется к шине 815, но может также соединяться при помощи других интерфейсных и шинных структур, таких как модуль(и) 832 связи и проводной порт(ы) 840. Обнаружение 852 движения может использоваться, чтобы определить жесты, сделанные с помощью устройства 800.

[0066] Пользователь может общаться с другими пользователями, говоря в микрофон 842 и с помощью текстовых сообщений, которые вводятся на клавиатуре 841 или чувствительном к прикосновению устройстве 843 отображения, например. Звуковой блок 855 может обеспечить электрические сигналы для приведения в действие динамика 844, а также приема и перевода в цифровую форму звуковых сигналов, принимаемых от микрофона 842.

[0067] Мобильное устройство 800 может включать в себя видеоблок 860, который обеспечивает сигналы для приведения в действие камеры 861. Видеоблок 860 может также принимать изображения, полученные с помощью камеры 861, и предоставлять эти изображения на блок 805 обработки и/или запоминающее устройство, входящие в состав мобильного устройства 800. Изображения, полученные с помощью камеры 861, могут содержать видеоизображение, одно или несколько изображений, которые не образуют видеоизображение, или какую-либо их комбинацию.

[0068] Модуль(и) 832 связи может предоставлять сигналы на одну или несколько антенну(ы) 865 и принимать сигналы от нее. Одна из антенн 865 может передавать и принимать сообщения для сотовой телефонной сети. Другая антенна может передавать и принимать сообщения Bluetooth®. Еще одна антенна (или общая антенна) может передавать и принимать сетевые сообщения через беспроводную сеть стандарта Ethernet.

[0069] Более того, антенна предоставляет основанную на местоположении информацию, например, сигналы GPS на интерфейс и механизм 872 GPS. В свою очередь, механизм 872 GPS делает доступными соответствующие данные GPS (например, время и координаты) для обработки.

[0070] В некоторых вариантах осуществления одна антенна может использоваться для передачи и/или приема сообщений более чем для одного типа сети. Например, одна антенна может передавать и принимать голосовые и пакетные сообщения.

[0071] При работе в сетевой среде, мобильное устройство 800 может соединяться с одним или несколькими удаленными устройствами. Удаленные устройства могут включать в себя персональный компьютер, обслуживающий узел, маршрутизатор, сетевой ПК, сотовый телефон, устройство воспроизведения аудиовизуальной информации, одноранговое устройство или другой общий сетевой узел, и обычно включают в себя многие или все элементы, описанные выше применительно к мобильному устройству 800.

[0072] Аспекты изобретения, описанного в данном документе, способны работать с многочисленными другими вычислительными системными средами или конфигурациями, общего назначения или специализированными. Примеры широко известных вычислительных систем, сред и/или конфигураций, которые могут подойти для использования с аспектами изобретения, описанного в данном документе, включают в себя, но не ограничиваются этим, персональные компьютеры, обслуживающие компьютеры, переносные или дорожные устройства, многопроцессорные системы, системы на базе микроконтроллеров, телевизионные приставки, программируемую бытовую электронику, сетевые ПК, миникомпьютеры, универсальные компьютеры, распределенные вычислительные среды, которые включают в себя любые из вышеупомянутых систем или устройств, и т.п.

[0073] Аспекты изобретения, описанного в данном документе, могут быть описаны в общем контексте исполняемых компьютером инструкций, таких как программные модули, исполняемые мобильным устройством. Как правило, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных, и т.д., которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Аспекты изобретения, описанного в данном документе, также могут быть осуществлены на практике в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, которые связаны через сеть связи. В распределенной вычислительной среде программные модули могут быть расположены как на локальных, так и на удаленных компьютерных носителях данных, в том числе запоминающих устройствах хранения.

[0074] Кроме того, хотя термин обслуживающий узел может быть использован в данном документе, нужно отдавать себе отчет в том, что этот термин может также охватывать клиентский узел, набор из одного или нескольких процессов, распределенных по одному или нескольким компьютерам, одно или несколько автономных устройств хранения, набор из одного или нескольких других устройств, комбинации одного или более из вышеупомянутого, и т.п.

ЗАКЛЮЧЕНИЕ

[0075] Хотя настоящее изобретение и допускает различные модификации и альтернативные конструкции, некоторые освещенные его варианты осуществления продемонстрированы на чертежах и были подробно описаны выше. Однако следует понимать, что отсутствует цель ограничивать настоящее изобретение определенными раскрытыми формами, а наоборот, цель состоит в том, чтобы охватить все модификации, альтернативные конструкции и эквиваленты в рамках сущности и объема настоящего изобретения.

Группа изобретений относится к технологиям обработки изображений. Техническим результатом является обеспечение получения более точной карты глубин. Предложен способ определения карты глубин. Способ содержит этап, на котором принимают связанные с изображением данные от первого устройства захвата изображений на сопутствующем вычислительном устройстве, причем связанные с изображением данные содержат сцену, подсвеченную проецируемым световым рисунком. Далее, согласно способу, принимают по меньшей мере одно изображение ориентации от второго устройства захвата изображений на сопутствующем вычислительном устройстве. Далее, принимают изображение, захваченное базовой станцией, при этом изображение содержит, по меньшей мере, часть подсвеченной сцены. Вычисляют карту глубин на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства и связанных с изображением данных. 3 н. и 17 з.п. ф-лы, 9 ил.

1. Способ определения карты глубин, содержащий этапы, на которых:

принимают связанные с изображением данные от первого устройства захвата изображений на сопутствующем вычислительном устройстве, причем связанные с изображением данные содержат сцену, подсвеченную проецируемым световым рисунком;

принимают по меньшей мере одно изображение ориентации от второго устройства захвата изображений на сопутствующем вычислительном устройстве;

принимают изображение, захваченное базовой станцией, каковое изображение содержит, по меньшей мере, часть подсвеченной сцены;

выполняют одно из следующего:

прием информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации, причем информация об ориентации определена сопутствующим вычислительным устройством, или

прием упомянутого по меньшей мере одного изображения ориентации от сопутствующего вычислительного устройства и определение информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации; и

вычисляют карту глубин на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства и связанных с изображением данных.

2. Способ по п. 1, дополнительно содержащий этап, на котором расширяют набор данных о глубине, связанный с упомянутым изображением, на основе, по меньшей мере отчасти, информации об ориентации и связанных с изображением данных.

3. Способ по п. 1, в котором сопутствующее вычислительное устройство представляет собой мобильное устройство.

4. Способ по п. 2, в котором упомянутое расширение набора данных о глубине содержит этап, на котором заменяют, по меньшей мере, некоторые из данных о глубине в упомянутом наборе данных о глубине другими данными о глубине, соответствующими, по меньшей мере, части связанных с изображением данных.

5. Способ по п. 2, в котором упомянутое расширение набора данных о глубине содержит этап, на котором сохраняют первую карту глубин, соответствующую упомянутому набору данных о глубине, в привязке ко второй карте глубин, соответствующей связанным с изображением данным.

6. Способ по п. 1, дополнительно содержащий этапы, на которых принимают сигнал от сопутствующего вычислительного устройства и используют этот сигнал в определении информации об ориентации.

7. Способ по п. 1, дополнительно содержащий этап, на котором посылают в сопутствующее вычислительное устройство запрос предоставить связанные с изображением данные.

8. Способ по п. 7, дополнительно содержащий этап, на котором определят, когда посылать упомянутый запрос, на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства.

9. Способ по п. 1, дополнительно содержащий этап, на котором принимают по меньшей мере одно изображение, захваченное на сопутствующем вычислительном устройстве, каковое по меньшей мере одно изображение активно подсвечивается световым рисунком от проектора, отдельного от сопутствующего вычислительного устройства и базовой станции.

10. Способ по п. 1, дополнительно содержащий этап, на котором принимают, по меньшей мере, некоторые данные о глубине, вычисленные на сопутствующем вычислительном устройстве на основе по меньшей мере одного захваченного им изображения, каковые, по меньшей мере, некоторые данные о глубине являются, по меньшей мере, частью связанных с изображением данных.

11. Способ по п. 10, в котором упомянутые, по меньшей мере, некоторые данные о глубине вычисляются посредством обработки одного или более активно подсвечиваемых изображений, захваченных сопутствующим вычислительным устройством.

12. Способ по п. 10, в котором упомянутые, по меньшей мере, некоторые данные о глубине вычисляются посредством обработки одного или более активно подсвечиваемых стереоскопических изображений, захваченных сопутствующим вычислительным устройством, и, по меньшей мере, некоторой активной подсветки, испускаемой от сопутствующего вычислительного устройства.

13. Способ по п. 2, дополнительно содержащий этап, на котором выводят по меньшей мере одну карту глубин, соответствующую расширенному набору данных о глубине, на основе, по меньшей мере отчасти, связанных с изображением данных и информации об ориентации.

14. Способ по п. 1, дополнительно содержащий этап, на котором определяют, с использованием сопутствующего вычислительного устройства, информацию об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации.

15. Способ по п. 1, в котором базовая станция определяет информацию об ориентации сопутствующего вычислительного устройства.

16. Система для определения карты глубин, содержащая:

проектор для проецирования светового рисунка в направлении сцены для создания подсвеченной сцены;

сопутствующее вычислительное устройство, содержащее первое устройство захвата изображений для захвата связанных с изображением данных подсвеченной сцены и второе устройство захвата изображений для захвата по меньшей мере одного изображения ориентации;

базовую станцию для захвата одного или более изображений подсвеченной сцены; и

процессор, выполненный с возможностью:

принимать эти одно или более изображений подсвеченной сцены;

принимать связанные с изображением данные от сопутствующего вычислительного устройства;

выполнять одно из следующего:

прием информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации, причем информация об ориентации определяется сопутствующим вычислительным устройством, или

прием упомянутого по меньшей мере одного изображения ориентации от сопутствующего вычислительного устройства и определение информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации; и

вычислять карту глубин на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства и связанных с изображением данных.

17. Система по п. 16, при этом упомянутые одно или более изображений, захваченных базовой станцией, содержат данные активно подсвечиваемых изображений, при этом карта глубин вычисляется на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства, связанных с изображением данных и данных активно подсвечиваемых изображений.

18. Система по п. 16, в которой процессор дополнительно выполнен с возможностью определять информацию об ориентации сопутствующего вычислительного устройства из упомянутых одного или более изображений подсвеченной сцены.

19. Система по п. 16, в которой сопутствующее вычислительное устройство выполнено с возможностью вычислять данные о глубине и сообщать данные о глубине на базовую станцию в качестве, по меньшей мере, части связанных с изображением данных.

20. Машиночитаемый носитель информации с машиноисполняемыми инструкциями, которые при их исполнении предписывают процессору выполнять операции, содержащие:

прием связанных с изображением данных от первого устройства захвата изображений на сопутствующем вычислительном устройстве, причем связанные с изображением данные содержат сцену, подсвеченную проецируемым световым рисунком;

прием по меньшей мере одного изображения ориентации от второго устройства захвата изображений на сопутствующем вычислительном устройстве;

прием изображения, захваченного базовой станцией, каковое изображение содержит, по меньшей мере, часть подсвеченной сцены;

выполнение одного из следующего:

прием информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации, причем информация об ориентации определена сопутствующим вычислительным устройством, или

прием упомянутого по меньшей мере одного изображения ориентации от сопутствующего вычислительного устройства и определение информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации; и

вычисление карты глубин на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства и связанных с изображением данных.